发明内容
为了解决现有技术中的问题,提供一种基于智能笔的控制方法和系统。
根据本发明的一方面,提供一种基于智能笔的控制方法,所述方法包括:
智能笔获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,根据所述点阵反馈数据解析出指令坐标数据,将所述指令坐标数据发送给控制中心,所述书写媒介上印刷有承载指令信息的点阵;
控制中心根据所述指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容,将所述指令执行内容发送到所述指令执行对象进行执行,所述指令执行对象为终端设备或者软件程序。
可选地,所述将所述指令坐标数据发送给控制中心之前包括:
智能笔判断所述指令坐标数据是否为与控制中心建立通讯连接的指令坐标数据;若是,则根据所述指令坐标数据与控制中心建立通讯连接;若否,则将所述指令坐标数据发送至控制中心。
可选地,所述控制中心根据所述指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容包括:控制中心根据所述指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容;或者,控制中心根据所述指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
可选地,所述控制中心根据所述指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容还包括:控制中心判断所述指令坐标数据是否为点击指令的指令坐标数据;若是,则控制中心根据所述指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容;若否,则控制中心根据所述指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
可选地,所述方法还包括:智能笔判断当前指令坐标数据是否为预设的书写结束指令坐标数据;若否,则智能笔将当前指令坐标数据进行缓存;若是,则将所有缓存的指令坐标数据发送至控制中心。
可选地,所述方法还包括:
控制中心判断当前指令坐标数据是否为预设的书写结束指令坐标数据;若否,则控制中心将当前指令坐标数据进行缓存;若是,则根据所有缓存的指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别,当识别到预设的指令结束标志符时,将识别出的结果与预设的点阵指令查找表进行分析匹配,得到指令执行对象和指令执行内容。
可选地,所述方法还包括:
控制中心从所述指令执行对象获取执行结果信息,将所述执行结果信息发送给智能笔。
根据本发明的另一方面,提供一种基于智能笔的控制系统,所述系统包括:
智能笔,用于获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,根据点阵反馈数据解析出指令坐标数据,将所述指令坐标数据发送给控制中心;
书写媒介,印刷有承载指令信息的点阵;
控制中心,用于根据所述指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容,将所述指令执行内容发送到所述指令执行对象进行执行;
指令执行对象,包括设备和程序,用于根据控制中心发送的指令执行内容执行相应的操作。
可选地,智能笔,还用于判断所述指令坐标数据是否为与控制中心建立通讯连接的指令坐标数据;若是,则根据所述指令坐标数据与控制中心建立通讯连接;若否,则将所述指令坐标数据发送至控制中心。
可选地,控制中心,还用于根据所述指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容;或者根据所述指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
实施本发明实施例,将具有如下有益效果:
本发明通过智能笔获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,对点阵反馈数据进行解析,将解析出的指令坐标数据发送给控制中心;控制中心根据指令坐标数据得到指令执行对象和指令执行内容,将指令执行内容发送到指令执行对象进行执行。采用本发明的方法,可以方便快捷地对远程的多个终端设备或者终端设备上的多个程序进行控制。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明中智能笔是一种点阵式智能笔,配备有高速摄像头、红外光发射器、压力传感器、无线通讯模块和存储器等,使用智能笔在铺设有点阵图案(即码点信息)的媒介(比如:纸张、屏幕、白板等)操作时,可通过高速摄像头捕捉笔尖在媒介上的书写轨迹信息。本发明中的控制中心包括与多个电子设备相连,并管理控制各电子设备的终端设备等(管理家庭各电器设备或者管理服务区内各终端设备),也可以是运行有多个程序的终端设备。具体的,终端设备可以是个人电脑、智能手机、平板或服务器等。
该终端设备可以包括:处理器,例如CPU,网络接口,用户接口,存储器,通信总线。其中,通信总线用于实现这些组件之间的连接通信。用户接口可以包括显示屏、输入单元(如键盘),可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WIFI接口、蓝牙接口)。存储器可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器可选的还可以是独立于前述处理起的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块、蓝牙模块等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、震动识别相关功能(比如计步器、敲击)等;当然,终端还可配置陀螺仪、气压计、湿度计、温度计、红外传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,上述的终端设备结构并不构成对终端的限定,可以包括比上述终端更多或更少的部件,或者组合某些部件,或者不同的部件布置。
请参阅图1,本发明一实施例提供的一种基于智能笔的控制方法的流程示意图,该方法包括:
步骤S101,智能笔获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,根据点阵反馈数据解析出指令坐标数据,将指令坐标数据发送给控制中心。
其中,书写媒介上印刷有承载指令信息的点阵,所述指令信息包括指令执行对象、指令执行内容。书写媒介包括纸张、显示屏、白板等。用户使用智能笔在书写媒介上的操作包括点击和书写。用户使用智能笔在书写媒介上操作时,高速摄像头捕捉笔尖所在位置的点阵图像,即点阵反馈数据,对点阵反馈数据进行解码识别得到指令坐标数据,所述指令坐标数据可包括页码、指令类型、抬笔或落笔状态、X轴坐标、Y轴坐标等。其中,指令类型包括点击指令类型和书写指令类型。
如图3~5所示,为本发明提供的三种书写媒介的示意图。该书写媒介上可印刷有虚拟功能按钮、或者供用户书写指令的指令书写位置。用户使用智能笔点击虚拟功能按钮可得到点击位置处的指令坐标数据;或者用户使用智能笔在书写媒介的指令书写位置书写指令,智能笔获取各书写点的指令坐标数据;将指令坐标数据发送至控制中心。
步骤S102,控制中心根据指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容,将指令执行内容发送到指令执行对象进行执行。
指令执行对象为终端设备或者软件程序。当指令执行对象为终端设备时,控制中心为管理各终端设备的终端设备;当指令执行对象为软件程序时,控制中心为运行各软件程序的终端设备。比如,控制中心为手机,则运行在手机上的各APP程序即为指令执行对象;控制中心为家庭网关服务器,则家中的各种电器设备如冰箱、洗衣机、电视机、灯即为指令执行对象。
控制中心根据指令坐标数据中包含有指令类型,对指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容。具体的,当指令类型为点击指令类型时,控制中心根据指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容;当指令类型为书写指令类型时,控制中心根据指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
可选地,书写媒介上印刷有与书写媒介上实际位置相对应的第一点阵,通过识别第一点阵的图形编码,可以得到第一点阵在书写媒介上的相对位置。进一步,点阵指令查找表中预设有相对位置与指令执行对象、指令执行内容的映射关系,通过指令坐标数据中X轴坐标和Y轴坐标与点阵指令查找表中各指令所在的位置范围进行匹配,即可得到对应的指令执行对象和指令执行内容。如
表1所示为图3所示书写媒介对应的第一种点阵指令查找表。
指令执行对象 |
指令执行内容 |
指令左上角位置 |
指令右下角位置 |
设备1 |
开启 |
(100,60) |
(140,80) |
设备1 |
关闭 |
(160,60) |
(200,80) |
设备2 |
开启 |
(100,110) |
(140,130) |
设备2 |
关闭 |
(160,110) |
(200,130) |
表1
可选地,书写媒介上印刷有与指令信息相对应的第二点阵,通过识别第二点阵的图形编码,可以得到每个第二点阵编码对应的指令信息。具体的,在控制中心预设点阵信息与指令信息的映射关系,如表2所示为图3所示书写媒介对应的第二种点阵指令查找表。
指令执行对象 |
指令执行内容 |
X轴数据 |
Y轴数据 |
设备1 |
开启 |
00000001 |
00000001 |
设备1 |
关闭 |
00000001 |
00000010 |
设备2 |
开启 |
00000010 |
00000001 |
设备2 |
关闭 |
00000010 |
00000010 |
表2
在这种方式下,每个虚拟功能按钮对应一条指令,每条指令包含一指令执行对象和一指令执行内容。具体的,可将一个点阵单元中的X轴数据用来表示指令执行对象,Y轴数据用来表示指令执行内容。这样,一个点阵单元即用来承载一条指令。现有技术中,一个点阵单元所占的面积大约为2平方毫米,为了确保用户点击该虚拟功能按钮的任意位置均可获取到该指令信息,在该虚拟功能按钮所覆盖的范围重复铺设与该指令信息对应点阵单元。
综上,书写媒介上可印刷与书写媒介上实际位置相对应的第一点阵,和/或,与指令信息相对应的第二点阵。点阵与指令信息相对应时,仅适应指令通过虚拟功能按钮进行预设的情形;点阵与位置信息相对应时,既适应指令通过虚拟功能按钮进行预设的情形,也适应指令通过用户书写的情形。可选地,在某些情况下,在同一书写媒介上,可以在不同区域分别印刷与书写媒介上实际位置相对应的第一点阵和与指令信息相对应的第二点阵。
当指令类型为书写指令类型时,书写媒介上印刷有与书写媒介上实际位置相对应的第一点阵。控制中心根据指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。如图4所示的书写媒介中同时包含虚拟功能按钮和指令书写位置,用户使用智能笔在指令书写位置书写26,并点击“设置温度”虚拟功能按钮。智能笔将用户书写的“26”书写轨迹信息发送到控制中心,控制中心根据书写轨迹信息还原出书写轨迹图,对书写轨迹图中的信息进行识别,识别出“26”,结合用户点击“设置温度”虚拟功能按钮得到的点阵反馈数据识别出指令执行对象为“空调”,指令执行内容为“设置温度为26℃”。
如图5所示的书写媒介中仅包含指令书写位置,智能笔获取用户在书写媒介上书写的指令的轨迹信息发送到控制中心,控制中心在对用户书写的轨迹信息进行识别,识别的过程中需要结合图像处理技术和上下文语义进行解析,并与控制中心预先设置的点阵指令查找表进行匹配,得到指令执行对象和指令执行内容。如表3所示为图5所示书写媒介对应的第三种点阵指令查找表,其中,指令执行内容包括指令执行名称及指令执行参数。
指令执行对象 |
指令执行名称 |
指令执行参数 |
微信程序 |
登录 |
用户名和密码 |
电话程序 |
打电话 |
名字或电话号码 |
微信程序 |
发信息 |
名字和内容 |
表3
可选地,可以将书写媒介按照预设的模板生成指令手册,该指令手册包含多个页面,每个页面对应一个终端设备的控制页面,用户通过使用智能笔点击书写媒介上的连接和断开连接按钮来切换与不同终端设备的连接和控制。该指令手册可以由控制中心根据其管理的各终端设备或管理的各软件程序所包含的指令生成。
本发明通过智能笔获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,对点阵反馈数据进行解析,将解析出的指令坐标数据发送给控制中心;控制中心根据指令坐标数据得到指令执行对象和指令执行内容,将指令执行内容发送到指令执行对象进行执行。采用本发明的方法,可以方便快捷地对远程的多个终端设备或者终端设备上的多个程序进行控制。
请参阅图2,本发明另一实施例提供的一种基于智能笔的控制方法的流程示意图,该方法包括:
步骤S201,智能笔获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,根据点阵反馈数据解析出指令坐标数据。
步骤S202,智能笔判断指令坐标数据是否为与控制中心建立通讯连接的指令坐标数据,若是,则进入步骤S203;若否,则进入步骤S204。
具体的,与控制中心建立通讯连接的指令坐标数据可包含控制中心的网络地址、鉴权信息等。当然,也可以将控制中心的网络地址、鉴权信息等预设在智能笔内。当智能笔点击书写媒介上的控制中心的连接标识时,智能笔判断指令坐标数据中指令类型或者指令坐标值来确定该指令坐标数据是否为与控制中心建立通讯连接的指令坐标数据。如图3~5所示,书写媒介上印刷有连接标识和断开连接标识。当用户不需要对控制中心所关联的终端设备或软件程序进行控制时,点击断开连接标识,与控制中心断开已建立的通讯连接。
步骤S203,根据所述指令坐标数据与控制中心建立通讯连接。
智能笔根据指令坐标数据中携带的控制中心网络地址和鉴权信息,或者读取笔内预存的控制中心网络地址和鉴权信息与控制中心建立通讯连接。当智能笔与控制中心建立连接后,控制中心可将连接成功信息或连接失败信息返回给智能笔,以使智能笔根据该反馈信息进行下一步操作。
步骤S204,智能笔将指令坐标数据发送至控制中心。
此时,智能笔已与控制中心建立通讯连接,并通过点击书写媒介上的虚拟功能按钮或者在指令书写处书写了指令信息后,智能笔获取笔尖处的点阵反馈数据,解析出指令坐标数据,发送至控制中心。
步骤S205,控制中心判断指令坐标数据是否为点击指令的指令坐标数据;若是,则进入步骤S206;若否,则进入步骤S207。
控制中心根据指令坐标数据中指令类型或者指令坐标值判断该指令坐标数据为点击指令对应的指令坐标数据或者为书写指令对应的指令坐标数据。
步骤S206,控制中心根据指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容。
具体查找方式详见图1中实施例,在此不再赘述。
步骤S207,控制中心根据指令坐标数据生成书写轨迹图;对书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
可选地,在步骤S207之前,还包括判断指令书写是否结束的步骤。下面分别介绍控制中心或智能笔对一条指令的书写是否已结束进行判断的方法。
1、控制中心判断的第一种方式:
智能笔将获取到的每个书写点的指令坐标数据逐一发送到控制中心,控制中心对接收到每个书写点的指令坐标数据进行监测,判断当前指令坐标数据是否为预设的书写结束指令坐标数据,若否,则控制中心将当前指令坐标数据进行缓存;若是,则控制中心根据所有缓存的指令坐标数据生成书写轨迹图,对书写轨迹图进行识别,将识别出的结果与预设的点阵指令查找表进行分析匹配,得到指令执行对象和指令执行内容。其中,点阵指令查找表如表3所示。其中,判断当前指令坐标数据是否为预设的书写结束指令坐标数据具体为:判断当前指令坐标数据是否与书写结束指令所对应的坐标信息相匹配。如图5所示,在书写媒介的右上角设置“点击执行”虚拟功能按钮,当用户使用智能笔点击该按钮时即表示一条指令的书写结束。该虚拟功能按钮的位置信息预设在控制中心内,当控制中心监测到当前指令坐标数据位于该虚拟功能按钮所在位置时,即判断一条指令已书写结束。
2、控制中心判断的第二种方式:
智能笔将获取到的每个书写点的指令坐标数据逐一发送到控制中心,控制中心对接收到每个书写点的指令坐标数据进行缓存,控制中心对接收指令坐标数据的时间间隔进行监测,当监测到在预设的时间间隔未收到任何指令坐标数据时,判断一条指令已书写结束,控制中心根据所有缓存的指令坐标数据生成书写轨迹图,对书写轨迹图进行识别,将识别出的结果与预设的点阵指令查找表进行分析匹配,得到指令执行对象和指令执行内容。
3、智能笔判断的第一种方式:
智能笔解析出指令坐标数据之后,判断当前指令坐标数据是否为预设的书写结束指令坐标数据,若否,则智能笔将当前指令坐标数据缓存在笔内;若是,则将所有缓存的指令坐标数据发送至控制中心。判断当前指令坐标数据是否为预设的书写结束指令坐标数据具体为:判断当前指令坐标数据中是否包含预设的书写结束指令标志信息。如图5所示的“点击执行”虚拟功能按钮所对应的点阵信息中可包含一特殊的书写结束指令标志信息。
4、智能笔判断的第二种方式:
智能笔获取点阵反馈数据,解析出点阵坐标数据,对点阵坐标数据进行缓存,进一步,智能笔对获取点阵反馈数据的时间间隔进行监测,当监测到在预设的时间间隔未收到任何点阵反馈数据时,判断一条指令已书写结束,将所有缓存的指令坐标数据发送至控制中心。
需要指出的是,本发明不对书写指令结束判断的方式进行限定,本领域技术人员根据现有技术和公知常识可以得到其他的书写指令结束判断的方式。
控制中心对书写轨迹图进行识别分析,得到指令执行对象和指令执行内容的方法参见图1中实施例描述,此处不再赘述。
步骤S208,将指令执行内容发送到指令执行对象进行执行。
具体的,指令执行对象为终端设备或者软件程序。可选地,指令执行对象执行完指令之后,将执行结果信息发送给控制中心,控制中心再将执行结果信息发送给智能笔。智能笔接收到执行结果信息之后,可通过自带的扬声器播放或者通过显示屏显示。
本发明通过智能笔获取用户使用智能笔在书写媒介上操作时产生的点阵反馈数据,对点阵反馈数据进行解析,将解析出的指令坐标数据发送给控制中心;控制中心根据指令坐标数据得到指令执行对象和指令执行内容,将指令执行内容发送到指令执行对象进行执行。采用本发明的方法,可以方便快捷地对远程的多个终端设备或者终端设备上的多个程序进行控制。
基于与前述实施例相同的技术构思,本发明还提供一种基于智能笔的控制系统。请参阅图6~图7,为本发明实施例提供的一种基于智能笔的控制系统的结构示意图。所述系统包括:
智能笔101,用于获取用户使用智能笔在书写媒介102上操作时产生的点阵反馈数据,根据点阵反馈数据解析出指令坐标数据,将指令坐标数据发送给控制中心103;
书写媒介102,印刷有承载指令信息的点阵;
控制中心103,用于根据指令坐标数据进行分析匹配,得到指令执行对象和指令执行内容,将指令执行内容发送到指令执行对象进行执行;
指令执行对象,包括设备和程序,用于根据控制中心103发送的指令执行内容执行相应的操作。图5所示为指令执行对象为设备的情形,图6所示为指令执行对象为程序的情形。
书写媒介102包括纸张、显示屏、白板等。用户使用智能笔在书写媒介上的操作包括点击和书写。用户使用智能笔在书写媒介上操作时,高速摄像头捕捉笔尖所在位置的点阵图像,即点阵反馈数据,对点阵反馈数据进行解码识别得到指令坐标数据,所述指令坐标数据可包括页码、指令类型、抬笔或落笔状态、X轴坐标、Y轴坐标等。其中,指令类型包括点击指令类型和书写指令类型。书写媒介102可根据实际需要控制的情形进行设计。
如图3~5所示,为本发明提供的书写媒介的示意图。该书写媒介102上可印刷有虚拟功能按钮、或者供用户书写指令的指令书写位置。用户使用智能笔101点击虚拟功能按钮可得到点击位置处的指令坐标数据;或者用户使用智能笔101在书写媒介102的指令书写位置处书写指令,智能笔101获取各书写点的指令坐标数据;将指令坐标数据发送至控制中心103。
可选地,智能笔101,还用于判断指令坐标数据是否为与控制中心建立通讯连接的指令坐标数据;若是,则根据指令坐标数据与控制中心建立通讯连接;若否,则将指令坐标数据发送至控制中心103。
可选地,控制中心103,还用于根据指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容;或者根据指令坐标数据生成书写轨迹图;对书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
可选地,控制中心103,还用于判断指令坐标数据是否为点击指令的指令坐标数据;若是,则控制中心103根据指令坐标数据在预设的点阵指令查找表中查找到对应的指令执行对象和指令执行内容;若否,则控制中心103根据指令坐标数据生成书写轨迹图;对所述书写轨迹图进行识别分析,得到指令执行对象和指令执行内容。
可选地,智能笔101,还用于判断当前指令坐标数据是否为预设的书写结束指令坐标数据;若否,则智能笔101将当前指令坐标数据进行缓存;若是,则将所有缓存的指令坐标数据发送至控制中心103。
可选地,控制中心103,还用于判断当前指令坐标数据是否为预设的书写结束指令坐标数据;若否,则控制中心103将当前指令坐标数据进行缓存;若是,则根据所有缓存的指令坐标数据生成书写轨迹图;对书写轨迹图进行识别,当识别到预设的指令结束标志符时,将识别出的结果与预设的点阵指令查找表进行分析匹配,得到指令执行对象和指令执行内容。
可选地,控制中心103从指令执行对象获取执行结果信息,将所述执行结果信息发送给智能笔101。
可选地,智能笔101和控制中心103的其他功能可参照本发明基于智能笔的控制方法的各个实施例,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。