CN110502129A - 交互控制系统 - Google Patents

Abstract

本发明提供一种交互控制系统，包括：非触控显示体，用于显示预设的显示图像画面；激光雷达，安装于所述非触控提显示体显示区域外且扫描区域覆盖向所述显示区域；在所述非触控显示体上有触控体时，所述激光雷达获取触控体的触控点与所述激光雷达之间的距离；控制模块，与激光雷达相连，包括：点识别单元，用于根据触控点与所述激光雷达之间的距离、所述激光雷达发射激光的角度识别所述触控点；触控指令单元，用于依据触控点的数据变化生成触控事件指令，并将触控指令发送至控制显示图像的控制系统以供所述控制系统执行所述触控事件指令。本发明实现与显示器(或投影墙)的实时交互，有效解决现有技术中非触控显示物不方便进行人机交互的问题。

Description

交互控制系统

技术领域

本发明属于智能控制技术领域，特别涉及触摸交互控制技术领域，具体为一种交互控制系统。

背景技术

人机交互系统是伴着计算机的诞生就发展起来的。在现代和未来的社会里，只要有人利用通信、计算机等信息处理技术，为社会、经济、环境和资源进行活动时，人机交互都是永恒的主题。鉴于它对科技发展的重要性，研究如何实现自然、便利和无所不在的人机交互，成是现代信息技术，人工智能技术研究的至高目标，也是数学、信息科学、智能科学、神经科学，以及生理、心理科学多科学交叉的新结合点，并将引导着二十一世纪前期信息和计算机研究的热门方向。

触摸屏作为一种最新的电脑输入设备，它是目前最简单、方便、自然的一种人机交互方式。它赋予了多媒体以崭新的面貌，是极富吸引力的全新多媒体交互设备。但是目前很多场景不具备触控屏，仅有一个无法触控的投影显示画面或显示屏，非常不利于进行有效的人机交互。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种交互控制系统，用于解决现有技术中非触控显示物不方便进行人机交互的问题。

为实现上述目的及其他相关目的，本发明提供一种交互控制系统，所述交互控制系统包括：非触控显示体，用于显示预设的显示图像画面；激光雷达，安装于所述非触控提显示体显示区域外且扫描区域覆盖向所述显示区域；在所述非触控显示体上有触控体时，所述激光雷达获取所述触控体的触控点与所述激光雷达之间的距离；控制模块，与所述激光雷达相连，包括：点识别单元，用于根据所述触控点与所述激光雷达之间的距离、所述激光雷达发射激光的角度识别所述触控点；触控指令单元，用于依据所述触控点的数据变化生成触控事件指令，并将所述触控指令发送至控制显示图像的控制系统以供所述控制系统执行所述触控事件指令。

于本发明的一实施例中，所述点识别单元包括：背景点单元，用于根据预设的多个触控点与所述激光雷达之间的距离和多个激光发射角度形成多个背景点数据；触控点位置单元，用于根据所述触控点与所述激光雷达之间的距离、所述激光雷达发射激光的角度形成触控点数据；有效点识别单元，用于根据所述触控点数据与所述背景点数据之间的差值是否在差值阈值范围内识别有效的触控点；合并单元，用于对多个连续的所述有效的触控点进行合并处理，获取所述触控体的触控位置数据。

于本发明的一实施例中，不连续的点独立形成所述触控体的触控位置数据。

于本发明的一实施例中，所述点识别单元还包括：边界标定单元，用于标定所述非触控显示体的显示边界；边界判定单元，用于根据所述非触控显示体的显示边界判定所述触控体的触控位置数据是否位于标定的显示边界内，并舍弃没有位于变动的显示边界内的所述触控体的触控位置数据。

于本发明的一实施例中，所述合并处理包括分别取多个连续的所述有效的触控点与所述激光雷达之间的距离的平均值、多个所述激光雷达发射激光的角度的平均值作为所述触控体的触控位置数据。

于本发明的一实施例中，所述触控指令单元包括：坐标变换单元，用于将所述触控体的触控位置数据的坐标转换为笛卡尔坐标；触控事件判断单元，将当前轮通过所述激光雷达扫描识别到的触控位置数据与上一轮触控位置数据进行对比，判断所述触控体的触控事件为滑动、长按、按下或抬起。

于本发明的一实施例中，如果距离当前轮通过所述激光雷达扫描识别到的触控位置数据的预设距离内存在上一轮触控位置数据，则为滑动或长按；如果距离当前轮通过所述激光雷达扫描识别到的触控位置数据的预设距离内不存在上一轮触控位置数据，则为按下；如果上一轮触控位置数据的预设范围内无当前轮的控位置数据，则未抬起。

于本发明的一实施例中，所述非触控显示体为具有一投影平面的平面载体；所述交互控制系统还包括向所述平面载体投射所述显示图像画面的投影仪。

于本发明的一实施例中，所述非触控显示体为一显示器。

于本发明的一实施例中，所述交互控制系统还包括一服务器，所述控制模块生成一交互过程数据并将所述交互过程数据发送至所述服务器；所述服务器向多个用户终端提供所述交互过程数据。

如上所述，本发明的交互控制系统，具有以下有益效果：

本发明通过将激光雷达与控制模块(主机)集成在一起采集数据，实现与显示器(或投影墙)的实时交互，有效解决现有技术中非触控显示物不方便进行人机交互的问题，而且本发明可以将交互结果上传到服务器，用户最终可以通过手机APP或小程序查看自己的交互信息。

附图说明

图1显示为本发明的交互控制系统的原理结构示意图。

图2显示为本发明的交互控制系统的整体原理结构示意图。

图3显示为本发明的交互控制系统的一种应用实例图。

图4显示为本发明的交互控制系统中雷达与显示图像画面的位置关系示意图。

图5显示为本发明的交互控制系统中点识别单元的原理示意图。

图6显示为本发明的交互控制系统中点识别触控点的原理示意图。

图7显示为本发明的交互控制系统中点识别单元的一种优选原理示意图。

图8显示为本发明的交互控制系统中坐标标定的示意图。

图9显示为本发明的交互控制系统中触控指令单元的原理示意图。

元件标号说明

100 交互控制系统

110 激光雷达

120 非触控显示体

130 控制模块

131 点识别单元

1311 背景点单元

1312 触控点位置单元

1313 有效点识别单元

1314 合并单元

1315 边界标定单元

1316 边界判定单元

132 触控指令单元

1321 坐标变换单元

1322 触控事件判断单元

140 服务器

150 用户终端

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本实施例的目的在于提供一种交互控制系统，用于解决现有技术中非触控显示物不方便进行人机交互的问题。

本发明的原理如下：激光器产生并发射一束光脉冲，打在物体上并反射回来，最终被接收器所接收。接收器准确地测量光脉冲从发射到被反射回的传播时间。因为光脉冲以光速传播，所以接收器总会在下一个脉冲发出之前收到前一个被反射回的脉冲。鉴于光速是已知的，传播时间即可被转换为对距离的测量。墙面可以通过投影或显示屏成像显示画面。通过算法可以将雷达采集到的数据换算成坐标数据，然后将手与墙面的触摸转换为模拟鼠标或手势的操作。通过该设备可以将投影的墙面或显示屏转化为触摸屏。

以下将详细阐述本发明的交互控制系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的交互控制系统。

如图1所示，本实施例中，所述交互控制系统100包括：激光雷达110，非触控显示体120和控制模块130(主机)。

于本实施例中，所述非触控显示体120用于显示预设的显示图像画面。

具体地，于本实施例中，所述非触控显示体120为具有一投影平面的平面载体；所述平面载体例如为墙体，投影幕布等；所述交互控制系统100还包括向所述平面载体投射所述显示图像画面的投影仪。

于另一实施例中，所述非触控显示体120也可以为一显示器。

图2和图3所示，于本实施例中，所述交互控制系统100还包括一服务器140，所述控制模块130生成一交互过程数据并将所述交互过程数据发送至所述服务器140；所述服务器140向多个用户终端150提供所述交互过程数据。例如，用户与墙面交互完成后，计算机会记录用户的交互过程，并将记录上传至服务器140。用户通过手机访问服务器140，可以查看交互结果。

于本实施例中，如图4所示，所述激光雷达110安装于所述非触控提显示体显示区域外且扫描区域覆盖向所述显示区域；在所述非触控显示体120上有触控体时，所述激光雷达110获取所述触控体的触控点与所述激光雷达110之间的距离。

投影仪在墙面上会投影下一块屏幕，或者使用显示屏。用户通过与墙面接触，可以识别到交互的点。

具体地，雷达扫描一轮会得到很多点。以某固态雷达为例，雷达在扫描范围内会接收到320个点，分布在108度范围内，每个点会对应一个角度。每个点有距离D和角度A两个参数。

激光雷达110安装在投影区域之外，根据不同的雷达，可以调整雷达安装位置，对于固态雷达(扫描角度90°左右)可以装在墙面识别区域的左上角或右上角，对于机械雷达(扫描角度大于180°)，可以装在墙面中间正上方。激光雷达110发射红外光，遇到障碍物会反射，接收器可以测得发射与反射的时间差，而光速是不变的，所以距离等于光速乘以时间差的一半，可以知道障碍物距离(TOF：time offly算法)L＝c*t/2。

通过雷达内部的结构可以知道发射激光的角度，也就是障碍物上扫描到的各个点相对于雷达中心的角度，这样就能确认识别到的物体的大致区域，如果根据角度和距离判断物体在墙体识别区域外，则抛弃该点，只保留在识别区域内部的点。剩下保留下来的扫描的点仍然很多，需要对点进行合并。根据角度遍历雷达一轮扫描留下的点，遇到连续的点，根据算法，找到触摸过程距离雷达最近的点，会对角度和距离取平均，根据此算法会把相邻的多点合并成一点，该点就是用户交互的位置，后续会继续详细说明。

于本实施例中，所述控制模块130与所述激光雷达110相连，包括：点识别单元131和触控指令单元132。

于本实施例中，所述点识别单元131用于根据所述触控点与所述激光雷达110之间的距离、所述激光雷达110发射激光的角度识别所述触控点。

具体地，如图5所示，于本实施例中，所述点识别单元131包括：背景点单元1311，触控点位置单元1312，有效点识别单元1313以及合并单元1314。

所述背景点单元1311用于根据预设的多个触控点与所述激光雷达110之间的距离和多个激光发射角度形成多个背景点数据。

例如，激光雷达110开机时存25轮扫描点，每轮扫描点根据雷达不同大约为300-1000个点。每个扫描点间距为0.2-0.3°。将每个角度的点(25个)取中位数(取中位数可以避免噪点)，将这些点作为背景点。

所述触控点位置单元1312用于根据所述触控点与所述激光雷达110之间的距离、所述激光雷达110发射激光的角度形成触控点数据。

所述有效点识别单元1313用于根据所述触控点数据与所述背景点数据之间的差值是否在差值阈值范围内识别有效的触控点。

实际当物体出现在雷达探测面的时候，雷达数据表现如图6所示。

例如，当物体放在屏幕上面的时候，物体所在位置的数据会明显与背景不一样，将得到的新数据(距离)减去背景数据(距离)，得到的数据小于-10cm时(得到的是负数，为避免极差跳动的影响阈值设置为10cm，根据现场环境不同，可以调整)，认为该数据为有效点。

所述合并单元1314用于对多个连续的所述有效的触控点进行合并处理，获取所述触控体的触控位置数据。

具体地，于本实施例中，所述合并处理包括分别取多个连续的所述有效的触控点与所述激光雷达110之间的距离的平均值、多个所述激光雷达110发射激光的角度的平均值作为所述触控体的触控位置数据。

取连续的有效点，将这些个点所在的角度取平均值，得到触控点角度A，对这几个点距离取平均值，得到触控点的距离D。

其中，于本实施例中，不连续的点独立形成所述触控体的触控位置数据。不连续的点会被合并成不同的点，可以实现墙面的多点识别，根据雷达的不同，最多可以实现最多同时5-10点以上的识别。也就是说，多个触控点的时候，输出多个触控点的坐标得到物体位置(d1,a1)，(d2,a2)，(d3,a3)……

于本实施例中，如图7所示，所述点识别单元131还包括：边界标定单元1315和边界判定单元1316。

于本实施例中，所述边界标定单元1315用于标定所述非触控显示体120的显示边界；所述边界判定单元1316用于根据所述非触控显示体120的显示边界判定所述触控体的触控位置数据是否位于标定的显示边界内，并舍弃没有位于变动的显示边界内的所述触控体的触控位置数据。

也就是说，根据预先标定的边界，判定合并后的点是否在边界之内，如果超出边界，则抛弃该点。

于本实施例中，所述触控指令单元132用于依据所述触控点的数据变化生成触控事件指令，并将所述触控指令发送至控制显示图像的控制系统以供所述控制系统执行所述触控事件指令

具体地，于本实施例中，如图9所示，所述触控指令单元132包括：坐标变换单元1321和触控事件判断单元1322。

如图8所示，所述坐标变换单元1321用于将所述触控体的触控位置数据的坐标转换为笛卡尔坐标。

具体地，如图8所示，在屏幕上标定两个以上的点，可以获取这些点在屏幕上的位置和距离雷达位置的数据，计算雷达上的点映射到屏幕的坐标变换关系。

角度α，距离雷达长度d(单位是mm)，在屏幕位置x，y(单位是mm)，只需要两个点的对应关系就可以求出φ、m、n的值。实际上，我们需要的是物体在屏幕上的位置，不同的投影仪，投影距离就会不同，需要将x,y映射到屏幕上。可以使用物体所在位置与屏幕长宽的比值，设为(u,v)。投影比例系数设为(k,l)，那么x＝k*u,y＝l*v。

实际标定的过程建议为：

投影仪投射出4个点，分别在屏幕四个顶点的位置。得到数据：

雷达数据(d1,a1)对应屏幕上的点(0,0)，雷达数据(d2,a2)对应屏幕上的点(0,1)，雷达数据(d3,a3)对应屏幕上的点(0,1)。

所述触控事件判断单元1322将当前轮通过所述激光雷达110扫描识别到的触控位置数据与上一轮触控位置数据进行对比，判断所述触控体的触控事件为滑动、长按、按下或抬起。

具体地，于本实施例中，如果距离当前轮通过所述激光雷达110扫描识别到的触控位置数据的预设距离内存在上一轮触控位置数据，则为滑动或长按；如果距离当前轮通过所述激光雷达110扫描识别到的触控位置数据的预设距离内不存在上一轮触控位置数据，则为按下；如果上一轮触控位置数据的预设范围内无当前轮的控位置数据，则未抬起。

例如，每一轮识别会得到一些合并后在识别范围内的点(d，a)1。这些点会进行坐标变换，由极坐标变为笛卡尔坐标(x，y)1。在该点会与上一轮的点(x，y)0，进行比对。如果(x，y)1的20cm内有上一轮的点，则认为该点未抬起。可以识别为滑动或长按(移动距离不同)，如果没有，则判定为按下。然后对上一轮的点(x，y)0进行判定，如果范围内无新一轮的点，则判定为抬起。这样可以给系统发送按下，抬起，滑动等事件和坐标以此来模拟触屏的各种操作。

本实施例的交互控制系统100以较低的成本，在大尺寸范围内人与墙面的交互问题，同时由于主机与雷达进行了集成。所以便于安装。相比触摸屏技术，本方案需要的只是一个激光雷达110，在需要较大面积识别的情况下，极大的降低了成本。相比红外光幕技术，红外光幕技术在使用比较大的球类与墙面互动，或者使用的物体接触角度不对时，会有识别丢失的现象。同时，红外光幕受发射功率影响在需要大范围识别的情况下无法使用。同时需要多次打孔，安装比较复杂。相比体感识别技术，体感识别技术与墙面无交互，用户体验不够强烈，对于精细操作识别困难。当有多人同时在画面中时，体感摄像头会识别混乱。

综上所述，本发明通过将激光雷达与控制模块(主机)集成在一起采集数据，实现与显示器(或投影墙)的实时交互，有效解决现有技术中非触控显示物不方便进行人机交互的问题，而且本发明可以将交互结果上传到服务器，用户最终可以通过手机APP或小程序查看自己的交互信息。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种交互控制系统，其特征在于，所述交互控制系统包括：

非触控显示体，用于显示预设的显示图像画面；

激光雷达，安装于所述非触控提显示体显示区域外且扫描区域覆盖向所述显示区域；在所述非触控显示体上有触控体时，所述激光雷达获取所述触控体的触控点与所述激光雷达之间的距离；

控制模块，与所述激光雷达相连，包括：

点识别单元，用于根据所述触控点与所述激光雷达之间的距离、所述激光雷达发射激光的角度识别所述触控点；

触控指令单元，用于依据所述触控点的数据变化生成触控事件指令，并将所述触控指令发送至控制显示图像的控制系统以供所述控制系统执行所述触控事件指令。

2.根据权利要求1所述的交互控制系统，其特征在于，所述点识别单元包括：

背景点单元，用于根据预设的多个触控点与所述激光雷达之间的距离和多个激光发射角度形成多个背景点数据；

触控点位置单元，用于根据所述触控点与所述激光雷达之间的距离、所述激光雷达发射激光的角度形成触控点数据；

有效点识别单元，用于根据所述触控点数据与所述背景点数据之间的差值是否在差值阈值范围内识别有效的触控点；

合并单元，用于对多个连续的所述有效的触控点进行合并处理，获取所述触控体的触控位置数据。

3.根据权利要求2所述的交互控制系统，其特征在于，不连续的点独立形成所述触控体的触控位置数据。

4.根据权利要求2所述的交互控制系统，其特征在于，所述点识别单元还包括：

边界标定单元，用于标定所述非触控显示体的显示边界；

边界判定单元，用于根据所述非触控显示体的显示边界判定所述触控体的触控位置数据是否位于标定的显示边界内，并舍弃没有位于变动的显示边界内的所述触控体的触控位置数据。

5.根据权利要求2所述的交互控制系统，其特征在于，所述合并处理包括分别取多个连续的所述有效的触控点与所述激光雷达之间的距离的平均值、多个所述激光雷达发射激光的角度的平均值作为所述触控体的触控位置数据。

6.根据权利要求2所述的交互控制系统，其特征在于，所述触控指令单元包括：

坐标变换单元，用于将所述触控体的触控位置数据的坐标转换为笛卡尔坐标；

触控事件判断单元，将当前轮通过所述激光雷达扫描识别到的触控位置数据与上一轮触控位置数据进行对比，判断所述触控体的触控事件为滑动、长按、按下或抬起。

7.根据权利要求6所述的交互控制系统，其特征在于，如果距离当前轮通过所述激光雷达扫描识别到的触控位置数据的预设距离内存在上一轮触控位置数据，则为滑动或长按；如果距离当前轮通过所述激光雷达扫描识别到的触控位置数据的预设距离内不存在上一轮触控位置数据，则为按下；如果上一轮触控位置数据的预设范围内无当前轮的控位置数据，则未抬起。

8.根据权利要求1所述的交互控制系统，其特征在于，所述非触控显示体为具有一投影平面的平面载体；所述交互控制系统还包括向所述平面载体投射所述显示图像画面的投影仪。

9.根据权利要求1所述的交互控制系统，其特征在于，所述非触控显示体为一显示器。

10.根据权利要求1所述的交互控制系统，其特征在于，所述交互控制系统还包括一服务器，所述控制模块生成一交互过程数据并将所述交互过程数据发送至所述服务器；所述服务器向多个用户终端提供所述交互过程数据。