基于激光雷达的人机交互方法
(一)、技术领域:
本发明涉及一种人机交互方法,特别涉及一种基于激光雷达的人机交互方法。
(二)、背景技术:
传统的触控技术常为电阻屏、电容屏、表面声波屏、电磁屏、红外触摸框等技术,该类技术可以满足固定场景中尺寸较大的平板交互区域(如黑板、电视等),但对于大幅的LED屏、投影拼接屏、幕墙等交互区域,这些传统的触控技术就无法在技术、成本和体验上很好地实现。
在较低成本、较低施工量的前提下部署大幅的交互区域,主要通过视觉、激光传感器两种技术实现。对于特定的场景,视觉能够通过侧面投射不可见光带(主要指红外)使物体侧面反光来确定物体位置,但通常由于物体材质不同导致反射效果多样且无法在户外或某些含有红外光过强的室内光源(如白炽灯)中良好运行,因此完全基于视觉的触控交互方案对场景条件要求过多,该方案灵活性、适用性大打折扣。激光雷达通过与交互平面近似平行的激光,并以激光雷达硬件为原点在极坐标系内扫描,直接实现了二维点云的测量。一般激光雷达使用的是调制的红外激光,对于室外以及室内红外光源都有一定的抗干扰能力。同时,激光雷达扫描帧率高于50Hz,实时性和延迟方面媲美视觉捕捉技术。激光雷达触控技术的最大优势在于部署时十分方便,在依靠常见的标定技术时,激光雷达触控技术的标定难度和复杂度与视觉方案相比较低。
现有激光雷达触控技术中,控制主机处理激光雷达传感器的信息时忽略了触控的形态信息,即点云的形状和大小等信息,用于识别触控点的方法通常是基于聚类算法实现的,这种方法在处理多个点云时性能有限,且无法有效过滤点云附近的噪声,在触摸点附近容易出现因噪声被聚类为触摸点的伪触摸点。
(三)、发明内容:
本发明要解决的技术问题是:提供一种基于激光雷达的人机交互方法,该方法提高了人机交互的稳定性和对噪声的抵抗能力。
本发明的技术方案:
一种基于激光雷达的人机交互方法,首先建立一个激光雷达人机交互系统,该激光雷达人机交互系统含有激光雷达传感器、控制主机和人机交互屏幕,激光雷达传感器静态放置于人机交互屏幕前的周边,激光雷达传感器的扫描面与人机交互屏幕的表面平行,激光雷达传感器通过有线或无线的通信方式连接至控制主机,激光雷达传感器向控制主机发送检测到的测量信息,控制主机接收激光雷达传感器传来的测量信息,该测量信息为极坐标信息或激光雷达传感器通过计算转换出的二维点云信息;当该测量信息为极坐标信息时,控制主机将其转换为二维点云信息;二维点云信息对应点云在激光雷达传感器扫描区域上的二维位置;控制主机接着进行如下操作:
步骤1,判断是否建立了屏蔽区域;如果不是,执行步骤2;如果是,执行步骤3;
步骤2,控制主机对接收到的设定帧数的二维点云信息进行形态学运算,并将形态学运算后的数据做布尔值叠加,建立屏蔽区域,屏蔽区域中含有环境障碍物的点云信息数据、激光雷达传感器噪声所导致的浮动信息数据;
步骤3,控制主机接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息,这样可避免将不属于人机交互屏幕上的信息作为有效数据进行处理;
步骤4,对卷积核进行参数调试,以平衡触控的灵敏度和稳定性;对人机交互屏幕上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息;
步骤5,寻找连通域最小旋转外接矩形;
步骤6,进行参数过滤,过滤出非触控点(噪声)和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤;
步骤7,对得到的触控点计算连通域重心位置,得到原始的触控点坐标;
步骤8,判断是否得到了标定信息;如果不是,执行步骤9;如果是,执行步骤10;
步骤9,获取标定信息;
步骤10,通过标定信息将原始的触控点坐标转变成校准后的触控点坐标。
标定信息的详细定义:
标定信息是一个Homography矩阵,也称单应矩阵,以下简称H矩阵,以四个标定点为采集的位置点,以屏幕预设的标定位置为目标点,求解出H矩阵。
H矩阵为一个3x3的方阵:
H矩阵能够表示两平面内多组点对点的位置转换:
H矩阵表示了点之间的旋转、平移、缩放关系。
因此,目标点与触控点之间的标定信息可以由H矩阵所表示的旋转、平移、缩放关系来表示。
步骤9中获取标定信息的方法为:读入事先保存的标定信息或通过标定获取标定信息;通过标定获取标定信息的方法如下:
步骤9.1,通过物体(如手指)触摸标定区域的偏中心位置或在标定区域的偏中心位置粘贴参考物,以便初始化标定区域相对位置;
步骤9.2,判断中心基准点采样是否完成;如果不是,执行步骤9.3;如果是,执行步骤9.4;
步骤9.3,控制主机采集设定数量(足够多)的触控点形成中心基准点序列,除去中心基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到中心基准点;
步骤9.4,根据中心基准点和人机交互屏幕的四个顶点建立四个采样ROI(感兴趣区域),四个采样ROI的结果可以被缓存,不需要每次都重新建立;
步骤9.5,判断四个采样ROI内部是否都初始化了基准点;如果不是,执行步骤9.7;如果是,执行步骤9.6;
步骤9.6,采用四个采样ROI内的四个采集位置点和四个目标标定位置点拟合出标定信息,标定结束;
步骤9.7,控制主机采集新的触控点,得到新的触控点坐标,判断该新的触控点坐标是否在四个采样ROI中的任一个之内;如果不是,执行步骤9.7;如果是,执行步骤9.8;
步骤9.8,判断该采样ROI中的采样点数是否达到设定数量(足够多);如果不是,执行步骤9.7;如果是,执行步骤9.9;
步骤9.9,将该采样ROI中的采样点形成基准点序列,除去该基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到该采样ROI的基准点,即该采样ROI内部初始化了基准点,然后,执行步骤9.5。
控制主机采集触控点的方法如下:控制主机接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息,对卷积核进行参数调试,对人机交互屏幕上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息,寻找连通域最小旋转外接矩形,进行参数过滤,过滤出非触控点和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤,对得到的触控点计算连通域重心位置,得到触控点坐标。
步骤9.4中,四个采样ROI是四个矩形区域。
人机交互屏幕是指触控交互区域,人机交互屏幕为显示器本体或投影机投射的影像区域。
极坐标信息中含有步进角和该步进角对应的测距距离。
步骤1中,判断条件用一个布尔变量表示,屏蔽区域的结果存放在一个二维矩阵变量中。
形态学运算为开运算、闭运算、腐蚀和膨胀算法中的任一项或多项的组合。
实际应用时,激光雷达传感器的扫描面与人机交互屏幕的表面在一定的误差范围内平行,激光雷达传感器的扫描面与人机交互屏幕的表面之间允许有一定倾斜,但扫描面不与交互屏幕内部交互区域相交。
通过标定获取标定信息时,将初次触摸的区域作为中心参考区,并以该区域中心基准点、人机交互屏幕各顶点形成四个感兴趣区域,用于捕获标定点;标定点位置计算包含但不仅限于统计、过滤、拟合效果的数学计算;控制主机处理点云信息时将点云绘制于二维图像中,标定点位置计算及触控信息(如位置、面积大小、形状等)能够从二维图像中提取;二维图像在标定、触控过程中起到统计位置、噪声过滤、触控点大小统计用途。
形态学处理是用于包含点云信息的二维图像的,且运行在控制主机上,能够从点云信息中识别触控点,并得到触控点位置、噪声点位置、面积、形状遮罩信息,通过控制主机提供给触控应用所需的交互信息。
本发明的有益效果:
1、本发明对二维点云进行形态学处理和分析,并且在处理和分析过程中还增加了现有人机交互方法不能提供的触控点的面积、形状等形态信息,解决了现有基于激光雷达的人机交互方法不稳定、精度差、配置灵活度低的问题,因此,本发明提高了人机交互的稳定性和对噪声的抵抗能力。
2、本发明在获取标定信息的过程中极大程度减少人工干预,克服了现有采用激光雷达的人机交互方法标定时需要人工指定画出的问题,从而大幅减少了标定时的工作量,自动化程度高。
3、本发明建立了屏蔽区域,克服了异形触控交互区域无法自动屏蔽障碍物的问题。
(四)、附图说明:
图1为激光雷达人机交互系统的结构示意图;
图2为人机交互屏幕上触控点的处理示意图;
图3为建立屏蔽区域的工作过程示意图;
图4为四个采样ROI的结构示意图。
(五)、具体实施方式:
参见图1~图4,基于激光雷达的人机交互方法为:首先建立一个激光雷达人机交互系统,该激光雷达人机交互系统含有激光雷达传感器101、控制主机102和人机交互屏幕103,激光雷达传感器101静态放置于人机交互屏幕103前的周边,激光雷达传感器101的扫描面与人机交互屏幕103的表面平行,激光雷达传感器101通过有线的通信方式连接至控制主机102,激光雷达传感器101向控制主机102发送检测到的测量信息,控制主机102接收激光雷达传感器101传来的测量信息,该测量信息为极坐标信息或激光雷达传感器101通过计算转换出的二维点云信息;当该测量信息为极坐标信息时,控制主机102将其转换为二维点云信息;二维点云信息对应点云在激光雷达传感器扫描区域105上的二维位置;控制主机101接着进行如下操作:
步骤1,判断是否建立了屏蔽区域;如果不是,执行步骤2;如果是,执行步骤3;
步骤2,控制主机101对接收到的设定帧数的二维点云信息(见401)进行形态学运算(见402),并将形态学运算后的数据做布尔值叠加(见403),建立屏蔽区域,屏蔽区域中含有环境障碍物104的点云信息数据、激光雷达传感器噪声所导致的浮动信息数据;
步骤3,控制主机101接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕103上的二维点云信息,这样可避免将不属于人机交互屏幕103上的信息作为有效数据进行处理;
步骤4,对卷积核进行参数调试,以平衡触控的灵敏度和稳定性;对人机交互屏幕103上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息;
步骤5,寻找连通域最小旋转外接矩形;
步骤6,进行参数过滤,过滤出非触控点(噪声)和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤;
步骤7,对得到的触控点计算连通域重心位置,得到原始的触控点坐标;
步骤8,判断是否得到了标定信息;如果不是,执行步骤9;如果是,执行步骤10;
步骤9,获取标定信息;
步骤10,通过标定信息将原始的触控点坐标转变成校准后的触控点坐标。
图2中的202表示用手指在屏幕上制造触控点201,203表示触控点201形成的点云信息,204表示将203中的点云信息进行形态处理的结果,206为过滤出的非触控点(噪声),205为过滤出的触控点。
标定信息的详细定义:
标定信息是一个Homography矩阵,也称单应矩阵,以下简称H矩阵,以四个标定点为采集的位置点,以屏幕预设的标定位置为目标点,求解出H矩阵。
H矩阵为一个3x3的方阵:
H矩阵能够表示两平面内多组点对点的位置转换:
H矩阵表示了点之间的旋转、平移、缩放关系。
因此,目标点与触控点之间的标定信息可以由H矩阵所表示的旋转、平移、缩放关系来表示。
步骤9中获取标定信息的方法为:通过标定获取标定信息;通过标定获取标定信息的方法如下:
步骤9.1,通过物体(如手指)触摸标定区域的偏中心位置或在标定区域的偏中心位置粘贴参考物,以便初始化标定区域相对位置;
步骤9.2,判断中心基准点采样是否完成;如果不是,执行步骤9.3;如果是,执行步骤9.4;
步骤9.3,控制主机102采集设定数量(足够多)的触控点形成中心基准点序列,除去中心基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到中心基准点;
步骤9.4,根据中心基准点和人机交互屏幕103的四个顶点建立四个采样ROI(感兴趣区域),四个采样ROI的结果可以被缓存,不需要每次都重新建立;
步骤9.5,判断四个采样ROI内部是否都初始化了基准点;如果不是,执行步骤9.7;如果是,执行步骤9.6;
步骤9.6,采用四个采样ROI内的四个采集位置点和四个目标标定位置点拟合出标定信息,标定结束;
步骤9.7,控制主机102采集新的触控点,得到新的触控点坐标,判断该新的触控点坐标是否在四个采样ROI中的任一个之内;如果不是,执行步骤9.7;如果是,执行步骤9.8;
步骤9.8,判断该采样ROI中的采样点数是否达到设定数量(足够多);如果不是,执行步骤9.7;如果是,执行步骤9.9;
步骤9.9,将该采样ROI中的采样点形成基准点序列,除去该基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到该采样ROI的基准点,即该采样ROI内部初始化了基准点,然后,执行步骤9.5。
控制主机102采集触控点的方法如下:控制主机102接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕103上的二维点云信息,对卷积核进行参数调试,对人机交互屏幕103上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息,寻找连通域最小旋转外接矩形,进行参数过滤,过滤出非触控点和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤,对得到的触控点计算连通域重心位置,得到触控点坐标。
步骤9.4中,四个采样ROI是四个矩形区域(见图4中的1、2、3、4)。
人机交互屏幕103是指触控交互区域,人机交互屏幕为显示器本体。
极坐标信息中含有步进角和该步进角对应的测距距离。
步骤1中,判断条件用一个布尔变量表示,屏蔽区域的结果存放在一个二维矩阵变量中。
形态学运算为开运算、闭运算、腐蚀和膨胀算法中的任一项或多项的组合。
实际应用时,激光雷达传感器101的扫描面与人机交互屏幕103的表面在一定的误差范围内平行,激光雷达传感器101的扫描面与人机交互屏幕103的表面之间允许有一定倾斜,但扫描面不与交互屏幕内部交互区域相交。
通过标定获取标定信息时,将初次触摸的区域作为中心参考区,并以该区域中心基准点、人机交互屏幕103各顶点形成四个感兴趣区域,用于捕获标定点;标定点位置计算包含但不仅限于统计、过滤、拟合效果的数学计算;控制主机102处理点云信息时将点云绘制于二维图像中,标定点位置计算及触控信息(如位置、面积大小、形状等)能够从二维图像中提取;二维图像在标定、触控过程中起到统计位置、噪声过滤、触控点大小统计用途。
形态学处理是用于包含点云信息的二维图像的,且运行在控制主机102上,能够从点云信息中识别触控点,并得到触控点位置、噪声点位置、面积、形状遮罩信息,通过控制主机102提供给触控应用所需的交互信息。