CN110413143B - 基于激光雷达的人机交互方法 - Google Patents

基于激光雷达的人机交互方法 Download PDF

Info

Publication number
CN110413143B
CN110413143B CN201811385910.0A CN201811385910A CN110413143B CN 110413143 B CN110413143 B CN 110413143B CN 201811385910 A CN201811385910 A CN 201811385910A CN 110413143 B CN110413143 B CN 110413143B
Authority
CN
China
Prior art keywords
information
man
laser radar
machine interaction
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811385910.0A
Other languages
English (en)
Other versions
CN110413143A (zh
Inventor
党战雄
卢新国
刘咏晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHONGTIAN ZHILING (BEIJING) TECHNOLOGY Co.,Ltd.
Original Assignee
Zhongtian Zhiling Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongtian Zhiling Beijing Technology Co ltd filed Critical Zhongtian Zhiling Beijing Technology Co ltd
Priority to CN201811385910.0A priority Critical patent/CN110413143B/zh
Publication of CN110413143A publication Critical patent/CN110413143A/zh
Application granted granted Critical
Publication of CN110413143B publication Critical patent/CN110413143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种基于激光雷达的人机交互方法;具体为:建立一个激光雷达人机交互系统,激光雷达人机交互系统含有激光雷达传感器、控制主机和人机交互屏幕,控制主机接收激光雷达传感器传来的信息,进行如下操作:1,建立屏蔽区域;2,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息;3,对二维点云信息进行基于卷积核的形态学运算,得到连通域信息;4,寻找连通域最小旋转外接矩形;5,进行参数过滤,过滤出非触控点和触控点;6,对得到的触控点计算连通域重心位置,得到原始的触控点坐标;7,通过标定信息将原始的触控点坐标转变成校准后的触控点坐标。本发明提高了人机交互的稳定性和对噪声的抵抗能力。

Description

基于激光雷达的人机交互方法
(一)、技术领域:
本发明涉及一种人机交互方法,特别涉及一种基于激光雷达的人机交互方法。
(二)、背景技术:
传统的触控技术常为电阻屏、电容屏、表面声波屏、电磁屏、红外触摸框等技术,该类技术可以满足固定场景中尺寸较大的平板交互区域(如黑板、电视等),但对于大幅的LED屏、投影拼接屏、幕墙等交互区域,这些传统的触控技术就无法在技术、成本和体验上很好地实现。
在较低成本、较低施工量的前提下部署大幅的交互区域,主要通过视觉、激光传感器两种技术实现。对于特定的场景,视觉能够通过侧面投射不可见光带(主要指红外)使物体侧面反光来确定物体位置,但通常由于物体材质不同导致反射效果多样且无法在户外或某些含有红外光过强的室内光源(如白炽灯)中良好运行,因此完全基于视觉的触控交互方案对场景条件要求过多,该方案灵活性、适用性大打折扣。激光雷达通过与交互平面近似平行的激光,并以激光雷达硬件为原点在极坐标系内扫描,直接实现了二维点云的测量。一般激光雷达使用的是调制的红外激光,对于室外以及室内红外光源都有一定的抗干扰能力。同时,激光雷达扫描帧率高于50Hz,实时性和延迟方面媲美视觉捕捉技术。激光雷达触控技术的最大优势在于部署时十分方便,在依靠常见的标定技术时,激光雷达触控技术的标定难度和复杂度与视觉方案相比较低。
现有激光雷达触控技术中,控制主机处理激光雷达传感器的信息时忽略了触控的形态信息,即点云的形状和大小等信息,用于识别触控点的方法通常是基于聚类算法实现的,这种方法在处理多个点云时性能有限,且无法有效过滤点云附近的噪声,在触摸点附近容易出现因噪声被聚类为触摸点的伪触摸点。
(三)、发明内容:
本发明要解决的技术问题是:提供一种基于激光雷达的人机交互方法,该方法提高了人机交互的稳定性和对噪声的抵抗能力。
本发明的技术方案:
一种基于激光雷达的人机交互方法,首先建立一个激光雷达人机交互系统,该激光雷达人机交互系统含有激光雷达传感器、控制主机和人机交互屏幕,激光雷达传感器静态放置于人机交互屏幕前的周边,激光雷达传感器的扫描面与人机交互屏幕的表面平行,激光雷达传感器通过有线或无线的通信方式连接至控制主机,激光雷达传感器向控制主机发送检测到的测量信息,控制主机接收激光雷达传感器传来的测量信息,该测量信息为极坐标信息或激光雷达传感器通过计算转换出的二维点云信息;当该测量信息为极坐标信息时,控制主机将其转换为二维点云信息;二维点云信息对应点云在激光雷达传感器扫描区域上的二维位置;控制主机接着进行如下操作:
步骤1,判断是否建立了屏蔽区域;如果不是,执行步骤2;如果是,执行步骤3;
步骤2,控制主机对接收到的设定帧数的二维点云信息进行形态学运算,并将形态学运算后的数据做布尔值叠加,建立屏蔽区域,屏蔽区域中含有环境障碍物的点云信息数据、激光雷达传感器噪声所导致的浮动信息数据;
步骤3,控制主机接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息,这样可避免将不属于人机交互屏幕上的信息作为有效数据进行处理;
步骤4,对卷积核进行参数调试,以平衡触控的灵敏度和稳定性;对人机交互屏幕上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息;
步骤5,寻找连通域最小旋转外接矩形;
步骤6,进行参数过滤,过滤出非触控点(噪声)和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤;
步骤7,对得到的触控点计算连通域重心位置,得到原始的触控点坐标;
步骤8,判断是否得到了标定信息;如果不是,执行步骤9;如果是,执行步骤10;
步骤9,获取标定信息;
步骤10,通过标定信息将原始的触控点坐标转变成校准后的触控点坐标。
标定信息的详细定义:
标定信息是一个Homography矩阵,也称单应矩阵,以下简称H矩阵,以四个标定点为采集的位置点,以屏幕预设的标定位置为目标点,求解出H矩阵。
H矩阵为一个3x3的方阵:
Figure BDA0001872942900000031
H矩阵能够表示两平面内多组点对点的位置转换:
Figure BDA0001872942900000032
H矩阵表示了点之间的旋转、平移、缩放关系。
因此,目标点与触控点之间的标定信息可以由H矩阵所表示的旋转、平移、缩放关系来表示。
步骤9中获取标定信息的方法为:读入事先保存的标定信息或通过标定获取标定信息;通过标定获取标定信息的方法如下:
步骤9.1,通过物体(如手指)触摸标定区域的偏中心位置或在标定区域的偏中心位置粘贴参考物,以便初始化标定区域相对位置;
步骤9.2,判断中心基准点采样是否完成;如果不是,执行步骤9.3;如果是,执行步骤9.4;
步骤9.3,控制主机采集设定数量(足够多)的触控点形成中心基准点序列,除去中心基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到中心基准点;
步骤9.4,根据中心基准点和人机交互屏幕的四个顶点建立四个采样ROI(感兴趣区域),四个采样ROI的结果可以被缓存,不需要每次都重新建立;
步骤9.5,判断四个采样ROI内部是否都初始化了基准点;如果不是,执行步骤9.7;如果是,执行步骤9.6;
步骤9.6,采用四个采样ROI内的四个采集位置点和四个目标标定位置点拟合出标定信息,标定结束;
步骤9.7,控制主机采集新的触控点,得到新的触控点坐标,判断该新的触控点坐标是否在四个采样ROI中的任一个之内;如果不是,执行步骤9.7;如果是,执行步骤9.8;
步骤9.8,判断该采样ROI中的采样点数是否达到设定数量(足够多);如果不是,执行步骤9.7;如果是,执行步骤9.9;
步骤9.9,将该采样ROI中的采样点形成基准点序列,除去该基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到该采样ROI的基准点,即该采样ROI内部初始化了基准点,然后,执行步骤9.5。
控制主机采集触控点的方法如下:控制主机接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息,对卷积核进行参数调试,对人机交互屏幕上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息,寻找连通域最小旋转外接矩形,进行参数过滤,过滤出非触控点和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤,对得到的触控点计算连通域重心位置,得到触控点坐标。
步骤9.4中,四个采样ROI是四个矩形区域。
人机交互屏幕是指触控交互区域,人机交互屏幕为显示器本体或投影机投射的影像区域。
极坐标信息中含有步进角和该步进角对应的测距距离。
步骤1中,判断条件用一个布尔变量表示,屏蔽区域的结果存放在一个二维矩阵变量中。
形态学运算为开运算、闭运算、腐蚀和膨胀算法中的任一项或多项的组合。
实际应用时,激光雷达传感器的扫描面与人机交互屏幕的表面在一定的误差范围内平行,激光雷达传感器的扫描面与人机交互屏幕的表面之间允许有一定倾斜,但扫描面不与交互屏幕内部交互区域相交。
通过标定获取标定信息时,将初次触摸的区域作为中心参考区,并以该区域中心基准点、人机交互屏幕各顶点形成四个感兴趣区域,用于捕获标定点;标定点位置计算包含但不仅限于统计、过滤、拟合效果的数学计算;控制主机处理点云信息时将点云绘制于二维图像中,标定点位置计算及触控信息(如位置、面积大小、形状等)能够从二维图像中提取;二维图像在标定、触控过程中起到统计位置、噪声过滤、触控点大小统计用途。
形态学处理是用于包含点云信息的二维图像的,且运行在控制主机上,能够从点云信息中识别触控点,并得到触控点位置、噪声点位置、面积、形状遮罩信息,通过控制主机提供给触控应用所需的交互信息。
本发明的有益效果:
1、本发明对二维点云进行形态学处理和分析,并且在处理和分析过程中还增加了现有人机交互方法不能提供的触控点的面积、形状等形态信息,解决了现有基于激光雷达的人机交互方法不稳定、精度差、配置灵活度低的问题,因此,本发明提高了人机交互的稳定性和对噪声的抵抗能力。
2、本发明在获取标定信息的过程中极大程度减少人工干预,克服了现有采用激光雷达的人机交互方法标定时需要人工指定画出的问题,从而大幅减少了标定时的工作量,自动化程度高。
3、本发明建立了屏蔽区域,克服了异形触控交互区域无法自动屏蔽障碍物的问题。
(四)、附图说明:
图1为激光雷达人机交互系统的结构示意图;
图2为人机交互屏幕上触控点的处理示意图;
图3为建立屏蔽区域的工作过程示意图;
图4为四个采样ROI的结构示意图。
(五)、具体实施方式:
参见图1~图4,基于激光雷达的人机交互方法为:首先建立一个激光雷达人机交互系统,该激光雷达人机交互系统含有激光雷达传感器101、控制主机102和人机交互屏幕103,激光雷达传感器101静态放置于人机交互屏幕103前的周边,激光雷达传感器101的扫描面与人机交互屏幕103的表面平行,激光雷达传感器101通过有线的通信方式连接至控制主机102,激光雷达传感器101向控制主机102发送检测到的测量信息,控制主机102接收激光雷达传感器101传来的测量信息,该测量信息为极坐标信息或激光雷达传感器101通过计算转换出的二维点云信息;当该测量信息为极坐标信息时,控制主机102将其转换为二维点云信息;二维点云信息对应点云在激光雷达传感器扫描区域105上的二维位置;控制主机101接着进行如下操作:
步骤1,判断是否建立了屏蔽区域;如果不是,执行步骤2;如果是,执行步骤3;
步骤2,控制主机101对接收到的设定帧数的二维点云信息(见401)进行形态学运算(见402),并将形态学运算后的数据做布尔值叠加(见403),建立屏蔽区域,屏蔽区域中含有环境障碍物104的点云信息数据、激光雷达传感器噪声所导致的浮动信息数据;
步骤3,控制主机101接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕103上的二维点云信息,这样可避免将不属于人机交互屏幕103上的信息作为有效数据进行处理;
步骤4,对卷积核进行参数调试,以平衡触控的灵敏度和稳定性;对人机交互屏幕103上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息;
步骤5,寻找连通域最小旋转外接矩形;
步骤6,进行参数过滤,过滤出非触控点(噪声)和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤;
步骤7,对得到的触控点计算连通域重心位置,得到原始的触控点坐标;
步骤8,判断是否得到了标定信息;如果不是,执行步骤9;如果是,执行步骤10;
步骤9,获取标定信息;
步骤10,通过标定信息将原始的触控点坐标转变成校准后的触控点坐标。
图2中的202表示用手指在屏幕上制造触控点201,203表示触控点201形成的点云信息,204表示将203中的点云信息进行形态处理的结果,206为过滤出的非触控点(噪声),205为过滤出的触控点。
标定信息的详细定义:
标定信息是一个Homography矩阵,也称单应矩阵,以下简称H矩阵,以四个标定点为采集的位置点,以屏幕预设的标定位置为目标点,求解出H矩阵。
H矩阵为一个3x3的方阵:
Figure BDA0001872942900000071
H矩阵能够表示两平面内多组点对点的位置转换:
Figure BDA0001872942900000072
H矩阵表示了点之间的旋转、平移、缩放关系。
因此,目标点与触控点之间的标定信息可以由H矩阵所表示的旋转、平移、缩放关系来表示。
步骤9中获取标定信息的方法为:通过标定获取标定信息;通过标定获取标定信息的方法如下:
步骤9.1,通过物体(如手指)触摸标定区域的偏中心位置或在标定区域的偏中心位置粘贴参考物,以便初始化标定区域相对位置;
步骤9.2,判断中心基准点采样是否完成;如果不是,执行步骤9.3;如果是,执行步骤9.4;
步骤9.3,控制主机102采集设定数量(足够多)的触控点形成中心基准点序列,除去中心基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到中心基准点;
步骤9.4,根据中心基准点和人机交互屏幕103的四个顶点建立四个采样ROI(感兴趣区域),四个采样ROI的结果可以被缓存,不需要每次都重新建立;
步骤9.5,判断四个采样ROI内部是否都初始化了基准点;如果不是,执行步骤9.7;如果是,执行步骤9.6;
步骤9.6,采用四个采样ROI内的四个采集位置点和四个目标标定位置点拟合出标定信息,标定结束;
步骤9.7,控制主机102采集新的触控点,得到新的触控点坐标,判断该新的触控点坐标是否在四个采样ROI中的任一个之内;如果不是,执行步骤9.7;如果是,执行步骤9.8;
步骤9.8,判断该采样ROI中的采样点数是否达到设定数量(足够多);如果不是,执行步骤9.7;如果是,执行步骤9.9;
步骤9.9,将该采样ROI中的采样点形成基准点序列,除去该基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到该采样ROI的基准点,即该采样ROI内部初始化了基准点,然后,执行步骤9.5。
控制主机102采集触控点的方法如下:控制主机102接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕103上的二维点云信息,对卷积核进行参数调试,对人机交互屏幕103上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息,寻找连通域最小旋转外接矩形,进行参数过滤,过滤出非触控点和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤,对得到的触控点计算连通域重心位置,得到触控点坐标。
步骤9.4中,四个采样ROI是四个矩形区域(见图4中的1、2、3、4)。
人机交互屏幕103是指触控交互区域,人机交互屏幕为显示器本体。
极坐标信息中含有步进角和该步进角对应的测距距离。
步骤1中,判断条件用一个布尔变量表示,屏蔽区域的结果存放在一个二维矩阵变量中。
形态学运算为开运算、闭运算、腐蚀和膨胀算法中的任一项或多项的组合。
实际应用时,激光雷达传感器101的扫描面与人机交互屏幕103的表面在一定的误差范围内平行,激光雷达传感器101的扫描面与人机交互屏幕103的表面之间允许有一定倾斜,但扫描面不与交互屏幕内部交互区域相交。
通过标定获取标定信息时,将初次触摸的区域作为中心参考区,并以该区域中心基准点、人机交互屏幕103各顶点形成四个感兴趣区域,用于捕获标定点;标定点位置计算包含但不仅限于统计、过滤、拟合效果的数学计算;控制主机102处理点云信息时将点云绘制于二维图像中,标定点位置计算及触控信息(如位置、面积大小、形状等)能够从二维图像中提取;二维图像在标定、触控过程中起到统计位置、噪声过滤、触控点大小统计用途。
形态学处理是用于包含点云信息的二维图像的,且运行在控制主机102上,能够从点云信息中识别触控点,并得到触控点位置、噪声点位置、面积、形状遮罩信息,通过控制主机102提供给触控应用所需的交互信息。

Claims (8)

1.一种基于激光雷达的人机交互方法,首先建立一个激光雷达人机交互系统,该激光雷达人机交互系统含有激光雷达传感器、控制主机和人机交互屏幕,激光雷达传感器静态放置于人机交互屏幕前的周边,激光雷达传感器的扫描面与人机交互屏幕的表面平行,激光雷达传感器通过有线或无线的通信方式连接至控制主机,激光雷达传感器向控制主机发送检测到的测量信息,其特征是:控制主机接收激光雷达传感器传来的测量信息,该测量信息为极坐标信息或激光雷达传感器通过计算转换出的二维点云信息;当该测量信息为极坐标信息时,控制主机将其转换为二维点云信息;二维点云信息对应点云在激光雷达传感器扫描区域上的二维位置;控制主机接着进行如下操作:
步骤1,判断是否建立了屏蔽区域;如果不是,执行步骤2;如果是,执行步骤3;
步骤2,控制主机对接收到的设定帧数的二维点云信息进行形态学运算,并将形态学运算后的数据做布尔值叠加,建立屏蔽区域,屏蔽区域中含有环境障碍物的点云信息数据、激光雷达传感器噪声所导致的浮动信息数据;
步骤3,控制主机接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息;
步骤4,对卷积核进行参数调试;对人机交互屏幕上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息;
步骤5,寻找连通域最小旋转外接矩形;
步骤6,进行参数过滤,过滤出非触控点和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤;
步骤7,对得到的触控点计算连通域重心位置,得到原始的触控点坐标;
步骤8,判断是否得到了标定信息;如果不是,执行步骤9;如果是,执行步骤10;
步骤9,获取标定信息;
步骤10,通过标定信息将原始的触控点坐标转变成校准后的触控点坐标。
2.根据权利要求1所述的基于激光雷达的人机交互方法,其特征是:所述步骤9中获取标定信息的方法为:读入事先保存的标定信息或通过标定获取标定信息;通过标定获取标定信息的方法如下:
步骤9.1,通过物体触摸标定区域的偏中心位置或在标定区域的偏中心位置粘贴参考物;
步骤9.2,判断中心基准点采样是否完成;如果不是,执行步骤9.3;如果是,执行步骤9.4;
步骤9.3,控制主机采集设定数量的触控点形成中心基准点序列,除去中心基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到中心基准点;
步骤9.4,根据中心基准点和人机交互屏幕的四个顶点建立四个采样感兴趣区域;
步骤9.5,判断四个采样感兴趣区域内部是否都初始化了基准点;如果不是,执行步骤9.7;如果是,执行步骤9.6;
步骤9.6,采用四个采样感兴趣区域内的四个采集位置点和四个目标标定位置点拟合出标定信息,标定结束;
步骤9.7,控制主机采集新的触控点,得到新的触控点坐标,判断该新的触控点坐标是否在四个采样感兴趣区域中的任一个之内;如果不是,执行步骤9.7;如果是,执行步骤9.8;
步骤9.8,判断该采样感兴趣区域中的采样点数是否达到设定数量;如果不是,执行步骤9.7;如果是,执行步骤9.9;
步骤9.9,将该采样感兴趣区域中的采样点形成基准点序列,除去该基准点序列的前、后部分,剩余中间80%的采样点,对剩余的采样点求平均位置得到该采样感兴趣区域的基准点,即该采样感兴趣区域内部初始化了基准点,然后,执行步骤9.5。
3.根据权利要求2所述的基于激光雷达的人机交互方法,其特征是:所述控制主机采集触控点的方法如下:控制主机接收二维点云信息,将位于屏蔽区域内的信息数据清空,得到人机交互屏幕上的二维点云信息,对卷积核进行参数调试,对人机交互屏幕上的二维点云信息进行基于卷积核的形态学运算,得到连通域信息,寻找连通域最小旋转外接矩形,进行参数过滤,过滤出非触控点和人机交互屏幕上的触控点,过滤时至少围绕最小旋转外接矩形边长大小及比例、连通域面积两个指标进行过滤,对得到的触控点计算连通域重心位置,得到触控点坐标。
4.根据权利要求2所述的基于激光雷达的人机交互方法,其特征是:所述步骤9.4中,四个采样感兴趣区域是四个矩形区域。
5.根据权利要求1所述的基于激光雷达的人机交互方法,其特征是:所述人机交互屏幕是指触控交互区域,人机交互屏幕为显示器本体或投影机投射的影像区域。
6.根据权利要求1所述的基于激光雷达的人机交互方法,其特征是:所述极坐标信息中含有步进角和该步进角对应的测距距离。
7.根据权利要求1所述的基于激光雷达的人机交互方法,其特征是:所述步骤1中,判断条件用一个布尔变量表示,屏蔽区域的结果存放在一个二维矩阵变量中。
8.根据权利要求1所述的基于激光雷达的人机交互方法,其特征是:所述形态学运算为开运算、闭运算、腐蚀和膨胀算法中的任一项或多项的组合。
CN201811385910.0A 2018-11-20 2018-11-20 基于激光雷达的人机交互方法 Active CN110413143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811385910.0A CN110413143B (zh) 2018-11-20 2018-11-20 基于激光雷达的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811385910.0A CN110413143B (zh) 2018-11-20 2018-11-20 基于激光雷达的人机交互方法

Publications (2)

Publication Number Publication Date
CN110413143A CN110413143A (zh) 2019-11-05
CN110413143B true CN110413143B (zh) 2020-04-28

Family

ID=68357438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811385910.0A Active CN110413143B (zh) 2018-11-20 2018-11-20 基于激光雷达的人机交互方法

Country Status (1)

Country Link
CN (1) CN110413143B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314637A (zh) * 2020-03-01 2020-06-19 北京联控科技发展有限公司 固态激光雷达触摸电视
CN111831162B (zh) * 2020-07-23 2023-10-10 吕嘉昳 基于触摸屏的毛笔笔形校正方法
CN112729371A (zh) * 2020-12-30 2021-04-30 嘉兴毅拓汽车科技有限公司 一种用于传感器的标定系统及其标定方法
CN115016664A (zh) * 2021-07-23 2022-09-06 武汉河松智能科技有限公司 一种基于激光雷达的显示触控控制方法及控制系统
CN114185029B (zh) * 2021-12-02 2022-07-19 北京海兰信数据科技股份有限公司 一种雷达屏蔽区的数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423721A (zh) * 2013-09-02 2015-03-18 苗注雨 基于雷达眼的无框式多点触控人机交互方法及系统
CN106530380A (zh) * 2016-09-20 2017-03-22 长安大学 一种基于三维激光雷达的地面点云分割方法
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092129B2 (en) * 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
CN105306991A (zh) * 2015-09-09 2016-02-03 浙江工业大学 一种基于激光雷达的交互电视
CN105320367A (zh) * 2015-09-09 2016-02-10 浙江工业大学 一种舞台交互系统
CN105335021A (zh) * 2015-09-09 2016-02-17 浙江工业大学 基于激光雷达的人机交互系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423721A (zh) * 2013-09-02 2015-03-18 苗注雨 基于雷达眼的无框式多点触控人机交互方法及系统
CN106530380A (zh) * 2016-09-20 2017-03-22 长安大学 一种基于三维激光雷达的地面点云分割方法
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端

Also Published As

Publication number Publication date
CN110413143A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110413143B (zh) 基于激光雷达的人机交互方法
US8560972B2 (en) Surface UI for gesture-based interaction
US7944454B2 (en) System and method for user monitoring interface of 3-D video streams from multiple cameras
US20070273842A1 (en) Method And Apparatus For Inhibiting A Subject's Eyes From Being Exposed To Projected Light
CN110717494B (zh) Android移动端室内场景三维重建及语义分割方法
CN104331193A (zh) 一种红外精准多点触控平台
CN108363482A (zh) 一种基于双目结构光的三维手势控制智能电视的方法
CN104834901A (zh) 一种基于双目立体视觉的人脸检测方法、装置及系统
CN109782435B (zh) 多场景空气成像和交互系统
CN107949851B (zh) 在场景内的物体的端点的快速和鲁棒识别
Lu et al. Application and improvement of Canny edge-detection algorithm for exterior wall hollowing detection using infrared thermal images
CN107797648B (zh) 虚拟触摸系统和图像识别定位方法、计算机可读存储介质
KR102525570B1 (ko) 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치
CN105807989A (zh) 一种手势触控方法和系统
CN112950589A (zh) 一种多尺度卷积神经网络的暗通道先验去雾算法
CN113191421A (zh) 一种基于Faster-RCNN的手势识别系统及方法
CN107682595B (zh) 一种交互投影方法、系统及计算机可读存储介质
Chong et al. Hand Gesture recognition using appearance features based on 3D point cloud
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
CN112488059B (zh) 一种基于深度学习模型级联的空间手势控制方法
CN105741317B (zh) 基于时空域显著性分析和稀疏表示的红外运动目标检测方法
CN112035016A (zh) 一种基于激光雷达的新型多点触控交互系统及方法
CN103034373B (zh) 面阵摄像头定位图像有效区域的自动选择方法及系统
Reza et al. Real time mouse cursor control based on bare finger movement using webcam to improve HCI
CN109871178A (zh) 一种基于图像识别的虚拟触摸屏系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Dang Zhanxiong

Inventor after: Lu Xinguo

Inventor after: Liu Yongchen

Inventor before: Liu Yongchen

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200408

Address after: 100096 Room 806, unit 2, building 1, yard 1, Longyu middle street, Huilongguan town, Changping District, Beijing

Applicant after: ZHONGTIAN ZHILING (BEIJING) TECHNOLOGY Co.,Ltd.

Address before: No.102, Nanpei building, No.1 Incubation Park, Henan University Science and Technology Park, No.11, Changchun Road, high tech Industrial Development Zone, Zhengzhou City, Henan Province

Applicant before: ZHENGZHOU ZHILIXIN INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant