CN111047635B - 基于深度图像的平面触摸方法、装置与触摸系统 - Google Patents
基于深度图像的平面触摸方法、装置与触摸系统 Download PDFInfo
- Publication number
- CN111047635B CN111047635B CN201911109426.XA CN201911109426A CN111047635B CN 111047635 B CN111047635 B CN 111047635B CN 201911109426 A CN201911109426 A CN 201911109426A CN 111047635 B CN111047635 B CN 111047635B
- Authority
- CN
- China
- Prior art keywords
- depth image
- depth
- coordinates
- horizontal line
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度图像的平面触摸方法、装置与触摸系统,通过深度相机获取深度图像,对深度图像进行滤波分割算法,提取多个触摸点坐标,然后再次变换回直角坐标系,最后通过旋转平移矩阵转换到实际使用空间。如此,以解决任意平面的触摸问题,尤其是大平面的触摸问题,可以实现测量范围内获取多点触摸坐标。本发明的平面触摸方案可运用到各类交互场景,作为交互的输入设备。而且使用深度摄像头可大幅降低工程成本,对于不便于使用大面积电容式、光电对射式的场景提供了解决方案。
Description
技术领域
本发明涉及触摸式交互系统技术领域,具体而言涉及一种基于深度图像的平面触摸方法、装置与触摸系统。
背景技术
当前触摸技术主要分为电容式、电阻式两种。电容式、电阻式触控方案均需要使用特定的触摸介质。例如手机电容电阻屏幕,其中有一层触摸屏用来实现光电转换,这类触摸方式成本较高,无法适用大场景下的触摸支持。电容屏、电阻屏都属于接触性介质,很多场景无法适用,例如墙面、地面等等。
同时,在大场景下进行触摸支持的时候,通常需要用来深度激光投影,搭建成本较为昂贵。
发明内容
本发明目的旨在解决大平面的触摸问题,实现测量范围内获取多点触摸坐标,从而提出一种基于深度图像的平面触摸方法、装置与触摸系统。
为达成上述目的,本发明的第一方面提出一种基于深度图像的平面触摸方法,包括以下步骤:
步骤1、对于测量区域内的任意测量点,通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
步骤2、将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
步骤3、通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
步骤4、通过左右索引获取索引区间内的深度图像,获取物理坐标;
步骤5、将计算的物理坐标输入滤波器中,平滑物理坐标;
步骤6、将物理坐标转换为触摸平面坐标,并显示像素坐标。
进一步地,所述深度相机的布设,深度相机采用TOF相机或者结构光深度相机,其中TOF相机被设置用于墙面或者地面的触控交互,结构光相机用于桌面触控交互。
进一步地,在所述步骤2中,水平线坐标以及水平线深度图像的提取操作包括:
2-1)将深度图像的所有像素值输入到直线方程回归模型,得到水平线直线方程y=kx+b,其中k为直线的斜率,b为直线的截距,通过水平线直线方程确定深度图像中的水平线;
2-2)遍历深度图像中的所有像素值,来提取步骤2-1)的水平线上的所有像素值,作为深度值;
2-3)将提取的深度值构成的一维图像作为水平线深度图像。
进一步地,所述操作中,在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型,该模型被配置通过模型训练得到,具体包括:
首先,采集一深度图像,并对深度图像进行霍夫曼直线检测,确定深度相机测量的最远区域,即深度相机的可达测量区域范围的边界;
然后,通过触摸测量区域范围内的最上方、最下方,使得水平线只与手指深度图像相交且不与其他物体对象相交,确定水平线的具体位置,从而确定水平线的参数值k,b;
之后,再采集复数多个深度图像作为训练集,按照上述方式进行操作后,进行基于深度学习的模型训练,并将训练结果的模型和验证集进行验证,直到模型准确率达到设定阈值。
进一步地,在所述步骤3中,藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括:
将水平线深度图像中没有手指触摸区域作为背景,将手指触摸区域作为前景,背景区域像素值为0,前景区域的像素值表示深度;
将前景置为1,背景置为0;
再对相邻的像素之间两两做相减处理,右边像素减左边像素:其中,如果大于0,则右边像素记为左端点、左边像素记为右端点;如果等于0,则不做操作;如果小于0,则右边像素记为右端点、左边像素记为左端点,以此区别出每一段亮斑的左右端点;
如此,获得水平线深度图像每一段亮斑的左右端点索引坐标。
进一步地,在所述步骤4中,根据左右索引获取索引区间内的深度图像的操作包括:
通过获取左右端点索引,从水平深度图像中将对应像素拷贝出来,拷贝出来的图像即为索引区间内的深度图像。
进一步地,在所述步骤4中,基于索引区间内的深度图像进行物理坐标获取的操作包括:
首先,对索引区间内的深度图像的一段区间或者多段区间按照下述方式处理:
y=mean(∑I(x))
即,通过灰度重心计算得到测量平面x的估计值,即水平深度图像的横坐标,将每一段亮斑的左右索引内深度值的和的均值作为y的估计值,得到每一段亮斑的索引坐标(x,y),其中I(x)表示对应索引区间内的深度图像的深度值,即像素值;
然后,结合深度相机内外参将索引区间内的深度图像转为点云,转换公式如下:
x=(u-principlePointX)/focalLengthX*d
y=d
其中,u为前述计算得到的水平深度图像的横坐标,d为水平深度图像对应横坐标的深度值;principlePointX表示深度相机主视点到测量物体间的空间距离;focalLengthX表示深度相机的焦距;
如此,将水平深度图像的(u,d)坐标转换为测量区域的空间坐标(x,y)。
根据本发明的改进,还提出一种基于深度图像的平面触摸装置,包括:
用于对于测量区域内的任意测量点,通过深度相机成像获得深度图像的模块,其中所述深度相机布设在测量区域内;
用于将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像的模块;
用于通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引的模块;
用于通过左右索引获取索引区间内的深度图像,获取物理坐标的模块;
用于将计算的物理坐标输入滤波器中,平滑物理坐标的模块;
用于将物理坐标转换为触摸平面坐标,并显示像素坐标的模块。
根据本发明的改进,还提出一种基于深度图像的平面触摸系统,包括:
至少一个布设在测量区域内的深度相机,用于拍摄测量区域内的任意测量点,通过深度相机成像获得深度图像;
计算机系统,所述计算机系统具有:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
对于测量区域内的任意测量点,接收通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
通过左右索引获取索引区间内的深度图像,获取物理坐标;
将计算的物理坐标输入滤波器中,平滑物理坐标;
将物理坐标转换为触摸平面坐标,并显示像素坐标。
根据本发明的改进,还提出一种基于深度图像的平面触摸系统,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
对于测量区域内的任意测量点,接收通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
通过左右索引获取索引区间内的深度图像,获取物理坐标;
将计算的物理坐标输入滤波器中,平滑物理坐标;
将物理坐标转换为触摸平面坐标,并显示像素坐标。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是根据本发明示例性实施例的深度相机(图1中也称为深度摄像头)安装的示意图,其中安装方式为吊装。
图2是根据本发明示例性实施例的深度相机(图2中也称为深度摄像头)安装的示意图,其中安装方式为底装。
图3是根据本发明示例性实施例的深度相机的视场与测量区域示意图。
图4是根据本发明示例性实施例的深度相机内参模型示意图。
图5A-5B是根据本发明示例性实施例的手指触摸时深度图像示意图,其中5A和5B的位置不同(Z方向,即深度)。
图6是根据本发明示例性实施例的对深度图像进行霍夫曼直线检测的示意图。
图7是根据本发明示例性实施例中获取每一段亮斑的左右端点索引的示意图。
图8是根据本发明示例性实施例中将测量空间坐标转换到目标坐标系的标定示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
根据本发明的公开,整体上提出一种基于深度图像的平面触摸方案,通过深度相机(即结构光摄像头)获取深度图像,对深度图像进行滤波分割算法,可以提取多个触摸点坐标,然后再次变换回直角坐标系,最后通过旋转平移矩阵转换到实际使用空间。如此,以解决任意平面的触摸问题,尤其是大平面的触摸问题,可以实现测量范围内获取多点触摸坐标。本发明的平面触摸方案可运用到各类交互场景,作为交互的输入设备。而且,使用深度摄像头可大幅降低工程成本,对于不便于使用大面积电容式、光电对射式的场景提供了解决方案。
结合图1-8所示,下面更加具体地对基于深度图像的平面触摸方法的实现进行示例性说明。
{平面触摸方法}
结合本发明的示例,基于深度图像的平面触摸方法的实现包括以下过程:
步骤1、对于测量区域内的任意测量点,通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
步骤2、将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
步骤3、通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
步骤4、通过左右索引获取索引区间内的深度图像,获取物理坐标;
步骤5、将计算的物理坐标输入滤波器中,平滑物理坐标;
步骤6、将物理坐标转换为触摸平面坐标,并显示像素坐标。
{相机布置}
结合图1-3所示,深度相机的布设,深度相机采用TOF相机或者结构光深度相机。
应当理解,深度相机可采用市售的深度相机,按照吊装或者底装的方式,摄像头安装需要尽量与测量平面保持水平。测量区域受到深度摄像头内部参数的影响,可以选取不同的深度相机设配不同场景,例如,在桌面触控场景应用下,使用结构光深度相机,而在墙面或者地面触控场景下,可以使用ToF相机。
图3所示为深度相机的视场与测量区域示意,其中,深度传感器FOV(视场角),视场角的大小决定了光学仪器的视野范围。Near表示深度相机的最近测量距离,Far表示最远测量距离,图3从near-far之间是测量系统在测量平面下有效测量区域,也即深度相机的可达测量区域范围的边界。
结合图4所示的内参模型,可以通过深度相机的sdk,获得深度相机的主视点坐标PrincipalPoint和焦距FocalLength。不同的深度相机,其主视点坐标和焦距不同。
{水平线坐标与水平线深度图像}
在所述步骤2中,水平线坐标以及水平线深度图像的提取操作包括:
2-1)将深度图像的所有像素值输入到直线方程回归模型,得到水平线直线方程y=kx+b,其中k为直线的斜率,b为直线的截距,通过水平线直线方程确定深度图像中的水平线;
2-2)遍历深度图像中的所有像素值,来提取步骤2-1)的水平线上的所有像素值,作为深度值;
2-3)将提取的深度值构成的一维图像作为水平线深度图像。
前述的直线方程回归模型可预先进行训练,例如基于VGG16直线方程回归模型来执行本发明的操作。
结合图5A-5B所示的示意,表示了手指触摸时深度图像示意,5A-5B两图表示触摸时深度变化带来的深度图像变化。将深度图像输入神经网络中,通过训练好的卷积神经网络回归出水平线的直线方程,得到直线的斜率a和截距b。如此,对于安装不够水平的情况下也可以检出触摸动作。
进一步地,所述操作中,在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型,该模型被配置通过模型训练得到,具体包括:
首先,采集一深度图像,并对深度图像进行霍夫曼直线检测,确定深度相机测量的最远区域,即深度相机的可达测量区域范围的边界;结合图6所示;
然后,通过触摸测量区域范围内的最上方、最下方,使得水平线只与手指深度图像相交且不与其他物体对象相交,确定水平线的具体位置,从而确定水平线的参数值k,b;
之后,再采集复数多个深度图像作为训练集,按照上述方式进行操作后,进行基于深度学习的模型训练,并将训练结果的模型和验证集进行验证,直到模型准确率达到设定阈值。
如图6所示,其中的线条表示深度图像与墙面的平行截面。
{亮斑的左右端点索引}
在所述步骤3中,藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括:
结合图7,将水平线深度图像中没有手指触摸区域作为背景,将手指触摸区域作为前景,背景区域像素值为0,前景区域的像素值表示深度;将前景置为1,背景置为0;
再对相邻的像素之间两两做相减处理,右边像素减左边像素:其中,如果大于0,则右边像素记为左端点、左边像素记为右端点;如果等于0,则不做操作;如果小于0,则右边像素记为右端点、左边像素记为左端点,如此,产生了左右相间的一系列像素对,以此区别出每一段亮斑的左右端点;
如此,获得水平线深度图像每一段亮斑的左右端点索引坐标。
更加优选地,在像素对中,更加包含去噪处理,考虑到深度图像可能存在噪声(例如作为触摸面的墙面存在凹凸不平),可以预先设定阈值,合并两个相近的亮斑区域。
{索引区间内的深度图像}
在所述步骤4中,根据左右索引获取索引区间内的深度图像的操作包括:
通过获取左右端点索引,从水平深度图像中将对应像素拷贝出来,拷贝出来的图像即为索引区间内的深度图像。
{测量区域的空间坐标}
在所述步骤4中,基于索引区间内的深度图像进行物理坐标获取的操作包括:
首先,对索引区间内的深度图像的一段区间或者多段区间按照下述方式处理:
y=mean(∑I(x))
即,通过灰度重心计算得到测量平面x的估计值,即水平深度图像的横坐标,将每一段亮斑的左右索引内深度值的和的均值作为y的估计值,得到每一段亮斑的索引坐标(x,y),其中I(x)表示对应索引区间内的深度图像的深度值,即像素值;
然后,结合深度相机内外参将索引区间内的深度图像转为点云,转换公式如下:
x=(u-principlePointX)/focalLengthX*d
y=d
其中,u为前述计算得到的水平深度图像的横坐标,d为水平深度图像对应横坐标的深度值;principlePointX表示深度相机主视点到测量物体间的空间距离;focalLengthX表示深度相机的焦距;
如此,将水平深度图像的(u,d)坐标转换为测量区域的空间坐标(x,y)。
{卡尔曼滤波}
本发明的示例性实施例中,将测量区域的空间坐标(x,y)输入卡尔曼滤波器进行平滑处理,使得坐标更连续,并且响应更快。
{空间坐标转换}
通过前述步骤计算得到测量区域的空间坐标(x,y)具有实际的物理意义,表示触摸点距离摄像头的距离(如米、毫米),实际中需要将坐标转换到目标(如屏幕、投影仪)坐标系中。
结合图8所示的转换标定,在触摸平面分别规定4个定位点,按照顺时针方向排列(1,2,3,4)。分别用手触摸四个点,每个点程序记录10次触摸坐标并取平均值,并输入4点的相对坐标。计算出平移旋转矩阵,通过深度相机内外参将图像转为点云计算的坐标,计算出scale_x,scale_y,bias_x,bias_y,。
x'=scalex*x+biasx
y'=scaley*y+biasy
最终得到一段的触摸点,(x’,y’),返回多点触摸点坐标。
应当理解,本发明使用的空间坐标转换方式为空间坐标转换的示例性操作,本领域人员还可以根据需要选用其他的坐标转换方式。
最后,重复前述的步骤,可以获得每一段触摸的触摸点坐标,合并返回可得到触摸位置和轨迹变化,从而实现触摸的交互。
本发明的前述实施例还可以根据具体实施配置如下。
{基于深度图像的平面触摸装置}
一种基于深度图像的平面触摸装置,包括:
用于对于测量区域内的任意测量点,通过深度相机成像获得深度图像的模块,其中所述深度相机布设在测量区域内;
用于将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像的模块;
用于通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引的模块;
用于通过左右索引获取索引区间内的深度图像,获取物理坐标的模块;
用于将计算的物理坐标输入滤波器中,平滑物理坐标的模块;
用于将物理坐标转换为触摸平面坐标,并显示像素坐标的模块。
{平面触摸系统}
一种基于深度图像的平面触摸系统,包括:
至少一个布设在测量区域内的深度相机,用于拍摄测量区域内的任意测量点,通过深度相机成像获得深度图像;
计算机系统,所述计算机系统具有:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
对于测量区域内的任意测量点,接收通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
通过左右索引获取索引区间内的深度图像,获取物理坐标;
将计算的物理坐标输入滤波器中,平滑物理坐标;
将物理坐标转换为触摸平面坐标,并显示像素坐标。
{平面触摸系统}
一种基于深度图像的平面触摸系统,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
对于测量区域内的任意测量点,接收通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
通过左右索引获取索引区间内的深度图像,获取物理坐标;
将计算的物理坐标输入滤波器中,平滑物理坐标;
将物理坐标转换为触摸平面坐标,并显示像素坐标。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (10)
1.一种基于深度图像的平面触摸方法,其特征在于,包括以下步骤:
步骤1、对于测量区域内的任意测量点,通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
步骤2、将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
步骤3、通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
步骤4、通过左右索引获取索引区间内的深度图像,获取物理坐标;
步骤5、将计算的物理坐标输入滤波器中,平滑物理坐标;
步骤6、将物理坐标转换为触摸平面坐标,并显示像素坐标。
2.根据权利要求1所述的基于深度图像的平面触摸方法,其特征在于,所述深度相机的布设,深度相机采用TOF相机或者结构光深度相机,其中TOF相机被设置用于墙面或者地面的触控交互,结构光相机用于桌面触控交互。
3.根据权利要求1所述的基于深度图像的平面触摸方法,其特征在于,在所述步骤2中,水平线坐标以及水平线深度图像的提取操作包括:
2-1)将深度图像的所有像素值输入到直线方程回归模型,得到水平线直线方程y=kx+b,其中k为直线的斜率,b为直线的截距,通过水平线直线方程确定深度图像中的水平线;
2-2)遍历深度图像中的所有像素值,来提取步骤2-1)的水平线上的所有像素值,作为深度值;
2-3)将提取的深度值构成的一维图像作为水平线深度图像。
4.根据权利要求3所述的基于深度图像的平面触摸方法,其特征在于,所述操作中,在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型,该模型被配置通过模型训练得到,具体包括:
步骤2-1-1)采集一深度图像,并对深度图像进行霍夫曼直线检测,确定深度相机测量的最远区域,即深度相机的可达测量区域范围的边界;
步骤2-1-2)通过触摸测量区域范围内的最上方、最下方,使得水平线只与手指深度图像相交且不与其他物体对象相交,确定水平线的具体位置,从而确定水平线的参数值k,b;
步骤2-1-3)再采集多个深度图像作为训练集,按照上述步骤2-1-1)、步骤2-1-2)的方式进行操作后,进行基于深度学习的模型训练,并将训练结果的模型和验证集进行验证,直到模型准确率达到设定阈值。
5.根据权利要求1所述的基于深度图像的平面触摸方法,其特征在于,在所述步骤3中,藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括:
将水平线深度图像中没有手指触摸区域作为背景,将手指触摸区域作为前景,背景区域像素值为0,前景区域的像素值表示深度;
将前景置为1,背景置为0;
再对相邻的像素之间两两做相减处理,右边像素减左边像素:其中,如果大于0,则右边像素记为左端点、左边像素记为右端点;如果等于0,则不做操作;如果小于0,则右边像素记为右端点、左边像素记为左端点,以此区别出每一段亮斑的左右端点;
如此,获得水平线深度图像每一段亮斑的左右端点索引坐标。
6.根据权利要求1所述的基于深度图像的平面触摸方法,其特征在于,在所述步骤4中,根据左右索引获取索引区间内的深度图像的操作包括:
通过获取左右端点索引,从水平深度图像中将对应像素拷贝出来,拷贝出来的图像即为索引区间内的深度图像。
7.根据权利要求1或6所述的基于深度图像的平面触摸方法,其特征在于,在所述步骤4中,基于索引区间内的深度图像进行物理坐标获取的操作包括:
首先,对索引区间内的深度图像的一段区间或者多段区间按照下述方式处理:
y=mean(∑I(x))
即,通过灰度重心计算得到测量平面x的估计值,即水平深度图像的横坐标,将每一段亮斑的左右索引内深度值的和的均值作为y的估计值,得到每一段亮斑的索引坐标(x,y),其中I(x)表示对应索引区间内的深度图像的深度值,即像素值;
然后,结合深度相机内外参将索引区间内的深度图像转为点云,转换公式如下:
x=(u-principlePointX)/focalLengthX*d
y=d
其中,u为前述计算得到的水平深度图像的横坐标,d为水平深度图像对应横坐标的深度值;principlePointX表示深度相机主视点到测量物体间的空间距离;focalLengthX表示深度相机的焦距;
如此,将水平深度图像的(u,d)坐标转换为测量区域的空间坐标(x,y)。
8.一种基于深度图像的平面触摸装置,其特征在于,包括:
用于对于测量区域内的任意测量点,通过深度相机成像获得深度图像的模块,其中所述深度相机布设在测量区域内;
用于将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像的模块;
用于通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引的模块;
用于通过左右索引获取索引区间内的深度图像,获取物理坐标的模块;
用于将计算的物理坐标输入滤波器中,平滑物理坐标的模块;
用于将物理坐标转换为触摸平面坐标,并显示像素坐标的模块。
9.一种基于深度图像的平面触摸系统,其特征在于,包括:
至少一个布设在测量区域内的深度相机,用于拍摄测量区域内的任意测量点,通过深度相机成像获得深度图像;
计算机系统,所述计算机系统具有:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
对于测量区域内的任意测量点,接收通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
通过左右索引获取索引区间内的深度图像,获取物理坐标;
将计算的物理坐标输入滤波器中,平滑物理坐标;
将物理坐标转换为触摸平面坐标,并显示像素坐标。
10.一种基于深度图像的平面触摸系统,其特征在于,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
对于测量区域内的任意测量点,接收通过深度相机成像获得深度图像,所述深度相机布设在测量区域内;
将深度图像输入直线方程回归模型,得到水平线坐标,并根据水平线坐标提取水平线深度图像;
通过获取到的水平线深度图像,获取每一段亮斑的左右端点索引;
通过左右索引获取索引区间内的深度图像,获取物理坐标;
将计算的物理坐标输入滤波器中,平滑物理坐标;
将物理坐标转换为触摸平面坐标,并显示像素坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911109426.XA CN111047635B (zh) | 2019-11-13 | 2019-11-13 | 基于深度图像的平面触摸方法、装置与触摸系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911109426.XA CN111047635B (zh) | 2019-11-13 | 2019-11-13 | 基于深度图像的平面触摸方法、装置与触摸系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111047635A CN111047635A (zh) | 2020-04-21 |
CN111047635B true CN111047635B (zh) | 2021-02-09 |
Family
ID=70232817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911109426.XA Active CN111047635B (zh) | 2019-11-13 | 2019-11-13 | 基于深度图像的平面触摸方法、装置与触摸系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111047635B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113946261B (zh) * | 2021-08-30 | 2023-12-05 | 福建中红信创科技有限公司 | 一种人机交互展示方法和系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6033209B2 (ja) * | 2013-12-11 | 2016-11-30 | 三菱電機株式会社 | 携帯用端末装置 |
CN105045950B (zh) * | 2015-05-28 | 2018-08-10 | 张家港江苏科技大学产业技术研究院 | 一种基于三维激光扫描的桥梁安全评估系统 |
CN104991684A (zh) * | 2015-07-23 | 2015-10-21 | 京东方科技集团股份有限公司 | 触控设备及其工作方法 |
-
2019
- 2019-11-13 CN CN201911109426.XA patent/CN111047635B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111047635A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112771573B (zh) | 基于散斑图像的深度估计方法及装置、人脸识别系统 | |
Liu et al. | Concrete crack assessment using digital image processing and 3D scene reconstruction | |
EP2959456B1 (en) | Real time stereo matching | |
JP5682065B2 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
JP2008123141A (ja) | 対応点探索方法および3次元位置計測方法 | |
KR101032446B1 (ko) | 영상의 정점 검출 장치 및 방법 | |
Sheng et al. | Geometric occlusion analysis in depth estimation using integral guided filter for light-field image | |
EP3135033B1 (en) | Structured stereo | |
JP5951043B2 (ja) | 画像計測装置 | |
JP2006266848A (ja) | 距離測定装置 | |
CN107592922A (zh) | 用于对地面实施作业的方法 | |
CN106575193B (zh) | 用于深度摄影系统中的图像位置选择 | |
Feng et al. | Motion-oriented high speed 3-D measurements by binocular fringe projection using binary aperiodic patterns | |
CN111243003A (zh) | 车载双目摄像机及其检测道路限高杆的方法、装置 | |
CN110398215A (zh) | 图像处理装置和方法,系统,物品制造方法,存储介质 | |
CN111047635B (zh) | 基于深度图像的平面触摸方法、装置与触摸系统 | |
CN108197531A (zh) | 一种道路曲线检测方法、装置和终端 | |
JP2017102500A (ja) | 領域抽出装置、領域抽出プログラム、及び領域抽出方法 | |
CN114549927B (zh) | 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法 | |
CN112215036A (zh) | 跨镜追踪方法、装置、设备及存储介质 | |
JPH0339603A (ja) | パターンの輪郭検出方法及びこの方法を用いた測長装置 | |
Andreasson et al. | Non-iterative vision-based interpolation of 3D laser scans | |
CN116485636B (zh) | 一种点云立面成像方法、系统及可读存储介质 | |
Seo | Estimation of edge displacement against brightness and camera‐to‐object distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000 Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd. Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000 Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |