CN115617178A - 一种手指与车机无接触即可完成按键和功能触发的方法 - Google Patents

一种手指与车机无接触即可完成按键和功能触发的方法 Download PDF

Info

Publication number
CN115617178A
CN115617178A CN202211390633.9A CN202211390633A CN115617178A CN 115617178 A CN115617178 A CN 115617178A CN 202211390633 A CN202211390633 A CN 202211390633A CN 115617178 A CN115617178 A CN 115617178A
Authority
CN
China
Prior art keywords
fingertip
point
camera
depth
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211390633.9A
Other languages
English (en)
Other versions
CN115617178B (zh
Inventor
张明俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rivotek Technology Jiangsu Co Ltd
Original Assignee
Rivotek Technology Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rivotek Technology Jiangsu Co Ltd filed Critical Rivotek Technology Jiangsu Co Ltd
Priority to CN202211390633.9A priority Critical patent/CN115617178B/zh
Publication of CN115617178A publication Critical patent/CN115617178A/zh
Application granted granted Critical
Publication of CN115617178B publication Critical patent/CN115617178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明涉及图像识别技术领域，尤其为一种手指与车机无接触即可完成按键和功能触发的方法，包括如下步骤：步骤S1.1：深感摄像头捕捉屏幕上方的指尖悬停信息；步骤S1.2：当深感摄像头采集到指尖悬停信息时，将数据回传给服务器；步骤S1.3：服务器根据坐标变换算法以及空间测距法确认指尖悬停位置；步骤S1.4：指尖悬停后靠近车机屏幕，服务器根据指尖悬停位置进行判断及处理。本发明通过利用深感摄像头的坐标变换算法以及空间测距法实现无接触的情况下进行按键的点击和触发对应的功能，在车机中可以通过深感摄像头捕捉定位，与车机屏幕坐标相结合，再根据手指尖与深感摄像头的距离判断是否进行点击，以达到完成本次触发。实现了人员无接触操控，避免了病毒的接触式传播。

Description

一种手指与车机无接触即可完成按键和功能触发的方法
技术领域
本发明涉及图像识别技术领域，尤其是一种手指与车机无接触即可完成按键和功能触发的方法。
背景技术
现处于疫情时期，需要做好自身安全防护，公共场合内如乘坐电梯时需要按下到达楼层，难免与他人共同接触控制面板，这种接触式传播，仍是当前亟待解决的痛点。
现有技术提出一种免接触智能交互的安全防疫电梯，包含语音识别交互系统、手势识别交互系统进行交互触发功能，但市面上的方案只是简单提供了如何能在不接触情况下完成一次功能的触发，可以通过语音控制，但当发出语音指令的人出现方言、口齿不清等问题时，语音识别系统则很难清楚识别目标楼层。
发明内容
本发明的目的是通过提出一种手指与车机无接触即可完成按键和功能触发的方法，以解决上述背景技术中提出的缺陷。
本发明采用的技术方案如下：
提供一种手指与车机无接触即可完成按键和功能触发的方法，包括如下步骤：
步骤S1.1：深感摄像头捕捉屏幕上方的指尖悬停信息；
步骤S1.2：当深感摄像头采集到指尖悬停信息时，将数据回传给服务器；
步骤S1.3：服务器根据坐标变换算法以及空间测距法确认指尖悬停位置；
步骤S1.4：指尖悬停后靠近车机屏幕，服务器根据指尖悬停位置进行判断及处理。
作为本发明的一种优选技术方案：所述步骤S1.1中，深感摄像头的捕捉起始点为屏幕左上角或屏幕左下角。
作为本发明的一种优选技术方案：所述步骤S1.3中，坐标变换算法具体包括二维 平面坐标系的坐标与三维世界坐标系的坐标之间的转换，其中，二维平面坐标系的平面与 三维世界坐标系的xoy平面相重合，设定三维世界坐标点
Figure DEST_PATH_IMAGE001
，其中，X、Y、Z 分别为点Q在三维世界坐标系X轴、Y轴、Z轴上的位置，
Figure 207199DEST_PATH_IMAGE002
为根据Q点坐标转换的 转置矩阵，二维平面坐标点为
Figure DEST_PATH_IMAGE003
，其中，
Figure 488139DEST_PATH_IMAGE004
分别为点q在二维平面坐标系X 轴、Y轴上的位置，
Figure DEST_PATH_IMAGE005
为根据q点坐标转换的转置矩阵，三维世界坐标点
Figure 393123DEST_PATH_IMAGE006
与二维平 面坐标点q的映射关系满足：
Figure DEST_PATH_IMAGE007
其中，s为坐标系变换尺度因子；
Figure 872646DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
分别为二维平面坐标点q、三维世界平面坐 标点Q的增广矩阵；P为深感摄像头内参矩阵，
Figure 512705DEST_PATH_IMAGE010
构成内参矩阵，
Figure DEST_PATH_IMAGE011
为旋转矩阵，
Figure 77679DEST_PATH_IMAGE012
为平移矩阵，深感摄像头内参矩阵P满足：
Figure DEST_PATH_IMAGE013
其中，
Figure 258125DEST_PATH_IMAGE014
为光心坐标；
Figure DEST_PATH_IMAGE015
、
Figure 857733DEST_PATH_IMAGE016
为焦距与像素横纵比的融合。
作为本发明的一种优选技术方案：所述两深感摄像头标定的过程中存在畸变，包 括径向畸变和切向畸变，设定点
Figure DEST_PATH_IMAGE017
为深感摄像头获取的点，
Figure 668694DEST_PATH_IMAGE018
为点
Figure DEST_PATH_IMAGE019
经去畸变、矫正后得到的点，其关系为：
Figure 720964DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
确定径向畸变，
Figure 439521DEST_PATH_IMAGE022
确定切向畸变。
作为本发明的一种优选技术方案：所述步骤S1.3中的空间测距法，根据车机内两 深感摄像头的成像视差来确定指尖到深感摄像头的距离
Figure DEST_PATH_IMAGE023
：
Figure 159216DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
为成像平面最左侧点的横坐标，
Figure 937816DEST_PATH_IMAGE026
为成像平面最右侧点的横坐标，s 为两深感摄像头成像视差；
根据：
Figure DEST_PATH_IMAGE027
得到：
Figure 680644DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE029
为基线距离，
Figure 468471DEST_PATH_IMAGE030
为指尖到深感摄像头的距离，
Figure DEST_PATH_IMAGE031
为深感摄像头焦距。
作为本发明的一种优选技术方案：所述两深感摄像头成像视差s通过图像的局部立体匹配算法得到：
Figure 797601DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE033
为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴 坐标，
Figure 950364DEST_PATH_IMAGE034
表示匹配窗口灰度均值，A为匹配区域，m为窗口偏移量。
作为本发明的一种优选技术方案：对所述局部立体匹配算法进行训练，通过AP检测窗口检测优劣：
Figure DEST_PATH_IMAGE035
其中，AP为检测平均精确率，
Figure 977226DEST_PATH_IMAGE036
为样本训练预测精确率，通过检测AP和
Figure 37586DEST_PATH_IMAGE036
的 值调整局部立体匹配算法的窗口大小。
作为本发明的一种优选技术方案：所述步骤S1.4中指尖悬停后靠近车机屏幕时，深感摄像头捕捉指尖悬停位置，服务器根据摄像头坐标与车机屏幕坐标的位置转换关系，识别检测指尖触发区域对应的按钮功能，并呈现按钮对应功能。
作为本发明的一种优选技术方案：所述摄像头坐标与车机屏幕坐标的位置转换关系如下：
Figure DEST_PATH_IMAGE037
其中，
Figure 200714DEST_PATH_IMAGE038
为表示坐标点在车机屏幕坐标系的位置，H表示摄像头坐标系到车机屏 幕坐标系的旋转矩阵，q表示坐标点在摄像头坐标系的位置，G表示平移矩阵；
设定阈值
Figure DEST_PATH_IMAGE039
，当满足：
Figure 586696DEST_PATH_IMAGE040
认为车机屏幕按钮与摄像头坐标系上的点相对应。
作为本发明的一种优选技术方案：所述步骤S1.4中服务器设定指尖悬停位置与屏 幕距离阈值，当判断指尖悬停位置大于设定阈值
Figure 100854DEST_PATH_IMAGE039
时，展示按钮动态特性；当判断指尖悬停 位置小于设定阈值
Figure 699326DEST_PATH_IMAGE039
时，触发指尖悬停区域按钮功能。
本发明提供的手指与车机无接触即可完成按键和功能触发的方法，与现有技术相比，其有益效果有：
本发明通过利用深感摄像头的坐标变换算法以及空间测距法实现无接触的情况下进行按键的点击和触发对应的功能，在车机中可以通过深感摄像头捕捉定位，与车机屏幕坐标相结合，再根据指尖与深感摄像头的距离判断是否进行点击，以达到完成本次触发。实现了人员无接触操控，避免了病毒的接触式传播。
附图说明
图1为本发明优选实施例的方法流程图；
图2为本发明优选实施例中方法流程框图。
具体实施方式
需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-图2，本发明优选实施例提供了一种手指与车机无接触即可完成按键和功能触发的方法，包括如下步骤：
步骤S1.1：深感摄像头捕捉屏幕上方的指尖悬停信息；
步骤S1.2：当深感摄像头采集到指尖悬停信息时，将数据回传给服务器；
步骤S1.3：服务器根据坐标变换算法以及空间测距法确认指尖悬停位置；
步骤S1.4：指尖悬停后靠近车机屏幕，服务器根据指尖悬停位置进行判断及处理。
步骤S1.1中，深感摄像头的捕捉起始点为屏幕左上角或屏幕左下角。
对步骤S1.3中，坐标变换算法具体包括二维平面坐标系的坐标与三维世界坐标系 的坐标之间的转换，其中，二维平面坐标系的平面与三维世界坐标系的xoy平面相重合，设 定三维世界坐标点
Figure DEST_PATH_IMAGE041
，其中，X、Y、Z分别为点Q在三维世界坐标系X轴、Y 轴、Z轴上的位置，
Figure 716960DEST_PATH_IMAGE042
为根据Q点坐标转换的转置矩阵，二维平面坐标点为
Figure DEST_PATH_IMAGE043
，其中，u、v分别为点q在二维平面坐标系X轴、Y轴上的位置，
Figure 539423DEST_PATH_IMAGE044
为 根据q点坐标转换的转置矩阵，三维世界坐标点Q与二维平面坐标点q的映射关系满足：
Figure 9718DEST_PATH_IMAGE045
其中，s为坐标系变换尺度因子；
Figure 677460DEST_PATH_IMAGE046
分别为二维平面坐标点q、三维世界坐标 点Q的增广矩阵；P为深感摄像头内参矩阵，
Figure 346339DEST_PATH_IMAGE047
构成内参矩阵，R为旋转矩阵，M为平 移矩阵，内深感摄像头参矩阵P满足：
Figure 808544DEST_PATH_IMAGE048
两深感摄像头标定的过程中存在畸变，包括径向畸变和切向畸变，设定点
Figure 828453DEST_PATH_IMAGE049
为深感摄像头获取的点，
Figure 34306DEST_PATH_IMAGE050
为点
Figure 760954DEST_PATH_IMAGE051
经去畸变、矫正后 得到的点，其关系为：
Figure 456377DEST_PATH_IMAGE052
其中，
Figure 898336DEST_PATH_IMAGE053
确定径向畸变，
Figure 642301DEST_PATH_IMAGE054
确定切向畸变。
步骤S1.3中的空间测距法，根据车机内两深感摄像头的成像视差来确定指尖到深感摄像头的距离：
Figure 754613DEST_PATH_IMAGE055
其中，
Figure 355359DEST_PATH_IMAGE056
为成像平面最左侧点的横坐标，
Figure 287543DEST_PATH_IMAGE057
为成像平面最右侧点的横坐标，s 为两深感摄像头成像视差；
根据：
Figure 631936DEST_PATH_IMAGE058
得到：
Figure 598755DEST_PATH_IMAGE059
其中，d为基线距离，L为指尖到摄像头的距离，f为深感摄像头焦距。
两深感摄像头成像视差s通过图像的局部立体匹配算法得到：
Figure 308085DEST_PATH_IMAGE060
其中，
Figure 993145DEST_PATH_IMAGE061
为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴 坐标，
Figure 141229DEST_PATH_IMAGE062
表示匹配窗口灰度均值，A为匹配区域，m为窗口偏移量。
对局部立体匹配算法进行训练，通过AP检测窗口检测优劣：
Figure 696975DEST_PATH_IMAGE063
其中，AP为检测平均精确率，
Figure 108365DEST_PATH_IMAGE064
为样本训练预测精确率，通过检测AP和
Figure 811879DEST_PATH_IMAGE064
的 值调整局部立体匹配算法的窗口大小。
步骤S1.4中指尖悬停后靠近车机屏幕时，深感摄像头捕捉指尖悬停位置，服务器根据摄像头坐标与车机屏幕坐标的位置转换关系，识别检测指尖触发区域对应的按钮功能，并呈现按钮对应功能。
摄像头坐标系与车机屏幕坐标系之间满足：
Figure 435758DEST_PATH_IMAGE065
其中，
Figure 173907DEST_PATH_IMAGE066
为表示坐标点在车机屏幕坐标系的位置，H表示摄像头坐标系到车机屏 幕坐标系的旋转矩阵，G表示平移矩阵；
设定阈值
Figure 490619DEST_PATH_IMAGE039
，当满足：
Figure 619112DEST_PATH_IMAGE067
认为车机屏幕按钮与深感摄像头坐标系上的点相对应。
步骤S1.4中服务器根据指尖悬停位置进行判断及处理，服务器设定指尖悬停位置 与屏幕距离阈值，当判断指尖悬停位置大于设定阈值
Figure 108999DEST_PATH_IMAGE039
时，展示按钮动态特性；当判断指尖 悬停位置小于设定阈值
Figure 904917DEST_PATH_IMAGE039
时，触发指尖悬停区域按钮功能。
本实施例中，将屏幕的按钮按照从起始点，即屏幕左上角或左下角，开始记录坐标值，按钮所在坐标即为触控区，
二维平面坐标系的坐标与三维世界坐标系的坐标之间的转换，其中，二维平面坐 标系的平面与三维世界坐标系的xoy平面相重合，设定三维世界坐标点
Figure 392530DEST_PATH_IMAGE068
，其中，X、Y、Z分别为点Q在三维世界坐标系X轴、Y轴、Z轴上的位置，
Figure 70636DEST_PATH_IMAGE069
为根据Q点坐标转换的转置矩阵，二维平面坐标点为
Figure 36318DEST_PATH_IMAGE070
，其中， u、v分别为点q在二维平面坐标系X轴、Y轴上的位置，
Figure 686742DEST_PATH_IMAGE071
为根据q点坐标转换的转置 矩阵，其映射关系满足：
Figure 407574DEST_PATH_IMAGE072
其中，s为坐标系变换尺度因子；
Figure 976571DEST_PATH_IMAGE073
分别为二维平面坐标点q、三维世界坐标 点Q的增广矩阵；P为深感摄像头内参矩阵，
Figure 808260DEST_PATH_IMAGE074
构成内参矩阵，R为旋转矩阵，M为平 移矩阵，深感摄像头内参矩阵P满足：
Figure 47612DEST_PATH_IMAGE075
其中，
Figure 142607DEST_PATH_IMAGE076
为光心坐标；
Figure 795305DEST_PATH_IMAGE077
为焦距与像素横纵比的融合。
通过二维、三维坐标系之间的转换对深感摄像头进行标定，并通过对深感摄像头的径向畸变和切向畸变的分析对图片进行矫正：
设定点
Figure 102790DEST_PATH_IMAGE078
为深感摄像头获取的点，
Figure 727806DEST_PATH_IMAGE079
为点
Figure 790440DEST_PATH_IMAGE080
经 去畸变、矫正后得到的点，其关系为：
Figure 602538DEST_PATH_IMAGE081
其中，
Figure 244872DEST_PATH_IMAGE082
为径向畸变系数，
Figure 521133DEST_PATH_IMAGE083
为切向畸变系数。
通过深感摄像头捕捉指尖悬停对应屏幕的坐标和指尖到深感摄像头的距离发送给车机进行分析；通过摄像头坐标系与车机屏幕坐标系之间的变换关系：
所述摄像头坐标系与车机屏幕坐标系之间满足：
Figure 692351DEST_PATH_IMAGE084
其中，
Figure 54062DEST_PATH_IMAGE085
为表示坐标点在车机屏幕坐标系的位置，H表示摄像头坐标系到车机屏 幕坐标系的旋转矩阵，G表示平移矩阵；
设定阈值
Figure 968929DEST_PATH_IMAGE039
，当满足：
Figure 302958DEST_PATH_IMAGE086
认为车机屏幕按钮与摄像头坐标系上的点相对应。
可以对车机屏幕及深感摄像头之间的坐标位置进行对应，同时也可以通过变换关系调整车机屏幕与深感摄像头的位置，使得对指尖的识别更加准确。
通过空间测距法对指尖与屏幕指尖的距离进行测定：
步骤S1.3中的空间测距法中，根据车机内两深感摄像头的成像视差来确定指尖到摄像头的距离L：
Figure 910657DEST_PATH_IMAGE087
其中，
Figure 759664DEST_PATH_IMAGE088
为成像平面最左侧点的横坐标，
Figure 212642DEST_PATH_IMAGE089
为成像平面最右侧点的横坐标，s 为两深感摄像头成像视差；
根据：
Figure 463495DEST_PATH_IMAGE090
得到：
Figure 242095DEST_PATH_IMAGE091
其中，d为基线距离，L为指尖到摄像头的距离，f为深感摄像头焦距。
通过局部立体匹配算法对两深感摄像头的视差进行匹配计算：
两深感摄像头成像视差s通过图像的局部立体匹配算法得到：
Figure 516082DEST_PATH_IMAGE092
其中，
Figure 835068DEST_PATH_IMAGE093
为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴 坐标，
Figure 143689DEST_PATH_IMAGE094
表示匹配窗口灰度均值，A为匹配区域，m为窗口偏移量。
对局部立体匹配算法进行训练，通过AP检测窗口检测优劣：
Figure 824682DEST_PATH_IMAGE095
其中，AP为检测平均精确率，
Figure 382702DEST_PATH_IMAGE064
为样本训练预测精确率，通过检测AP和
Figure 708641DEST_PATH_IMAGE064
的 值调整局部立体匹配算法的窗口大小。
并可以根据AP检测窗口的优劣结果来调整匹配窗口的大小，以达到更好的匹配效果，使得测量的结果更加准确。
车机获取到坐标后可处理相应按钮进行动效展示状态的改变；当检测指尖与深感 摄像头的垂直距离大于设定阈值
Figure 606190DEST_PATH_IMAGE039
后，车机可处理该坐标对应按钮的触发操作。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种手指与车机无接触即可完成按键和功能触发的方法，其特征在于：包括如下步骤：
步骤S1.1：深感摄像头捕捉屏幕上方的指尖悬停信息；
步骤S1.2：当深感摄像头采集到指尖悬停信息时，将数据回传给服务器；
步骤S1.3：服务器根据坐标变换算法以及空间测距法确认指尖悬停位置；
步骤S1.4：指尖悬停后靠近车机屏幕，服务器根据指尖悬停位置进行判断及处理；
所述步骤S1.3中，坐标变换算法具体包括二维平面坐标系的坐标与三维世界坐标系的 坐标之间的转换，其中，二维平面坐标系的平面与三维世界坐标系的xoy平面相重合，设定 三维世界坐标点
Figure 714382DEST_PATH_IMAGE001
，其中，X、Y、Z分别为点Q在三维世界坐标系X轴、Y轴、Z 轴上的位置，
Figure 100364DEST_PATH_IMAGE002
为根据Q点坐标转换的转置矩阵，二维平面坐标点为
Figure 83364DEST_PATH_IMAGE003
，其中，
Figure 744152DEST_PATH_IMAGE004
分别为点q在二维平面坐标系X轴、Y轴上的位置，
Figure 27366DEST_PATH_IMAGE005
为根据q点坐标转换的转置矩阵，三维世界坐标点
Figure 53091DEST_PATH_IMAGE006
与二维平面坐标点q的映射关系满足：
Figure 788966DEST_PATH_IMAGE007
其中，s为坐标系变换尺度因子；
Figure 456707DEST_PATH_IMAGE008
分别为二维平面坐标点q、三维世界坐标点Q的 增广矩阵；P为深感摄像头内参矩阵，
Figure 391165DEST_PATH_IMAGE009
构成内参矩阵，
Figure 853371DEST_PATH_IMAGE010
为旋转矩阵，
Figure 810962DEST_PATH_IMAGE011
为平移 矩阵，深感摄像头内参矩阵P满足：
Figure 813554DEST_PATH_IMAGE012
其中，
Figure 805780DEST_PATH_IMAGE013
为光心坐标；
Figure 438887DEST_PATH_IMAGE014
为焦距与像素横纵比的融合；
两深感摄像头标定的过程中存在畸变，包括径向畸变和切向畸变，设定点
Figure 149354DEST_PATH_IMAGE015
为深感摄像头获取的点，点
Figure 690057DEST_PATH_IMAGE016
为点
Figure 536790DEST_PATH_IMAGE017
经去畸变、矫正后得到的点，其 关系为：
Figure 137536DEST_PATH_IMAGE018
其中，
Figure 335299DEST_PATH_IMAGE019
为径向畸变系数，
Figure 617376DEST_PATH_IMAGE020
为切向畸变系数。
2.根据权利要求1所述的一种手指与车机无接触即可完成按键和功能触发的方法，其特征在于：所述步骤S1.1中，深感摄像头的捕捉起始点为屏幕左上角或屏幕左下角。
3.根据权利要求1所述的一种手指与车机无接触即可完成按键和功能触发的方法，其 特征在于：所述步骤S1.3中的空间测距法，根据车机内两深感摄像头的成像视差来确定指 尖到深感摄像头的距离
Figure 380932DEST_PATH_IMAGE021
：
Figure 621421DEST_PATH_IMAGE022
其中，
Figure 772392DEST_PATH_IMAGE023
为成像平面最左侧点的横坐标，
Figure 123739DEST_PATH_IMAGE024
为成像平面最右侧点的横坐标，s为两 深感摄像头成像视差；
根据：
Figure 741802DEST_PATH_IMAGE025
得到：
Figure 887612DEST_PATH_IMAGE026
其中，
Figure 794389DEST_PATH_IMAGE027
为基线距离，
Figure 480585DEST_PATH_IMAGE021
为指尖到深感摄像头的距离，
Figure 156417DEST_PATH_IMAGE028
为深感摄像头焦距。
4.根据权利要求3所述的一种手指与车机无接触即可完成按键和功能触发的方法，其特征在于：所述两深感摄像头成像视差s通过图像的局部立体匹配算法得到：
Figure 535446DEST_PATH_IMAGE029
其中，
Figure 929518DEST_PATH_IMAGE030
为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴坐标，
Figure 357088DEST_PATH_IMAGE031
表示匹配窗口灰度均值，A为匹配区域，m为窗口偏移量。
5.根据权利要求4所述的一种手指与车机无接触即可完成按键和功能触发的方法，其特征在于：对所述局部立体匹配算法进行训练，通过AP检测窗口检测优劣：
Figure 684164DEST_PATH_IMAGE032
其中，
Figure 437357DEST_PATH_IMAGE033
为检测平均精确率，
Figure 53146DEST_PATH_IMAGE034
为样本训练预测精确率，通过检测AP和
Figure 346724DEST_PATH_IMAGE034
的值 调整局部立体匹配算法的窗口大小。
6.根据权利要求1所述的一种手指与车机无接触即可完成按键和功能触发的方法，其特征在于：所述步骤S1.4中指尖悬停后靠近车机屏幕时，深感摄像头捕捉指尖悬停位置，服务器根据摄像头坐标与车机屏幕坐标的位置转换关系，识别检测指尖触发区域对应的按钮功能，并呈现按钮对应功能。
7.根据权利要求6所述的一种手指与车机无接触即可完成按键和功能触发的方法，其特征在于：所述摄像头坐标与车机屏幕坐标的位置转换关系如下：
Figure 997148DEST_PATH_IMAGE035
其中，
Figure 390083DEST_PATH_IMAGE036
为表示坐标点在车机屏幕坐标系的位置，
Figure 555485DEST_PATH_IMAGE037
表示摄像头坐标系到车机屏幕坐 标系的旋转矩阵，
Figure 590437DEST_PATH_IMAGE038
表示坐标点在摄像头坐标系的位置，
Figure 95368DEST_PATH_IMAGE039
表示平移矩阵；
设定阈值
Figure 721521DEST_PATH_IMAGE040
，当满足：
Figure 577482DEST_PATH_IMAGE041
认为车机屏幕按钮与摄像头坐标系上的点相对应。
8.根据权利要求7所述的一种手指与车机无接触即可完成按键和功能触发的方法，其 特征在于：所述步骤S1.4中服务器根据指尖悬停位置进行判断及处理，服务器设定指尖悬 停位置与屏幕距离阈值，当判断指尖悬停位置大于设定阈值
Figure 150546DEST_PATH_IMAGE040
时，展示按钮动态特性；当判 断指尖悬停位置小于设定阈值
Figure 306721DEST_PATH_IMAGE040
时，触发指尖悬停区域按钮功能。
CN202211390633.9A 2022-11-08 2022-11-08 一种手指与车机无接触即可完成按键和功能触发的方法 Active CN115617178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211390633.9A CN115617178B (zh) 2022-11-08 2022-11-08 一种手指与车机无接触即可完成按键和功能触发的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211390633.9A CN115617178B (zh) 2022-11-08 2022-11-08 一种手指与车机无接触即可完成按键和功能触发的方法

Publications (2)

Publication Number Publication Date
CN115617178A true CN115617178A (zh) 2023-01-17
CN115617178B CN115617178B (zh) 2023-04-25

Family

ID=84879410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211390633.9A Active CN115617178B (zh) 2022-11-08 2022-11-08 一种手指与车机无接触即可完成按键和功能触发的方法

Country Status (1)

Country Link
CN (1) CN115617178B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339591A (zh) * 2010-11-09 2013-10-02 诺基亚公司 用于用户输入以控制显示信息的装置和方法
CN104199547A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
US9146633B1 (en) * 2013-03-15 2015-09-29 hopTo Inc. Touch-based hovering on remote devices
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN111813290A (zh) * 2020-09-09 2020-10-23 武汉中科通达高新技术股份有限公司 一种数据处理方法、装置以及电子设备
CN112363629A (zh) * 2020-12-03 2021-02-12 深圳技术大学 一种新的非接触式人机交互方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339591A (zh) * 2010-11-09 2013-10-02 诺基亚公司 用于用户输入以控制显示信息的装置和方法
US9146633B1 (en) * 2013-03-15 2015-09-29 hopTo Inc. Touch-based hovering on remote devices
CN104978012A (zh) * 2014-04-03 2015-10-14 华为技术有限公司 一种指向交互方法、装置及系统
CN104199547A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN111813290A (zh) * 2020-09-09 2020-10-23 武汉中科通达高新技术股份有限公司 一种数据处理方法、装置以及电子设备
CN112363629A (zh) * 2020-12-03 2021-02-12 深圳技术大学 一种新的非接触式人机交互方法及系统

Also Published As

Publication number Publication date
CN115617178B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
US8649575B2 (en) Method and apparatus of a gesture based biometric system
JP6248533B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
TWI471815B (zh) 手勢辨識裝置及方法
CN110209273A (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
CN107507239A (zh) 一种图像分割方法及移动终端
JPWO2009139214A1 (ja) 表示装置および制御方法
CN108027656B (zh) 输入设备、输入方法和程序
US20160274670A1 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
JP2012208705A (ja) 画像操作装置、画像操作方法およびプログラム
WO2020216091A1 (zh) 图像处理方法及相关装置
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
WO2019100407A1 (zh) 基于图样中标志图形点坐标的转换关系定位终端屏幕
CN109213363A (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
KR101127517B1 (ko) 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치
JP5555193B2 (ja) データ処理装置、データ処理システム、及びプログラム
JP4870651B2 (ja) 情報入力システムおよび情報入力方法
KR100968205B1 (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
CN115617178A (zh) 一种手指与车机无接触即可完成按键和功能触发的方法
CN113807191B (zh) 一种非侵入式可视化测试脚本自动录制方法
WO2022127916A1 (zh) 图像处理方法、描述子提取方法及其装置、电子设备
KR100983051B1 (ko) 깊이 센서 방식의 공간 터치 감지 장치, 방법 및 스크린장치
KR101654120B1 (ko) 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
KR20090037535A (ko) 터치스크린의 입력 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant