CN110941367A - 一种基于双摄的识别方法及终端 - Google Patents

一种基于双摄的识别方法及终端 Download PDF

Info

Publication number
CN110941367A
CN110941367A CN201811119861.6A CN201811119861A CN110941367A CN 110941367 A CN110941367 A CN 110941367A CN 201811119861 A CN201811119861 A CN 201811119861A CN 110941367 A CN110941367 A CN 110941367A
Authority
CN
China
Prior art keywords
preset feature
pictures
preset
neural network
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811119861.6A
Other languages
English (en)
Inventor
胡宏波
熊伟
郑先木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201811119861.6A priority Critical patent/CN110941367A/zh
Publication of CN110941367A publication Critical patent/CN110941367A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于双摄的识别方法和终端，获取双摄像头拍摄的包含一预设特征点的待测区域的两张图片；基于神经网络分别定位出所述预设特征点在两张图片中的位置；根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位，根据所述相对移位判断所述预设特征点是否与所述待测区域接触；直接根据神经网络定位出预设特征点的位置，无需借助预设的特征纹理，能够实现自然交互，并且基于相对移位确定所述预设特征点是否与待测区域接触，相较于现有技术中的投影集合算法，不仅适用平面的待测区域的是否接触的识别，也适用曲面的待测区域的是否接触的识别，通用性更高。

Description

一种基于双摄的识别方法及终端
技术领域
本发明涉及图像识别领域，尤其涉及一种基于双摄的识别方法及终端。
背景技术
现有技术中，一般的点读装置采用点读笔或手指点读方式，点读笔或手指有一个共同的特征就是点读笔或手指具有预先设定的特征纹理，进行识别时，通过对所述特征纹理的识别进而确定点读笔或手指所在的点读位置，从而实现点读。
但是，这种方式通用性较差，点读笔或手指必须具有预先设定的特征纹理，才能够实现点读，无法实现自然交互。
发明内容
本发明所要解决的技术问题是：提供一种基于双摄的识别方法及终端，能够实现自然交互。
为了解决上述技术问题，本发明采用的一种技术方案为：
一种基于双摄的识别方法，包括步骤：
S1、获取双摄像头拍摄的包含一预设特征点的待测区域的两张图片；
S2、基于神经网络分别定位出所述预设特征点在两张图片中的位置；
S3、根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位，根据所述相对移位判断所述预设特征点是否与所述待测区域接触。
进一步的，所述待测区域包含一移动体，所述预设特征点设置在所述移动体的一端或为所述移动体的一个端点。
进一步的，所述步骤S2包括：
S21、基于神经网络分别定位出两张图中所述移动体所在的区域；
S22、基于神经网络分别在两张图中的所述移动体所在的区域识别出预设特征点；
S23、分别根据识别出的预设特征点定位出所述预设特征点在两张图片中的位置。
进一步的，所述步骤S21之后还包括：
判断神经网络返回的所述移动体所在的区域的响应值是否大于第一阈值，若是，则执行步骤S22，否则，进行下一帧图片的识别。
进一步的，所述步骤S2之前包括步骤：
采用包含所述移动体的图片对所述神经网络进行训练，所述移动体上具有标注数据，所述标注数据包括所述预设特征点。
进一步的，所述步骤S22中基于神经网络在图中的所述移动体所在的区域识别出预设特征点包括：
S221、使用多尺度处理输入神经网络的图片，所述图片为所述移动体所在的区域的图片；
S222、分别计算各个尺度下图片输入所述神经网络后得到的预设特征点的响应图；
S223、将得到的各个尺度下的响应图加权平均，识别出所述预设特征点。
进一步的，所述步骤S222之后还包括：
判断得到的各个尺度下的预设特征点的响应图的响应值是否均大于第二阈值，若是，则执行步骤S223，否则，进行下一帧图片的识别。
进一步的，所述步骤S3中根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位包括：
在两张图片中分别以所述预设特征点的位置作为参照点，基于相同的参照规则确定一预设大小的第一区域；
根据两张图片中的第一区域之间的相对移位确定所述预设特征点在两张图中的相对移位。
进一步的，所述步骤S3中根据所述相对移位判断所述预设特征点是否与所述待测区域接触包括：
判断所述相对移位是否小于第三阈值，若是，则所述预设特征点与所述待测区域接触，否则，所述预设特征点与所述待测区域不接触。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种基于双摄的识别终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取双摄像头拍摄的包含一预设特征点的待测区域的两张图片；
S2、基于神经网络分别定位出所述预设特征点在两张图片中的位置；
S3、根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位，根据所述相对移位判断所述预设特征点是否与所述待测区域接触。
进一步的，所述待测区域包含一移动体，所述预设特征点设置在所述移动体的一端或为所述移动体的一个端点。
进一步的，所述步骤S2包括：
S21、基于神经网络分别定位出两张图中所述移动体所在的区域；
S22、基于神经网络分别在两张图中的所述移动体所在的区域识别出预设特征点；
S23、分别根据识别出的预设特征点定位出所述预设特征点在两张图片中的位置。
进一步的，所述步骤S21之后还包括：
判断神经网络返回的所述移动体所在的区域的响应值是否大于第一阈值，若是，则执行步骤S22，否则，进行下一帧图片的识别。
进一步的，所述步骤S2之前包括步骤：
采用包含所述移动体的图片对所述神经网络进行训练，所述移动体上具有标注数据，所述标注数据包括所述预设特征点。
进一步的，所述步骤S22中基于神经网络在图中的所述移动体所在的区域识别出预设特征点包括：
S221、使用多尺度处理输入神经网络的图片，所述图片为所述移动体所在的区域的图片；
S222、分别计算各个尺度下图片输入所述神经网络后得到的预设特征点的响应图；
S223、将得到的各个尺度下的响应图加权平均，识别出所述预设特征点。
进一步的，所述步骤S222之后还包括：
判断得到的各个尺度下的预设特征点的响应图的响应值是否均大于第二阈值，若是，则执行步骤S223，否则，进行下一帧图片的识别。
进一步的，所述步骤S3中根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位包括：
在两张图片中分别以所述预设特征点的位置作为参照点，基于相同的参照规则确定一预设大小的第一区域；
根据两张图片中的第一区域之间的相对移位确定所述预设特征点在两张图中的相对移位。
进一步的，所述步骤S3中根据所述相对移位判断所述预设特征点是否与所述待测区域接触包括：
判断所述相对移位是否小于第三阈值，若是，则所述预设特征点与所述待测区域接触，否则，所述预设特征点与所述待测区域不接触。
本发明的有益效果在于：基于神经网络分别定位出预设特征点在通过双摄像头拍摄的包含待测区域的两张图片中的位置，根据所述预设特征点在两张图片中的相对移位确定所述预设特征点是否与待测区域接触，直接根据神经网络定位出预设特征点的位置，无需借助预设的特征纹理，能够实现自然交互，并且基于相对移位确定所述预设特征点是否与待测区域接触，相较于现有技术中的投影集合算法，不仅适用平面的待测区域的是否接触的识别，也适用曲面的待测区域的是否接触的识别，通用性更高。
附图说明
图1为本发明实施例的一种基于双摄的识别方法的步骤流程图；
图2为本发明实施例的一种基于双摄的识别终端的结构示意图；
图3为本发明实施例的识别手所在区域的示意图；
图4为本发明实施例的用于训练神经网络的训练数据的示意图；
图5为本发明实施例的识别成功的示意图；
标号说明：
1、一种基于双摄的识别终端；2、存储器；3、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
双摄像头组件由发射光源、光学透镜、成像传感器和图像处理单元等组成。双摄像头组件包含双目立体视觉、结构光、TOF三种技术解决方案。得益于图像处理器和双摄处理算法的进步，双摄像头技术在夜拍降噪、快速对焦、光学变焦、景深利用等方面已展现出了较好的效果。
本发明提出的基于双摄的识别方法及终端可以实现在任意表面上自然交互，能够适用于任何需要实现自然交互的场景，比如点读机、虚拟键盘、虚拟鼠标、互动投影、VR场景、AR场景、MR场景、交互游戏等，下面结合具体的应用场景来说明。
请参照图1、图5，一种基于双摄的识别方法，包括步骤：
S1、获取双摄像头拍摄的包含一预设特征点的待测区域的两张图片；
其中，通过双摄像头拍摄得到的是针对同一待测区域的不同视角的两张图片；
在获取到所述两张图片后，可以对两张图片进行增强处理，具体的增强处理方式可以根据实际情况需要确定；
所述待测区域包含一移动体，所述预设特征点设置在所述移动体的一端或为所述移动体的一个端点，比如在点读机场景中，所述移动体可以为手指或笔，相应的预设特征点为手指指尖或笔尖，所述待测区域即为书本；在交互游戏场景中，所述移动体也可以为游戏手柄，相应的预设特征点可以为手柄的端点，所述待测区域即为交互游戏场景；在虚拟键盘或虚拟鼠标中，所述移动体可以为手指，相应的预设特征点为手指指尖，所述的待测区域即为虚拟键盘或虚拟鼠标；
S2、基于神经网络分别定位出所述预设特征点在两张图片中的位置；
具体的，包括如下步骤：
S21、基于神经网络分别定位出两张图中所述移动体所在的区域；
基于神经网络，能够实现对移动体所在区域的动态监测，可以选出一个候选区域框；图3所示为识别出手所在区域的示意图，当识别到手所在区域时，可选的有候选区域框提示。
S22、基于神经网络分别在两张图中的所述移动体所在的区域识别出预设特征点；
S23、分别根据识别出的预设特征点定位出所述预设特征点在两张图片中的位置；
其中，所述神经网络可以为针对所述移动体上的预设特征点的定位任务而采用监督、半监督或无监督等方式预先训练完成的神经网络，所述神经网络的网络结构可以根据对所述移动体上的预设特征点的定位任务的需要进行灵活设计，本实施例并不做限制，比如，神经网络可以包括但不限于卷积层、非线性Relu层、池化层、全连接层等，网络层数越多，则网络越深；又如，运动体所在区域的检测所用的神经网络的网络结构可以采用但不限于SSD(Singer Shot MultiBox Detector)、YOLO，Faster_rcnn等网络结构；预设特征点的检测所用的神经网络的网络结构可以采用但不限于Mobilenet、深度残差网络(DeepResidual Network，ResNet)或VGGnet(Visual Geometry Group Network)等网络的结构；
在执行步骤S2之前先对神经网络进行训练，训练的具体方式本实施例不做具体限定，本领域技术人员可以根据实际情况需要进行选择，比如，神经网络可以采用监督的方式预先训练完成；
具体训练时，采用包含所述移动体的图片对所述神经网络进行训练，所述移动体上具有标注数据，所述标注数据包括所述预设特征点，如图4所示，每张图片中包含了移动体手，并且手上具有标注数据，手上的一个个点即为标注点，即特征点，包括指尖及指关节，在所述标注数据中包含了预设特征点其中，指尖即为预设特征点；
在训练完成后，将要识别的图片输入训练完成的神经网络后，即能够得到图片中对应的特征点，因为是按照预设的顺序得到图片中各个特征点的响应图，因此，能够明确知道预设特征点响应图的索引，从而可以直接获取到预设特征点在图片中的位置；
在图4中进行训练的是食指的标注数据，根据实际情况需要，也可以添加其它的标注数据，比如拇指、无名指等，从而使得神经网络能够识别出拇指、无名指上的特征点；
S3、根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位，根据所述相对移位判断所述预设特征点是否与所述待测区域接触；
其中，所述预设特征点在两张图片中的相对移位指的是两张图片中的预设特征点沿着双摄像头之间的连线方向的偏移，比如，如果双摄像头中两个摄像头相对于所述待测区域是左右排列的，则相对移位是沿着左右方向，如果双摄像头中两个摄像头相对于所述待测区域是上下排列的，则相对移位是沿着上下方向；
如果确定了预设特征点与待测区域接触，则根据所述预设特征点所在的待测区域的位置，将所述预设特征点与待测区域中对应的内容源(比如交互图书、交互游戏、交互键盘、交互鼠标等)进行关联，并作出一致的关联行为，比如点读发声、实现游戏互动、实现键盘的输出、实现鼠标的点击等。
在另一个可选的实施例中，可以使用CNN对移动体上的预设特征点(比如手指指尖)进行检测识别，使用级联的卷积结构来表达空间信息和纹理信息，空间信息指的是特征点之间的距离关系，可以通过高层的神经网络来获取各个特征点之间的关联性，纹理信息指的是神经网络在其感受野内获取到的图片的纹理信息；
其中，级联的卷积结构是将网络分为多个阶段，每个阶段都进行相应的训练，前面阶段使用原始图片作为输入，后面阶段使用之前阶段的特征图作为输入，从而实现了空间信息、纹理信息和中心约束的融合，中心约束指的是在进行训练时会对要识别的预设特征点进行标注，这样神经网络获取的响应值会针对这个标注点进行回归。
在另一个可选的实施例中，为了保证预设特征点定位的精度，并且考虑图片中各个物体之间的远近距离关系，在基于神经网络在图中的所述移动体所在的区域识别出预设特征点时，使用多尺度处理输入神经网络的图片，所述图片为所述移动体所在的区域的图片；
分别计算各个尺度下图片输入所述神经网络后得到的预设特征点的响应图；
将得到的各个尺度下的响应图加权平均，识别出所述预设特征点；
其中，多尺度指的是不同的输入分辨率，级联网络会针对不同的输入分辨率的输入提取特征，得到不同分辨率的预设特征点的响应，这样能够避免目标尺度变换对识别效果带来的影响；
神经网络得到的响应图是将认为是预设特征点的坐标给一个概率，比如指尖，得到坐标坐标(x1,y1)为指尖的概率是n1,(x2,y2)为指尖的概率是n2，(x3,y3)为指尖的概率为n3，最终确定一个坐标是指尖的位置(x,y):
x＝(x1*n1+x2*n2+x3*n3)/(n1+n2+n3)
y＝(y1*n1+y2*n2+y3*n3)/(n1+n2+n3)。
在另一个可选的实施例中，为了保证识别的可靠性，所述步骤S21之后还包括：
判断神经网络返回的所述移动体所在的区域的响应值是否大于第一阈值，若是，则执行步骤S22，否则，进行下一帧图片的识别。
在另一个可选的实施例中，在得到各尺度下预设特征点的响应图后，判断得到的各个尺度下的预设特征点的响应图的响应值是否均大于第二阈值，若是，则执行后续的加权平均，识别出预设特征点的步骤，否则，进行下一帧图片的识别。
在另一个可选的实施例中，所述步骤S3中根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位包括：
在两张图片中分别以所述预设特征点的位置作为参照点，基于相同的参照规则确定一预设大小的第一区域；
具体的，所述预设特征点在两张图片中都有对应的位置，在两张图片中分别以所述预设特征点的位置作为参照点，沿着相同的方向移动相同的距离，确定出一预设大小的第一区域，也就是说在两张图片中确定出的第一区域与相应图片中的预设特征点的位置之间的相对位置关系是相同的，比如在点读机应用场景中，双摄像头中的摄像头呈左右并列方式排列，左图片中是在笔尖正下方距离笔尖3个像素点处画出70*20像素点区域，作为左图片的第一区域，相应的，在右图片中也是在笔尖正下方距离笔尖3个像素点处画出70*20像素点区域，作为右图片的第一区域；
其中，所述第一区域的大小、形状以及相对所述预设特征点的位置均是可以根据实际情况的需要进行调整的，优选的，所述第一区域不要包括所述预设特征点在内以提高后续进行区域比较以确定相对移位时的准确度；
根据两张图片中的第一区域之间的相对移位确定所述预设特征点在两张图中的相对移位；
其中，为了保证两张图片处于相同的坐标系中，可以先对所述两张图片进行极线标定；
由于是基于区域的相对移位来判断预设特征点是否与待测区域接触，相较于现有技术中通过投影来判断是否接触具有更高的通用性和准确性，不仅适用于平面接触，也适用于曲面接触。
在另一个可选的实施例中，所述步骤S3中根据所述相对移位判断所述预设特征点是否与所述待测区域接触包括：
判断所述相对移位是否小于一预设值第三阈值，若是，则所述预设特征点与所述待测区域接触，否则，所述预设特征点与所述待测区域不接触；
由于两张图片是从不同视角获得的，因此，如果预设特征点与待测区域接触，则预设特征点在两张图片中的相对移位很小，如果预设特征点与待测区域不接触，则预设特征点在两张图片中的位置的相对移位将会比较大，因此，通过设置合理的预设值，当所述相对移位小于所述预设值时，即可以判断预设特征点与待测区域接触，当所述相对移位大于或等于所述预设值，则可以判断预设特征点与待测区域不接触。
在另一个可选的实施例中，如图2所示，一种基于双摄的识别终端1，包括存储器2、处理器3及存储在存储器2上并可在所述处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现上述各个方法实施例的步骤。
综上所述，本发明提供的一种基于双摄的识别方法及终端，基于训练好的神经网络先分别确定出移动体在通过双摄像头拍摄的包含待测区域的两张图片中所在的位置，再分别定位出预设特征点在两张图片中的位置，根据所述预设特征点在两张图片中的位置确定的两张图片的第一区域之间的相对移位确定所述预设特征点是否与待测区域接触，无需在移动体上预先设定特征纹理，直接根据训练好的神经网络定位出预设特征点的位置，能够实现自然交互，并且基于区域的相对移位确定所述预设特征点是否与待测区域接触，相较于现有技术中的投影集合算法，不仅适用平面的待测区域的是否接触的识别，也适用曲面的待测区域的是否接触的识别，通用性更高。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (18)

1.一种基于双摄的识别方法，其特征在于，包括步骤：
S1、获取双摄像头拍摄的包含一预设特征点的待测区域的两张图片；
S2、基于神经网络分别定位出所述预设特征点在两张图片中的位置；
S3、根据所述预设预设特征点在两张图片中的位置确定其在两张图片中的相对移位，根据所述相对移位判断所述预设预设特征点是否与所述待测区域接触。
2.根据权利要求1所述的一种基于双摄的识别方法，其特征在于，所述待测区域包含一移动体，所述预设特征点设置在所述移动体的一端或为所述移动体的一个端点。
3.根据权利要求2所述的一种基于双摄的识别方法，其特征在于，所述步骤S2包括：
S21、基于神经网络分别定位出两张图中所述移动体所在的区域；
S22、基于神经网络分别在两张图中的所述移动体所在的区域识别出预设特征点；
S23、分别根据识别出的预设特征点定位出所述预设特征点在两张图片中的位置。
4.根据权利要求3所述的一种基于双摄的识别方法，其特征在于，所述步骤S21之后还包括：
判断神经网络返回的所述移动体所在的区域的响应值是否大于第一阈值，若是，则执行步骤S22，否则，进行下一帧图片的识别。
5.根据权利要求2至4中任一项所述的一种基于双摄的识别方法，其特征在于，所述步骤S2之前包括步骤：
采用包含所述移动体的图片对所述神经网络进行训练，所述移动体上具有标注数据，所述标注数据包括所述预设特征点。
6.根据权利要求3或4所述的一种基于双摄的识别方法，其特征在于，所述步骤S22中基于神经网络在图中的所述移动体所在的区域识别出预设特征点包括：
S221、使用多尺度处理输入神经网络的图片，所述图片为所述移动体所在的区域的图片；
S222、分别计算各个尺度下图片输入所述神经网络后得到的预设特征点的响应图；
S223、将得到的各个尺度下的响应图加权平均，识别出所述预设特征点。
7.根据权利要求6所述的一种基于双摄的识别方法，其特征在于，所述步骤S222之后还包括：
判断得到的各个尺度下的预设特征点的响应图的响应值是否均大于第二阈值，若是，则执行步骤S223，否则，进行下一帧图片的识别。
8.根据权利要求1至4、7中任一项所述的一种基于双摄的识别方法，其特征在于，所述步骤S3中根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位包括：
在两张图片中分别以所述预设特征点的位置作为参照点，基于相同的参照规则确定一预设大小的第一区域；
根据两张图片中的第一区域之间的相对移位确定所述预设特征点在两张图中的相对移位。
9.根据权利要求1至4、7中任一项所述的一种基于双摄的识别方法，其特征在于，所述步骤S3中根据所述相对移位判断所述预设特征点是否与所述待测区域接触包括：
判断所述相对移位是否小于第三阈值，若是，则所述预设特征点与所述待测区域接触，否则，所述预设特征点与所述待测区域不接触。
10.一种基于双摄的识别终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取双摄像头拍摄的包含一预设特征点的待测区域的两张图片；
S2、基于神经网络分别定位出所述预设特征点在两张图片中的位置；
S3、根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位，根据所述相对移位判断所述预设特征点是否与所述待测区域接触。
11.根据权利要求10所述的一种基于双摄的识别终端，其特征在于，所述待测区域包含一移动体，所述预设特征点设置在所述移动体的一端或为所述移动体的一个端点。
12.根据权利要求11所述的一种基于双摄的识别终端，其特征在于，所述步骤S2包括：
S21、基于神经网络分别定位出两张图中所述移动体所在的区域；
S22、基于神经网络分别在两张图中的所述移动体所在的区域识别出预设特征点；
S23、分别根据识别出的预设特征点定位出所述预设特征点在两张图片中的位置。
13.根据权利要求12所述的一种基于双摄的识别终端，其特征在于，所述步骤S21之后还包括：
判断神经网络返回的所述移动体所在的区域的响应值是否大于第一阈值，若是，则执行步骤S22，否则，进行下一帧图片的识别。
14.根据权利要求11至13中任一项所述的一种基于双摄的识别终端，其特征在于，所述步骤S2之前包括步骤：
采用包含所述移动体的图片对所述神经网络进行训练，所述移动体上具有标注数据，所述标注数据包括所述预设特征点。
15.根据权利要求12或13所述的一种基于双摄的识别终端，其特征在于，所述步骤S22中基于神经网络在图中的所述移动体所在的区域识别出预设特征点包括：
S221、使用多尺度处理输入神经网络的图片，所述图片为所述移动体所在的区域的图片；
S222、分别计算各个尺度下图片输入所述神经网络后得到的预设特征点的响应图；
S223、将得到的各个尺度下的响应图加权平均，识别出所述预设特征点。
16.根据权利要求15所述的一种基于双摄的识别终端，其特征在于，所述步骤S222之后还包括：
判断得到的各个尺度下的预设特征点的响应图的响应值是否均大于第二阈值，若是，则执行步骤S223，否则，进行下一帧图片的识别。
17.根据权利要求10至13、16中任一项所述的一种基于双摄的识别终端，其特征在于，所述步骤S3中根据所述预设特征点在两张图片中的位置确定其在两张图片中的相对移位包括：
在两张图片中分别以所述预设特征点的位置作为参照点，基于相同的参照规则确定一预设大小的第一区域；
根据两张图片中的第一区域之间的相对移位确定所述预设特征点在两张图中的相对移位。
18.根据权利要求10至13、16中任一项所述的一种基于双摄的识别终端，其特征在于，所述步骤S3中根据所述相对移位判断所述预设特征点是否与所述待测区域接触包括：
判断所述相对移位是否小于第三阈值，若是，则所述预设特征点与所述待测区域接触，否则，所述预设特征点与所述待测区域不接触。
CN201811119861.6A 2018-09-25 2018-09-25 一种基于双摄的识别方法及终端 Pending CN110941367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811119861.6A CN110941367A (zh) 2018-09-25 2018-09-25 一种基于双摄的识别方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811119861.6A CN110941367A (zh) 2018-09-25 2018-09-25 一种基于双摄的识别方法及终端

Publications (1)

Publication Number Publication Date
CN110941367A true CN110941367A (zh) 2020-03-31

Family

ID=69904994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811119861.6A Pending CN110941367A (zh) 2018-09-25 2018-09-25 一种基于双摄的识别方法及终端

Country Status (1)

Country Link
CN (1) CN110941367A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1912816A (zh) * 2005-08-08 2007-02-14 北京理工大学 一种基于摄像头的虚拟触摸屏系统
CN101776953A (zh) * 2009-12-29 2010-07-14 胡世曦 一种光学定位方法和与键盘融合的手指鼠标
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
CN103761011A (zh) * 2013-06-04 2014-04-30 深圳先进技术研究院 一种虚拟触摸屏的方法、系统及计算设备
CN103824282A (zh) * 2013-12-11 2014-05-28 香港应用科技研究院有限公司 使用表面映射图、物体阴影和一个相机的触摸及运动检测
CN105472246A (zh) * 2015-12-22 2016-04-06 努比亚技术有限公司 拍照装置及方法
JP2017027115A (ja) * 2015-07-15 2017-02-02 平賀 高市 ジェスチャによるポインティング方法
KR20170023565A (ko) * 2015-08-24 2017-03-06 상명대학교서울산학협력단 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
CN106898119A (zh) * 2017-04-26 2017-06-27 华迅金安（北京）科技有限公司 基于双目摄像头的安全作业智能监控系统及方法
CN107563494A (zh) * 2017-08-01 2018-01-09 华南理工大学 一种基于卷积神经网络和热图的第一视角指尖检测方法
CN108089753A (zh) * 2017-12-28 2018-05-29 安徽慧视金瞳科技有限公司 一种利用Faster-RCNN对指尖位置进行预测的定位方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1912816A (zh) * 2005-08-08 2007-02-14 北京理工大学 一种基于摄像头的虚拟触摸屏系统
CN101776953A (zh) * 2009-12-29 2010-07-14 胡世曦 一种光学定位方法和与键盘融合的手指鼠标
CN101882014A (zh) * 2009-12-29 2010-11-10 胡世曦 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN101963848A (zh) * 2009-12-29 2011-02-02 胡世曦 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
CN103761011A (zh) * 2013-06-04 2014-04-30 深圳先进技术研究院 一种虚拟触摸屏的方法、系统及计算设备
CN103824282A (zh) * 2013-12-11 2014-05-28 香港应用科技研究院有限公司 使用表面映射图、物体阴影和一个相机的触摸及运动检测
JP2017027115A (ja) * 2015-07-15 2017-02-02 平賀 高市 ジェスチャによるポインティング方法
KR20170023565A (ko) * 2015-08-24 2017-03-06 상명대학교서울산학협력단 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
CN105472246A (zh) * 2015-12-22 2016-04-06 努比亚技术有限公司 拍照装置及方法
CN106898119A (zh) * 2017-04-26 2017-06-27 华迅金安（北京）科技有限公司 基于双目摄像头的安全作业智能监控系统及方法
CN107563494A (zh) * 2017-08-01 2018-01-09 华南理工大学 一种基于卷积神经网络和热图的第一视角指尖检测方法
CN108089753A (zh) * 2017-12-28 2018-05-29 安徽慧视金瞳科技有限公司 一种利用Faster-RCNN对指尖位置进行预测的定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐一华: ""一种基于视觉的手指屏幕交互方法"", 《电子学报》 *

Similar Documents

Publication Publication Date Title
US11379699B2 (en) Object detection method and apparatus for object detection
US10638117B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
JP6273334B2 (ja) 情報をその上に投影するための実世界内の表面の動的な選択
KR20200092894A (ko) 손가락 끝 모션 패턴들의 제스처들로의 실시간 온 디바이스 분류
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
WO2015172679A1 (zh) 一种图像处理方法和装置
KR20170030613A (ko) 터치 분류
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
CN103679788B (zh) 一种移动终端中3d图像的生成方法和装置
US11842514B1 (en) Determining a pose of an object from rgb-d images
US10165168B2 (en) Model-based classification of ambiguous depth image data
JP2020525958A (ja) 画像処理システム及び画像処理方法
TW201407420A (zh) 改善之視訊追蹤
WO2021025761A1 (en) Sub-pixel data simulation system
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
US20200027270A1 (en) Method and device for interacting with virtual objects
CN110941367A (zh) 一种基于双摄的识别方法及终端
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆
CN112750164B (zh) 轻量化定位模型的构建方法、定位方法、电子设备
JP5975484B2 (ja) 画像処理装置
CN115497094A (zh) 图像处理方法及装置、电子设备和存储介质
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200331

RJ01 Rejection of invention patent application after publication