CN112651298A - 基于手指关节定位的点读方法、装置、系统及介质 - Google Patents
基于手指关节定位的点读方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN112651298A CN112651298A CN202011358547.0A CN202011358547A CN112651298A CN 112651298 A CN112651298 A CN 112651298A CN 202011358547 A CN202011358547 A CN 202011358547A CN 112651298 A CN112651298 A CN 112651298A
- Authority
- CN
- China
- Prior art keywords
- finger
- reading
- point
- joint
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001145 finger joint Anatomy 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000013136 deep learning model Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于手指关节定位的点读方法、装置、系统及介质，方法包括：当开启点读功能后获取点读图像和手势图像；将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。本发明实施例通过检测点读时的手指关节点位置得出当前的手指指向，结合指尖位置与手指指向进行匹配点读，在点读图像中内容密集或者用户点读时指尖位置不明确时也能实现准确的点读目标匹配，提高点读匹配的精确性。
Description
技术领域
本发明涉及智能点读技术领域，尤其涉及基于手指关节定位的点读方法、装置、系统及介质。
背景技术
当前的在线教学场景中，通常会有学生指读的功能场景，例如学生使用手指指向课本中的某一目标，对手指的位置进行定位，根据手指位置对相应的目标作出识别、翻译等操作，当前已有一些技术可以借助深度模型定位手指尖等位置进行点读，但是对于一些复杂场景，例如手指尖处目标较为密集或者用户手指尖正好处于多个目标的正中间等情况，手指尖点读可能出现目标匹配不准确的问题。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供基于手指关节定位的点读方法、装置、系统及介质，旨在解决现有技术中的点读匹配准确率不高的问题。
本发明的技术方案如下：
一种基于手指关节定位的点读方法，其包括如下步骤：
当开启点读功能后获取点读图像和手势图像；
将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；
根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；
将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。
所述的基于手指关节定位的点读方法中，所述将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置之前，还包括：
构建深度学习模型，根据预先采集且已标注指尖位置和若干个指定关节点位置的手指训练样本对所述深度学习模型进行训练，使所述深度学习模型收敛后生成手指关节点检测模型。
所述的基于手指关节定位的点读方法中，所述检测当前手势图像中的指尖位置和若干个指定关节点的位置，具体包括：
检测当前手势图像中食指指尖、食指第一关节点、食指第二关节点、中指第一关节点和中指第二关节点的位置。
所述的基于手指关节定位的点读方法中，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向，包括：
计算所述食指指尖、食指第一关节点和食指第二关节点中任意两点的连线方向；
取所有连线方向的均值作为当前手势图像中的手指指向。
所述的基于手指关节定位的点读方法中，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向之后，还包括：
根据所述食指指尖的位置与所述中指第一关节点或中指第二关节点的位置的连线计算约束指向；
计算所述手指指向与约束指向之间的夹角，若所述夹角小于预设角度则判断当前手指指向可靠，否则判断当前手指指向不可靠。
所述的基于手指关节定位的点读方法中，所述判断当前手指指向不可靠之后，还包括：
输出当前手势无法点读的提示信息。
所述的基于手指关节定位的点读方法中，所述将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读，包括：
将所述指尖位置与所述点读图像进行匹配后输出待点读区域；
根据所述手指指向在所述待点读区域中确认点读目标，对所述点读目标进行识别点读。
本发明又一实施例还提供了一种基于手指关节定位的点读装置，所述装置包括：
图像获取模块，用于当开启点读功能后获取点读图像和手势图像；
检测模块，用于将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；
计算模块，用于根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；
匹配点读模块，将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。
本发明又一实施例还提供了一种基于手指关节定位的点读系统，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于手指关节定位的点读方法。
本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于手指关节定位的点读方法。
有益效果：本发明公开了基于手指关节定位的点读方法、装置、系统及介质，相比于现有技术，本发明实施例通过检测点读时的手指关节点位置得出当前的手指指向，结合指尖位置与手指指向进行匹配点读，在点读图像中内容密集或者用户点读时指尖位置不明确时也能实现准确的点读目标匹配，提高点读匹配的精确性。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明提供的基于手指关节定位的点读方法较佳实施例的流程图；
图2为本发明提供的基于手指关节定位的点读装置较佳实施例的功能模块示意图；
图3为本发明提供的基于手指关节定位的点读系统较佳实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。
请参阅图1，图1为本发明提供的基于手指关节定位的点读方法较佳实施例的流程图。如图1所示，其包括如下步骤：
S100、当开启点读功能后获取点读图像和手势图像；
S200、将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；
S300、根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；
S400、将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。
本实施例中，当用户开启点读功能后通过手指进行点读，此时可通过摄像头俯拍课件或课本等点读图像，用户在点读时手指必然会出现在点读图像区域，因此通过俯拍也可通过摄像头获取到手势图像，即在用户点读前后分别采集两幅图像，点读前采集点读图像而点读后采集手势图像，通过预设的手指关节点检测模型对所述手势图像中的指尖位置和若干个指定关节点的位置进行检测输出，判断当前手势图像中的手指指向，即不仅检测手指的指尖位置，还通过手指关节定位得到当前的手指指向，通过所述指尖位置和手指指向与点读图像进行匹配后得到准确的点读目标，由于点图图像和手势图像均为同一摄像头在相同条件下进行拍摄采集，其像素分辨率等参数均一致，因此在对手势图像进行手指关节定位后与点读图像进行匹配必然可以得出准确的点读匹配结果，之后对所述点读目标进行识别点读，具体可识别文字后转为语音输出或者识别外文后进行翻译或者识别图形后进行翻译等等，通过在指尖位置的基础上结合手指指向，在复杂点读场景下也能实现准确的点读操作。
优选地，所述点读图像和手势图像亦可同时获取，即在用户指向目标后直接采集一副包含了手势的点读图像，对该点读图像的手部区域进行检测并裁剪后得到手势图像，对手势图像进行手指关节定位后与点读图像进行拼接，根据拼接后的图像进行匹配点读即可得出准确的点读匹配结果，具体可根据实际需要进行选择设置，本发明对此不作限制。
进一步地，所述将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置之前，还包括：
构建深度学习模型，根据预先采集且已标注指尖位置和若干个指定关节点位置的手指训练样本对所述深度学习模型进行训练，使所述深度学习模型收敛后生成手指关节点检测模型。
本实施例中，预先构建并训练得到手指关节点检测模型，具体实施时可构建基础的卷积神经网络或者基于mobilenet的卷积神经网络作为深度学习模型的基础网络，其中mobilenet作为专注于在移动设备和嵌入式设备上的轻量级卷积神经网络，相比于传统的卷积神经网络，在准确率小幅降低的前提下，大大减小模型参数和运算量，具体可根据对模型精度和效率的要求选择合适的深度学习模型，通过预先采集的大量手指训练样本对所述深度学习模型进行训练，具体所述手指训练样本为点读手势图像，并且在点读手势图像上已标注了指尖位置和若干个指定关节点的位置，将这些具有确定的关节坐标值的手指训练样本输入至深度学习模型中，根据深度学习模型的检测输出值与手指训练样本中的关节坐标差值反向调节深度学习模型的参数直到模型收敛，即深度学习模型的手指关节点检测值与手指训练样本中确定的关节点坐标值之间的差值小于预设阈值，将此时深度学习模型的权重参数作为最终手指关节点检测模型的权重参数，实现准确的手指关节点定位。
具体实施时，所述检测当前手势图像中的指尖位置和若干个指定关节点的位置，具体包括：
检测当前手势图像中食指指尖、食指第一关节点、食指第二关节点、中指第一关节点和中指第二关节点的位置。
本实施例中，所述食指第一关节点为沿着手腕至指尖方向食指的第一个关节点，所述食指第二关节点为沿着手腕至指尖方向食指的第二个关节点，所述中指第一关节点为沿着手腕至指尖方向中指的第一个关节点，所述中指第二关节点为沿着手腕至指尖方向中指的第二个关节点，由于人在指向某个目标时，几乎都是通过食指实现，因此通过获取包括食指指尖在内的5个手指位置以用于后续的手指指向计算，多个关节点的位置可在计算手指指向时提供更多地参考信息，得到最可靠的手指指向检测结果。
进一步地，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向，包括：
计算所述食指指尖、食指第一关节点和食指第二关节点中任意两点的连线方向；
取所有连线方向的均值作为当前手势图像中的手指指向。
本实施例中，在计算手指指向时，通过与食指相关的手指关节位置进行计算，理论上所述食指指尖、食指第一关节点和食指第二关节点是处于同一条直线上代表当前食指的指向，但是由于模型检测误差等原因这三个点的位置很可能不在同一直线上，因此计算这三个点中任意两点的连线方向，即总共可得出三条连线，这三条连线均具有一个方向值，例如以三条连线分别与水平方向的夹角作为其方向值，取所有连线方向的均值作为当前手势图像中的手指指向，从而尽量消除手指定位检测时的误差对手指指向计算的影响，进一步提高后续点读匹配的准确性。
进一步地，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向之后，还包括：
根据所述食指指尖的位置与所述中指第一关节点或中指第二关节点的位置的连线计算约束指向；
计算所述手指指向与约束指向之间的夹角，若所述夹角小于预设角度则判断当前手指指向可靠，否则判断当前手指指向不可靠。
本实施例中，在计算了当前手势图像中的手指指向后还进一步对计算结果的可靠性进行判断，具体通过食指指尖与中指第一关节点或中指第二关节点的位置来进行约束判断，由于正常的点读手势中，除食指外的其它手指均处于收拢状态，此时通过食指指尖与相邻的中指上的关节点的连线得到一个约束指向，该约束指向和之前计算得到的手指指向之间的夹角应该小于预设角度，例如小于20°，具体可根据实际需要设置，因此当所述夹角小于预设角度时判断此时点读姿势标准，计算得到的手指指向可靠，当所述夹角大于等于预设角度时表明此时的手势可能不是点读手势或者计算错误，因此判断当前手指指向不可靠，通过设置该约束机制可智能识别判断出当前点读的手指姿态是否正确或者计算是否出错，进一步确保后续点读匹配的精确性，避免做无用点读识别。
优选地，在判断当前手指指向不可靠之后进一步输出当前手势无法点读的提示信息，以便能及时提示用户重新调整手部姿势后进行点读，提高点读效率。
进一步地，所述将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读，包括：
将所述指尖位置与所述点读图像进行匹配后输出待点读区域；
根据所述手指指向在所述待点读区域中确认点读目标，对所述点读目标进行识别点读。
本实施例中，在计算了多个手指关节点位置后进行匹配点读，先根据所述指尖位置对所述点读图像进行匹配后输出待点读区域，即先获取指尖位置附近的像素区域作为待点读区域，具体像素区域范围可根据实际点读图像大小、点读内容等因素灵活调整确定，之后进一步根据手指指向在所述待点读区域中确认点读目标，例如在确定了待点读区域后，可能指尖位置正好处于多个对象的正中间，此时根据所述手指指向，沿手指指向方向确认点读概率最大的对象为点读目标，具体可设置沿手指指向方向且离指尖位置最近的对象为点读目标，对所述点读目标进行识别点读，以此来提高在混淆对象中选取点读目标的准确率从而实现精确匹配。
由以上方法实施例可知，本发明提供的基于手指关节定位的点读方法通过检测点读时的手指关节点位置得出当前的手指指向，结合指尖位置与手指指向进行匹配点读，在点读图像中内容密集或者用户点读时指尖位置不明确时也能实现准确的点读目标匹配，提高点读匹配的精确性。
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，即亦可以并行执行，亦可以交换执行等等。
本发明另一实施例提供一种基于手指关节定位的点读装置，如图2所示，装置1包括：
图像获取模块11，用于当开启点读功能后获取点读图像和手势图像；
检测模块12，用于将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；
计算模块13，用于根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；
匹配点读模块14，将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。
所述图像获取模块11、检测模块12、计算模块13和匹配点读模块14依次连接，具体实施方式请参考上述对应的方法实施例，此处不再赘述。
本发明另一实施例提供一种基于手指关节定位的点读系统，如图3所示，系统10包括：
一个或多个处理器110以及存储器120，图3中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图3中以通过总线连接为例。
处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于手指关节定位的点读方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的基于手指关节定位的点读方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的基于手指关节定位的点读方法，例如，执行以上描述的图1中的方法步骤S100至步骤S400。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S400。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明丽非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行上述方法实施例的基于手指关节定位的点读方法。例如，执行以上描述的图1中的方法步骤S100至步骤S400。
综上所述，本发明公开的基于手指关节定位的点读方法、装置、系统及介质中，方法包括：当开启点读功能后获取点读图像和手势图像；将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。本发明实施例通过检测点读时的手指关节点位置得出当前的手指指向，结合指尖位置与手指指向进行匹配点读，在点读图像中内容密集或者用户点读时指尖位置不明确时也能实现准确的点读目标匹配，提高点读匹配的精确性。
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行各个实施例或者实施例的某些部分的方法。
除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
已经在本文中在本说明书和附图中描述的内容包括能够提供基于手指关节定位的点读方法、装置、系统及介质的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。
Claims (10)
1.一种基于手指关节定位的点读方法，其特征在于，包括如下步骤：
当开启点读功能后获取点读图像和手势图像；
将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；
根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；
将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。
2.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置之前，还包括：
构建深度学习模型，根据预先采集且已标注指尖位置和若干个指定关节点位置的手指训练样本对所述深度学习模型进行训练，使所述深度学习模型收敛后生成手指关节点检测模型。
3.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述检测当前手势图像中的指尖位置和若干个指定关节点的位置，具体包括：
检测当前手势图像中食指指尖、食指第一关节点、食指第二关节点、中指第一关节点和中指第二关节点的位置。
4.根据权利要求3所述的基于手指关节定位的点读方法，其特征在于，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向，包括：
计算所述食指指尖、食指第一关节点和食指第二关节点中任意两点的连线方向；
取所有连线方向的均值作为当前手势图像中的手指指向。
5.根据权利要求4所述的基于手指关节定位的点读方法，其特征在于，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向之后，还包括：
根据所述食指指尖的位置与所述中指第一关节点或中指第二关节点的位置的连线计算约束指向；
计算所述手指指向与约束指向之间的夹角，若所述夹角小于预设角度则判断当前手指指向可靠，否则判断当前手指指向不可靠。
6.根据权利要求5所述的基于手指关节定位的点读方法，其特征在于，所述判断当前手指指向不可靠之后，还包括：
输出当前手势无法点读的提示信息。
7.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读，包括：
将所述指尖位置与所述点读图像进行匹配后输出待点读区域；
根据所述手指指向在所述待点读区域中确认点读目标，对所述点读目标进行识别点读。
8.一种基于手指关节定位的点读装置，其特征在于，所述装置包括：
图像获取模块，用于当开启点读功能后获取点读图像和手势图像；
检测模块，用于将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；
计算模块，用于根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；
匹配点读模块，将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。
9.一种基于手指关节定位的点读系统，其特征在于，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于手指关节定位的点读方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的基于手指关节定位的点读方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011358547.0A CN112651298A (zh) | 2020-11-27 | 2020-11-27 | 基于手指关节定位的点读方法、装置、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011358547.0A CN112651298A (zh) | 2020-11-27 | 2020-11-27 | 基于手指关节定位的点读方法、装置、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651298A true CN112651298A (zh) | 2021-04-13 |
Family
ID=75349591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011358547.0A Pending CN112651298A (zh) | 2020-11-27 | 2020-11-27 | 基于手指关节定位的点读方法、装置、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651298A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220125A (zh) * | 2021-05-19 | 2021-08-06 | 网易有道信息技术（北京）有限公司 | 手指交互方法、装置、电子设备及计算机存储介质 |
| CN113238705A (zh) * | 2021-05-10 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 虚拟键盘交互方法及系统 |
| CN113364985A (zh) * | 2021-06-11 | 2021-09-07 | 广州逅艺文化科技有限公司 | 一种现场直播的镜头跟踪方法、装置及介质 |
| CN114138121A (zh) * | 2022-02-07 | 2022-03-04 | 北京深光科技有限公司 | 用户手势识别方法、装置、系统、存储介质及计算设备 |
| CN114648756A (zh) * | 2022-05-24 | 2022-06-21 | 之江实验室 | 一种基于指向向量的书本文字识别指读方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078083A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读内容的确定方法及电子设备 |
| CN111625157A (zh) * | 2020-05-20 | 2020-09-04 | 北京百度网讯科技有限公司 | 指尖关键点检测方法、装置、设备和可读存储介质 |
-
2020
- 2020-11-27 CN CN202011358547.0A patent/CN112651298A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078083A (zh) * | 2019-06-09 | 2020-04-28 | 广东小天才科技有限公司 | 一种点读内容的确定方法及电子设备 |
| CN111625157A (zh) * | 2020-05-20 | 2020-09-04 | 北京百度网讯科技有限公司 | 指尖关键点检测方法、装置、设备和可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 邹俞;晁建刚;林万洪;: "虚拟手交互中约束类物体操作研究", 计算机工程与应用, no. 09, 30 August 2018 (2018-08-30), pages 168 - 177 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113238705A (zh) * | 2021-05-10 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 虚拟键盘交互方法及系统 |
| CN113220125A (zh) * | 2021-05-19 | 2021-08-06 | 网易有道信息技术（北京）有限公司 | 手指交互方法、装置、电子设备及计算机存储介质 |
| CN113364985A (zh) * | 2021-06-11 | 2021-09-07 | 广州逅艺文化科技有限公司 | 一种现场直播的镜头跟踪方法、装置及介质 |
| CN113364985B (zh) * | 2021-06-11 | 2022-07-29 | 广州逅艺文化科技有限公司 | 一种现场直播的镜头跟踪方法、装置及介质 |
| CN114138121A (zh) * | 2022-02-07 | 2022-03-04 | 北京深光科技有限公司 | 用户手势识别方法、装置、系统、存储介质及计算设备 |
| CN114648756A (zh) * | 2022-05-24 | 2022-06-21 | 之江实验室 | 一种基于指向向量的书本文字识别指读方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112651298A (zh) | 基于手指关节定位的点读方法、装置、系统及介质 | |
| CN108399367B (zh) | 手部动作识别方法、装置、计算机设备及可读存储介质 | |
| CN109670504B (zh) | 一种手写答案识别批改方法及装置 | |
| CN109284355B (zh) | 一种批改试卷中口算题的方法及装置 | |
| CN112232117A (zh) | 一种人脸识别方法、装置及存储介质 | |
| CN110807491A (zh) | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 | |
| US20090110292A1 (en) | Hand Sign Recognition Using Label Assignment | |
| US8401307B1 (en) | Determining celestial coordinates for an image | |
| CN109189895B (zh) | 一种针对口算题的题目批改方法及装置 | |
| US11721229B2 (en) | Question correction method, device, electronic equipment and storage medium for oral calculation questions | |
| CN112381837A (zh) | 一种图像处理方法及电子设备 | |
| CN112462941A (zh) | 基于手势识别的教学互动方法、装置、系统及介质 | |
| CN113095187A (zh) | 一种基于图像特征匹配对齐的试卷批改方法 | |
| CN110619497B (zh) | 地址检验方法、装置、电子设备及存储介质 | |
| CN114998856A (zh) | 一种多相机图像的3d目标检测方法、装置、设备及介质 | |
| WO2020199498A1 (zh) | 指静脉比对方法、装置、计算机设备及存储介质 | |
| CN111126268A (zh) | 关键点检测模型训练方法、装置、电子设备及存储介质 | |
| CN111914841B (zh) | 一种ct图像处理方法和装置 | |
| CN116310976A (zh) | 学习习惯养成方法、装置、电子设备及存储介质 | |
| US11749128B2 (en) | Answer correction method and device | |
| CN113065458A (zh) | 基于手势识别的投票方法与系统、电子设备 | |
| CN110728172B (zh) | 基于点云的人脸关键点检测方法、装置、系统及存储介质 | |
| JP2019012497A (ja) | 部位認識方法、装置、プログラム、及び撮像制御システム | |
| CN111950415A (zh) | 一种图像检测方法和装置 | |
| CN109670520B (zh) | 一种目标姿态识别方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |