CN112115799A - 基于标记点的三维手势的识别方法、装置及设备 - Google Patents

基于标记点的三维手势的识别方法、装置及设备 Download PDF

Info

Publication number
CN112115799A
CN112115799A CN202010856958.6A CN202010856958A CN112115799A CN 112115799 A CN112115799 A CN 112115799A CN 202010856958 A CN202010856958 A CN 202010856958A CN 112115799 A CN112115799 A CN 112115799A
Authority
CN
China
Prior art keywords
coordinate position
dimensional coordinate
point
image
glove
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010856958.6A
Other languages
English (en)
Other versions
CN112115799B (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202010856958.6A priority Critical patent/CN112115799B/zh
Publication of CN112115799A publication Critical patent/CN112115799A/zh
Priority to US17/763,575 priority patent/US20220392264A1/en
Priority to PCT/CN2021/114363 priority patent/WO2022042566A1/zh
Application granted granted Critical
Publication of CN112115799B publication Critical patent/CN112115799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于标记点的三维手势的识别方法、装置、设备及存储介质，该方法包括：获取每一摄像头在当前时刻采集到的图像；对于每一图像，确定图像中手套上所布设的每一标记点的标识以及对应的二维坐标位置；根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至设定空间的坐标系下的初始三维坐标位置；根据每一图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定手套上布设的每一标记点在设定空间的坐标系下的目标三维坐标位置。

Description

基于标记点的三维手势的识别方法、装置及设备
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于标记点的三维手势的识别方法、一种基于标记点的三维手势的识别装置、一种服务器以及一种计算机可读存储介质。
背景技术
为了增强头戴设备(例如虚拟现实VR(Virtual Reality)设备、增强现实AR设备(Augmented Reality)、混合现实MR(Mixed Reality)设备)的虚实结合的沉浸感，以使头戴设备提供更好的用户体验，实现人机交互是非常关键的。而在实现人机交互时，对使用头戴设备的用户的三维手势的识别成为重要的技术手段之一。
目前，对使用头戴设备的用户的三维手势的识别的方式通常为：用户佩戴手套，手套上对应人手的关节点处设置一组追踪定位传感器(例如IMU9轴传感器，或3轴电磁传感器)；每一组追踪定位传感器确定对应关节点的姿态信息；由每一关节点的姿态信息形成用户的三维手势。
但是，现有的对使用头戴设备的用户的三维手势的识别的方式存在如下问题：
问题一、用户佩戴的手套上需要布置多个追踪定位传感器，且用户佩戴的手套上布置的多个追踪定位传感器在出厂前需要做校准，这导致手套生产成本提高；
问题二、用户佩戴的手套上所设置的多个追踪定位传感器在运行过程中散出大量热量，以及手套上所设置的多个追踪定位传感器导致手套的灵活性降低，这降低了用户的使用体验。
发明内容
本发明的一个目的是提供一种用于基于标记点的三维手势的识别的新技术方案。
根据本发明的第一方面，提供了一种基于标记点的三维手势的识别方法，应用于手势识别系统中的服务器，所述系统中还包括设置在设定空间中的至少两个摄像头、至少一双布设有对应于人手关节的标记点的手套，包括：
获取每一所述摄像头在当前时刻采集到的图像；
对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；
根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；
将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；
根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。
可选的，所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，包括：
对于每一所述图像，利用手套检测模型确定所述图像中手套图像所在的区域；
利用标记点识别模型，从所述区域中识别出所述手套上布设的每一标记点的标识，以及确定对应的二维坐标位置。
可选的，所述将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置，包括：
获取对应摄像头相对于所述设定空间的坐标系原点的位姿；
获取每一标记点相对于对应摄像头的深度；
根据所述位姿、每一标记点相对于对应摄像头的深度，将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置。
可选的，在所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，之后，还包括：
对于每一所述图像中的每一标记点，利用对应标记点在第一预设的历史时刻的二维坐标位置，对对应标记点的二维坐标位置进行平滑滤波处理，以更新对应标记点的二维坐标位置。
可选的，所述方法还包括：
对于所述手套上布设的每一标记点，利用对应标记点在第二预设的历史时刻的目标三维坐标位置，对对应标记点的目标三维坐标位置进行平滑滤波处理，以更新对应标记点的目标三维坐标位置。
可选的，所述方法还包括：
获取第一训练样本集，所述第一训练样本集包括多组第一训练样本，一组所述第一训练样本中包括包含所述手套的手套图像的第一样本图像、以及所述第一样本图像中所述手套图像的区域信息；
将所述第一样本图像作为目标区域检测模型的输入，对应手套图像的区域信息作为监督，对所述目标区域检测模型进行训练，得到所述手套检测模型；
获取第二训练样本集，所述第二训练样本集包括多组第二训练样本，一组所述第二训练样本中包括作为第二样本图像的所述手套的手套图像、以及所述第二样本图像中包含的标记点的标识；
将所述第二样本图像作为手部关键点识别模型的输入，对应标记点的标识作为监督，对所述手部关键点模型进行训练，得到所述标记点识别模型。
可选的，所述标记点为被动式发光的红外标记点，所述摄像头为红外摄像头，且所述红外摄像头配置有红外光源。
根据本发明的第二方面，提供了一种基于标记点的三维手势的识别装置，包括：
获取模块，用于获取每一所述摄像头在当前时刻采集到的图像；
第一确定模块，用于对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；
第二确定模块，用于根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；
转换模块，用于将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；
第三确定模块，用于根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。
根据本发明的第三方面，提供了一种服务器，包括如第二方面所述的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的方法。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。
在本申请实施例中，可以得到用户双手佩戴的手套上每一标记点的三维坐标位置，每一标记点的三维坐标位置可对用户双手的三维手势进行描述。即本申请实施例提供的基于标记点的三维手势的识别方法，可以实现三维手势的识别。同时，在本申请实施例中，一方面无需在手套上设置追踪定位传感器，另一方面无需对手套进行校准等操作，这样可降低手套的成本。另外，手套上的标记点仅散发少量热量甚至不散发热量，且体积很小，这样可以提高用户的使用体验。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本申请实施例提供的一种手套的示意图；
图2是本申请实施例提供的一种手势识别系统的示意图；
图3是根据本申请实施例提供的一种实现基于标记点的三维手势的识别方法的服务器的硬件配置的框图；
图4是本申请实施例提供的一种基于标记点的三维手势的识别方法的流程示意图；
图5是本申请实施例提供的一种基于标记点的三维手势的识别装置的结构示意图；
图6是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<系统>
本申请实施例提供的基于标记点的三维手势的识别方法，应用于手势识别系统中的服务器1000。其中，手势识别系统中还包括设置在设定空间的至少两个摄像头、至少一双布设有对应于人手关节的标记点的手套。
在本申请实施例中，设定空间为手势识别系统的工作空间。设定空间中所设置的至少两个摄像头的总的图像采集范围通常覆盖设定空间。需要说明的是，本申请实施例对设定空间中的摄像头的数量，以及设置位置不做限定，只要所有摄像头的总的图像采集范围能够覆盖设定空间即可。
可以理解的是，由于用户的身高有限，因此，所有摄像头的总的图像采集范围可无需覆盖整个设定空间，只要能够覆盖用户所有可能的活动范围即可。
在一个示例中，在设定空间为一个3m*3m*3m(长*宽*高)的封闭房间的情况下，可在该封闭房间中除过地面之外的另外5面墙上分别45个设置摄像头。每一个摄像头的视场角FOV设置为55°*45°，每一摄像头的帧率为180Hz以上，每一摄像头采集的图像的分辨率为1080P。
在一个实施例中，服务端与每一个摄像头通信连接。
在另一个实施例中，为了降低服务器1000的通信负载，可在手势识别系统中设置多个交换机。每一个交换机充当中继端，以实现一组摄像头与服务器1000之间的通信连接。
在本申请实施例中，手套供用户佩戴，且手套上设置有标记点。该标记点可以为一个主动发光的标记点，或者为一个被动发光的标记点，或者特定颜色的橡胶标记点。
在标记点为一个主动发光的标记点的情况下，由于该发光点仅需要设置发光器件和电源即可，而无需设置其他多余的处理电路等，因此，该发光点所散发的热量很低。
在标记点为一个被动式发光点，或特定颜色的橡胶标记点的情况下，由于该发光点为一个不涉及任何电路的由特定材料形成的标记点，因此该发光点并不会产生任何热量。
在一个示例中，标记点可以为被动式发光的红外发光点。基于此，摄像头为红外摄像头，且红外摄像头配置有红外光源。
在一个示例中，可在每一红外摄像头的周围设置红外光源。
如图1所示，用户在佩戴手套后，手套上的标记点与用户的手上的关节点重合。可以理解的是，手势识别系统中的手套可以为不同尺寸的手套。
结合上述对手势识别系统的说明，在一个示例中，手势识别系统可如图2所示。
另外，如图3所示，对于上述的服务器1000通常可以为便携式电脑、台式计算机、平板电脑等。
服务器1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800，等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
尽管在图2中对服务器1000均示出了多个装置，但是，本公开的实施例可以仅涉及其中的部分装置，例如，服务器1000只涉及存储器1200和处理器1100。
应用于本公开的实施例中，服务器1000的存储器1200用于存储指令，该指令用于控制处理器1100执行本公开实施例提供的基于标记点的三维手势的识别方法。
在上述描述中，技术人员可以根据实施例所公开的方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
<方法>
本申请实施例提供了一种基于标记点的三维手势的识别方法，该方法应用于如图1所示的手势识别系统中的服务器1000。基于上述图2，可以理解的是，手势识别系统还包括设置在设定空间中的至少两个摄像头，至少一个布设有对应于人手关节的标记点的手套。
如图4所示，本申请实施例提供的一种基于标记点的三维手势的识别方法包括如下S4100-S4500：
S4100、获取每一摄像头在当前时刻采集到的图像。
在本申请实施例中，由于手势识别系统中的摄像头总的图像采集范围至少能够覆盖用户所有可能的活动范围，因此，基于上述S4100得到的图像中至少存在有包括用户双手的图像。
另外，对于捕捉到用户双手的图像，由于用户的双手佩戴有布设有标记点的手套，因此，包括用户双手的图像中包括有对应于人手关节的标记点的图像。
需要说明的是，存在部分摄像头并不会捕捉到用户的双手，因此，本申请实施例提供的基于标记点的三维手势的识别方法在上述S4100之后，还可以包括：对上述S4100得到的图像中不包括用户双手的图像进行剔除。
S4200、对于每一图像，确定图像中手套上所布设的每一标记点的标识以及对应的二维坐标位置。
在一个实施例中，上述S4200可通过如下S4210和S4220来实现：
S4210、对于每一图像，利用手套检测模型确定图像中手套图像所在的区域。
在本申请实施例中，手套检测模型为一个对图像进行处理，得到图像中手套图像的区域的模型。
在上述内容的基础上，本申请实施例提供的基于标记点的三维手势的识别方法还包括如下S4211和S4212：
S4211、获取第一训练样本集，第一训练样本集包括多组第一训练样本，一组第一训练样本中包括包含手套的手套图像的第一样本图像、以及第一样本图像中手套图像的区域信息。
在本申请实施例中，首先利用摄像头采集各种姿态的佩戴有手套的双手的图像，以作为第一样本图像。然后对于采集得到的图像中的手套所在区域进行标注，以确定第一样本图像中的手套图像的区域信息。基于此，得到第一训练样本集。
需要说明的是，本申请实施例对第一训练样本集中的第一训练样本的数量不做限定。
S4212、将第一样本图像作为目标区域检测模型的输入，对应手套图像的区域信息作为监督，对目标区域检测模型进行训练，得到手套检测模型。
在一个示例中，目标区域检测模型可以为传统的Mask R-CNN模型。
S4220、利用标记点识别模型，从区域中识别出手套上布设的每一标记点的标识，以及确定对应的二维坐标位置。
在本申请实施例中，不同的标记点标识，对应不同的人手关节点。同一个标记点的标识，对应同一个人手关节点。以及，标记点识别模型为一个对手套图像进行处理，得到手套图像中包含的各个标记点的标识的模型。
在上述内容的基础上，本申请实施例提供的基于标记点的三维手势的识别方法还包括如下S4221和S4222：
S4221、获取第二训练样本集，第二训练样本集包括多组第二训练样本，一组第二训练样本中包括作为第二样本图像的手套的手套图像、以及第二样本图像中包含的标记点的标识。
在一个实施例中，首先采集得到佩戴有手套的双手的图像，并对该图像中的手套图像进行提取，以作为第二样本图像。然后对提取出的手套图像中包括的标记点所对应的标识进行标注，以确定第二样本图像中包含的标记点的标识。基于此，得到第二训练样本集。
需要说明的是，本申请实施例对第二训练样本集中的第二训练样本的数量不做限定。
S4222、将第二样本图像作为手部关键点识别模型的输入，对应标记点的标识作为监督，对手部关键点模型进行训练，得到标记点识别模型。
在本申请的一个实施例中，手部关键点识别模型可以为OpenPose基于OpenCV DNN的手部关键点检测模型。
在上述基础上，在确定出标记点的标识后，可直接根据对应标记点在图像中位置，确定出对应标记点的二维坐标位置。
在另一个示例中，上述S4200的还可通过其他方式来实现，例如，基于一个关键点识别模型，识别出图像中包含的标记点；根据对应标记点在图像中的位置，可确定出标记点的二维坐标位置；基于标记点的二维坐标位置，可确定出多个标记点之间的相对位置；根据标记点之间的相对位置，推测出标记点的标识。
另外，可以理解的是，摄像头的镜头通常存在畸变，因此，在基于上述S4200得到每一标记点的二维坐标位置后，可基于对应摄像头的镜头畸变参数，对每一标记点的二维坐标位置进行反畸变。将进行反畸变的二维坐标位置确定为最终准确的标记点的二维坐标位置。其中，镜头的畸变参数可通过对摄像头进行标定得到。
在一个实施例中，在上述S4200之后，本申请实施例提供的基于标记点的三维手势的识别方法，还包括如下S4230：
S4230、对于每一图像中的每一标记点，利用对应标记点在第一预设的历史时刻的二维坐标位置，对对应标记点的二维坐标位置进行平滑滤波处理，以更新对应标记点的二维坐标位置。
在一个实施例中，上述的第一预设的历史时刻可以为当前时刻的前一时刻，或者当前时刻的前一时刻和前两时刻等。
需要说明的是，本申请实施例对第一预设的历史时刻的具体值不做限定。
在本申请实施例中，通过对当前时刻对应的每一标记点的二维坐标位置进行平滑滤波处理，可以提高确定出的标记点的二维坐标位置的精度和稳定性。
S4300、根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置。
在本申请实施例中，摄像头的标定参数包括：光心在摄像头的感光元件上的横坐标cx、光心在摄像头的感光元件上的纵坐标cy、摄像头的垂直焦距fx和摄像头的水平焦距fy。
在本申请实施例中，上述S4300可通如下公式一实现：
Pc＝(I(u)-cx)/fx,I(v)-cy)/fy，1) (公式一)
其中，Pc为标记点在对应摄像头坐标系下的三维坐标位置；
I(u)为标记点的二维坐标位置中的横坐标值；I(v)为标记点的二维坐标位置中的纵坐标值。
S4400、将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至设定空间的三维坐标系下的初始三维坐标位置。
在本申请实施例中，上述S4400可通过如下S4410-S4430来实现：
S4410、获取对应摄像头相对于设定空间的坐标系原点的位姿。
在本申请实施例中，设定空间包括一个三维坐标系，该三维坐标系为事先人为确定的。在一个示例中，可将设定空间中任一摄像头的坐标系作为设定空间的坐标系。
在本申请实施例中，人为事先确定设定空间中每一摄像头相对于设定空间的坐标系原点的位姿。其中，位姿包括平移量和旋转量。
S4420、获取每一标记点相对于对应摄像头的深度。
在本申请实施例中，上述S4420的具体实现可以为：对于一个标记点，确定同时采集到该标记点的两个图像，和对应的两个摄像头；利用对应的两个摄像头之间的位姿以及两个图像，基于三角定位的方法得到该标记点相对于对应摄像头的深度。
S4430、根据位姿、每一标记点相对于对应摄像头的深度，将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至设定空间的坐标系下的初始三维坐标位置。
在本申请实施例中，上述S4430可采用多视图透视几何关系得到。基于此，上述S4430可通过下述公式二来实现：
λ*Pc＝R*P+T (公式二)
其中，R为标记点对应的摄像头相对于设定空间的坐标系原点的旋转量，T为标记点对应的摄像头相对于设定空间的坐标系原点的偏移量。λ为标记点相对于对应摄像头的深度，P为标记点的初始三维坐标位置。
S4500、根据每一图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定手套上布设的每一标记点在设定空间的三维坐标系下的目标三维坐标位置。
在本申请的实施例中，基于上述S4400得到每一标记点在设定空间中的三维坐标下三维坐标位置。可以理解的是，针对于不同的图像，可得到同一标识的标记点的多个相同或不同的三维坐标位置。在此基础上，根据标记点的标识，可基于同一标识的所有标记点的三维坐标位置，确定该标识对应的标记点的目标三维坐标位置。
在一个示例中，基于同一标识的所有标记点的三维坐标位置，确定该标识对应的标记点的目标三维坐标位置的方式可以为：对同一标识的所有标记点的三维坐标位置进行非线性最小二乘法优化，得到该标识对应的标记点的目标三维坐标位置。
在一个实施例中，本申请实施例提供的基于标记点的三维手势的识别方法还包括如下S4600：
S4600、对于手套上布设的每一标记点，利用对应标记点在第二预设的历史时刻的目标三维坐标位置，对对应标记点的目标三维坐标位置进行平滑滤波处理，以更新对应标记点的目标三维坐标位置。
在一个实施例中，上述的第二预设的历史时刻可以为当前时刻的前一时刻，或者当前时刻的前一时刻和前两时刻等。需要说明的是，本申请实施例对第二预设的历史时刻的具体值不做限定。
在本申请实施例中，通过对当前时刻对应的每一标记点的目标三维坐标位置进行平滑滤波处理，可以提高三维手势的位置识别的精度和稳定性。
在本申请实施例中，可以得到用户双手佩戴的手套上每一标记点的三维坐标位置，每一标记点的三维坐标位置可对用户双手的三维手势进行描述。即本申请实施例提供的基于标记点的三维手势的识别方法，可以实现三维手势的识别。同时，在本申请实施例中，一方面无需在手套上设置追踪定位传感器，另一方面无需对手套进行校准等操作，这样可降低手套的成本。另外，手套上的标记点仅散发少量热量甚至不散发热量，且体积很小，这样可以提高用户的使用体验。
<装置>
本申请实施例提供了一种基于标记点的三维手势的识别装置50，如图5所示，该装置包括：获取模块51、第一确定模块52、第二确定模块53、转换模块54和第三确定模块55。其中：
获取模块51，用于获取每一所述摄像头在当前时刻采集到的图像；
第一确定模块52，用于对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；
第二确定模块53，用于根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；
转换模块54，用于将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；
第三确定模块55，用于根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。
在一个实施例中，第一确定模块52具体用于：对于每一所述图像，利用手套检测模型确定所述图像中手套图像所在的区域；
利用标记点识别模型，从所述区域中识别出所述手套上布设的每一标记点的标识，以及确定对应的二维坐标位置。
在一个实施例中，转换模块54具体用于：获取对应摄像头相对于所述设定空间的坐标系原点的位姿；
获取每一标记点相对于对应摄像头的深度；
根据所述位姿、每一标记点相对于对应摄像头的深度，将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置。
在一个实施例中，基于标记点的三维手势的识别装置50还包括第一平滑滤波模块，第一平滑滤波模块用于：对于每一所述图像中的每一标记点，利用对应标记点在第一预设的历史时刻的二维坐标位置，对对应标记点的二维坐标位置进行平滑滤波处理，以更新对应标记点的二维坐标位置。
在一个实施例中，基于标记点的三维手势的识别装置50还包括第二平滑滤波模块，第二平滑滤波模块用于：对于所述手套上布设的每一标记点，利用对应标记点在第二预设的历史时刻的目标三维坐标位置，对对应标记点的目标三维坐标位置进行平滑滤波处理，以更新对应标记点的目标三维坐标位置。
在一个实施例中，基于标记点的三维手势的识别装置50还包括训练模块，训练模块用于：获取第一训练样本集，所述第一训练样本集包括多组第一训练样本，一组所述第一训练样本中包括包含所述手套的手套图像的第一样本图像、以及所述第一样本图像中所述手套图像的区域信息；
将所述第一样本图像作为目标区域检测模型的输入，对应手套图像的区域信息作为监督，对所述目标区域检测模型进行训练，得到所述手套检测模型；
获取第二训练样本集，所述第二训练样本集包括多组第二训练样本，一组所述第二训练样本中包括作为第二样本图像的所述手套的手套图像、以及所述第二样本图像中包含的标记点的标识；
将所述第二样本图像作为手部关键点识别模型的输入，对应标记点的标识作为监督，对所述手部关键点模型进行训练，得到所述标记点识别模型。
在一个实施例中，所述标记点为被动式发光的红外标记点，所述摄像头为红外摄像头，且所述红外摄像头配置有红外光源。
<设备>
本申请实施例还提供了一种服务器60，该服务器60包括如图5所示的基于标记点的三维手势的识别装置50。
或者，包括存储器61和处理器62，所述存储器61用于存储计算机指令，所述处理器62用于从所述存储器61中调用所述计算机指令，以执行如上述方法实施例中提供的任一种基于标记点的三维手势的识别方法。
<存储介质>
本申请实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中提供的任一种基于标记点的三维手势的识别方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于标记点的三维手势的识别方法，其特征在于，应用于手势识别系统中的服务器，所述系统中还包括设置在设定空间中的至少两个摄像头、至少一双布设有对应于人手关节的标记点的手套，包括：
获取每一所述摄像头在当前时刻采集到的图像；
对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；
根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；
将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；
根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。
2.根据权利要求1所述的方法，其特征在于，所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，包括：
对于每一所述图像，利用手套检测模型确定所述图像中手套图像所在的区域；
利用标记点识别模型，从所述区域中识别出所述手套上布设的每一标记点的标识，以及确定对应的二维坐标位置。
3.根据权利要求1所述的方法，其特征在于，所述将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置，包括：
获取对应摄像头相对于所述设定空间的坐标系原点的位姿；
获取每一标记点相对于对应摄像头的深度；
根据所述位姿、每一标记点相对于对应摄像头的深度，将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置。
4.根据权利要求1所述的方法，其特征在于，在所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，之后，还包括：
对于每一所述图像中的每一标记点，利用对应标记点在第一预设的历史时刻的二维坐标位置，对对应标记点的二维坐标位置进行平滑滤波处理，以更新对应标记点的二维坐标位置。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述手套上布设的每一标记点，利用对应标记点在第二预设的历史时刻的目标三维坐标位置，对对应标记点的目标三维坐标位置进行平滑滤波处理，以更新对应标记点的目标三维坐标位置。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取第一训练样本集，所述第一训练样本集包括多组第一训练样本，一组所述第一训练样本中包括包含所述手套的手套图像的第一样本图像、以及所述第一样本图像中所述手套图像的区域信息；
将所述第一样本图像作为目标区域检测模型的输入，对应手套图像的区域信息作为监督，对所述目标区域检测模型进行训练，得到所述手套检测模型；
获取第二训练样本集，所述第二训练样本集包括多组第二训练样本，一组所述第二训练样本中包括作为第二样本图像的所述手套的手套图像、以及所述第二样本图像中包含的标记点的标识；
将所述第二样本图像作为手部关键点识别模型的输入，对应标记点的标识作为监督，对所述手部关键点模型进行训练，得到所述标记点识别模型。
7.根据权利要求1所述的方法，其特征在于，所述标记点为被动式发光的红外标记点，所述摄像头为红外摄像头，且所述红外摄像头配置有红外光源。
8.一种基于标记点的三维手势的识别装置，其特征在于，包括：
获取模块，用于获取每一所述摄像头在当前时刻采集到的图像；
第一确定模块，用于对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；
第二确定模块，用于根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；
转换模块，用于将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；
第三确定模块，用于根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。
9.一种服务器，其特征在于，包括如权利要求8所述的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN202010856958.6A 2020-08-24 2020-08-24 基于标记点的三维手势的识别方法、装置及设备 Active CN112115799B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010856958.6A CN112115799B (zh) 2020-08-24 2020-08-24 基于标记点的三维手势的识别方法、装置及设备
US17/763,575 US20220392264A1 (en) 2020-08-24 2021-08-24 Method, apparatus and device for recognizing three-dimensional gesture based on mark points
PCT/CN2021/114363 WO2022042566A1 (zh) 2020-08-24 2021-08-24 基于标记点的三维手势的识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010856958.6A CN112115799B (zh) 2020-08-24 2020-08-24 基于标记点的三维手势的识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112115799A true CN112115799A (zh) 2020-12-22
CN112115799B CN112115799B (zh) 2023-12-26

Family

ID=73804273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010856958.6A Active CN112115799B (zh) 2020-08-24 2020-08-24 基于标记点的三维手势的识别方法、装置及设备

Country Status (3)

Country Link
US (1) US20220392264A1 (zh)
CN (1) CN112115799B (zh)
WO (1) WO2022042566A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927290A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于传感器的裸手数据标注方法及系统
CN113971896A (zh) * 2021-11-17 2022-01-25 苏州大学 一种手术训练系统及训练方法
WO2022042566A1 (zh) * 2020-08-24 2022-03-03 青岛小鸟看看科技有限公司 基于标记点的三维手势的识别方法、装置及设备
WO2022217828A1 (zh) * 2021-04-15 2022-10-20 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN116385663B (zh) * 2023-05-26 2023-08-29 北京七维视觉传媒科技有限公司 动作数据生成方法、装置、电子设备及存储介质
CN116422543B (zh) * 2023-06-15 2023-09-08 苏州希盟科技股份有限公司 一种基于空间平面的点胶控制方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN110163048A (zh) * 2018-07-10 2019-08-23 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN111368668A (zh) * 2020-02-25 2020-07-03 北京字节跳动网络技术有限公司 三维手部识别方法、装置、电子设备及存储介质
WO2020140798A1 (zh) * 2019-01-04 2020-07-09 北京达佳互联信息技术有限公司 手势识别方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844278B1 (ko) * 2014-01-23 2018-04-02 삼성전자주식회사 관절식 객체의 자세를 추정하기 위한 파라미터 학습 방법 및 관절식 객체의 자세 추정 방법
CN106562764A (zh) * 2016-10-25 2017-04-19 佛山科学技术学院 一种标记式手部康复指数的计算方法
CN111433783B (zh) * 2019-07-04 2023-06-06 深圳市瑞立视多媒体科技有限公司 手部模型生成方法、装置、终端设备及手部动作捕捉方法
CN111208783B (zh) * 2019-12-30 2021-09-17 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、终端及计算机存储介质
CN111191632B (zh) * 2020-01-08 2023-10-13 梁正 一种基于红外反射手套的手势识别方法及系统
CN111491066A (zh) * 2020-03-14 2020-08-04 武汉中观自动化科技有限公司 一种支持手势控制的跟踪式扫描装置及扫描方法
CN112115799B (zh) * 2020-08-24 2023-12-26 青岛小鸟看看科技有限公司 基于标记点的三维手势的识别方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163048A (zh) * 2018-07-10 2019-08-23 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
WO2020010979A1 (zh) * 2018-07-10 2020-01-16 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
WO2020140798A1 (zh) * 2019-01-04 2020-07-09 北京达佳互联信息技术有限公司 手势识别方法、装置、电子设备及存储介质
CN110443154A (zh) * 2019-07-15 2019-11-12 北京达佳互联信息技术有限公司 关键点的三维坐标定位方法、装置、电子设备和存储介质
CN111368668A (zh) * 2020-02-25 2020-07-03 北京字节跳动网络技术有限公司 三维手部识别方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柴功博;顾宏斌;孙瑾;: "多颜色标记三维定位以及标记点稳定性研究", 武汉理工大学学报(信息与管理工程版), no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042566A1 (zh) * 2020-08-24 2022-03-03 青岛小鸟看看科技有限公司 基于标记点的三维手势的识别方法、装置及设备
CN112927290A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于传感器的裸手数据标注方法及系统
WO2022217828A1 (zh) * 2021-04-15 2022-10-20 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
US11947729B2 (en) 2021-04-15 2024-04-02 Qingdao Pico Technology Co., Ltd. Gesture recognition method and device, gesture control method and device and virtual reality apparatus
CN113971896A (zh) * 2021-11-17 2022-01-25 苏州大学 一种手术训练系统及训练方法
CN113971896B (zh) * 2021-11-17 2023-11-24 苏州大学 一种手术训练系统及训练方法

Also Published As

Publication number Publication date
US20220392264A1 (en) 2022-12-08
CN112115799B (zh) 2023-12-26
WO2022042566A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112115799B (zh) 基于标记点的三维手势的识别方法、装置及设备
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN113238650B (zh) 手势识别和控制的方法、装置及虚拟现实设备
US9268410B2 (en) Image processing device, image processing method, and program
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US10209797B2 (en) Large-size touch apparatus having depth camera device
US11132590B2 (en) Augmented camera for improved spatial localization and spatial orientation determination
WO2021097600A1 (zh) 一种隔空交互方法、装置和设备
CN105701828A (zh) 一种图像处理方法和装置
TW202109450A (zh) 一種圖像處理方法、設備和儲存介質
WO2013162236A1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP5387668B2 (ja) 情報処理端末、情報処理方法、およびプログラム
US11615549B2 (en) Image processing system and image processing method
JP2017117373A (ja) 操作装置とその制御方法、及びプログラム
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
KR102063408B1 (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
KR20120061696A (ko) 증강현실 기반 건물 네비게이션 시스템
CN107168514B (zh) 一种图像处理方法及电子设备
CN116244024A (zh) 交互控制方法、装置、头戴显示设备及介质
Narducci et al. Enabling consistent hand-based interaction in mixed reality by occlusions handling
CN114882107A (zh) 一种数据处理方法以及装置
CN114387622A (zh) 动物重识别方法及装置、电子设备和存储介质
CN114550086A (zh) 一种人群定位方法及装置、电子设备和存储介质
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
CN115564847B (zh) 视觉装配系统的视觉标定方法和装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant