CN111968176A - 头戴设备的位姿确定方法、装置、设备及存储介质 - Google Patents
头戴设备的位姿确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111968176A CN111968176A CN202010691462.8A CN202010691462A CN111968176A CN 111968176 A CN111968176 A CN 111968176A CN 202010691462 A CN202010691462 A CN 202010691462A CN 111968176 A CN111968176 A CN 111968176A
- Authority
- CN
- China
- Prior art keywords
- frame image
- feature point
- point set
- image
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种头戴设备的位姿确定方法、装置、设备及存储介质。其中，方法包括：获取当前帧图像和集当前帧图像的前一帧图像；对集当前帧图像以及集前一帧图像执行特征点提取操作，得到集当前帧图像的第一特征点集和集前一帧图像的第二特征点集；其中，集特征点提取操作包括：提取待处理图像的整体特征点集；提取集待处理图像中移动物的特征点集；从集整体特征点集中剔除集移动物的特征点集，输出特征点集；根据集第一特征点集和集第二特征点集，确定头戴设备的位姿是否发生变化。
Description
技术领域
本发明涉及图像处理领域，更具体地，涉及一种头戴设备的位姿确定方法、一种头戴设备的位姿确定装置、一种头戴设备以及一种计算机存储介质。
背景技术
目前，VR(Virtual Reality；虚拟现实)设备或者AR(Augmented Reality；增强现实)设备已经被越来越广泛的应用到日常生活中。AR或VR设备在运行过程中，通常需要确定自身的位姿是否发生变化。在此基础上，进一步的实现对VR/AR设备的位姿的追踪。
VR/AR设备在确定自身的位姿是否发生变化时，具体的确定过程为：在VR/AR设备上设置采集外界环境图像的摄像头；在当前时刻，利用该摄像头采集当前帧图像；利用当前帧图像以及当前帧图像的前一帧图像中的特征点，估计当前时刻头戴设备的位姿是否发生变化。
但是，现有的确定VR/AR设备的位姿是否发生变化的方法，往往存在误差。例如，利用现有的确定VR/AR设备的位姿是否发生变化的方法，确定VR/AR设备的位姿发生变化，但是实际上VR/AR设备的位姿并未发生变化。
发明内容
本发明的一个目的是提供一种用于确定头戴设备的位置的新技术方案。
根据本发明的第一方面，提供了一种头戴设备的位姿确定方法，包括：
获取当前帧图像和所述当前帧图像的前一帧图像；
对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集；
其中，所述特征点提取操作包括：提取待处理图像的整体特征点集；提取所述待处理图像中移动物的特征点集；从所述整体特征点集中剔除所述移动物的特征点集，输出特征点集；
根据所述第一特征点集和所述第二特征点集，确定头戴设备的位姿是否发生变化。
可选的，所述提取所述待处理图像中移动物特征点集，包括：
识别所述待处理图像中所述移动物的类型；
利用与所述类型匹配的特征点提取模型，从所述待处理图像中提取所述移动物特征点集。
可选的，所述方法还包括获取与所述类型匹配的特征点提取模型的步骤，包括：
获取训练样本集，所述训练样本集包括多组训练样本，一组所述训练样本中包括样本图像、以及所述样本图像中所述类型的移动物的特征点集；
将所述样本图像作为特征点提取模型的输入，所述样本图像中所述类型的移动物的特征点集作为监督，对所述特征点提取模型进行训练，得到与所述类型匹配的特征点提取模型。
可选的，所述在所述对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集之前，还包括：
检测所述当前帧图像和所述前一帧图像中至少一帧中是否存在所述移动物；
在是的情况下，执行所述对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集的步骤。
可选的，所述检测所述当前帧图像和所述前一帧图像中至少一帧中是否存在所述可移动物，包括：
将所述当前帧图像和所述前一帧图像中的每一帧，分别输入至不同类型的移动物识别模型中，得到识别结果；
根据所述识别结果，确定对应帧图像中是否存在所述不同类型中的一类的移动物。
可选的，所述特征点提取模型为方向梯度直方图算法。
可选的，所述头戴设备为虚拟现实头戴显示设备、增强现实头戴显示设备或混合现实头戴显示设备。
根据本发明的第二方面，提供了一种头戴设备的位姿确定装置，所述装置包括：
获取模块，用于获取当前帧图像和所述当前帧图像的前一帧图像；
执行模块，用于对所述当前帧图像以及所述前一帧图像执行特征提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集；其中，所述特征提取操作包括：提取待处理图像的整体特征点集；提取所述待处理图像中移动物的特征点集；从所述整体特征点集中剔除所述移动物的特征点集，得到输出特征点集；
确定模块，用于根据所述第一特征点集和所述第二特征点集，确定头戴设备的位姿是否发生变化。
根据本发明的第三方面，提供了一种头戴设备，所述头戴设备包括如第二方面所述的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的头戴设备的位姿确定方法。
根据本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的头戴设备的位姿确定方法。
在本实施例中，通过获取当前帧图像和当前帧图像的前一帧图像；对当前帧图像以及前一帧图像执行特征点提取操作，得到当前帧图像的不包含移动物的特征点的第一特征点集，和前一帧图像的不包含移动物的特征点的第二特征点集。这样，由于第一特征点集和第二特征点集中均已将移动物的特征点滤除，因此，第一特征点集和第二特征点集中均包含的是在外界环境中位置固定的物体的特征点，即第一特点集和第二特征点集可以准确的反映出头戴设备的位姿是否发生变化。这样，利用第一特征点集和第二特征点集，所确定出的头戴设备的位姿是准确的，这避免了利用传统的确定头戴设备的位姿是否发生变化的方法确定出的结果存在误差的情况的发生。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明实施例提供的一种实现头戴设备的位姿确定方法的头戴设备的硬件配置的框图；
图2是本发明实施例提供的一种头戴设备的位姿确定方法的流程示意图；
图3是本发明实施例提供的一种头戴设备的位姿确定装置的结构示意图；
图4是本发明实施例提供的一种头戴设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
目前，VR/AR设备在利用传统的方式确定自身的位姿是否发生变化时，具体的确定过程为：在VR/AR设备上设置采集外界环境图像的摄像头；在当前时刻，利用该摄像头采集当前帧图像；利用当前帧图像和当前帧图像的前一帧图像中的特征点，以确定当前帧图像和前一帧图像是否相同。在相同的情况下，确定当前时刻头戴设备的位姿未发生变化，反之发生变化。
但是，在佩戴VR/AR设备的用户保持静止，而有人在摄像头的视野里运动的情况下，此时，摄像采集到的相邻两帧图像是不同的。这样，若继续利用传统的方式确定佩戴VR/AR设备的位姿是否发生变化时，将确定出佩戴VR/AR设备的位姿发生变化。而这明显与实际情况不符。为了解决该问题，提出了本发明提供的新的头戴设备的位姿确定方法。
<硬件配置实施例>
图1是根据本发明实施例提供的一种实现头戴设备的位姿确定方法的头戴设备的硬件配置的框图。
头戴设备1000可以为虚拟显示VR头戴显示设备，还可以为增强现实AR头戴显示设备、混合现实MR头戴显示设备。其中，头戴设备1000的具体体现形式可以为头戴眼镜、头戴头盔等。
头戴设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800，等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
尽管在图1中对头戴设备1000均示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，头戴设备1000只涉及存储器1200和处理器1100。
应用于本发明的实施例中，头戴设备1000的存储器1200用于存储指令，该指令用于控制处理器1100执行本发明实施例提供的头戴设备的位姿确定方法。
在上述描述中，技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
<方法实施例>
本发明实施例提供一种头戴设备的位姿确定方法，该方法应用于如图1所示的头戴设备1000。该方法的执行主体为头戴设备的位姿确定装置。该装置可以为如图1所示的头戴设备1000，还可以如图1所示的头戴设备中的硬件模块和/或软件模块。需要说明的是，下述实施例中将以头戴设备作为头戴设备的位姿确定方法的执行主体，对本申请提供的方法进行说明。
如图2所示，本发明实施例提供一种头戴设备的位姿确定方法包括如下S2100-S2300：
S2100、获取当前帧图像和当前帧图像的前一帧图像。
在本实施例中，头戴设备上设置有与头戴设备相对固定的摄像头。该摄像头用来采集外界环境图像。该摄像头在当前采集时刻采集到的图像记为当前帧图像，在当前时刻的前一采集时刻采集到的图像记为当前帧图像的前一帧图像。
需要说的是，头戴设备上所设置的摄像头通常为头戴设备中6DOF系统中的摄像头。
S2200、对当前帧图像以及前一帧图像执行特征点提取操作，得到当前帧图像的第一特征点集和前一帧图像的第二特征点集。
其中，特征点提取操作包括如下S2210-S2230：
S2210、提取待处理图像的整体特征点集。
在本实施例中，在对当前帧图像执行特征点提取操作时，当前帧图像作为待处理图像。对应的，在对前一帧图像执行特征点提取操作时，前一帧图像作为待处理图像。另外，整体特征点集指的是待处理图像中所有的特征点的集合。
在本实施例中，上述S2210的具体实现可以为：利用特征提取算法从待处理图像中提取特征点；将提取出的所有特征点组成的集合，作为上述S2210中的整体特征点集。
在一个示例中，特征提取算法可以为ORB(Oriented Fast and Rotated Brief)特征提取算法。当然，特征提取算法还可以为其他类型的算法，例如，SIFT(Scale-invariantfeature transform；尺度不变特征转换)算法。对此，本发明不做限定。
S2220、提取待处理图像的移动物的特征点集。
在本实施例中，待处理图像中存在移动物。该移动物指的是在外界环境中可能发生移动的物体。需要说明的是，本实施例中对待处理图像中移动物的数量不做限定。
示例性的，移动物为人和/或动物等。需要说明的是，对于不同的外界环境，对应的移动物可能不同。
例如，在外界环境为客厅的情况下，客厅中的沙发、桌椅等为不可移动的物体，即位置固定的物体。而客厅中的人为移动物。在此基础上，移动物可以为人。
在一个实施例中，上述S2220的具体实现可以为如下的S2221和S2222：
S2221、识别待处理图像中移动物的类型。
在一个实施例中，由于外界环境中的移动物通常是固定的，因此，上述S2221的具体实现可以为：用户人工对外界环境中的移动物进行识别，并将该移动物的类型手动输入至头戴设备中，由头戴设备进行存储。在此基础上，头戴设备在执行上述S2221时，直接从自身的存储中读取移动物的类型。在本实施例中，无需头戴设备对待处理图像中移动物的类型进行识别，这样可降低头戴设备的计算开销。
在另一个实施例中，上述S2221的具体实现还可以为：头戴设备自动识别待处理图像中移动物的类型。具体的：
头戴设备将待处理图像分别输入至不同类型的移动物识别模型中，得到识别结果；其中，识别结果可以为待处理图像中移动物是否为对应类型的移动物识别模型所能识别的移动物，以及移动物识别模型可以为目标物识别算法。
根据识别结果，确定待处理帧图像中移动物为哪一类型的移动物识别模型所能识别的移动物；将确定出的类型作为上述S2221中识别出的类型。需要说明的是，需提前对每一移动物识别模型所能识别的移动物的类型进行标注。
在本实施例中，通过头戴设备自动识别待处理图像中移动物的类型，可避免人工的介入，从而提高了用户使用头戴设备的用户体验。
S2222、利用与类型匹配的特征点提取模型，从待处理图像中提取移动物特征点集。
在本实施例中，与类型匹配的特征点提取模型为：能够从待处理图像中提取出对应类型的移动物的特征点的模型。
在一个示例中，在移动物为人的情况下，上述S2222中的与类型匹配的特征点提取模型为能够从待处理图像中提取出人对应的特征点的模型。
在上述S2222的基础上，本实施例提供的头戴设备的位姿确定方法还包括获取与类型匹配的特征点提取模型的步骤。该步骤包括如下S2222-1和S2222-2：
S2222-1、获取训练样本集。
其中，训练样本集中包括多组训练样本，一组训练样本中包括样本图像和与该样本图像中所述类型的移动物的特征点集。
在本实施例中，所述类型指的是移动物对应的类型。以及，样本中所述类型的移动物的特征点集中的特征点由用户事先标注。
S2222-2、将样本图像作为特征点提取模型的输入，样本图像中所述类型的移动物的特征点集作为监督，对特征点提取模型进行训练，得到与所述类型匹配的特征点提取模型。
在本实施例中，利用样本图像对特征点提取模型进行训练，直至特征点提取模型收敛。将收敛的特征点提取模型作为最终的模型。该最终的模型可对输入的图像中所述类型的移动物的特征点进行提取。
在一个实施例中，特征点提取模型可以为方向梯度直方图算法。方向梯度直方图算法简称HOG(Histogram of Oriented Gradient)算法。
S2230、从整体特征点集中剔除移动物的特征点集，输出特征点集。
在本实施例中，在待处理图像为当前帧图像的情况下，对待处理图像执行特征点提取操作后输出的特征点集记为第一特征点集。对应的，在待处理图像为前一帧图像的情况下，对待处理图像执行特征点提取操作后输出的特征点集记为第二特征点集。
基于上述S2210-S2230可知，当前帧图像中的第一特征点集中不包含移动物的特征点，即当前帧图像中的第一特征点集中仅包括位置固定的物体的特征点。对应的，前一帧图像中的第一特征点集中不包含移动物的特征点，即前一帧图像中的第二特征点集中仅包括位置固定的物体的特征点。
S2300、根据第一特征点集和第二特征点集，确定头戴设备的位姿是否发生变化。
在本实施例中，上述S2300的具体实现可以为：根据第一特征点集和第二特征点集，利用PNP(Perspective-n-Point)算法，确定头戴设备的位姿是否发生变化。
在本实施例中，通过获取当前帧图像和当前帧图像的前一帧图像；对当前帧图像以及前一帧图像执行特征点提取操作，得到当前帧图像的不包含移动物的特征点的第一特征点集，和前一帧图像的不包含移动物的特征点的第二特征点集。这样，由于第一特征点集和第二特征点集中均已将移动物的特征点滤除，因此，第一特征点集和第二特征点集中均包含的是在外界环境中位置固定的物体的特征点，即第一特点集和第二特征点集可以准确的反映出头戴设备的位姿是否发生变化。这样，利用第一特征点集和第二特征点集，所确定出的头戴设备的位姿是准确的，这避免了利用传统的确定头戴设备的位姿是否发生变化的方法确定出的结果存在误差的情况的发生。
在上述任一实施例的基础上，本实施例提供的头戴设备的位姿确定方法在上述S2200之前，还包括如下S2400和S2500：
S2400、检测当前帧图像图像和前一帧图像中至少一帧中是否存在移动物。
在一个实施例中，上述S2400的具体实现可以为如下的S2410和S2420：
S2410、将当前帧图像和前一帧图像中的每一帧，分别输入至不同类型的移动物识别模型中，得到识别结果。
在一个实施例中，在将当前帧图像分别输入至不同类型的移动物识别模型中的情况下，识别结果为当前帧图像中移动物是否为对应类型的移动物识别模型所能识别的移动物。
对应的，在将前一帧图像分别输入至不同类型的移动物识别模型中的情况下，识别结果为前一帧图像中移动物是否为对应类型的移动物识别模型所能识别的移动物。
其中，移动物识别模型可以为目标物识别算法。
S2420、根据识别结果，确定对应帧图像中是否存在不同类型中的一类的移动物。
在本实施例中，在将当前帧图像输入分别至不同类型的移动物识别模型中，得到识别结果。根据该识别结果确定出当前帧图像存在不同类型中的一类的移动物的情况下，说明当前帧图像中存在移动物。反之，根据该识别结果确定出当前帧图像不存在不同类型中的一类的移动物的情况下，说明当前帧图像中不存在移动物。
对应的，在将前一帧图像分别输入至不同类型的移动物识别模型中，得到识别结果。根据该结果确定出前一帧图像中存在不同类型中的一类的移动物的情况下，说明前一帧图像中存在移动物。反之，根据该识别结果确定出前一帧图像不存在不同类型中的一类的移动物的情况下，说明前一帧图像中不存在移动物。
S2500、在存在的情况下，执行对当前帧图像以及前一帧图像执行特征点提取操作，得到当前帧图像的第一特征点集和前一帧图像的第二特征点集的操作。
对应的，在不存在的情况下，按照传统方法，以确定头戴设备的位姿是否发生变化。
在本实施例中，外界环境通常是不稳定的，即不同时刻下，采集到的当前帧图像中可能不包括移动物，也可能不包括移动物。在此基础上，头戴设备首先对当前帧图像和前一帧图像中至少一帧中是否存在移动物进行检测。仅在存在的情况下才执行上述S2200和S2300的步骤。这样，可避免当前帧图像和前一帧图像中均不包括移动物的情况下，头戴设备仍执行如S2200和S2300的操作。这降低了头戴设备的计算开销。
可以理解的是，在当前帧图像或前一帧图像不包括移动物，且头戴设备仍执行上述S2200时，得到的第一特征点集或第二特征点集近似为空集。
<装置实施例>
如图3所示，本实施例提供了一种头戴设备的位姿确定装置30。该装置30包括：获取模块31、执行模块32和确定模块33。其中：
获取模块31，用于获取当前帧图像和所述当前帧图像的前一帧图像；
执行模块32，用于对所述当前帧图像以及所述前一帧图像执行特征提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集；其中，所述特征提取操作包括：提取待处理图像的整体特征点集；提取所述待处理图像中移动物的特征点集；从所述整体特征点集中剔除所述移动物的特征点集，得到输出特征点集；
确定模块33，用于根据所述第一特征点集和所述第二特征点集，确定头戴设备的位姿是否发生变化。
在一个实施例中，执行模块32还用于：识别所述待处理图像中所述移动物的类型；
利用与所述类型匹配的特征点提取模型，从所述待处理图像中提取所述移动物特征点集。
在一个实施例中，获取模块31还用于：获取训练样本集，所述训练样本集包括多组训练样本，一组所述训练样本中包括样本图像、以及所述样本图像中所述类型的移动物的特征点集；
将所述样本图像作为特征点提取模型的输入，所述样本图像中所述类型的移动物的特征点集作为监督，对所述特征点提取模型进行训练，得到与所述类型匹配的特征点提取模型。
在一个实施例中，所述装置30还包括检测模块，检测模块用于：
检测所述当前帧图像和所述前一帧图像中至少一帧中是否存在所述移动物；
在是的情况下，执行所述对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集的步骤。
在一个实施例中，检测模块还用于：将所述当前帧图像和所述前一帧图像中的每一帧，分别输入至不同类型的移动物识别模型中，得到识别结果；
根据所述识别结果，确定对应帧图像中是否存在所述不同类型中的一类的移动物。
在一个实施例中，所述特征点提取模型为方向梯度直方图算法。
在一个实施例中，所述头戴设备为虚拟现实头戴显示设备、增强现实头戴显示设备或混合现实头戴显示设备。
<设备实施例>
如图4所示，本实施例提供一种头戴设备40，所述头戴设备40包括如上述装置实施例所述的装置30；或者，
包括存储器41和处理器42，所述存储器41用于存储计算机指令，所述处理器42用于从所述存储器41中调用所述计算机指令，以执行如上述方法实施例中任一项所述的头戴设备的位姿确定方法。
<存储介质实施例>
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据方法实施例中任一项所述的头戴设备的位姿确定方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种头戴设备的位姿确定方法，其特征在于，包括：
获取当前帧图像和所述当前帧图像的前一帧图像；
对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集；
其中，所述特征点提取操作包括：提取待处理图像的整体特征点集；提取所述待处理图像中移动物的特征点集；从所述整体特征点集中剔除所述移动物的特征点集，输出特征点集；
根据所述第一特征点集和所述第二特征点集，确定头戴设备的位姿是否发生变化。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像中移动物特征点集，包括：
识别所述待处理图像中所述移动物的类型；
利用与所述类型匹配的特征点提取模型，从所述待处理图像中提取所述移动物特征点集。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括获取与所述类型匹配的特征点提取模型的步骤，包括：
获取训练样本集，所述训练样本集包括多组训练样本，一组所述训练样本中包括样本图像、以及所述样本图像中所述类型的移动物的特征点集；
将所述样本图像作为特征点提取模型的输入，所述样本图像中所述类型的移动物的特征点集作为监督，对所述特征点提取模型进行训练，得到与所述类型匹配的特征点提取模型。
4.根据权利要求1所述的方法，其特征在于，所述在所述对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集之前，还包括：
检测所述当前帧图像和所述前一帧图像中至少一帧中是否存在所述移动物；
在是的情况下，执行所述对所述当前帧图像以及所述前一帧图像执行特征点提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集的步骤。
5.根据权利要求4所述的方法，其特征在于，所述检测所述当前帧图像和所述前一帧图像中至少一帧中是否存在所述可移动物，包括：
将所述当前帧图像和所述前一帧图像中的每一帧，分别输入至不同类型的移动物识别模型中，得到识别结果；
根据所述识别结果，确定对应帧图像中是否存在所述不同类型中的一类的移动物。
6.根据权利要求3所述的方法，其特征在于，所述特征点提取模型为方向梯度直方图算法。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述头戴设备为虚拟现实头戴显示设备、增强现实头戴显示设备或混合现实头戴显示设备。
8.一种头戴设备的位姿确定装置，其特征在于，所述装置包括：
获取模块，用于获取当前帧图像和所述当前帧图像的前一帧图像；
执行模块，用于对所述当前帧图像以及所述前一帧图像执行特征提取操作，得到所述当前帧图像的第一特征点集和所述前一帧图像的第二特征点集；其中，所述特征提取操作包括：提取待处理图像的整体特征点集；提取所述待处理图像中移动物的特征点集；从所述整体特征点集中剔除所述移动物的特征点集，得到输出特征点集；
确定模块，用于根据所述第一特征点集和所述第二特征点集，确定头戴设备的位姿是否发生变化。
9.一种头戴设备，其特征在于，所述头戴设备包括如权利要求8所述的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-7中任一项所述的头戴设备的位姿确定方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的头戴设备的位姿确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010691462.8A CN111968176A (zh) | 2020-07-17 | 2020-07-17 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010691462.8A CN111968176A (zh) | 2020-07-17 | 2020-07-17 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111968176A true CN111968176A (zh) | 2020-11-20 |
Family
ID=73360696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010691462.8A Pending CN111968176A (zh) | 2020-07-17 | 2020-07-17 | 头戴设备的位姿确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968176A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884840A (zh) * | 2021-03-29 | 2021-06-01 | 湖南国科微电子股份有限公司 | 一种视觉定位方法、装置、设备及存储介质 |
| CN114356081A (zh) * | 2021-12-20 | 2022-04-15 | 歌尔光学科技有限公司 | 图像校正方法、装置、电子设备及头戴显示设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013253801A (ja) * | 2012-06-05 | 2013-12-19 | Aisin Seiki Co Ltd | 検査位置姿勢補正システム及び検査位置姿勢補正方法 |
| CN108805917A (zh) * | 2018-05-25 | 2018-11-13 | 网易（杭州）网络有限公司 | 空间定位的方法、介质、装置和计算设备 |
| CN109948515A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| CN110033475A (zh) * | 2019-03-29 | 2019-07-19 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
| CN110110652A (zh) * | 2019-05-05 | 2019-08-09 | 达闼科技（北京）有限公司 | 一种目标检测方法、电子设备及存储介质 |
| CN110428452A (zh) * | 2019-07-11 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 非静态场景点的检测方法、装置、电子设备及存储介质 |
| CN110706248A (zh) * | 2019-08-20 | 2020-01-17 | 广东工业大学 | 一种基于slam的视觉感知建图算法及移动机器人 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
-
2020
- 2020-07-17 CN CN202010691462.8A patent/CN111968176A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013253801A (ja) * | 2012-06-05 | 2013-12-19 | Aisin Seiki Co Ltd | 検査位置姿勢補正システム及び検査位置姿勢補正方法 |
| CN108805917A (zh) * | 2018-05-25 | 2018-11-13 | 网易（杭州）网络有限公司 | 空间定位的方法、介质、装置和计算设备 |
| CN109948515A (zh) * | 2019-03-15 | 2019-06-28 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| CN110033475A (zh) * | 2019-03-29 | 2019-07-19 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
| CN110110652A (zh) * | 2019-05-05 | 2019-08-09 | 达闼科技（北京）有限公司 | 一种目标检测方法、电子设备及存储介质 |
| CN110428452A (zh) * | 2019-07-11 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 非静态场景点的检测方法、装置、电子设备及存储介质 |
| CN110706248A (zh) * | 2019-08-20 | 2020-01-17 | 广东工业大学 | 一种基于slam的视觉感知建图算法及移动机器人 |
| CN111402336A (zh) * | 2020-03-23 | 2020-07-10 | 中国科学院自动化研究所 | 基于语义slam的动态环境相机位姿估计及语义地图构建方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884840A (zh) * | 2021-03-29 | 2021-06-01 | 湖南国科微电子股份有限公司 | 一种视觉定位方法、装置、设备及存储介质 |
| CN114356081A (zh) * | 2021-12-20 | 2022-04-15 | 歌尔光学科技有限公司 | 图像校正方法、装置、电子设备及头戴显示设备 |
| WO2023115460A1 (zh) * | 2021-12-20 | 2023-06-29 | 歌尔股份有限公司 | 图像校正方法、装置、电子设备及头戴显示设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3811337A1 (en) | System for predicting articulated object feature location | |
| CN109034069B (zh) | 用于生成信息的方法和装置 | |
| JP6442746B2 (ja) | 情報処理装置、制御方法、プログラム | |
| CN112749758B (zh) | 图像处理方法、神经网络的训练方法、装置、设备和介质 | |
| CN108228792B (zh) | 图片检索方法、电子设备及存储介质 | |
| CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US20180225514A1 (en) | Identifying objects in an image | |
| CN112749685B (zh) | 视频分类方法、设备和介质 | |
| CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| CN111968176A (zh) | 头戴设备的位姿确定方法、装置、设备及存储介质 | |
| US11636779B2 (en) | Method, apparatus and terminal device for constructing parts together | |
| US10115206B2 (en) | Detection system, detection method, and program storage medium | |
| CN112967196A (zh) | 图像修复方法及装置、电子设备和介质 | |
| CN113139471A (zh) | 目标检测方法及装置、电子设备和存储介质 | |
| CN113810765B (zh) | 视频处理方法、装置、设备和介质 | |
| CN114140852B (zh) | 图像检测方法和装置 | |
| CN113409204A (zh) | 待处理图像的优化方法及装置、存储介质及电子设备 | |
| CN111105440B (zh) | 视频中目标物体的跟踪方法、装置、设备及存储介质 | |
| CN111783677A (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN110610178A (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| CN110991431A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN114842476A (zh) | 水印检测方法及装置、模型训练方法及装置 | |
| CN113127058A (zh) | 数据标注方法、相关装置及计算机程序产品 | |
| CN109981970B (zh) | 一种确定拍摄场景的方法、装置和机器人 | |
| CN111107259B (zh) | 图像获取方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |