CN112347870B - 头戴设备的图像处理方法、装置、设备及存储介质 - Google Patents
头戴设备的图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112347870B CN112347870B CN202011146312.5A CN202011146312A CN112347870B CN 112347870 B CN112347870 B CN 112347870B CN 202011146312 A CN202011146312 A CN 202011146312A CN 112347870 B CN112347870 B CN 112347870B
- Authority
- CN
- China
- Prior art keywords
- human face
- dimensional model
- head
- face
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000005452 bending Methods 0.000 claims description 22
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 20
- 239000013307 optical fiber Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种头戴设备的图像处理方法、装置、设备及存储介质。其中，头戴设备不同位置上设置有对应的摄像装置，方法包括：获取每一摄像装置在当前时刻采集到的人脸图像；对于任一人脸图像，提取人脸关键特征点；根据人脸关键特征点，确定摄像装置的相机参数；根据人脸图像和对应相机参数，构建当前时刻的目标人脸三维模型。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种头戴设备的图像处理方法、一种头戴设备的图像处理装置、一种头戴设备以及一种计算机存储介质。
背景技术
随着通讯技术和互联网的发展，受空间束缚的面对面社交不再能满足用户的需求。为了实现不受空间束缚的社交，目前提出了一种基于VR的社交方式。
基于VR的社交方式通常为：用户选择感兴趣的卡通的形象代替自身的形象。或者可扫描用户身体得到用户的3D模型，并对用户的3D模型进行处理得到更符合用户自身形象的虚拟形象。
但是，基于VR的社交方式得到的虚拟模型不够逼真，这导致现有的基于VR的社交方式用户沉浸感低，从而导致用户体验不佳。
发明内容
本申请的一个目的是提供一种用于处理头戴设备的图像的新技术方案。
根据本申请的第一方面，提供了一种头戴设备的图像处理方法，所述头戴设备不同位置上设置有对应的摄像装置，所述方法包括：
获取每一所述摄像装置在当前时刻采集到的人脸图像；
对于任一所述人脸图像，提取人脸关键特征点；
根据所述人脸关键特征点，确定所述摄像装置的相机参数；
根据所述人脸图像和对应相机参数，构建所述当前时刻的目标人脸三维模型。
可选的，所述方法还包括：
根据所述目标人脸三维模型，生成虚拟形象。
可选的，所述方法还包括：
根据每一所述摄像装置采集到人脸图像，构建初始人脸三维模型；
根据所述初始人脸三维模型，调整所述目标人脸三维模型。
可选的，所述头戴设备与人脸上的鼻翼接触部分设置有鼻翼轮廓检测装置，所述方法还包括：
获取所述鼻翼轮廓检测装置采集到的鼻翼轮廓信息；
根据所述鼻翼轮廓信息，调整所述目标人脸三维模型中的鼻子三维模型。
可选的，所述鼻翼轮廓检测装置包括：柔性弯曲光纤传感器、光源；其中：
所述柔性弯曲光纤传感器包括：传感头、光电探测器、解调模块；
所述柔性弯曲光纤传感器设置在所述头戴设备与鼻翼接触位置处，所述光源为所述传感头提供光源，所述光电探测器根据所述传感头弯曲调整的光输出的光生成的电信号，所述解调模块将所述电信号转换为反映所述鼻翼轮廓信息的数字信号。
可选的，所述对于任一所述人脸图像，提取人脸关键特征点，包括：
对于任一所述人脸图像，利用尺度不变特征变化算法提取人脸关键特征点。
可选的，所述方法还包括：
获取历史人脸三维模型；所述历史人脸三维模型为在所述当前时刻的前一时刻构建的目标人脸三维模型；
根据所述历史人脸三维模型，修正所述目标人脸三维模型。
可选的，所述摄像装置为红外摄像装置。
根据本申请的第二方面，提供了一种头戴设备的图像处理装置，所述头戴设备不同位置上设置有对应的摄像装置，所述图像处理装置包括：
获取模块，用于获取每一所述摄像装置采集到的人脸图像；
提取模块，用于对于任一所述人脸图像，提取人脸关键特征点；
确定模块，根据所述人脸关键特征点，确定所述摄像装置的相机参数；
构建模块，用于根据所述人脸图像和对应相机参数，构建所述当前时刻的目标人脸三维模型。
根据本申请的第三方面，提供了一种头戴设备，所述头戴设备不同位置上设置有对应的摄像装置，包括如第二方面所述的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的方法。
根据本申请的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。
在本申请实施例中，首先在头戴设备的不同位置上设置有对应的摄像装置；然后获取每一摄像装置在当前时刻采集到的人脸图像；对于任一人脸图像，提取人脸关键特征点；根据人脸关键特征点，确定摄像装置的相机参数；根据人脸图像和对应相机参数，构建当前时刻的目标人脸三维模型。这样，可对佩戴头戴设备的用户的人脸进行三维建模，从而得到目标人脸三维模型。由于目标人脸三维模型可反映出佩戴头戴设备的用户的面部表情，因此，在实现VR社交时，可将用户的目标人脸三维模型发送至对方，从而使得对方可查看到用户的表情，这样可提高用户的沉浸感，从而提高用户的体验。
通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且连同其说明一起用于解释本申请的原理。
图1是本申请实施例提供的一种头戴设备的结构示意图；
图2是本申请实施例提供的一种头戴设备的图像处理方法的流程示意图；
图3是本申请实施例提供的一种人脸关键特征点的示意图；
图4是本申请实施例提供的一种双相机模型的原理示意图；
图5是本申请实施例提供的一种目标人脸三维模型的示意图；
图6是本申请实施例提供的一种头戴设备的图像处理装置的结构示意图；
图7是本申请实施例提供的一种头戴设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
本申请实施例提供了一种头戴设备的图像处理方法，其中的头戴设备可以为基于MR(Mixed Reality；混合现实)、VR(Virtual Reality；虚拟现实)等的头戴设备。以及，头戴设备不同位置处设置有对应的摄像装置。需要说明的是，头戴设备上的所有摄像装置的成像范围的和覆盖整个人脸部。
示例性的，如图1所示，头戴设备上设置有6个摄像装置，分别为：camera1、camera2、camera3、camera4、camera5和camera6。
如图2所示，本申请实施例提供的头戴设备的图像处理方法包括如下S201-S204：
S201、获取每一摄像装置在当前时刻采集到的人脸图像。
在本申请的一个实施例中，摄像装置可以为红外摄像装置。在此基础上，摄像装置可穿透头戴设备采集人脸图像，这样无需将摄像装置设置在与人脸接触的位置处，从而避免了摄像装置发热造成的用户体验低的问题发生。可以理解的是，摄像装置还可以为其他形式的摄像装置。
S202、对于任一人脸图像，提取人脸关键特征点。
在本申请的一个实施例中，上述S202的具体实现可以为如下S2021：
S2021、对于任一人脸图像，利用尺度不变特征变化算法提取人脸关键特征点。
在本实施例中，上述S2021的具体过程可以为：对于每一人脸图像，检测极值点，获得尺度不变性；对于检测到的极值点，进行关键点精准定位，以得到初始关键点；对初始关键点进行过滤噪声点操作；对过滤噪声后的关键点执行分配关键方向的操作，以及为滤噪声后的关键点生成特征点描述子。
在本实施例中，由于利用尺度不变特征变化算法提取到的人脸关键特征点具备特征方向不变性，以及完善的特征描述子，因此，利用尺度不变特征变化算法提取到的人脸关键特征点可更为准确的描述人脸特征。
在一个示例中，对于任一人脸图像，利用尺度不变特征变化算法提取人脸关键特征点可如图3中的1a、1b、1c、2、3、4、5所示。
当然，还可以利用其它方式从人脸图像中提取人脸关键特征点。
S203、根据人脸关键特征点，确定摄像装置的相机参数。
在本申请的一个实施例中，上述S203的具体实现可以为：根据人脸关键特征点，利用单相机模型的方式得到摄像装置的相机参数。
当然，上述S203的具体实现还可以为：根据人脸关键特征点，利用多相机模型的方式得到摄像装置的相机参数。
在一个示例中，如图4所示，以S203的具体实现为利用双相机模型的方式为例，上述S103的实现过程为：对于人脸上的一特征点X，m1为X在头戴设备上的一个摄像装置Camera1采集到的人脸图像上的投影，m2为X在头戴设备上的另一个摄像装置Camera2采集到的人脸图像上的投影。通过X、Camera1的中心、Camera2的中心的平面S为极平面。极平面S与Camera1采集到的人脸图像的交线为极线l1，极平面S与Camera2的人脸图像的交线为极线l2。Camera1的中心和Camera2的中心的连线，与Camera1采集到的人脸图像、与Camera2采集到的人脸图像的交点为分别为e1和e2；对e1和e2执行奇异值分解，得到Camera1和Camera2之间的旋转矩阵以及平移向量。在此基础上，可得到任两个摄像装置之间的旋转矩阵以及平移向量，即得到任两个摄像装置的相机参数。
S204、根据人脸图像和对应相机参数，构建当前时刻的目标人脸三维模型。
在本申请实施例中，对应相机参数指的是采集S204中的人脸图像的摄像装置的相机参数。
在本申请的一个实施例中，上述S204的具体实现可以为：利用相机参数，将对应的人脸图像返投回空间中形成一个视锥；对所形成的视锥求交，得到物体的外包络；将外包络在回投到每一人脸图像上，由于视锥经过求交，外包络在人脸图像上的投影会小于人脸图像的大小，这相当于给平面的人脸图像上的人脸一个外轮廓，利用这个轮廓信息作为图像分割的初始条件，这样便可得到初始剪影。对于得到的剪影所形成的视锥在空间中求交，便可得到目标人脸三维模型。
进一步的，可将目标人脸三维模型发送至社交方，这样，社交方便可获知到目标人脸三维模型，从而查看到佩戴头戴设备的用户的面部表情。
在本申请实施例中，首先在头戴设备的不同位置上设置有对应的摄像装置；然后获取每一摄像装置在当前时刻采集到的人脸图像；对于任一人脸图像，提取人脸关键特征点；根据人脸关键特征点，确定摄像装置的相机参数；根据人脸图像和对应相机参数，构建当前时刻的目标人脸三维模型。这样，可对佩戴头戴设备的用户的人脸进行三维建模，从而得到目标人脸三维模型。由于目标人脸三维模型可反映出佩戴头戴设备的用户的面部表情，因此，本申请实施例提供的方法为提高社交时用户的沉浸感提供数据支持，即为提高用户体验提供数据支持。
在一个示例中，利用本申请实施例提供的方法得到的目标人脸三维模型可如图5所示。
在上述任一实施例的基础上，本申请实施例提供的头戴设备的图像处理方法还包括如下S205：
S205、根据目标人脸三维模型，生成虚拟形象。
在本申请的一个实施例中，上述S205的具体实现可以为：头戴设备中预先存储有卡通身体形象，在得到目标人脸三维模型后，将目标人脸三维模型拼接在卡通身体形象上，得到虚拟形象。
在上述任一实施例的基础上，本申请实施例提供的头戴设备的图像处理方法还包括如下S2061和S2062：
S2061、根据每一摄像装置采集到的人脸图像，构建初始人脸三维模型。
在本申请的一个实施例中，上述S2061的具体实现可以为：将每一摄像装置采集到的人脸图像输入至预先训练好的神经网络模型中，得到初始人脸三维模型。其中，预先训练好的神经网络模型为将多个2D图像重建为3D图像的神经网络模型。
在本申请的另一个实施例中，上述S2051的具体实现还可以为：对每一摄像装置采集到的人脸图像，计算人脸图像水平位置并初始定位，根据初始定位的结果，生成初始人脸三维模型。
S2062、根据所述初始人脸三维模型，调整目标人脸三维模型。
在本申请实施例中，上述S2062的具体实现可以为：对初始人脸三维模型和基于上述S204得到的目标人脸三维模型进行融合，以实现对目标人脸三维模型的调整。其中，融合的具体实现可以为：将初始人脸三维模型和目标人脸三维模型调整为相同大小，然后将两个三维模型中相同位置处的点求取平均值。
在本申请实施例中，通过初始人脸三维模型，调整目标人脸三维模型，这样可得到更为精准的目标人脸三维模型。
在上述任一实施例的基础上，本申请实施例提供的头戴设备的图像处理方法还包括如下S2071和S2072：
S2071、获取历史人脸三维模型。
其中，历史人脸三维模型为在当前时刻的前一时刻构建的目标人脸三维模型。即历史人脸三维模型为头戴设备上一次执行本申请实施例提供的头戴设备的图像处理方法时得到的目标人脸三维模型。
S2072、根据历史人脸三维模型，修正目标人脸三维模型。
在本申请实施例中，由于历史人脸三维模型和目标人脸三维模型为相邻时刻构建的人脸三维模型，因此，两者具备连续性。基于该特性，可利用历史人脸三维模型对目标人脸三维模型进行修正。其中，修正可以为：对于目标人脸三维模型中不合理的特征点，利用历史人脸三维模型上对应的特征点推理得到目标人脸三维模型中的特征点，利用确定出的特征点替换前述的不合理的特征点。这样，通过修正的方式，可得到更为合理精准的目标人脸三维模型。
在上述任一实施例的基础上，头戴设备与人脸上的鼻翼接触部分设置有鼻翼轮廓检测装置，本申请实施例提供的头戴设备的图像处理方法还包括如下S2081和S2082：
S2081、获取鼻翼轮廓检测装置采集到的鼻翼轮廓信息。
S2082、根据鼻翼轮廓信息，调整目标人脸三维模型中的鼻子三维模型。
在本申请实施例中，用户因吸气呼气等动作导致鼻翼发生形变。鼻翼轮廓检测装置与鼻翼接触，以感应鼻翼的轮廓，进而确定用户鼻翼的形变。头戴设备在得到鼻翼轮廓信息后，对目标人脸三维模型中的鼻子的三维模型进行调整，以使得目标人脸三维模型中的鼻子三维模型对应的鼻翼轮廓信息和鼻翼轮廓检测装置采集到的鼻翼轮廓信息一致。这样，目标人脸三维模型中还可对用户的鼻子进行精准描述，从而使得目标人脸三维模型更加接近用户人脸。
在一个示例中，如图1所示，所述鼻翼轮廓检测装置包括：柔性弯曲光纤传感器、光源；其中：
柔性弯曲光纤传感器包括：传感头、光电探测器、解调模块；
柔性弯曲光纤传感器设置在头戴设备与鼻翼接触位置处，光源为传感头提供光源，光电探测器根据传感头弯曲调整的光输出的光生成的电信号，解调模块将电信号转换为反映鼻翼轮廓信息的数字信号。
在本示例中，柔性弯曲光纤传感器具备柔软、体积小、可延展压缩、可自由弯曲、甚至折叠等诸多特点，基于该特点，柔性弯曲光纤传感器可及时感应到用户鼻翼的形变。以及，在本示例中鼻翼轮廓检测装置具备高灵敏度、高精确地以及高可靠性、低能量损耗等特点。
需要说明的是，图1中以光源为LED光源为例进行示出，Fexible bend sensor表示柔性弯曲光纤传感器。
<装置实施例>
本申请实施例提供了一种头戴设备的图像处理装置60，所述头戴设备不同位置上设置有对应的摄像装置，如图6所示，包括获取模块61、提取模块62、确定模块63以及构建模块64。其中：
获取模块61，用于获取每一所述摄像装置在当前时刻采集到的人脸图像；
提取模块62，用于对于任一所述人脸图像，提取人脸关键特征点；
确定模块63，用于根据所述人脸关键特征点，确定所述摄像装置的相机参数；
构建模块64，用于根据所述人脸图像和对应相机参数，构建所述当前时刻的目标人脸三维模型。
在一个实施例中，所述构建模块64还用于：根据每一所述摄像装置采集到人脸图像，构建初始人脸三维模型；
所述装置还包括调整模块，调整模块用于：根据所述初始人脸三维模型，调整所述目标人脸三维模型。
在一个实施例中，所述头戴设备与人脸上的鼻翼接触部分设置有鼻翼轮廓检测装置，获取模块61还用于：获取所述鼻翼轮廓检测装置采集到的鼻翼轮廓信息；
调整模块，还用于：根据所述鼻翼轮廓信息，调整所述目标人脸三维模型中的鼻子三维模型。
在一个实施例中，所述鼻翼轮廓检测装置包括：柔性弯曲光纤传感器、光源；其中：
所述柔性弯曲光纤传感器包括：光纤、传感头、光电探测器、解调模块；
所述柔性弯曲光纤传感器设置在所述头戴设备与鼻翼接触位置处，所述光源为所述传感头提供光源，所述光电探测器根据所述光纤输出的光生成的电信号，所述解调模块将所述电信号转换为反映所述鼻翼轮廓信息的数字信号。
在一个实施例中，提取模块62具体用于：对于任一所述人脸图像，利用尺度不变特征变化算法提取人脸关键特征点。
在一个实施例中，获取模块61还用于：获取历史人脸三维模型；所述历史人脸三维模型为在所述当前时刻的前一时刻构建的目标人脸三维模型；
所述装置60还包括修正模块，所述修正模块还用于：根据所述历史人脸三维模型，修正所述目标人脸三维模型。
在一个实施例中，所述摄像装置为红外摄像装置。
<设备实施例>
本申请实施例提供了一种头戴设备70，包括如上述装置实施例提供的头戴设备的头像处理装置60。或者，
如图7所示，包括：存储器702和处理器701，所述存储器702用于存储计算机指令，所述处理器701用于从所述存储器702中调用所述计算机指令，以执行如第一方面中任一项所述的方法。
可以理解的是，头戴设备70还可以包括：接口装置703、通信装置704、显示装置705、输入装置706、扬声器707、麦克风708，等等。以及，头戴设备70还包括摄像装置709和鼻翼轮廓检测装置710。
其中，处理器701可以是中央处理器CPU、微处理器MCU、GPU等。存储器702例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置703例如包括USB接口、耳机接口等。通信装置704例如能够进行有线或无线通信。显示装置705例如是液晶显示屏、触摸显示屏等。输入装置706例如可以包括触摸屏、键盘等。用户可以通过扬声器707和麦克风708输入/输出语音信息。摄像装置709例如可以为红外摄像装置。鼻翼轮廓检测装置710例如可以包括光源和柔性弯曲光纤传感器。
在上述描述中，技术人员可以根据实施例所公开的方案设计指令。指令如何控制处理器701进行操作，这是本领域公知，故在此不再详细描述。
<存储介质实施例>
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述方法实施例中任一项所述的方法。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。
Claims (8)
1.一种头戴设备的图像处理方法，其特征在于，所述头戴设备不同位置上设置有对应的摄像装置，所述方法包括：
获取每一所述摄像装置在当前时刻采集到的人脸图像；
对于任一所述人脸图像，提取人脸关键特征点；
根据所述人脸关键特征点，确定所述摄像装置的相机参数；
根据所述人脸图像和对应相机参数，构建所述当前时刻的目标人脸三维模型；
其中，所述头戴设备与人脸上的鼻翼接触部分设置有鼻翼轮廓检测装置，所述方法还包括：
获取所述鼻翼轮廓检测装置采集到的鼻翼轮廓信息；
根据所述鼻翼轮廓信息，调整所述目标人脸三维模型中的鼻子三维模型；
所述鼻翼轮廓检测装置包括：柔性弯曲光纤传感器、光源；其中：
所述柔性弯曲光纤传感器包括：传感头、光电探测器、解调模块；
所述柔性弯曲光纤传感器设置在所述头戴设备与鼻翼接触位置处，所述光源为所述传感头提供光源，所述光电探测器根据所述传感头弯曲调整的光输出的光生成的电信号，所述解调模块将所述电信号转换为反映所述鼻翼轮廓信息的数字信号。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述目标人脸三维模型，生成虚拟形象。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据每一所述摄像装置采集到人脸图像，构建初始人脸三维模型；
根据所述初始人脸三维模型，调整所述目标人脸三维模型。
4.根据权利要求1所述的方法，其特征在于，所述对于任一所述人脸图像，提取人脸关键特征点，包括：
对于任一所述人脸图像，利用尺度不变特征变化算法提取人脸关键特征点。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取历史人脸三维模型；所述历史人脸三维模型为在所述当前时刻的前一时刻构建的目标人脸三维模型；
根据所述历史人脸三维模型，修正所述目标人脸三维模型。
6.一种头戴设备的图像处理装置，其特征在于，所述头戴设备不同位置上设置有对应的摄像装置，所述图像处理装置包括：
获取模块，用于获取每一所述摄像装置采集到的人脸图像；
提取模块，用于对于任一所述人脸图像，提取人脸关键特征点；
确定模块，根据所述人脸关键特征点，确定所述摄像装置的相机参数；
构建模块，用于根据根据所述人脸图像和对应相机参数，构建所述当前时刻的目标人脸三维模型；
其中，所述头戴设备与人脸上的鼻翼接触部分设置有鼻翼轮廓检测装置，所述获取模块还用于：
获取所述鼻翼轮廓检测装置采集到的鼻翼轮廓信息；
所述调整模块，还用于根据所述鼻翼轮廓信息，调整所述目标人脸三维模型中的鼻子三维模型；
所述鼻翼轮廓检测装置包括：柔性弯曲光纤传感器、光源；其中：
所述柔性弯曲光纤传感器包括：传感头、光电探测器、解调模块；
所述柔性弯曲光纤传感器设置在所述头戴设备与鼻翼接触位置处，所述光源为所述传感头提供光源，所述光电探测器根据所述传感头弯曲调整的光输出的光生成的电信号，所述解调模块将所述电信号转换为反映所述鼻翼轮廓信息的数字信号。
7.一种头戴设备，其特征在于，所述头戴设备不同位置上设置有对应的摄像装置，包括如权利要求6所述的装置；或者，
包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011146312.5A CN112347870B (zh) | 2020-10-23 | 2020-10-23 | 头戴设备的图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011146312.5A CN112347870B (zh) | 2020-10-23 | 2020-10-23 | 头戴设备的图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112347870A CN112347870A (zh) | 2021-02-09 |
| CN112347870B true CN112347870B (zh) | 2023-03-24 |
Family
ID=74359977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011146312.5A Active CN112347870B (zh) | 2020-10-23 | 2020-10-23 | 头戴设备的图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112347870B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359392B (zh) * | 2022-03-16 | 2022-07-26 | 荣耀终端有限公司 | 一种视觉定位方法、装置、芯片系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369174A (zh) * | 2017-07-26 | 2017-11-21 | 厦门美图之家科技有限公司 | 一种人脸图像的处理方法及计算设备 |
| CN109035394A (zh) * | 2018-08-22 | 2018-12-18 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
| CN109087340A (zh) * | 2018-06-04 | 2018-12-25 | 成都通甲优博科技有限责任公司 | 一种包含尺度信息的人脸三维重建方法及系统 |
| US10636192B1 (en) * | 2017-06-30 | 2020-04-28 | Facebook Technologies, Llc | Generating a graphical representation of a face of a user wearing a head mounted display |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9910275B2 (en) * | 2015-05-18 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
| US10650260B2 (en) * | 2017-06-23 | 2020-05-12 | Institute Of Automation, Chinese Academy Of Sciences | Perspective distortion characteristic based facial image authentication method and storage and processing device thereof |
-
2020
- 2020-10-23 CN CN202011146312.5A patent/CN112347870B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10636192B1 (en) * | 2017-06-30 | 2020-04-28 | Facebook Technologies, Llc | Generating a graphical representation of a face of a user wearing a head mounted display |
| CN107369174A (zh) * | 2017-07-26 | 2017-11-21 | 厦门美图之家科技有限公司 | 一种人脸图像的处理方法及计算设备 |
| CN109087340A (zh) * | 2018-06-04 | 2018-12-25 | 成都通甲优博科技有限责任公司 | 一种包含尺度信息的人脸三维重建方法及系统 |
| CN109035394A (zh) * | 2018-08-22 | 2018-12-18 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112347870A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6258953B2 (ja) | 単眼視覚ｓｌａｍのための高速初期化 | |
| WO2020134238A1 (zh) | 活体检测方法、装置以及存储介质 | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| WO2019196745A1 (zh) | 人脸建模方法及相关产品 | |
| WO2015172679A1 (zh) | 一种图像处理方法和装置 | |
| CN111783605B (zh) | 一种人脸图像识别方法、装置、设备及存储介质 | |
| CN113822977A (zh) | 图像渲染方法、装置、设备以及存储介质 | |
| KR20220053670A (ko) | 목표 대상물 매칭 방법 및 장치, 전자 기기 및 기억 매체 | |
| CN115956255B (zh) | 使用广角成像设备的3d重建 | |
| CN113262465A (zh) | 一种虚拟现实交互方法、设备及系统 | |
| WO2012089902A1 (en) | Method, apparatus, and computer program product for image clustering | |
| KR102665643B1 (ko) | 아바타 표시를 제어하기 위한 방법 및 그 전자 장치 | |
| EP2851868A1 (en) | 3D Reconstruction | |
| CN112927362A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| US10748000B2 (en) | Method, electronic device, and recording medium for notifying of surrounding situation information | |
| CN108229375B (zh) | 用于检测人脸图像的方法和装置 | |
| CN112257552B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112241716B (zh) | 训练样本的生成方法和装置 | |
| CN115239888B (zh) | 用于重建三维人脸图像的方法、装置、电子设备和介质 | |
| US11741671B2 (en) | Three-dimensional scene recreation using depth fusion | |
| CN112347870B (zh) | 头戴设备的图像处理方法、装置、设备及存储介质 | |
| CN114677350A (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
| CN113055593B (zh) | 图像的处理方法和装置 | |
| CN110705438A (zh) | 步态识别方法、装置、设备及存储介质 | |
| CN112328088A (zh) | 图像的呈现方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221125 Address after: No. 500, Songling Road, Laoshan District, Qingdao, Shandong 266101 Applicant after: GOERTEK TECHNOLOGY Co.,Ltd. Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building) Applicant before: GoerTek Optical Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |