CN115937964A - 姿态估计的方法、装置、设备和存储介质 - Google Patents
姿态估计的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115937964A CN115937964A CN202210743848.8A CN202210743848A CN115937964A CN 115937964 A CN115937964 A CN 115937964A CN 202210743848 A CN202210743848 A CN 202210743848A CN 115937964 A CN115937964 A CN 115937964A
- Authority
- CN
- China
- Prior art keywords
- neck
- dimensional
- target
- image
- keypoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000000463 material Substances 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000013519 translation Methods 0.000 claims description 23
- 230000004807 localization Effects 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 7
- 230000001747 exhibiting effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000036544 posture Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000010421 standard material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
根据本公开的实施例，提供了姿态估计的方法、装置、设备和存储介质。该方法包括获取与当前颈部姿态相关联的目标二维图像，通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点，其中颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态；以及基于多个颈部目标关键点，确定当前颈部姿态。由此能够从图像或视频中获取更准确的颈部姿态，以实现更加真实的三维素材加载体验。
Description
技术领域
本公开的示例实施例总体涉及计算机领域，特别地涉及用于数据处理的方法、装置、设备和计算机可读存储介质。
背景技术
增强现实(AR)技术能够把虚拟信息，例如物体、图片、视频、声音等等叠加在现实环境中。目前，AR技术被广泛应用于诸如购物、动画、游戏、社交等各个方面。例如，在线上购物平台，用户可以通过AR技术在线虚拟穿戴感兴趣的服装或配饰。又例如，拍照软件在拍照过程中可以通过AR技术为拍摄对象加载一些趣味素材以丰富拍摄画面。在使用AR技术的过程中，需要实现待加载的素材与加载对象之间的位置匹配，以确保得到满意的可视化效果。
发明内容
在本公开的第一方面，提供了一种姿态估计的方法。该方法包括获取与当前颈部姿态相关联的目标二维图像并且通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。其中该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态。该方法还包括基于多个颈部目标关键点，确定当前颈部姿态。
在本公开的第二方面，提供了一种用于姿态估计的装置。该装置包括图像获取模块，被配置为获取与当前颈部姿态相关联的目标二维图像，以及关键点确定模块，被配置为通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。其中该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态。该装置还包括姿态确定模块，被配置为基于多个颈部目标关键点，确定当前颈部姿态。
在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。
在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。
应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的一些实施例的姿态估计的过程的框图；
图3A至3E示出了根据本公开的一些实施例的颈部图像处理的示意图；
图4A至图4C示出了根据本公开的一些实施例的确定颈部关键点的示意图；
图5示出了根据本公开的一些实施例的颈部姿态校准的示意图；
图6示出了根据本公开的一些实施例的用于姿态估计的过程的流程图；
图7示出了根据本公开的一些实施例的用于姿态估计的装置的框图；以及
图8示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
如上文所述，当用户在线上购物平台使用虚拟穿戴或在拍照时为照片添加趣味素材等AR技术应用场景下，需要将待加载的素材匹配到加载对象的相应位置。举例而言，如果用户想要使用虚拟穿戴功能试戴项链，则需要确定所采集的用户图像或视频中的用户的颈部位置和姿态，进而根据所确定的颈部位置和姿态将项链的相关素材以合适的佩戴姿态添加到颈部，从而为用户呈现佩戴项链的可视化效果。
一般而言，针对特定人体部位的位置和姿态的定位往往基于在该部位的一些关键特征来实现。例如在定位脸部时，可以通过五官作为特征点来确定脸部的位置和姿态。然而，目前针对某些人体部位的定位效果并不理想。例如，由于在颈部没有诸如脸部五官这样的普遍特征，并且颈部位置和姿态相较于躯干而言具有更大的灵活度和多样性，因此增大了定位颈部位置和姿态的难度。通常只能基于脸部来粗略地估计颈部的位置和姿态。一旦对颈部的定位不准确，则必然会影响加载素材之后的可视化效果，从而造成客户体验不佳。
根据本公开的各个实施例，提出一种姿态估计的方案。例如，将特定三维素材上加载到一些用于训练的颈部图像上。在加载三维素材之后，可以将在三维素材上预先标注的三维参考点投影到这些颈部图像，从而在颈部图像上标注相应的二维参考点。可以利用这些来训练颈部关键点定位模型。在该颈部关键点定位模型被训练好之后，可以将和颈部有关的图像输入该模型，进而通过模型的输出得到相应的颈部关键点。通过该颈部关键点，可以实现图像中的颈部的位置和姿态的定位。
根据本公开的实现，可以通过神经网络来预定一系列颈部关键点的位置。相较于现有方案，所得到的颈部关键点有助于实现更准确地颈部姿态的恢复，从而能够在加载三维素材后得到良好的可视化效果，提升了客户体验。
示例环境
首先参见图1，其示意性示出了其中可以实施根据本公开的示例性实现方式的示例环境100的示意图。
在示例环境100中，电子设备110可以从采集设备120获取其采集到的用户102的图像或视频。例如，采集设备120可以是相机。在一些实施例中，采集设备120可以被配置为与电子设备110彼此连接。在一些其他实施例中，采集设备120也可以被集成在电子设备110内部。在采集设备120执行图像或视频采集时，电子设备110，例如通过安装在电子设备110上的应用或者通过电子设备110正在浏览的网页，能够提供对于采集设备120采集关于用户102的视频和图像的引导。
在获取到用户102的图像和视频之后，电子设备110可以实现针对这些视频和图像的相关处理。举例而言，电子设备110可以定位用户102的多个颈部关键点。通过这些颈部关键点，电子设备110可以估计在图像或视频中的用户102的颈部姿态。基于所确定的颈部姿态，电子设备110可以将素材104以合适的加载状态加载到图像或视频中的用户102的颈部，从而能够为用户102提供加载了素材104后的显示130。
应当理解，电子设备110可以通过其显示设备(未示出)为用户102提供显示130。可选的，电子设备110也可以将其生成的用户102在加载素材104后的图像和视频发送到能够提供显示130的其他外围设备。
在一些实施例中，素材104包括对应于诸如服装、配饰、可穿戴设备、功能性防护装备等用户可穿戴的物体的虚拟三维形状。在一些其他实施例中，素材104也可以包括用于丰富用户图像或视频呈现的动画或图案素材。素材104可以被调整成多种不同的加载状态，以适应用户102在图像和视频中呈现出的不同姿态。
电子设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，电子设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。电子设备110也可以是能够提供计算能力的各种类型的电子系统/服务器，包括但不限于大型机、边缘计算节点、云环境中的电子设备，等等。
应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。
姿态估计过程
图2示出了根据本公开的一些实施例的姿态估计的过程的框图。图2示出的过程可以在电子设备110处实施。为便于讨论，将参考图1的环境100来描述图2示出的过程。
如图2所示，电子设备110可以获取采集到的关于用户102的原始图像201。在框210，为了从原始图像201中获取颈部区域的目标图像，电子设备110可以确定在与原始图像201相关的当前图像帧之前采集到的相邻图像帧中是否包括用户102的颈部。
举例而言，如图3A所示，如果电子设备110在相邻图像帧301检测到颈部，则可以确定相邻图像帧301中的颈部区域302。具体地，可以通过具有预定尺寸的检测框303来确定颈部区域。例如可以利用检测框303的左上角，左下角，右上角以及右下角在相邻图像帧301中的坐标来限定相邻图像帧301中的颈部区域302。基于对相邻图像帧301中所确定的检测框303适当放大，则可以在原始图像201中确定相应的颈部区域。如图3B所示，在当前图像帧311中的检测框312所限定的图像区域是原始图像201中的颈部区域，该检测框304是由在相邻图像帧301中确定的检测框303放大预定倍数得到的。
如图3C所示，如果电子设备110在相邻图像帧304未检测到颈部，则可以确定相邻图像帧304中的脸部区域305。通常人脸与颈部的位置存在预定关系。例如，颈部在图像帧中处于人脸的下方。因此可以根据在相邻图像帧304中的脸部区域305来预测在与原始图像201相关的当前图像帧中的颈部区域的位置。如图3D所示，在相邻图像帧304中的脸部区域305中可以确定多个特征点，例如处于眼眶部位的特征点306。电子设备110可以获取人脸特征点，例如五官，与颈部之间的预定位置关系。基于所确定的脸部区域306的脸部朝向和位置，与获取到的人脸特征点与颈部之间的预定位置关系，电子设备110可以预测处在当前图像帧中的颈部区域的位置。例如，如图3E所示，基于相邻图像帧304可以预测在与原始图像201相关的当前图像帧中313的颈部区域314。
继续参考图2，在框214，电子设备110基于所确定的原始图像201的颈部区域来定位颈部关键点，从而基于被定位的多个颈部关键点来估计原始图像201中的颈部姿态。举例而言，颈部关键点的定位可以通过已经训练好的用于定位颈部关键点的模型来实现。该颈部关键点定位模型可以是基于卷积神经网络的模型。以下结合图4A和图4B详细描述如何获取用于训练模型的数据以及模型的训练过程。
如图4A所示，可以获取多个训练图像401、402、403以及404，在训练图像401、402、403以及404中各自呈现颈部的不同姿态。将已经制作好的三维素材415加载到训练图像401、402、403以及404中各自的颈部区域。在加载过程中，可以通过调节三维素材415而使其以合适的位置和旋转程度被加载到训练图像401、402、403以及404中各自的颈部区域。
如图4B所示，三维素材415可以根据具有标准颈部姿态三维颈部参考模型425来生成的。例如通过可以将可佩戴物体，例如项链435，佩戴到三维颈部参考模型425来生成对应于项链435的三维素材415。在这里使用的术语“标准颈部姿态”通常涉及颈部不发生转动且颈部本体与头部和躯干趋向于保持在同一直线下的状态。
在生成三维素材415的过程中，可以在三维素材415上标注预定数目的三维参考点455。例如，可以预先在具有标准颈部姿态的三维颈部参考模型425上设置多个模型参考点，在基于该三维颈部参考模型425生成三维素材415时，与多个模型参考点相对应地标注三维素材415上的三维参考点455。
重新参考图4A，在将三维素材415分别加载到训练图像401、402、403以及404中的颈部区域之后，可以分别获得加载后的图像411、412、413以及414。在加载状态下，可以将被标注在三维素材415上的具有预定数目的三维参考点455分别投影到图像411、412、413以及414中的三维素材415与颈部贴合的位置，从而得到各自在颈部被标注的多个二维参考点。例如，在图像421中的多个二维参考点426，在图像422中的多个二维参考点427，在图像423中的多个二维参考点428，以及在图像424中的多个二维参考点429。所确定的各自的二维参考点中的至少一部分可以被视作训练图像401、402、403以及404中颈部参考关键点。
可以基于训练图像401、402、403以及404和与这些图像的颈部区域各自对应的颈部参考关键点之间的关联关系来训练用于定位颈部关键点的模型。训练好的颈部关键点定位模型可以用于确定在图像中的颈部关键点。
举例而言，如图4C所示，可以将已经确定颈部区域图像312输入到颈部关键点定位模型460。该模型460的输出为在颈部区域图像312中定位的多个颈部关键点470。
基于所确定的多个颈部关键点，电子设备110可以估计颈部区域图像312呈现的颈部姿态。举例而言，通过多个在图像上定位的二维颈部关键点，可以基于与二维数据和三维数据之间的转换相关的算法来确定变换(Transform)矩阵，该Transform矩阵可以表征在图像中呈现的颈部姿态相对于标准颈部姿态发生的平移和旋转程度。由此在图像中的颈部姿态可以被确定。
应当理解，这里涉及的与二维数据和三维数据之间的转换相关的算法可以采用求解三维到二维点对(Perspective-n-Point，PnP)的方法或其他类似方法。
以此方式，能够通过训练好的颈部关键点定位模型来从图像中直接确定颈部关键点的位置，而无需借助其他人体部位的定位。通过本公开的方案确定的颈部关键点的能够有利于对图像中的颈部姿态进行精确的估计，使得在后续加载素材时能够呈现逼真的可视化效果。
为了更好的确定图像中的颈部姿态，可选地或附加的，所确定的表征颈部的平移和旋转程度的Transform矩阵可以被进一步的调整和优化。继续参考图2，在框216，电子设备110可以对先前已经确定的颈部姿态进一步处理，从而得到准确程度更好的颈部姿态估计。
在一些实施例中，可以基于时序序列对Transform矩阵进行平滑。例如，电子设备110可以获取在预定时间间隔内与当前图像帧相邻的一个或多个图像帧。基于多个图像帧中的颈部关键点在该预定时间间隔内的运动轨迹来调整所确定的Transform矩阵。假设刚体的平移可以表征为多项式函数，通过对当前图像帧和相邻的观测，可以利用最小二乘法求解到具有最小误差的平移运动轨迹。
例如，假设平移为p，针对一个颈部关键点，获取预定时间间隔l内的p值组成向量为：
Y＝[p0,p1,…,pl-1]T (1)
假设运动轨迹为d次函数，根据最小二乘法的解而拟合的、用于表征该颈部关键点时间间隔l内的移动轨迹的函数M为：
M＝(XTX)-1XTY (2)
其中X为与时间间隔相关的矩阵，被表示为：
在确定移动轨迹的函数M后，可以将与当前图像帧对应的时间点带入到函数M中得到当前图像帧上该颈部关键点的平移程度。可以基于由此求得的平移程度来校准先前确定的Transform矩阵所表征的平移程度。
以此方式，能够根据与当前图像帧在时序上具有关联关系的参考图像帧来对先前确定的Transform矩阵进行平滑，并且由于利用了相邻帧的信息，避免了普通插值平滑方式造成的滞后的问题，并且进一步改善了颈部姿态估计的结果。
可选的或附加的，还可以考虑通过颈部边缘点和/或人脸信息的方式来对Transform矩阵进行平滑。理想状态下，颈部边缘点应该与所确定的颈部关键点中的最外侧的一些关键点重合，目前所定位的颈部关键点可能与颈部边缘点之间存在偏差。如图5所示，处于颈部最外侧的颈部关键点511至513和与其相对应的颈部边缘点501至503之间存在偏差。
因此，可以获取处于颈部最外侧的一些关键点，通过优化transform矩阵中的位置分量，使这些关键点尽量与边缘点对齐，从而实现对transform矩阵位置的精调。
假设Ptemplate为对应于所确定的二维颈部关键点的三维颈部关键点的初始位置，T为Transform矩阵，K为相机内参，p为二维颈部关键点，Pedge为颈部边缘点，则由投影公式求得：
p＝KTPtemplate (4)
首先进行颈部关键点与颈部边缘点的对应，如图5所示，可以选取颈部关键点中水平方向上最外侧的两个关键点511和512，使其分别与颈部边缘点501和502对应。然后根据颈部边缘点501和502来优化Transform矩阵。换言之，相当于Transform矩阵基础上再施加一个变换Toffset，使与颈部边缘点对应的颈部关键点的投影更加接近颈部边缘点，该过程可以表示为：
Pretarget＝KToffsetTPtemplate (5)
其中Pretarget为调整后的靠近颈部边缘的颈部关键点，而Toffset为针对Transform矩阵的调整程度。
此外，同样可以结合利用脸部在时序上的变化对颈部姿态进行平滑，即当人脸变化小时，人体被视作更加趋向于静止，则增大颈部的平滑系数；当脸部变化大时，人体被视作更加趋向于运动，则减小颈部的平滑系数。脸部的变化可以通过对预定时间间隔内的图像帧进行比较来得到。在预定时间间隔内的图像帧中的脸部信息可以在框212处被确定。
在确定图像201中的颈部姿态后，在框218，电子设备110可以通过相应的仿真和渲染步骤，基于所确定颈部姿态为颈部加载相应的素材，由此可以得到加载素材后的图像202。举例而言，在渲染步骤中，可以给定一个标准的三维颈部素材，作为相关三维素材制作的标准素材。例如，在项链素材制作过程中，其位置、大小和朝向，需要对齐到标准的三维颈部素材。项链素材按照标准制作完成后，在渲染空间中，按照给定相机参数摆放相机，然后对项链素材施加表征颈部姿态的transform矩阵，使用渲染引擎对3D素材进行渲染之后，再叠加上算法的输入图像，即可获得真实的项链效果。
通过本公开的方案，能够从图像或视频中获取更为准确的颈部姿态，从而实现更加真实的三维素材加载体验。
应当理解，本公开的方案不仅仅局限于颈部姿态的估计。类似地，采用本公开的方案来估计例如手腕、脚踝等人体其他部位的姿态也是同样可行的。
示例过程
图6示出了根据本公开的一些实施例的用于姿态估计的过程600的流程图。过程600可以在电子设备110处实现。
在框610，电子设备110获取与当前颈部姿态相关联的目标二维图像。
在一些实施例中，电子设备110可以确定在与目标二维图像相对应的当前图像帧之前获取到的参考图像帧中是否包括颈部区域。如果确定参考图像帧中包括颈部区域，则电子设备110可以基于颈部区域在参考图像帧中的图像范围在当前图像帧中确定目标二维图像。
在一些实施例中，如果确定参考图像帧中未包括颈部区域，则电子设备110可以基于脸部区域在参考图像帧中的位置和脸部与颈部之间的参考位置关系，预测在当前图像帧中的颈部区域以及将所预测的颈部区域确定为目标二维图像。
在框620，电子设备110通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点。该训练颈部图像呈现出多个参考颈部姿态
在一些实施例中，该多个三维颈部参考关键点是在训练三维素材加载到训练颈部图像时，根据多个训练颈部图像对应的加载姿态与参考颈部三维模型之间的对应关系来标注的。
在一些实施例中，电子设备110可以响应于确定当前颈部姿态与多个颈部参考姿态中的第一颈部参考姿态彼此匹配，获取呈现第一颈部参考姿态的训练颈部图像上的多个二维颈部参考关键点；以及至少将多个二维颈部参考关键点中的部分颈部参考关键点确定为多个颈部目标关键点。
在630，电子设备110基于多个颈部目标关键点，确定当前颈部姿态。
在一些实施例中，电子设备110可以确定对应于多个颈部目标关键点在目标二维图像中的多个二维坐标的、在标准颈部三维模型所处的三维坐标系下的多个三维坐标；基于三维坐标来确定当前颈部姿态在三维坐标系下相较于标准颈部三维模型的平移和旋转程度；以及基于平移和旋转程度来确定当前颈部姿态。
在一些实施例中，电子设备110可以获取要加载到目标二维图像的颈部区域的目标三维素材，目标三维素材是基于参考颈部三维模型来生成的；以及通过基于所确定的平移和旋转程度对目标三维素材的姿态进行调整，将目标三维素材加载到颈部区域。
在一些实施例中，电子设备110可以获取与目标二维图像相对应的当前图像帧在预定时间间隔内的一个或多个相邻图像帧；利用颈部关键点定位模型确定一个或多个相邻图像帧上的各自的颈部关键点；基于多个颈部目标关键点和在一个或多个相邻图像帧上的确定的各自的颈部关键点可以确定与多个颈部目标关键点对应的多个颈部位置在预定时间间隔内的移动轨迹；以及基于移动轨迹和与当前图像帧相对应的时间点来调整所确定的平移程度。
在一些实施例中，电子设备110可以确定目标二维图像中的至少一个颈部边缘点，至少一个颈部边缘点至少包括颈部与肩部连接处的第一接合点和颈部与脸部连接处的第二接合点中的至少一项；从多个颈部目标关键点确定靠近颈部边缘的、与至少一个颈部边缘点相对应的一部分边缘目标关键点；以及通过将一部分边缘目标关键点与至少一个颈部边缘点对齐来确定对所确定的平移和旋转程度的调整。
示例装置和设备
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图7示出了根据本公开的一些实施例的用于数据处理的装置700的示意性结构框图。
如图7所示，装置700可以包括图像获取模块710，被配置为获取与当前颈部姿态相关联的目标二维图像。装置700还可以包括关键点确定模块720，被配置为通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态。装置700还可以包括姿态确定模块730，被配置为基于多个颈部目标关键点，确定当前颈部姿态。
在一些实施例中，该多个三维颈部参考关键点是在训练三维素材加载到训练颈部图像时，根据多个训练颈部图像对应的加载姿态与参考颈部三维模型之间的对应关系来标注的。
在一些实施例中，图像获取模块710还可以被配置为确定在与目标二维图像相对应的当前图像帧之前获取到的参考图像帧中是否包括颈部区域；以及响应于确定参考图像帧中包括颈部区域，基于颈部区域在参考图像帧中的图像范围在当前图像帧中确定目标二维图像。
在一些实施例中，图像获取模块710还可以被配置为响应于确定参考图像帧中未包括颈部区域，基于脸部区域在参考图像帧中的位置和脸部与颈部之间的参考位置关系，预测在当前图像帧中的颈部区域；以及将所预测的颈部区域确定为目标二维图像。
在一些实施例中，关键点确定模块720还可以被配置为响应于确定当前颈部姿态与多个颈部参考姿态中的第一颈部参考姿态彼此匹配，获取呈现第一颈部参考姿态的训练颈部图像上的多个二维颈部参考关键点；以及至少将多个二维颈部参考关键点中的部分颈部参考关键点确定为多个颈部目标关键点。
在一些实施例中，姿态确定模块730还可以被配置为确定对应于多个颈部目标关键点在目标二维图像中的多个二维坐标的、在标准颈部三维模型所处的三维坐标系下的多个三维坐标；基于三维坐标来确定当前颈部姿态在三维坐标系下相较于标准颈部三维模型的平移和旋转程度；以及基于平移和旋转程度来确定当前颈部姿态。
在一些实施例中，装置700还可以被配置为获取要加载到目标二维图像的颈部区域的目标三维素材，目标三维素材是基于参考颈部三维模型来生成的；以及通过基于所确定的平移和旋转程度对目标三维素材的姿态进行调整，将目标三维素材加载到颈部区域。
在一些实施例中，装置700还可以被配置为获取与目标二维图像相对应的当前图像帧在预定时间间隔内的一个或多个相邻图像帧；利用颈部关键点定位模型确定一个或多个相邻图像帧上的各自的颈部关键点；基于多个颈部目标关键点和在一个或多个相邻图像帧上的确定的各自的颈部关键点可以确定与多个颈部目标关键点对应的多个颈部位置在预定时间间隔内的移动轨迹；以及基于移动轨迹和与当前图像帧相对应的时间点来调整所确定的平移程度。
在一些实施例中，装置700还可以被配置为装置700还可以被配置为装置700还可以被配置为确定目标二维图像中的至少一个颈部边缘点，至少一个颈部边缘点至少包括颈部与肩部连接处的第一接合点和颈部与脸部连接处的第二接合点中的至少一项；从多个颈部目标关键点确定靠近颈部边缘的、与至少一个颈部边缘点相对应的一部分边缘目标关键点；以及通过将一部分边缘目标关键点与至少一个颈部边缘点对齐来确定对所确定的平移和旋转程度的调整。
装置700中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置700中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
图8示出了其中可以实施本公开的一个或多个实施例的计算设备/服务器800的框图。应当理解，图8所示出的计算设备/服务器800仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。
如图8所示，计算设备/服务器800是通用计算设备的形式。计算设备/服务器800的组件可以包括但不限于一个或多个处理器或处理单元810、存储器820、存储设备830、一个或多个通信单元840、一个或多个输入设备860以及一个或多个输出设备860。处理单元810可以是实际或虚拟处理器并且能够根据存储器820中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备/服务器800的并行处理能力。
计算设备/服务器800通常包括多个计算机存储介质。这样的介质可以是计算设备/服务器800可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器820可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备830可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/服务器800内被访问。
计算设备/服务器800可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图8中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器820可以包括计算机程序产品825，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元840实现通过通信介质与其他计算设备进行通信。附加地，计算设备/服务器800的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备/服务器800可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备850可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备860可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备/服务器800还可以根据需要通过通信单元840与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备/服务器800交互的设备进行通信，或者与使得计算设备/服务器800与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。
Claims (12)
1.一种姿态估计方法，包括：
获取与当前颈部姿态相关联的目标二维图像；
通过利用颈部关键点定位模型处理所述目标二维图像来确定所述目标二维图像中的多个颈部目标关键点，
其中所述颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，所述参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，所述训练三维素材上标注的多个三维颈部参考关键点投影到所述训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，所述训练颈部图像呈现出多个参考颈部姿态；以及
基于所述多个颈部目标关键点，确定所述当前颈部姿态。
2.根据权利要求1所述的方法，其中所述多个三维颈部参考关键点是在所述训练三维素材加载到所述训练颈部图像时，根据多个训练颈部图像对应的加载姿态与参考颈部三维模型之间的对应关系来标注的。
3.根据权利要求1所述的方法，其中获取所述目标二维图像包括：
确定在与所述目标二维图像相对应的当前图像帧之前获取到的参考图像帧中是否包括颈部区域；以及
响应于确定所述参考图像帧中包括所述颈部区域，基于所述颈部区域在所述参考图像帧中的图像范围在所述当前图像帧中确定所述目标二维图像。
4.根据权利要求3所述的方法，还包括：
响应于确定所述参考图像帧中未包括所述颈部区域，基于脸部区域在所述参考图像帧中的位置和脸部与颈部之间的参考位置关系，预测在所述当前图像帧中的颈部区域；以及
将所预测的颈部区域确定为所述目标二维图像。
5.根据权利要求1所述的方法，其中确定所述多个颈部目标关键点包括：
响应于确定所述当前颈部姿态与所述多个颈部参考姿态中的第一颈部参考姿态彼此匹配，获取呈现所述第一颈部参考姿态的所述训练颈部图像上的多个二维颈部参考关键点；以及
至少将所述多个二维颈部参考关键点中的部分颈部参考关键点确定为所述多个颈部目标关键点。
6.根据权利要求1所述的方法，其中确定所述当前颈部姿态包括：
确定对应于所述多个颈部目标关键点在所述目标二维图像中的多个二维坐标的、在所述标准颈部三维模型所处的三维坐标系下的多个三维坐标；
基于所述三维坐标来确定所述当前颈部姿态在所述三维坐标系下相较于所述标准颈部三维模型的平移和旋转程度；以及
基于所述平移和旋转程度来确定所述当前颈部姿态。
7.根据权利要求6所述的方法，还包括：
获取要加载到所述目标二维图像的颈部区域的目标三维素材，所述目标三维素材是基于所述参考颈部三维模型来生成的；以及
通过基于所确定的平移和旋转程度对所述目标三维素材的姿态进行调整，将所述目标三维素材加载到所述颈部区域。
8.根据权利要求6所述的方法，还包括：
获取与所述目标二维图像相对应的当前图像帧在预定时间间隔内的一个或多个相邻图像帧；
利用所述颈部关键点定位模型确定所述一个或多个相邻图像帧上的各自的颈部关键点；
基于多个颈部目标关键点和在所述一个或多个相邻图像帧上的确定的各自的颈部关键点确定与所述多个颈部目标关键点对应的多个颈部位置在所述预定时间间隔内的移动轨迹；以及
基于所述移动轨迹和与所述当前图像帧相对应的时间点来调整所确定的平移程度。
9.根据权利要求6所述的方法，还包括：
确定所述目标二维图像中的至少一个颈部边缘点，所述至少一个颈部边缘点至少包括颈部与肩部连接处的第一接合点和颈部与脸部连接处的第二接合点中的至少一项；
从所述多个颈部目标关键点确定靠近颈部边缘的、与所述至少一个颈部边缘点相对应的一部分边缘目标关键点；以及
通过将一部分边缘目标关键点与所述至少一个颈部边缘点对齐来确定对所确定的平移和旋转程度的调整。
10.一种用于姿态估计的装置，包括：
图像获取模块，被配置为获取与当前颈部姿态相关联的目标二维图像；
关键点确定模块，被配置为通过利用颈部关键点定位模型处理所述目标二维图像来确定所述目标二维图像中的多个颈部目标关键点，
其中所述颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，所述参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，所述训练三维素材上标注的多个三维颈部参考关键点投影到所述训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，所述训练颈部图像呈现出多个参考颈部姿态；以及
姿态确定模块，被配置为基于所述多个颈部目标关键点，确定所述当前颈部姿态。
11.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210743848.8A CN115937964B (zh) | 2022-06-27 | 2022-06-27 | 姿态估计的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210743848.8A CN115937964B (zh) | 2022-06-27 | 2022-06-27 | 姿态估计的方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937964A true CN115937964A (zh) | 2023-04-07 |
| CN115937964B CN115937964B (zh) | 2023-12-15 |
Family
ID=86651212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210743848.8A Active CN115937964B (zh) | 2022-06-27 | 2022-06-27 | 姿态估计的方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937964B (zh) |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503671A (zh) * | 2016-11-03 | 2017-03-15 | 厦门中控生物识别信息技术有限公司 | 确定人脸姿态的方法和装置 |
| US20170316617A1 (en) * | 2014-10-21 | 2017-11-02 | Samsung Electronics Co., Ltd. | Virtual fitting device and virtual fitting method thereof |
| CN109948590A (zh) * | 2019-04-01 | 2019-06-28 | 启霖世纪（北京）教育科技有限公司 | 姿态问题检测方法及装置 |
| CN110288715A (zh) * | 2019-07-04 | 2019-09-27 | 厦门美图之家科技有限公司 | 虚拟项链试戴方法、装置、电子设备及存储介质 |
| CN110807451A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法、装置、设备及存储介质 |
| US20200103675A1 (en) * | 2017-06-01 | 2020-04-02 | Carl Zeiss Vision International Gmbh | Method, device, and computer program for virtually adjusting a spectacle frame |
| CN111126272A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 姿态获取方法、关键点坐标定位模型的训练方法和装置 |
| CN111161349A (zh) * | 2019-12-12 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 物体姿态估计方法、装置与设备 |
| CN111783662A (zh) * | 2020-06-30 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 姿态估计方法、估计模型训练方法、装置、介质及设备 |
| CN111832648A (zh) * | 2020-07-10 | 2020-10-27 | 北京百度网讯科技有限公司 | 关键点标注方法、装置、电子设备及存储介质 |
| CN111882408A (zh) * | 2020-09-27 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 虚拟试用方法、装置、电子设备及存储设备 |
| CN112232183A (zh) * | 2020-10-14 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质 |
| CN112257582A (zh) * | 2020-10-21 | 2021-01-22 | 北京字跳网络技术有限公司 | 脚部姿态确定方法、装置、设备和计算机可读介质 |
| CN112270242A (zh) * | 2020-10-22 | 2021-01-26 | 北京字跳网络技术有限公司 | 轨迹的显示方法、装置、可读介质和电子设备 |
| CN112784786A (zh) * | 2021-01-29 | 2021-05-11 | 联想(北京)有限公司 | 人体姿态识别方法及装置 |
| CN113191843A (zh) * | 2021-04-28 | 2021-07-30 | 北京市商汤科技开发有限公司 | 模拟服饰试穿方法、装置、电子设备及存储介质 |
| CN113239892A (zh) * | 2021-06-10 | 2021-08-10 | 青岛联合创智科技有限公司 | 一种基于数据增强架构的单目人体三维姿态估计方法 |
| US20210383607A1 (en) * | 2020-06-08 | 2021-12-09 | Beijing Baidu Netcom Science Technology Co., Ltd. | Virtual object driving method, apparatus, electronic device, and readable storage medium |
| US20210407216A1 (en) * | 2020-11-09 | 2021-12-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating three-dimensional virtual image, and storage medium |
| CN114067088A (zh) * | 2021-11-16 | 2022-02-18 | 百果园技术(新加坡)有限公司 | 虚拟穿戴方法、装置、设备、存储介质及程序产品 |
| CN114116081A (zh) * | 2020-08-10 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 交互式动态流体效果处理方法、装置及电子设备 |
| US20220198696A1 (en) * | 2020-12-21 | 2022-06-23 | Jonple Group Limited | System for determining body measurement from images |
| CN114663552A (zh) * | 2022-05-25 | 2022-06-24 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
-
2022
- 2022-06-27 CN CN202210743848.8A patent/CN115937964B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316617A1 (en) * | 2014-10-21 | 2017-11-02 | Samsung Electronics Co., Ltd. | Virtual fitting device and virtual fitting method thereof |
| CN106503671A (zh) * | 2016-11-03 | 2017-03-15 | 厦门中控生物识别信息技术有限公司 | 确定人脸姿态的方法和装置 |
| US20200103675A1 (en) * | 2017-06-01 | 2020-04-02 | Carl Zeiss Vision International Gmbh | Method, device, and computer program for virtually adjusting a spectacle frame |
| CN109948590A (zh) * | 2019-04-01 | 2019-06-28 | 启霖世纪（北京）教育科技有限公司 | 姿态问题检测方法及装置 |
| CN110288715A (zh) * | 2019-07-04 | 2019-09-27 | 厦门美图之家科技有限公司 | 虚拟项链试戴方法、装置、电子设备及存储介质 |
| CN111161349A (zh) * | 2019-12-12 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 物体姿态估计方法、装置与设备 |
| CN111126272A (zh) * | 2019-12-24 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 姿态获取方法、关键点坐标定位模型的训练方法和装置 |
| CN110807451A (zh) * | 2020-01-08 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法、装置、设备及存储介质 |
| US20210383607A1 (en) * | 2020-06-08 | 2021-12-09 | Beijing Baidu Netcom Science Technology Co., Ltd. | Virtual object driving method, apparatus, electronic device, and readable storage medium |
| CN111783662A (zh) * | 2020-06-30 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 姿态估计方法、估计模型训练方法、装置、介质及设备 |
| CN111832648A (zh) * | 2020-07-10 | 2020-10-27 | 北京百度网讯科技有限公司 | 关键点标注方法、装置、电子设备及存储介质 |
| CN114116081A (zh) * | 2020-08-10 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 交互式动态流体效果处理方法、装置及电子设备 |
| CN111882408A (zh) * | 2020-09-27 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 虚拟试用方法、装置、电子设备及存储设备 |
| CN112232183A (zh) * | 2020-10-14 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质 |
| CN112257582A (zh) * | 2020-10-21 | 2021-01-22 | 北京字跳网络技术有限公司 | 脚部姿态确定方法、装置、设备和计算机可读介质 |
| CN112270242A (zh) * | 2020-10-22 | 2021-01-26 | 北京字跳网络技术有限公司 | 轨迹的显示方法、装置、可读介质和电子设备 |
| US20210407216A1 (en) * | 2020-11-09 | 2021-12-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating three-dimensional virtual image, and storage medium |
| US20220198696A1 (en) * | 2020-12-21 | 2022-06-23 | Jonple Group Limited | System for determining body measurement from images |
| CN112784786A (zh) * | 2021-01-29 | 2021-05-11 | 联想(北京)有限公司 | 人体姿态识别方法及装置 |
| CN113191843A (zh) * | 2021-04-28 | 2021-07-30 | 北京市商汤科技开发有限公司 | 模拟服饰试穿方法、装置、电子设备及存储介质 |
| CN113239892A (zh) * | 2021-06-10 | 2021-08-10 | 青岛联合创智科技有限公司 | 一种基于数据增强架构的单目人体三维姿态估计方法 |
| CN114067088A (zh) * | 2021-11-16 | 2022-02-18 | 百果园技术(新加坡)有限公司 | 虚拟穿戴方法、装置、设备、存储介质及程序产品 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
| CN114663552A (zh) * | 2022-05-25 | 2022-06-24 | 武汉纺织大学 | 一种基于2d图像的虚拟试衣方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄奕棋等: ""基于增强现实和人脸姿态估计的虚拟试戴技术"", 《计算机系统应用》, vol. 31, no. 2, pages 335 - 341 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937964B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964049B2 (en) | Method and device for determining pose of camera | |
| US10147192B2 (en) | Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination | |
| JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
| Li et al. | Dual-feature warping-based motion model estimation | |
| JP2021192250A (ja) | 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム | |
| WO2018112788A1 (zh) | 图像处理方法及设备 | |
| US9437011B2 (en) | Method and apparatus for estimating a pose of a head for a person | |
| CN110827376A (zh) | 增强现实多平面模型动画交互方法、装置、设备及存储介质 | |
| JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
| US11403781B2 (en) | Methods and systems for intra-capture camera calibration | |
| CN111815768B (zh) | 三维人脸重建方法和装置 | |
| Ling et al. | A feedback-based robust video stabilization method for traffic videos | |
| Lao et al. | Rolling shutter homography and its applications | |
| JP4938748B2 (ja) | 画像認識装置及びプログラム | |
| TW202016691A (zh) | 移動設備和相關視訊編輯方法 | |
| CN109741399A (zh) | 基于旋转拍摄的预计算相机标定方法 | |
| Prasad et al. | A robust head pose estimation system for uncalibrated monocular videos | |
| Tarko et al. | Real-time virtual object insertion for moving 360 videos | |
| Sweeney et al. | Structure from motion for panorama-style videos | |
| CN112598807A (zh) | 人脸关键点检测模型的训练方法、装置、计算机设备及存储介质 | |
| JP3940690B2 (ja) | 画像処理装置及びその方法 | |
| CN115937964B (zh) | 姿态估计的方法、装置、设备和存储介质 | |
| CN115665361A (zh) | 虚拟环境中的视频融合方法和在线视频会议通信方法 | |
| CN109741245A (zh) | 平面信息的插入方法及装置 | |
| Li et al. | Reference-guided landmark image inpainting with deep feature matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |