CN115082604A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115082604A
CN115082604A CN202210797502.6A CN202210797502A CN115082604A CN 115082604 A CN115082604 A CN 115082604A CN 202210797502 A CN202210797502 A CN 202210797502A CN 115082604 A CN115082604 A CN 115082604A
Authority
CN
China
Prior art keywords
finger
information
wrist
point
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210797502.6A
Other languages
English (en)
Inventor
王思元
李亦彤
徐力有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210797502.6A priority Critical patent/CN115082604A/zh
Publication of CN115082604A publication Critical patent/CN115082604A/zh
Priority to PCT/CN2022/129443 priority patent/WO2024007496A1/zh
Priority to EP22854407.8A priority patent/EP4325435A4/en
Priority to US18/022,455 priority patent/US20240193804A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，该方法包括：确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。本公开实施例实现了在不穿模的情况下，提高目标部位于显示界面中显示的真实性，进而提高用户体验度的效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
无论是动画重定向，还是人工智能肢体识别，可能会存在将一组动画数据从一套骨骼模型迁移到另外一套骨骼模型上进行显示。
在两套骨骼模型差异较大的情形下，例如，骨骼模型尺寸差异较大、姿态差异较大，会存在迁移后的显示画面出现明显穿模现象。尤其是对于骨骼点较多的骨骼模型来说，此类问题尤为明显，导致动画显示效果不佳以及真实性较差的问题，甚至会影响用户体验度。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以实现在不穿模的情况下，提高目标部位于显示界面中显示的真实性，进而提高用户体验度的效果。
第一方面，本公开实施例提供了一种图像处理方法，该方法包括：
确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；
根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；
依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；
基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
第二方面，本公开实施例还提供了一种图像处理装置，该装置包括：
骨骼链确定模块，用于确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；
腕部确定模块，用于根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；
指部确定模块，用于依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；
显示模块，用于基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例中任一所述的图像处理方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例中任一所述的图像处理方法。
本公开实施例的技术方案，在确定需要骨骼重定位时，可以将接入动画中的待配准骨骼链中的待配准腕部骨骼点，与预设骨骼链中的预设腕部骨骼点配准，得到待配准腕部骨骼点的腕部状态信息，在确定腕部状态信息的基础上，可以依次根据预设骨骼链中各预设指部骨骼点，以及配准指部骨骼点的位姿信息，确定各待配准指部骨骼点的指部状态信息，进而基于腕部状态信息和指部状态信息，调整目标部位与待处理视频帧中的显示信息，解决了目标部位的动画数据迁移时容易穿模的问题，以及目标部位的显示效果较差、真实性较差的问题，实现了在不穿模的情况下，提高目标部位于显示界面中显示的真实性，进而提高用户体验度的效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种图像处理方法的流程示意图；
图2为本公开实施例所提供的一种待配准骨骼链的示意图；
图3为本公开实施例所提供的一种预设骨骼链的示意图；
图4为本公开实施例所提供的一种胳膊骨骼链调整示意图；
图5为本公开实施例所提供的另一种图像处理方法的流程示意图；
图6为本公开实施例所提供的一种待配准腕部骨骼点和与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的示意图；
图7为本公开实施例所提供的一种预设腕部骨骼点和与预设腕部骨骼点直接关联的至少一个预设指部骨骼点的示意图；
图8为本公开实施例所提供的另一种图像处理方法的流程示意图；
图9为本公开实施例所提供的一种待配准指部骨骼点旋转前的示意图；
图10为本公开实施例所提供的一种待配准指部骨骼点旋转后的示意图；
图11为本公开实施例所提供的一种图像处理装置的结构示意图；
图12为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
在介绍本技术方案之前，可以先对应用场景进行示例性说明。可以将本公开技术方案应用在显示界面中存在肢体动画的场景，例如：动画重定向、人工智能肢体识别等。肢体动画可以通过显示界面上显示的按键来触发，也可以通过目标对象的目标部位预设的连续运动过程来触发。例如：在游戏中，用户通过按键或触摸等方式控制显示界面中的目标角色释放技能，可以令目标角色的目标部位产生运动以展示技能特效，此时，在显示界面中显示肢体动画时，可以采用本公开实施例所提供的方案，以实现骨骼部位重定位的效果。也就是说，只要在显示界面中存在肢体动画的动画数据迁移，如图像显示、视频显示、直播显示等场景中存在手部或脚部的动画数据迁移，均可以采用本公开实施例所提供的技术方案来进行渲染和显示，以提高显示效果。若骨骼模型中存在骨骼点相互依赖的目标部位，例如：目标部位可以是手部或脚部等，则可以使用本公开实施例的技术方案来进行动画数据迁移。执行本公开实施例提供的图像处理方法的装置，可以集成在具有图像处理功能的应用软件中，且该软件可以安装至电子设备中，可选的，电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现图像/视频处理即可。
图1为本公开实施例所提供的一种图像处理方法的流程示意图，本公开实施例适用于对待处理视频帧中的目标部位进行处理和显示的情形，该方法可以由图像处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
如图1所示，所述方法包括：
S110、确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链。
其中，待处理视频帧可以是包含目标部位的视频中的视频帧。目标部位可以是包含腕部和指部的部位，例如可以是手部或脚部。待配准骨骼链可以是目标部位的初始的待进行配准的骨骼模型，如图2所示。待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，待配准腕部骨骼点可以是待配准骨骼链中与腕部对应的骨骼点，如图2中的Root’，待配准指部骨骼点可以是待配准骨骼链中与指部对应的骨骼点，如图2中除Root’之外的骨骼点。预设骨骼链可以是目标部位待配准成为的骨骼模型，如图3所示。预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点，预设腕部骨骼点可以是预设骨骼链中与腕部对应的骨骼点，如图3中的Root，预设指部骨骼点可以是预设骨骼链中与指部对应的骨骼点，如图3中除Root之外的骨骼点。
具体的，可以获取待处理视频帧，可以确定待处理视频帧中的目标部位。据此，根据待处理视频帧中的目标部位可以提取待配准骨骼链，并且根据目标部位对应的动作可以确定目标部位对应的预设骨骼链。
需要说明的是，预设骨骼链可以是预先设置的与不同目标部位的动作对应的骨骼链，通过本公开实施例能够将待配准骨骼链配准至预设骨骼链对应的位姿，即按照预设骨骼链进行渲染和显示以完成目标部位的动作。
S120、根据待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定待配准腕部骨骼点的腕部状态信息。
其中，第一位姿信息可以是待配准腕部骨骼点的位置信息和姿态信息。第二位姿信息可以是预设腕部骨骼点的位置信息和姿态信息。腕部状态信息可以是用于表示腕部骨骼点配准结果的信息，腕部状态信息包括腕部旋转信息和腕部位姿信息，腕部旋转信息可以用于表示坐标旋转变换，可以用腕部旋转矩阵表示，腕部位姿信息可以包括位置信息和姿态信息。
具体的，由于在全局坐标系下，待配准腕部骨骼点的第一位姿信息与预设腕部骨骼点的第二位姿信息不同，因此，需要将二者进行对齐。可以根据待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息进行对齐处理，确定待配准腕部骨骼点配准所需的腕部状态信息，即转换待配准腕部的位姿所需的信息。
示例性的，基于待配准腕部骨骼点可以建立一个待配准局部坐标系，基于预设腕部骨骼点可以建立一个预设局部坐标系，确定坐标系转换所对应的腕部旋转信息，并可以确定待配准腕部骨骼点的转换至预设腕部骨骼点所需的腕部位姿信息，进而，将腕部旋转信息以及腕部位姿信息作为腕部状态信息。
S130、依据腕部状态信息、待配准指部骨骼点的第三位姿信息以及预设指部骨骼点的第四位姿信息，确定待配准指部骨骼点的指部状态信息。
其中，第三位姿信息可以是待配准指部骨骼点的位置信息和姿态信息。第四位姿信息可以是预设指部骨骼点的位置信息和姿态信息。指部状态信息可以是用于表示指部骨骼点配准结果的信息，指部状态信息包括指部旋转信息和指部位姿信息，指部旋转信息可以用指部旋转矩阵表示，指部位姿信息可以包括位置信息和姿态信息。
具体的，由于指部骨骼点与腕部骨骼点和/或指部骨骼点相依赖，并且，每一指部骨骼点都会与腕部骨骼点相依赖，可以是直接依赖或间接依赖。因此，可以根据腕部状态信息、待配准指部骨骼点的第三位姿信息以及预设指部骨骼点的第四位姿信息进行对齐处理，确定待配准指部骨骼点的指部状态信息，即转换待配准指部的位姿所需的信息。
S140、基于腕部状态信息和指部状态信息，在待处理视频帧中显示目标部位。
具体的，根据腕部状态信息和指部状态信息可以对待配准骨骼链进行处理，以将待配准骨骼链处理为目标部位，并渲染在待处理视频帧中，以将目标部位按照预设骨骼链的位姿信息，准确显示在待处理视频帧中。
在上述示例的基础上，为了提高目标部位显示效果的真实性和准确性，可以基于腕部状态信息和指部状态信息，调整目标部位中各骨骼点在于显示界面中的显示位置和显示姿态，得到与待处理视频帧相对应的目标视频帧。
其中，显示位置可以用于描述位置的信息，例如可以是骨骼点在显示界面中的位置坐标信息等。显示姿态可以是用于描述姿态的信息，例如可以是骨骼点在显示页面中的与各坐标轴的夹角信息等。目标视频帧可以是待处理视频帧中目标部位处理后得到的视频帧。
具体的，在获取腕部状态信息和指部状态信息之后，可以根据腕部状态信息对待处理视频帧中目标部位的腕部骨骼点进行调整，并根据指部状态信息对待处理视频帧中目标部位的指部骨骼点进行调整，以确定目标部位中各骨骼点的显示位置和显示姿态，并基于显示位置和显示姿态将目标部位的各骨骼点渲染至显示界面中，将该视频帧作为目标视频帧。
需要说明的是，在调整目标部位中各骨骼点在于显示界面中的显示位置和显示姿态的过程中，可以目标部位的骨骼链添加蒙皮效果，以使目标部位的显示更接近皮肤，提高显示效果。
在上述示例的基础上，为了提高目标部位的显示效果，使视觉效果提升，避免显示失真，可以通过下述方式来显示：
若基于腕部状态信息，确定待配准腕部骨骼点与预设腕部骨骼点的位置偏移量大于预设偏移量阈值，则确定待配准腕部骨骼点所属胳膊骨骼链和/或腿部骨骼链的长度信息；基于长度信息和位置偏移量，调整胳膊骨骼链和/或腿部骨骼链中至少一个骨骼点的显示位置。
其中，位置偏移量可以是待配准腕部骨骼点的位置信息与预设腕部骨骼点的位置信息之间距离。预设偏移量阈值可以是待配准腕部骨骼点能够偏移的最大距离。胳膊骨骼链可以是目标部位为胳膊时所对应的骨骼链。腿部骨骼链可以是目标部位为腿部时所对应的骨骼链。长度信息可以是胳膊骨骼链和/或腿部骨骼链的长度值。
具体的，若基于腕部状态信息，确定待配准腕部骨骼点与预设腕部骨骼点的位置偏移量大于预设偏移量阈值，则表明直接调整待配准腕部骨骼点不能够与预设腕部骨骼点相配准，在这种情况下，可以通过调整待配准腕部骨骼点所属胳膊骨骼链和/或腿部骨骼链中的至少一个骨骼点来实现。可以确定待配准腕部骨骼点所属胳膊骨骼链和/或腿部骨骼链的长度信息，并根据长度信息和位置偏移量调整胳膊骨骼链和/或腿部骨骼链中的至少一个骨骼点的显示位置，例如，可以等比例拉伸确定各骨骼点的显示位置，以使待配准腕部骨骼点能够按照腕部状态信息进行配准。
示例性的，胳膊骨骼链调整示意图如图4所示，W为待配准腕部骨骼点，T为预设腕部骨骼点，由图4中的上图可知，待配准腕部骨骼点与预设腕部骨骼点的位置偏移量大于预设偏移量阈值，即待配准腕部骨骼点无法达到预设腕部骨骼点。因此，将胳膊骨骼链U-L-W进行拉长，可以根据胳膊上臂U-L的长度信息，胳膊下臂L-W的长度信息，进行等比拉长，以修正L和W的显示位置，如图4下图所示，使得待配准腕部骨骼点W能够与预设腕部骨骼点T进行配准。
本公开实施例的技术方案，在确定需要骨骼重定位时，可以将接入动画中的待配准骨骼链中的待配准腕部骨骼点，与预设骨骼链中的预设腕部骨骼点配准，得到待配准腕部骨骼点的腕部状态信息，在确定腕部状态信息的基础上，可以依次根据预设骨骼链中各预设指部骨骼点，以及配准指部骨骼点的位姿信息，确定各待配准指部骨骼点的指部状态信息，进而基于腕部状态信息和指部状态信息，调整目标部位与待处理视频帧中的显示信息，解决了目标部位的动画数据迁移时容易穿模的问题，以及目标部位的显示效果较差、真实性较差的问题，实现了在不穿模的情况下，提高目标部位于显示界面中显示的真实性，进而提高用户体验度的效果。
图5为本公开实施例所提供的另一种图像处理方法的流程示意图，在前述实施例的基础上，可以先确定待配准腕部骨骼点的腕部状态信息，其具体实施方式可以参见本技术方案的详细阐述。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图5所示，所述方法包括：
S210、确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链。
S220、根据待配准腕部骨骼点的第一位姿信息和与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息，确定第一旋转信息。
其中，第三位姿信息可以是与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的位置信息和姿态信息。第一旋转信息可以是待配准腕部骨骼点对应的旋转信息，可以是旋转矩阵或者是四元数等形式。
具体的，可以确定与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点，可以理解为以待配准腕部骨骼点为起点向各指尖方向延伸，各延伸方向上的第一个待配准指部骨骼点为直接关联的待配准指部骨骼点，例如图2中Root’为待配准腕部骨骼点，U’、P’、K’、F’以及A’均为与待配准腕部骨骼点直接关联的待配准指部骨骼点。根据待配准腕部骨骼点的第一位姿信息和与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息可以确定待配准腕部骨骼点对应的旋转矩阵，并根据旋转矩阵确定第一旋转信息。
在上述示例的基础上，若至少一个待配准指部骨骼点包括第一待配准指部骨骼点和第二待配准指部骨骼点，可以通过下述方式来更快速且准确的确定第一旋转信息：
基于第一位姿信息和第一待配准指部骨骼点的位姿信息，确定第一向量；基于第一位姿信息和第二待配准指部骨骼点的位姿信息，确定第二向量；基于第一向量和第二向量，确定第一旋转信息。
其中，第一向量可以是待配准腕部骨骼点指向第一待配准指部骨骼点的向量。第二向量可以是待配准腕部骨骼点指向第二待配准指部骨骼点的向量。需要说明的是，第一待配准指部骨骼点和第二待配准指部骨骼点为与待配准腕部骨骼点直接关联的待配准指部骨骼点中的任意两个，在本实施例中不做具体限定。
具体的，根据第一位姿信息中的位置信息和第一待配准指部骨骼点的位姿信息中的位置信息，可以确定待配准腕部骨骼点指向第一待配准指部骨骼点的向量为第一向量。根据第一位姿信息中的位置信息和第二待配准指部骨骼点的位姿信息中的位置信息，可以确定待配准腕部骨骼点指向第二待配准指部骨骼点的向量为第二向量。根据第一向量和第二向量进行叉乘，可以得到与第一向量和第二向量都垂直的第一垂直向量，基于第一向量和第二向量中的任意一个和第一垂直向量进行叉乘，得到第二垂直向量。进而，根据第一垂直向量、第二垂直向量以及与第二垂直向量相对应的向量(第一向量或第二向量)，构建旋转矩阵，可以将旋转矩阵作为第一旋转信息，还可以将旋转矩阵变换为四元数，将四元数作为第一旋转信息。
示例性的，如图6所示的待配准腕部骨骼点和与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的示意图，其中，待配准腕部骨骼点为O’，与待配准腕部骨骼点直接关联的待配准指部骨骼点为A’、B’、C’、D’以及E’。以待配准指部骨骼点C’为第一待配准指部骨骼点，以待配准指部骨骼点B’为第二待配准指部骨骼点，可以确定第一向量为O’C’，第二向量为O’B’。第一垂直向量up’＝O’C’×O’B’，选择第一向量O’C’来确定第二垂直向量，记forward’＝O’C’，第二垂直向量left’＝up’×forward’。进而，根据left’、up’以及forward’可以确定旋转矩阵，并转换旋转矩阵得到四元数q’，即为第一旋转信息。
S230、根据预设腕部骨骼点的第二位姿信息和与预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息，确定第二旋转信息。
其中，第四位姿信息可以是与预设腕部骨骼点直接关联的至少一个预设指部骨骼点的位置信息和姿态信息。第二旋转信息可以是预设腕部骨骼点对应的旋转信息，可以是旋转矩阵或者是四元数等形式。
具体的，可以确定与预设腕部骨骼点直接关联的至少一个预设指部骨骼点，可以理解为以预设腕部骨骼点为起点向各指尖方向延伸，各延伸方向上的第一个预设指部骨骼点为直接关联的预设指部骨骼点，例如图3中Root为预设腕部骨骼点，V、Q、L、G以及A均为与预设腕部骨骼点直接关联的预设指部骨骼点。根据预设腕部骨骼点的第二位姿信息和与预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息可以确定预设腕部骨骼点对应的旋转矩阵，并根据旋转矩阵确定第二旋转信息。
在上述示例的基础上，若至少一个预设指部骨骼点包括第一预设指部骨骼点和第二预设指部骨骼点，可以通过下述方式来更快速且准确的确定第二旋转信息：
基于第二位姿信息和第一预设指部骨骼点的位姿信息，确定第三向量；基于第二位姿信息和第二预设指部骨骼点的位姿信息，确定第四向量；基于第三向量和第四向量，确定第二旋转信息。
其中，第三向量可以是预设腕部骨骼点指向第一预设指部骨骼点的向量。第四向量可以是预设腕部骨骼点指向第二预设指部骨骼点的向量。需要说明的是，第一预设指部骨骼点和第二预设指部骨骼点为与预设腕部骨骼点直接关联的预设指部骨骼点中的任意两个，在本实施例中不做具体限定。
具体的，根据第二位姿信息中的位置信息和第一与指部骨骼点的位姿信息中的位置信息，可以确定预设腕部骨骼点指向第一预设指部骨骼点的向量为第三向量。根据第二位姿信息中的位置信息和第二预设指部骨骼点的位姿信息中的位置信息，可以确定预设腕部骨骼点指向第二预设指部骨骼点的向量为第四向量。根据第三向量和第四向量进行叉乘，可以得到与第三向量和第四向量都垂直的第三垂直向量，基于第三向量和第四向量中的任意一个和第三垂直向量进行叉乘，得到第四垂直向量。进而，根据第三垂直向量、第四垂直向量以及与第四垂直向量相对应的向量(第三向量或第四向量)，构建旋转矩阵，可以将旋转矩阵作为第二旋转信息，还可以将旋转矩阵变换为四元数，将四元数作为第二旋转信息。
示例性的，如图7所示的预设腕部骨骼点和与预设腕部骨骼点直接关联的至少一个预设指部骨骼点的示意图，其中，预设腕部骨骼点为O，与预设腕部骨骼点直接关联的预设指部骨骼点为A、B、C、D以及E。以预设指部骨骼点C为第一预设指部骨骼点，以预设指部骨骼点B为第二预设指部骨骼点，可以确定第三向量为OC，第四向量为OB。第三垂直向量up＝OC×OB，选择第三向量OC来确定第四垂直向量，记forward＝OC，第四垂直向量left＝up×forward。进而，根据left、up以及forward可以确定旋转矩阵，并转换旋转矩阵得到四元数q，即为第二旋转信息。
S240、基于第一旋转信息和第二旋转信息，确定待配准腕部骨骼点的腕部状态信息。
具体的，根据第一旋转信息和第二旋转信息可以将待配准腕部骨骼点按照预设腕部骨骼点进行配准，将配准后的信息作为待配准腕部骨骼点的腕部状态信息。
在上述示例的基础上，为了更加准确且快速的确定腕部状态信息，可以引入对齐变换矩阵来进行处理，具体可以是：
根据第二旋转信息和第一旋转信息的逆，确定对齐变换矩阵；
基于对齐变换矩阵和待配准腕部骨骼点的第一位姿信息，确定腕部状态信息。
其中，对齐变换矩阵可以是将待配准腕部骨骼点与预设腕部骨骼点进行对齐的旋转变换矩阵。
具体的，将第二旋转信息与第一旋转信息的逆相乘得到对齐变换矩阵。根据对齐变换矩阵对第一位姿信息进行处理，可以得到腕部位姿信息中的位置信息和姿态信息。
示例性的，若第一旋转信息为q’，第二旋转信息为q，则对齐变换矩阵r为r＝q*Inverse(q’)，其中，Inverse(·)表示逆运算。
在上述示例的基础上，为了更准确的将待配准腕部骨骼点与预设腕部骨骼点进行位置对齐，可以通过下述方式来基于对齐变换矩阵和待配准腕部骨骼点的第一位姿信息，确定腕部状态信息中的腕部位姿信息：
基于第二位姿信息中的位置信息，确定腕部位姿信息中的位置信息；基于对齐变换矩阵和第一位姿信息中的位置信息，确定腕部位姿信息中的姿态信息。
具体的，将第二位姿信息中的位置信息确定为腕部位姿信息中的位置信息。将第一位姿信息中的位置信息与对齐变换矩阵相乘，得到腕部位姿信息中的姿态信息。
示例性的，若第二位姿信息中的位置信息为Op，则腕部位姿信息中的位置信息O’p＝Op。若第一位姿信息中的位置信息为Or，对齐变换矩阵为r，则腕部状态信息中的腕部位姿信息O’r＝Or*r。
通过S220-S240，可以准确且快速的确定第一旋转信息和第二旋转信息，以将待配准腕部骨骼点和预设腕部骨骼点进行统一，提高了腕部骨骼点的配准效率。
S250、依据腕部状态信息、待配准指部骨骼点的第三位姿信息以及预设指部骨骼点的第四位姿信息，确定待配准指部骨骼点的指部状态信息。
S260、基于腕部状态信息和指部状态信息，在待处理视频帧中显示目标部位。
本公开实施例的技术方案，通过确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链，根据待配准腕部骨骼点的第一位姿信息和与待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息，确定第一旋转信息，根据预设腕部骨骼点的第二位姿信息和与预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息，确定第二旋转信息，基于第一旋转信息和第二旋转信息，确定待配准腕部骨骼点的腕部状态信息，以将待配准腕部骨骼点按照预设腕部骨骼点进行配准，依据腕部状态信息、待配准指部骨骼点的第三位姿信息以及预设指部骨骼点的第四位姿信息，确定待配准指部骨骼点的指部状态信息，基于腕部状态信息和指部状态信息，在待处理视频帧中显示目标部位，解决了目标部位中腕部动画数据迁移时由于穿模现象导致的显示效果较差以及真实性较差的问题，实现了在不穿模的情况下提高目标部位中腕部的显示效果以及真实性，进而提高用户体验度的效果。
图8为本公开实施例所提供的另一种图像处理方法的流程示意图，在确定待配准腕部骨骼点的腕部状态信息的基础上，可以依次确定各待配准指部骨骼点的指部状态信息，其具体实施方式可以参见本技术方案的详细阐述。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图8所示，所述方法包括：
S301、确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链。
S302、根据待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定待配准腕部骨骼点的腕部状态信息。
S303、调取预先设置的待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息，以及预设腕部骨骼点和预设指部骨骼点的第二依赖信息。
其中，依赖信息可以是用于描述各指部骨骼点直接依赖的指部骨骼点或腕部骨骼点的信息。依赖信息包括骨骼链中位于同一分支上至少一个指部骨骼点所直接依赖的指部骨骼点或腕部骨骼点。第一依赖信息与待配准骨骼链相对应，第二依赖信息与预设骨骼链相对应。
具体的，可以按照待配准骨骼链中的待配准腕部骨骼点以及各待配准指部骨骼点的连接信息，可以设置待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息。还可以按照预设骨骼链中的预设腕部骨骼点以及各预设指部骨骼点的连接信息，可以设置预设腕部骨骼点和预设指部骨骼点的第二依赖信息。为了后续骨骼点配准，可以调取第一依赖信息和第二依赖信息。
需要说明的是，指部骨骼点对应的依赖信息为由该指部骨骼点向腕部延伸，将延伸方向上与该指部骨骼点相邻的指部骨骼点或腕部骨骼点作为依赖信息。
示例性的，如图2所示的待配准骨骼链，以分支Root’-U’-V’-W’-X’-Y’为例，待配准指部骨骼点U’直接依赖的是待配准腕部骨骼点Root’，即U’的第一依赖信息为Root’；待配准指部骨骼点V’直接依赖的是待配准指部骨骼点U’，即V’的第一依赖信息为U’；按照同样方式可以确定其他待配准指部骨骼点对应的第一依赖信息，以得到待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息。如图3所示的预设骨骼链，以分支Root-V-W-X-Y为例，预设指部骨骼点V直接依赖的是预设腕部骨骼点Root，即V的第二依赖信息为Root；预设指部骨骼点W直接依赖的是预设指部骨骼点V，即W的第二依赖信息为V；按照同样方式可以确定其他预设指部骨骼点对应的第二依赖信息，以得到预设腕部骨骼点和预设指部骨骼点的第二依赖信息。
S304、依据第一依赖信息和第二依赖信息，确定对待配准指部骨骼点和预设指部骨骼点的处理优先级，以基于处理优先级依次确定待配准指部骨骼点的指部状态信息。
其中，处理优先级可以是按照依赖信息确定的优先级，以任一骨骼点为例，该骨骼点的优先级低于该骨骼点对应的依赖信息的优先级。
具体的，可以按照第一依赖信息确定各待配准指部骨骼点的处理优先级，按照第二依赖信息确定各预设指部骨骼点的处理优先级。
示例性的，如图2所示，以分支Root’-U’-V’-W’-X’-Y’为例，其中，待配准指部骨骼点的处理优先级由高到低为U’-V’-W’-X’-Y’。如图3所示，以分支Root-V-W-X-Y为例，其中，预设指部骨骼点的处理优先级由高到低为V-W-X-Y。
通过S303-S304可以确定各待配准指部骨骼点的处理优先级以及各预设指部骨骼点的处理优先级，以便于后续根据处理优先级来有序的对待配准指部骨骼点进行配准。
S305、确定至少一个指部骨骼点组。
其中，指部骨骼点组可以是待配准骨骼链与预设骨骼链中对应的指部骨骼点的组合。指部骨骼点组中包括位于相应骨骼链分支且处理优先级相同的预设指部骨骼点和待配准指部骨骼点。
示例性的，如图2和图3所示，待配准骨骼链中的分支Root’-A’-B’-C’-D’-E’与预设骨骼链中的分支Root-A-B-C-D-E相对应。其中，预设指部骨骼点A和待配准指部骨骼点A’的处理优先级相同，可以将预设指部骨骼点A和待配准指部骨骼点A’作为一个指部骨骼点组，其他指部骨骼点组可以按照上述相同方式确定。
S306、对于至少一个指部骨骼点组，根据处理优先级，确定当前指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组。
其中，前依赖骨骼点组可以是被当前指部骨骼点组所依赖的腕部骨骼点组或指部骨骼点组。后依赖骨骼点组可以是依赖当前指部骨骼点组的指部骨骼点组。前依赖骨骼点组包括腕部骨骼点组或指部骨骼点组。后依赖骨骼点组包括指部骨骼点组。可以理解的是，后依赖骨骼点组直接依赖当前指部骨骼点组，当前指部骨骼点组直接依赖前依赖骨骼点组。
具体的，针对每一个指部骨骼点组，可以将该指部骨骼点组作为当前指部骨骼点组，并使用相同的方式确定当前指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组。根据处理优先级，确定直接依赖当前指部骨骼点组的指部骨骼点组为后依赖骨骼点组，确定被当前指部骨骼点组直接依赖的指部骨骼点组或腕部骨骼点组为前依赖骨骼点组。
示例性的，如图2和图3所示，以预设指部骨骼点A和待配准指部骨骼点A’组成的指部骨骼点组作为当前指部骨骼点组，根据处理优先级，可以确定当前指部骨骼点组所依赖的前依赖骨骼点组为预设腕部骨骼点Root和待配准腕部骨骼点Root’组成的腕部骨骼点组，可以确定当前指部骨骼点组所依赖的后依赖骨骼点组为预设腕部骨骼点B和待配准腕部骨骼点B’组成的指部骨骼点组。其他指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组可以按照上述相同方式确定。
S307、判断前依赖骨骼点组为腕部骨骼点组还是指部骨骼点组，若前依赖骨骼点组为腕部骨骼点组，则执行S308；若前依赖骨骼点组为指部骨骼点组，则执行S309。
S308、根据腕部状态信息中的腕部旋转信息、当前指部骨骼点组中的位姿信息以及后依赖骨骼点组中的位姿信息，确定当前指部骨骼点组中待配准指部骨骼点的指部状态信息，并执行S310。
具体的，根据当前指部骨骼点组中的位姿信息以及后依赖骨骼点组中的位姿信息，可以确定当前指部骨骼点组中待配准骨骼点的旋转矩阵。根据该旋转矩阵与腕部旋转信息，可以确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。根据当前指部旋转信息以及腕部旋转信息，可以确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息。进而，将当前指部旋转信息和当前指部位姿信息，确定为当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
S309、根据前依赖骨骼点组中待配准骨骼点的指部状态信息中的目标指部旋转信息、当前指部骨骼点组中的位姿信息以及后依赖骨骼点组的位姿信息，确定当前指部骨骼点组中待配准指部骨骼点的指部状态信息，并执行S310。
具体的，根据当前指部骨骼点组中的位姿信息以及后依赖骨骼点组中的位姿信息，可以确定当前指部骨骼点组中待配准骨骼点的旋转矩阵。根据该旋转矩阵与目标指部旋转信息，可以确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。根据当前指部旋转信息以及目标指部旋转信息，可以确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息。进而，将当前指部旋转信息和当前指部位姿信息，确定为当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
通过S305-S308或S305-S309，可以依次确定待配准骨骼链中各分支中的各待配准指部骨骼点的指部状态信息，以保证各待配准指部骨骼点的指部旋转信息以及指部位姿信息与各预设指部骨骼点准确配准，提高配准的准确率和效率。
在上述示例的基础上，可以通过下述方式来分别确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息和当前指部位姿信息，以确定当前指部骨骼点组中待配准指部骨骼点的指部状态信息，降低确定指部状态信息的复杂度，并提高确定指部状态信息准确度：
根据目标指部旋转信息、当前指部骨骼点组中的第三位姿信息和第四位姿信息、以及后依赖骨骼点组中的第三位姿信息和第四位姿信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
具体的，根据当前指部骨骼点组中的第三位姿信息和后依赖骨骼点组中的第三位姿信息可以确定当前待配准指部骨骼的方向。根据当前指部骨骼点组中的第四位姿信息和后依赖骨骼点组中的第四位姿信息可以确定当前预设指部骨骼的方向。根据当前待配准指部骨骼的方向以及当前预设指部骨骼的方向，可以确定由当前待配准指部骨骼的方向旋转至当前预设指部骨骼的方向所需的旋转矩阵。根据目标指部旋转信息和确定出的旋转矩阵可以确定出当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
基于目标指部旋转信息和当前指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息。
具体的，根据当前指部骨骼点组中的第四位姿信息中的位置信息，可以确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息的位置信息。根据目标指部旋转信息和当前指部旋转信息，可以确定当前指部骨骼点组中待配准骨骼点的姿态信息。将上述确定出的位置信息和姿态信息作为当前指部骨骼点组中待配准骨骼点的当前指部位姿信息。
基于当前指部旋转信息和当前指部位姿信息，确定待配准骨骼点的指部状态信息。
具体的，将当前指部旋转信息和当前指部位姿信息作为待配准骨骼点的指部状态信息。
在上述示例的基础上，可以通过下述方式来确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息，令当前指部旋转信息平滑过渡，以便后续按照当前指部旋转信息显示时的显示效果更具真实性。
根据当前指部骨骼点组中的第三位姿信息和后依赖骨骼点组中的第三位姿信息，确定第三旋转向量；以及，根据当前指部骨骼点组中的第四位姿信息和后依赖骨骼点组中的第四位姿信息，确定第四旋转向量；根据第三旋转向量和第四旋转向量，确定当前指部骨骼点组中的待配准指部骨骼点旋转至相应预设指部骨骼点的旋转矩阵；基于旋转矩阵和目标指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
其中，第三旋转向量可以是当前指部骨骼点组中的待配准指部骨骼点指向后依赖骨骼点组中的待配准指部骨骼点的向量。可以是第四旋转向量当前指部骨骼点组中的预设指部骨骼点指向后依赖骨骼点组中的预设指部骨骼点的向量。
具体的，根据当前指部骨骼点组中的第三位姿信息中的位置信息和后依赖骨骼点组中的第三位姿信息中的位置信息，可以确定当前指部骨骼点组中的待配准指部骨骼点指向后依赖骨骼点组中的待配准指部骨骼点的向量为第三旋转向量。根据当前指部骨骼点组中的第四位姿信息中的位置信息和后依赖骨骼点组中的第四位姿信息中的位置信息，可以确定当前指部骨骼点组中的预设指部骨骼点指向后依赖骨骼点组中的预设指部骨骼点的向量为第四旋转向量。根据第三旋转向量和第四旋转向量可以求出由第三旋转向量的方向旋转到第四旋转向量的方向的旋转四元数，即为旋转矩阵。将目标指部旋转信息的逆与旋转矩阵相乘，可以得到当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
示例性的，待配准指部骨骼点旋转前的示意图如图9所示，其中，R-S-T为预设骨骼链，R’-S’-T’为待配准骨骼链，S’和S表示当前指部骨骼点组，T’和T表示后依赖骨骼点组，R’和R表示前依赖骨骼点组。当前指部骨骼点组中的第三位姿信息中的位置信息为Sp’，后依赖骨骼点组中的第三位姿信息中的位置信息为Tp’，第三旋转向量O＝T’p-S’p。当前指部骨骼点组中的第四位姿信息中的位置信息为Sp，后依赖骨骼点组中的第四位姿信息中的位置信息为Tp，第四旋转向量C＝Tp-Sp。当前指部骨骼点组中的待配准指部骨骼点旋转至相应预设指部骨骼点的旋转矩阵Q＝FromToQuaternion(O,C)，其表示求出O旋转到C的旋转四元数。目标指部旋转信息为R’r，当前指部骨骼点组中待配准骨骼点的当前指部旋转信息S’lr＝Inverse(R’r)*Q。待配准指部骨骼点旋转后的示意图如图10所示。
需要说明的是，若当前指部骨骼点组中待配准骨骼点存在初始旋转S’r，则Q＝FromToQuaternion(O,C)*S’r，即根据旋转矩阵乘以当前指部骨骼点组中待配准骨骼点的初始旋转的结果，更新旋转矩阵。
S310、基于腕部状态信息和指部状态信息，在待处理视频帧中显示目标部位。
本公开实施例的技术方案，通过确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链，根据待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定待配准腕部骨骼点的腕部状态信息，调取预先设置的待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息，以及预设腕部骨骼点和预设指部骨骼点的第二依赖信息，依据第一依赖信息和第二依赖信息，确定对待配准指部骨骼点和预设指部骨骼点的处理优先级，以基于处理优先级依次确定待配准指部骨骼点的指部状态信息，确定至少一个指部骨骼点组，对于至少一个指部骨骼点组，根据处理优先级，确定当前指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组，进而，判断前依赖骨骼点组为腕部骨骼点组还是指部骨骼点组，以根据不同的判断结果分别确定当前指部骨骼点组中待配准指部骨骼点的指部状态信息，基于腕部状态信息和指部状态信息，在待处理视频帧中显示目标部位，解决了目标部位中指部动画数据迁移时由于穿模现象导致的显示效果较差以及真实性较差的问题，实现了在不穿模的情况下提高目标部位中指部的显示效果以及真实性，进而提高用户体验度的效果。
图11为本公开实施例所提供的一种图像处理装置的结构示意图，如图11所示，所述装置包括：骨骼链确定模块410、腕部确定模块420、指部确定模块430以及显示模块440。
其中，骨骼链确定模块410，用于确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；腕部确定模块420，用于根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；指部确定模块430，用于依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；显示模块440，用于基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
可选的，腕部确定模块420，还用于根据所述待配准腕部骨骼点的第一位姿信息和与所述待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息，确定第一旋转信息；根据所述预设腕部骨骼点的第二位姿信息和与所述预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息，确定第二旋转信息；基于所述第一旋转信息和所述第二旋转信息，确定所述待配准腕部骨骼点的腕部状态信息。
可选的，腕部确定模块420，还用于根据所述第二旋转信息和所述第一旋转信息的逆，确定对齐变换矩阵；基于所述对齐变换矩阵和所述待配准腕部骨骼点的第一位姿信息，确定所述腕部状态信息。
可选的，腕部确定模块420，还用于基于第二位姿信息中的位置信息，确定所述腕部位姿信息中的位置信息；基于所述对齐变换矩阵和所述第一位姿信息中的位置信息，确定所述腕部位姿信息中的姿态信息。
可选的，所述装置还包括：依赖处理模块，用于调取预先设置的待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息，以及预设腕部骨骼点和预设指部骨骼点的第二依赖信息；其中，所述依赖信息包括骨骼链中位于同一分支上至少一个指部骨骼点所直接依赖的指部骨骼点或腕部骨骼点；依据所述第一依赖信息和所述第二依赖信息，确定对所述待配准指部骨骼点和所述预设指部骨骼点的处理优先级，以基于所述处理优先级依次确定所述待配准指部骨骼点的指部状态信息。
可选的，指部确定模块430，还用于确定至少一个指部骨骼点组；其中，所述指部骨骼点组中包括位于相应骨骼链分支且所述处理优先级相同的预设指部骨骼点和待配准指部骨骼点；对于所述至少一个指部骨骼点组，根据所述处理优先级，确定当前指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组；其中，所述前依赖骨骼点组包括腕部骨骼点组或指部骨骼点组；若所述前依赖骨骼点组为腕部骨骼点组，则根据所述腕部状态信息中的腕部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组中的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
可选的，指部确定模块430，还用于若所述前依赖骨骼点组为指部骨骼点组，则根据所述前依赖骨骼点组中待配准骨骼点的指部状态信息中的目标指部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
可选的，指部确定模块430，还用于根据所述目标指部旋转信息、所述当前指部骨骼点组中的第三位姿信息和第四位姿信息、以及所述后依赖骨骼点组中的第三位姿信息和第四位姿信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息；基于所述目标指部旋转信息和所述当前指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息；基于所述当前指部旋转信息和所述当前指部位姿信息，确定所述待配准骨骼点的指部状态信息。
可选的，指部确定模块430，还用于根据所述当前指部骨骼点组中的第三位姿信息和所述后依赖骨骼点组中的第三位姿信息，确定第三旋转向量；以及，根据所述当前指部骨骼点组中的第四位姿信息和所述后依赖骨骼点组中的第四位姿信息，确定第四旋转向量；根据所述第三旋转向量和第四旋转向量，确定所述当前指部骨骼点组中的待配准指部骨骼点旋转至相应预设指部骨骼点的旋转矩阵；基于所述旋转矩阵和所述目标指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
可选的，显示模块440，还用于基于所述腕部状态信息和指部状态信息，调整目标部位中各骨骼点在于显示界面中的显示位置和显示姿态，得到与待处理视频帧相对应的目标视频帧。
可选的，所述装置还包括：调整模块，用于若基于所述腕部状态信息，确定所述待配准腕部骨骼点与预设腕部骨骼点的位置偏移量大于预设偏移量阈值，则确定所述待配准腕部骨骼点所属胳膊骨骼链和/或腿部骨骼链的长度信息；基于所述长度信息和所述位置偏移量，调整所述胳膊骨骼链和/或腿部骨骼链中至少一个骨骼点的显示位置。
本公开实施例的技术方案，在确定需要骨骼重定位时，可以将接入动画中的待配准骨骼链中的待配准腕部骨骼点，与预设骨骼链中的预设腕部骨骼点配准，得到待配准腕部骨骼点的腕部状态信息，在确定腕部状态信息的基础上，可以依次根据预设骨骼链中各预设指部骨骼点，以及配准指部骨骼点的位姿信息，确定各待配准指部骨骼点的指部状态信息，进而基于腕部状态信息和指部状态信息，调整目标部位与待处理视频帧中的显示信息，解决了目标部位的动画数据迁移时容易穿模的问题，以及目标部位的显示效果较差、真实性较差的问题，实现了在不穿模的情况下，提高目标部位于显示界面中显示的真实性，进而提高用户体验度的效果。
本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图12为本公开实施例所提供的一种电子设备的结构示意图。下面参考图12，其示出了适于用来实现本公开实施例的电子设备(例如图12中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。编辑/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的图像处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的图像处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，骨骼链确定模块还可以被描述为“获取待配准骨骼链和预设骨骼链的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种图像处理方法，该方法包括：
确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；
根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；
依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；
基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
根据本公开的一个或多个实施例，【示例二】提供了一种图像处理方法，还包括：
可选的，所述根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息，包括：
根据所述待配准腕部骨骼点的第一位姿信息和与所述待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息，确定第一旋转信息；
根据所述预设腕部骨骼点的第二位姿信息和与所述预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息，确定第二旋转信息；
基于所述第一旋转信息和所述第二旋转信息，确定所述待配准腕部骨骼点的腕部状态信息。
根据本公开的一个或多个实施例，【示例三】提供了一种图像处理方法，还包括：
可选的，若所述至少一个待配准指部骨骼点包括第一待配准指部骨骼点和第二待配准指部骨骼点，所述根据所述待配准腕部骨骼点的第一位姿信息和与所述待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息，确定第一旋转信息，包括：
基于所述第一位姿信息和所述第一待配准指部骨骼点的位姿信息，确定第一向量；
基于所述第一位姿信息和所述第二待配准指部骨骼点的位姿信息，确定第二向量；
基于所述第一向量和所述第二向量，确定第一旋转信息。
根据本公开的一个或多个实施例，【示例四】提供了一种图像处理方法，还包括：
可选的，若所述至少一个预设指部骨骼点包括第一预设指部骨骼点和第二预设指部骨骼点，所述根据所述预设腕部骨骼点的第二位姿信息和与所述预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息，确定第二旋转信息，包括：
基于所述第二位姿信息和所述第一预设指部骨骼点的位姿信息，确定第三向量；
基于所述第二位姿信息和所述第二预设指部骨骼点的位姿信息，确定第四向量；
基于所述第三向量和所述第四向量，确定第二旋转信息。
根据本公开的一个或多个实施例，【示例五】提供了一种图像处理方法，还包括：
可选的，所述基于所述第一旋转信息和所述第二旋转信息，确定所述待配准腕部骨骼点的腕部状态信息，包括：
根据所述第二旋转信息和所述第一旋转信息的逆，确定对齐变换矩阵；
基于所述对齐变换矩阵和所述待配准腕部骨骼点的第一位姿信息，确定所述腕部状态信息。
根据本公开的一个或多个实施例，【示例六】提供了一种图像处理方法，还包括：
可选的，基于所述对齐变换矩阵和所述待配准腕部骨骼点的第一位姿信息，确定所述腕部状态信息中的腕部位姿信息，包括：
基于第二位姿信息中的位置信息，确定所述腕部位姿信息中的位置信息；
基于所述对齐变换矩阵和所述第一位姿信息中的位置信息，确定所述腕部位姿信息中的姿态信息。
根据本公开的一个或多个实施例，【示例七】提供了一种图像处理方法，还包括：
可选的，在所述依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息之前，还包括：
调取预先设置的待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息，以及预设腕部骨骼点和预设指部骨骼点的第二依赖信息；其中，所述依赖信息包括骨骼链中位于同一分支上至少一个指部骨骼点所直接依赖的指部骨骼点或腕部骨骼点；
依据所述第一依赖信息和所述第二依赖信息，确定对所述待配准指部骨骼点和所述预设指部骨骼点的处理优先级，以基于所述处理优先级依次确定所述待配准指部骨骼点的指部状态信息。
根据本公开的一个或多个实施例，【示例八】提供了一种图像处理方法，还包括：
可选的，所述依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息，包括：
确定至少一个指部骨骼点组；其中，所述指部骨骼点组中包括位于相应骨骼链分支且所述处理优先级相同的预设指部骨骼点和待配准指部骨骼点；
对于所述至少一个指部骨骼点组，根据所述处理优先级，确定当前指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组；其中，所述前依赖骨骼点组包括腕部骨骼点组或指部骨骼点组；
若所述前依赖骨骼点组为腕部骨骼点组，则根据所述腕部状态信息中的腕部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组中的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
根据本公开的一个或多个实施例，【示例九】提供了一种图像处理方法，还包括：
可选的，还包括：
若所述前依赖骨骼点组为指部骨骼点组，则根据所述前依赖骨骼点组中待配准骨骼点的指部状态信息中的目标指部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
根据本公开的一个或多个实施例，【示例十】提供了一种图像处理方法，还包括：
可选的，所述根据所述前依赖骨骼点组中待配准骨骼点的指部状态信息中的目标指部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息，包括：
根据所述目标指部旋转信息、所述当前指部骨骼点组中的第三位姿信息和第四位姿信息、以及所述后依赖骨骼点组中的第三位姿信息和第四位姿信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息；
基于所述目标指部旋转信息和所述当前指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息；
基于所述当前指部旋转信息和所述当前指部位姿信息，确定所述待配准骨骼点的指部状态信息。
根据本公开的一个或多个实施例，【示例十一】提供了一种图像处理方法，还包括：
可选的，所述根据所述目标指部旋转信息、所述当前指部骨骼点组中的第三位姿信息和第四位姿信息、以及所述后依赖骨骼点组中的第三位姿信息和第四位姿信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息，包括：
根据所述当前指部骨骼点组中的第三位姿信息和所述后依赖骨骼点组中的第三位姿信息，确定第三旋转向量；以及，
根据所述当前指部骨骼点组中的第四位姿信息和所述后依赖骨骼点组中的第四位姿信息，确定第四旋转向量；
根据所述第三旋转向量和第四旋转向量，确定所述当前指部骨骼点组中的待配准指部骨骼点旋转至相应预设指部骨骼点的旋转矩阵；
基于所述旋转矩阵和所述目标指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
根据本公开的一个或多个实施例，【示例十二】提供了一种图像处理方法，还包括：
可选的，所述基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位，包括：
基于所述腕部状态信息和指部状态信息，调整目标部位中各骨骼点在于显示界面中的显示位置和显示姿态，得到与待处理视频帧相对应的目标视频帧。
根据本公开的一个或多个实施例，【示例十三】提供了一种图像处理方法，还包括：
可选的，还包括：
若基于所述腕部状态信息，确定所述待配准腕部骨骼点与预设腕部骨骼点的位置偏移量大于预设偏移量阈值，则确定所述待配准腕部骨骼点所属胳膊骨骼链和/或腿部骨骼链的长度信息；
基于所述长度信息和所述位置偏移量，调整所述胳膊骨骼链和/或腿部骨骼链中至少一个骨骼点的显示位置。
根据本公开的一个或多个实施例，【示例十四】提供了一种图像处理装置，该装置包括：
骨骼链确定模块，用于确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；
腕部确定模块，用于根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；
指部确定模块，用于依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；
显示模块，用于基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；
根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；
依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；
基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息，包括：
根据所述待配准腕部骨骼点的第一位姿信息和与所述待配准腕部骨骼点直接关联的至少一个待配准指部骨骼点的第三位姿信息，确定第一旋转信息；
根据所述预设腕部骨骼点的第二位姿信息和与所述预设腕部骨骼点直接关联的至少一个预设指部骨骼点的第四位姿信息，确定第二旋转信息；
基于所述第一旋转信息和所述第二旋转信息，确定所述待配准腕部骨骼点的腕部状态信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一旋转信息和所述第二旋转信息，确定所述待配准腕部骨骼点的腕部状态信息，包括：
根据所述第二旋转信息和所述第一旋转信息的逆，确定对齐变换矩阵；
基于所述对齐变换矩阵和所述待配准腕部骨骼点的第一位姿信息，确定所述腕部状态信息。
4.根据权利要求3所述的方法，其特征在于，基于所述对齐变换矩阵和所述待配准腕部骨骼点的第一位姿信息，确定所述腕部状态信息中的腕部位姿信息，包括：
基于第二位姿信息中的位置信息，确定所述腕部位姿信息中的位置信息；
基于所述对齐变换矩阵和所述第一位姿信息中的位置信息，确定所述腕部位姿信息中的姿态信息。
5.根据权利要求1所述的方法，其特征在于，在所述依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息之前，还包括：
调取预先设置的待配准腕部骨骼点和待配准指部骨骼点的第一依赖信息，以及预设腕部骨骼点和预设指部骨骼点的第二依赖信息；其中，所述依赖信息包括骨骼链中位于同一分支上至少一个指部骨骼点所直接依赖的指部骨骼点或腕部骨骼点；
依据所述第一依赖信息和所述第二依赖信息，确定对所述待配准指部骨骼点和所述预设指部骨骼点的处理优先级，以基于所述处理优先级依次确定所述待配准指部骨骼点的指部状态信息。
6.根据权利要求5所述的方法，其特征在于，所述依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息，包括：
确定至少一个指部骨骼点组；其中，所述指部骨骼点组中包括位于相应骨骼链分支且所述处理优先级相同的预设指部骨骼点和待配准指部骨骼点；
对于所述至少一个指部骨骼点组，根据所述处理优先级，确定当前指部骨骼点组所依赖的前依赖骨骼点组和后依赖骨骼点组；其中，所述前依赖骨骼点组包括腕部骨骼点组或指部骨骼点组；
若所述前依赖骨骼点组为腕部骨骼点组，则根据所述腕部状态信息中的腕部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组中的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
7.根据权利要求6所述的方法，其特征在于，还包括：
若所述前依赖骨骼点组为指部骨骼点组，则根据所述前依赖骨骼点组中待配准骨骼点的指部状态信息中的目标指部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述前依赖骨骼点组中待配准骨骼点的指部状态信息中的目标指部旋转信息、所述当前指部骨骼点组中的位姿信息以及所述后依赖骨骼点组的位姿信息，确定所述当前指部骨骼点组中待配准指部骨骼点的指部状态信息，包括：
根据所述目标指部旋转信息、所述当前指部骨骼点组中的第三位姿信息和第四位姿信息、以及所述后依赖骨骼点组中的第三位姿信息和第四位姿信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息；
基于所述目标指部旋转信息和所述当前指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部位姿信息；
基于所述当前指部旋转信息和所述当前指部位姿信息，确定所述待配准骨骼点的指部状态信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标指部旋转信息、所述当前指部骨骼点组中的第三位姿信息和第四位姿信息、以及所述后依赖骨骼点组中的第三位姿信息和第四位姿信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息，包括：
根据所述当前指部骨骼点组中的第三位姿信息和所述后依赖骨骼点组中的第三位姿信息，确定第三旋转向量；以及，
根据所述当前指部骨骼点组中的第四位姿信息和所述后依赖骨骼点组中的第四位姿信息，确定第四旋转向量；
根据所述第三旋转向量和第四旋转向量，确定所述当前指部骨骼点组中的待配准指部骨骼点旋转至相应预设指部骨骼点的旋转矩阵；
基于所述旋转矩阵和所述目标指部旋转信息，确定当前指部骨骼点组中待配准骨骼点的当前指部旋转信息。
10.根据权利要求1所述的方法，其特征在于，所述基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位，包括：
基于所述腕部状态信息和指部状态信息，调整目标部位中各骨骼点在于显示界面中的显示位置和显示姿态，得到与待处理视频帧相对应的目标视频帧。
11.根据权利要求1所述的方法，其特征在于，还包括：
若基于所述腕部状态信息，确定所述待配准腕部骨骼点与预设腕部骨骼点的位置偏移量大于预设偏移量阈值，则确定所述待配准腕部骨骼点所属胳膊骨骼链和/或腿部骨骼链的长度信息；
基于所述长度信息和所述位置偏移量，调整所述胳膊骨骼链和/或腿部骨骼链中至少一个骨骼点的显示位置。
12.一种图像处理装置，其特征在于，包括：
骨骼链确定模块，用于确定待处理视频帧中目标部位的待配准骨骼链和预设骨骼链；其中，所述待配准骨骼链上包括待配准腕部骨骼点和待配准指部骨骼点，所述预设骨骼链上包括预设腕部骨骼点和预设指部骨骼点；
腕部确定模块，用于根据所述待配准腕部骨骼点的第一位姿信息和预设腕部骨骼点的第二位姿信息，确定所述待配准腕部骨骼点的腕部状态信息；其中，所述腕部状态信息包括腕部旋转信息和腕部位姿信息；
指部确定模块，用于依据所述腕部状态信息、待配准指部骨骼点的第三位姿信息以及所述预设指部骨骼点的第四位姿信息，确定所述待配准指部骨骼点的指部状态信息；其中，所述指部状态信息包括指部旋转信息和指部位姿信息；
显示模块，用于基于所述腕部状态信息和指部状态信息，在所述待处理视频帧中显示所述目标部位。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的图像处理方法。
14.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的图像处理方法。
CN202210797502.6A 2022-07-06 2022-07-06 图像处理方法、装置、电子设备及存储介质 Pending CN115082604A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210797502.6A CN115082604A (zh) 2022-07-06 2022-07-06 图像处理方法、装置、电子设备及存储介质
PCT/CN2022/129443 WO2024007496A1 (zh) 2022-07-06 2022-11-03 图像处理方法、装置、电子设备及存储介质
EP22854407.8A EP4325435A4 (en) 2022-07-06 2022-11-03 IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIUM
US18/022,455 US20240193804A1 (en) 2022-07-06 2022-11-03 Image processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210797502.6A CN115082604A (zh) 2022-07-06 2022-07-06 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115082604A true CN115082604A (zh) 2022-09-20

Family

ID=83258423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210797502.6A Pending CN115082604A (zh) 2022-07-06 2022-07-06 图像处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20240193804A1 (zh)
EP (1) EP4325435A4 (zh)
CN (1) CN115082604A (zh)
WO (1) WO2024007496A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007496A1 (zh) * 2022-07-06 2024-01-11 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709976B (zh) * 2016-12-22 2020-04-24 厦门黑镜科技有限公司 骨骼动画的生成方法和装置
WO2020070812A1 (ja) * 2018-10-03 2020-04-09 株式会社ソニー・インタラクティブエンタテインメント スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
CN111127606B (zh) * 2019-12-25 2024-02-23 北京像素软件科技股份有限公司 柔体飘动方向控制方法、装置及电子设备
CN111223171A (zh) * 2020-01-14 2020-06-02 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN114299200A (zh) * 2021-12-31 2022-04-08 网易（杭州）网络有限公司 布料动画处理方法及装置、电子设备、存储介质
CN115082604A (zh) * 2022-07-06 2022-09-20 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007496A1 (zh) * 2022-07-06 2024-01-11 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20240193804A1 (en) 2024-06-13
WO2024007496A1 (zh) 2024-01-11
EP4325435A1 (en) 2024-02-21
EP4325435A4 (en) 2024-06-12

Similar Documents

Publication Publication Date Title
EP4145835A1 (en) Livestreaming room setup method and apparatus, electronic device, and storage medium
CN110059623B (zh) 用于生成信息的方法和装置
CN112237739A (zh) 游戏角色渲染方法、装置、电子设备及计算机可读介质
US20220358662A1 (en) Image generation method and device
CN114419230A (zh) 一种图像渲染方法、装置、电子设备及存储介质
EP4332904A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN114863214A (zh) 图像生成模型训练、图像生成方法、装置、介质及设备
CN115082604A (zh) 图像处理方法、装置、电子设备及存储介质
CN111292406A (zh) 模型渲染方法、装置、电子设备及介质
CN114331823A (zh) 图像处理方法、装置、电子设备及存储介质
CN110717467A (zh) 头部姿势的估计方法、装置、设备及存储介质
CN112258622B (zh) 图像处理方法、装置、可读介质及电子设备
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN116228952A (zh) 一种虚拟对象挂载方法、装置、设备及介质
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品
CN112068703A (zh) 目标物体的控制方法、装置、电子设备及存储介质
CN115761197A (zh) 图像渲染方法、装置、设备及存储介质
CN116188251A (zh) 模型构建方法、虚拟形象生成方法、装置、设备、介质
US20240220406A1 (en) Collision processing method and apparatus for virtual object, and electronic device and storage medium
CN115760553A (zh) 特效处理方法、装置、设备及存储介质
CN115965520A (zh) 特效道具、特效图的生成方法、装置、设备及存储介质
CN115619904A (zh) 图像处理方法、装置及设备
CN115272060A (zh) 转场特效图的生成方法、装置、设备及存储介质
CN115272145A (zh) 图像处理方法、装置、电子设备及存储介质
CN114866706A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination