CN109407824B - 人体模型的同步运动方法与装置 - Google Patents

人体模型的同步运动方法与装置 Download PDF

Info

Publication number
CN109407824B
CN109407824B CN201811002871.1A CN201811002871A CN109407824B CN 109407824 B CN109407824 B CN 109407824B CN 201811002871 A CN201811002871 A CN 201811002871A CN 109407824 B CN109407824 B CN 109407824B
Authority
CN
China
Prior art keywords
human body
real
information
determining
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811002871.1A
Other languages
English (en)
Other versions
CN109407824A (zh
Inventor
曹逸凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811002871.1A priority Critical patent/CN109407824B/zh
Publication of CN109407824A publication Critical patent/CN109407824A/zh
Priority to US16/511,189 priority patent/US11138743B2/en
Application granted granted Critical
Publication of CN109407824B publication Critical patent/CN109407824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明一种人体模型的同步运动方法与装置，所述的方法，包括：采集真实人体的实时图像；根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化；根据所述尺寸变化信息，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体；根据所述移动信息，改变所述人体模型在所述三维场景中的位置。本发明实现了人体模型与真实人体之间前后的同步移动。

Description

人体模型的同步运动方法与装置
技术领域
本发明涉及人机交互领域，尤其涉及一种人体模型的同步运动方法与装置。
背景技术
在终端与人的交互的部分场景中，需要利用人体模型与真实人体的同步运动，对真实人体进行表征，基于该同步运动，可利用人体模型直观反映真实人体的动作。
现有的相关技术中，为了实现人体模型对真实人体的表征，可利用图像采集部件采集真实人体的实时图像，再利用肢体检测技术确定实时图像中人体部位的位置，进而，根据该人体部位的位置变化，控制人体模型做二维的运动。
然而，若人体相对于图像采集部件的镜头发生前后移动，则人体模型的运动过程无法有效体现出该前后移动。
发明内容
本发明提供一种人体模型的同步运动方法与装置，以解决人体模型的运动过程无法有效体现出该前后移动的问题。
根据本发明的第一方面，提供了人体模型的同步运动方法，包括：
采集真实人体的实时图像；
根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化；
根据所述尺寸变化信息，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体；
根据所述移动信息，改变所述人体模型在所述三维场景中的位置。
可选的，所述根据所述尺寸变化信息，确定移动信息之前，还包括：
确定差距，所述差距用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距；
确定所述差距小于预设的差距阈值。
可选的，所述根据所述尺寸变化信息，确定移动信息，包括：
根据所述至少部分真实人体的长度变化量或宽度变化量，确定所述移动信息。
可选的，若所述差距大于或等于所述差距阈值，所述方法还包括：
在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量；
所述根据所述尺寸变化信息，确定移动信息，包括：
根据所述目标变化量，确定所述移动信息。
可选的，所述在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量之前，还包括：
确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化。
可选的，若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息；
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
可选的，所述采集真实人体的实时图像之后，还包括：
获取第一部位信息，所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化；
根据所述第一部位信息，确定所述三维场景中人体模型的第二部位信息；所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化；
根据所述第二部位信息，变化所述人体模型。
可选的，所述至少部分真实人体为所述真实人体的躯干部分。
可选的，所述人体部位包括以下至少之一：头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
根据本发明的第二方面，提供了一种人体模型的同步运动装置，包括：
采集模块，用于采集真实人体的实时图像；
尺寸变化获取模块，用于根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化；
移动信息确定模块，用于根据所述尺寸变化信息，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体；
位置改变模块，用于根据所述移动信息，改变所述人体模型在所述三维场景中的位置。
可选的，所述的装置，还包括：
差距确定模块，用于确定差距，所述差距用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距；
小于阈值确定模块，用于确定所述差距小于预设的差距阈值。
可选的，所述移动信息确定模块，包括：
第一移动信息确定单元，用于根据所述至少部分真实人体的长度变化量或宽度变化量，确定所述移动信息。
可选的，若所述差距大于或等于所述差距阈值，所述装置还包括：
变化量确定模块，用于在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量；
所述移动信息确定模块，包括：
第二移动信息确定单元，用于根据所述目标变化量，确定所述移动信息。
可选的，所述装置还包括：
脚部移动确定模块，用于确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化。
可选的，若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息；
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
可选的，所述的装置，还包括：
第一部位获取模块，用于获取第一部位信息，所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化；
第二部位确定模块，用于根据所述第一部位信息，确定所述三维场景中人体模型的第二部位信息；所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化；
人体模型变化模块，用于根据所述第二部位信息，变化所述人体模型。
可选的，所述至少部分真实人体为所述真实人体的躯干部分。
可选的，所述人体部位包括以下至少之一：头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
根据本发明的第三方面，提供了一种电子设备，包括存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器配置为经由执行所述可执行指令来执行第一方面及其可选方案涉及的人体模型的同步运动方法。
根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的人体模型的同步运动方法。
本发明提供的人体模型的同步运动方法与装置，通过获取尺寸变化信息，以及根据所述尺寸变化信息，确定移动信息，并根据所述移动信息，改变所述人体模型在所述三维场景中的位置，实现了人体模型与真实人体之间前后的同步移动。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中应用场景的示意图；
图2是本发明一实施例中人体模型的同步运动方法的流程示意图；
图3是本发明另一实施例中人体模型的同步运动方法的流程示意图；
图4是本发明再一实施例中人体模型的同步运动方法的流程示意图；
图5是本发明一实施例中实时图像的示意图；
图6是本发明一实施例中坐标点P的投射示意图；
图7是本发明一实施例中人体模型的示意图；
图8是本发明一实施例中人体模型的同步运动装置的结构示意图；
图9是本发明另一实施例中人体模型的同步运动装置的结构示意图；
图10是本发明再一实施例中人体模型的同步运动装置的结构示意图；
图11是本发明又一实施例中人体模型的同步装置的结构示意图；
图12是本发明一实施例中电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明一实施例中应用场景的示意图。
请参考图1，本发明实施例所涉及的应用场景，可以例如利用图像采集部件101采集真实人体102的实时图像的场景，基于所采集的实时图像，可实现人体模型的同步。
其中，图像采集部件101可以理解为任意可利用光学原理采集图像的部件，其可以为任意终端的图像采集部件101，也可以为终端本身，以上所涉及的终端，可理解为具有存储器与处理器的设备，具体可例如手机、平板电脑、计算机、照相机、摄像机等等。
实时图像，可以理解为任意利用图像采集部件101采集，并能够实时更新的包含真实人体的图像。
图2是本发明一实施例中人体模型的同步运动方法的流程示意图。
请参考图2，人体模型的同步运动方法，包括：
S11：采集真实人体的实时图像。
S12：根据所述实时图像，确定尺寸变化信息。
尺寸变化信息，可以理解为用于表征所述实时图像中至少部分真实人体的尺寸变化；由于尺寸中任意的长度变化、面积变化、角度变化，均可表征出实时图像中真实人体的尺寸变化，故而，采用长度、面积、角度任意至少之一，或者基于以上至少之一进行计算得到的参数，均不脱离所述尺寸变化信息的描述范围。
其中，尺寸变化，可理解为当前时刻的实时图像中真实人体的尺寸与之前一个或多个时刻的实时图像中真实人体的尺寸之间的变化。
S13：根据所述尺寸变化信息，确定移动信息。
移动信息，可以理解为用于表征人体模型沿三维场景的深度方向的位置变化。其中的深度方向也可理解为人体模型前后移动的方向，同时，由于人体模型是用于模拟人体的，故而，人体模型的前后与人体模型的关系，可根据真实人体的前后与真实人体的关系来理解。
人体模型，可理解为用于模拟所述真实人体的模型，其可以为二维或三维的且处于三维场景下的模型。
对于图像采集部件来说，真实人体越靠近镜头，其尺寸就会越大，越远离镜头，其尺寸就会越小，故而，通过尺寸变化，实际表征的是真实人体向前还是向后，以及向前向后的距离，对应的，在将真实人体投射到三维场景下，得到人体模型时，其也会适应于真实人体的前后移动，发生相匹配的前后移动。具体移动的速度、方式等，可根据人体模型的设计，以及三维场景的尺寸定义来确定。
可见，通过以上步骤，可将人体模型的前后移动与真实人体的前后移动相关联，实现人体模型与真实人体之间前后的同步移动。
三维场景，可理解为提供了一个虚拟的三维空间，同时，在三维场景中还需对人体模型进行图像渲染，进而适于实现人体模型的显示。
S14：根据所述移动信息，改变所述人体模型在所述三维场景中的位置。
本实施例提供的人体模型的同步运动方法，通过获取尺寸变化信息，以及根据所述尺寸变化信息，确定移动信息，并根据所述移动信息，改变所述人体模型在所述三维场景中的位置，实现了人体模型与真实人体之间前后的同步移动。
图3是本发明另一实施例中人体模型的同步运动方法的流程示意图；图4是本发明再一实施例中人体模型的同步运动方法的流程示意图。
请参考图3，人体模型的同步运动方法，包括：
S201：采集真实人体的实时图像。
步骤S201所涉及的技术名词、技术特征、技术效果与可选实施方式可参照图1所示应用场景，以及图2所示步骤S11的描述理解，对于相似的内容，在此不再累述。
其中一种实施方式中，实时图像中可仅具有一个真实人体，对应的人体模型也可以仅具有一个，若仅具有一个真实人体和人体模型，可方便且准确地实现人体和肢体的识别，以及同步的运动控制。
其他可选实施方式中，实时图像中也可具有多个真实人体，对应的人体模型可以为一个，该人体模型与多个真实人体中的一个同步，对应的人体模型也可以为多个，每个人体模型与一个真实人体同步。
具体实施方式中，若真实人体的数量为多个，则可通过真实人体的当前位置来区分人体模型需关联哪个真实人体，也可通过真实人体的初始位置来区分人体模型需关联哪个真实人体，还可通过真实人体上设置有的标识来区分人体模型需关联哪个真实人体。其中的关联，可理解为确定哪个真实人体与哪个人体模型同步运动，通过真实人体与人体模型的关联，可避免真实人体为多个时，造成混淆，其中的混淆可理解为不知哪个人体模型与哪个真实人体同步。
S202：根据所述实时图像，确定尺寸变化信息。
步骤S202所涉及的技术名词、技术特征、技术效果与可选实施方式可参照图2所示步骤S12的描述理解，对于相似的内容，在此不再累述。
S203：确定差距。
差距，可以理解为用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距。
图5是本发明一实施例中实时图像的示意图。
其中的长宽比，可例如至少部分真实人体的长度与宽度之间的比值，进一步的，其中的长度，可例如实时图像中该至少部分真实人体的最高点与最低点之间的距离，或为该最高点与最低点之间的高度差；其中的宽度，可例如实时图像中该至少部分真实人体的最左侧点与最右侧点之间的距离，或该最左侧点与最右侧点之间的横向宽度差。
其中，标准长宽比可表征为：
r0＝h0/w0；
其中，r0表示标准长宽比，h0表示标准长度，w0表示标准宽度。
对应的，当前长宽比可表征为：
r1＝h1/w1；
其中，r1表示当前长宽比，h1表示当前长度，w1表示当前宽度。
其中一种实施方式中，标准长宽比可以为至少部分真实人体的初始长宽比；标准长度，可以为至少部分真实人体的初始长度；标准宽度，可以为至少部分真实人体的初始宽度。
至少部分人体，可以为真实人体的任意部分或全部。其中一种实施方式中，至少部分人体可以为人体的躯干部分，躯干部分，可泛指身体，具体可以为人体中无四肢、无颈、无头的部分。部分举例中，躯干部分也可特指满足以上描述的上半身，另部分举例中，躯干部分可满足以上描述的上半身与下半身的整体。
差距，可以理解为用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距，基于以上所表征的公式，其中一种实施方式中，所述差距可以为(r1-r0)。
由于例如躯干部分的至少部分真实人体，在未发生大幅度的人体变化时，其长宽比是保持一致，或在较小的变化区间内变化的，故而，通过以上步骤S203，可以获悉至少部分真实人体是否发生大幅度的人体变化，进而，针对于发生大幅度的人体变化与未发生大幅度的人体变化这两种情况，本实施例可区别对待，进而有利于准确确定尺寸变化，以及移动信息。
以上所描述的大幅度的人体变化，可例如弯腰的人体扭动，在该情况下，由于人体变化幅度较大，二维的实时图像所能表征出的躯干本身的大小并不能真实反映出真实人体的前后运动，例如，在弯腰的情况下，其会导致图像中所看到的躯干部分的尺寸在变小，然而，其并不意味着人体在向前移动，可见，若不区分这种情况，会对尺寸变化与移动信息的确定造成干扰。故而，能够造成干扰的人体变化的幅度，即为前文所涉及的大幅度的人体变化。
S204：所述差距是否小于预设的差距阈值。
若小于，则认为例如躯干部分的至少部分真实人体并未发生前文所提及的大幅度的人体变化，此时，其躯干部分在二维的实时图像中的尺寸变化可表征出真实人体的前后移动。
同时，由于其长宽比的变化不大，利用当前长度或当前宽度，均可适用于表征躯干部分的尺寸变化，故而，若步骤S204的判断结果为是，则可实施步骤S207：根据所述尺寸变化信息，确定移动信息。此时，步骤S207具体可以为：根据所述至少部分真实人体的长度变化量或宽度变化量，确定所述移动信息。
若步骤S204的判断结果为否，可先实施步骤S205与步骤S206，再实施步骤S207。即若所述差距大于或等于所述差距阈值，则先实施步骤S205与步骤S206，再实施步骤S207。
S205：确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化。
如前文提到的，在例如躯干部分的至少部分真实人体发生了大幅度人体变化时，由于尺寸变化并不意味着移动，故而，需要实施步骤S205，进而利用真实人体的脚部的位置变化辅助判断是否发生了移动。
S206：在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量。
在该情况下，步骤S207具体为：根据所述目标变化量，确定所述移动信息。
具体实施过程中，若标准长宽比为初始长宽比，且至少部分真实人体为躯干部分，则在第一次获取真实人体的实时图像时，可指引用户保持人体以正常姿态站立，且躯干部位无遮挡。此时获取躯干部分的长与宽，计算长宽比，作为正常的长宽比情况，即标准长宽比。当获取后续的真实人体的实时图像时，计算当前的长宽比，进行躯干长宽比比较，如果长宽比的变化在正常范围之内，即差距小于差距阈值，则可进行躯干部分的绝对长度的比较，该绝对长度指的是长度或宽度，如果绝对长度比标准长度大，则说明真实人体在向前移动，反之，则说明人体在向后移动。同时，还可通过数学函数，基于以上逻辑实现平滑的处理。
此外，步骤S207所涉及的技术名词、技术特征、技术效果与可选实施方式可参照图2所示步骤S13的描述理解，对于相似的内容，在此不再累述。
S208：根据所述移动信息，改变所述人体模型在所述三维场景中的位置。
图6是本发明一实施例中坐标点P的投射示意图。
请参考图6，步骤S208可以结合至对位置的投射，位置投射主要依靠三个参数，包括实时图像中的坐标点位置(X，Y)与投射深度depth。
如图6所示，一个实时图像中的二维坐标点P，首先被分别投射到近视口与远视口上，分别产生两个三维点P1与P2。然后通过投射深度depth与P1与P2各自的深度，确定出最终的点位置Pr。
在获取实时图像的开始，可以设定一个指定的初始的投射深度，并通过该投射深度产生初始位置。当人体前后移动时，基于之前已确定出的人体前后移动的一个系数值，即移动信息，通过投射深度与该系数值综合计算的方式，可在初始的投射深度的基础上改变投射深度。
例如，当人体向前移动，躯干比例放大，系数值变大，人体模型定位计算时，可利用改变后的投射深度除以系数值，使其投射深度变小，此时，人体模型会靠近近视口，进而导致人体模型向前移动变大，反之也是一样，故而，可制造真实人体前后移动，人体模型前后移动的效果。
从中可以看到：
若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息；
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
图7是本发明一实施例中人体模型的示意图。
请参考图4，并结合图7，步骤S201之后，还可包括：
S209：获取第一部位信息。
第一部位信息，可以理解为用于表征所述实时图像中真实人体的人体部位的位置变化，具体可以包括表征当前人体部位的信息，进而通过当前人体部位的信息与前一时刻的人体部位的信息，可体现出位置变化。
其中一种实施方式中，第一部位信息可包括实时图像中真实人体的人体部位的坐标集合，或者人体部位的真实部位点的坐标，该真实部位点可理解为根据人体部位确定的，例如，对于人的头部，可定义其中心点为对应的真实部位点，也可基于预设的置信度信息确定。
S210：根据所述第一部位信息，确定所述三维场景中人体模型的第二部位信息。
第二部位信息，可以理解为用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化；具体可以包括表征模型部位点当前位置的信息，进而通过当前模型部位点的信息与前一时刻的模型部位点的位置信息，可体现出位置变化。
其中一种实施方式中，第二部位信息可包括人体模型的模型部位点的坐标，具体可以指垂直于深度方向的两个维度的坐标。
请参考图7，其中一种实施方式中，模型部位点之间通过直线单元连接，可形成人体模型，其他实施方式中，由于基于直线单元与模型部位点，还无法完整体现出人体的模型实体，故而，可基于模型部位点和/或直线单元绑定占据二维或三维空间的模型实体，其可用特定的面积或体积，以及其所对应的形状、位置等来描述。绑定后可形成一个占据三维空间的人体模型。
S211：根据所述第二部位信息，变化所述人体模型。
其中，步骤S211既可以实现人体模型的姿态变化，还可实现人体模型沿垂直于深度方向上的位置变化，例如横向的左右移动。
其中一种实施方式中，人体模型沿横向，即左右方向的运动位置，其实就是人体模型的模型部位点中的脚部位点或腿部位点的位置沿该横向的运动位置，而该运动位置则是根据真实人体中的脚部或脚部点的位置确定的。
脚步位置的可以包括：先主要依靠人体的真实部位点中的头部点，肩部点，胯部点进行判别。一般来说，当人正常动作时，头部点，肩部点与胯部点的顺序应为从上到下，可以通过该逻辑判断人体是否在正常姿态。当人体处于正常姿态时，真实人体在图像中的最低点即与人体脚部点位置。
若结合深度摄像头，则人体模型可以是三维模型，进而，在根据前文所涉及的位置改变的基础上，还可使得模型的动作在深度方向也有所表征，若人体模型是二维模型，即其模型部位点，以及直线单元的运动均为二维平面内的运动，该二维平面可以是垂直于深度方向的。不论三维模型还是二维模型，因其会沿深度方向移动，故而，人体模型的模型部位点均具有三维的坐标，其区别在于：若为三维模型，则模型部位点深度方向上的坐标值需考虑三维模型的姿态变化以及深度方向上的移动，若为二维模型，则模型部位点深度方向上的坐标值则主要考虑二维模型在深度方向上的移动。
可见，不论可三维运动的三维模型，还是可二维运动的二维模型，人体模型的前后位置的移动均可利用前序步骤S201至S208来实现，即均可实现人体模型沿深度方向上的定位。
其中一种实施方式中，所述人体部位包括以下至少之一：头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。每个人体部位可对应具有一个模型部位点。
本发明可选实施例的其中一种举例可描述为如下：
可通过便携式计算设备的摄像头扫描真实人体，此时人体在实时图像上会占据一定数量的像素点。通过人体肢体点检测算法，可将人体肢体的屏幕像素坐标分离出来，并保存，其即为前文所涉及的人体部位。
实时图像中的二维坐标，可投射到映射到虚拟场景对应的三维坐标系中，得到真实人体在虚拟世界中的位置，其中一种实施方式中，可将真实人体的脚部位置，作为虚拟三维模型的腿部点或脚部点的位置，并据此确定人体模型在三维场景中的初始位置。此时人体模型的位置与真实人体的位置可基本保持一致。
当人体模型放置在适当的位置后，人体模型开始跟随真实人体运动。在每一帧运动时，可通过人体肢体点检测算法获取人体脚部的二维点，并通过投射法将该二维坐标转换为三维坐标，并将该坐标转换为人体模型的位置。
真实人体前后移动时，由于二维的坐标点无法准确反映人体的前后移动，因此可通过通过人体的躯干部分在图像中的占比变化来驱动人体模型的前后移动。
本实施例提供的人体模型的同步运动方法，通过获取尺寸变化信息，以及根据所述尺寸变化信息，确定移动信息，并根据所述移动信息，改变所述人体模型在所述三维场景中的位置，实现了人体模型与真实人体之间前后的同步移动。
图8是本发明一实施例中人体模型的同步运动装置的结构示意图。
请参考图8，人体模型的同步运动装置4，包括：
采集模块41，用于采集真实人体的实时图像；
尺寸变化获取模块42，用于根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化；
移动信息确定模块43，用于根据所述尺寸变化信息，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体；
位置改变模块44，用于根据所述移动信息，改变所述人体模型在所述三维场景中的位置。
本实施例提供的人体模型的同步运动装置，通过获取尺寸变化信息，以及根据所述尺寸变化信息，确定移动信息，并根据所述移动信息，改变所述人体模型在所述三维场景中的位置，实现了人体模型与真实人体之间前后的同步移动。
图9是本发明另一实施例中人体模型的同步运动装置的结构示意图；
图10是本发明再一实施例中人体模型的同步运动装置的结构示意图。
请参考图9和图10，人体模型的同步运动装置5，包括：
采集模块501，用于采集真实人体的实时图像；
尺寸变化获取模块502，用于根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化；
移动信息确定模块505，用于根据所述尺寸变化信息，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体；
位置改变模块506，用于根据所述移动信息，改变所述人体模型在所述三维场景中的位置。
可选的，请参考图9，所述的装置，还包括：
差距确定模块503，用于确定差距，所述差距用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距；
小于阈值确定模块504，用于确定所述差距小于预设的差距阈值。
可选的，所述移动信息确定模块505，包括：
第一移动信息确定单元5051，用于根据所述至少部分真实人体的长度变化量或宽度变化量，确定所述移动信息。
可选的，请参考图10，若所述差距大于或等于所述差距阈值，所述装置还包括：
变化量确定模块508，用于在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量；
所述移动信息确定模块505，包括：
第二移动信息确定单元5052，用于根据所述目标变化量，确定所述移动信息。
可选的，所述装置还包括：
脚部移动确定模块，用于确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化。
可选的，若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息；
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
图11是本发明又一实施例中人体模型的同步装置的结构示意图。
可选的，请参考图11，所述的装置，还包括：
第一部位获取模,509，用于获取第一部位信息，所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化；
第二部位确定模块510，用于根据所述第一部位信息，确定所述三维场景中人体模型的第二部位信息；所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化；
人体模型变化模块511，用于根据所述第二部位信息，变化所述人体模型。
可选的，所述至少部分真实人体为所述真实人体的躯干部分。
可选的，所述人体部位包括以下至少之一：头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
本实施例提供的人体模型的同步运动装置，通过获取尺寸变化信息，以及根据所述尺寸变化信息，确定移动信息，并根据所述移动信息，改变所述人体模型在所述三维场景中的位置，实现了人体模型与真实人体之间前后的同步移动。
图12是本发明一实施例中电子设备的结构示意图。
请参考图12，本实施例还提供了一种电子设备60包括：处理器61以及存储器62；其中：
存储器62，用于存储计算机程序。
处理器61，用于执行存储器存储的执行指令，以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器62既可以是独立的，也可以跟处理器61集成在一起。
当所述存储器62是独立于处理器61之外的器件时，所述电子设备60还可以包括：
总线63，用于连接所述存储器62和处理器61。
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种人体模型的同步运动方法，其特征在于，包括：
采集真实人体的实时图像；
根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化，所述尺寸变化为当前时刻的实时图像中真实人体的尺寸与之前一个或多个时刻的实时图像中真实人体的尺寸之间的变化；
根据所述至少部分真实人体的长度变化量或宽度变化量，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体，所述深度方向为人体模型前后移动的方向；
根据所述移动信息，改变所述人体模型在所述三维场景中的位置；
所述采集真实人体的实时图像之后，还包括：
获取第一部位信息，所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化，所述第一部位信息包括所述实时图像中真实人体的人体部位的坐标集合或者人体部位的真实部位点的坐标；
根据所述第一部位信息，确定所述三维场景中人体模型的第二部位信息；所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化，所述第二部位信息包括所述人体模型的模型部位点的垂直于深度方向的两个维度的坐标；
根据所述第二部位信息，变化所述人体模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述尺寸变化信息，确定移动信息之前，还包括：
确定差距，所述差距用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距；
确定所述差距小于预设的差距阈值。
3.根据权利要求2所述的方法，其特征在于，若所述差距大于或等于所述差距阈值，所述方法还包括：
在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量；
所述根据所述尺寸变化信息，确定移动信息，包括：
根据所述目标变化量，确定所述移动信息。
4.根据权利要求3所述的方法，其特征在于，所述在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量之前，还包括：
确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化。
5.根据权利要求1至4任一项所述的方法，其特征在于，若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息；
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
6.根据权利要求1所述的方法，其特征在于，所述人体部位包括以下至少之一：头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述至少部分真实人体为所述真实人体的躯干部分。
8.一种人体模型的同步运动装置，其特征在于，包括：
采集模块，用于采集真实人体的实时图像；
尺寸变化获取模块，用于根据所述实时图像，确定尺寸变化信息，所述尺寸变化信息用于表征所述实时图像中至少部分真实人体的尺寸变化；
移动信息确定模块，用于根据所述尺寸变化信息，确定移动信息，所述移动信息用于表征人体模型沿三维场景的深度方向的位置变化，所述人体模型用于模拟所述真实人体；
位置改变模块，用于根据所述移动信息，改变所述人体模型在所述三维场景中的位置；
第一部位获取模块，用于获取第一部位信息，所述第一部位信息用于表征所述实时图像中真实人体的人体部位的位置变化；
第二部位确定模块，用于根据所述第一部位信息，确定所述三维场景中人体模型的第二部位信息；所述第二部位信息用于表征所述人体模型中所述人体部位对应的模型部位点的位置变化；
人体模型变化模块，用于根据所述第二部位信息，变化所述人体模型。
9.根据权利要求8所述的装置，其特征在于，还包括：
差距确定模块，用于确定差距，所述差距用于表征所述至少部分真实人体的标准长宽比与所述实时图像中所述至少部分真实人体的当前长宽比之间的差距；
小于阈值确定模块，用于确定所述差距小于预设的差距阈值。
10.根据权利要求9所述的装置，其特征在于，若所述差距大于或等于所述差距阈值，所述装置还包括：
变化量确定模块，用于在所述至少部分真实人体的长度变化量与宽度变化量中，选择变化量较大的目标变化量；
所述移动信息确定模块，包括：
第二移动信息确定单元，用于根据所述目标变化量，确定所述移动信息。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
脚部移动确定模块，用于确定所述实时图像中所述真实人体的脚部位置沿深度方向发生了变化。
12.根据权利要求8至11任一项所述的装置，其特征在于，若所述尺寸变化信息为用于表征所述至少部分真实人体变大的第一尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的近场口移动的第一移动信息；
若所述尺寸变化信息为用于表征所述至少部分真实人体变小的第二尺寸变化信息；则所述移动信息为用于表征所述人体模型朝向所述三维场景的远场口移动的第二移动信息。
13.根据权利要求8至11任一项所述的装置，其特征在于，所述至少部分真实人体为所述真实人体的躯干部分。
14.根据权利要求8所述的装置，其特征在于，所述人体部位包括以下至少之一：头部、颈部、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左胯部、右胯部、左膝盖、右膝盖、左脚部、右脚部。
15.一种电子设备，其特征在于，包括存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的人体模型的同步运动方法。
16.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述的人体模型的同步运动方法。
CN201811002871.1A 2018-08-30 2018-08-30 人体模型的同步运动方法与装置 Active CN109407824B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811002871.1A CN109407824B (zh) 2018-08-30 2018-08-30 人体模型的同步运动方法与装置
US16/511,189 US11138743B2 (en) 2018-08-30 2019-07-15 Method and apparatus for a synchronous motion of a human body model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811002871.1A CN109407824B (zh) 2018-08-30 2018-08-30 人体模型的同步运动方法与装置

Publications (2)

Publication Number Publication Date
CN109407824A CN109407824A (zh) 2019-03-01
CN109407824B true CN109407824B (zh) 2020-11-06

Family

ID=65463627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811002871.1A Active CN109407824B (zh) 2018-08-30 2018-08-30 人体模型的同步运动方法与装置

Country Status (2)

Country Link
US (1) US11138743B2 (zh)
CN (1) CN109407824B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150533A (zh) * 2019-06-28 2020-12-29 顺丰科技有限公司 物体体积计算方法、装置、设备、及存储介质
FR3098332B1 (fr) * 2019-07-05 2022-01-07 Fond B Com Procédé et dispositif de détermination de l’amplitude d’un mouvement effectué par un membre d’un corps articulé
CN112764546B (zh) * 2021-01-29 2022-08-09 重庆子元科技有限公司 一种虚拟人物位移控制方法、装置及终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700433B (zh) * 2015-03-24 2016-04-27 中国人民解放军国防科学技术大学 一种基于视觉的实时人体全身体运动捕捉方法及其系统
KR20160121287A (ko) * 2015-04-10 2016-10-19 삼성전자주식회사 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
CN105975923B (zh) * 2016-05-03 2020-02-21 湖南拓视觉信息技术有限公司 用于跟踪人体对象的方法和系统
CN106091929A (zh) * 2016-07-27 2016-11-09 乐视控股（北京）有限公司 一种利用移动终端测量物体的方法和测量装置
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统

Also Published As

Publication number Publication date
US20190340773A1 (en) 2019-11-07
US11138743B2 (en) 2021-10-05
CN109407824A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN106471544B (zh) 三维模型产生的系统和方法
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US9855496B2 (en) Stereo video for gaming
KR101812379B1 (ko) 포즈를 추정하기 위한 방법 및 장치
JP2021192250A (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
CN106027855B (zh) 一种虚拟摇臂的实现方法和终端
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP2012038334A5 (zh)
JP2013235537A (ja) 画像作成装置、画像作成プログラム、及び記録媒体
CN109407824B (zh) 人体模型的同步运动方法与装置
JP5795250B2 (ja) 被写体姿勢推定装置および映像描画装置
CN109191593A (zh) 虚拟三维模型的运动控制方法、装置及设备
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
KR20110088361A (ko) 정면 얼굴 영상 생성 장치 및 방법
KR20230032893A (ko) 화상처리장치, 화상처리방법 및 기억 매체
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN116129016B (zh) 一种姿态运动的数字同步方法、装置、设备及存储介质
EP3723365A1 (en) Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
WO2020026677A1 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
CN113327329A (zh) 基于三维模型的室内投影方法、装置及系统
Kyriazakos et al. A user-perspective view for mobile AR systems using discrete depth segmentation
GB2559975A (en) Method and apparatus for tracking features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant