CN107831902A - 一种运动控制方法及其设备、存储介质、终端 - Google Patents

一种运动控制方法及其设备、存储介质、终端 Download PDF

Info

Publication number
CN107831902A
CN107831902A CN201711185797.7A CN201711185797A CN107831902A CN 107831902 A CN107831902 A CN 107831902A CN 201711185797 A CN201711185797 A CN 201711185797A CN 107831902 A CN107831902 A CN 107831902A
Authority
CN
China
Prior art keywords
data
feature point
face
destination object
face feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711185797.7A
Other languages
English (en)
Other versions
CN107831902B (zh
Inventor
陈欢智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shanghai Co Ltd
Original Assignee
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shanghai Co Ltd filed Critical Tencent Technology Shanghai Co Ltd
Priority to CN201711185797.7A priority Critical patent/CN107831902B/zh
Publication of CN107831902A publication Critical patent/CN107831902A/zh
Priority to PCT/CN2018/114008 priority patent/WO2019100932A1/zh
Application granted granted Critical
Publication of CN107831902B publication Critical patent/CN107831902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种运动控制方法及其设备、存储介质、终端,其中方法包括如下步骤:基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据;根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。采用本发明,可以降低开发的硬件成本,基于全息投影提供的真实感可以提高显示效果的逼真度,增加互动的真实性。

Description

一种运动控制方法及其设备、存储介质、终端
技术领域
本发明涉及计算机技术领域,尤其涉及一种运动控制方法及其设备、存储介质、终端。
背景技术
随着计算机技术的快速发展,基于智能手机、智能电视以及平板电脑等终端设备的虚拟互动类应用的开发已经成为了当下的热门技术,例如,体感互动类游戏等。现有技术中,终端设备中虚拟互动类应用的实现是基于现实人物佩戴的各类传感器获取人体的动作,然后将人体动作转换为动作控制指令控制设备中虚拟角色的运动,通过终端显示屏显示互动的展示效果。然而,当现实人物的动作复杂度提升时,所需要的传感器的类型以及数量也就越多,增加了开发的硬件成本,且仅通过终端设备的显示屏显示虚拟角色对现实人物的动作模仿,展示与虚拟角色的互动过程,影响了互动的真实性。
发明内容
本发明实施例提供一种运动控制方法及其设备、存储介质、终端,通过识别现实中目标对象的面部图像,分析面部特征点的变化,控制全息投影中虚拟对象对目标对象的动作模仿,可以降低开发的硬件成本,基于全息投影提供的真实感可以提高显示效果的逼真度,增加互动的真实性。
本发明实施例第一方面提供了一种运动控制方法,可包括:
基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
本发明实施例第二方面提供了一种运动控制设备,可包括:
标定数据获取单元,用于基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
更新数据获取单元,用于当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
运动控制单元,用于根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
本发明实施例第三方面提供了一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行以下步骤:
基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
本发明实施例第四方面提供了一种终端,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
在本发明实施例中,基于目标对象的面部特征点在原帧图像中的特征位置获取面部特征点的特征标定数据,当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据,然后根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种运动控制方法的流程示意图;
图2是本发明实施例提供的一种运控控制架构示意图;
图3是本发明实施例提供的一种转动方向获取示意图;
图4是本发明实施例提供的一种虚拟对象动作模仿效果示意图;
图5是本发明实施例提供的另一种运动控制方法的流程示意图;
图6是本发明实施例提供的另一种运动控制方法的流程示意图;
图7是本发明实施例提供的一种运动控制设备的结构示意图;
图8是本发明实施例提供的另一种运动控制设备的结构示意图;
图9是本发明实施例提供的一种运动控制单元的结构示意图;
图10是本发明实施例提供另一种运动控制单元的结构示意图;
图11是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的运动控制方法可以应用于全息投影中虚拟人物模仿现实人物动作的场景中,例如:运动控制设备基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据,然后根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性。
本发明实施例涉及的运动控制设备可以是具备全息投影功能的便携性的智能盒子,所述全息投影可以是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。
下面将结合附图1-附图6,对本发明实施例提供的运动控制方法进行详细介绍。
请参见图1,为本发明实施例提供了一种运动控制方法的流程示意图。如图1所示,本发明实施例的所述方法可以包括以下步骤S101-步骤S103。
S101,基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
在本发明实施例中,运动控制的实现架构可以如图2所示,处理芯片作为处理模块的核心部分,分别与语音识别模块、声卡、人脸识别模块和显卡相连,所述处理模块的输入包括资源、人脸图像和语音数据,所述处理模块对人脸图像和语音数据处理后可以输出至扬声器以及通过激光头投射至全息膜进行全息投影。可以理解的是,所述语音识别模块和所述人脸识别模块分别可以通过所存储的语音识别算法和图像识别算法对输入的人脸图像和语音数据进行识别,所述显卡可以对图像识别后得到的显示信息进行处理,输出至激光头进行投射,所述声卡可以对语音识别后得到的声音信息进行处理,输出至扬声器。所述资源可以是所述运动控制设备中存储的音频或图片资源等。
可以理解的是,运动控制设备可以采用摄像头获取现实中目标对象的面部图像,再基于自身提供的图像识别算法识别出面部图像的面部特征点(例如,面部五官),并对面部特征点进行标定,即标定面部特征点在面部图像中的位置坐标。其中,所述目标对象可以是真实客体,例如,人物或动物等。
具体的,所述运动控制设备可以基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据,可以理解的是,所述面部特征点可以是面部五官,所述原帧图像可以是所述运动控制设备初始获取到的所述目标对象的面部图像。所述面部特征点在原帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述原帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述原帧图像中的坐标点。所述特征标定数据可以是所述特征位置所处的坐标点的坐标数据,例如,以面部图像左下角为坐标原点,左眼的特征标定数据(即左眼内眼角在原帧图像中的坐标)可以是(3,5)。
S102,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
可以理解的是,所述运动控制设备的摄像头可以随时捕捉所述目标对象的面部图像,并将当前捕捉到的面部图像可以作为当前帧图像,可选的,所述运动控制设备可以采用摄像头对目标对象进行实时录像,并在录像过程中每隔预设的时间间隔获取一帧所述目标对象的面部图像,将该面部图像作为当前处理过程的当前帧图像;或者所述运动控制设备可以采用摄像头每隔预设的时间间隔获取一次所述面部图像,并将间隔获取到的面部图像作为当前处理过程的当前帧图像。进一步的,所述运动控制设备可以对所述当前帧图像进行图像识别,对图像中的面部特征点进行标定,并获取标定后面部特征点在当前帧图像中的特征位置。其中,所述面部特征点在当前帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述当前帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述当前帧图像中的坐标点。
可以理解的是,所述运动控制设备可以通过将所述原帧图像和所述当前帧图像进行匹配,检测所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置是否匹配(例如,将两帧图像重合,判断同类型的面部特征点是否重合),从而判断所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置是否发生变化。
在可选实施例中,所述目标对象的头部发生摇动或者面部表情发生变化等动作,都可以引起所述面部特征点的特征位置发生变化,其中,所述特征位置发生变化可以是一个或多个面部特征点的特征位置发生变化。
具体的,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,可以认为所述目标对象的面部图像发生了转动或者表情出现了变化,所述运动控制设备可以基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据,所述特征标定更新数据可以是所述目标对象的面部图像发生变化后,所述面部特征点在所述当前帧图像中的坐标数据,例如,左眼的特征标定更新数据(即左眼内眼角在当前帧图像中的坐标)可以是(5,5)。
S103,根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动;
具体的,所述运动控制设备可以根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,可以理解的是,所述动作控制信息可以是控制全息投影中虚拟对象进行运动的信息,可以包括所述虚拟对象的动作幅度或方向等,例如,“向右30°转头”、“微笑”、“点头”等。进一步的,所述运动控制设备可以采用所述动作控制信息控制全息投影中虚拟对象进行运动。可以理解的是,所述虚拟对象可以是所述运动控制设备中存储的设备资源中的虚拟客体,也可以是所述运动控制设备生成的所述目标对象对应的虚拟客体,在设备资源优化的情况下,虚拟客体会呈现更加丰富的影像,例如,设备资源为3D资源时,运动控制设备中可以呈现3D的影像。
需要说明的是,所述全息投影中的虚拟对象的动作可以与所述目标对象的动作一致,也可以与所述目标对象的动作呈镜像关系。
可以理解的是,所述特征标定数据可以包括至少一个坐标数据,例如,可以是左眼内眼角的坐标数据、右眼内眼角的坐标数据或者鼻尖的坐标数据等,当选取所述特征标定数据中的两个坐标数据时,可以获取所述两个坐标数据间的坐标长度D1,同样的,也可以根据在所述特征标定更新数据中选取的两个坐标数据,获取更新后的坐标长度D2,其中,在所述特征标定数据中选取的两个坐标数据和在所述特征标定更新数据中选取的两个坐标数据是相同类型的坐标数据,例如,都是左眼内眼角的坐标数据和右眼内眼角的坐标数据。
在可选实施例中,上述坐标长度D1可以是原帧图像中的眼间距(可以是左眼内眼角到右眼内眼见间的距离),上述坐标长度D2可以是当前帧图像中的眼间距,所述运动控制设备可以利用D1和D2计算出目标对象面部转动的角度θ,例如,θ=arccosD1/D2,可以根据特征标定数据到特征标定更新数据间的坐标方向确定目标对象面部转动的方向,例如,特征标定数据左眼内眼角坐标数据为(3,5),特征标定更新数据左眼内眼角更新坐标数据为(5,5),则目标对象头部转动方向可以是坐标点(3,5)到坐标点(5,5)作指示的方向,如图3所示的转动方向为向右转动。进一步的,所述运动控制设备可生成包含上述转动角度和方向的动作控制信息(例如,“以θ角度向右转动头部”),控制虚拟对象实现如图4所示的转头动作。
在可选实施例中,所述目标对象动作的同时可以输出语音,所述运动控制设备可以识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出。
在本发明实施例中,基于目标对象的面部特征点在原帧图像中的特征位置获取面部特征点的特征标定数据,当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据,然后根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性。
请参见图5,为本发明实施例提供了另一种运动控制方法的流程示意图。如图5所示,本发明实施例的所述方法可以包括以下步骤S201-步骤S208。
S201,采集目标对象的原帧图像,对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,并获取标定后所述面部特征点在所述原帧图像中的特征位置;
在本发明实施例中,运动控制的实现架构可以如图2所示,处理芯片作为处理模块的核心部分,分别与语音识别模块、声卡、人脸识别模块和显卡相连,所述处理模块的输入包括资源、人脸图像和语音数据,所述处理模块对人脸图像和语音数据处理后可以输出至扬声器以及通过激光头投射至全息膜进行全息投影。可以理解的是,所述语音识别模块和所述人脸识别模块分别可以通过所存储的语音识别算法和图像识别算法对输入的人脸图像和语音数据进行识别,所述显卡可以对图像识别后得到的显示信息进行处理,输出至激光头进行投射,所述声卡可以对语音识别后得到的声音信息进行处理,输出至扬声器。所述资源可以是所述运动控制设备中存储的音频或图片资源等。
具体的,运动控制设备可以采用摄像头获取现实中目标对象的原帧图像即所述目标对象的面部图像,并可以基于自身提供的图像识别算法识别出面部图像的面部特征点,从而可以对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,即标定面部特征点在面部图像中的位置坐标。进一步的,所述运动控制设备可以获取标定后所述面部特征点在所述原帧图像中的特征位置。
可以理解的是,所述目标对象可以是真实客体,例如,人物或动物等,所述面部特征点可以是面部五官,所述原帧图像可以是所述运动控制设备初始获取到的所述目标对象的面部图像。所述面部特征点在原帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述原帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述原帧图像中的坐标点。
S202,基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
具体的,所述运动控制设备可以基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据,可以理解的是,所述特征标定数据可以是所述特征位置所处的坐标点的坐标数据,例如,以面部图像左下角为坐标原点,左眼的特征标定数据(即左眼内眼角在原帧图像中的坐标)可以是(3,5)。
S203,获取所述目标对象的面部特征点在当前帧图像中的特征位置;
可以理解的是,所述运动控制设备的摄像头可以随时捕捉所述目标对象的面部图像,并将当前捕捉到的面部图像可以作为当前帧图像,可选的,所述运动控制设备可以采用摄像头对目标对象进行实时录像,并在录像过程中每隔预设的时间间隔获取一帧所述目标对象的面部图像,将该面部图像作为当前处理过程的当前帧图像;或者所述运动控制设备可以采用摄像头每隔预设的时间间隔获取一次所述面部图像,并将间隔获取到的面部图像作为当前处理过程的当前帧图像。进一步的,所述运动控制设备可以对所述当前帧图像进行图像识别,对图像中的面部特征点进行标定,并获取标定后面部特征点在当前帧图像中的特征位置。其中,所述面部特征点在当前帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述当前帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述当前帧图像中的坐标点。
S204,当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时,确定所述面部特征点的特征位置发生了变化;
可以理解的是,所述运动控制设备可以通过将所述原帧图像和所述当前帧图像进行匹配,检测所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置是否匹配(例如,将两帧图像重合,判断同类型的面部特征点是否重合),从而判断所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置是否发生变化。当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时(例如,两帧图像重合后,存在同类型的面部特征点不重合),可以确定所述面部特征点的特征位置发生了变化。
在可选实施例中,所述目标对象的头部发生摇动或者面部表情发生变化等动作,都可以引起所述面部特征点的特征位置发生变化,可以包括一个或多个面部特征点的特征位置发生变化。
S205,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
具体的,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,可以认为所述目标对象的面部图像发生了转动或者表情出现了变化,所述运动控制设备可以基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据,所述特征标定更新数据可以是所述目标对象的面部图像发生变化后,所述面部特征点在所述当前帧图像中的坐标数据,例如,左眼的特征标定更新数据(即左眼内眼角在当前帧图像中的坐标)可以是(5,5)。
S206,基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据;
具体的,所述运动控制设备可以基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据。可以理解的是,所述动作控制数据可以是所述目标对象运动时产生的运动数据,例如,目标对象转动头部时的转动角度值或转动方向。
在可选实施例中,所述动作控制数据也可以是对所述特征标定数据和所述特征标定更新数据进行运算处理时的中间过程数据,例如,所述特征标定数据可以包括至少一个坐标数据(例如,可以是左眼内眼角的坐标数据、右眼内眼角的坐标数据或者鼻尖的坐标数据等)当选取所述特征标定数据中的两个坐标数据时,可以获取所述两个坐标数据间的坐标长度D1,同样的,也可以根据在所述特征标定更新数据中选取的两个坐标数据,获取更新后的坐标长度D2,则D1和D2可以是动作控制数据。需要说明的是,在所述特征标定数据中选取的两个坐标数据和在所述特征标定更新数据中选取的两个坐标数据是相同类型的坐标数据,例如,都是左眼内眼角的坐标数据和右眼内眼角的坐标数据。
S207,采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动;
具体的,所述运动控制设备可以采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动,可以理解的是,所述动作控制信息可以是包含所述动作控制数据的控制信息,例如,“左右摇头”、“微笑”、“点头”等。所述虚拟对象可以是所述运动控制设备中存储的设备资源中的虚拟客体,也可以是所述运动控制设备生成的所述目标对象对应的虚拟客体,在设备资源优化的情况下,虚拟客体会呈现更加丰富的影像,例如,设备资源为3D资源时,运动控制设备中可以呈现3D的影像。
需要说明的是,所述全息投影中的虚拟对象的动作可以与所述目标对象的动作一致,也可以与所述目标对象的动作呈镜像关系。
S208,识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出;
可以理解的是,所述运动控制设备可以采用内部的语音识别算法识别所述目标对象所发出的语音数据所指代的数据内容,所述语音数据可以是所述目标对象在进行面部动作的同时发出的语音,例如,所述目标对象在微笑时所说的“我现在很开心”。
进一步的,所述运动控制设备可以根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出,例如,所述运动控制设备可以控制所述虚拟对象输出“我现在很开心”。
在本发明实施例中,在控制所述虚拟对象模仿所述目标对象完成相应动作的同时,控制所述虚拟对象输出所述目标对象的语音数据,增加了互动的多样性。
在本发明实施例一种具体实现方式中,所述特征标定数据为初始眼间距,所述特征标定更新数据为所述目标对象脸部转动后的更新眼间距,所述根据所述特征标定数据和所述特征标定更新数据,生成控制全息投影中虚拟对象进行运动的动作控制信息,根据所述动作控制信息实现对所述虚拟对象的运动控制可以包括以下几个步骤,如图6所示:
S301,基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,所述角度信息包括转动方向和转动角度值;
可以理解的是,所述初始眼间距可以是根据所述原帧图像中特征标定数据(即左眼内眼角的坐标数据和右眼内眼角的坐标数据)计算得到的眼间距,例如,左眼内眼角坐标为(3,5)右眼内眼角坐标为(4,5),则初始眼间距D1为1。同样的,所述更新眼间距可以是根据所述当前帧图像中特征标定更新数据(即左眼内眼角的坐标更新数据和右眼内眼角的坐标更新数据)计算得到的眼间距,所述更新眼间距D2可以是2。
具体的,所述运动控制设备可以基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,可以理解的是,所述角度信息包括转动方向和转动角度值。例如,所述目标对象脸部转动角度设为θ,θ=arccosD1/D2,计算得到θ为60°;特征标定数据左眼内眼角坐标数据为(3,5),特征标定更新数据左眼内眼角更新坐标数据为(4,5),则目标对象头部转动方向可以是坐标点(3,5)到坐标点(4,5)作指示的方向,如图2所示的转动方向为向右转动。
S302,发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部;
具体的,所述运动控制设备可以发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部,例如,所述运动控制设备发送“将头部向右转动60°”的动作控制指令控制全息投影中虚拟对象将头部向右转动60°。
在本发明实施例中,根据两帧图像中眼间距的变化生成控制虚拟对象运动的动作控制指令,增加了虚拟对象对目标对象进行动作模仿的准确性。
在本发明实施例中,基于目标对象的面部特征点在原帧图像中的特征位置获取面部特征点的特征标定数据,当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据,然后根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性;在控制虚拟对象模仿目标对象完成相应动作的同时,控制虚拟对象输出目标对象的语音数据,增加了互动的多样性;根据两帧图像中眼间距的变化生成控制虚拟对象运动的动作控制指令,增加了虚拟对象对目标对象进行动作模仿的准确性。
下面将结合附图7-附图10,对本发明实施例提供的运动控制设备进行详细介绍。需要说明的是,附图7-附图10所示的设备,用于执行本发明图1-图6所示实施例的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明图1-图6所示的实施例。
请参见图7,为本发明实施例提供了一种运动控制设备的结构示意图。如图7所示,本发明实施例的所述运动控制设备1可以包括:标定数据获取单元11、更新数据获取单元12和运动控制单元13。
标定数据获取单元11,用于基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
在本发明实施例中,运动控制的实现架构可以如图2所示,处理芯片作为处理模块的核心部分,分别与语音识别模块、声卡、人脸识别模块和显卡相连,所述处理模块的输入包括资源、人脸图像和语音数据,所述处理模块对人脸图像和语音数据处理后可以输出至扬声器以及通过激光头投射至全息膜进行全息投影。可以理解的是,所述语音识别模块和所述人脸识别模块分别可以通过所存储的语音识别算法和图像识别算法对输入的人脸图像和语音数据进行识别,所述显卡可以对图像识别后得到的显示信息进行处理,输出至激光头进行投射,所述声卡可以对语音识别后得到的声音信息进行处理,输出至扬声器。所述资源可以是所述运动控制设备中存储的音频或图片资源等。
可以理解的是,运动控制设备1可以采用摄像头获取现实中目标对象的面部图像,再基于自身提供的图像识别算法识别出面部图像的面部特征点(例如,面部五官),并对面部特征点进行标定,即标定面部特征点在面部图像中的位置坐标。其中,所述目标对象可以是真实客体,例如,人物或动物等。
具体实现中,标定数据获取单元11可以基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据,可以理解的是,所述面部特征点可以是面部五官,所述原帧图像可以是所述运动控制设备1初始获取到的所述目标对象的面部图像。所述面部特征点在原帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述原帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述原帧图像中的坐标点。所述特征标定数据可以是所述特征位置所处的坐标点的坐标数据,例如,以面部图像左下角为坐标原点,左眼的特征标定数据(即左眼内眼角在原帧图像中的坐标)可以是(3,5)。
更新数据获取单元12,用于当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
可以理解的是,所述运动控制设备1的摄像头可以随时捕捉所述目标对象的面部图像,并将当前捕捉到的面部图像可以作为当前帧图像,可选的,所述运动控制设备1可以采用摄像头对目标对象进行实时录像,并在录像过程中每隔预设的时间间隔获取一帧所述目标对象的面部图像,将该面部图像作为当前处理过程的当前帧图像;或者所述运动控制设备1可以采用摄像头每隔预设的时间间隔获取一次所述面部图像,并将间隔获取到的面部图像作为当前处理过程的当前帧图像。进一步的,所述运动控制设备1可以对所述当前帧图像进行图像识别,对图像中的面部特征点进行标定,并获取标定后面部特征点在当前帧图像中的特征位置。其中,所述面部特征点在当前帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述当前帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述当前帧图像中的坐标点。
可以理解的是,所述运动控制设备1可以通过将所述原帧图像和所述当前帧图像进行匹配,检测所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置是否匹配(例如,将两帧图像重合,判断同类型的面部特征点是否重合),从而判断所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置是否发生变化。
在可选实施例中,所述目标对象的头部发生摇动或者面部表情发生变化等动作,都可以引起所述面部特征点的特征位置发生变化,其中,所述特征位置发生变化可以是一个或多个面部特征点的特征位置发生变化。
具体实现中,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,可以认为所述目标对象的面部图像发生了转动或者表情出现了变化,更新数据获取单元12可以基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据,所述特征标定更新数据可以是所述目标对象的面部图像发生变化后,所述面部特征点在所述当前帧图像中的坐标数据,例如,左眼的特征标定更新数据(即左眼内眼角在当前帧图像中的坐标)可以是(5,5)。
运动控制单元13,用于根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动;
具体实现中,运动控制单元13可以根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,可以理解的是,所述动作控制信息可以是控制全息投影中虚拟对象进行运动的信息,可以包括所述虚拟对象的动作幅度或方向等,例如,“向右30°转头”、“微笑”、“点头”等。进一步的,所述运动控制单元13可以采用所述动作控制信息控制全息投影中虚拟对象进行运动。可以理解的是,所述虚拟对象可以是所述运动控制设备1中存储的设备资源中的虚拟客体,也可以是所述运动控制设备1生成的所述目标对象对应的虚拟客体,在设备资源优化的情况下,虚拟客体会呈现更加丰富的影像,例如,设备资源为3D资源时,运动控制设备1中可以呈现3D的影像。
需要说明的是,所述全息投影中的虚拟对象的动作可以与所述目标对象的动作一致,也可以与所述目标对象的动作呈镜像关系。
可以理解的是,所述特征标定数据可以包括至少一个坐标数据,例如,可以是左眼内眼角的坐标数据、右眼内眼角的坐标数据或者鼻尖的坐标数据等,当选取所述特征标定数据中的两个坐标数据时,可以获取所述两个坐标数据间的坐标长度D1,同样的,也可以根据在所述特征标定更新数据中选取的两个坐标数据,获取更新后的坐标长度D2,其中,在所述特征标定数据中选取的两个坐标数据和在所述特征标定更新数据中选取的两个坐标数据是相同类型的坐标数据,例如,都是左眼内眼角的坐标数据和右眼内眼角的坐标数据。
在可选实施例中,上述坐标长度D1可以是原帧图像中的眼间距(可以是左眼内眼角到右眼内眼见间的距离),上述坐标长度D2可以是当前帧图像中的眼间距,所述运动控制单元13可以利用D1和D2计算出目标对象面部转动的角度θ,例如,θ=arccosD1/D2,可以根据特征标定数据到特征标定更新数据间的坐标方向确定目标对象面部转动的方向,例如,特征标定数据左眼内眼角坐标数据为(3,5),特征标定更新数据左眼内眼角更新坐标数据为(5,5),则目标对象头部转动方向可以是坐标点(3,5)到坐标点(5,5)作指示的方向,如图3所示的转动方向为向右转动。进一步的,所述运动控制单元13可生成包含上述转动角度和方向的动作控制信息(例如,“以θ角度向右转动头部”),控制虚拟对象实现如图4所示的转头动作。
在可选实施例中,所述目标对象动作的同时可以输出语音,所述运动控制设备可以识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出。
在本发明实施例中,基于目标对象的面部特征点在原帧图像中的特征位置获取面部特征点的特征标定数据,当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据,然后根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性。
请参见图8,为本发明实施例提供了另一种运动控制设备的结构示意图。如图8所示,本发明实施例的所述运动控制设备1可以包括:标定数据获取单元11、更新数据获取单元12、运动控制单元13、原位置获取单元14、当前位置获取单元15、位置变化确定单元16和语音控制单元17。
原位置获取单元14,用于采集目标对象的原帧图像,对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,并获取标定后所述面部特征点在所述原帧图像中的特征位置;
在本发明实施例中,运动控制的实现架构可以如图2所示,处理芯片作为处理模块的核心部分,分别与语音识别模块、声卡、人脸识别模块和显卡相连,所述处理模块的输入包括资源、人脸图像和语音数据,所述处理模块对人脸图像和语音数据处理后可以输出至扬声器以及通过激光头投射至全息膜进行全息投影。可以理解的是,所述语音识别模块和所述人脸识别模块分别可以通过所存储的语音识别算法和图像识别算法对输入的人脸图像和语音数据进行识别,所述显卡可以对图像识别后得到的显示信息进行处理,输出至激光头进行投射,所述声卡可以对语音识别后得到的声音信息进行处理,输出至扬声器。所述资源可以是所述运动控制设备中存储的音频或图片资源等。
具体实现中,运动控制设备1可以采用摄像头获取现实中目标对象的原帧图像即所述目标对象的面部图像,并可以基于自身提供的图像识别算法识别出面部图像的面部特征点,从而原位置获取单元14可以对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,即标定面部特征点在面部图像中的位置坐标。进一步的,所述原位置获取单元14可以获取标定后所述面部特征点在所述原帧图像中的特征位置。
可以理解的是,所述目标对象可以是真实客体,例如,人物或动物等,所述面部特征点可以是面部五官,所述原帧图像可以是所述运动控制设备1初始获取到的所述目标对象的面部图像。所述面部特征点在原帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述原帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述原帧图像中的坐标点。
标定数据获取单元11,用于基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
具体实现中,标定数据获取单元11可以基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据,可以理解的是,所述特征标定数据可以是所述特征位置所处的坐标点的坐标数据,例如,以面部图像左下角为坐标原点,左眼的特征标定数据(即左眼内眼角在原帧图像中的坐标)可以是(3,5)。
当前位置获取单元15,用于获取所述目标对象的面部特征点在当前帧图像中的特征位置;
可以理解的是,所述运动控制设备1的摄像头可以随时捕捉所述目标对象的面部图像,并将当前捕捉到的面部图像可以作为当前帧图像,可选的,所述运动控制设备1可以采用摄像头对目标对象进行实时录像,并在录像过程中每隔预设的时间间隔获取一帧所述目标对象的面部图像,将该面部图像作为当前处理过程的当前帧图像;或者所述运动控制设备1可以采用摄像头每隔预设的时间间隔获取一次所述面部图像,并将间隔获取到的面部图像作为当前处理过程的当前帧图像。进一步的,所述运动控制设备1可以对所述当前帧图像进行图像识别,当前位置获取单元15可以对图像中的面部特征点进行标定,并获取标定后面部特征点在当前帧图像中的特征位置。其中,所述面部特征点在当前帧图像中的特征位置,可以是在所述面部特征点中选取的具有代表性或位置不变性的某点在所述当前帧图像中的坐标点,例如,眼睛内眼角的坐标点或者外眼角的坐标点或者鼻尖等在所述当前帧图像中的坐标点。
位置变化确定单元16,用于当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时,确定所述面部特征点的特征位置发生了变化;
可以理解的是,所述运动控制设备1可以通过将所述原帧图像和所述当前帧图像进行匹配,检测所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置是否匹配(例如,将两帧图像重合,判断同类型的面部特征点是否重合),从而判断所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置是否发生变化。当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时(例如,两帧图像重合后,存在同类型的面部特征点不重合),位置变化确定单元16可以确定所述面部特征点的特征位置发生了变化。
在可选实施例中,所述目标对象的头部发生摇动或者面部表情发生变化等动作,都可以引起所述面部特征点的特征位置发生变化,可以包括一个或多个面部特征点的特征位置发生变化。
更新数据获取单元12,用于当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
具体实现中,当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,可以认为所述目标对象的面部图像发生了转动或者表情出现了变化,更新数据获取单元12可以基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据,所述特征标定更新数据可以是所述目标对象的面部图像发生变化后,所述面部特征点在所述当前帧图像中的坐标数据,例如,左眼的特征标定更新数据(即左眼内眼角在当前帧图像中的坐标)可以是(5,5)。
运动控制单元13,用于根据所述特征标定数据和所述特征标定更新数据,生成控制全息投影中虚拟对象进行运动的动作控制信息,根据所述动作控制信息实现对所述虚拟对象的运动控制;
具体实现中,运动控制单元13可以根据所述特征标定数据和所述特征标定更新数据,生成控制全息投影中虚拟对象进行运动的动作控制信息,并可以根据所述动作控制信息实现对所述虚拟对象的运动控制。
请一并参考图9,为本发明实施例提供了运动控制单元的结构示意图。如图9所示,所述运动控制单元13可以包括:
数据确定子单元131,用于基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据;
具体实现中,数据确定子单元131可以基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据。可以理解的是,所述动作控制数据可以是所述目标对象运动时产生运动数据,例如,目标对象转动头部时的转动角度值或转动方向。
在可选实施例中,所述动作控制数据也可以是对所述特征标定数据和所述特征标定更新数据进行运算处理时的中间过程数据,例如,所述特征标定数据可以包括至少一个坐标数据(例如,可以是左眼内眼角的坐标数据、右眼内眼角的坐标数据或者鼻尖的坐标数据等)当选取所述特征标定数据中的两个坐标数据时,可以获取所述两个坐标数据间的坐标长度D1,同样的,也可以根据在所述特征标定更新数据中选取的两个坐标数据,获取更新后的坐标长度D2,则D1和D2可以是动作控制数据。需要说明的是,在所述特征标定数据中选取的两个坐标数据和在所述特征标定更新数据中选取的两个坐标数据是相同类型的坐标数据,例如,都是左眼内眼角的坐标数据和右眼内眼角的坐标数据。
运动控制子单元132,用于采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动;
具体实现中,运动控制子单元132可以采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动,可以理解的是,所述动作控制信息可以是包含所述动作控制数据的控制信息,例如,“向右30°转头”、“微笑”、“点头”等。所述虚拟对象可以是所述运动控制设备中存储的设备资源中的虚拟客体,也可以是所述运动控制设备生成的所述目标对象对应的虚拟客体,在设备资源优化的情况下,虚拟客体会呈现更加丰富的影像,例如,设备资源为3D资源时,运动控制设备中可以呈现3D的影像。
需要说明的是,所述全息投影中的虚拟对象的动作可以与所述目标对象的动作一致,也可以与所述目标对象的动作呈镜像关系。
语音控制单元17,语音识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出;
可以理解的是,语音控制单元17可以采用内部的语音识别算法识别所述目标对象所发出的语音数据所指代的数据内容,所述语音数据可以是所述目标对象在进行面部动作的同时发出的语音,例如,所述目标对象在微笑时所说的“我现在很开心”。
进一步的,所述语音控制单元17可以根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出,例如,所述语音控制单元17可以控制所述虚拟对象输出“我现在很开心”。
在本发明实施例中,在控制所述虚拟对象模仿所述目标对象完成相应动作的同时,控制所述虚拟对象输出所述目标对象的语音数据,增加了互动的多样性。
在本发明实施例一种具体实现方式中,所述特征标定数据为初始眼间距,所述特征标定更新数据为所述目标对象脸部转动后的更新眼间距,如图10所示所述运动控制单元可以包括:
角度信息获取子单元133,用于基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,所述角度信息包括转动方向和转动角度值;
可以理解的是,所述初始眼间距可以是根据所述原帧图像中特征标定数据(即左眼内眼角的坐标数据和右眼内眼角的坐标数据)计算得到的眼间距,例如,左眼内眼角坐标为(3,5)右眼内眼角坐标为(4,5),则初始眼间距D1为1。同样的,所述更新眼间距可以是根据所述当前帧图像中特征标定更新数据(即左眼内眼角的坐标更新数据和右眼内眼角的坐标更新数据)计算得到的眼间距,所述更新眼间距D2可以是2。
具体实现中,角度信息获取子单元133可以基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,可以理解的是,所述角度信息包括转动方向和转动角度值。例如,所述目标对象脸部转动角度设为θ,θ=arccosD1/D2,计算得到θ为60°;特征标定数据左眼内眼角坐标数据为(3,5),特征标定更新数据左眼内眼角更新坐标数据为(4,5),则目标对象头部转动方向可以是坐标点(3,5)到坐标点(4,5)作指示的方向,如图2所示的转动方向为向右转动。
转动控制子单元134,用于发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部;
具体实现中,转动控制子单元134可以发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部,例如,所述转动控制子单元134发送“将头部向右转动60°”的动作控制指令控制全息投影中虚拟对象将头部向右转动60°。
在本发明实施例中,根据两帧图像中眼间距的变化生成控制虚拟对象运动的动作控制指令,增加了虚拟对象对目标对象进行动作模仿的准确性。
在本发明实施例中,基于目标对象的面部特征点在原帧图像中的特征位置获取面部特征点的特征标定数据,当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据,然后根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性;在控制虚拟对象模仿目标对象完成相应动作的同时,控制虚拟对象输出目标对象的语音数据,增加了互动的多样性;根据两帧图像中眼间距的变化生成控制虚拟对象运动的动作控制指令,增加了虚拟对象对目标对象进行动作模仿的准确性。
本发明实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图6所示实施例的方法步骤,具体执行过程可以参见图1-图6所示实施例的具体说明,在此不进行赘述。
请参见图11,为本发明实施例提供了一种终端的结构示意图。如图11所示,所述终端1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及运动控制应用程序。
在图11所示的终端1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;网络接口1004用于与用户终端进行数据通信;而处理器1001可以用于调用存储器1005中存储的运动控制应用程序,并具体执行以下操作:
基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
在一个实施例中,所述处理器1001在执行基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据之前,还用于执行以下操作:
采集目标对象的原帧图像,对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,并获取标定后所述面部特征点在所述原帧图像中的特征位置。
在一个实施例中,所述处理器1001在执行当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在所述当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据之前,还用于执行以下操作:
获取所述目标对象的面部特征点在当前帧图像中的特征位置;
当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时,确定所述面部特征点的特征位置发生了变化。
在一个实施例中,所述处理器1001在执行根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动时,具体执行以下操作:
基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据;
采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动。
在一个实施例中,所述特征标定数据为初始眼间距,所述特征标定更新数据为所述目标对象脸部转动后的更新眼间距,所述处理器1001在执行根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动时,具体执行以下操作:
基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,所述角度信息包括转动方向和转动角度值;
发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部。
在一个实施例中,所述处理器1001,还用于执行以下操作:
识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出。
在本发明实施例中,基于目标对象的面部特征点在原帧图像中的特征位置获取面部特征点的特征标定数据,当面部特征点在当前帧图像中的特征位置相对于在原帧图像中的特征位置发生变化时,基于面部特征点在当前帧图像中的特征位置获取面部特征点的特征标定更新数据,然后根据特征标定数据和特征标定更新数据生成动作控制信息,并采用动作控制信息控制全息投影中虚拟对象进行运动。通过识别现实中目标对象的面部图像,分析现实中目标对象面部特征点在不同帧图像中特征位置的变化,获得控制虚拟对应运动的动作控制信息,完成控制全息投影中虚拟对象对目标对象的动作模仿,降低了开发的硬件成本,基于全息投影提供的真实感提高了显示效果的逼真度,增加了互动的真实性;在控制虚拟对象模仿目标对象完成相应动作的同时,控制虚拟对象输出目标对象的语音数据,增加了互动的多样性;根据两帧图像中眼间距的变化生成控制虚拟对象运动的动作控制指令,增加了虚拟对象对目标对象进行动作模仿的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (14)

1.一种运动控制方法,其特征在于,包括:
基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
2.如权利要求1所述的方法,其特征在于,所述基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据之前,还包括:
采集目标对象的原帧图像,对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,并获取标定后所述面部特征点在所述原帧图像中的特征位置。
3.如权利要求1所述的方法,其特征在于,所述当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在所述当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据之前,还包括:
获取所述目标对象的面部特征点在当前帧图像中的特征位置;
当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时,确定所述面部特征点的特征位置发生了变化。
4.如权利要求1所述的方法,其特征在于,所述根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动,包括:
基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据;
采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动。
5.如权利要求1所述的方法,其特征在于,所述特征标定数据为初始眼间距,所述特征标定更新数据为所述目标对象脸部转动后的更新眼间距;
所述根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动,包括:
基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,所述角度信息包括转动方向和转动角度值;
发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部。
6.如权利要求1所述的方法,其特征在于,还包括:
识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出。
7.一种运动控制设备,其特征在于,包括:
标定数据获取单元,用于基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
更新数据获取单元,用于当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
运动控制单元,用于根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
8.如权利要求7所述的设备,其特征在于,还包括:
原位置获取单元,用于采集目标对象的原帧图像,对所述目标对象的面部特征点在所述原帧图像中的位置进行标定,并获取标定后所述面部特征点在所述原帧图像中的特征位置。
9.如权利要求7所述的设备,其特征在于,还包括:
当前位置获取单元,用于获取所述目标对象的面部特征点在当前帧图像中的特征位置;
位置变化确定单元,用于当所述目标对象的面部特征点在当前帧图像中的特征位置与所述目标对象的面部特征点在原帧图像中的特征位置不匹配时,确定所述面部特征点的特征位置发生了变化。
10.如权利要求7所述的设备,其特征在于,所述运动控制单元包括:
数据确定子单元,用于基于所述特征标定数据和所述特征标定更新数据确定指示所述目标对象动作信息的动作控制数据;
运动控制子单元,用于采用所述动作控制数据所指示的动作控制全息投影中虚拟对象进行运动。
11.如权利要求7所述的设备,其特征在于,所述特征标定数据为初始眼间距,所述特征标定更新数据为所述目标对象脸部转动后的更新眼间距;
所述运动控制单元包括:
角度信息获取子单元,用于基于所述初始眼间距和所述更新眼间距获取所述目标对象脸部转动的角度信息,所述角度信息包括转动方向和转动角度值;
转动控制子单元,用于发送携带所述角度信息的动作控制指令,控制全息投影中虚拟对象按照所述角度信息指示的方向和角度转动脸部。
12.如权利要求7所述的设备,其特征在于,还包括:
语音控制单元,语音识别所述目标对象所发出的语音数据,根据所述语音数据指示的数据内容并控制所述虚拟对象进行语音输出。
13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~6任意一项的方法步骤。
14.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
基于目标对象的面部特征点在原帧图像中的特征位置获取所述面部特征点的特征标定数据;
当所述面部特征点在当前帧图像中的特征位置相对于在所述原帧图像中的特征位置发生变化时,基于所述面部特征点在当前帧图像中的特征位置获取所述面部特征点的特征标定更新数据;
根据所述特征标定数据和所述特征标定更新数据生成动作控制信息,并采用所述动作控制信息控制全息投影中虚拟对象进行运动。
CN201711185797.7A 2017-11-23 2017-11-23 一种运动控制方法及其设备、存储介质、终端 Active CN107831902B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711185797.7A CN107831902B (zh) 2017-11-23 2017-11-23 一种运动控制方法及其设备、存储介质、终端
PCT/CN2018/114008 WO2019100932A1 (zh) 2017-11-23 2018-11-05 一种运动控制方法及其设备、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711185797.7A CN107831902B (zh) 2017-11-23 2017-11-23 一种运动控制方法及其设备、存储介质、终端

Publications (2)

Publication Number Publication Date
CN107831902A true CN107831902A (zh) 2018-03-23
CN107831902B CN107831902B (zh) 2020-08-25

Family

ID=61653474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711185797.7A Active CN107831902B (zh) 2017-11-23 2017-11-23 一种运动控制方法及其设备、存储介质、终端

Country Status (2)

Country Link
CN (1) CN107831902B (zh)
WO (1) WO2019100932A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108905193A (zh) * 2018-07-03 2018-11-30 百度在线网络技术(北京)有限公司 游戏操控处理方法、设备及存储介质
CN109726673A (zh) * 2018-12-28 2019-05-07 北京金博星指纹识别科技有限公司 实时指纹识别方法、系统及计算机可读存储介质
WO2019100932A1 (zh) * 2017-11-23 2019-05-31 腾讯科技(深圳)有限公司 一种运动控制方法及其设备、存储介质、终端
CN110770742A (zh) * 2018-04-25 2020-02-07 北京嘀嘀无限科技发展有限公司 基于面部特征点的摇动动作识别系统和方法
CN111249728A (zh) * 2020-01-22 2020-06-09 华为技术有限公司 一种图像处理方法及图像处理装置
CN111435546A (zh) * 2019-01-15 2020-07-21 北京字节跳动网络技术有限公司 模型动作方法、装置、带屏音箱、电子设备及存储介质
WO2020155971A1 (zh) * 2019-02-01 2020-08-06 北京市商汤科技开发有限公司 基于用户的姿态变化控制虚拟对象
WO2020186935A1 (zh) * 2019-03-20 2020-09-24 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN111768479A (zh) * 2020-07-29 2020-10-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质
JP2022543892A (ja) * 2019-11-01 2022-10-14 北京字節跳動網絡技術有限公司 画像の処理方法、装置、電子機器及び記憶媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077212A1 (en) * 2002-01-25 2006-04-13 Alias Systems Corp. Graphical user interface widgets viewable and readable from multiple viewpoints in a volumetric display
JP2009267556A (ja) * 2008-04-23 2009-11-12 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
WO2011139070A2 (en) * 2010-05-07 2011-11-10 Samsung Electronics Co., Ltd. Method and apparatus for recognizing location of user
CN103383595A (zh) * 2012-05-02 2013-11-06 三星电子株式会社 基于用户人脸的分析控制移动终端的装置和方法
CN103760980A (zh) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 根据双眼位置进行动态调整的显示方法、系统及显示设备
CN104883557A (zh) * 2015-05-27 2015-09-02 世优(北京)科技有限公司 实时全息投影方法、装置及系统
CN106296784A (zh) * 2016-08-05 2017-01-04 深圳羚羊极速科技有限公司 一种通过人脸3d数据,进行面部3d装饰物渲染的算法
CN106354264A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于视线追踪的实时人机交互系统及其工作方法
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN106502075A (zh) * 2016-11-09 2017-03-15 微美光速资本投资管理(北京)有限公司 一种全息投影方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
CN101908226A (zh) * 2010-08-16 2010-12-08 北京水晶石数字科技有限公司 一种三维动画制作系统
CN104008564B (zh) * 2014-06-17 2018-01-12 河北工业大学 一种人脸表情克隆方法
CN107831902B (zh) * 2017-11-23 2020-08-25 腾讯科技(上海)有限公司 一种运动控制方法及其设备、存储介质、终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060077212A1 (en) * 2002-01-25 2006-04-13 Alias Systems Corp. Graphical user interface widgets viewable and readable from multiple viewpoints in a volumetric display
JP2009267556A (ja) * 2008-04-23 2009-11-12 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
WO2011139070A2 (en) * 2010-05-07 2011-11-10 Samsung Electronics Co., Ltd. Method and apparatus for recognizing location of user
CN103383595A (zh) * 2012-05-02 2013-11-06 三星电子株式会社 基于用户人脸的分析控制移动终端的装置和方法
CN103760980A (zh) * 2014-01-21 2014-04-30 Tcl集团股份有限公司 根据双眼位置进行动态调整的显示方法、系统及显示设备
CN104883557A (zh) * 2015-05-27 2015-09-02 世优(北京)科技有限公司 实时全息投影方法、装置及系统
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN106296784A (zh) * 2016-08-05 2017-01-04 深圳羚羊极速科技有限公司 一种通过人脸3d数据,进行面部3d装饰物渲染的算法
CN106354264A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于视线追踪的实时人机交互系统及其工作方法
CN106502075A (zh) * 2016-11-09 2017-03-15 微美光速资本投资管理(北京)有限公司 一种全息投影方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100932A1 (zh) * 2017-11-23 2019-05-31 腾讯科技(深圳)有限公司 一种运动控制方法及其设备、存储介质、终端
CN110770742B (zh) * 2018-04-25 2023-07-14 北京嘀嘀无限科技发展有限公司 基于面部特征点的摇动动作识别系统和方法
CN110770742A (zh) * 2018-04-25 2020-02-07 北京嘀嘀无限科技发展有限公司 基于面部特征点的摇动动作识别系统和方法
CN108905193A (zh) * 2018-07-03 2018-11-30 百度在线网络技术(北京)有限公司 游戏操控处理方法、设备及存储介质
CN109726673B (zh) * 2018-12-28 2021-06-25 北京金博星指纹识别科技有限公司 实时指纹识别方法、系统及计算机可读存储介质
CN109726673A (zh) * 2018-12-28 2019-05-07 北京金博星指纹识别科技有限公司 实时指纹识别方法、系统及计算机可读存储介质
CN111435546A (zh) * 2019-01-15 2020-07-21 北京字节跳动网络技术有限公司 模型动作方法、装置、带屏音箱、电子设备及存储介质
WO2020155971A1 (zh) * 2019-02-01 2020-08-06 北京市商汤科技开发有限公司 基于用户的姿态变化控制虚拟对象
TWI740356B (zh) * 2019-02-01 2021-09-21 大陸商北京市商湯科技開發有限公司 虛擬對象的控制方法及裝置、終端、儲存媒體
US11429193B2 (en) 2019-02-01 2022-08-30 Beijing Sensetime Technology Development Co., Ltd. Control of virtual objects based on gesture changes of users
WO2020186935A1 (zh) * 2019-03-20 2020-09-24 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
JP7356575B2 (ja) 2019-11-01 2023-10-04 北京字節跳動網絡技術有限公司 画像の処理方法、装置、電子機器及び記憶媒体
JP2022543892A (ja) * 2019-11-01 2022-10-14 北京字節跳動網絡技術有限公司 画像の処理方法、装置、電子機器及び記憶媒体
CN111249728A (zh) * 2020-01-22 2020-06-09 华为技术有限公司 一种图像处理方法及图像处理装置
CN111249728B (zh) * 2020-01-22 2021-08-31 荣耀终端有限公司 一种图像处理方法、装置及存储介质
CN111768479A (zh) * 2020-07-29 2020-10-13 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
WO2019100932A1 (zh) 2019-05-31
CN107831902B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN107831902A (zh) 一种运动控制方法及其设备、存储介质、终端
US11776097B2 (en) Image fusion method, model training method, and related apparatuses
US20230123433A1 (en) Artificial intelligence-based animation character drive method and related apparatus
US20220245961A1 (en) Training method for expression transfer model, expression transfer method and apparatus
US11270488B2 (en) Expression animation data processing method, computer device, and storage medium
US11270489B2 (en) Expression animation generation method and apparatus, storage medium, and electronic apparatus
US11715224B2 (en) Three-dimensional object reconstruction method and apparatus
US20190320144A1 (en) Communication using interactive avatars
WO2018103220A1 (zh) 一种图像处理的方法及装置
US20220301284A1 (en) Method and apparatus for image processing and image synthesis, and computer-readable storage medium
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
WO2021004257A1 (zh) 视线检测和视频处理的方法、装置、设备和存储介质
TW202303527A (zh) 擴展現實環境中的圖像擷取
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
KR20210040555A (ko) 베이시스 모델에 기초하여 가상 캐릭터의 표정을 모사하는 장치, 방법 및 컴퓨터 프로그램
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
CN108416832A (zh) 媒体信息的显示方法、装置和存储介质
CN108563327A (zh) 增强现实方法、装置、存储介质及电子设备
US10244208B1 (en) Systems and methods for visually representing users in communication applications
US20220292690A1 (en) Data generation method, data generation apparatus, model generation method, model generation apparatus, and program
CN108399653A (zh) 增强现实方法、终端设备及计算机可读存储介质
WO2024031882A1 (zh) 视频处理方法、装置及计算机可读存储介质
CN115775405A (zh) 图像生成方法、装置、电子设备和介质
CN113176827B (zh) 基于表情的ar交互方法、系统、电子设备及存储介质
KR20200134623A (ko) 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant