CN114201046B - 注视方向优化方法、装置、电子设备及存储介质 - Google Patents
注视方向优化方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114201046B CN114201046B CN202111510646.0A CN202111510646A CN114201046B CN 114201046 B CN114201046 B CN 114201046B CN 202111510646 A CN202111510646 A CN 202111510646A CN 114201046 B CN114201046 B CN 114201046B
- Authority
- CN
- China
- Prior art keywords
- avatar
- eyeball
- virtual
- virtual image
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000005457 optimization Methods 0.000 title claims abstract description 25
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 131
- 210000003128 head Anatomy 0.000 claims abstract description 56
- 210000001508 eye Anatomy 0.000 claims description 31
- 210000004279 orbit Anatomy 0.000 claims description 26
- 210000001747 pupil Anatomy 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 16
- 210000000744 eyelid Anatomy 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种注视方向优化方法、装置、电子设备及存储介质，该方法包括：获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求。本公开实施例，通过对虚拟形象的注视方向进行调整，以使虚拟形象的注视方向符合预设要求，进而有利于提升用户的观看体验。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种注视方向优化方法、装置、电子设备以及计算机可读存储介质。
背景技术
近年来，虚拟形象直播在视频直播业务中占据着越来越大的比例，虚拟形象直播是以特定的虚拟形象替代主播的真实形象进行视频直播，具体的，通过外置硬件设备获取关于演员(中之人)的动作表情数据的控制信号，并驱动3D引擎中的虚拟形象动作。
然而，由于演员并不能确定虚拟形象所处的3D场景中的虚拟镜头的具体位置，在演员驱动虚拟形象进行直播的过程中，若演员的注视方向偏离虚拟镜头方向，则会导致虚拟形象的注视方向偏离虚拟镜头方向或者出现眼神涣散的情况，进而影响用户的观看体验。
发明内容
本公开实施例提供了一种注视方向优化方法，包括：
获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；
基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；
在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求。
本公开实施例中，基于虚拟形象在3D场景中的面部朝向以及3D场景中的虚拟镜头信息，判断是否需要对虚拟形象的注视方向进行调整，并在需要对虚拟形象的注视方向进行调整的情况下，对虚拟形象的眼球进行调整，如此，可以使得虚拟形象的注视方向符合预设要求，进而可以提升用户观看虚拟形象的视觉体验。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息，所述虚拟形象的注视方向符合预设要求是指，所述虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角小于第一预设角度。
本公开实施例中，通过限定预设要求是指所述虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角小于第一预设角度，如此，可以呈现出虚拟形象注视这虚拟镜头的效果，进而提升用户的观看体验。
一种可选的实施方式中，所述虚拟镜头信息包括镜头朝向；所述基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整，包括：
在所述面部朝向与所述镜头朝向的反方向之间的夹角小于第二预设角度，且所述面部朝向在预设时间内的变化小于预设范围的情况下，基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整。
本公开实施例中，在满足面部朝向与虚拟镜头位置相对于头部的方向之间的夹角小于第二预设角度，且面部朝向在预设时间内的变化小于预设范围的情况下，根据虚拟形象的注视方向，判断是否需要对虚拟形象的注视方向进行调整，如此，可以避免在其它不需要对虚拟形象的注视方向调整的情况下所进行的无效判断，进而节约资源。
一种可选的实施方式中，所述基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整，包括：
判断所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角是否大于第三预设角度；
在所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角大于第三预设角度的情况下，确定需要对所述虚拟形象的注视方向进行调整。
本公开实施例中，在虚拟形象的注视方向与镜头朝向的反方向之间的夹角大于第三预设角度的情况下，确定对虚拟形象的注视方向进行调整，如此，可以避免在其它不需要调整的情况下进行调整的情况发生，进而节约资源。
一种可选的实施方式中，所述对所述虚拟形象的眼球进行调整，包括：
根据所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角，控制所述虚拟形象的眼球相对所述虚拟形象的眼眶转动，使得所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角小于所述第三预设角度。
本公开实施例中，基于虚拟形象的注视方向与虚拟镜头位置相对于头部的方向之间的夹角，控制眼球转动，以调整眼球在眼眶中的位置，以使所述夹角小于所述第一预设角度，也即，使得眼球注视方向的偏差小于第一预设角度，如此，可以使得呈现出更准确的注视效果，进而提升用户的视觉体验。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息；所述方法还包括：
基于所述虚拟镜头的位置信息，确定所述虚拟形象的眼球与所述虚拟镜头之间的距离；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸。
本公开实施例中，基于虚拟形象的眼球与虚拟镜头之间的距离，改变虚拟形象的眼球的瞳孔尺寸，如此，可以使得瞳孔的尺寸和所述距离适配，与真人更加贴合，进而提升用户的观看体验。
一种可选的实施方式中，所述在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸，包括：
在所述虚拟形象的眼球与所述虚拟镜头之间的距离增大的情况下，减小所述虚拟形象的眼球的瞳孔尺寸；或者，
在所述虚拟形象的眼球与所述虚拟镜头之间的距离减小的情况下，增大所述虚拟形象的眼球的瞳孔尺寸。
本公开实施例中，可以根据虚拟形象的眼球与所述虚拟镜头之间的距离的远近，调整瞳孔尺寸减小和增大，如此，可以使得虚拟形象的注视效果与真人的注视效果更加一致，有利于提高虚拟形象在多种3D场景中的美感，进而提升用户的观看体验。
一种可选的实施方式中，所述方法还包括：
获取所述虚拟形象的眼眶的位置信息，以及所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置信息；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置。
本公开实施例中，基于虚拟形象的眼球与虚拟镜头之间的距离，调整虚拟形象的眼球在眼眶中的位置，如此，可以在虚拟形象移动的过程中对眼球的位置进行调整，如此，可以使得虚拟形象的注视效果与真人的注视效果更加一致，有利于保持虚拟形象的美感，进而提升用户的视觉体验。
一种可选的实施方式中，所述方法还包括：
获取所述虚拟形象的眼球的眼白尺寸；
在所述虚拟形象的眼球的眼白尺寸不符合预设尺寸的情况下，调整所述虚拟形象的眼皮遮挡所述虚拟形象的眼球的范围。
本公开实施例中，在虚拟形象的眼球的眼白尺寸不符合预设尺寸，则调整眼皮遮挡所述虚拟形象的眼球的范围，如此，可以使得虚拟形象的眼部状态与真人的眼部状态更加一致，有利于保持虚拟形象的美感，进而提升用户的视觉体验。
本公开实施例还提供一种注视方向优化装置，所述装置包括：
确定模块，用于获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；
判断模块，用于基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；
调整模块，用于在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息，所述虚拟形象的注视方向符合预设要求是指，所述虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角小于第一预设角度。
一种可选的实施方式中，所述虚拟镜头信息包括镜头朝向；所述判断模块具体用于：
在所述面部朝向与所述镜头朝向的反方向之间的夹角小于第二预设角度，且所述面部朝向在预设时间内的变化小于预设范围的情况下，基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整。
一种可选的实施方式中，所述判断模块具体用于：
判断所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角是否大于第三预设角度；
在所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角大于第三预设角度的情况下，确定需要对所述虚拟形象的注视方向进行调整。
一种可选的实施方式中，所述调整模块具体用于：
根据所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角，控制所述虚拟形象的眼球相对所述虚拟形象的眼眶转动，使得所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角小于所述第三预设角度。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息；所述调整模块还用于：
基于所述虚拟镜头的位置信息，确定所述虚拟形象的眼球与所述虚拟镜头之间的距离；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸。
一种可选的实施方式中，所述调整模块具体用于：
在所述虚拟形象的眼球与所述虚拟镜头之间的距离增大的情况下，减小所述虚拟形象的眼球的瞳孔尺寸；或者，
在所述虚拟形象的眼球与所述虚拟镜头之间的距离减小的情况下，增大所述虚拟形象的眼球的瞳孔尺寸。
一种可选的实施方式中，所述调整模块还用于：
获取所述虚拟形象的眼眶的位置信息，以及所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置信息；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置。
一种可选的实施方式中，所述调整模块还用于：
获取所述虚拟形象的眼球的眼白尺寸；
在所述虚拟形象的眼球的眼白尺寸不符合预设尺寸的情况下，调整所述虚拟形象的眼皮遮挡所述虚拟形象的眼球的范围。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述注视方向优化方法。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述注视方向优化方法。
关于上述注视方向优化装置、电子设备、及计算机可读存储介质的效果描述参见上述注视方向优化方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种注视方向优化方法的执行主体的示意图；
图2为本公开实施例所提供的一种注视方向优化方法的流程图；
图3为本公开实施例所提供的一种虚拟形象头部与虚拟镜头的示意图；
图4为本公开实施例所提供的一种虚拟形象的面部朝向与虚拟镜头的镜头朝向的示意图；
图5为本公开实施例所提供的一种判断是否需要对虚拟形象的注视方向进行调整的方法流程图；
图6为本公开实施例所提供的一种虚拟形象的注视方向与虚拟镜头的镜头朝向的示意图；
图7为本公开实施例所提供的一种对虚拟形象的眼球进行调整方法的流程图；
图8为本公开实施例所提供的另一种对虚拟形象的眼球进行调整方法的流程图；
图9为本公开实施例所提供的另一种注视方向优化方法的流程图；
图10为本公开实施例所提供的一种调整虚拟形象的眼皮遮挡眼球的范围的示意图；
图11为本公开实施例所提供的一种注视方向优化装置的结构示意图；
图12为本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
近年来，虚拟形象直播在视频直播业务中占据着越来越大的比例，虚拟形象直播是以特定的虚拟形象替代主播的真实形象进行视频直播，具体的，通过外置硬件设备获取关于演员(中之人)的动作表情数据的控制信号，并驱动3D引擎中的虚拟形象动作。
然而，由于演员并不能确定虚拟形象所处的3D场景中的虚拟镜头的具体位置，在演员驱动虚拟形象进行直播的过程中，若演员的注视方向偏离虚拟镜头方向，则会导致虚拟形象的注视方向偏离虚拟镜头方向或者出现眼神涣散的情况，进而影响用户的观看体验。
基于上述研究，本公开实施例提供了一种注视方向优化方法，该方法包括：获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求。
在一些实施方式中，本公开实施例提供的注视方向优化方法可以应用于电子设备中，所述电子设备用于运行3D渲染环境，所述3D渲染环境中包含3D场景信息，所述3D场景信息用于渲染后生成3D场景，所述3D场景信息包含至少一个虚拟形象信息及至少一个虚拟镜头，所述虚拟形象信息用于渲染后生成虚拟形象，所述虚拟形象通过动作捕捉设备捕捉的控制信息驱动。
其中，3D渲染环境可以是运行于电子设备中的3D引擎，能够基于待渲染数据生成基于一个或者多个视角的影像信息。虚拟形象信息是指存在于3D引擎中的形象模型，能够在渲染后生成相应的虚拟形象。虚拟形象可以包括虚拟人物形象、虚拟动物形象、虚拟卡通形象等，在此不做限定。
3D场景信息可以运行于计算机CPU(Central Processing Uni，中央处理器)、GPU(Graphics Processing Unit，图形处理器)以及存储器中，其包含网格化的模型信息以及和贴图纹理信息。相应地，作为示例，虚拟形象数据和虚拟对象数据包含但不限于网格化的模型数据、体素数据及贴图纹理数据或者其组合。其中，网格包括但不限于三角形网格、四边形网格、其他多边形网格或者其组合。
示例性地，可以通过动作捕捉设备获取虚拟形象的各个部位的控制信息。其中，动作捕捉设备包括穿在演员身体上衣服及戴在演员手上的手套等。其中，衣服用于捕捉演员的肢体动作，手套用于捕捉演员的手部动作。具体的，该动作捕捉设备包含多个待识别特征点，该多个待识别特征点可以与演员骨骼的关键点对应。例如，可以在动作捕捉设备与演员骨骼的各个关节(如膝关节、肘关节、指关节)对应处设置特征点，该特征点可以通过特定材料(如纳米材料)制成，进而可以通过摄像头来获取该多个特征点的位置信息，得到控制信息。
相应地，为了实现对虚拟形象的驱动，虚拟形象包含了与该多个待识别特征点匹配的受控特征点，例如，演员的肘关节的待识别特征点与虚拟形象的肘关节受控点相匹配，也即，演员的骨骼关键点与虚拟形象的骨骼关键点之间存在一一对应的关系，如此，在获取到演员的肘关节的待识别特征点的控制信息后，即可驱动虚拟形象的肘关节相应的改变，进而由有多个受控点的变化形成虚拟形象的动作变化。
本公开实施例中，基于虚拟形象在3D场景中的面部朝向以及3D场景中的虚拟镜头信息，判断是否需要对虚拟形象的注视方向进行调整，并在需要对虚拟形象的注视方向进行调整的情况下，对虚拟形象的眼球进行调整，如此，可以使得虚拟形象的注视方向更加符合预设要求，进而可以提升用户观看虚拟形象的视觉体验。
请参阅图1，为本公开实施例所提供的一种注视方向优化方法的执行主体的示意图，该方法的执行主体为电子设备100，其中电子设备100可以包括终端和服务器。例如，该方法可应用于终端中，终端可以是图1中所示智能手机10、台式计算机20、笔记本电脑30等，还可以是图1中未示出的智能音箱、智能手表、平板电脑等，并不限定。该方法还可应用于服务器40，或者可应用于由终端和服务器40所组成的实施环境中。服务器40可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。
在另一些实施方式中，电子设备100还可以包括AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备、MR(Mixed Reality，混合现实)设备等。比如，AR设备可以是具有AR功能的手机或平板电脑，也可以是AR眼镜，在此不做限定。
需要说明的是，在一些实施方式中，服务器40可以通网络50分别与智能手机10、台式计算机20及笔记本电脑30进行通信。网络50可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
在一些实施方式中，该注视方向优化方法应用于电子设备(比如图1中的服务器40)，服务器40可以是游戏平台的服务器，也可以是直播平台的服务器，也即该虚拟形象可以是在本地电子设备中展示，还可以是在直播视频中所展示。在另一些实施方式中，该注视方向优化方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图2，图2为本公开实施例所提供的一种注视方向优化方法的流程图。如图2所示，本公开实施例提供的一种注视方向优化方法包括以下S101～S103：
S101，获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向。
其中，面部朝向是指在3D场景中以面部为平面，经过面部平面的中点，并垂直于面部A的中垂线的方向。
示例性地，头部控制信息由演员控制头部移动而产生，可以实时采集演员的头部动作数据，以获取虚拟形象的头部控制信息，进而根据头部控制信息，可以确定虚拟形象相对于3D场景的面部朝向。
具体的，可以通过演员头部的动作捕捉器(比如加速度传感器、陀螺仪)来获取演员的头部动作数据，以获取虚拟形象的头部控制信息，其中，头部控制信息不仅限于头部相对于身体的动作信息，例如，虚拟形象头部相对于身体的上下晃动或者转动等信息，还包括虚拟形象身体的移动而导致的头部相对于3D场景的移动信息，例如，因虚拟形象相对于3D场景的移动，而导致头部相对于3D场景的位置改变信息，在此不做限定。
需要说明的是，头部控制信息的获取并不限于演员头部上佩戴的动作捕捉器，还可以通过其它方式(比如摄像头)获取，在此不做限定。
S102，基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整。
其中，虚拟镜头信息包括虚拟镜头的位置信息以及虚拟镜头的镜头朝向信息，其中，所述虚拟镜头的位置信息是指虚拟镜头在3D场景中的位置信息，所述虚拟镜头的镜头朝向信息是可以变化的。
示例性地，请参见图3，图3为本公开实施例所提供的一种虚拟形象头部与虚拟镜头的示意图。如图3中所示，在3D场景中的虚拟镜头C相对于虚拟形象的头部B是存在一个方向的，具体的，该方向可以由虚拟镜头C的中心点与虚拟形象的头部B的中心点之间的连线L与预设的水平线M之间的夹角进行确定，并且虚拟镜头C可以相对于自身的位置进行转动(例如顺时针转动、逆时针转动或者上下摆动等)，如此，可以使得虚拟镜头C的镜头朝向发生变化。例如，虚拟镜头C的镜头朝向的变化可以由实线型的虚拟镜头C的朝向(即箭头C1所指的方向)变化至虚线型的虚拟镜头C的朝向(即箭头C2所指的方向)。
虚拟形象的面部A的朝向(即箭头A1所指的方向)是指以面部A为平面，过面部A的中点，并垂直于面部A的中垂线的方向，并且面部A的朝向是根据头部控制信息变化的。虚拟形象的注视方向(即箭头D所指的方向)可以通过控制眼球的转动进行改变。
可以理解，由于面部朝向与虚拟形象的注视方向是不同的，也即，可能存在虚拟形象的面部朝向某一方向，但是虚拟形象的注视方向是其它不同方向的情况，因此，可以首先根据虚拟形象的面部朝向以及虚拟镜头信息，判断是否需要对虚拟形象的注视方向进行调整。
需要注意的是，所述3D场景中的虚拟镜头的数量不做限定。
在一些实施方式中，在判断是否需要对虚拟形象的注视方向进行调整时，可以首先判断所述面部朝向与所述虚拟镜头位置相对于头部的方向之间的夹角是否小于第二预设角度，并且判断所述面部朝向在预设时间内的变化是否在预设范围内，若同时满足上述两个条件，则可以进一步基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整。
可以理解，若面部朝向与所述虚拟镜头位置相对于头部的方向之间的夹角小于第二预设角度，并且，若在预设时间内，面部朝向的变化小于预设范围，则可以认为此时面部朝向符合虚拟形象看向虚拟镜头时的朝向，此时，可以进一步根据虚拟形象的注视方向，判断是否需要对虚拟形象的注视方向进行调整。
其中，第二预设角度可以根据实际需求进行设置，例如10度、15度或者20度等，在此不做限定。在其它实施方式中，上述第二预设角度还可以是2度、3度、30度或者40度等，在此不做限定。
所述预设时间也可以根据实际需求进行设置，例如0.5秒、3秒或者5秒等，在此不做限定。在其它实施方式中，上述预设时间还可以是8秒或者10秒等，在此不做限定。
示例性地，请参见图4，图4为本公开实施例所提供的一种虚拟形象面部朝向与虚拟镜头的镜头朝向的示意图。如图4中所示，虚拟形象的面部A随着头部B运动，其中，如此，可以首先根据面部A的朝向(箭头A1所指的方向)以及所述虚拟镜头C的位置相对于头部B的方向之间的夹角β，判断面部朝向符合虚拟形象注视虚拟镜头C时的朝向，并且在预设时间内，面部A的朝向变化小于第二预设角度，此时，可以进一步根据虚拟形象的注视方向，判断是否需要对虚拟形象的注视方向进行调整，如此，可以提高判断的准确性。
S103，在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求。
在本实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息，所述虚拟形象的注视方向符合预设要求是指，所述虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角小于第一预设角度，如此，在调整后可以实现注视镜头的效果。
可以理解，将虚拟镜头位置相对于头部的方向作为基准，若虚拟形象的注视方向与所述虚拟镜头位置相对于头部的方向之间的夹角小于第一预设角度，则可以呈现出虚拟形象注视着虚拟镜头的效果，进而可以提升用户的观看体验。
示例性地，请再次参见图3，如图3中所示，虚拟镜头C相对于虚拟形象的头部B的方向为虚线L的箭头方向，第一预设角度可以是虚线M与虚线L之间的夹角φ，虚拟形象的注视方向为箭头D指向的方向，在箭头D的反向延长线与虚线L的夹角θ大于虚线M与虚线L之间的夹角φ时，则认为需要对注视方向进行调整。
在另一些实施方式中，所述虚拟形象的注视方向符合预设要求还可以是指，所述虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角大于其他预设角度等，如此可以在调整后达到所期望的效果。比如，根据虚拟形象的个体特征、虚拟形象所处的3D场景、表演内容或者表演形式，可以将虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角调整至大于某一预设角度，如此可以使得虚拟形象展现特定斜视效果，。
本公开实施例中，基于虚拟形象在3D场景中的面部朝向以及3D场景中的虚拟镜头信息，判断是否需要对虚拟形象的注视方向进行调整，并在需要对虚拟形象的注视方向进行调整的情况下，对虚拟形象的眼球进行调整，如此，可以使得虚拟形象的注视方向符合预设要求，进而可以提升用户观看虚拟形象的视觉体验。
在一些实施方式中，在基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整时，如图5中所示，可以包括以下S1021～S1022：
S1021，判断所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角是否大于第三预设角度。
S1022，在所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角大于第三预设角度的情况下，确定需要对所述虚拟形象的注视方向进行调整。
可以理解，由于虚拟形象的注视方向是朝向虚拟镜头的，因此，需要判断虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角是否大于第三预设角度，其中，所述第三预设角度可以是10度、15度或者20度等，在此不做限定。
示例性地，请参见图6，图6为本公开实施例所提供的一种虚拟形象的注视方向与虚拟镜头的镜头朝向的示意图。如图6中所示，第三预设角度为角α的角度，所述虚拟形象的注视方向(箭头D所指的方向)与虚拟镜头C的镜头朝向(箭头C1所指的方向)的反方向之间的夹角为角O，由于角O的角度大于角α的角度，也即角O的角度大于第三预设角度，则确定对虚拟形象的注视方向进行调整。
在本实施方式中，通过判断虚拟形象的注视方向是否符合大于第三预设角度，来确定是否需要对虚拟形象地注视方向进行调整，如此，可以避免在其它不需要调整的情况下进行判断的情况发生，进而节约资源。
在一些实施方式中，针对上述步骤S103，在对所述虚拟形象的眼球进行调整时，可以根据所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角，控制所述虚拟形象的眼球相对所述虚拟形象的眼眶转动，使得所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角小于所述第三预设角度。
示例性地，可以控制虚拟形象的眼球在眼眶中沿着两个眼球的连线方向进行转动，或者，控制虚拟形象的眼球在眼眶中沿着与两个眼球的连线方向垂直的方向进行转动，直至虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角小于所述第三预设角度。
在一些实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息；在对所述虚拟形象的眼球进行调整时，如图7中所示，还可以包括以下S1031～S1032：
S1031，基于所述虚拟镜头的位置信息，确定所述虚拟形象的眼球与所述虚拟镜头之间的距离。
S1032，在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸。
可以理解，在虚拟形象在直播或者在3D场景中表演的过程中，虚拟形象相对于3D场景的位置可能会不断的发生变化，进而导致虚拟形象的眼球与虚拟镜头之间的距离发生改变。因此，为了使得虚拟形象的眼球展示效果与真实主播类似，需要在虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸。
具体的，在所述虚拟形象的眼球与所述虚拟镜头之间的距离增大的情况下，也即，虚拟形象远离虚拟镜头的情况下，则减小所述虚拟形象的眼球的瞳孔尺寸；或者，在所述虚拟形象的眼球与所述虚拟镜头之间的距离减小的情况下，也即，虚拟形象靠近虚拟镜头的情况下，增大所述虚拟形象的眼球的瞳孔尺寸。
本实施方式中，可以根据虚拟形象的眼球与虚拟镜头之间的距离的变化情况，实时改变虚拟形象的眼球的瞳孔尺寸，如此，可以适应虚拟形象在移动过程中，对眼球的瞳孔进行实时调整，如此，可以使得直播过程中的虚拟形象眼部与直播过程中的真人眼部更加一致，进而可以提升用户的观看体验。
在另一些实施方式中，在对所述虚拟形象的眼球进行调整时，如图8中所示，还可以包括以下S103A～S103B：
S103A，获取所述虚拟形象的眼眶的位置信息，以及所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置信息。
其中，所述虚拟形象的眼眶的位置信息是指虚拟形象的眼眶在虚拟形象的头部的位置信息，由于在创建虚拟形象模型时，虚拟形象的眼眶的位置信息已经确定好，因此，在确定虚拟形象头部位置后，即可确定所述虚拟形象的眼眶的位置信息，以及虚拟形象的眼球在眼眶中的位置信息。
S103B，在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置。
可以理解，调整虚拟形象的眼球在虚拟形象的眼眶中的位置可以使得两个眼球之间的相对距离变得更近或者更远，还可以使得眼球更靠近眼眶的顶部，或者更靠近眼眶的底部，其中眼眶顶部是指靠近头顶的部位。
示例性地，随着虚拟形象在3D环境中的移动，例如，若虚拟形象靠近虚拟镜头，则虚拟形象的眼球也会靠近虚拟镜头，此时可以将虚拟形象的眼球的位置向眼眶的内侧调整，如此，在靠近镜头时，便可以使得呈现出的虚拟形象的眼部状态更加符合真人演员的眼部状态，进而提升用户的视觉体验。
请参见图9，图9为本公开实施例所提供的另一种注视方向优化方法，与图2中所示的方法不同的是，本公开实施例提供的注视方向优化方法还包括以下S104～S105：
S104，获取所述虚拟形象的眼球的眼白尺寸。
S105，在所述虚拟形象的眼球的眼白尺寸不符合预设尺寸的情况下，改变所述虚拟形象的眼皮遮挡所述虚拟形象的眼球的范围。
其中，预设尺寸可以根据实际需求进行设置，例如，0.2平方厘米、0.3平方厘米或者0.5平方厘米等，在此不做限定。在其他实施方式中，预设尺寸还可以是0.8平方厘米、1平方厘米或者1.2平方厘米等，在此不做限定。
为了使得注视方向调整过程中呈现出的虚拟形象眼球的视觉效果与真人眼球的视觉效果更加贴合，以及保持虚拟形象眼球的美感，可以实时获取虚拟形象露出的眼白尺寸，并在虚拟形象露出的眼白尺寸不符合预设尺寸的情况下，对虚拟形象的眼皮遮挡眼球的范围进行调整。
示例性地，请参见图10，图10为本公开实施例所提供的一种调整眼白的示意图。如图10中所示，区域S为眼白区域，若在调整眼球的注视方向的过程中，使得眼球露出的眼白尺寸超过预设尺寸，则可以增大眼皮遮挡眼球的范围，以使虚拟形象露出的眼白尺寸减小，如此，便可以保持虚拟形象的眼部与真人的眼部更加一致，进而提升用户的观看体验。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与注视方向优化方法对应的注视方向优化装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述注视方向优化方法相似，因此装置的实施可以参阅方法的实施，重复之处不再赘述。
请参阅图11，为本公开实施例提供的一种注视方向优化装置的结构示意图，所述装置包括：确定模块410、判断模块420以及调整模块430；其中，
确定模块410，用于获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；
判断模块420，用于基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；
调整模块430，用于在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息，所述虚拟形象的注视方向符合预设要求是指，所述虚拟形象的注视方向与所述虚拟镜头的位置信息相对于所述虚拟形象的头部的方向之间的夹角小于第一预设角度。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头位置相对于头部的方向；所述判断模块420具体用于：
在所述面部朝向与所述镜头朝向的反方向之间的夹角小于第二预设角度，且所述面部朝向在预设时间内的变化小于预设范围的情况下，基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整。
一种可选的实施方式中，所述判断模块420具体用于：
判断所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角是否大于第三预设角度；
在所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角大于第三预设角度的情况下，确定需要对所述虚拟形象的注视方向进行调整。
一种可选的实施方式中，所述调整模块430具体用于：
根据所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角，控制所述虚拟形象的眼球相对所述虚拟形象的眼眶转动，使得所述虚拟形象的注视方向与所述镜头朝向的反方向之间的夹角小于所述第三预设角度。
一种可选的实施方式中，所述虚拟镜头信息包括虚拟镜头的位置信息；所述调整模块430具体还用于：
基于所述虚拟镜头的位置信息，确定所述虚拟形象的眼球与所述虚拟镜头之间的距离；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸。
一种可选的实施方式中，所述调整模块430具体用于：
在所述虚拟形象的眼球与所述虚拟镜头之间的距离增大的情况下，减小所述虚拟形象的眼球的瞳孔尺寸；或者，
在所述虚拟形象的眼球与所述虚拟镜头之间的距离减小的情况下，增大所述虚拟形象的眼球的瞳孔尺寸。
一种可选的实施方式中，所述调整模块430具体还用于：
获取所述虚拟形象的眼眶的位置信息，以及所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置信息；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置。
一种可选的实施方式中，所述调整模块430还用于：
获取所述虚拟形象的眼球的眼白尺寸；
在所述虚拟形象的眼球的眼白尺寸不符合预设尺寸的情况下，改变所述虚拟形象的眼皮遮挡所述虚拟形象的眼球的范围。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图12所示，为本公开实施例提供的电子设备800的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换。
本申请实施例中，存储器802具体用于存储执行本申请方案的应用程序代码，并由处理器801来控制执行。也即，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801执行存储器802中存储的应用程序代码，进而执行前述任一实施例中的方法。
处理器801可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，存储器802可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备800的具体限定。在本申请另一些实施例中，电子设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的注视方向优化方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的注视方向优化方法的步骤，具体可参阅上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和终端的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、终端和方法，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种注视方向优化方法，其特征在于，包括：
获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；
基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；所述虚拟镜头信息包括虚拟镜头的位置；
在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求；所述虚拟形象的注视方向符合预设要求是指，所述虚拟形象的注视方向与第一方向之间的夹角小于第一预设角度，其中，所述第一方向是指从所述虚拟形象的头部位置到所述虚拟镜头的位置的射线方向；
获取所述虚拟形象的眼球的眼白尺寸；
在所述虚拟形象的眼球的眼白尺寸不符合预设尺寸的情况下，调整所述虚拟形象的眼皮遮挡所述虚拟形象的眼球的范围。
2.根据权利要求1所述的方法，其特征在于，所述虚拟镜头信息还包括镜头朝向；所述基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整，包括：
在所述面部朝向与第二方向之间的夹角小于第二预设角度，且所述面部朝向在预设时间内的变化小于预设范围的情况下，基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整，其中，所述第二方向为所述镜头朝向的反方向。
3.根据权利要求2所述的方法，其特征在于，所述基于所述虚拟形象的注视方向，判断是否需要对所述虚拟形象的注视方向进行调整，包括：
判断所述虚拟形象的注视方向与所述第二方向之间的夹角是否大于第三预设角度；
在所述虚拟形象的注视方向与所述第二方向之间的夹角大于第三预设角度的情况下，确定需要对所述虚拟形象的注视方向进行调整。
4.根据权利要求3所述的方法，其特征在于，所述对所述虚拟形象的眼球进行调整，包括：
根据所述虚拟形象的注视方向与所述第二方向之间的夹角，控制所述虚拟形象的眼球相对所述虚拟形象的眼眶转动，使得所述虚拟形象的注视方向与所述第二方向之间的夹角小于所述第三预设角度。
5.根据权利要求1所述的方法，其特征在于，所述虚拟镜头信息包括虚拟镜头的位置信息；所述对所述虚拟形象的眼球进行调整还包括：
基于所述虚拟镜头的位置信息，确定所述虚拟形象的眼球与所述虚拟镜头之间的距离；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸。
6.根据权利要求5所述的方法，其特征在于，所述在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球的瞳孔尺寸，包括：
在所述虚拟形象的眼球与所述虚拟镜头之间的距离增大的情况下，减小所述虚拟形象的眼球的瞳孔尺寸；或者，
在所述虚拟形象的眼球与所述虚拟镜头之间的距离减小的情况下，增大所述虚拟形象的眼球的瞳孔尺寸。
7.根据权利要求1所述的方法，其特征在于，所述对所述虚拟形象的眼球进行调整，还包括：
获取所述虚拟形象的眼眶的位置信息，以及所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置信息；
在所述虚拟形象的眼球与所述虚拟镜头之间的距离发生变化的情况下，调整所述虚拟形象的眼球在所述虚拟形象的眼眶中的位置。
8.一种注视方向优化装置，其特征在于，包括：
确定模块，用于获取虚拟形象的头部控制信息，并基于所述头部控制信息确定所述虚拟形象在3D场景中的面部朝向；
判断模块，用于基于所述面部朝向以及所述3D场景中的虚拟镜头信息，判断是否需要对所述虚拟形象的注视方向进行调整；所述虚拟镜头信息包括虚拟镜头的位置；
调整模块，用于在确定需要对所述虚拟形象的注视方向进行调整的情况下，对所述虚拟形象的眼球进行调整，使得所述虚拟形象的注视方向符合预设要求；所述虚拟形象的注视方向符合预设要求是指，所述虚拟形象的注视方向与第一方向之间的夹角小于第一预设角度，其中，所述第一方向是指从所述虚拟形象的头部位置到所述虚拟镜头的位置的射线方向；
所述调整模块还用于获取所述虚拟形象的眼球的眼白尺寸；
在所述虚拟形象的眼球的眼白尺寸不符合预设尺寸的情况下，调整所述虚拟形象的眼皮遮挡所述虚拟形象的眼球的范围。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任意一项所述的注视方向优化方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任意一项所述的注视方向优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111510646.0A CN114201046B (zh) | 2021-12-10 | 2021-12-10 | 注视方向优化方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111510646.0A CN114201046B (zh) | 2021-12-10 | 2021-12-10 | 注视方向优化方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114201046A CN114201046A (zh) | 2022-03-18 |
| CN114201046B true CN114201046B (zh) | 2023-12-01 |
Family
ID=80652544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111510646.0A Active CN114201046B (zh) | 2021-12-10 | 2021-12-10 | 注视方向优化方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114201046B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105031919A (zh) * | 2010-03-30 | 2015-11-11 | 索尼电脑娱乐美国公司 | 用于增强现实角色维持并体现观察者的认知的方法 |
| JP2018075260A (ja) * | 2016-11-10 | 2018-05-17 | 株式会社バンダイナムコエンターテインメント | ゲームシステム及びプログラム |
| JP2018163637A (ja) * | 2017-09-08 | 2018-10-18 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 |
| CN111738967A (zh) * | 2020-05-21 | 2020-10-02 | 完美世界(北京)软件科技发展有限公司 | 模型生成方法和装置、存储介质和电子装置 |
| CN113413594A (zh) * | 2021-06-24 | 2021-09-21 | 网易（杭州）网络有限公司 | 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备 |
| CN113426110A (zh) * | 2021-06-24 | 2021-09-24 | 腾讯科技（上海）有限公司 | 虚拟角色交互方法、装置、计算机设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7388580B2 (en) * | 2004-05-07 | 2008-06-17 | Valve Corporation | Generating eyes for a character in a virtual environment |
| KR101979669B1 (ko) * | 2012-07-13 | 2019-05-17 | 삼성전자주식회사 | 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 |
-
2021
- 2021-12-10 CN CN202111510646.0A patent/CN114201046B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105031919A (zh) * | 2010-03-30 | 2015-11-11 | 索尼电脑娱乐美国公司 | 用于增强现实角色维持并体现观察者的认知的方法 |
| JP2018075260A (ja) * | 2016-11-10 | 2018-05-17 | 株式会社バンダイナムコエンターテインメント | ゲームシステム及びプログラム |
| JP2018163637A (ja) * | 2017-09-08 | 2018-10-18 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 |
| CN111738967A (zh) * | 2020-05-21 | 2020-10-02 | 完美世界(北京)软件科技发展有限公司 | 模型生成方法和装置、存储介质和电子装置 |
| CN113413594A (zh) * | 2021-06-24 | 2021-09-21 | 网易（杭州）网络有限公司 | 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备 |
| CN113426110A (zh) * | 2021-06-24 | 2021-09-24 | 腾讯科技（上海）有限公司 | 虚拟角色交互方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114201046A (zh) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10739849B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
| US10720128B2 (en) | Real-time user adaptive foveated rendering | |
| US11836289B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
| CN112150638B (zh) | 虚拟对象形象合成方法、装置、电子设备和存储介质 | |
| US9832451B2 (en) | Methods for reduced-bandwidth wireless 3D video transmission | |
| JP6632443B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
| CN109683701A (zh) | 基于视线跟踪的增强现实交互方法和装置 | |
| KR20080069601A (ko) | 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체 | |
| CN114612643B (zh) | 虚拟对象的形象调整方法、装置、电子设备及存储介质 | |
| CN114745598B (zh) | 视频数据展示方法、装置、电子设备及存储介质 | |
| US10595001B2 (en) | Apparatus for replaying content using gaze recognition and method thereof | |
| CN115917474A (zh) | 在三维环境中呈现化身 | |
| CN111111173A (zh) | 虚拟现实游戏的信息显示方法、装置和存储介质 | |
| US20240163528A1 (en) | Video data generation method and apparatus, electronic device, and readable storage medium | |
| KR20200111119A (ko) | 가상 종이 | |
| CN114401442A (zh) | 视频直播及特效控制方法、装置、电子设备及存储介质 | |
| KR102503337B1 (ko) | 이미지 디스플레이 방법, 장치 및 시스템 | |
| WO2017061890A1 (en) | Wireless full body motion control sensor | |
| CN114820915A (zh) | 渲染剪影光的方法、装置、存储介质及电子装置 | |
| CN114201046B (zh) | 注视方向优化方法、装置、电子设备及存储介质 | |
| CN108027646B (zh) | 一种终端显示防抖方法及装置 | |
| CN112630964A (zh) | 头戴式显示系统及其场景扫描方法 | |
| CN110400375A (zh) | 混合现实交互系统 | |
| CN114237396B (zh) | 动作调整方法、装置、电子设备及可读存储介质 | |
| CN110928403A (zh) | 相机模块及其相关系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |