CN114265543A - 一种虚拟数字人视线追随交互方法 - Google Patents
一种虚拟数字人视线追随交互方法 Download PDFInfo
- Publication number
- CN114265543A CN114265543A CN202111631415.5A CN202111631415A CN114265543A CN 114265543 A CN114265543 A CN 114265543A CN 202111631415 A CN202111631415 A CN 202111631415A CN 114265543 A CN114265543 A CN 114265543A
- Authority
- CN
- China
- Prior art keywords
- virtual digital
- user
- human
- virtual
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开一种虚拟数字人视线追随交互方法，本方法通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人，然后应用在后，视频在前，点击透传，边缘融合，最后采用响应状态和跟随状态两种方式实现虚拟数字人与应用及用户的交互，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动。本发明使虚拟数字人与应用软件界面更加自然融合，根据应用内容及用户状态使虚拟数字人与用户之间交互自然。
Description
技术领域
本发明涉及一种高仿真虚拟数字人视线追随交互方法，属于机器视觉与服务机器人领域。
背景技术
基于对抗神经网络的生成式仿真虚拟数字人技术已经非常成熟，通过人眼几乎辨别不同现实中的真人视频与生成的数字人视频之间的差异。技术上，虚拟数字人是一段根据发音内容动态生成的视频片段，非实时应用如虚拟主播，实时应用如对话式虚拟数字人。
实时应用中，虚拟数字人视线追随对于提升其用户体验性至关重要，用户点击控件时进行视线追随、非响应状态时虚拟人视线用于用户身体等可以有效提升交互体验性，但是，如果虚拟人视线呆呆地看着用户也影响体验效果，故应根据身体区域重要性不同（如脸部应更多关注），以一定的概率密度函数进行随机抽样获得视线焦点位置，从而使得眼睛更加有神。
发明内容
为解决使虚拟数字人与应用软件界面更加自然融合，根据应用内容及用户状态使虚拟数字人与用户之间交互自然，本发明提出一种虚拟数字人视线追随交互方法。
为了解决所述技术问题，本发明采用的技术方案是：一种虚拟数字人视线追随交互方法，包括以下步骤：
S01）、通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人；
S02）、以定制的应用界面为背景，虚拟数字人的非透明部分显示在应用界面前方并具有可阻挡用户点击事件的能力，虚拟数字人的透明部分也显示在应用界面前方并具有可透过用户点击事件的能力；
S03）、获取与虚拟数字人边缘像素临近的应用背景像素后进行平滑处理，达到虚拟自然人与应用背景的自然融合；
S04）、虚拟数字人与应用及用户的交互方式分为响应状态和跟随状态两种，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动，即处于自然跟随模式。
进一步的，步骤S04）中，当虚拟数字人处于跟随状态时，通过设备参数和人脸/人体算法计算交互用户与虚拟数字人的相对空间位置，通过概率分布函数控制虚拟数字人的眼睛视线交点作用于用户身体区域，以使得虚拟数字人的眼睛更加有自然有神。
进一步的，采用高斯-瑞利联合概率密度分布函数进行控制虚拟数字人的视线交点位置，其中，在摄像头人像检测信息上用户身体中心线水平左右对称方向通过高斯函数确定x的随机值，在摄像头人像检测信息上用户头部上边缘垂直向下方向由瑞利函数确定y的随机值，然后通过均匀分布仿真上述高斯水平分布及瑞利垂直分布，从而确定虚拟数字人视线作用区域的水平均匀分布边界和垂直均匀分布边界。
进一步的，在响应状态虚拟数字人视线追随时，对设备摄像头人体检测区域进行均匀分块量化编码形成N块区域，通过高斯-瑞利联合概率密度分布函数取得第i块的水平方向高斯分布概率值Xi及垂直方向瑞利分布概率值Yi，假定第i块的被选中的概率在几何上体现为长为Xi宽为Yi的矩形，依照蒙特卡洛方法对N块区域进行随机选取，即可确定当前时刻的虚拟数字人视线交点位置（x, y, z）。
进一步的，步骤S04）中，通过NLP或用户触控确定用户意图及目标控件。
进一步的，步骤S01）中，用户点击事件包括鼠标点击或触控动作。
进一步的，步骤S03）中，通过高斯滤波进行平滑处理。
本发明的有益效果：发明所述虚拟数字人交互方法主要是针对服务机器人、自助设备应用中，使虚拟数字人占用更少的非应用界面屏幕空间，更加自然地与背景应用像素融合，特别是通过视线追随使虚拟人更加自然地与用户或应用进行互动，从而形成更加自然地人机交互体验。
附图说明
图1为跟随状态下确定虚拟数字人视线交点位置的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种虚拟数字人视线追随交互方法，主要针对服务机器人、自助设备应用中，包括以下步骤：
S01）、通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人；
S02）、以定制的IE浏览器及网页界面等应用界面为背景，虚拟数字人的非透明部分显示在应用界面前方并具有可阻挡用户点击事件的能力，虚拟数字人的透明部分也显示在应用界面前方并具有可透过用户点击事件的能力；
本实施例中，用户点击事件包括鼠标点击或触控动作。
S03）、由于身体处于动态状态的虚拟数字人边缘像素与应用界面背景存在较大差异，在获取与虚拟数字人边缘像素临近的应用背景像素后进行平滑处理，达到虚拟自然人与应用背景的自然融合；
本实施例中，通过高斯滤波进行平滑处理。
S04）、虚拟数字人与应用及用户的交互方式分为响应状态和跟随状态两种，响应状态下，虚拟数字人需要交互方（用户）确认应用界面中的功能要素，自己的头部或手势有相应的转向运动，如指向或注视应用界面中的某一控件，在通过NLP或用户触控确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动，即处于自然跟随模式。
步骤S04）中，当虚拟数字人处于跟随状态时，通过设备参数和人脸/人体算法计算交互用户与虚拟数字人的相对空间位置，通过概率分布函数控制虚拟数字人的眼睛视线交点作用于用户身体区域，以使得虚拟数字人的眼睛更加有自然有神。
本实施例采用高斯-瑞利联合概率密度分布函数进行控制虚拟数字人的视线交点位置，如图1所示，在摄像头人像检测信息上用户身体中心线水平左右对称方向通过高斯函数确定x的随机值，在摄像头人像检测信息上用户头部上边缘垂直向下方向由瑞利函数确定y的随机值，然后通过均匀分布仿真上述高斯水平分布及瑞利垂直分布，从而确定虚拟数字人视线作用区域的水平均匀分布边界和垂直均匀分布边界。
在响应状态虚拟数字人视线追随时，对设备摄像头人体检测区域进行均匀分块量化编码形成N块区域，通过高斯-瑞利联合概率密度分布函数取得第i块的水平方向高斯分布概率值Xi及垂直方向瑞利分布概率值Yi，假定第i块的被选中的概率在几何上体现为长为Xi宽为Yi的矩形，依照蒙特卡洛方法对N块区域进行随机选取，即可确定当前时刻的虚拟数字人视线交点位置（x, y, z）。
本实施例所述方法使虚拟数字人占用更少的非应用界面屏幕空间，更加自然地与背景应用像素融合，特别是通过视线追随使虚拟人更加自然地与用户或应用进行互动，从而形成更加自然地自然人机交互体验。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的变化范围。
Claims (7)
1.一种虚拟数字人视线追随交互方法，其特征在于：包括以下步骤：
S01）、通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人；
S02）、以定制的应用界面为背景，虚拟数字人的非透明部分显示在应用界面前方并具有可阻挡用户点击事件的能力，虚拟数字人的透明部分也显示在应用界面前方并具有可透过用户点击事件的能力；
S03）、获取与虚拟数字人边缘像素临近的应用背景像素后进行平滑处理，达到虚拟自然人与应用背景的自然融合；
S04）、虚拟数字人与应用及用户的交互方式分为响应状态和跟随状态两种，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动，即处于自然跟随模式。
2.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S04）中，当虚拟数字人处于跟随状态时，通过设备参数和人脸/人体算法计算交互用户与虚拟数字人的相对空间位置，通过概率分布函数控制虚拟数字人的眼睛视线交点作用于用户身体区域，以使得虚拟数字人的眼睛更加有自然有神。
3.根据权利要求2所述的虚拟数字人视线追随交互方法，其特征在于：采用高斯-瑞利联合概率密度分布函数进行控制虚拟数字人的视线交点位置，其中，在摄像头人像检测信息上用户身体中心线水平左右对称方向通过高斯函数确定x的随机值，在摄像头人像检测信息上用户头部上边缘垂直向下方向由瑞利函数确定y的随机值，然后通过均匀分布仿真上述高斯水平分布及瑞利垂直分布，从而确定虚拟数字人视线作用区域的水平均匀分布边界和垂直均匀分布边界。
4.根据权利要求3所述的虚拟数字人视线追随交互方法，其特征在于：在响应状态虚拟数字人视线追随时，对设备摄像头人体检测区域进行均匀分块量化编码形成N块区域，通过高斯-瑞利联合概率密度分布函数取得第i块的水平方向高斯分布概率值Xi及垂直方向瑞利分布概率值Yi，假定第i块的被选中的概率在几何上体现为长为Xi宽为Yi的矩形，依照蒙特卡洛方法对N块区域进行随机选取，即可确定当前时刻的虚拟数字人视线交点位置（x,y, z）。
5.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S04）中，通过NLP或用户触控确定用户意图及目标控件。
6.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S01）中，用户点击事件包括鼠标点击或触控动作。
7.根据权利要求1所述的虚拟数字人视线追随交互方法，其特征在于：步骤S03）中，通过高斯滤波进行平滑处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111631415.5A CN114265543A (zh) | 2021-12-29 | 2021-12-29 | 一种虚拟数字人视线追随交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111631415.5A CN114265543A (zh) | 2021-12-29 | 2021-12-29 | 一种虚拟数字人视线追随交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114265543A true CN114265543A (zh) | 2022-04-01 |
Family
ID=80831108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111631415.5A Pending CN114265543A (zh) | 2021-12-29 | 2021-12-29 | 一种虚拟数字人视线追随交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114265543A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115390678A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| CN117115321A (zh) * | 2023-10-23 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 虚拟人物眼睛姿态的调整方法、装置、设备及存储介质 |
-
2021
- 2021-12-29 CN CN202111631415.5A patent/CN114265543A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115390678A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| CN115390678B (zh) * | 2022-10-27 | 2023-03-31 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| CN117115321A (zh) * | 2023-10-23 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 虚拟人物眼睛姿态的调整方法、装置、设备及存储介质 |
| CN117115321B (zh) * | 2023-10-23 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 虚拟人物眼睛姿态的调整方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132162B2 (en) | Gaze-based user interactions | |
| US11054907B2 (en) | Friction modulation for three dimensional relief in a haptic device | |
| CN114265543A (zh) | 一种虚拟数字人视线追随交互方法 | |
| KR20220040493A (ko) | 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| US20140015831A1 (en) | Apparatus and method for processing manipulation of 3d virtual object | |
| US20100053151A1 (en) | In-line mediation for manipulating three-dimensional content on a display device | |
| US20100128112A1 (en) | Immersive display system for interacting with three-dimensional content | |
| CN106325517A (zh) | 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备 | |
| KR20150040580A (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| CN111937045A (zh) | 信息处理装置、信息处理方法和记录介质 | |
| CN106774824A (zh) | 虚拟现实交互方法及装置 | |
| Jo et al. | Chili: viewpoint control and on-video drawing for mobile video calls | |
| CN107179876A (zh) | 基于虚拟现实系统的人机交互装置 | |
| KR101722947B1 (ko) | 4차원 효과를 구현할 수 있는 가상현실 시스템 및 그 4차원 효과 처리방법 | |
| JPH0648458B2 (ja) | 情報入力装置 | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| CN106125927A (zh) | 图像处理系统及方法 | |
| CN116339517A (zh) | 基于机器人的闭环双向交互数字孪生系统及其构建方法 | |
| Zhu et al. | Keyboard before head tracking depresses user success in remote camera control | |
| CN105933690A (zh) | 一种自适应调整3d画面内容大小的方法和装置 | |
| CN113552947A (zh) | 虚拟场景的显示方法、装置和计算机可读存储介质 | |
| CN108388351B (zh) | 一种混合现实体验系统 | |
| JP7300569B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN103076873A (zh) | 一种计算机视觉控制窗口的自适应系统及方法 | |
| WO2023049111A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |