CN117608410B - 一种3d虚拟数字人的交互系统及方法 - Google Patents
一种3d虚拟数字人的交互系统及方法 Download PDFInfo
- Publication number
- CN117608410B CN117608410B CN202410066303.7A CN202410066303A CN117608410B CN 117608410 B CN117608410 B CN 117608410B CN 202410066303 A CN202410066303 A CN 202410066303A CN 117608410 B CN117608410 B CN 117608410B
- Authority
- CN
- China
- Prior art keywords
- virtual digital
- digital human
- stability
- preset
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 75
- 238000004458 analytical method Methods 0.000 claims description 74
- 230000006641 stabilisation Effects 0.000 claims description 54
- 238000011105 stabilization Methods 0.000 claims description 54
- 230000002452 interceptive effect Effects 0.000 claims description 46
- 230000002159 abnormal effect Effects 0.000 claims description 41
- 230000004044 response Effects 0.000 claims description 27
- 230000000903 blocking effect Effects 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 17
- 230000000087 stabilizing effect Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 7
- 230000037007 arousal Effects 0.000 claims description 4
- 238000007654 immersion Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
- G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及数据处理领域，具体涉及一种3D虚拟数字人的交互系统及方法，解决了现有的3D虚拟数字人的交互系统无法对控制3D虚拟数字人的指令进行调节，导致接收到的指令不够准确，导致人机交互效果不佳，而且无法对3D虚拟数字人投影过程中的稳定性进行监控，由于各种原因，可能会出现不稳定的情况，影响用户体验的问题；本发明提供的3D虚拟数字人的交互系统及方法，具有真实感和沉浸感强、交互方式多样，指令接收准确且高效的优点，能够广泛应用于游戏、影视、教育等领域，具有广泛的应用前景和市场前景，而且可以实时反馈3D虚拟数字人的状态和调整情况，使用户能够及时了解并进行调整，确保其稳定性，提高用户体验。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种3D虚拟数字人的交互系统及方法。
背景技术
随着计算机技术的不断发展，人机交互技术已经成为了研究的热点。然而，当前的人机交互技术大多基于传统的二维界面，缺乏真实感和沉浸感。因此，开发一种具有真实感和沉浸感的3D虚拟数字人交互系统及方法，具有重要的现实意义和应用价值。
申请号为CN202211665591.5的专利公开了一种3D虚拟数字人的交互系统及方法，包括移动终端设备和3D虚拟数字人成像设备，所述移动终端设备和3D虚拟数字人成像设备通过无线通讯的方式进行信号传输，所述3D虚拟数字人成像设备包括成像盒，所述成像盒内固定连接有双层式内盒。本发明的通过多个投影仪将移动终端设备中的TTSA人物模型播放的视频画面投射到成像柱上，呈现出3D虚拟数字人，使用者通过与3D虚拟数字人进行情景交流，TTSA人物模型通过识别感知模块和智能分析模块输出文本，驱动TTSA人物模型生成相应的语音与动作跟用户互动，而数字人的语音与动作所产生的视频画面，通过投影仪在成像柱显示出3D画面，从而提高虚拟数字人的交互的真实性。
但仍然存在以下不足之处：无法对控制3D虚拟数字人的指令进行调节，导致接收到的指令不够准确，导致人机交互效果不佳，而且无法对3D虚拟数字人投影过程中的稳定性进行监控，由于各种原因，可能会出现不稳定的情况，影响用户体验。
因此，开发一种3D虚拟数字人的交互系统及方法具有重要的现实意义和应用价值。
发明内容
为了克服上述的技术问题，本发明的目的在于提供一种3D虚拟数字人的交互系统及方法：通过模型建立模块建立3D虚拟数字人模型，通过指令预设模块根据实际需要，设定与3D虚拟数字人模型交互的指令，通过指令预设模块从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象，通过指令预设模块根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作，通过指令预设模块根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作，通过交互稳定模块获取3D虚拟数字人模型的稳定信息，稳定信息包括模型稳定系数、反应稳定系数，通过稳定分析模块根据稳定信息获得稳定值，并根据稳定值生成稳定异常指令，通过异常提示模块接收到稳定异常指令后响起异常铃声进行提示，解决了现有的3D虚拟数字人的交互系统无法对控制3D虚拟数字人的指令进行调节，导致接收到的指令不够准确，导致人机交互效果不佳，而且无法对3D虚拟数字人投影过程中的稳定性进行监控，由于各种原因，可能会出现不稳定的情况，影响用户体验的问题。
本发明的目的可以通过以下技术方案实现：
一种3D虚拟数字人的交互系统，包括：
人机交互模块，用于从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象；还用于根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作；还用于根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作；
交互稳定模块，用于获取3D虚拟数字人模型的稳定信息，并将稳定信息发送至稳定分析模块；其中，稳定信息包括模型稳定系数MW、反应稳定系数FY；
稳定分析模块，用于根据稳定信息获得稳定值WD，并根据稳定值WD生成稳定异常指令，并将稳定异常指令发送至异常提示模块；
所述稳定分析模块获得稳定值WD的具体过程如下：
将模型稳定系数MW、反应稳定系数FY进行量化处理，提取模型稳定系数MW、反应稳
定系数FY的数值，并将其代入公式中计算，依据公式得到稳定值WD，其中，e为数学常数，w1、w2分别
为设定的模型稳定系数MW、反应稳定系数FY对应的预设权重因子，w1、w2满足w2＞w1＞
1.385，取w1=1.63，w2=1.98；
所述稳定分析模块生成稳定异常指令的具体过程如下：
将稳定值WD与预设的稳定阈值WDy进行比较：
若稳定值WD≥稳定阈值WDy，则生成稳定异常指令，并将稳定异常指令发送至异常提示模块。
作为本发明进一步的方案：所述人机交互模块选出交互对象的具体过程如下：
将3D虚拟数字人模型进行投影并展示，获取3D虚拟数字人模型的投影位置，并将其标记为区域中心点，以区域中心点为圆心、预设长度为半径绘制圆形区域，并将其标记为监测区；
获取监测区内说话产生的唤起语音指令，并将产生唤起语音指令的位置标记为语音生成点，获取监测区内所有人员的位置，并将其标记为人员位置点；
将语音生成点和用户位置点进行比对：
若两者完全相同，则将用户位置点对应的用户标记为交互对象，控制3D虚拟数字人模型的正面正对交互对象。
作为本发明进一步的方案：所述人机交互模块根据交互对象的分析语音进行控制的具体过程如下：
获取交互对象说话产生的语音，并将其标记为分析语音，获取分析语音的声音强度，将分析语音的声音强度与预设的声音强度进行比对：若两者不相同，则调节分析语音的声音强度=预设的声音强度，之后将调节后的分析语音与语音指令进行比对：若分析语音中存在与语音指令相同的预设语音，则控制3D虚拟数字人模型按照预设语音做出相应的操作。
作为本发明进一步的方案：所述人机交互模块根据交互对象的动作视频进行控制的具体过程如下：
拍摄交互对象活动产生的动作视频，并将其标记为分析视频，获取分析视频的视频参数，视频参数包括亮度、色度、对比度、分辨率以及帧率，将分析视频的视频参数与预设的视频参数进行比对：若两者不相同，则分析视频的视频参数=预设的视频参数，之后将调节后的分析视频与动作指令进行比对：若分析视频中存在与动作指令相同的预设动作，则控制3D虚拟数字人模型按照预设动作做出相应的操作。
作为本发明进一步的方案：所述交互稳定模块获取模型稳定系数MW的具体过程如下：
获取3D虚拟数字人模型单位时间内的闪烁次数和卡顿次数，并将其分别标记为闪
次值SC和顿次值DC，将闪次值SC和顿次值DC进行量化处理，提取闪次值SC和顿次值DC的数
值，并将其代入公式中计算，依据公式得到模型稳定系数MW，
其中，c1、c2分别为设定的闪次值SC和顿次值DC对应的预设比例系数，c1、c2满足c1+c2=1，0
＜c2＜c1＜1，取c1=0.59，c2=0.41。
作为本发明进一步的方案：所述交互稳定模块获取反应稳定系数FY的具体过程如下：
获取控制3D虚拟数字人模型接收到唤起语音指令的时刻和控制3D虚拟数字人模
型的正面正对交互对象的时刻，获得两者之间的时间差值，并将其标记为唤起反应值HQ，获
取控制3D虚拟数字人模型接收到语音指令的时刻和控制3D虚拟数字人模型按照预设语音
做出相应的操作的时刻，获得两者之间的时间差值，并将其标记为语音反应值YY，获取控制
3D虚拟数字人模型接收到动作指令的时刻和控制3D虚拟数字人模型按照预设动作作出相
应的操作的时刻，获得两者之间的时间差值，并将其标记为动作反应值DZ，将唤起反应值
HQ、语音反应值YY以及动作反应值DZ进行量化处理，提取唤起反应值HQ、语音反应值YY以及
动作反应值DZ的数值，并将其代入公式中计算，依据公式得到反应稳定系数FY，其中，f1、f2以及f3分别为设定
的唤起反应值HQ、语音反应值YY以及动作反应值DZ对应的预设比例系数，f1、f2以及f3满足
f1+f2+f3=1，0＜f1＜f2＜f3＜1，取f1=0.29，f2=0.33，f3=0.38。
作为本发明进一步的方案：该3D虚拟数字人的交互系统还包括：
模型建立模块，用于建立3D虚拟数字人模型。
作为本发明进一步的方案：该3D虚拟数字人的交互系统还包括：
指令预设模块，用于设定与3D虚拟数字人模型交互的指令；
所述指令预设模块设定与3D虚拟数字人模型交互的指令的具体过程如下：
根据实际需要，设定与3D虚拟数字人模型交互的指令，包括动作指令、语言指令以及唤起语音指令，其中，动作指令为控制3D虚拟数字人模型按照预设动作作出相应的操作，语音指令为控制3D虚拟数字人模型按照预设语音做出相应的操作，唤起语音指令为控制3D虚拟数字人模型接收到预设唤起语音进行开机。
作为本发明进一步的方案：该3D虚拟数字人的交互系统还包括：
异常提示模块，用于接收到稳定异常指令后响起异常铃声进行提示。
作为本发明进一步的方案：一种3D虚拟数字人的交互方法，包括以下步骤：
步骤一：模型建立模块建立3D虚拟数字人模型；
步骤二：指令预设模块根据实际需要，设定与3D虚拟数字人模型交互的指令，包括动作指令、语言指令以及唤起语音指令；
步骤三：指令预设模块从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象；
步骤四：指令预设模块根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作；
步骤五：指令预设模块根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作；
步骤六：交互稳定模块获取3D虚拟数字人模型的稳定信息，稳定信息包括模型稳定系数MW、反应稳定系数FY，并将稳定信息发送至稳定分析模块；
步骤七：稳定分析模块根据稳定信息获得稳定值WD，并根据稳定值WD生成稳定异常指令，并将稳定异常指令发送至异常提示模块；
步骤八：异常提示模块接收到稳定异常指令后响起异常铃声进行提示。
本发明的有益效果：
本发明的一种3D虚拟数字人的交互系统及方法，通过模型建立模块建立3D虚拟数字人模型，通过指令预设模块根据实际需要，设定与3D虚拟数字人模型交互的指令，通过指令预设模块从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象，通过指令预设模块根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作，通过指令预设模块根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作；
通过交互稳定模块获取3D虚拟数字人模型的稳定信息，稳定信息包括模型稳定系数、反应稳定系数，通过稳定分析模块根据稳定信息获得稳定值，并根据稳定值生成稳定异常指令，通过异常提示模块接收到稳定异常指令后响起异常铃声进行提示；
该3D虚拟数字人的交互系统首先建立3D虚拟数字人模型，并预先输入控制3D虚拟数字人模型的交互指令，并通过调节分析语音的声音强度=预设的声音强度，能够使得3D虚拟数字人模型对语音的接收更加清晰，更好的接收到语音指令，通过调节分析视频的视频参数=预设的视频参数，能够使得3D虚拟数字人模型对视频的接收更加清晰，更易于接收到其中的动作指令，从而准确高效的对3D虚拟数字人模型进行控制，之后通过获取3D虚拟数字人模型的稳定信息，根据稳定信息获得的稳定值能够综合衡量3D虚拟数字人模型的投影播放的稳定性以及人机交互的准确性，且稳定值越小表示投影播放的稳定性以及人机交互的准确性越高，最终对进行异常提示；
本发明提供的3D虚拟数字人的交互系统及方法，具有真实感和沉浸感强、交互方式多样，指令接收准确且高效的优点，能够广泛应用于游戏、影视、教育等领域，具有广泛的应用前景和市场前景，而且可以实时反馈3D虚拟数字人的状态和调整情况，使用户能够及时了解并进行调整，确保其稳定性，提高用户体验。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明中实施例一种3D虚拟数字人的交互系统的程序框图；
图2是本发明中实施例一种3D虚拟数字人的交互方法的工艺流程图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
请参阅图1所示，本实施例为一种3D虚拟数字人的交互系统，包括以下模块：模型建立模块、指令预设模块、人机交互模块、交互稳定模块、稳定分析模块以及异常提示模块；
其中，所述模型建立模块用于建立3D虚拟数字人模型；
其中，所述指令预设模块用于根据实际需要，设定与3D虚拟数字人模型交互的指令，包括动作指令、语言指令以及唤起语音指令，其中，动作指令为控制3D虚拟数字人模型按照预设动作作出相应的操作，语音指令为控制3D虚拟数字人模型按照预设语音做出相应的操作，唤起语音指令为控制3D虚拟数字人模型接收到预设唤起语音进行开机；
其中，所述人机交互模块用于从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象；还用于根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作，根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作；
其中，所述交互稳定模块用于获取3D虚拟数字人模型的稳定信息，并将稳定信息发送至稳定分析模块；其中，稳定信息包括模型稳定系数MW、反应稳定系数FY；
其中，所述稳定分析模块用于根据稳定信息获得稳定值WD，并根据稳定值WD生成稳定异常指令，并将稳定异常指令发送至异常提示模块；
其中，所述异常提示模块用于接收到稳定异常指令后响起异常铃声进行提示。
实施例2
请参阅图2所示，本实施例为一种3D虚拟数字人的交互方法，包括以下步骤：
步骤一：模型建立模块利用计算机建模软件，根据预设的人体参数建立3D虚拟数字人模型，包括人体的外观、骨骼结构、肌肉分布；
步骤二：指令预设模块根据实际需要，设定与3D虚拟数字人模型交互的指令，包括动作指令、语言指令以及唤起语音指令；
步骤三：人机交互模块从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象；
步骤四：人机交互模块根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作；
步骤五：人机交互模块根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作做出相应的操作；
步骤六：交互稳定模块获取3D虚拟数字人模型的稳定信息，稳定信息包括模型稳定系数MW、反应稳定系数FY，并将稳定信息发送至稳定分析模块；
步骤七：稳定分析模块根据稳定信息获得稳定值WD，并根据稳定值WD生成稳定异常指令，并将稳定异常指令发送至异常提示模块；
步骤八：异常提示模块接收到稳定异常指令后响起异常铃声进行提示。
实施例3
基于上述任一实施例，本发明实施例3为人机交互模块，人机交互模块的作用是为了从监测区的所有人员中选出交互对象，并根据交互对象的分析语音和动作视频对3D虚拟数字人模型进行控制，具体过程如下：
人机交互模块将3D虚拟数字人模型进行投影并展示，获取3D虚拟数字人模型的投影位置，并将其标记为区域中心点，以区域中心点为圆心、预设长度为半径绘制圆形区域，并将其标记为监测区；
人机交互模块获取监测区内说话产生的唤起语音指令，并将产生唤起语音指令的位置标记为语音生成点，获取监测区内所有人员的位置，并将其标记为人员位置点；
人机交互模块将语音生成点和用户位置点进行比对：
若两者完全相同，则将用户位置点对应的用户标记为交互对象，控制3D虚拟数字人模型的正面正对交互对象；
人机交互模块获取交互对象说话产生的语音，并将其标记为分析语音，获取分析语音的声音强度，将分析语音的声音强度与预设的声音强度进行比对：若两者不相同，则调节分析语音的声音强度=预设的声音强度，之后将调节后的分析语音与语音指令进行比对：若分析语音中存在与语音指令相同的预设语音，则控制3D虚拟数字人模型按照预设语音做出相应的操作；
人机交互模块拍摄交互对象活动产生的动作视频，并将其标记为分析视频，获取分析视频的视频参数，视频参数包括亮度、色度、对比度、分辨率以及帧率，将分析视频的视频参数与预设的视频参数进行比对：若两者不相同，则分析视频的视频参数=预设的视频参数，之后将调节后的分析视频与动作指令进行比对：若分析视频中存在与动作指令相同的预设动作，则控制3D虚拟数字人模型按照预设动作做出相应的操作。
实施例4
基于上述任一实施例，本发明实施例4为交互稳定模块，交互稳定模块的作用是为了获取稳定信息，稳定信息包括模型稳定系数MW、反应稳定系数FY，具体过程如下：
交互稳定模块获取3D虚拟数字人模型单位时间内的闪烁次数和卡顿次数，并将其
分别标记为闪次值SC和顿次值DC，将闪次值SC和顿次值DC进行量化处理，提取闪次值SC和
顿次值DC的数值，并将其代入公式中计算，依据公式得到模
型稳定系数MW，其中，c1、c2分别为设定的闪次值SC和顿次值DC对应的预设比例系数，c1、c2
满足c1+c2=1，0＜c2＜c1＜1，取c1=0.59，c2=0.41；
交互稳定模块获取控制3D虚拟数字人模型接收到唤起语音指令的时刻和控制3D
虚拟数字人模型的正面正对交互对象的时刻，获得两者之间的时间差值，并将其标记为唤
起反应值HQ，获取控制3D虚拟数字人模型接收到语音指令的时刻和控制3D虚拟数字人模型
按照预设语音做出相应的操作的时刻，获得两者之间的时间差值，并将其标记为语音反应
值YY，获取控制3D虚拟数字人模型接收到动作指令的时刻和控制3D虚拟数字人模型按照预
设动作作出相应的操作的时刻，获得两者之间的时间差值，并将其标记为动作反应值DZ，将
唤起反应值HQ、语音反应值YY以及动作反应值DZ进行量化处理，提取唤起反应值HQ、语音反
应值YY以及动作反应值DZ的数值，并将其代入公式中计算，依据公式得到反应稳定系数FY，其中，f1、f2以及f3分别为设定
的唤起反应值HQ、语音反应值YY以及动作反应值DZ对应的预设比例系数，f1、f2以及f3满足
f1+f2+f3=1，0＜f1＜f2＜f3＜1，取f1=0.29，f2=0.33，f3=0.38；
交互稳定模块将模型稳定系数MW、反应稳定系数FY发送至稳定分析模块。
实施例5
基于上述任一实施例，本发明实施例5为稳定分析模块，稳定分析模块的作用是为了获得稳定值WD，并根据稳定值WD生成稳定异常指令，具体过程如下：
稳定分析模块将模型稳定系数MW、反应稳定系数FY进行量化处理，提取模型稳定
系数MW、反应稳定系数FY的数值，并将其代入公式中计算，依据公式得到稳定值WD，其中，e为数学常数，w1、w2分别
为设定的模型稳定系数MW、反应稳定系数FY对应的预设权重因子，w1、w2满足w2＞w1＞
1.385，取w1=1.63，w2=1.98；
稳定分析模块将稳定值WD与预设的稳定阈值WDy进行比较：
若稳定值WD≥稳定阈值WDy，则生成稳定异常指令，并将稳定异常指令发送至异常提示模块。
基于上述实施例1-5，本发明的工作原理如下：
该3D虚拟数字人的交互系统首先建立3D虚拟数字人模型，并预先输入控制3D虚拟数字人模型的交互指令，并通过调节分析语音的声音强度=预设的声音强度，能够使得3D虚拟数字人模型对语音的接收更加清晰，更好的接收到语音指令，通过调节分析视频的视频参数=预设的视频参数，能够使得3D虚拟数字人模型对视频的接收更加清晰，更易于接收到其中的动作指令，从而准确高效的对3D虚拟数字人模型进行控制，之后通过获取3D虚拟数字人模型的稳定信息，根据稳定信息获得的稳定值能够综合衡量3D虚拟数字人模型的投影播放的稳定性以及人机交互的准确性，且稳定值越小表示投影播放的稳定性以及人机交互的准确性越高，最终对进行异常提示；本发明提供的3D虚拟数字人交互系统及方法，具有真实感和沉浸感强、交互方式多样，指令接收准确且高效的优点，能够广泛应用于游戏、影视、教育等领域，具有广泛的应用前景和市场前景，而且可以实时反馈3D虚拟数字人的状态和调整情况，使用户能够及时了解并进行调整，确保其稳定性，提高用户体验。
需要进一步说明的是，上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本申请所定义的范围，均应属于本发明的保护范围。
Claims (8)
1.一种3D虚拟数字人的交互系统，其特征在于，包括：
人机交互模块，用于从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象；还用于根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作；还用于根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作；
交互稳定模块，用于获取3D虚拟数字人模型的稳定信息，并将稳定信息发送至稳定分析模块；其中，稳定信息包括模型稳定系数MW、反应稳定系数FY；
所述交互稳定模块获取模型稳定系数MW的具体过程如下：
获取3D虚拟数字人模型单位时间内的闪烁次数和卡顿次数，并将其分别标记为闪次值SC和顿次值DC，将闪次值SC和顿次值DC进行量化处理，依据公式得到模型稳定系数MW，其中，c1、c2分别为设定的闪次值SC和顿次值DC对应的预设比例系数；
所述交互稳定模块获取反应稳定系数FY的具体过程如下：
获取控制3D虚拟数字人模型接收到唤起语音指令的时刻和控制3D虚拟数字人模型的正面正对交互对象的时刻，获得两者之间的时间差值，并将其标记为唤起反应值HQ，获取控制3D虚拟数字人模型接收到语音指令的时刻和控制3D虚拟数字人模型按照预设语音做出相应的操作的时刻，获得两者之间的时间差值，并将其标记为语音反应值YY，获取控制3D虚拟数字人模型接收到动作指令的时刻和控制3D虚拟数字人模型按照预设动作作出相应的操作的时刻，获得两者之间的时间差值，并将其标记为动作反应值DZ，将唤起反应值HQ、语音反应值YY以及动作反应值DZ进行量化处理，依据公式得到反应稳定系数FY，其中，f1、f2以及f3分别为设定的唤起反应值HQ、语音反应值YY以及动作反应值DZ对应的预设比例系数；
稳定分析模块，用于根据稳定信息获得稳定值WD，并根据稳定值WD生成稳定异常指令，并将稳定异常指令发送至异常提示模块；
所述稳定分析模块获得稳定值WD的具体过程如下：
将模型稳定系数MW、反应稳定系数FY进行量化处理，依据公式得到稳定值WD，其中，e为数学常数，w1、w2分别为设定的模型稳定系数MW、反应稳定系数FY对应的预设权重因子；
所述稳定分析模块生成稳定异常指令的具体过程如下：
将稳定值WD与预设的稳定阈值WDy进行比较：
若稳定值WD≥稳定阈值WDy，则生成稳定异常指令，并将稳定异常指令发送至异常提示模块。
2.根据权利要求1所述的一种3D虚拟数字人的交互系统，其特征在于，所述人机交互模块选出交互对象的具体过程如下：
将3D虚拟数字人模型进行投影并展示，获取3D虚拟数字人模型的投影位置，并将其标记为区域中心点，以区域中心点为圆心、预设长度为半径绘制圆形区域，并将其标记为监测区；
获取监测区内说话产生的唤起语音指令，并将产生唤起语音指令的位置标记为语音生成点，获取监测区内所有人员的位置，并将其标记为人员位置点；
将语音生成点和用户位置点进行比对：
若两者完全相同，则将用户位置点对应的用户标记为交互对象，控制3D虚拟数字人模型的正面正对交互对象。
3.根据权利要求1所述的一种3D虚拟数字人的交互系统，其特征在于，所述人机交互模块根据交互对象的分析语音进行控制的具体过程如下：
获取交互对象说话产生的语音，并将其标记为分析语音，获取分析语音的声音强度，将分析语音的声音强度与预设的声音强度进行比对：若两者不相同，则调节分析语音的声音强度=预设的声音强度，之后将调节后的分析语音与语音指令进行比对：若分析语音中存在与语音指令相同的预设语音，则控制3D虚拟数字人模型按照预设语音做出相应的操作。
4.根据权利要求1所述的一种3D虚拟数字人的交互系统，其特征在于，所述人机交互模块根据交互对象的动作视频进行控制的具体过程如下：
拍摄交互对象活动产生的动作视频，并将其标记为分析视频，获取分析视频的视频参数，视频参数包括亮度、色度、对比度、分辨率以及帧率，将分析视频的视频参数与预设的视频参数进行比对：若两者不相同，则分析视频的视频参数=预设的视频参数，之后将调节后的分析视频与动作指令进行比对：若分析视频中存在与动作指令相同的预设动作，则控制3D虚拟数字人模型按照预设动作做出相应的操作。
5.根据权利要求1所述的一种3D虚拟数字人的交互系统，其特征在于，还包括：
模型建立模块，用于建立3D虚拟数字人模型。
6.根据权利要求1所述的一种3D虚拟数字人的交互系统，其特征在于，还包括：
指令预设模块，用于设定与3D虚拟数字人模型交互的指令；
所述指令预设模块设定与3D虚拟数字人模型交互的指令的具体过程如下：
根据实际需要，设定与3D虚拟数字人模型交互的指令，包括动作指令、语言指令以及唤起语音指令，其中，动作指令为控制3D虚拟数字人模型按照预设动作作出相应的操作，语音指令为控制3D虚拟数字人模型按照预设语音做出相应的操作，唤起语音指令为控制3D虚拟数字人模型接收到预设唤起语音进行开机。
7.根据权利要求1所述的一种3D虚拟数字人的交互系统，其特征在于，还包括：
异常提示模块，用于接收到稳定异常指令后响起异常铃声进行提示。
8.一种3D虚拟数字人的交互方法，其特征在于，包括以下步骤：
步骤一：模型建立模块建立3D虚拟数字人模型；
步骤二：指令预设模块根据实际需要，设定与3D虚拟数字人模型交互的指令，包括动作指令、语言指令以及唤起语音指令；
步骤三：指令预设模块从监测区的所有人员中选出交互对象，并控制3D虚拟数字人模型的正面正对交互对象；
步骤四：指令预设模块根据交互对象的分析语音控制3D虚拟数字人模型按照预设语音做出相应的操作；
步骤五：指令预设模块根据交互对象的动作视频控制3D虚拟数字人模型按照预设动作作出相应的操作；
步骤六：交互稳定模块获取3D虚拟数字人模型的稳定信息，稳定信息包括模型稳定系数MW、反应稳定系数FY，并将稳定信息发送至稳定分析模块；
所述交互稳定模块获取模型稳定系数MW的具体过程如下：
获取3D虚拟数字人模型单位时间内的闪烁次数和卡顿次数，并将其分别标记为闪次值SC和顿次值DC，将闪次值SC和顿次值DC进行量化处理，依据公式得到模型稳定系数MW，其中，c1、c2分别为设定的闪次值SC和顿次值DC对应的预设比例系数；
所述交互稳定模块获取反应稳定系数FY的具体过程如下：
获取控制3D虚拟数字人模型接收到唤起语音指令的时刻和控制3D虚拟数字人模型的正面正对交互对象的时刻，获得两者之间的时间差值，并将其标记为唤起反应值HQ，获取控制3D虚拟数字人模型接收到语音指令的时刻和控制3D虚拟数字人模型按照预设语音做出相应的操作的时刻，获得两者之间的时间差值，并将其标记为语音反应值YY，获取控制3D虚拟数字人模型接收到动作指令的时刻和控制3D虚拟数字人模型按照预设动作作出相应的操作的时刻，获得两者之间的时间差值，并将其标记为动作反应值DZ，将唤起反应值HQ、语音反应值YY以及动作反应值DZ进行量化处理，依据公式得到反应稳定系数FY，其中，f1、f2以及f3分别为设定的唤起反应值HQ、语音反应值YY以及动作反应值DZ对应的预设比例系数；
步骤七：稳定分析模块根据稳定信息获得稳定值WD，并根据稳定值WD生成稳定异常指令，并将稳定异常指令发送至异常提示模块；
所述稳定分析模块获得稳定值WD的具体过程如下：
将模型稳定系数MW、反应稳定系数FY进行量化处理，依据公式得到稳定值WD，其中，e为数学常数，w1、w2分别为设定的模型稳定系数MW、反应稳定系数FY对应的预设权重因子；
步骤八：异常提示模块接收到稳定异常指令后响起异常铃声进行提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410066303.7A CN117608410B (zh) | 2024-01-17 | 2024-01-17 | 一种3d虚拟数字人的交互系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410066303.7A CN117608410B (zh) | 2024-01-17 | 2024-01-17 | 一种3d虚拟数字人的交互系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117608410A CN117608410A (zh) | 2024-02-27 |
| CN117608410B true CN117608410B (zh) | 2024-05-31 |
Family
ID=89954774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410066303.7A Active CN117608410B (zh) | 2024-01-17 | 2024-01-17 | 一种3d虚拟数字人的交互系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117608410B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301994A (ja) * | 2005-04-21 | 2006-11-02 | Matsushita Electric Ind Co Ltd | 操作反応出力装置 |
| CN105867595A (zh) * | 2015-01-21 | 2016-08-17 | 武汉明科智慧科技有限公司 | 联合语音信息与手势信息的人机交互方式以及实施装置 |
| CN109284008A (zh) * | 2018-11-14 | 2019-01-29 | 黄杏兰 | 一种分体式vr系统 |
| WO2020221186A1 (zh) * | 2019-04-30 | 2020-11-05 | 广州虎牙信息科技有限公司 | 一种虚拟形象控制方法、装置、电子设备及存储介质 |
| KR20210003515A (ko) * | 2019-07-02 | 2021-01-12 | 주식회사 로로젬 | 인터렉티브모드를지원하는증강현실구현장치 |
| CN113021295A (zh) * | 2021-03-11 | 2021-06-25 | 湛江南海西部石油勘察设计有限公司 | 一种海上油气田智能防爆巡检机器人 |
| CN114495927A (zh) * | 2021-12-31 | 2022-05-13 | 魔珐(上海)信息科技有限公司 | 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端 |
| CN115328304A (zh) * | 2022-08-01 | 2022-11-11 | 西北工业大学 | 一种2d-3d融合的虚拟现实交互方法及设备 |
| CN116301322A (zh) * | 2022-12-31 | 2023-06-23 | 联想(北京)有限公司 | 输出方法及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11981352B2 (en) * | 2017-07-05 | 2024-05-14 | Perceptive Automata, Inc. | System and method of predicting human interaction with vehicles |
| US11386623B2 (en) * | 2019-04-03 | 2022-07-12 | Magic Leap, Inc. | Methods, systems, and computer program product for managing and displaying webpages in a virtual three-dimensional space with a mixed reality system |
-
2024
- 2024-01-17 CN CN202410066303.7A patent/CN117608410B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301994A (ja) * | 2005-04-21 | 2006-11-02 | Matsushita Electric Ind Co Ltd | 操作反応出力装置 |
| CN105867595A (zh) * | 2015-01-21 | 2016-08-17 | 武汉明科智慧科技有限公司 | 联合语音信息与手势信息的人机交互方式以及实施装置 |
| CN109284008A (zh) * | 2018-11-14 | 2019-01-29 | 黄杏兰 | 一种分体式vr系统 |
| WO2020221186A1 (zh) * | 2019-04-30 | 2020-11-05 | 广州虎牙信息科技有限公司 | 一种虚拟形象控制方法、装置、电子设备及存储介质 |
| KR20210003515A (ko) * | 2019-07-02 | 2021-01-12 | 주식회사 로로젬 | 인터렉티브모드를지원하는증강현실구현장치 |
| CN113021295A (zh) * | 2021-03-11 | 2021-06-25 | 湛江南海西部石油勘察设计有限公司 | 一种海上油气田智能防爆巡检机器人 |
| CN114495927A (zh) * | 2021-12-31 | 2022-05-13 | 魔珐(上海)信息科技有限公司 | 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端 |
| CN115328304A (zh) * | 2022-08-01 | 2022-11-11 | 西北工业大学 | 一种2d-3d融合的虚拟现实交互方法及设备 |
| CN116301322A (zh) * | 2022-12-31 | 2023-06-23 | 联想(北京)有限公司 | 输出方法及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 施乐洋 ; 李晓玲 ; 王龙 ; 陈漳沂 ; 郑帅. 一种遥操作场景下的混合现实视觉增强交互系统.《西安交通大学学报》.2023,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117608410A (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7408048B2 (ja) | 人工知能に基づくアニメキャラクター駆動方法及び関連装置 | |
| CN109819313B (zh) | 视频处理方法、装置及存储介质 | |
| CN112379812B (zh) | 仿真3d数字人交互方法、装置、电子设备及存储介质 | |
| CN108564641B (zh) | 基于ue引擎的表情捕捉方法及装置 | |
| CN112863547A (zh) | 虚拟资源转移处理方法、装置、存储介质及计算机设备 | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| US7171029B2 (en) | Method and apparatus for generating models of individuals | |
| CN109284081B (zh) | 一种音频的输出方法、装置及音频设备 | |
| CN112380972B (zh) | 一种应用于电视场景的音量调节方法 | |
| CN111050271B (zh) | 用于处理音频信号的方法和装置 | |
| CN110119700A (zh) | 虚拟形象控制方法、虚拟形象控制装置和电子设备 | |
| CN115909015B (zh) | 一种可形变神经辐射场网络的构建方法和装置 | |
| CN109840939A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN113436602A (zh) | 虚拟形象语音交互方法、装置、投影设备和计算机介质 | |
| CN112669422B (zh) | 仿真3d数字人生成方法、装置、电子设备及存储介质 | |
| CN113610723B (zh) | 图像处理方法及相关装置 | |
| CN110213486A (zh) | 图像拍摄方法、终端及计算机可读存储介质 | |
| CN103945140A (zh) | 视频字幕的生成方法及系统 | |
| CN116630495A (zh) | 基于aigc算法的虚拟数字人模型规划系统 | |
| CN117608410B (zh) | 一种3d虚拟数字人的交互系统及方法 | |
| US11846783B2 (en) | Information processing apparatus, information processing method, and program | |
| CN116681613A (zh) | 人脸关键点检测的仿光照增强方法、装置、介质及设备 | |
| CN112533070A (zh) | 视频声音和画面的调整方法、终端和计算机可读存储介质 | |
| CN112929739A (zh) | 发声控制方法、装置、电子设备和存储介质 | |
| CN112307323A (zh) | 信息推送方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |