CN112164135A - 一种虚拟人物形象的构建装置和方法 - Google Patents
一种虚拟人物形象的构建装置和方法 Download PDFInfo
- Publication number
- CN112164135A CN112164135A CN202011065168.2A CN202011065168A CN112164135A CN 112164135 A CN112164135 A CN 112164135A CN 202011065168 A CN202011065168 A CN 202011065168A CN 112164135 A CN112164135 A CN 112164135A
- Authority
- CN
- China
- Prior art keywords
- face
- module
- virtual
- portrait
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000010276 construction Methods 0.000 title claims description 49
- 230000001815 facial effect Effects 0.000 claims abstract description 62
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 47
- 230000008921 facial expression Effects 0.000 claims abstract description 44
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 210000000214 mouth Anatomy 0.000 claims description 40
- 210000004709 eyebrow Anatomy 0.000 claims description 39
- 210000001508 eye Anatomy 0.000 claims description 34
- 210000001331 nose Anatomy 0.000 claims description 33
- 210000003128 head Anatomy 0.000 claims description 30
- 210000004209 hair Anatomy 0.000 claims description 22
- 206010021403 Illusion Diseases 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 12
- 210000003625 skull Anatomy 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 10
- 210000003205 muscle Anatomy 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 210000000887 face Anatomy 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 23
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 208000004547 Hallucinations Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 206010019070 Hallucination, auditory Diseases 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 208000020016 psychiatric disease Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010019075 Hallucination, visual Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 208000020764 Sensation disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 208000030963 borderline personality disease Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 230000000698 schizophrenic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种虚拟人物形象的构建装置和方法，属于心理诊疗装置的技术领域，解决了现有诊疗装置不能获取贴合用户虚拟人物形象的问题。该装置包括人物画像生成模块根据虚拟人物形象，选择对应五官以组拼成人物画像；五官调整模块通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像；三维人物模型建立模块制作Blendshape控制器并生成三维人物模型；面部捕捉功能模块实时拍摄人脸视频，生成并实时跟踪人脸标记点位置，和转换为面部捕捉数值；面部表情驱动模块根据面部捕捉数值实时控制三维人物模型的面部表情；以及输出模块幻听声音和面部表情同时展示给患者。获取贴合用户虚拟人物形象、幻听语言的虚拟人物形象以用来对患者进行心理疏导。
Description
技术领域
本发明涉及心理诊疗装置技术领域，尤其涉及一种虚拟人物形象的构建装置和方法。
背景技术
在精神病学中，幻听是一种主要的知觉障碍。幻听表现为在没有任何人或外部刺激干预的情况下，病人出现基于现实感觉基础上的虚假感。75％的精神分裂症患者被诊断有幻听症状，更重要的是患者往往伴随着其他疾病的发生，如边缘型人格障碍、创伤后应激障碍、癫痫、帕金森氏症，以及分离性、精神性和情感性疾病。这些疾病症状同样也可能在没有临床诊断结果的人身上观察到。临床实践表明，医疗程序无法行之有效的帮助幻听患者，一半的幻听会发展成为慢性疾病，尽管使用了药物治疗，幻觉仍然会保留数月甚至数年之久。这些症状常常是精神疾病患者住院治疗的原因，病人与社会脱节。
心理疾病是指一个人由于生理、心理或社会原因而导致心理过程异常、人格特征异常以及行为方式异常出现，表现为无正常能力按照社会认可的适宜的方式言论和行动，以致出现各种不适应症状。当患者心理活动异常的程度达到医学诊断标准，就被称为心理障碍。
心理疾病患者经常伴随幻听、幻视，其心理活动、行为方式容易受到幻觉人物影响，如责骂、强迫等，给患者工作和生活带来许多非常负面的感受与体验，使其身心饱受折磨。
到目前为止，针对心理疾病、心理障碍诊断、治疗与缓解的现有技术还远远没有成熟，缺乏一套能够贴合用户虚拟人物形象、幻听语言对患者进行心理疏导以改善其心理状态的装置和方法。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种虚拟人物形象的构建装置和方法，用以解决现有诊疗装置不能获取贴合用户虚拟人物形象、幻听语言对患者进行心理疏导的问题。
一方面，本发明实施例提供了一种虚拟人物形象的构建装置，包括：人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；五官调整模块，用于通过对所述人物画像中的五官进行调整，以获得符合所述虚拟人物形象的虚拟画像；三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape控制器并生成模拟所述虚拟人物形象的三维人物模型；面部捕捉功能模块，用于实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值；面部表情驱动模块，用于根据所述面部捕捉数值，通过所述Blendshape控制器实时控制所述三维人物模型的面部表情；以及输出模块，用于将虚拟人物的幻听声音和所述面部表情同时展示给所述患者。
上述技术方案的有益效果如下：能够获得贴合用户虚拟人物形象的三维人物模型。心理治疗师通过面部表情驱动模块控制三维人物模型的面部表情，并将虚拟人物的幻听声音和面部表情同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
基于上述装置的进一步改进，虚拟人物形象的构建装置还包括五官库构建模块，所述五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，所述脸型库构建子模块，用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有所述不同脸型特征的脸型库；以及所述头发库构建子模块、所述眉毛库构建子模块、所述眼睛库构建子模块、所述鼻子库构建子模块和所述嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。
上述技术方案的有益效果如下：利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像。从而克服了手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。
基于上述装置的进一步改进，所述五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，所述X轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；所述Y轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；所述X轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述X轴方向上进行缩放调整；以及所述Y轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述Y轴方向上进行缩放调整。
上述技术方案的有益效果如下：通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。
基于上述装置的进一步改进，所述三维人物模型建立模块进一步包括：生成三维人物的基础模型并制作所述Blendshape控制器；基于人脸面部识别算法，分析所述虚拟画像中的人脸区域；根据人脸区域转换成人脸的基本衡量参数，同时将所述人脸区域的图像进行抠图并对所述基础模型进行头部贴图；以及所述Blendshape控制器接收所述人脸的基本衡量参数，并根据所述人脸的基本衡量参数动态控制所述基础模型的头部形状，以最大匹配所述虚拟画像中的头部特征。
基于上述装置的进一步改进，多个所述人脸的基本衡量参数包括头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
基于上述装置的进一步改进，所述Blendshape控制器包括多个Blendshape控制组件，其中，所述多个Blendshape控制组件用于分别控制所述头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
基于上述装置的进一步改进，所述面部捕捉功能模块进一步配置为：通过网络摄像头实时拍摄所述心理治疗师人脸的视频；结合所述人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点；在所述心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及将对应标记点的位置实时转换成所述面部捕捉数值并存储所述面部捕捉数值。
基于上述装置的进一步改进，所述面部表情驱动进一步配置为：从所述面部捕捉功能模块接收所述面部捕捉数值；以及基于所述面部捕捉数值实时控制所述三维人物模型的多个Blendshape控制组件以模拟所述心理治疗师的面部表情。
基于上述装置的进一步改进，虚拟人物形象的构建装置还包括变声模块和同步模块，其中，变声模块用于实时获取所述心理治疗师的原始声音，对所述原始声音顺序进行叠加调制和音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音；以及所述同步模块，用于将所述幻听声音与所述面部表情进行同步。
另一方面，本发明实施例一种虚拟人物形象的构建方法，包括：根据患者描述的虚拟人物形象，从所述多个五官库中依次选择对应五官以组拼成一幅完整的人物画像；通过对所述人物画像中的每个五官进行调整，以获得符合患者的虚拟人物形象的虚拟画像；基于所述虚拟画像，制作Blendshape控制器并生成模拟所述虚拟人物形象的三维人物模型；实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值；根据所述面部捕捉数值，通过所述Blendshape控制器实时控制所述三维人物模型的面部表情；以及将虚拟人物的幻听声音和所述面部表情同时展示给所述患者。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像，以克服手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。进而通过虚拟画像能够获得贴合用户虚拟人物形象的三维人物模型。
2、通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。
3、心理治疗师通过面部表情驱动模块控制三维人物模型的面部表情，并将虚拟人物的幻听声音和面部表情同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的虚拟人物形象的构建装置的框图。
图2为根据本发明实施例的五官库的示意图。
图3为从多个五官库中选择对应五官以组拼成一幅完整的人物画像的示意图。
图4为调整人物画像来生成符合虚拟人物形象的虚拟画像的示意图。
图5为由虚拟画像生成三维模型的示意图。
图6为在面部生成人脸标记点的示意图。
图7为根据本发明实施例的变声模块的结构图。
图8为根据本发明实施例的虚拟人物形象的构建方法的流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种虚拟人物形象的构建装置。参考图1，虚拟人物形象的构建装置包括：人物画像生成模块102，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；五官调整模块104，用于通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像；三维人物模型建立模块106，用于基于虚拟画像，制作Blendshape控制器并生成模拟虚拟人物形象的三维人物模型；面部捕捉功能模块108，用于实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值；面部表情驱动模块110，用于根据面部捕捉数值，通过Blendshape控制器实时控制三维人物模型的面部表情；以及输出模块112，用于将虚拟人物的幻听声音和面部表情同时展示给患者。
与现有技术相比，本实施例提供的虚拟人物形象的构建装置，能够获得贴合用户虚拟人物形象的三维人物模型。心理治疗师通过面部表情驱动模块控制三维人物模型的面部表情，并将虚拟人物的幻听声音和面部表情同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
下文中，参考图1至图6，对虚拟人物形象的构建装置进行详细描述。
参考图1，虚拟人物形象的构建装置包括：五官库构建模块、人物画像生成模块102、五官调整模块104、三维人物模型建立模块106、面部捕捉功能模块108、面部表情驱动模块110和输出模块112、变声模块和同步模块。
参考图2，五官库构建模块用于构建多个五官库。五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，脸型库构建子模块用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有不同脸型特征的脸型库。头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。
参考图3，人物画像生成模块102用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像。
参考图4，五官调整模块104用于通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。具体地，五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，X轴移动模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；Y轴移动模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；X轴缩放模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在X轴方向上进行缩放调整；以及Y轴缩放模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在Y轴方向上进行缩放调整。
参考5，三维人物模型建立模块106用于基于虚拟画像，制作Blendshape控制器并生成模拟虚拟人物形象的三维人物模型。具体地，三维人物模型建立模块进一步包括：生成三维人物的基础模型并制作Blendshape控制器；基于人脸面部识别算法，分析虚拟画像中的人脸区域；根据人脸区域转换成人脸的基本衡量参数，同时将人脸区域的图像进行抠图并对基础模型进行头部贴图，例如，皱纹、痣等脸部细节进行头部贴图以提升虚拟画像和三维人物的相似程度；以及Blendshape控制器接收人脸的基本衡量参数，并根据人脸的基本衡量参数动态控制基础模型的头部形状，以最大匹配虚拟画像中的头部特征。多个人脸的基本衡量参数包括头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。Blendshape控制器包括多个Blendshape控制组件，其中，多个Blendshape控制组件用于分别控制头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。另外，可以对身体和四肢进行相应控制。
参考图6，面部捕捉功能模块108用于实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值。具体地，面部捕捉功能模块108进一步配置为：通过网络摄像头实时拍摄心理治疗师人脸的视频；结合人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点；在心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及将对应标记点的位置实时转换成面部捕捉数值并存储面部捕捉数值。
面部表情驱动模块110用于根据面部捕捉数值，通过Blendshape控制器实时控制三维人物模型的面部表情。具体地，面部表情驱动进一步配置为：从面部捕捉功能模块接收面部捕捉数值；以及基于面部捕捉数值实时控制三维人物模型的多个Blendshape控制组件以模拟心理治疗师的面部表情。
参考图7，变声模块用于实时获取心理治疗师的原始声音，对原始声音顺序进行叠加调制和音调基频变声控制，以转换为模拟虚拟人物声音的幻听声音；以及同步模块，用于将幻听声音与面部表情进行同步。
输出模块112用于将虚拟人物的幻听声音和面部表情同时展示给患者。
下文中，参考图2至图7，以具体实例的方式对虚拟人物形象的构建装置进行详细描述。
1、获得虚拟画像
在手工建模的制作方案中，建模师也需要使用一张或多张角度的参考图才能制作比较真实的人物模型。但是患者幻听、幻视虚拟形象只存在患者的精神空间中，所以通过自主研发的虚拟画像软件进行快速准确的模拟患者幻想角色的形象。
即使世界上外观长相一模一样的基本没有，但是人与人的单个五官相似的案例确有很多。比如A与B的眉毛很相似，B与C的眼睛很相似。所以可以将人整体外观拆分为五官分类，每种五官挑选典型的8个子类，每个子类下我们搜集，拍摄具有该五官分类的人物的典型形象，通过技术手段将五官的每个子类所代表的五官图片切分出来，最后进行排列组合，达到虚拟画像的目的。
例如：将脸型分为：方脸、圆脸、长脸、尖脸、国字脸、瓜子脸和胖脸。每个脸型下，通过搜集拍摄具有该脸型特征的不同人物的形象，并将其抠图制作去掉其他五官只有脸型的脸型库可供调用。其它五官与上相同。
参考图2，软件操作：在每个五官库中有该五官的所有素材，点击素材可以在右侧画布上展示该五官图片，依次选择脸型、头发、眉毛、眼睛、嘴巴、鼻子后即可组拼成一个完整的人物画像。每个五官支持位于右侧的调整选项进行调整，可以针对每个五官进行X、Y轴方向上的移动缩放，以适配更加丰富的人物形象。
目前整个画像库中已经预设了1500张五官素材，后期会持续增加，通过海量的五官库的相互组拼，能够在较快时间内获得一张符合患者虚拟形象的虚拟画像。虚拟画像软件最终效果演示如图3所示。
2、基于虚拟画像的三维模型建立
通过快速虚拟画像软件在15-30分钟内快速得到患者的虚拟形象描述之后，接下来就是制作基于该画像的三维人物模型。
三维人物模型要求与虚拟画像的面部相似程度达到80％以上，同时为了符合之后面部捕捉和全身捕捉的要求，该三维人物模型需要进行面部BlendShape表情动画制作。
同时基于临床使用需求，整个制作周期需要控制在一天以内制作完成。
基于以上要求，不能采用传统手工建模方案。最终我们选择采用照片一键生成模型方法用于快速制作人物模型。
照片一键生成模型的底层原理是基于人脸面部识别算法，首先算法能够分析照片中的人脸区域，然后根据得到的人脸区域转化成人脸的基本衡量参数，同时将人脸区域的图像通过特定的蒙版抠出，然后作为生成人物的头部贴图，用于提升照片虚拟画像和三维人物的相似程度。
一键生成三维人物模型需要有基础模型作为基准模型，该基础模型需要绑定好骨骼和蒙皮，面部也需要制作好Blendshape动画控制器，此外还需要制作额外的头部BlendShape控制条(又称BlendShape控制组件)，这些控制条用于接收面部识别算法分析图片后获取的参数特征，例如头部宽度、鼻子宽度、眼睛高度、嘴部宽度高度等，然后动态控制基础模型的头部形状，最大程度匹配画像图片中头部特征。
通过以上两个步骤能够快速生成与照片模型相似的头部模型，整个模型制作过程可以控制在一天之内。以下是照片到模型的效果(参考图4和图5)。
3、面部捕捉功能制作
三维虚拟人物的面部捕捉功能模块制作，首先需要基于面部捕捉算法，我们采用Faceware面部捕捉算法。通过简单的WebCamera网络摄像头，通过USB与计算机相连，通过该网络摄像头实时拍摄人脸的视频，结合面部捕捉算法，在眉毛、眼睛、瞳孔、嘴巴、鼻子等位置生成标记点，实时追踪标记点位置(参考图6)，并转换成值数据，并实时将每个控制点生成的数据存储起来。
4、面部捕捉数值映射实现表演
将网络摄像头通过面部捕捉算法获取的人脸不同五官和肌肉表情的数值传输映射给拥有同样结构的三维虚拟角色的相应面部Blendshape动画接口处，就能够通过面部捕捉算法捕捉真实人脸的数据值来实时控制三维模型已经制作好的Blendshape控制条的数值，达到通过表演和模拟真人的脸部表情，最终即可实现由真人驱动，通过虚拟角色展现所表演的表情的功能。
5、变声模块
在临床治疗病人时，病人的虚拟形象往往具有不同的声音，但是治疗师负责多名病人的诊疗。所以需要对治疗师的声音进行变音，用以符合不同病人对虚拟形象的声音要求。
Ptich基音是声带震动频率。控制Pitch的高低可以改变声音的音调如高低音。Formant共振峰是喉管口腔鼻腔以及舌头腮帮子共同组成的发音系统固有的谐振频率。控制Formant的变化可以控制声音的频率。
参考图7，利用麦克风获取声音的输入，然后实时改变Pitch和Formant的值，将声音改变后通过音箱进行输出。变声系统含有患者管理和信息保存系统，为每位患者进行声音变音的设置后可以保存该设置值，在下次进行治疗时可以直接调用。
5.1麦克风开关：点击可以开启或者关闭麦克风
5.2Pitch音调调整滑动组件，其可调整范围为1-3的float类型单精度浮点数，小数点后保留两位小数。
5.3Formant基频调整滑动组件，其可调整范围为1-5的float类型单精度浮点数，小数点后保留两位小数。
5.4原声功能：在治疗师治疗阶段，需要采用三方诊疗模式，即治疗师扮演患者幻想的虚拟角色，通过变声器变化后的声音与病人进行沟通，治疗师在治疗阶段进行的过程中根据患者心理状态的变化选择是否以治疗师的身份介入该治疗过程，此时画面需要显示治疗师的形象画面，并关闭软件的变声功能，以治疗师原声形式出现。
原声功能按钮就是负责这个部分的功能，点击按钮，屏幕左侧弹出治疗师的实时画面，并关闭软件的变声功能，同时关闭软件的面部捕捉和全身捕捉功能，让治疗师以治疗师身份介入三方治疗。
5.5变声功能：变声功能与原声功能作用恰好相反，治疗师根据患者心理状态，可以在治疗过程中随时选择是否再次以虚拟角色的形象进行继续治疗。点击该按钮，可以关闭左侧治疗师实时画面，并再次连接面部捕捉和全身捕捉功能模块，同时开启变声器，治疗师即可再次以患者虚拟形象的身份介入治疗。
5.6保存声音预设：治疗师通过拖动变声器模块提供的Pitch和Formant滑动组件实时改变声音，通过不断调整这两个参数，并配合测试语音，让患者不断选择确认，直至患者认为某一预设数值下Pitch和Formant的值与虚拟形象的声音吻合度较高，即可通过点击保存预设按钮，将该组声音预设数值保存下来，作为该位患者幻想虚拟形象的声音参数，存储在该患者的数据库信息下。下次进入诊疗阶段时软件会自动读取该预设数值，并按照这个声音进行变声。
5.7为了满足快速治疗目的，变声器功能模块预设了男生变化成女生，女生变化成男生的两组快速预设按钮。通过这两组快速的预设即可打破治疗师性别的局限，让男性治疗师也能扮演女性虚拟形象，女性治疗师扮演男性虚拟形象的声音。
本发明的一个具体实施例，公开了一种虚拟人物形象的构建方法。参考图8，虚拟人物形象的构建方法包括：步骤S802，根据患者描述的虚拟人物形象，从多个五官库中依次选择对应五官以组拼成一幅完整的人物画像；步骤S804，通过对人物画像中的每个五官进行调整，以获得符合患者的虚拟人物形象的虚拟画像；步骤S806，基于虚拟画像，制作Blendshape控制器并生成模拟虚拟人物形象的三维人物模型；步骤S808，实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值；步骤S810，根据面部捕捉数值，通过Blendshape控制器实时控制三维人物模型的面部表情；以及步骤S812，将虚拟人物的幻听声音和面部表情同时展示给患者。
虚拟人物形象的构建方法还包括多个其他步骤，由于虚拟人物形象的构建方法与虚拟人物形象的构建装置相对应，所以为了避免赘述，省略多个其他步骤的详细描述。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像，以克服手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。进而通过虚拟画像能够获得贴合用户虚拟人物形象的三维人物模型。
2、通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。
3、心理治疗师通过面部表情驱动模块控制三维人物模型的面部表情，并将虚拟人物的幻听声音和面部表情同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种虚拟人物形象的构建装置，其特征在于，包括：
人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；
五官调整模块，用于通过对所述人物画像中的五官进行调整，以获得符合所述虚拟人物形象的虚拟画像；
三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape控制器并生成模拟所述虚拟人物形象的三维人物模型；
面部捕捉功能模块，用于实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值；
面部表情驱动模块，用于根据所述面部捕捉数值，通过所述Blendshape控制器实时控制所述三维人物模型的面部表情；以及
输出模块，用于将虚拟人物的幻听声音和所述面部表情同时展示给所述患者。
2.根据权利要求1所述的虚拟人物形象的构建装置，其特征在于，还包括五官库构建模块，所述五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，
所述脸型库构建子模块，用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有所述不同脸型特征的脸型库；以及
所述头发库构建子模块、所述眉毛库构建子模块、所述眼睛库构建子模块、所述鼻子库构建子模块和所述嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。
3.根据权利要求1所述的虚拟人物形象的构建装置，其特征在于，所述五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，
所述X轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；
所述Y轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；
所述X轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述X轴方向上进行缩放调整；以及
所述Y轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述Y轴方向上进行缩放调整。
4.根据权利要求1所述的虚拟人物形象的构建装置，其特征在于，所述三维人物模型建立模块进一步包括：
生成三维人物的基础模型并制作所述Blendshape控制器；
基于人脸面部识别算法，分析所述虚拟画像中的人脸区域；
根据人脸区域转换成人脸的基本衡量参数，同时将所述人脸区域的图像进行抠图并对所述基础模型进行头部贴图；以及
所述Blendshape控制器接收所述人脸的基本衡量参数，并根据所述人脸的基本衡量参数动态控制所述基础模型的头部形状，以最大匹配所述虚拟画像中的头部特征。
5.根据权利要求4所述的虚拟人物形象的构建装置，其特征在于，多个所述人脸的基本衡量参数包括头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
6.根据权利要求1所述的虚拟人物形象的构建装置，其特征在于，所述Blendshape控制器包括多个Blendshape控制组件，其中，所述多个Blendshape控制组件用于分别控制所述头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
7.根据权利要求1所述的虚拟人物形象的构建装置，其特征在于，所述面部捕捉功能模块进一步配置为：
通过网络摄像头实时拍摄所述心理治疗师人脸的视频；
结合所述人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点；
在所述心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及
将对应标记点的位置实时转换成所述面部捕捉数值并存储所述面部捕捉数值。
8.根据权利要求6所述的虚拟人物形象的构建装置，其特征在于，所述面部表情驱动进一步配置为：
从所述面部捕捉功能模块接收所述面部捕捉数值；以及
基于所述面部捕捉数值实时控制所述三维人物模型的多个Blendshape控制组件以模拟所述心理治疗师的面部表情。
9.根据权利要求1所述的虚拟人物形象的构建装置，其特征在于，还包括变声模块和同步模块，其中，
变声模块用于实时获取所述心理治疗师的原始声音，对所述原始声音顺序进行叠加调制和音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音；以及
所述同步模块，用于将所述幻听声音与所述面部表情进行同步。
10.一种虚拟人物形象的构建方法，其特征在于，包括：
根据患者描述的虚拟人物形象，从所述多个五官库中依次选择对应五官以组拼成一幅完整的人物画像；
通过对所述人物画像中的每个五官进行调整，以获得符合患者的虚拟人物形象的虚拟画像；
基于所述虚拟画像，制作Blendshape控制器并生成模拟所述虚拟人物形象的三维人物模型；
实时拍摄心理治疗师的人脸视频，结合人脸面部捕捉算法，生成并实时跟踪人脸标记点位置，以及将实时人脸标记点位置转换为用于表示人脸不同五官和肌肉表情的面部捕捉数值；
根据所述面部捕捉数值，通过所述Blendshape控制器实时控制所述三维人物模型的面部表情；以及
将虚拟人物的幻听声音和所述面部表情同时展示给所述患者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011065168.2A CN112164135A (zh) | 2020-09-30 | 2020-09-30 | 一种虚拟人物形象的构建装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011065168.2A CN112164135A (zh) | 2020-09-30 | 2020-09-30 | 一种虚拟人物形象的构建装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112164135A true CN112164135A (zh) | 2021-01-01 |
Family
ID=73862400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011065168.2A Pending CN112164135A (zh) | 2020-09-30 | 2020-09-30 | 一种虚拟人物形象的构建装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164135A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113808281A (zh) * | 2021-08-23 | 2021-12-17 | 桂林未来鹏创软件有限公司 | 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 |
| CN114501065A (zh) * | 2022-02-11 | 2022-05-13 | 广州方硅信息技术有限公司 | 基于面部拼图的虚拟礼物互动方法、系统及计算机设备 |
| CN114565696A (zh) * | 2022-03-08 | 2022-05-31 | 北京玖零时代影视传媒有限公司 | 一种元宇宙虚拟数字人制作方法和系统 |
| CN115526966A (zh) * | 2022-10-12 | 2022-12-27 | 广州鬼谷八荒信息科技有限公司 | 一种用调度五官部件实现虚拟人物表情展现的方法 |
| CN115936970A (zh) * | 2022-06-27 | 2023-04-07 | 北京字跳网络技术有限公司 | 虚拟面部形象生成方法、装置、电子设备及存储介质 |
| CN117894057A (zh) * | 2024-03-11 | 2024-04-16 | 浙江大学滨江研究院 | 用于情感障碍辅助诊断的三维数字人脸处理方法与装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2828572A1 (fr) * | 2001-08-13 | 2003-02-14 | Olivier Cordoleani | Procede de creation d'un personnage tridimensionnel |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN107248195A (zh) * | 2017-05-31 | 2017-10-13 | 珠海金山网络游戏科技有限公司 | 一种增强现实的主播方法、装置和系统 |
| CN107274493A (zh) * | 2017-06-28 | 2017-10-20 | 河海大学常州校区 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
| CN108229239A (zh) * | 2016-12-09 | 2018-06-29 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| CN108596091A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物形象卡通化还原方法、系统及介质 |
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
| CN111641798A (zh) * | 2020-06-15 | 2020-09-08 | 黑龙江科技大学 | 一种视频通信方法及装置 |
-
2020
- 2020-09-30 CN CN202011065168.2A patent/CN112164135A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2828572A1 (fr) * | 2001-08-13 | 2003-02-14 | Olivier Cordoleani | Procede de creation d'un personnage tridimensionnel |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN108229239A (zh) * | 2016-12-09 | 2018-06-29 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| CN107248195A (zh) * | 2017-05-31 | 2017-10-13 | 珠海金山网络游戏科技有限公司 | 一种增强现实的主播方法、装置和系统 |
| CN107274493A (zh) * | 2017-06-28 | 2017-10-20 | 河海大学常州校区 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
| CN108596091A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物形象卡通化还原方法、系统及介质 |
| CN109147017A (zh) * | 2018-08-28 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 动态图像生成方法、装置、设备及存储介质 |
| CN111641798A (zh) * | 2020-06-15 | 2020-09-08 | 黑龙江科技大学 | 一种视频通信方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吴晓军;鞠光亮;: "一种无标记点人脸表情捕捉与重现算法", 电子学报, no. 09, 15 September 2016 (2016-09-15) * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808281A (zh) * | 2021-08-23 | 2021-12-17 | 桂林未来鹏创软件有限公司 | 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 |
| CN113808281B (zh) * | 2021-08-23 | 2024-02-27 | 桂林未来鹏创软件有限公司 | 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 |
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113744374B (zh) * | 2021-09-03 | 2023-09-22 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN114501065A (zh) * | 2022-02-11 | 2022-05-13 | 广州方硅信息技术有限公司 | 基于面部拼图的虚拟礼物互动方法、系统及计算机设备 |
| CN114565696A (zh) * | 2022-03-08 | 2022-05-31 | 北京玖零时代影视传媒有限公司 | 一种元宇宙虚拟数字人制作方法和系统 |
| CN115936970A (zh) * | 2022-06-27 | 2023-04-07 | 北京字跳网络技术有限公司 | 虚拟面部形象生成方法、装置、电子设备及存储介质 |
| CN115526966A (zh) * | 2022-10-12 | 2022-12-27 | 广州鬼谷八荒信息科技有限公司 | 一种用调度五官部件实现虚拟人物表情展现的方法 |
| CN117894057A (zh) * | 2024-03-11 | 2024-04-16 | 浙江大学滨江研究院 | 用于情感障碍辅助诊断的三维数字人脸处理方法与装置 |
| CN117894057B (zh) * | 2024-03-11 | 2024-06-04 | 浙江大学滨江研究院 | 用于情感障碍辅助诊断的三维数字人脸处理方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112164135A (zh) | 一种虚拟人物形象的构建装置和方法 | |
| CN112150617A (zh) | 一种三维人物模型的控制装置和方法 | |
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| Parke et al. | Computer facial animation | |
| US11000669B2 (en) | Method of virtual reality system and implementing such method | |
| US8714982B2 (en) | System and method for teaching social skills, social thinking, and social awareness | |
| Wöllner et al. | The perception of prototypical motion: synchronization is enhanced with quantitatively morphed gestures of musical conductors. | |
| CN101149840A (zh) | 一种复杂表情仿真系统及其实现方法 | |
| WO2015027286A1 (en) | A medical training simulation system and method | |
| KR102104202B1 (ko) | 가상 현실을 사용한 인지행동치료 장치 | |
| US20080183030A1 (en) | system and method for treating chronic pain | |
| CN107463780A (zh) | 一种3d虚拟自闭症治疗系统及治疗方法 | |
| Shtern et al. | A game system for speech rehabilitation | |
| Pelachaud et al. | Final report to NSF of the standards for facial animation workshop | |
| CN112133409A (zh) | 一种虚拟诊疗系统和方法 | |
| Haber et al. | Facial modeling and animation | |
| CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
| King | A facial model and animation techniques for animated speech | |
| Tarabalka et al. | Can you" read tongue movements"? Evaluation of the contribution of tongue display to speech understanding | |
| CN113687744B (zh) | 一种用于情绪调节的人机交互设备 | |
| KR100445846B1 (ko) | 대인 공포증 치료를 위한 가상 연설 시뮬레이터 | |
| CN108648796A (zh) | 一种虚拟现实镜像治疗仪 | |
| CN111667906B (zh) | 一种眼球结构虚拟教学系统及其数字模型建立方法 | |
| CN115762688A (zh) | 一种超仿真虚拟标准化病人构建系统及诊断方法 | |
| Takacs | Cognitive, Mental and Physical Rehabilitation Using a Configurable Virtual Reality System. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220318 Address after: 030032 room 0505, 5 / F, block C, No. 529, South Central Street, Xuefu Industrial Park, Shanxi comprehensive transformation and reform demonstration zone, Taiyuan City, Shanxi Province Applicant after: Shanxi Zhiquan Medical Technology Co.,Ltd. Address before: 5104, 10th floor, Zhonghai huanyutianxia, No.8, xinjinci Road, Wanbailin District, Taiyuan City, Shanxi Province Applicant before: Shanxi Zhiyou Limin Health Management Consulting Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231122 Address after: No. 33 Industrial Park, Zhangsanzhai Town, Changyuan City, Xinxiang City, Henan Province, 453414 Applicant after: Xinzhixin (Henan) Medical Technology Co.,Ltd. Address before: 030032 room 0505, 5 / F, block C, No. 529, South Central Street, Xuefu Industrial Park, Shanxi comprehensive transformation and reform demonstration zone, Taiyuan City, Shanxi Province Applicant before: Shanxi Zhiquan Medical Technology Co.,Ltd. |