CN112133409A - 一种虚拟诊疗系统和方法 - Google Patents
一种虚拟诊疗系统和方法 Download PDFInfo
- Publication number
- CN112133409A CN112133409A CN202011065073.0A CN202011065073A CN112133409A CN 112133409 A CN112133409 A CN 112133409A CN 202011065073 A CN202011065073 A CN 202011065073A CN 112133409 A CN112133409 A CN 112133409A
- Authority
- CN
- China
- Prior art keywords
- virtual
- module
- face
- patient
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 75
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 40
- 230000014509 gene expression Effects 0.000 claims abstract description 37
- 230000009471 action Effects 0.000 claims abstract description 32
- 238000003745 diagnosis Methods 0.000 claims abstract description 26
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 43
- 230000001815 facial effect Effects 0.000 claims description 37
- 210000004709 eyebrow Anatomy 0.000 claims description 36
- 210000003128 head Anatomy 0.000 claims description 35
- 210000001508 eye Anatomy 0.000 claims description 32
- 210000001331 nose Anatomy 0.000 claims description 32
- 210000000988 bone and bone Anatomy 0.000 claims description 27
- 210000004209 hair Anatomy 0.000 claims description 22
- 230000008921 facial expression Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 206010021403 Illusion Diseases 0.000 claims description 12
- 210000003625 skull Anatomy 0.000 claims description 9
- 210000000038 chest Anatomy 0.000 claims description 7
- 210000002683 foot Anatomy 0.000 claims description 7
- 210000001699 lower leg Anatomy 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 210000000689 upper leg Anatomy 0.000 claims description 7
- 210000003414 extremity Anatomy 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000003340 mental effect Effects 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 abstract description 6
- 210000000214 mouth Anatomy 0.000 description 27
- 238000011156 evaluation Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 208000004547 Hallucinations Diseases 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 9
- 201000010099 disease Diseases 0.000 description 8
- 206010019070 Hallucination, auditory Diseases 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 208000024891 symptom Diseases 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000001671 psychotherapy Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005429 filling process Methods 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 208000020016 psychiatric disease Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010012239 Delusion Diseases 0.000 description 1
- 208000020764 Sensation disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 229960003638 dopamine Drugs 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 230000000698 schizophrenic effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种虚拟诊疗系统和方法，属于心理诊疗装置技术领域，解决现有诊疗装置不能获取贴合用户虚拟人物、幻听语言对患者进行心理疏导的问题。虚拟诊疗系统包括：人物画像生成模块，根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；三维人物模型建立模块，基于虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟虚拟人物的三维人物模型；情景诊疗模块，通过加载虚拟场景模块、面部捕捉模块、全身动作捕捉模块和变声器模块，在心理治疗师、患者和虚拟人物模型之间进行人机互动。能够获得贴合用户虚拟人物形象的三维人物模型并将虚拟人物的幻听声音和表情动作同时展示给患者，实现心理疏导与治疗。
Description
技术领域
本发明涉及心理诊疗装置技术领域，尤其涉及一种虚拟诊疗系统和方法。
背景技术
在精神病学中，幻听是一种主要的知觉障碍。幻听表现为在没有任何人或外部刺激干预的情况下，病人出现基于现实感觉基础上的虚假感。75％的精神分裂症患者被诊断有幻听症状，治疗精神分裂症症状的药物其药理为多巴胺受体阻断，通过这些药物可以缓解幻听的症状。但临床实践表明，医疗程序无法行之有效的帮助幻听患者，一半的幻听会发展成为慢性疾病，尽管使用了药物治疗，幻觉仍然会保留数月甚至数年之久。这些症状常常是精神疾病患者住院治疗的原因，导致病人与社会脱节。
到目前为止，针对心理疾病、心理障碍诊断、治疗与缓解的现有技术还远远没有成熟，缺乏一套能够贴合用户虚拟人物、幻听语言对患者进行心理疏导以改善其心理状态的装置和方法。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种虚拟诊疗系统和方法，用以解决现有诊疗装置不能获取贴合用户虚拟人物、幻听语言对患者进行心理疏导的问题。
一方面，本发明实施例提供了一种虚拟诊疗系统，包括：人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；情景诊疗模块，用于通过加载所述虚拟场景模块、所述面部捕捉模块、所述全身动作捕捉模块和所述变声器模块，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，虚拟场景模块，用于根据所述患者需求提供不同虚拟场景；面部捕捉模块，用于根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；全身动作捕捉模块，用于根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；变声器模块，用于对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。
上述技术方案的有益效果如下：能够获得贴合用户虚拟人物形象的三维人物模型。心理治疗师通过面部捕捉模块和全身动作捕捉模块控制三维人物模型的表情动作，通过变声器模块将原始声音转换为模拟所述虚拟人物声音的幻听声音，并将虚拟人物的幻听声音和表情动作同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
基于上述系统的进一步改进，虚拟诊疗系统还包括五官库构建模块，用于构建多个五官库，所述五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，所述脸型库构建子模块，用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有所述不同脸型特征的脸型库；以及所述头发库构建子模块、所述眉毛库构建子模块、所述眼睛库构建子模块、所述鼻子库构建子模块和所述嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。
上述技术方案的有益效果如下：利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像。从而克服了手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。
基于上述系统的进一步改进，虚拟诊疗系统还包括五官调整模块，用于通过对所述人物画像中的五官进行调整，以获得符合所述虚拟人物形象的虚拟画像，所述五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，所述X轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；所述Y轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；所述X轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述X轴方向上进行缩放调整；以及所述Y轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述Y轴方向上进行缩放调整。
上述技术方案的有益效果如下：通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。
基于上述系统的进一步改进，所述三维人物模型建立模块，进一步包括：生成三维人物的基础模型并制作所述Blendshape表情控制器和transform动作控制器；基于人脸面部识别算法，分析所述虚拟画像中的人脸区域；根据人脸区域转换成人脸的基本衡量参数，同时将所述人脸区域的图像进行抠图并对所述基础模型进行头部贴图；所述Blendshape表情控制器接收所述人脸的基本衡量参数，并根据所述人脸的基本衡量参数动态控制所述基础模型的头部形状，以最大匹配所述虚拟画像中的头部特征；以及根据患者描述的虚拟人物，通过所述transform动作控制器控制所述基础模型的身高和身躯、四肢的形状。
基于上述系统的进一步改进，所述面部捕捉模块进一步配置为：通过网络摄像头实时拍摄所述心理治疗师人脸的视频；结合所述人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点；在所述心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及将对应标记点的位置实时转换成所述面部捕捉数值并存储所述面部捕捉数值；以及基于所述面部捕捉数值实时控制所述三维人物模型的多个Blendshape控制组件以模拟所述心理治疗师的面部表情。
基于上述系统的进一步改进，所述Blendshape表情控制器包括多个Blendshape控制组件，其中，所述多个Blendshape控制组件用于分别控制所述头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
基于上述系统的进一步改进，所述全身动作捕捉模块进一步配置为：将所述多个传感器分别设置于心理治疗师的不同位置处，所述不同位置包括手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿处；在所述心理治疗师运动时，所述多个传感器分别实时感测所述不同位置的骨骼运动数据并转换为骨骼运动四元数数据；以及根据所述骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模块的手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿动作，以模拟所述心理治疗师的动作。
基于上述系统的进一步改进，虚拟诊疗系统，还包括同步模块和输出模块，其中，所述同步模块，用于将所述幻听声音与所述面部表情进行同步；以及所述输出模块，用于将虚拟人物的幻听声音和所述动作表情同时展示给所述患者。
基于上述系统的进一步改进，虚拟诊疗系统还包括：量表评估模块，配置为：所述患者在每次治疗前填写心理评估量表；根据所述填写的所述心理评估量表，评估所述患者的心理状态；以及根据所述患者的心理状态，灵活地调整心理治疗方案。
另一方面，本发明实施例提供了一种虚拟诊疗方法包括：根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；通过加载虚拟场景、面部捕捉、全身动作捕捉和变声器，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，虚拟场景配置为根据所述患者需求提供不同虚拟场景；面部捕捉配置为根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；全身动作捕捉配置为根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；变声器配置为对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像，以克服手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。进而通过虚拟画像能够获得贴合用户虚拟人物形象的三维人物模型。
2、通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。
3、心理治疗师通过面部捕捉模块和全身动作捕捉模块控制三维人物模型的面部表情和动作，并将虚拟人物的幻听声音、面部表情和动作同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的虚拟诊疗系统的框图。
图2为根据本发明实施例的虚拟诊疗系统的原理图。
图3为根据本发明实施例的虚拟诊疗系统网络拓扑图。
图4为根据本发明实施例的五官库的示意图。
图5为从多个五官库中选择对应五官以组拼成一幅完整的人物画像的示意图。
图6为调整人物画像来生成符合虚拟人物形象的虚拟画像的示意图。
图7为由虚拟画像生成三维模型的示意图。
图8为在面部生成人脸标记点的示意图。
图9为根据本发明实施例的变声模块的结构图。
图10为虚拟场景是办公室的场景示意图。
图11为虚拟场景是学校的场景示意图。
图12为虚拟场景是公寓的场景示意图。
图13为虚拟场景是街道的场景示意图。
图14为根据本发明实施例的虚拟诊疗系统的患者管理界面。
图15为根据本发明实施例的虚拟诊疗系统的患者详情界面。
图16为根据本发明实施例的变声器的流程图。
图17为根据本发明实施例的虚拟诊疗方法的流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种虚拟诊疗系统。参考图1，虚拟诊疗系统包括：人物画像生成模块102，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；三维人物模型建立模块104，用于基于虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟虚拟人物的三维人物模型；情景诊疗模块106，用于通过加载虚拟场景模块、面部捕捉模块、全身动作捕捉模块和变声器模块，在心理治疗师、患者和虚拟人物模型之间进行人机互动，其中，虚拟场景模块108，用于根据患者需求提供不同虚拟场景；面部捕捉模块110，用于根据由人脸视频获取的面部捕捉数值，通过Blendshape表情控制器实时控制三维人物模型的面部表情；全身动作捕捉模块112，用于根据多个传感器所获得的骨骼运动四元数数据，通过transform动作控制器实时控制三维人物模型的全身动作；变声器模块114，用于对原始声音进行音调基频变声控制，以转换为模拟虚拟人物声音的幻听声音。
与现有技术相比，本实施例提供的虚拟诊疗系统，能够获得贴合用户虚拟人物形象的三维人物模型。心理治疗师通过面部捕捉模块和全身动作捕捉模块控制三维人物模型的表情动作，通过变声器模块将原始声音转换为模拟所述虚拟人物声音的幻听声音，并将虚拟人物的幻听声音和表情动作同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
下文中，将参考图1至图13，对虚拟诊疗系统进行详细描述。虚拟诊疗系统包括：五官库构建模块、五官调整模块、人物画像生成模块102、三维人物模型建立模块104、情景诊疗模块106、同步模块、输出模块和量表评估模块。
参考图4，五官库构建模块用于构建多个五官库。五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，脸型库构建子模块用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有不同脸型特征的脸型库。头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。
参考图5，人物画像生成模块102用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像。
参考图6，五官调整模块通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。具体地，五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，X轴移动模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；Y轴移动模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；X轴缩放模块，用于根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在X轴方向上进行缩放调整；以及Y轴缩放模块根据虚拟人物形象，对人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在Y轴方向上进行缩放调整。
参考图7，三维人物模型建立模块104，用于基于虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟虚拟人物的三维人物模型。具体地，三维人物模型建立模块进一步包括：生成三维人物的基础模型并制作Blendshape表情控制器和transform动作控制器；基于人脸面部识别算法，分析虚拟画像中的人脸区域；根据人脸区域转换成人脸的基本衡量参数，同时将人脸区域的图像进行抠图并对基础模型进行头部贴图(参考图6)，例如，皱纹、痣等脸部细节进行头部贴图以提升虚拟画像和三维人物的相似程度；Blendshape表情控制器接收人脸的基本衡量参数，并根据人脸的基本衡量参数动态控制基础模型的头部形状，以最大匹配虚拟画像中的头部特征；以及根据患者描述的虚拟人物，通过transform动作控制器控制基础模型的身高和身躯、四肢的形状。多个人脸的基本衡量参数包括头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。Blendshape控制器包括多个Blendshape控制组件，其中，多个Blendshape控制组件用于分别控制头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。另外，可以对身体和四肢进行相应控制。
情景诊疗模块106，用于通过加载虚拟场景模块108、面部捕捉模块110、全身动作捕捉模块112和变声器模块114，在心理治疗师、患者和虚拟人物模型之间进行人机互动，其中，虚拟场景模块108，用于根据患者需求提供不同虚拟场景；面部捕捉模块110，用于根据由人脸视频获取的面部捕捉数值，通过Blendshape表情控制器实时控制三维人物模型的面部表情；全身动作捕捉模块112，用于根据多个传感器所获得的骨骼运动四元数数据，通过transform动作控制器实时控制三维人物模型的全身动作；变声器模块114，用于对原始声音进行音调基频变声控制，以转换为模拟虚拟人物声音的幻听声音。
例如，虚拟诊疗系统可以内置预设了5个治疗场景，包括：办公室、学校、公寓、街道和默认场景。虚拟场景模块108根据患者对不同治疗场景的需求选择办公室(参考图10)、学校(参考图11)、公寓(参考图12)、街道(参考图13)和默认场景(纯色背景的虚拟空间)之一。后期治疗场景可以不断丰富，以形成虚拟场景大数据库。考虑硬件的局限性，根据患者需求适时增加治疗场景。
面部捕捉模块110进一步配置为：通过网络摄像头实时拍摄心理治疗师人脸的视频；结合人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点(参考图8)；在心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及将对应标记点的位置实时转换成面部捕捉数值并存储面部捕捉数值；以及基于面部捕捉数值实时控制三维人物模型的多个Blendshape控制组件以模拟心理治疗师的面部表情。Blendshape表情控制器包括多个Blendshape控制组件，其中，多个Blendshape控制组件用于分别控制头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
全身动作捕捉模块112进一步配置为：将多个传感器分别设置于心理治疗师的不同位置处，不同位置包括手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿处；在心理治疗师运动时，多个传感器分别实时感测不同位置的骨骼运动数据并转换为骨骼运动四元数数据；以及根据骨骼运动四元数数据，通过transform动作控制器实时控制三维人物模块的手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿动作，以模拟心理治疗师的动作。
同步模块，用于将幻听声音与面部表情进行同步；以及输出模块，用于将虚拟人物的幻听声音和动作表情同时展示给患者。具体地，通过扬声器将虚拟人物的幻听声音播放给患者，同时通过显示器将虚拟人物的动作表情展示给患者。
量表评估模块配置为：患者在每次治疗前填写心理评估量表；根据填写的心理评估量表，评估患者的心理状态；以及根据患者的心理状态，灵活地调整心理治疗方案。
本发明旨在解决医疗程序无法行之有效的帮助幻听患者的问题，通过应用程序对患者的认知及行为进行系统的干预。
下文中，参照图2至图13，以具体示例的方式对虚拟诊疗系统进行详细描述。
虚拟诊疗系统是基于阿凡达疗法的基本原理，结合虚拟现实技术与软件开发技术的软件诊疗系统。阿凡达疗法，是将虚拟现实用于精神疾病治疗的一种新型技术。技术的关键是将精神疾病患者虚拟的化身通过三维技术仿真完成，使用虚拟人物为主人公，在专业心理治疗师的实时表演驱动下与患者互动，从而缓解患者幻听症状，改善其精神状态。
虚拟诊疗系统是一种远程干预模式，是通过电脑交互界面，以清晰的操作步骤，高度结构化的多种媒介互动方式(动画、视频、声音，三维建模人物的表情、动作等)来表现认知行为治疗基本原则和方法的治疗方式，可通过应用程序对患者的认知及行为进行系统的干预。
该系统主要包括虚拟画像、量表评估、情景诊疗三个模块。图2是虚拟诊疗系统的原理图。
虚拟画像描述是通过患者与治疗师的充分交流，借助虚拟画像软件3，在界面画出符合患者幻听形象的人物图像，并生成相应的图片，可供下载。画像软件能快速准确的模拟患者幻想角色的形象，通过将人整体外观拆分为五官分类，每种五官挑选典型的8个子类，每个子类下搜集并拍摄具有该五官分类人物的典型形象，通过技术手段将五官的每个子类所代表的五官图片切分出来，最后进行排列组合，达到虚拟画像的目的。参考图4，操作软件时，点击每个五官库中有该五官的素材可以在右侧画布上展示该五官图片，参考图5，依次选择脸型、头发、眉毛、眼睛、嘴巴、鼻子后即可组拼成一个完整的人物画像。参考图6，每个五官支持位于右侧的调整选项进行调整，可以针对每个五官进行X和Y轴方向上的移动缩放，以适配更加丰富的人物形象。
量表评估是医师根据患者填写的心理评估量表及时评估患者的心理状态，根据患者的心理状态，灵活地调整心理治疗方案。所述心理评估量表为系统内置，在患者每进行一次治疗前，心理治疗师可以给患者分配专业的心理治疗测评量表，系统内置了心理治疗时常用的用于评估患者心理状态的专业量表，通过点击量表列表中的量表添加量表。被添加的量表按照添加顺序依次显示在选作量表列表区域。点击某个量表的图标，右侧即可显示该量表的具体评估内容，患者依次填写量表，填写过程中软件会自动根据特定量表的分数计量标准继续后台实时记录，并最终在患者填写完成后获得该量表的评估分数。
情景诊疗是通过加载虚拟场景3、面部捕捉4、全身动作捕捉5、变声器6等插件(又称为模块)，实现治疗师、患者和虚拟人物1(患者的幻听对象，也就是虚拟画像画出的人物)三者之间的人机互动。在互动的过程中，治疗师承担了治疗师本身和虚拟人物1两种角色，融入了心理治疗方法，通过将传统的心理治疗方法与现代的先进技术相融合，对幻听进行治疗，以期缓解患者的幻听症状。
虚拟场景插件包括软件系统内置预设的5个治疗场景(参考图10至图13)及虚拟形象人物角色，其中虚拟形象人物角色基于虚拟画像软件2得到的患者的虚拟形象描述，采用照片一键生成模型方法生成。照片一键生成模型的底层原理是基于人脸面部识别算法，首先算法能够分析照片中的人脸区域，然后根据得到的人脸区域转化成人脸的基本衡量参数，同时将人脸区域的图像通过特定的蒙版抠出，然后作为生成人物的头部贴图，用于提升照片虚拟画像和三维人物的相似程度。一键生成三维人物模型需要有基础模型作为基准模型，该基础模型需要绑定好骨骼和蒙皮，面部也需要制作好Blendshape动画控制器，此外还需要制作额外的头部BlendShape控制条，这些控制条用于接收面部识别算法分析图片后获取的参数特征，例如头部宽度，鼻子宽度，眼睛高度，嘴部宽度高度等，然后动态控制基础模型的头部形状，最大程度匹配画像图片中头部特征。通过以上两个步骤能够快速生成与照片模型相似的头部模型，整个模型制作过程可以控制在一天之内。
面部捕捉插件采用Faceware面部捕捉算法。通过简单的WebCamera网络摄像头，通过USB与计算机相连，通过该网络摄像头实时拍摄人脸的视频，结合面部捕捉算法，在眉毛、眼睛、瞳孔、嘴巴、鼻子等位置生成标记点，实时追踪标记点位置，并转换成值数据，并实时将每个控制点生成的数据存储起来。将网络摄像头通过面部捕捉算法获取的人脸不同五官和肌肉表情的数值传输映射给拥有同样结构的三维虚拟角色的相应面部Blendshape动画接口处，就能够通过面部捕捉算法捕捉真实人脸的数据值来实时控制三维模型已经制作好的Blendshape控制条的数值，达到通过表演和模拟真人的脸部表情，最终即可实现由真人驱动，通过虚拟角色展现所表演的表情的功能。
全身动作捕捉插件采用惯性系统实时感测心理治疗师的动作。具体地，实施感测穿戴多个传感器的心理治疗师的传感器的动作并转换为骨骼运动四元数数据。具体地，多个传感器配置为：将多个传感器分别设置于心理治疗师的不同位置处，不同位置包括手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿处；在心理治疗师运动时，多个传感器分别实时感测不同位置的骨骼运动数据；以及将骨骼运动数据转换为骨骼运动四元数数据并传输至动作驱动模块。将骨骼运动四元数数据实时映射并传输到三维人物骨骼的Transform变换控制器，实现全身动作捕捉功能。
参考图9，变声器插件对治疗师的声音进行变音，用以符合不同病人对虚拟形象的声音要求。变声器界面包括麦克风开关、Pitch音调调整滑动条、Formant基频调整滑动条、原声功能、变声功能、保存声音预设和快速预设按钮。点击麦克风开关可以开启或者关闭麦克风；滑动Pitch音调调整滑动条可以改变声音的音调；滑动Formant基频调整滑动条可以控制声音的频率；点击原声功能按钮可以在屏幕左侧弹出治疗师的实时画面，并关闭软件的变声功能，同时关闭软件的面部捕捉和全身捕捉功能，让治疗师以治疗师身份介入三方治疗；点击变声功能按钮可以关闭左侧治疗师实时画面，并连接面部捕捉和全身捕捉功能模块，同时开启变声器，治疗师即可以患者虚拟形象的身份介入治疗，点击保存声音预设按钮可以将当前声音预设数值保存下来，下次进入诊疗阶段时软件会自动读取该预设数值，并按照这个声音进行变声；点击快速预设按钮可以让男生的虚拟声音变化成女生，女生的虚拟声音变化成男生，打破治疗师性别的局限，让男性治疗师也能扮演女性虚拟形象，女性治疗师扮演男性虚拟形象的声音。
参考图16，变声器主要包含：原始音源发声子模块，用于接收经过调制与组合后的原始声音；音源第一接收子模块：用于接收经过调制组合后的原始声音，并调制为特定无线信号频段发射。音源中继子模块：用于接收音源第一接收模块发射的特定频段的无线电信号解码调制后输入音调域基频变声模块；音调与基频变声子模块：接收音源中继模块解调信号，对音频进行音调与基频根据传入参数进行音调与基频的变化处理；音调与基频控制子模块：用于可视化提供音调与基频的参数调整，并保存参数预设并传参；变化音源输出子模块：用于接收变声模块结果并将数字信号转化为模拟信号，通过音频播放设备输出变化后声音信号；三方诊疗切换子模块：用于变声状态与原声状态的切换，基于CBT诊疗与暴露性治疗的原则，由心理治疗师选择原声与变声切换时机，并在原声阶段显示治疗师画面，对难治性言语性幻听病人进行支持性鼓励；以及难治性言语行幻听脚本治疗模块：基于难治性言语行幻听的临床治疗理论及特定个体的发病病因案例分析，制作诊疗脚本，作为诊疗过程线性指导原则。
本发明实施例的变声器模块通过实时获取心理治疗师声音并叠加调制声音后通过音调基频变声控制与变声模块的处理最终输出符合难治性言语性幻听患者的幻听声音，配合心理治疗技巧，达到难治性言语幻听疾病症状改善与治疗的目的。
本发明中装置简单，容易操作，为难治性言语性幻听的非药物与非物理刺激介入心理诊疗干预开辟了新的治疗思路与实现手段。
具体实施方案：
该诊疗系统的软件界面包括虚拟画像界面(参考图4)、患者管理界面(参考图14)、患者详情界面(参考图15)、量表评估界面、场景治疗预设界面和数据中心界面。图2是虚拟诊疗系统的网络拓扑图。
参考图4，虚拟画像界面能画出符合患者幻听形象的人物图像，并生成相应的图片，可供下载。
参考图14，患者管理功能模块能够对患者的详细信息进行录入保存，并实现对患者进行增添、删除、修改、查找等基本功能。通过该功能模块，治疗师可以随时查看特定患者的所有信息，并通过界面可视化直观获取该患者治疗次数和阶段状态。
参考图15，患者详情界面负责展示之前录入的患者详细信息，同时可以显示患者在每一个治疗过程中的治疗记录报告。同时支持本地文件上传统一管理，可以上传患者的其他诊疗报告。
量表评估界面可选择心理治疗时常用的用于评估患者心理状态的专业量表，通过点击量表列表中的量表添加量表。被添加的量表按照添加顺序依次显示在选作量表列表区域。点击某个量表的图标，右侧即可显示该量表的具体评估内容，患者依次填写量表，填写过程中软件会自动根据特定量表的分数计量标准继续后台实时记录，并最终在患者填写完成后获得该量表的评估分数。
场景治疗预设界面包括软件系统内置预设的5个治疗场景及虚拟形象人物角色，5个治疗场景分别是办公室(参考图10)、学校(参考图11)、公寓(参考图12)、街道(参考图13)和默认场景；默认场景为纯色背景的虚拟空间，负责大部分场景治疗工作。后期治疗场景可以不断丰富，但要考虑硬件的局限性，适时增加。虚拟形象人物基于虚拟画像建模完成并通过图片缩略图的形式展示(参考图4)，方便心理治疗师和患者通过可视化的手段快速选用治疗人物和治疗场景。选用好场景和人物之后，可以通过添加按钮添加基于当前患者的场景和人物治疗预设，因为临床中一个病人的虚拟角色可能包含多个角色，所以设置该选项以满足多虚拟形象的患者需求。生成预设后可以点击开始治疗进入场景治疗阶段。
数据中心界面用于展示患者的可视化数据信息。展示内容包括量表分数的得分及其曲线变化图。包括患者的治疗阶段，治疗天数，治疗时长，用户虚拟画像等。此外在整体信息展示界面还可以看到当前软件系统注册添加的患者数量，患者疾病种类及年龄分布图等大数据统计信息。为治疗师及软件用户分析疾病发病情况和年龄分布的科学分析提供数据支撑。
在使用该系统时，首先在系统登录界面通过账号、密码登陆系统，然后通过患者管理界面，添加患者信息，最后进入治疗程序。参考图3，在进行干预治疗时，建议在两个单独的房间里进行治疗，治疗师在其中一个房间，患者在另一个房间。病人所在的房间设置由一块屏幕，屏幕能够显示病人幻想的化身形象，该形象由治疗师直接驱动，治疗过程按以下阶段进行：
(1)在第一次(离线)治疗中，治疗师与患者沟通，针对患者的特定发病行为与幻想虚拟角色进行精确的描述画像，生成虚拟角色的形象。
(2)第二步，利用三维建模技术，将虚拟角色的形象制作为三维的人物，并制作特定的动画与所处环境。
(3)在之后几次的干预治疗中由治疗师通过实时动作与表情捕捉设备配合合成语音技术，驱动虚拟角色进行相应的治疗行为，实现心理疏导与治疗，改善患者的心理压力状态。
本发明技术方案带来的有益效果
虚拟诊疗系统最终能够全面综合调节患者的应激状态，降低其恐惧、焦虑、抑郁等负面情绪，帮助其树立对抗疾病的信心。干预内容个性化定制，操作方便，患者只需与由治疗师驱动的虚拟角色进行心理互动干预即可。针对患者的应激调节能够从精神卫生的专业角度最大程度的减轻患者的应激水平及心理负担。
在使用该系统时，首先在系统登录界面通过账号、密码登陆系统，然后通过患者管理界面，添加患者信息，最后进入治疗程序。在进行干预治疗时，建议在两个单独的房间里进行治疗，治疗师在其中一个房间，患者在另一个房间。患者所在的房间设置有一块屏幕，屏幕能够显示患者幻想的化身形象，该形象由治疗师直接驱动，治疗过程按以下阶段进行。
首次治疗的主要任务是进行虚拟画像，即在软件界面画出患者的幻听人物。在治疗师与患者的交流中，了解患者幻听对象的特征，根据患者的描述，在五官库中调用相应的图片，通过功能按钮不断调整五官图片的组合模式，生成符合患者幻听的虚拟人物图片，最后进行数据保存，可供下载。虚拟画像完成后，建模师根据虚拟画像生成与之相似的三维人物模型。
完成虚拟画像后，治疗师可进入量表评估模块。该模块通过选用量表库中的量表，对患者当前的心理状态进行评估。点击量表评估，即可显示量表库中的已有量表，点击拟用量表，即可将量表添加至任务栏。被添加的量表按照添加顺序依次显示在选作量表列表区域。点击某量表，右侧即可显示该量表的具体评估内容，患者依次填写量表，填写过程中软件会自动进行数据实时记录，系统后台根据预设的量表计分方式进行数据转换。患者填写完量表后，即可获得该量表的评估结果，且生成量表评估报告，可供下载打印。
完成量表评估，进入患者详情界面即可看到患者的详细信息，包括其基本信息以及已完成的量表结果等。此外，还可以显示患者在每一个治疗过程中的治疗记录报告，同时支持本地文件上传统一管理，可以上传患者的其他诊疗报告。
参考量表评估结果，并结合治疗师对患者的详情了解，治疗师将制定一套符合患者实际需求的情景诊疗方案。情景诊疗是通过加载虚拟场景、面部捕捉、全身动捕、变声器等插件，实现治疗师、患者和化身三者之间的人机互动。情景诊疗界面包括软件系统内置预设的丰富治疗场景及虚拟形象人物角色，治疗场景包括办公室、学校、公寓、街道等；虚拟形象人物基于虚拟画像建模完成并通过图片缩略图的形式展示，方便心理治疗师和患者通过可视化的手段快速选用治疗人物和治疗场景。选用好场景和人物之后，可以通过添加按钮添加基于当前患者的场景和人物治疗预设，因为临床中一个病人的虚拟角色可能包含多个角色，所以设置该选项以满足多虚拟形象的患者需求。生成预设后，患者可以根据自己喜好，选择网页PC端或者VR端，点击开始治疗，即可进入场景治疗阶段。在诊疗过程中，治疗师承担了治疗师本身和化身两种角色，可实时驱动虚拟模型，通过将传统的心理治疗方法与现代的先进技术相融合，针对幻听、妄想等症状进行工作，以期缓解患者的精神病性症状，改善其身心状态。
此外，数据中心模块用于直观地展示患者的可视化数据信息，包括：虚拟画像，量表评估得分及其变化趋势，已完成的治疗阶段、治疗天数和治疗时长等。在整体信息展示界面还可以看到当前软件系统注册添加的患者数量，患者疾病种类及年龄分布图等大数据统计信息。为治疗师及软件用户分析疾病发病情况和年龄分布的科学分析提供数据支撑。
每次治疗完成后，点击“退出”按钮，即可退出本系统。
本发明的另一个具体实施例，公开了一种虚拟诊疗方法。参考图17，一种虚拟诊疗方法包括：步骤S1702，根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；步骤S1704，基于虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟虚拟人物的三维人物模型；步骤S1706，通过加载虚拟场景、面部捕捉、全身动作捕捉和变声器，在心理治疗师、患者和虚拟人物模型之间进行人机互动，其中，虚拟场景配置为根据患者需求提供不同虚拟场景；面部捕捉配置为根据由人脸视频获取的面部捕捉数值，通过Blendshape表情控制器实时控制三维人物模型的面部表情；全身动作捕捉配置为根据多个传感器所获得的骨骼运动四元数数据，通过transform动作控制器实时控制三维人物模型的全身动作；变声器配置为对原始声音进行音调基频变声控制，以转换为模拟虚拟人物声音的幻听声音。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像，以克服手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。进而通过虚拟画像能够获得贴合用户虚拟人物形象的三维人物模型。
2、通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。
3、心理治疗师通过面部捕捉模块和全身动作捕捉模块控制三维人物模型的面部表情和动作，并将虚拟人物的幻听声音、面部表情和动作同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种虚拟诊疗系统，其特征在于，包括：
人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；
三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；
情景诊疗模块，用于通过加载所述虚拟场景模块、所述面部捕捉模块、所述全身动作捕捉模块和所述变声器模块，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，
虚拟场景模块，用于根据所述患者需求提供不同虚拟场景；
面部捕捉模块，用于根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；
全身动作捕捉模块，用于根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；
变声器模块，用于对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。
2.根据权利要求1所述的虚拟诊疗系统，其特征在于，还包括五官库构建模块，用于构建多个五官库，所述五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，
所述脸型库构建子模块，用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有所述不同脸型特征的脸型库；以及
所述头发库构建子模块、所述眉毛库构建子模块、所述眼睛库构建子模块、所述鼻子库构建子模块和所述嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。
3.根据权利要求2所述的虚拟诊疗系统，其特征在于，还包括五官调整模块，用于通过对所述人物画像中的五官进行调整，以获得符合所述虚拟人物形象的虚拟画像，所述五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，
所述X轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；
所述Y轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；
所述X轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述X轴方向上进行缩放调整；以及
所述Y轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述Y轴方向上进行缩放调整。
4.根据权利要求1所述的虚拟诊疗系统，其特征在于，所述三维人物模型建立模块，进一步包括：
生成三维人物的基础模型并制作所述Blendshape表情控制器和transform动作控制器；
基于人脸面部识别算法，分析所述虚拟画像中的人脸区域；
根据人脸区域转换成人脸的基本衡量参数，同时将所述人脸区域的图像进行抠图并对所述基础模型进行头部贴图；
所述Blendshape表情控制器接收所述人脸的基本衡量参数，并根据所述人脸的基本衡量参数动态控制所述基础模型的头部形状，以最大匹配所述虚拟画像中的头部特征；以及
根据患者描述的虚拟人物，通过所述transform动作控制器控制所述基础模型的身高和身躯、四肢的形状。
5.根据权利要求1所述的虚拟诊疗系统，其特征在于，所述面部捕捉模块进一步配置为：
通过网络摄像头实时拍摄所述心理治疗师人脸的视频；
结合所述人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点；
在所述心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及
将对应标记点的位置实时转换成所述面部捕捉数值并存储所述面部捕捉数值；以及
基于所述面部捕捉数值实时控制所述三维人物模型的多个Blendshape控制组件以模拟所述心理治疗师的面部表情。
6.根据权利要求5所述的虚拟诊疗系统，其特征在于，所述Blendshape表情控制器包括多个Blendshape控制组件，其中，所述多个Blendshape控制组件用于分别控制所述头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。
7.根据权利要求1所述的虚拟诊疗系统，其特征在于，所述全身动作捕捉模块进一步配置为：
将所述多个传感器分别设置于心理治疗师的不同位置处，所述不同位置包括手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿处；
在所述心理治疗师运动时，所述多个传感器分别实时感测所述不同位置的骨骼运动数据并转换为骨骼运动四元数数据；以及
根据所述骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模块的手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿动作，以模拟所述心理治疗师的动作。
8.根据权利要求1至7中的任一项所述的虚拟诊疗系统，其特征在于，还包括同步模块和输出模块，其中，
所述同步模块，用于将所述幻听声音与所述面部表情进行同步；以及
所述输出模块，用于将虚拟人物的幻听声音和所述动作表情同时展示给所述患者。
9.根据权利要求1所述的虚拟诊疗系统，其特征在于，还包括：量表评估模块，配置为：
所述患者在每次治疗前填写心理评估量表；
根据所述填写的所述心理评估量表，评估所述患者的心理状态；以及
根据所述患者的心理状态，灵活地调整心理治疗方案。
10.一种虚拟诊疗方法，其特征在于，包括：
根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；
基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；
通过加载虚拟场景、面部捕捉、全身动作捕捉和变声器，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，
虚拟场景配置为根据所述患者需求提供不同虚拟场景；
面部捕捉配置为根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；
全身动作捕捉配置为根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；
变声器配置为对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011065073.0A CN112133409A (zh) | 2020-09-30 | 2020-09-30 | 一种虚拟诊疗系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011065073.0A CN112133409A (zh) | 2020-09-30 | 2020-09-30 | 一种虚拟诊疗系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112133409A true CN112133409A (zh) | 2020-12-25 |
Family
ID=73843682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011065073.0A Pending CN112133409A (zh) | 2020-09-30 | 2020-09-30 | 一种虚拟诊疗系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112133409A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113050795A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法及装置 |
| CN116403680A (zh) * | 2023-01-20 | 2023-07-07 | 北京瑞帆科技有限公司 | 一种基于xr技术的认知刺激治疗系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020024519A1 (en) * | 2000-08-20 | 2002-02-28 | Adamsoft Corporation | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character |
| CN107197385A (zh) * | 2017-05-31 | 2017-09-22 | 珠海金山网络游戏科技有限公司 | 一种实时虚拟偶像直播方法及系统 |
| CN107248342A (zh) * | 2017-07-07 | 2017-10-13 | 四川云图瑞科技有限公司 | 基于虚拟现实技术的三维互动教学系统 |
| CN108648796A (zh) * | 2018-05-22 | 2018-10-12 | 山东东艺数字科技有限公司 | 一种虚拟现实镜像治疗仪 |
| CN109584992A (zh) * | 2018-11-22 | 2019-04-05 | 段新 | 交互方法、装置、服务器、存储介质及沙盘治疗系统 |
-
2020
- 2020-09-30 CN CN202011065073.0A patent/CN112133409A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020024519A1 (en) * | 2000-08-20 | 2002-02-28 | Adamsoft Corporation | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character |
| CN107197385A (zh) * | 2017-05-31 | 2017-09-22 | 珠海金山网络游戏科技有限公司 | 一种实时虚拟偶像直播方法及系统 |
| CN107248342A (zh) * | 2017-07-07 | 2017-10-13 | 四川云图瑞科技有限公司 | 基于虚拟现实技术的三维互动教学系统 |
| CN108648796A (zh) * | 2018-05-22 | 2018-10-12 | 山东东艺数字科技有限公司 | 一种虚拟现实镜像治疗仪 |
| CN109584992A (zh) * | 2018-11-22 | 2019-04-05 | 段新 | 交互方法、装置、服务器、存储介质及沙盘治疗系统 |
Non-Patent Citations (1)
| Title |
|---|
| 韩琦;赵文涛;梁娜娜;徐勇;: "阿凡达疗法治疗精神分裂症言语性幻听的Meta分析", 精神医学杂志, vol. 33, no. 01, pages 11 - 16 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113050795A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法及装置 |
| CN116403680A (zh) * | 2023-01-20 | 2023-07-07 | 北京瑞帆科技有限公司 | 一种基于xr技术的认知刺激治疗系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10089895B2 (en) | Situated simulation for training, education, and therapy | |
| US8714982B2 (en) | System and method for teaching social skills, social thinking, and social awareness | |
| CN102473320B (zh) | 通过学习到的来自用户的输入使视觉表示生动化的方法 | |
| CN109564706A (zh) | 基于智能交互式增强现实的用户交互平台 | |
| CN112734946B (zh) | 一种声乐表演教学方法及系统 | |
| CN112164135A (zh) | 一种虚拟人物形象的构建装置和方法 | |
| CN104298722A (zh) | 多媒体交互系统及其方法 | |
| CN112150617A (zh) | 一种三维人物模型的控制装置和方法 | |
| CN208156892U (zh) | 智能精准中医技能培训考核系统 | |
| WO2015027286A1 (en) | A medical training simulation system and method | |
| CN106345035A (zh) | 一种基于虚拟现实的睡眠系统 | |
| De Torcy et al. | A video-fiberscopic study of laryngopharyngeal behaviour in the human beatbox | |
| US20200184843A1 (en) | Information processing apparatus, information processing method, and computer program | |
| CN112133409A (zh) | 一种虚拟诊疗系统和方法 | |
| Takacs | Special education and rehabilitation: teaching and healing with interactive graphics | |
| Shtern et al. | A game system for speech rehabilitation | |
| Valenti et al. | Sonify your face: facial expressions for sound generation | |
| JP2009095404A (ja) | 動画表示システム、動画表示方法、およびコンピュータプログラム | |
| CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
| CN113687744B (zh) | 一种用于情绪调节的人机交互设备 | |
| CN112534491A (zh) | 一种医学模拟器、医学训练系统和方法 | |
| Haworth et al. | Electromagnetic articulography in the development of ‘serious games’ for speech rehabilitation | |
| KR100445846B1 (ko) | 대인 공포증 치료를 위한 가상 연설 시뮬레이터 | |
| CA3187416A1 (en) | Methods and systems for communication and interaction using 3d human movement data | |
| Takacs | Cognitive, Mental and Physical Rehabilitation Using a Configurable Virtual Reality System. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220315 Address after: 030032 room 0505, 5 / F, block C, No. 529, South Central Street, Xuefu Industrial Park, Shanxi comprehensive transformation and reform demonstration zone, Taiyuan City, Shanxi Province Applicant after: Shanxi Zhiquan Medical Technology Co.,Ltd. Address before: 5104, 10th floor, Zhonghai huanyutianxia, No.8, xinjinci Road, Wanbailin District, Taiyuan City, Shanxi Province Applicant before: Shanxi Zhiyou Limin Health Management Consulting Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231130 Address after: No. 33 Industrial Park, Zhangsanzhai Town, Changyuan City, Xinxiang City, Henan Province, 453414 Applicant after: Xinzhixin (Henan) Medical Technology Co.,Ltd. Address before: 030032 room 0505, 5 / F, block C, No. 529, South Central Street, Xuefu Industrial Park, Shanxi comprehensive transformation and reform demonstration zone, Taiyuan City, Shanxi Province Applicant before: Shanxi Zhiquan Medical Technology Co.,Ltd. |