CN111292856A - 交互方法、装置及计算机设备 - Google Patents

交互方法、装置及计算机设备 Download PDF

Info

Publication number
CN111292856A
CN111292856A CN201811489882.7A CN201811489882A CN111292856A CN 111292856 A CN111292856 A CN 111292856A CN 201811489882 A CN201811489882 A CN 201811489882A CN 111292856 A CN111292856 A CN 111292856A
Authority
CN
China
Prior art keywords
interaction
doctor
virtual
virtual doctor
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811489882.7A
Other languages
English (en)
Inventor
侯飞跃
傅业焘
马金
冒晶
刘扬
刘柳
杨名远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811489882.7A priority Critical patent/CN111292856A/zh
Publication of CN111292856A publication Critical patent/CN111292856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种交互方法、装置及计算机设备。其中,该方法包括:接收用于触发就诊交互开始的触发信息;播放虚拟医生,其中,所述虚拟医生依据真人医生的特征模拟得到;在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互。本发明解决了相关技术中的医生的就诊方式,成本较高,就诊交互效率低,交互效果差,没有与真人医生进行就诊交互的体验的技术问题。

Description

交互方法、装置及计算机设备
技术领域
本发明涉及虚拟仿真领域,具体而言,涉及一种交互方法、装置及计算机设备。
背景技术
相关技术中,在医生的就诊交互场景下,通常都是由真人医生对病人进行现场交互,但是,医生数量和病人数量往往存在较大的不均衡,在就诊交互场景下,仅能由一个真人医生面对一个病人,进行诊断的效率较低,成本较高。在一些较为常见和简单的就诊交互场景下,可以根据患者的症状,对患者进行初步诊断和倾向性意见,但是上述的就诊交互场景下,通常仅包括文字交互,有的会包括语音交互,但是交互效率低,交互效果较差,没有与真人医生进行就诊交互的体验。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种交互方法、装置及计算机设备,以至少解决相关技术中的医生的就诊方式,成本较高,就诊交互效率低,交互效果差,没有与真人医生进行就诊交互的体验的技术问题。
根据本发明实施例的一个方面,提供了一种交互方法,包括:接收用于触发就诊交互开始的触发信息;播放虚拟医生,其中,所述虚拟医生依据真人医生的特征模拟得到;在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互。
根据本发明实施例的另一方面,还提供了一种交互方法,包括:显示用于展示虚拟医生的设备处于待唤醒状态,其中,所述虚拟医生为依据真人医生的特征模拟得到;在接收到触发就诊交互开始的触发信息时,显示所述虚拟医生进入交互状态;在虚拟医生与病人的就诊交互场景中,显示所述虚拟医生与病人进行就诊交互的交互内容。
根据本发明实施例的另一方面,还提供了一种交互装置,包括:接收模块,用于接收用于触发就诊交互开始的触发信息;播放模块,用于播放虚拟医生,其中,所述虚拟医生依据真人医生的特征模拟得到;交互模块,用于在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的交互方法。
根据本发明实施例的另一方面,还提供了一种计算机设备,包括:存储器和处理器,所述存储器存储有计算机程序;所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时执行上述中任意一项所述的交互方法。
在本发明实施例中,采用模拟真人医生的虚拟医生,通过检测就诊交互场景被触发,播放依据真人医生的特征模拟所得到虚拟医生,与病人进行就诊交互,达到了通过模拟虚拟医生,对病人进行就诊,具有与真人医生进行就诊交互的体验的目的,从而实现了降低就诊交互的成本,提高就诊交互效率和效果的技术效果,进而解决了相关技术中的医生的就诊方式,成本较高,就诊交互效率低,交互效果差,没有与真人医生进行就诊交互的体验的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了一种用于实现交互方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本发明实施例1的一种交互方法的流程图;
图3是根据本发明实施例1的另一种交互方法的流程图;
图4是根据本发明实施例1的另一种交互方法的流程图;
图5是根据本发明实施例1实施方式的一种交互方法的流程图;
图6是根据本发明实施例2的一种交互方法的流程图;
图7是根据本发明实施例2的另一种交互方法的流程图;
图8是根据本发明实施例3的一种交互装置的示意图;
图9是根据本发明实施例4的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
语音识别ASR:automatic speech recognition,也称自动语音识别,其目标是将人类语言转换为计算机可读的输入,从而实现人机交互中,人对机器的信息输入。例如,人按按键,人通过二进制编码空机器进行操作,人通过计算机语言编码对机器进行控制等。
自然语音处理NLP:natural language processing,是计算机科学领域与人工智能领域中的一个重要方向,主要是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
语音合成TTS:text to speech,是通过机械、电子方法产生人造语音的技术,又称文语转换技术,是将计算机产生的、或者外部输入的文字信息转变为人能够听懂的、流利的语言输出的技术。
实施例1
根据本发明实施例,还提供了一种交互方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现交互方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外,还可以包括:传输模块、显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的交互方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的交互方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述传输模块用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输模块包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
图1示出的硬件结构框图,不仅可以作为上述计算机终端10(或移动设备)的示例性框图,还可以作为上述服务器的示例性框图,一种可选实施例中,上述图1所示的计算机终端10(或移动设备)作为(例如发送端、接收端等)一种实施例。计算机终端10(或移动设备)可以经由数据网络连接或电子连接到一个或多个服务器(例如安全服务器、资源服务器、游戏服务器等)。一种可选实施例中,上述计算机终端10(或移动设备)可以是(任意移动计算设备等)。数据网络连接可以是局域网连接、广域网连接、因特网连接,或其他类型的数据网络连接。计算机终端10(或移动设备)可以执行以连接到由一个服务器(例如安全服务器)或一组服务器执行的网络服务。网络服务器是基于网络的用户服务,诸如社交网络、云资源、电子邮件、在线支付或其他在线应用。
相关技术中,在就诊交互场景下,病人就诊。通常都是真人医生与病人一对一的进行交互,但是由于医生的职业特殊性,造成医生与就诊病人的数量往往存在极大的差距。首先医生的从业资格较高,行业对医生的要求较高,病人在医院中就诊的成本一般偏高;而且病人就诊直接关系到病人的生命财产安全,对于病人更倾向于更好的医生,会导致医生越好,就诊的病人越多,病人就诊成本越高。另外,存在一种软件或者网页模拟医生功能,病人根据该软件或者网页输入自身症状,可以根据病人输入的症状,根据该症状确定针对该症状的诊断结果。但是上述软件或者网页的模拟医生功能仅具有文字交互,也即是病人仅能通过文字描述输入症状,有的软件或者网页还可以具有语音交互的功能,病人可以通过语音描述症状,存在交互效率低,交互效果较差,没有类似医生的虚拟形象或者交互界面,没有与真人医生进行就诊交互的体验。
交互仿真虚拟人通过整合面部重塑、语音识别(ASR)、语音合成(TTS)、机器问答等多领域的人工智能AI(Artificial Intelligence)技术,从视觉和听觉上,带来宛如和真人对话般的交互体验。通过面部重塑、机器阅读、远场语音识别技术,并率先整合了自然语言理解和图像渲染等多种技术。
在上述运行环境下,本申请提供了如图2所示的交互方法。图2是根据本发明实施例1的一种交互方法的流程图,如图2所示,该方法包括以下步骤:
步骤S202,接收用于触发就诊交互开始的触发信息。
作为一种可选的实施例,上述步骤的执行主体可以是一种智能设备,该智能设备可以称之为虚拟医生,该虚拟医生可以用于医院,各类机构的医疗门诊部门,医疗站,药店等,多种可以应用就诊交互场景的场所,还可以是放置在家中的家庭医生,该虚拟医生用于与就诊交互的对象进行就诊交互。上述虚拟医生的就诊交互的对象可以为病人。
作为一种可选的实施例,上述触发信息可以主动触发信息,或者被动触发信息。上述主动触发信息可以是由该虚拟医生检测,在检测到满足就诊交互开启的条件时,自动触发开始就诊交互。例如,在医院门诊的场景下,可以将病人的抽号作为就诊交互开始的触发信息,在上述虚拟医生检测到上述病人的抽号与当前就诊交互的抽号相同的情况下,开始就诊交互。
作为一种可选的实施例,上述被动触发信息可以是由就诊交互的对象发起指令,上述就诊交互的对象可以是病人,就诊者,控制虚拟医生开始就诊交互。上述发起指令可以是发出控制语音,做出控制动作,或者通过控制装置发出控制指令等。例如,在家庭医生的场景下,病人可以根据需求,选择是否开启虚拟医生,开始就诊交互,可以是通过语音,“开始就诊”作为控制指令,虚拟医生接受该控制语音后,根据该控制语音,控制开启就诊交互。
作为一种可选的实施例,在上述触发信息为主动触发信息的情况下,上述用于触发就诊交互开始的触发信息可以是由检测装置发送的,该检测装置可以属于该虚拟医生,检测装置用于检测触发信息是否满足开启就诊交互的触发条件。在上述触发信息为被动触发的情况下,上述触发信息可以是由用于控制虚拟医生工作的控制装置,或者用于接收病人发送的信息的接收装置。在病人发出控制语音,或者做出控制动作的情况下,由上述接收装置接收,并转化为触发信息,触发虚拟医生开始就诊交互。
步骤S204,播放虚拟医生,其中,虚拟医生依据真人医生的特征模拟得到。
作为一种可选的实施例,在上述触发信息触发虚拟医生开始就诊交互后,虚拟医生进入交互状态,播放虚拟医生的形象,使病人在视觉上感受到与真人医生类似的或者相同的体验。上述虚拟医生的形象可以是依据真人医生进行模拟所得,还可以是根据预设的参数进行模拟所生成的二维图像或者三维图像,例如,卡通动漫形象,明星,动植物,自主编辑的形象等,从而有效满足多样化的需求。
作为一种可选的实施例,上述虚拟医生在具有视觉体验的基础上,还可以提供语音对话的听觉体验。也即是上述虚拟医生可以与病人进行语音交互。该语音交互方法可以是多种,例如,简单应答的语音交互,通过固定的对话模式进行简单应答。或者基于机器学习或者深度学习的语音交互,通过神经网络,进行智能应答和对话。
作为一种可选的实施例,在上述虚拟医生为真人医生形象的情况下,该虚拟医生是依据真人医生的特征模拟所得到。该特征可以是体型特征,外貌特征,脸型特征,五官特征等图像特征,在听觉交互场景下,上述特征还可以是声音特征,音色特征,语气特征,口音特征等声音特征。从而使该虚拟医生与真人医生对病人带来的感官体验更相接近。
步骤S206,在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互。
作为一种可选的实施例,上述就诊交互场景可以是现实中的病人与医生的交互场景。该就诊交互场景,可以具有一定的界限,在超出该交互界限的情况下,可以触发相应的操作。例如,就诊交互场景可以限于诊病,问答,或者其他的预设功能与操作等。但是一些超越权限的操作可以禁止进行,例如,控制无权限操作的医疗设备进行操作等。该交互界限可以根据具有修改权限的人进行修改。
作为一种可选的实施例,上述在就诊交互场景下,通过虚拟医生与病人进行交互至少包括,视觉交互和听觉交互。视觉交互,是指在视觉上的交互,例如,该虚拟医生形象的面部表情的变化,身体姿态的变化,身体动作的变化等。听觉交互,是指在听觉上的交互,例如,该虚拟医生声音的声调的变化,语气的变化,语速的变化等。
作为一种可选的实施例,上述视觉交互和听觉交互可以是互相结合的,例如,在说话时,上述虚拟医生的嘴巴的口型与所说的文字、口音相对应,该虚拟医生的面部表情与说话时的不同的语气相对应。在虚拟医生与病人进行交互的方式还包括其他的交互方式时,可以是上述视觉交互、听觉交互以及其他交互方式结合进行交互,以使虚拟医生具有更高的仿真程度,从而提高目标对象的使用体验。
通过上述步骤,采用模拟真人医生的虚拟医生,通过检测就诊交互场景被触发,播放依据真人医生的特征模拟所得到虚拟医生,与病人进行就诊交互,达到了通过模拟虚拟医生,对病人进行就诊,具有与真人医生进行就诊交互的体验的目的,从而实现了降低就诊交互的成本,提高就诊交互效率和效果的技术效果,进而解决了相关技术中的医生的就诊方式,成本较高,就诊交互效率低,交互效果差,没有与真人医生进行就诊交互的体验的技术问题。
作为一种可选的实施例,接收用于触发就诊交互开始的触发信息包括以下至少之一:通过接收按键指令的方式,接收用于触发就诊交互开始的触发信息;通过远程发送的触发消息的方式,接收用于触发就诊交互开始的触发信息。
上述接收用于触发就诊交互开始的触发信息可以是多种方式,从触发信息的角度而言,可以是通过主动触发信息触发,还可以是通过被动触发信息触发。从触发信息的发送端而言,可以是接收由近发送端发送的触发信息,例如,通过接收遥控器的控制信号,接收触发信息;通过接收按键指令,接收触发信息等,其中,上述按键指令可以设置在上述虚拟医生的实体设备上。还可以是接收由远程发送端发送的触发信息,例如,通过远程发送的触发消息;通过无线网络发送的触发消息;通过互联网发送的触发消息等。上述接收用于触发就诊交互开始的触发信息,从触发信息的传输方式而言,还可以是通过有线传输的触发信息,例如,电缆传输,光缆传输等;通过无线传输的触发信息,例如,无线电传输,声波传输等。通过接收按键指令,接收触发信息可以在一定程度上实现基于本地交互场景,实现虚拟医生与病人的交互;通过远程发送触发消息的方式触发交互,可以在一定程度上实现远程就医,例如,对于一些地理位置偏远的地区,或者一些医疗设备比较落后的地区,可以通过远程就医的方式来实现虚拟医生与病人之间的交互,一方面能够有效地实现就水平的就医,另一方面可以较大地节省成本。
上述通过接收按键指令的方式,接收用于触发就诊交互开始的触发信息,可以通过病人直接对上述虚拟医生的按键进行操作,达到控制虚拟医生开启就诊交互的目的,操作方便简单,虚拟医生可以直接进行响应,响应时间较短。上述通过远程发送的触发消息的方式,接收用于触发就诊交互开始的触发信息,可以由病人通过无线网络发送触发消息,由虚拟医生的接收装置接收到该触发消息后,对该触发消息进行响应,从而达到控制虚拟医生开启就诊交互的目的,该操作方式不受限于空间,可以在任何具有信息网络连接的地方向虚拟医生发送触发信息。需要说明的是,虚拟医生还可以对该触发消息进行验证。
作为一种可选的实施例,播放虚拟医生包括:通过播放视频的方式,展示虚拟医生的声音,面部表情。
需要说明的是,本实施例中的视频,可以是二维视频,还可以是三维视频,还可以是二维视频和三维视频结合。
作为一种可选的实施例,该视频可以为预设视频,在就诊交互场景下,有的交互场景可以是固定的交互模式,例如,在病人向虚拟医生提问的情况下,虚拟医生形象可以接收该问题。在接收该问题后,通过识别上述问题,进入知识库,匹配与该问题最合适的应答,可以将应答的图像或者视频展示出来,在应答包括文本信息或者语音信息的情况下,可以由虚拟医生形象将该文本信息或者语音信息读出。
在上述就诊交互场景的情况下,可以依据真人医生可能会做出的应答声音,例如,询问时的语气,回答时的语气,和/或面部表情,例如,询问时的表情,倾听时的表情等。提取上述应答声音和/或面部表情的特征,依据特征模拟出虚拟医生的应答声音和/或面部表情,从而在智能设备上通过视频播放的方式进行展示,从而实现医生与病人之间的交互。
作为一种可选的实施例,上述视频包括展现虚拟医生的声音和面部表情。在虚拟医生的形象为真人医生的全身形象的情况下,还可以展现虚拟医生的姿态动作等,例如,抬手,顿首,转身等。
作为一种可选的实施例,通过播放视频的方式,展示虚拟医生的声音包括:获取虚拟医生要说的文本;提取真人医生语音的语音特征;根据语音特征,将文本合成为合成语音,将合成语音作为虚拟医生的声音进行播放。
作为一种可选的实施例,上述展示虚拟医生的声音可以是多种方式,例如,在固定的就诊交互场景的情况下,可以提前录音,录取该就诊交互场景下的固定语音,在该固定就诊交互场景下,直接播放该固定语音。还可以是根据虚拟医生生成的答案或知识点的文本信息,将该文本信息转化为语音信息。还可以是虚拟医生针对就诊交互场景或者病人的问题,根据深度学习或者机器学习确定交互场景中的语音文本,将该语音文本转化为语音。
作为一种可选的实施例,上述通过文本转化为语音的过程中,可以是先提取真人医生语音的语音特征,例如,音色,音调范围,语速,频率等。然后根据语音特征将文本合成为合成语音,对该合成语音进行播放。上述通过文本转化为语音的方式还可以采用语音合成TTS技术来实现。
作为一种可选的实施例,通过播放视频的方式,展示虚拟医生的面部表情包括:获取虚拟医生对应的底板视频,其中,底板视频中包括真人医生的面部表情;从底板视频中抽取真人医生的面部表情的表情特征;根据表情特征重塑虚拟医生的面部表情,通过播放视频的方式,展示虚拟医生重塑后的面部表情。
作为一种可选的实施例,上述展示虚拟医生的面部表情可以是多种方式,例如,在固定就诊交互场景的情况下,可以提前录取医生的表情视频,录取该就诊交互场景下的固定表情视频,在该固定就诊交互场景下,播放该表情视频。还可以是根据虚拟医生的表情特征重塑虚拟医生的面部表情视频。
作为一种可选的实施例,上述根据虚拟医生的表情特征重塑虚拟医生的面部表情视频的过程中,可以是先获取虚拟医生对应的底板视频,其中,底板视频中包括真人医生的面部表情。然后,从底板视频中抽取真人医生的面部表情的表情特征。根据视觉交互场景的需求,以及该表情特征,重塑虚拟医生的面部表情视频。上述表情特征可以包括该表情下真人医生的面部特征。
作为一种可选的实施例,上述采用对面部表情进行重塑的方式,由于是根据底板视频中的真人医生的面部表情的表情特征进行重塑的,因此,重塑后的虚拟医生的面部表情视频可以具有真人医生的体验,另外,由于对面部表情进行重塑时,考虑了与病人的就诊交互场景的就诊交互过程中的交互细节,因此,相对于相关技术中简单的就诊交互而言,能够有效体现与真人医生进行现场就诊交互的体验。
需要说明的是,上述获得虚拟医生的语音合成以及对虚拟医生的面部表情进行重塑时,均可以通过对真人医生的多个语音,或者多个面部表情进行机器学习,从而模拟出与交互场景对应的语音和面部表情。例如,对于获得虚拟医生的合成语音时,可以先对多个著名真人医生的在各种就诊交互场景下的语音进行训练,从而得到一个语音模型。当虚拟医生与病人处于一个具体的教学场景下时,依据病人给出的交互语音,可以直接输出该场景下与病人给出的交互语音对应的虚拟医生的反应语音。类似的,对于获得虚拟医生的面部表情时,也可以采用先对多个优秀真人医生在各种就诊交互场景下的面部表情进行训练,从而得到一个面部表情模型,当虚拟医生与病人处于一个具体的教学场景下时,依据病人给出的交互内容,可以直接输出该场景下与病人给出的交互内容对应的虚拟医生的面部表情。
需要说明的是,根据上述多个著名真人医生的在各种就诊交互场景下的交互语音和/或面部表情,对语音模型和/或面部表情模型进行训练时,可以采用相同或者相似就诊交互场景下的语音和/或面部表情进行训练,可以提高语音模型和/或面部表情模型的识别准确率;还可以采用相反的就诊交互场景下的语音和/或面部表情,互为对抗进行训练,可以提高语音模型和/或面部表情模型的识别稳定性。
图3是根据本发明实施例1的另一种交互方法的流程图,如图3所示,在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:
步骤S302,确定与就诊交互场对应的交互模型,其中,交互模型通过多组数据训练得到,每组数据中均包括:病情,以及与该病情对应的诊断结果;
步骤S304,接收到向虚拟医生描述的病情;
步骤S306,将接收的病情作为交互模型的输入,得到对应的诊断结果;
步骤S308,通过虚拟医生展示得到的诊断结果。
作为一种可选的实施例,上述通过虚拟医生与病人进行交互可以是通过机器学习或者深度学习模型进行交互。先确定与就诊交互场景对应的交互模型,例如,外科就诊交互场景下,可以采用外科就诊交互模型。上述外科就诊交互模型通过多组数据训练得到,每组数据中均包括:外科就诊交互输入,以及与该外科就诊交互输入对应的外科就诊交互输出。例如,内科的病人病情一般较为平缓,需要通过对身体做多种检查,才可下定论,有的外科的病人,会有严重的外伤,需要紧急处理,因此,不同科室的就诊模型可以不同。
作为一种可选的实施例,上述就诊交互输入可以是病人的病情,病人的症状,病人的身体参数等;就诊交互输出可以是虚拟医生的动作,虚拟医生的语音等,还可以是用于向病人进行图像展示的演示装置上的图像或视频,上述演示装置可以是显示器,黑板,或者投影光幕等。
需要说明的是,上述多组训练数据可以是依据一定的采集源获取的采集样本,例如,可以是从大量真实的就诊视频中的就诊交互场景中提取出来的交互片段,也可以是从多种真实的就诊交互场景中模拟出来的。采集源越丰富,训练得到的交互模型则会更准确,后续得到的就诊交互输出也会更真实。采用上述智能的交互模型的方式来确定交互输出,相对于节省了真人医生的成本,而且能够满足虚拟医生的智能需求。
作为一种可选的实施例,对病人的病情,病人的症状,病人的身体参数进行接收,从而获取就诊交互输入,上述检测病人的病情,症状和身体参数,可以通过病人的动作、姿态、表情、文本、语音等方式表达,可以通过图像采集装置进行采集病人的动作、姿态、表情,通过文本采集装置采集病人的文本,通过声音采集装置采集病人的语音。
作为一种可选的实施例,将接收到病人向虚拟医生提出的问题作为交互模型的就诊交互输入,由该交互模型输出与该就诊交互输入对应的就诊交互输出。上述病人向虚拟医生提出的问题,可以是通过病人的动作,和/或病人的声音体现,或者病人发送的控制指令体现。通过虚拟医生展示该就诊交互输出,形成虚拟医生与病人之间的一轮交互。
作为一种可选的实施例,在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:通过虚拟医生输出检查项目;控制检查仪器对待检测对象进行检测,并获取检查仪器输出的检查结果;基于检查结果,通过虚拟医生进行就诊交互。
上述就诊交互场景中,虚拟医生根据病人的症状、病情、身体参数,进行就诊交互,从而对病人进行诊断。在获取病人的身体参数的情况下,通常采用医疗仪器进行检查。可以是根据就诊交互,确定该病人需要进行检查的情况下,由虚拟医生输出检查项目,并控制相应的检查仪器对病人进行检查。有的检查项目并不是对病人本身进行检查,例如,尿检,上述待检测对象为病人的排泄物,血化验,上述待检测对象为病人的血液,因此,上述待检测对象可以是病人,也可以是病人的身体部位,还可以是病人的身体组织、器官、分泌物、体液、血液、排泄物等。
上述检查仪器对上述待检测对象进行检测,并输出检查结果,可以通过打印检查报告的方式,向病人提供检查报告,以供虚拟医生接收;还可以直接将该病人的检查结果反馈给上述虚拟医生。由虚拟医生基于检查结果,通过就诊交互,对病人进行诊断。
需要说明的是,上述检查仪器对待检测对象进行检测的情况下,也即是对病人进行检查,通常需要病人配合,往往使虚拟医生难以时刻在病人的交互范围,例如,有的检查项目,仅允许病人本人进入检查室,例如,核磁共振CT,胸透检查,X光检查等。再例如,验尿,验大便,都需要病人进行排泄,在隐私空间内,一般不允许虚拟医生介入。因此在病人进行检查的情况下,虚拟医生可以暂停该病人的就诊交互过程,并进行保存,在接收到病人的检查结果,或者触发信息的情况下,在验证病人身份之后,读取保存的该病人的就诊交互过程,继续进行就诊交互。
图4是根据本发明实施例1的另一种交互方法的流程图,如图4所示,在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:
步骤S402,接收向虚拟医生输入的提问问题;
步骤S404,结合就诊交互场景下的病情,确定与提问问题对应的问题答案;
步骤S406,通过虚拟医生展示问题答案。
上述就诊过程中,虚拟医生根据病人的症状,病情、身体参数,通过就诊交互对病人进行诊断,由于虚拟医生具有专业的知识库,对病人的病情,往往存在大量的信息,包括很大一部分专业的信息,对于专业信息,病人即便知晓,也无法真正理解和领会。因此,在与病人进行交互时,可以根据病人提出的问题进行回答,需要说明的是,在回答病人的问题时,尽量采用常用语,避免对病人问题的回答过于专业,难以理解。
上述接收向虚拟医生输入的提问问题,可以是语音输入,或者文本输入,还可以是手语输入等。对于病人采用语音输入的方式输入提问问题,虚拟医生可以采用语音接收装置供病人输入;对于病人采用文本输入的方式输入提问问题,虚拟医生可以采用文本接收装置供病人输入;对于病人采用手语输入的方式输入提问问题,虚拟医生可以采用图像接收装置供病人输入。
上述虚拟医生展示问题答案,可以通过虚拟医生的语音、虚拟医生的动作、或者虚拟医生的显示设备显示相关的图像与视频,来展示病人问题的答案。
需要说明的是,本实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
图5是根据本发明实施例1实施方式的一种交互方法的流程图,如图5所示,虚拟医生,可以是一款具有医生诊断疾病能力的智能硬件。也可以是一款应用程序APP。
1、虚拟处于空闲状态,显示功能提示等;
2、用户在虚拟医生硬件上或APP上,通过主动感知或者触发进入到对话状态;
3、通过问答的形式,同时可配合检查仪器,进行互动式疾病诊断。
本实施方式的医生虚拟形象可说任何话语;可以是真人医生形象或者数字人、卡通、二次元、素描或简笔画人物(例如诗人李白),表情包等的2D或3D虚拟形象)等;具有和真人对话般的全新交互体验。该医生虚拟形象可以解决相关技术的交互界面没有类似真人医生的虚拟形象,没有和真人对话般的交互体验的问题,并且可以说任何说,实现类似真人交互版的体验。
实施例2
根据本发明实施例,还提供了另一种交互方法的实施例,图6是根据本发明实施例2的一种交互方法的流程图,如图6所示,该方法包括以下步骤:
步骤S602,显示用于展示虚拟医生的设备处于待唤醒状态,其中,虚拟医生为依据真人医生的特征模拟得到。
作为一种可选的实施例,上述步骤的执行主体可以是虚拟医生的智能设备,该智能设备可以配置有显示装置,该显示装置可以是显示屏,触摸屏,或者投影屏等。上述投影屏可以是二维投影屏,还可以是三维投影设备等。
作为一种可选的实施例,上述待唤醒状态,类似于电器的待机状态,以低功率运行,仅保持用于触发虚拟医生开始就诊交互的接收装置或检测装置,以及核心装置的运行。当虚拟医生接收触发信息,触发该虚拟医生开启就诊交互,进入交互状态,与病人进行交互。
作为一种可选的实施例,上述虚拟医生的工作状态包括上述待唤醒状态,和交互状态,还可以包括在紧急情况下触发的紧急状态,在某些情况下触发的用于自我保护的锁定状态,等等。
作为一种可选的实施例,上述虚拟医生的状态可以进行显示,或者通过不同的指示装置进行指示,例如,不同位置的指示灯,或者不同颜色的指示灯等。
作为一种可选的实施例,在上述虚拟医生为真人医生的形象的情况下,该虚拟医生是依据真人医生的特征模拟所得到。该特征可以是体型特征,外貌特征,脸型特征,五官特征等图像特征,还可以是声音特征,音色特征,语气特征,口音特征等声音特征。从而使该虚拟医生与真人医生对用户带来的感官体验更相接近。
步骤S604,在接收到触发就诊交互开始的触发信息时,显示虚拟医生进入交互状态。
作为一种可选的实施例,上述接收到触发就诊交互开始的触发信息,可以是上述虚拟医生的触发条件,上述触发条件还可以是其他的方式。上触发条件是上述虚拟医生从待唤醒状态进入交互状态的跳转条件。
作为一种可选的实施例,在接收到触发就诊交互开始的触发信息之后,该虚拟医生进入就诊交互状态,播放虚拟医生,使病人在视觉上感受到与真人医生类似或者相同的体验。上述虚拟医生可以是依据真人医生进行模拟所得,还可以是根据预设的参数进行模拟所生成的二维图像或者三维图像,例如,卡通动漫形象,明星,动植物,自主编辑的形象等,从而有效满足多样化的需求。
作为一种可选的实施例,上述虚拟医生在具有视觉体验的基础上,还提供语音对话的听觉体验。也即是上述虚拟医生可以与该病人进行语音交互。该语音交互方法可以是多种,例如,简单应答的语音交互,通过固定的对话模式进行简单应答。再例如,基于机器学习或者深度学习的语音交互,通过神经网络,进行智能应答和对话。
作为一种可选的实施例,如图5所示,上述交互状态根据虚拟医生的动作可以分为,与病人进行对话的对话态,保持沉默的静置态,还可以包括接收病人的语音的倾听态,接收病人的图像的观察态,对病人进行回答的回答态等。
步骤S606,在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容。
作为一种可选的实施例,上述在就诊交互场景下,通过虚拟医生与病人进行交互至少包括,视觉交互和听觉交互。视觉交互,是指在视觉上的交互,例如,该虚拟医生形象的面部表情的变化,身体姿态的变化,身体动作的变化等。听觉交互,是指在听觉上的交互,例如,声调的变化,语气的变化,语速的变化等。
作为一种可选的实施例,上述视觉交互和听觉交互可以是互相结合,例如,在说话时,上述虚拟医生的嘴巴的口型与所说的文字、口音相对应,该虚拟医生的面部表情与说话时的不同的语气相对应。在虚拟医生与病人进行交互的方式还包括其他的交互方式时,可以是上述视觉交互、听觉交互以及其他交互方式结合进行交互。
作为一种可选的实施例,上述就诊交互场景可以在医疗科室的角度,包括内科就诊交互场景、外科就诊交互场景、耳鼻喉科就诊交互场景等各个医疗科室对应的就诊交互场景。在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容。例如,内科交互场景中,虚拟医生可以根据就诊交互进程,或者病人问题,对与病人病情对应的图像、视频进行显示,对病人问题对应的回答的图片、视频进行显示。上述就诊交互场景还可以包括对相关语音和文本通过声音装置以语音形式展现。
通过上述步骤,采用模拟真人医生的虚拟医生,通过检测就诊交互场景被触发,播放依据真人医生的特征模拟所得到虚拟医生,与病人进行就诊交互,达到了通过模拟虚拟医生,对病人进行就诊,具有与真人医生进行就诊交互的体验的目的,从而实现了降低就诊交互的成本,提高就诊交互效率和效果的技术效果,进而解决了相关技术中的医生的就诊方式,成本较高,就诊交互效率低,交互效果差,没有与真人医生进行就诊交互的体验的技术问题。
图7是根据本发明实施例2的另一种交互方法的流程图,如图7所示,在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容包括:
步骤S702,在就诊交互开始后,但还未检测到输入的提问问题时,控制虚拟医生处于静置状态;
步骤S704,检测到输入的问题,控制虚拟医生处于倾听状态;
步骤S706,在确定输入问题结束时,在将问题输入数据库后,控制虚拟医生进入回答状态,并接收数据库返回的问题答案;
步骤S708,通过虚拟医生展示问题答案。
作为一种可选的实施例,在上述交互状态为对话态的情况下,对话态可以包括用于倾听病人的倾听态和回答病人的回答态,以及等待病人发问的静置态。
作为一种可选的实施例,在对话态下,虚拟医生与病人的对话过程可以在就诊交互开始之后,虚拟医生处于静置态,等待病人说出症状、病情,从而触发虚拟医生的倾听态;虚拟医生在静置态下,检测到病人发声,则触发虚拟医生进入倾听态,接收病人的声音信息;在上述病人完成发声后,将接收的声音信息进行存储和处理,识别病人的病情或问题,寻找该病情的相关信息,或该问题的回答,并触发回答态,在回答态中回答该接收的声音信息对应的问题的回答,或者该病情的相关信息,需要说明的是,在语音交互中,回答病情相关信息之前,可以对病情相关信息进行筛选,并生成较为直白的常用语的表达语言,根据该表达语言介绍该病情的相关信息,对于其他形式的信息也可以通过其他形式进行展现;上述回答或者相关信息可以通过视频播放的形式进行展示,可以通过语音进行展示,还可以通过其他方式进行展示。
需要说明的是,本实施例中的视频,可以是二维视频,还可以是三维视频。
作为一种可选的实施例,通过播放对应视频的方式,分别控制虚拟医生进入静置态,控制虚拟医生进入倾听态,控制虚拟医生进入回答态。
作为一种可选的实施例,上述虚拟医生在进入静置态、倾听态和回答态可以具有相应的动作和表情,也即是虚拟医生可以通过播放对应视频的方式进入上述静置态、倾听态和回答态,从而使该虚拟医生具有更高的仿真效果,以提高病人的体验。
作为一种可选的实施例,上述进入静置态,可以是微笑着期待的表情;进入倾听态,可以是认真倾听的表情;进入回答态,可以是微笑着回答的表情。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
根据本发明实施例,还提供了一种用于实施上述实施例1的交互方法的交互装置,图8是根据本发明实施例3的一种交互装置的流程图,如图8所示,该装置包括:检测模块82,播放模块84和交互模块86,下面对该装置进行详细说明。
接收模块82,用于接收用于触发就诊交互开始的触发信息;播放模块84,与上述检测模块82相连,用于播放虚拟医生,其中,虚拟医生依据真人医生的特征模拟得到;交互模块86,与上述播放模块84相连,用于在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互。
此处需要说明的是,上述检测模块82,播放模块84和交互模块86对应于实施例1中的步骤S202至步骤S206,三个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例4
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的交互方法中以下步骤的程序代码:接收用于触发就诊交互开始的触发信息;播放虚拟医生,其中,虚拟医生依据真人医生的特征模拟得到;在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互。
可选地,图9是根据本发明实施例4的一种计算机终端的结构框图。如图9所示,该计算机终端10可以包括:一个或多个(图中仅示出一个)处理器92、存储器94、以及外设接口。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的交互方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的交互方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收用于触发就诊交互开始的触发信息;播放虚拟医生,其中,虚拟医生依据真人医生的特征模拟得到;在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互。
可选的,上述处理器还可以执行如下步骤的程序代码:接收用于触发就诊交互开始的触发信息包括以下至少之一:通过接收按键指令的方式,接收用于触发就诊交互开始的触发信息;通过远程发送的触发消息的方式,接收用于触发就诊交互开始的触发信息。
可选的,上述处理器还可以执行如下步骤的程序代码:通过播放视频的方式,展示虚拟医生的声音,面部表情。
可选的,上述处理器还可以执行如下步骤的程序代码:通过播放视频的方式,展示虚拟医生的声音包括:获取虚拟医生要说的文本;提取真人医生语音的语音特征;根据语音特征,将文本合成为合成语音,将合成语音作为虚拟医生的声音进行播放。
可选的,上述处理器还可以执行如下步骤的程序代码:通过播放视频的方式,展示虚拟医生的面部表情包括:获取虚拟医生对应的底板视频,其中,底板视频中包括真人医生的面部表情;从底板视频中抽取真人医生的面部表情的表情特征;根据表情特征重塑虚拟医生的面部表情,通过播放视频的方式,展示虚拟医生重塑后的面部表情。
可选的,上述处理器还可以执行如下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:确定与就诊交互场对应的交互模型,其中,交互模型通过多组数据训练得到,每组数据中均包括:病情,以及与该病情对应的诊断结果;接收到向虚拟医生描述的病情;将接收的病情作为交互模型的输入,得到对应的诊断结果;通过虚拟医生展示得到的诊断结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:通过虚拟医生输出检查项目;控制检查仪器对待检测对象进行检测,并获取检查仪器输出的检查结果;基于检查结果,通过虚拟医生进行就诊交互。
可选的,上述处理器还可以执行如下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:接收向虚拟医生输入的提问问题;结合就诊交互场景下的病情,确定与提问问题对应的问题答案;通过虚拟医生展示问题答案。
可选的,上述处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:显示用于展示虚拟医生的设备处于待唤醒状态,其中,虚拟医生为依据真人医生的特征模拟得到;在接收到触发就诊交互开始的触发信息时,显示虚拟医生进入交互状态;在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容。
可选的,上述处理器还可以执行如下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容包括:在就诊交互开始后,但还未检测到输入的提问问题时,控制虚拟医生处于静置状态;检测到输入的问题,控制虚拟医生处于倾听状态;在确定输入问题结束时,在将问题输入数据库后,控制虚拟医生进入回答状态,并接收数据库返回的问题答案;通过虚拟医生展示问题答案。
可选的,上述处理器还可以执行如下步骤的程序代码:通过播放对应视频的方式,分别控制虚拟医生进入静置态,控制虚拟医生进入倾听态,控制虚拟医生进入回答态。
采用本发明实施例,提供了一种交互方法的方案。采用模拟真人医生的虚拟医生,通过检测就诊交互场景被触发,播放依据真人医生的特征模拟所得到虚拟医生,与病人进行就诊交互,达到了通过模拟虚拟医生,对病人进行就诊,具有与真人医生进行就诊交互的体验的目的,从而实现了降低就诊交互的成本,提高就诊交互效率和效果的技术效果,进而解决了相关技术中的医生的就诊方式,成本较高,就诊交互效率低,交互效果差,没有与真人医生进行就诊交互的体验的技术问题。
本领域普通技术人员可以理解,图9所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例5
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例1所提供的交互方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收用于触发就诊交互开始的触发信息;播放虚拟医生,其中,虚拟医生依据真人医生的特征模拟得到;在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:接收用于触发就诊交互开始的触发信息包括以下至少之一:通过接收按键指令的方式,接收用于触发就诊交互开始的触发信息;通过远程发送的触发消息的方式,接收用于触发就诊交互开始的触发信息。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过播放视频的方式,展示虚拟医生的声音,面部表情。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过播放视频的方式,展示虚拟医生的声音包括:获取虚拟医生要说的文本;提取真人医生语音的语音特征;根据语音特征,将文本合成为合成语音,将合成语音作为虚拟医生的声音进行播放。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过播放视频的方式,展示虚拟医生的面部表情包括:获取虚拟医生对应的底板视频,其中,底板视频中包括真人医生的面部表情;从底板视频中抽取真人医生的面部表情的表情特征;根据表情特征重塑虚拟医生的面部表情,通过播放视频的方式,展示虚拟医生重塑后的面部表情。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:确定与就诊交互场对应的交互模型,其中,交互模型通过多组数据训练得到,每组数据中均包括:病情,以及与该病情对应的诊断结果;接收到向虚拟医生描述的病情;将接收的病情作为交互模型的输入,得到对应的诊断结果;通过虚拟医生展示得到的诊断结果。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:通过虚拟医生输出检查项目;控制检查仪器对待检测对象进行检测,并获取检查仪器输出的检查结果;基于检查结果,通过虚拟医生进行就诊交互。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,通过虚拟医生进行就诊交互包括:接收向虚拟医生输入的提问问题;结合就诊交互场景下的病情,确定与提问问题对应的问题答案;通过虚拟医生展示问题答案。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:显示用于展示虚拟医生的设备处于待唤醒状态,其中,虚拟医生为依据真人医生的特征模拟得到;在接收到触发就诊交互开始的触发信息时,显示虚拟医生进入交互状态;在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在虚拟医生与病人的就诊交互场景中,显示虚拟医生与病人进行就诊交互的交互内容包括:在就诊交互开始后,但还未检测到输入的提问问题时,控制虚拟医生处于静置状态;检测到输入的问题,控制虚拟医生处于倾听状态;在确定输入问题结束时,在将问题输入数据库后,控制虚拟医生进入回答状态,并接收数据库返回的问题答案;通过虚拟医生展示问题答案。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过播放对应视频的方式,分别控制虚拟医生进入静置态,控制虚拟医生进入倾听态,控制虚拟医生进入回答态。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种交互方法,包括:
接收用于触发就诊交互开始的触发信息;
播放虚拟医生,其中,所述虚拟医生依据真人医生的特征模拟得到;
在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互。
2.根据权利要求1所述的方法,其中,接收用于触发就诊交互开始的触发信息包括以下至少之一:
通过接收按键指令的方式,接收用于触发就诊交互开始的触发信息;
通过远程发送的触发消息的方式,接收用于触发就诊交互开始的触发信息。
3.根据权利要求1所述的方法,其中,播放所述虚拟医生包括:
通过播放视频的方式,展示所述虚拟医生的声音,面部表情。
4.根据权利要求3所述的方法,其中,通过播放视频的方式,展示所述虚拟医生的声音包括:
获取所述虚拟医生要说的文本;
提取真人医生的语音特征;
根据所述语音特征,将所述文本合成为合成语音,将所述合成语音作为所述虚拟医生的声音进行播放。
5.根据权利要求3所述的方法,其中,通过播放视频的方式,展示所述虚拟医生的面部表情包括:
获取所述虚拟医生对应的底板视频,其中,所述底板视频中包括真人医生的面部表情;
从所述底板视频中抽取所述真人医生的面部表情的表情特征;
根据所述表情特征重塑虚拟医生的面部表情,通过播放视频的方式,展示所述虚拟医生重塑后的面部表情。
6.根据权利要求1所述的方法,其中,在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互包括:
确定与所述就诊交互场对应的交互模型,其中,所述交互模型通过多组数据训练得到,每组数据中均包括:病情,以及与该病情对应的诊断结果;
接收到向虚拟医生描述的病情;
将接收的所述病情作为所述交互模型的输入,得到对应的诊断结果;
通过所述虚拟医生展示得到的诊断结果。
7.根据权利要求1所述的方法,其中,在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互包括:
通过所述虚拟医生输出检查项目;
控制检查仪器对待检测对象进行检测,并获取所述检查仪器输出的检查结果;
基于所述检查结果,通过所述虚拟医生进行就诊交互。
8.根据权利要求1所述的方法,其中,在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互包括:
接收向所述虚拟医生输入的提问问题;
结合就诊交互场景下的病情,确定与所述提问问题对应的问题答案;
通过所述虚拟医生展示所述问题答案。
9.一种交互方法,包括:
显示用于展示虚拟医生的设备处于待唤醒状态,其中,所述虚拟医生为依据真人医生的特征模拟得到;
在接收到触发就诊交互开始的触发信息时,显示所述虚拟医生进入交互状态;
在虚拟医生与病人的就诊交互场景中,显示所述虚拟医生与病人进行就诊交互的交互内容。
10.根据权利要求9所述的方法,其中,在虚拟医生与病人的就诊交互场景中,显示所述虚拟医生与病人进行就诊交互的交互内容包括:
在就诊交互开始后,但还未检测到输入的提问问题时,控制所述虚拟医生处于静置状态;
检测到输入的问题,控制所述虚拟医生处于倾听状态;
在确定输入问题结束时,在将所述问题输入数据库后,控制所述虚拟医生进入回答状态,并接收所述数据库返回的问题答案;
通过所述虚拟医生展示所述问题答案。
11.根据权利要求10所述的方法,其中,通过播放对应视频的方式,分别控制所述虚拟医生进入静置态,控制所述虚拟医生进入倾听态,控制所述虚拟医生进入回答态。
12.一种交互装置,包括:
接收模块,用于接收用于触发就诊交互开始的触发信息;
播放模块,用于播放虚拟医生,其中,所述虚拟医生依据真人医生的特征模拟得到;
交互模块,用于在虚拟医生与病人的就诊交互场景中,通过所述虚拟医生进行就诊交互。
13.一种计算机设备,包括:存储器和处理器,
所述存储器存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时执行权利要求1至11中任意一项所述的交互方法。
CN201811489882.7A 2018-12-06 2018-12-06 交互方法、装置及计算机设备 Pending CN111292856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811489882.7A CN111292856A (zh) 2018-12-06 2018-12-06 交互方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811489882.7A CN111292856A (zh) 2018-12-06 2018-12-06 交互方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN111292856A true CN111292856A (zh) 2020-06-16

Family

ID=71022988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811489882.7A Pending CN111292856A (zh) 2018-12-06 2018-12-06 交互方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN111292856A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689951A (zh) * 2021-08-04 2021-11-23 翼健(上海)信息科技有限公司 一种智能导诊方法、系统和计算机可读存储介质
CN114037467A (zh) * 2015-10-20 2022-02-11 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096366A (zh) * 2015-07-23 2015-11-25 文化传信科技(澳门)有限公司 3d虚拟服务公开平台系统
CN106296511A (zh) * 2016-08-19 2017-01-04 上海梅斯医药科技有限公司 一种虚拟诊疗系统
CN106529182A (zh) * 2016-11-15 2017-03-22 黄劲涛 一种云医院
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN107392783A (zh) * 2017-07-05 2017-11-24 龚少卓 基于虚拟现实的社交方法及装置
CN108470533A (zh) * 2018-03-30 2018-08-31 南京七奇智能科技有限公司 基于虚拟人的增强型智能交互广告系统及装置
CN108897848A (zh) * 2018-06-28 2018-11-27 北京百度网讯科技有限公司 机器人互动方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096366A (zh) * 2015-07-23 2015-11-25 文化传信科技(澳门)有限公司 3d虚拟服务公开平台系统
CN106296511A (zh) * 2016-08-19 2017-01-04 上海梅斯医药科技有限公司 一种虚拟诊疗系统
CN106529182A (zh) * 2016-11-15 2017-03-22 黄劲涛 一种云医院
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN107392783A (zh) * 2017-07-05 2017-11-24 龚少卓 基于虚拟现实的社交方法及装置
CN108470533A (zh) * 2018-03-30 2018-08-31 南京七奇智能科技有限公司 基于虚拟人的增强型智能交互广告系统及装置
CN108897848A (zh) * 2018-06-28 2018-11-27 北京百度网讯科技有限公司 机器人互动方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037467A (zh) * 2015-10-20 2022-02-11 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质
CN113689951A (zh) * 2021-08-04 2021-11-23 翼健(上海)信息科技有限公司 一种智能导诊方法、系统和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US20220181004A1 (en) Customizable therapy system and process
CN111290568A (zh) 交互方法、装置及计算机设备
US10089895B2 (en) Situated simulation for training, education, and therapy
US8469713B2 (en) Computerized medical training system
US9286442B2 (en) Telecare and/or telehealth communication method and system
CN102149319B (zh) 阿尔茨海默氏症认知使能器
WO2014059376A1 (en) Virtual information presentation system
CN111290682A (zh) 交互方法、装置及计算机设备
WO2017085714A2 (en) Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user
CN111291151A (zh) 交互方法、装置及计算机设备
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及系统
US20190164444A1 (en) Assessing a level of comprehension of a virtual lecture
CN111292856A (zh) 交互方法、装置及计算机设备
US11797080B2 (en) Health simulator
Nakagawa et al. New telecare approach based on 3D convolutional neural network for estimating quality of life
CN110021203A (zh) 一种口腔健康教育体验系统、方法及医疗教育装置
Jakl et al. Enlightening patients with augmented reality
Mallipeddi et al. Telepractice in the Treatment of Speech and Voice Disorders: What Could the Future Look Like?
EP4109461A1 (en) Atmospheric mirroring and dynamically varying three-dimensional assistant addison interface for external environments
CN110415827A (zh) 基于数字病人的中医望诊训练方法、电子设备与计算机可读存储介质
Hur et al. How healthcare technology shapes health literacy? A systematic review
CN110457881A (zh) 管理方法、管理装置、终端和存储介质
CN110767282A (zh) 一种健康档案生成方法、装置以及计算机可读存储介质
CN110718119A (zh) 基于儿童专用穿戴智能设备的教育能力支持方法及系统
Uhl et al. Choosing the right reality: A comparative analysis of tangibility in immersive trauma simulations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination