CN116525140A - 基于虚拟数字人技术的医学专业用户沟通方法 - Google Patents

基于虚拟数字人技术的医学专业用户沟通方法 Download PDF

Info

Publication number
CN116525140A
CN116525140A CN202310360856.9A CN202310360856A CN116525140A CN 116525140 A CN116525140 A CN 116525140A CN 202310360856 A CN202310360856 A CN 202310360856A CN 116525140 A CN116525140 A CN 116525140A
Authority
CN
China
Prior art keywords
knowledge
virtual digital
user
database
technology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310360856.9A
Other languages
English (en)
Inventor
张发宝
李欣梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Medsci Medical Technology Co ltd
Original Assignee
Shanghai Medsci Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Medsci Medical Technology Co ltd filed Critical Shanghai Medsci Medical Technology Co ltd
Priority to CN202310360856.9A priority Critical patent/CN116525140A/zh
Publication of CN116525140A publication Critical patent/CN116525140A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于虚拟数字人技术的医学专业用户沟通方法,包括以下步骤:步骤S1:利用目前通用的虚拟数字人技术建立虚拟数字人;步骤S2:利用目前用的互联网技术建立医学专用的网络聊天室;步骤S3:用户在平台或手机端进入网络聊天室并内提出所需咨询的书面问题,通过后台预设问题数据库(优先级权重为w1)、知识库(优先级权重为w2)、人工智能提供答案(优先级权重为w3)。该基于虚拟数字人技术的医学专业用户沟通方法,通过将问题数据库分为三级,最高优先级为预设的FAQ数据库,第二级来源于海量的医学数据库学习,第二级是通用人工智能提供答案,信息来源于互联网,三个数据库的优先级别,依据用户的评价,不断调整权重。

Description

基于虚拟数字人技术的医学专业用户沟通方法
技术领域
本发明涉及医学沟通方法技术领域,具体为基于虚拟数字人技术的医学专业用户沟通方法。
背景技术
传统的医学沟通均以人面对面沟通为主,回答医护人员的专业问题,往往需要3-7天时间,回答的时效性,效率都很慢。
但是,在专业的医学场景,目前通用人工智能无法回答十分专业的问题,过去传统方法是采用FAQ数据库,结合人工来回答,用户对回答满意度较差,问题的回答答案难以最优的被呈现,进而造成医学沟通效果差,难以实现用户高效的沟通。
因此,本发明提供基于虚拟数字人技术的医学专业用户沟通方法。
发明内容
本发明的目的在于提供基于虚拟数字人技术的医学专业用户沟通方法,以解决上述背景技术提出的问题。
为实现上述目的,本发明提供如下技术方案:基于虚拟数字人技术的医学专业用户沟通方法,包括以下步骤:
步骤S1:利用目前通用的虚拟数字人技术建立虚拟数字人;
步骤S2:利用目前用的互联网技术建立医学专用的网络聊天室;
步骤S3:用户在平台或手机端进入网络聊天室并内提出所需咨询的书面问题,通过后台预设问题数据库(优先级权重为w1)、知识库(优先级权重为w2)、人工智能提供答案(优先级权重为w3),根据问题数据库和知识库中是否有高精度的相似问题,人工智能提供问题答案;
步骤S4:通过虚拟数字人将问题答案以视频方式告诉用户;
步骤S5:如果用户再有问题,进行上述循环,直至问题中止;
步骤S6:用户完成问题咨询沟通后,界面弹出用户反馈对答案的满意度调查表,用户填写完成后进行统计,进行满意度统计;
步骤S7:将用户认为很满意的回答,纳入第一预设问题数据库中;
步骤S8:根据满意度统计,计算w1,w2,w3权重,对于w1,w2,w3初始权重为1:1:1,根据后续用户不断评价并通过增强学习过程对w1,w2,w3进行优化,再根据优化的结果决定问题答案优先来源于哪个数据库;
步骤S9:回答不满意,转入人工回答。
优选的,步骤S1中的虚拟数字人通过照片拍摄生成人物形象—语言学习生成语音—动作生成模块—音视频合成显示模块—交互模块,具备三大基本特征(具备人的外观、人的行为、人的思想),基于大量技术的支撑,涉及硬件设备和软件算法众多领域:图形识别、视觉技术、3D建模、CG渲染、动作捕捉、人工智能、计算机语音技术、自然语言处理等,所述虚拟数字人一般情况下会由人物形象、语音生成、动画生成、音视频合成显示、交互等五个模块构成。
优选的,人物形象:根据人物图形资源的维度,可分为2D和3D两大类,从外形上又可分为卡通、拟人、写实、超写实等风格;所述语音生成模块:基于文本生成对应的人物语音;所述动画生成模块:基于文本生成对应的人物动画;所述音视频合成显示模块:将语音和动画合成视频,再显示给用户;所述交互模块:使虚拟数字人具备交互功能,即通过语音语义识别等智能技术识别用户的意图,并根据用户当前意图决定数字人后续的语音和动作,驱动人物开启下一轮交互。
优选的,步骤S2中的网络聊天室可以建立在即时通讯软件(如MSNMessenger、QQ)、P2P软件、万维网等基础上,交谈的手段不局限于文本,更包括语音、视频,所述网络聊天室基本原理是:抛开CGI和WWW服务器,根据HTML规范,接收到浏览器的请求以后,模仿WWW服务器的响应,将聊天内容发回浏览器。
优选的,步骤S3中的问题数据库通过知识库系统进行建立,所述知识库系统是一个具有用所存储的知识对输入数据进行解释,生成作业假说并且对其进行验证功能的系统,且知识库系统通过知识表示,知识利用和知识获取实现,知识表示要具有层次化、模块化、网络化,统称为知识的结构化;知识利用是指利用知识库中的知识进行推理,从而得出结论的过程,推理所涉及的问题有:知识库的搜索、目标的控制、模式匹配的方法、推理的策略,以及对不确定性知识的评价等;知识获取是指从知识源获得知识来建造知识库的工作,知识库中的知识有两个来源,一个是原始知识,由外界直接进入知识库,另一个是中间知识(再生知识),是由推理机构生成后追加入知识库,利用计算机学习来实行自动或半自动的知识获取。
优选的,步骤S3中的问题数据库通过建立问题数据库模型实现,问题数据库模型收集大量医学过程中存在的问题,比如:临床医学问题、医学影像问题、医学检验问题、涉药类问题。
优选的,步骤S7中的第一预设问题数据库由用户认为很满意的回答组成,所述第一预设问题数据库中的问题答案优先级权重大于问题数据库中的其他问题答案。
优选的,步骤S8中的增强学习过程采用深度强化学习,所述深度强化学习将深度学习的感知能力和强化学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法,以DRL为原理框架,是一种端对端的感知与控制系统,并通过DQN算法实现。
与现有技术相比,本发明的有益效果是:该基于虚拟数字人技术的医学专业用户沟通方法,通过将问题数据库分为三级,最高优先级为预设的FAQ数据库,第二级来源于海量的医学数据库学习,第二级是通用人工智能提供答案,信息来源于互联网,三个数据库的优先级别,依据用户的评价,不断调整权重,将数字人技术用于专业的医学领域,提高用户的友好度,答案的回答以最优的被呈现,提高医学沟通的效果,实现用户高效的沟通。
附图说明
图1是本发明基于虚拟数字人技术的医学专业用户沟通方法流程图;
图2是本发明虚拟数字人系统框图。
实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2,本发明提供一种技术方案:基于虚拟数字人技术的医学专业用户沟通方法,包括以下步骤:
步骤S1:利用目前通用的虚拟数字人技术建立虚拟数字人;
步骤S2:利用目前用的互联网技术建立医学专用的网络聊天室;
步骤S3:用户在平台或手机端进入网络聊天室并内提出所需咨询的书面问题,通过后台预设问题数据库(优先级权重为w1)、知识库(优先级权重为w2)、人工智能提供答案(优先级权重为w3),根据问题数据库和知识库中是否有高精度的相似问题,人工智能提供问题答案;
步骤S4:通过虚拟数字人将问题答案以视频方式告诉用户;
步骤S5:如果用户再有问题,进行上述循环,直至问题中止;
步骤S6:用户完成问题咨询沟通后,界面弹出用户反馈对答案的满意度调查表,用户填写完成后进行统计,进行满意度统计;
步骤S7:将用户认为很满意的回答,纳入第一预设问题数据库中;
步骤S8:根据满意度统计,计算w1,w2,w3权重,对于w1,w2,w3初始权重为1:1:1,根据后续用户不断评价并通过增强学习过程对w1,w2,w3进行优化,再根据优化的结果决定问题答案优先来源于哪个数据库;
步骤S9:回答不满意,转入人工回答。
本发明,进一步的:步骤S1中的虚拟数字人通过照片拍摄生成人物形象—语言学习生成语音—动作生成模块—音视频合成显示模块—交互模块,具备三大基本特征(具备人的外观、人的行为、人的思想),基于大量技术的支撑,涉及硬件设备和软件算法众多领域:图形识别、视觉技术、3D建模、CG渲染、动作捕捉、人工智能、计算机语音技术、自然语言处理等,虚拟数字人一般情况下会由人物形象、语音生成、动画生成、音视频合成显示、交互等五个模块构成。
本发明,进一步的:人物形象:根据人物图形资源的维度,可分为2D和3D两大类,从外形上又可分为卡通、拟人、写实、超写实等风格;语音生成模块:基于文本生成对应的人物语音;动画生成模块:基于文本生成对应的人物动画;音视频合成显示模块:将语音和动画合成视频,再显示给用户;交互模块:使虚拟数字人具备交互功能,即通过语音语义识别等智能技术识别用户的意图,并根据用户当前意图决定数字人后续的语音和动作,驱动人物开启下一轮交互。
本发明,进一步的:步骤S2中的网络聊天室可以建立在即时通讯软件(如MSNMessenger、QQ)、P2P软件、万维网等基础上,交谈的手段不局限于文本,更包括语音、视频,网络聊天室基本原理是:抛开CGI和WWW服务器,根据HTML规范,接收到浏览器的请求以后,模仿WWW服务器的响应,将聊天内容发回浏览器。
本发明,进一步的:步骤S3中的问题数据库通过知识库系统进行建立,知识库系统是一个具有用所存储的知识对输入数据进行解释,生成作业假说并且对其进行验证功能的系统,且知识库系统通过知识表示,知识利用和知识获取实现,知识表示要具有层次化、模块化、网络化,统称为知识的结构化;知识利用是指利用知识库中的知识进行推理,从而得出结论的过程,推理所涉及的问题有:知识库的搜索、目标的控制、模式匹配的方法、推理的策略,以及对不确定性知识的评价等;知识获取是指从知识源获得知识来建造知识库的工作,知识库中的知识有两个来源,一个是原始知识,由外界直接进入知识库,另一个是中间知识(再生知识),是由推理机构生成后追加入知识库,利用计算机学习来实行自动或半自动的知识获取。
本发明,进一步的:步骤S3中的问题数据库通过建立问题数据库模型实现,问题数据库模型收集大量医学过程中存在的问题,比如:临床医学问题、医学影像问题、医学检验问题、涉药类问题。
本发明,进一步的:步骤S7中的第一预设问题数据库由用户认为很满意的回答组成,第一预设问题数据库中的问题答案优先级权重大于问题数据库中的其他问题答案。
本发明,进一步的:步骤S8中的增强学习过程采用深度强化学习,深度强化学习将深度学习的感知能力和深度学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法,以DRL为原理框架,是一种端对端的感知与控制系统,并通过DQN算法实现。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,包括以下步骤:
步骤S1:利用目前通用的虚拟数字人技术建立虚拟数字人;
步骤S2:利用目前用的互联网技术建立医学专用的网络聊天室;
步骤S3:用户在平台或手机端进入网络聊天室并内提出所需咨询的书面问题,通过后台预设问题数据库(优先级权重为w1)、知识库(优先级权重为w2)、人工智能提供答案(优先级权重为w3),根据问题数据库和知识库中是否有高精度的相似问题,人工智能提供问题答案;
步骤S4:通过虚拟数字人将问题答案以视频方式告诉用户;
步骤S5:如果用户再有问题,进行上述循环,直至问题中止;
步骤S6:用户完成问题咨询沟通后,界面弹出用户反馈对答案的满意度调查表,用户填写完成后进行统计,进行满意度统计;
步骤S7:将用户认为很满意的回答,纳入第一预设问题数据库中;
步骤S8:根据满意度统计,计算w1,w2,w3权重,对于w1,w2,w3初始权重为1:1:1,根据后续用户不断评价并通过增强学习过程对w1,w2,w3进行优化,再根据优化的结果决定问题答案优先来源于哪个数据库;
步骤S9:回答不满意,转入人工回答。
2.根据权利要求1所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述步骤S1中的虚拟数字人通过照片拍摄生成人物形象—语言学习生成语音—动作生成模块—音视频合成显示模块—交互模块,具备三大基本特征(具备人的外观、人的行为、人的思想),基于大量技术的支撑,涉及硬件设备和软件算法众多领域:图形识别、视觉技术、3D建模、CG渲染、动作捕捉、人工智能、计算机语音技术、自然语言处理等,所述虚拟数字人一般情况下会由人物形象、语音生成、动画生成、音视频合成显示、交互等五个模块构成。
3.根据权利要求2所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述人物形象:根据人物图形资源的维度,可分为2D和3D两大类,从外形上又可分为卡通、拟人、写实、超写实等风格;所述语音生成模块:基于文本生成对应的人物语音;所述动画生成模块:基于文本生成对应的人物动画;所述音视频合成显示模块:将语音和动画合成视频,再显示给用户;所述交互模块:使虚拟数字人具备交互功能,即通过语音语义识别等智能技术识别用户的意图,并根据用户当前意图决定数字人后续的语音和动作,驱动人物开启下一轮交互。
4.根据权利要求1所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述步骤S2中的网络聊天室可以建立在即时通讯软件(如MSNMessenger、QQ)、P2P软件、万维网等基础上,交谈的手段不局限于文本,更包括语音、视频,所述网络聊天室基本原理是:抛开CGI和WWW服务器,根据HTML规范,接收到浏览器的请求以后,模仿WWW服务器的响应,将聊天内容发回浏览器。
5.根据权利要求1所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述步骤S3中的问题数据库通过知识库系统进行建立,所述知识库系统是一个具有用所存储的知识对输入数据进行解释,生成作业假说并且对其进行验证功能的系统,且知识库系统通过知识表示,知识利用和知识获取实现,知识表示要具有层次化、模块化、网络化,统称为知识的结构化;知识利用是指利用知识库中的知识进行推理,从而得出结论的过程,推理所涉及的问题有:知识库的搜索、目标的控制、模式匹配的方法、推理的策略,以及对不确定性知识的评价等;知识获取是指从知识源获得知识来建造知识库的工作,知识库中的知识有两个来源,一个是原始知识,由外界直接进入知识库,另一个是中间知识(再生知识),是由推理机构生成后追加入知识库,利用计算机学习来实行自动或半自动的知识获取。
6.根据权利要求1所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述步骤S3中的问题数据库通过建立问题数据库模型实现,问题数据库模型收集大量医学过程中存在的问题,比如:临床医学问题、医学影像问题、医学检验问题、涉药类问题。
7.根据权利要求1所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述步骤S7中的第一预设问题数据库由用户认为很满意的回答组成,所述第一预设问题数据库中的问题答案优先级权重大于问题数据库中的其他问题答案。
8.根据权利要求1所述的基于虚拟数字人技术的医学专业用户沟通方法,其特征在于,所述步骤S8中的增强学习过程采用深度强化学习,所述深度强化学习将深度学习的感知能力和强化学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法,以DRL为原理框架,是一种端对端的感知与控制系统,并通过DQN算法实现。
CN202310360856.9A 2023-04-06 2023-04-06 基于虚拟数字人技术的医学专业用户沟通方法 Pending CN116525140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310360856.9A CN116525140A (zh) 2023-04-06 2023-04-06 基于虚拟数字人技术的医学专业用户沟通方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310360856.9A CN116525140A (zh) 2023-04-06 2023-04-06 基于虚拟数字人技术的医学专业用户沟通方法

Publications (1)

Publication Number Publication Date
CN116525140A true CN116525140A (zh) 2023-08-01

Family

ID=87395039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310360856.9A Pending CN116525140A (zh) 2023-04-06 2023-04-06 基于虚拟数字人技术的医学专业用户沟通方法

Country Status (1)

Country Link
CN (1) CN116525140A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117275763A (zh) * 2023-09-21 2023-12-22 北京百度网讯科技有限公司 数据处理方法、装置、设备、介质及产品
CN117687554A (zh) * 2023-12-11 2024-03-12 上海梅斯医药科技有限公司 基于视觉模拟评分的标尺元件灵活配置系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117275763A (zh) * 2023-09-21 2023-12-22 北京百度网讯科技有限公司 数据处理方法、装置、设备、介质及产品
CN117687554A (zh) * 2023-12-11 2024-03-12 上海梅斯医药科技有限公司 基于视觉模拟评分的标尺元件灵活配置系统及方法
CN117687554B (zh) * 2023-12-11 2024-05-28 上海梅斯医药科技有限公司 基于视觉模拟评分的标尺元件灵活配置系统及方法

Similar Documents

Publication Publication Date Title
CN116525140A (zh) 基于虚拟数字人技术的医学专业用户沟通方法
US11823315B2 (en) Animation making method and apparatus, computing device, and storage medium
CN107294837A (zh) 采用虚拟机器人进行对话交互的方法和系统
US20040128350A1 (en) Methods and systems for real-time virtual conferencing
CN107728780A (zh) 一种基于虚拟机器人的人机交互方法及装置
CN107704169A (zh) 虚拟人的状态管理方法和系统
CN115064020B (zh) 基于数字孪生技术的智慧教学方法、系统及存储介质
JP7247442B2 (ja) ユーザ対話における情報処理方法、装置、電子デバイス及び記憶媒体
CN106653020A (zh) 一种基于深度学习的智慧视听设备多业务控制方法及系统
CN114125529A (zh) 一种生成和演示视频的方法、设备及存储介质
CN107018168A (zh) 互联网资源调度方法及装置、网络红包调度方法
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN116016837A (zh) 一种沉浸式虚拟网络会议方法和装置
CN114422862A (zh) 服务视频生成方法、装置、设备、存储介质和程序产品
CN113742473A (zh) 一种数字虚拟人交互系统及其计算传输优化方法
CN113223121A (zh) 视频生成方法、装置、电子设备及存储介质
CN116975654B (zh) 对象互动方法、装置、电子设备及存储介质
Ghaziasgar The use of mobile phones as service-delivery devices in sign language machine translation system
WO2024066549A1 (zh) 一种数据处理方法及相关设备
CN106780676A (zh) 一种用于显示动画的方法和装置
CN116975330A (zh) 一种内容展示方法、装置、电子设备和存储介质
CN117689845A (zh) 虚拟资源处理方法及装置
CN117829160A (zh) 5g消息的交互方法及装置
CN117275763A (zh) 数据处理方法、装置、设备、介质及产品
CN117827047A (zh) 基于视觉图像的对话方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination