CN116884648A - 基于中医问诊的语音交互优化方法、装置、设备及介质 - Google Patents

基于中医问诊的语音交互优化方法、装置、设备及介质 Download PDF

Info

Publication number
CN116884648A
CN116884648A CN202310927381.7A CN202310927381A CN116884648A CN 116884648 A CN116884648 A CN 116884648A CN 202310927381 A CN202310927381 A CN 202310927381A CN 116884648 A CN116884648 A CN 116884648A
Authority
CN
China
Prior art keywords
voice
information
result
diagnosis
symptom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310927381.7A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huiyi Bida Medical Technology Co ltd
Original Assignee
Shenzhen Huiyi Bida Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiyi Bida Medical Technology Co ltd filed Critical Shenzhen Huiyi Bida Medical Technology Co ltd
Publication of CN116884648A publication Critical patent/CN116884648A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请适用于人机交互技术领域，尤其涉及一种基于中医问诊的语音交互优化方法、装置、设备及介质。该方法在声音采集器被触发时，采集触发者的语音信息，基于语音信息生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词，使用预设的语音模板对症状词进行语音合成，得到语音合成结果为第三交互语音并输出，以回答触发者的语音信息，实现了依据语音的采集动作，基于对采集结果的分析生成症状描述，从而生成回答语音，该回答语音能够更加准确地与用户进行交互。

Description

基于中医问诊的语音交互优化方法、装置、设备及介质
技术领域
本申请适用于人机交互技术领域，尤其涉及一种基于中医问诊的语音交互优化方法、装置、设备及介质。
背景技术
传统的中医药诊疗模式包括专科诊疗模式和全科诊疗模式。随着分级诊疗模式的推广、中医全科医学的发展，中医家庭病床服务模式越来越受到重视。目前，由于中医诊疗需要与病患的面对面处理，因此，随着“互联网+"的诊疗模式的发展，在互联网平台上，中医医生无法进行精准的望、闻、问、切，甚至有些时候，由于诊断信息的缺失，造成一些中医医生在远程诊疗中，只能以检验、影像学、心电图等西医的检查报告作为主要依据进行疾病的诊断与治疗，从而导致中医治疗特色的缺失。为此，基于当前人工智能问答的中医辅助诊疗可以在一定程度上解决上述问题，由于人机语音交互存在一定的不确定性，因而在上述的问答中，可能存在交互不理想的情况，同时也无法结合实际的病患情况进行自主优化，最终导致上述问答技术无法推广和扩大应用范围。因此，如何优化中医问诊场景下的语音交互，以提高问答的准确性成为亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种基于中医问诊的语音交互优化方法、装置、设备及介质，以解决如何优化中医问诊场景下的语音交互，以提高问答的准确性的问题。
第一方面，本申请实施例提供一种基于中医问诊的语音交互优化方法，所述语音交互优化方法应用于中医辅助诊疗设备，所述中医辅助诊疗设备包括声音采集器和图像采集器，所述语音交互优化方法包括：
在所述声音采集器被触发时，采集触发者的语音信息，对所述语音信息进行关键词提取，得到N个关键词，对所述N个关键词进行融合，得到融合结果，N为大于零的整数；
根据所述融合结果，生成第一控制指令，基于所述第一控制指令控制所述图像采集器启动，并输出第一交互语音，所述第一交互语音用于指示所述触发者执行相应动作；
在获取到所述图像采集器采集的图像信息时，对所述图像信息进行识别，确定面诊信息和舌诊信息，根据所述语音信息、所述面诊信息和所述舌诊信息，从数据库中匹配到对应的症状词；
使用预设的语音模板对所述症状词进行语音合成，得到语音合成结果，将所述语音合成结果作为第三交互语音并输出，以回答所述触发者的语音信息。
第二方面，本申请实施例提供一种基于中医问诊的语音交互优化装置，所述语音交互优化装置应用于中医辅助诊疗设备，所述中医辅助诊疗设备包括声音采集器和图像采集器，所述语音交互优化装置包括：
采集分析模块，用于在所述声音采集器被触发时，采集触发者的语音信息，对所述语音信息进行关键词提取，得到N个关键词，对所述N个关键词进行融合，得到融合结果，N为大于零的整数；
第一语音输出模块，用于根据所述融合结果，生成第一控制指令，基于所述第一控制指令控制所述图像采集器启动，并输出第一交互语音，所述第一交互语音用于指示所述触发者执行相应动作；
症状分析模块，用于在获取到所述图像采集器采集的图像信息时，对所述图像信息进行识别，确定面诊信息和舌诊信息，根据所述语音信息、所述面诊信息和所述舌诊信息，从数据库中匹配到对应的症状词；
第二语音输出模块，用于使用预设的语音模板对所述症状词进行语音合成，得到语音合成结果，将所述语音合成结果作为第三交互语音并输出，以回答所述触发者的语音信息。
第三方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的语音交互优化方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的语音交互优化方法。
本申请实施例与现有技术相比存在的有益效果是：本申请应用于中医辅助诊疗设备，中医辅助诊疗设备包括声音采集器和图像采集器，在声音采集器被触发时，采集触发者的语音信息，对语音信息进行关键词提取，得到N个关键词，对N个关键词进行融合，得到融合结果，根据融合结果，生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，第一交互语音用于指示触发者执行相应动作，在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词，使用预设的语音模板对症状词进行语音合成，得到语音合成结果，将语音合成结果作为第三交互语音并输出，以回答触发者的语音信息，实现了依据语音的采集动作，基于对采集结果的分析生成症状描述，从而生成回答语音，该回答语音能够更加准确地与用户进行交互。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种基于中医问诊的语音交互优化方法的一应用环境示意图；
图2是本申请实施例二提供的一种基于中医问诊的语音交互优化方法的流程示意图；
图3是本申请实施例三提供的一种基于中医问诊的语音交互优化方法的流程示意图；
图4是本申请实施例四提供的一种基于中医问诊的语音交互优化装置的结构示意图；
图5是本申请实施例五提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
本申请实施例一提供的一种基于中医问诊的语音交互优化方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端计算机设备、个人数字助理(personal digital assistant，PDA)等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2，是本申请实施例二提供的一种基于中医问诊的语音交互优化方法的流程示意图，上述基于中医问诊的语音交互优化方法应用于图1中的客户端，客户端对应的计算机设备为支撑中医辅助诊疗设备的基础，该计算机设备连接相应的服务端、数据库等，以获取服务端的运算支持和数据库的数据支撑。该中医辅助诊疗设备包括声音采集器和图像采集器，也即客户端对应的计算机设备连接声音采集器和图像采集器等外接输入设备，共同构成中医诊疗设备，其中计算机设备运行相应地软件程序，以实现本申请的语音交互优化方法。如图2所示，该基于中医问诊的语音交互优化方法可以包括以下步骤：
步骤S201，在声音采集器被触发时，采集触发者的语音信息，对语音信息进行关键词提取，得到N个关键词，对N个关键词进行融合，得到融合结果。
本申请中，声音采集器为采集声音的设备，具体可以为麦克风等，该声音采集器可以为与本申请的客户端一体设置的设备，进一步地，该声音采集器可以为独立与客户端但又与客户端进行信息交互的设备。上述声音采集器的触发可以是采用客户端识别相应的用户操作，来实现触发。进一步地，该声音采集器可以实时的采集周围环境声音，当周围环境声音中出现触发指令时，即可以触发该声音采集器，相应地，在该声音采集器被触发后还可以生成提示语音，以提示触发者可以输入语音信息。
在被触发后声音采集器采集触发者发出的声音即语音信息，通过对语音信息的分析处理，可以确定其中的关键词，关键词可以为一个或者多个，也即N为大于零的整数。关键词为表征语音信息的主要词汇，在本申请的中医问诊领域，语音信息可以为触发者对自身病症信息的描述，相应的，关键词为表征触发者描述的病症的关键信息。
关键词提取可以采用将语音信息与数据库中已有词汇的匹配的方式进行提取，也可以采用训练好的神经网络模型进行提取，具体可以根据需求进行配置和调整。
针对关键词为多个的情况，为了方便后续步骤的使用，需要对该多个关键词进行融合处理，得到融合结果。需要说明的是，采用该步骤S201时，如果关键词为1个，也可以进行融合处理，此时，设置其他关键词为空即可。融合是能够将触发者的语音信息进行完整的表征，同时，将该语音信息转换为能够在计算机中运行的数据格式。
可选的是，对语音信息进行关键词提取，得到N个关键词包括：
对语音信息进行文本提取，得到对应的目标文本，使用预设词库对目标文本进行词匹配，得到M个预设词，M为大于零的整数；
对目标文本进行分词，得到至少一个分词结果，计算每个分词结果的词频，确定词频最大的K个分词结果，K为大于零的整数；
将K个分词结果分别与M个预设词进行匹配，得到N个匹配的词，确定匹配的词为关键词。
其中，采用语音转文字技术，将语音信息转换为文本，即得到目标文本，使用预设词库中的词在所述目标文本中进行匹配，如果目标文本中存在预设词库中的词，则将该词作为一预设词，遍历上述目标文本和预设词库即可确定M个预设词。
另外，对目标文本进行分词得到对应的分词结果，从而可用于计算词频，将出现次数最多也即是词频最大的分词结果作为重点关注的对象。
预设词为使用预设词库匹配得到的词，分词结果为对目标文本的自主分析结果，将两者中都出现的词作为关键词，能够既满足使用预设词库的可靠性，又满足对语音信息也即触发者的真实意图依据，使得关键词提取结果更加地准确。
可选的是，对N个关键词进行融合，得到融合结果包括：
使用训练好的编码器对N个关键词进行向量编码，得到对应关键词的编码结果；
确定N个关键词在语音信息中出现的顺序，按照顺序将所有的编码结果进行向量拼接，得到拼接向量，确定拼接向量为融合结果。
其中，训练好的编码器可以是对词进行向量编码的模型，可以基于中医问诊场景中的词汇进行训练，可以单独训练，也可以与后续的解码器联合训练。
编码结果也即是词向量，根据对应关键词在语音信息中的出现顺序可以将说是有的词向量进行拼接，拼接得到的向量即用于表征语音信息。
步骤S202，根据融合结果，生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，第一交互语音用于指示触发者执行相应动作。
本申请中，融合结果可以为表征对语音信息的表达结果，例如，在语音信息无法准确地确定病症时，对应融合结果表征的即为语音信息不完整等，对此，可以生成第一控制指令，用来控制其他的设备启动，以采集相应地信息来弥补上述的语音信息不完整的缺陷。进一步地，融合结果可以是采用向量的形式表达，并且融合结果与第一控制指令之间存在着唯一的映射关系，从而可以生成第一控制指令。
第一控制指令是用于控制设备中的图像采集器启动的指令，同时，生成第一交互语音并播放，以便于触发者听到该第一交互语音，并执行相应的动作。例如，该图像采集器为一专用的采集设备，第一交互语音为指示触发者将头部放置于对应的位置处，以便于图像采集器采集到准确地图像。当然，上述第一交互语音为预设的语音，与所述图像采集器的启动进行映射，以在启动时映射输出第一交互语音。
可选的是，根据融合结果，生成第一控制指令包括：
使用训练好的解码器对融合结果进行解码，得到解码结果；
获取预设的映射表，根据解码结果从映射表中确定对应的第一控制指令，映射表中存储有控制指令与解码结果的映射关系。
其中，对应于上述的训练好的编码器，对于融合结果为词向量的拼接结果而言，需要对融合结果进行解码，具体解码结果可以为一数值。例如，针对融合结果而言，解码结果包括0或者1，“0”可以表示不需要启动图像采集设备，“1”可以表示需要启动图像采集设备。相应地，根据预设的映射表，可以应得到得到对应的第一控制指令，如1映射得到第一控制指令。
步骤S203，在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词。
本申请中，图像采集器用于采集触发者的图像信息，尤其是面部图像和舌部图像，从而来得到面诊信息和舌诊信息。其中，针对面诊信息和舌诊信息的识别可以是基于预设的识别网络模型识别得到，该识别网络模型能够对面部图像进行分析，得到面部的状态、眼部的状态等，并且能够对舌部图像进行分析，得到舌体、舌苔、舌质等信息。
将语音信息、面诊信息和舌诊信息等输入预设的预测网络，可以输出预测的表征病状的结果，并与数据库中的词进行匹配，从而得到表征病状的症状词。
进一步地，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词包括：
对语音信息进行症状表征编码，得到语音编码结果，对面诊信息进行症状表征编码，得到面诊编码结果，对舌诊信息进行症状表征编码，得到舌诊编码结果；
对语音编码结果、面诊编码结果和舌诊编码结果进行加权求和，得到加权求和结果；
对加权求和结果进行症状表征解码，得到对应的症状表征，从数据库中匹配到对应症状表征的症状词。
其中，分别对所有的信息进行编码，最终形成具有同一格式的编码结果，将所有的编码结果进行加权求和并进行解码，即可得到症状表征，基于该症状表征即可在数据库中匹配到对应的症状词。当然，权值可以为预设好的，也可以根据编码结果进行动态调整，具体调整策略为对每个症状表征的准确度进行预测，准确度越高，则对应的权值越高，否则，对应的权值越低。
可选的是，对图像信息进行识别包括：
对图像信息进行舌体识别，得到舌体图像，对舌体图像进行舌苔信息提取，得到舌苔信息，对舌体图像进行舌质信息提取，得到舌质信息，将舌苔信息和舌质信息融合作为舌诊信息；
对图像信息进行面部识别，得到面部图像，对面部图像进行肤色表征，得到肤色表征结果，对面部图像进行眼部信息表征，得到眼部表征结果，将肤色表征结果和眼部表征结果融合作为面诊信息。
其中，对于图像信息的识别包括面部识别和舌体识别，舌体识别主要提取舌苔信息和舌质信息，并进行融合得到舌诊信息，面部识别主要包括肤色信息和眼部信息，并进行融合得到面诊信息。
步骤S204，使用预设的语音模板对症状词进行语音合成，得到语音合成结果，将语音合成结果作为第三交互语音并输出，以回答触发者的语音信息。
本申请中，语音模板为将构成完整语音的填词模板，即将症状词填入该语音模板之后，即可形成一完整的语言表达，从而将该语言表达合成为语音并输出，即实现对上述触发者的语音信息进行回答，形成一个轮次的语音交互。上述过程中需要分析触发者的真实意图和真实状态，从而给出最为贴合语音信息的回答结果，具备更加智能化的交互过程。
需说明的是，上述语音模板可以为多个，即在不同场景下或者交互过程中采用的语音模板可以不相同。其中，可先根据症状词来匹配到合适的语音模板，再使用该合适的语音模板对症状词进行语音合成。
本申请实施例应用于中医辅助诊疗设备，中医辅助诊疗设备包括声音采集器和图像采集器，在声音采集器被触发时，采集触发者的语音信息，对语音信息进行关键词提取，得到N个关键词，对N个关键词进行融合，得到融合结果，根据融合结果，生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，第一交互语音用于指示触发者执行相应动作，在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词，使用预设的语音模板对症状词进行语音合成，得到语音合成结果，将语音合成结果作为第三交互语音并输出，以回答触发者的语音信息，实现了依据语音的采集动作，基于对采集结果的分析生成症状描述，从而生成回答语音，该回答语音能够更加准确地与用户进行交互。
参见图3，是本申请实施例三提供的一种基于中医问诊的语音交互优化方法的流程示意图，在上述实施例二的基础上，中医辅助诊疗设备还包括脉搏采集器，相应地，如图3所示，该基于中医问诊的语音交互优化方法可以包括以下步骤：
步骤S301，在声音采集器被触发时，采集触发者的语音信息，对语音信息进行关键词提取，得到N个关键词，对N个关键词进行融合，得到融合结果。
步骤S302，根据融合结果，生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，第一交互语音用于指示触发者执行相应动作。
其中，步骤S301至步骤S302的内容与上述步骤S201至步骤S202的部分内容相同，可参考步骤S201至步骤S203的描述，在此不再赘述。
步骤S303，根据融合结果，生成第二控制指令，基于第二控制指令控制脉搏采集器启动，并输出第二交互语音，第二交互语音均用于指示触发者执行相应动作。
本申请中，基于上述步骤S202的论述，针对步骤S303而言，根据融合结果生成第二控制指令，即如果融合结果表征该语音信息不完整等情况时，需要启动其他设备进行更加详细信息的采集。其中，脉搏采集器为基于压力传感器感应的采集器，当脉搏采集器启动时，输出第二交互语音以指导触发者按照相应地动作将手臂放在脉搏采集器的相应位置，从而使得脉搏采集器能够有效地检测到触发者的脉搏动作。
步骤S304，在获取到脉搏采集器采集的脉搏信息时，对脉搏信息进行识别，确定脉诊信息。
本申请中，脉搏采集器采集的脉搏信息为一波形信号，对脉搏信息进行识别也即是对该波形信息进行特征提取，并与预设的已知特征进行比较，从而确定匹配的已知特征，匹配的已知特征对应的诊脉表达即为脉搏信息对应的脉诊信息。需说明的是，一已知特征对应有一诊脉表达。
步骤S305，在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息、舌诊信息和脉诊信息，从数据库中匹配到对应的症状词。
其中，关于图像信息的识别过程，可参考上述步骤S203的表述，而对于症状词的获得，需要在匹配时增加脉诊信息，从而准确地根据“望闻问切”确定症状词，以用于后续的语音交互。
可选的是，根据语音信息、面诊信息、舌诊信息和脉诊信息，从数据库中匹配到对应的症状词包括：
对语音信息进行症状表征编码，得到语音编码结果，对面诊信息进行症状表征编码，得到面诊编码结果，对舌诊信息进行症状表征编码，得到舌诊编码结果，对脉诊信息进行症状表征编码，得到脉诊编码结果；
对语音编码结果、面诊编码结果、舌诊编码结果和脉诊编码结果进行加权求和，得到加权求和结果；
对加权求和结果进行症状表征解码，得到对应的症状表征，从数据库中匹配到对应症状表征的症状词。
其中，分别对所有的信息进行编码，最终形成具有同一格式的编码结果，将所有的编码结果进行加权求和并进行解码，即可得到症状表征，基于该症状表征即可在数据库中匹配到对应的症状词。当然，权值可以为预设好的，也可以根据编码结果进行动态调整，具体调整策略为对每个症状表征的准确度进行预测，准确度越高，则对应的权值越高，否则，对应的权值越低。
步骤S306，使用预设的语音模板对症状词进行语音合成，得到语音合成结果，将语音合成结果作为第三交互语音并输出，以回答触发者的语音信息。
其中，步骤S306的内容与上述步骤S204的内容相同，可参考步骤S204的描述，在此不再赘述。
本申请实施例应用于中医辅助诊疗设备，中医辅助诊疗设备包括声音采集器、图像采集器和脉搏采集器，在声音采集器被触发时，采集触发者的语音信息，对语音信息进行关键词提取，得到N个关键词，对N个关键词进行融合，得到融合结果，根据融合结果，生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，第一交互语音用于指示触发者执行相应动作，根据融合结果，生成第二控制指令，基于第二控制指令控制脉搏采集器启动，并输出第二交互语音，第二交互语音均用于指示触发者执行相应动作，在获取到脉搏采集器采集的脉搏信息时，对脉搏信息进行识别，确定脉诊信息，在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词，使用预设的语音模板对症状词进行语音合成，得到语音合成结果，将语音合成结果作为第三交互语音并输出，以回答触发者的语音信息，实现了依据语音的采集动作，基于对采集结果的分析生成症状描述，从而生成回答语音，该回答语音能够更加准确地与用户进行交互。
对应于上文实施例的基于中医问诊的语音交互优化方法，图4示出了本申请实施例四提供的基于中医问诊的语音交互优化装置的结构框图，上述语音交互优化装置应用于图1中的客户端，客户端对应的计算机设备为支撑中医辅助诊疗设备的基础，该计算机设备连接相应的服务端、数据库等，以获取服务端的运算支持和数据库的数据支撑。该中医辅助诊疗设备包括声音采集器和图像采集器，也即客户端对应的计算机设备连接声音采集器和图像采集器等外接输入设备，共同构成中医诊疗设备，其中计算机设备运行相应地软件程序，以实现本申请的语音交互优化方法为了便于说明，仅示出了与本申请实施例相关的部分。
参见图4，该语音交互优化装置包括：
采集分析模块41，用于在声音采集器被触发时，采集触发者的语音信息，对语音信息进行关键词提取，得到N个关键词，对N个关键词进行融合，得到融合结果，N为大于零的整数；
第一语音输出模块42，用于根据融合结果，生成第一控制指令，基于第一控制指令控制图像采集器启动，并输出第一交互语音，第一交互语音用于指示触发者执行相应动作；
症状分析模块43，用于在获取到图像采集器采集的图像信息时，对图像信息进行识别，确定面诊信息和舌诊信息，根据语音信息、面诊信息和舌诊信息，从数据库中匹配到对应的症状词；
第二语音输出模块44，用于使用预设的语音模板对症状词进行语音合成，得到语音合成结果，将语音合成结果作为第三交互语音并输出，以回答触发者的语音信息。
可选的是，采集分析模块41包括：
词匹配单元，用于对语音信息进行文本提取，得到对应的目标文本，使用预设词库对目标文本进行词匹配，得到M个预设词，M为大于零的整数；
分词单元，用于对目标文本进行分词，得到至少一个分词结果，计算每个分词结果的词频，确定词频最大的K个分词结果，K为大于零的整数；
关键词确定单元，用于将K个分词结果分别与M个预设词进行匹配，得到N个匹配的词，确定匹配的词为关键词。
可选的是，采集分析模块41包括：
向量编码单元，用于使用训练好的编码器对N个关键词进行向量编码，得到对应关键词的编码结果；
向量拼接单元，用于确定N个关键词在语音信息中出现的顺序，按照顺序将所有的编码结果进行向量拼接，得到拼接向量，确定拼接向量为融合结果。
可选的是，第一语音输出模块42包括：
第一解码单元，用于使用训练好的解码器对融合结果进行解码，得到解码结果；
第一指令确定单元，用于获取预设的映射表，根据解码结果从映射表中确定对应的第一控制指令，映射表中存储有控制指令与解码结果的映射关系。
可选的是，症状分析模块43包括：
第一图像分析单元，用于对图像信息进行舌体识别，得到舌体图像，对舌体图像进行舌苔信息提取，得到舌苔信息，对舌体图像进行舌质信息提取，得到舌质信息，将舌苔信息和舌质信息融合作为舌诊信息；
第二图像分析单元，用于对图像信息进行面部识别，得到面部图像，对面部图像进行肤色表征，得到肤色表征结果，对面部图像进行眼部信息表征，得到眼部表征结果，将肤色表征结果和眼部表征结果融合作为面诊信息。
可选的是，中医辅助诊疗设备还包括脉搏采集器，语音交互优化装置还包括：
第三语音输出模块，用于在对N个关键词进行融合，得到融合结果之后，根据融合结果，生成第二控制指令，基于第二控制指令控制脉搏采集器启动，并输出第二交互语音，第二交互语音均用于指示触发者执行相应动作；
脉搏分析模块，用于在获取到脉搏采集器采集的脉搏信息时，对脉搏信息进行识别，确定脉诊信息；
相应地，症状分析模块43包括：
症状分析单元，用于根据语音信息、面诊信息、舌诊信息和脉诊信息，从数据库中匹配到对应的症状词。
可选的是，症状分析单元包括：
信息编码子单元，用于对语音信息进行症状表征编码，得到语音编码结果，对面诊信息进行症状表征编码，得到面诊编码结果，对舌诊信息进行症状表征编码，得到舌诊编码结果，对脉诊信息进行症状表征编码，得到脉诊编码结果；
编码结果融合子单元，用于对语音编码结果、面诊编码结果、舌诊编码结果和脉诊编码结果进行加权求和，得到加权求和结果；
症状词确定子单元，用于对加权求和结果进行症状表征解码，得到对应的症状表征，从数据库中匹配到对应症状表征的症状词。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图5为本申请实施例五提供的一种计算机设备的结构示意图。如图5所示，该实施例的计算机设备包括：至少一个处理器(图5中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个基于中医问诊的语音交互优化方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于中医问诊的语音交互优化方法，其特征在于，所述语音交互优化方法应用于中医辅助诊疗设备，所述中医辅助诊疗设备包括声音采集器和图像采集器，所述语音交互优化方法包括：
在所述声音采集器被触发时，采集触发者的语音信息，对所述语音信息进行关键词提取，得到N个关键词，对所述N个关键词进行融合，得到融合结果，N为大于零的整数；
根据所述融合结果，生成第一控制指令，基于所述第一控制指令控制所述图像采集器启动，并输出第一交互语音，所述第一交互语音用于指示所述触发者执行相应动作；
在获取到所述图像采集器采集的图像信息时，对所述图像信息进行识别，确定面诊信息和舌诊信息，根据所述语音信息、所述面诊信息和所述舌诊信息，从数据库中匹配到对应的症状词；
使用预设的语音模板对所述症状词进行语音合成，得到语音合成结果，将所述语音合成结果作为第三交互语音并输出，以回答所述触发者的语音信息。
2.根据权利要求1所述的语音交互优化方法，其特征在于，对所述语音信息进行关键词提取，得到N个关键词包括：
对所述语音信息进行文本提取，得到对应的目标文本，使用预设词库对所述目标文本进行词匹配，得到M个预设词，M为大于零的整数；
对所述目标文本进行分词，得到至少一个分词结果，计算每个分词结果的词频，确定词频最大的K个分词结果，K为大于零的整数；
将所述K个分词结果分别与所述M个预设词进行匹配，得到N个匹配的词，确定匹配的词为关键词。
3.根据权利要求1所述的语音交互优化方法，其特征在于，对所述N个关键词进行融合，得到融合结果包括：
使用训练好的编码器对所述N个关键词进行向量编码，得到对应关键词的编码结果；
确定所述N个关键词在所述语音信息中出现的顺序，按照所述顺序将所有的编码结果进行向量拼接，得到拼接向量，确定所述拼接向量为融合结果。
4.根据权利要求3所述的语音交互优化方法，其特征在于，根据所述融合结果，生成第一控制指令包括：
使用训练好的解码器对所述融合结果进行解码，得到解码结果；
获取预设的映射表，根据所述解码结果从所述映射表中确定对应的第一控制指令，所述映射表中存储有控制指令与解码结果的映射关系。
5.根据权利要求1所述的语音交互优化方法，其特征在于，对所述图像信息进行识别包括：
对所述图像信息进行舌体识别，得到舌体图像，对所述舌体图像进行舌苔信息提取，得到舌苔信息，对所述舌体图像进行舌质信息提取，得到舌质信息，将所述舌苔信息和所述舌质信息融合作为舌诊信息；
对所述图像信息进行面部识别，得到面部图像，对所述面部图像进行肤色表征，得到肤色表征结果，对所述面部图像进行眼部信息表征，得到眼部表征结果，将所述肤色表征结果和所述眼部表征结果融合作为面诊信息。
6.根据权利要求1至5任一项所述的语音交互优化方法，其特征在于，所述中医辅助诊疗设备还包括脉搏采集器，在对所述N个关键词进行融合，得到融合结果之后，还包括：
根据所述融合结果，生成第二控制指令，基于所述第二控制指令控制所述脉搏采集器启动，并输出第二交互语音，所述第二交互语音均用于指示所述触发者执行相应动作；
在获取到所述脉搏采集器采集的脉搏信息时，对所述脉搏信息进行识别，确定脉诊信息；
相应地，根据所述语音信息、所述面诊信息和所述舌诊信息，从数据库中匹配到对应的症状词包括：
根据所述语音信息、所述面诊信息、所述舌诊信息和所述脉诊信息，从数据库中匹配到对应的症状词。
7.根据权利要求6所述的语音交互优化方法，其特征在于，根据所述语音信息、所述面诊信息、所述舌诊信息和所述脉诊信息，从数据库中匹配到对应的症状词包括：
对所述语音信息进行症状表征编码，得到语音编码结果，对所述面诊信息进行症状表征编码，得到面诊编码结果，对所述舌诊信息进行症状表征编码，得到舌诊编码结果，对所述脉诊信息进行症状表征编码，得到脉诊编码结果；
对所述语音编码结果、所述面诊编码结果、所述舌诊编码结果和所述脉诊编码结果进行加权求和，得到加权求和结果；
对所述加权求和结果进行症状表征解码，得到对应的症状表征，从数据库中匹配到对应所述症状表征的症状词。
8.一种基于中医问诊的语音交互优化装置，其特征在于，所述语音交互优化装置应用于中医辅助诊疗设备，所述中医辅助诊疗设备包括声音采集器和图像采集器，所述语音交互优化装置包括：
采集分析模块，用于在所述声音采集器被触发时，采集触发者的语音信息，对所述语音信息进行关键词提取，得到N个关键词，对所述N个关键词进行融合，得到融合结果，N为大于零的整数；
第一语音输出模块，用于根据所述融合结果，生成第一控制指令，基于所述第一控制指令控制所述图像采集器启动，并输出第一交互语音，所述第一交互语音用于指示所述触发者执行相应动作；
症状分析模块，用于在获取到所述图像采集器采集的图像信息时，对所述图像信息进行识别，确定面诊信息和舌诊信息，根据所述语音信息、所述面诊信息和所述舌诊信息，从数据库中匹配到对应的症状词；
第二语音输出模块，用于使用预设的语音模板对所述症状词进行语音合成，得到语音合成结果，将所述语音合成结果作为第三交互语音并输出，以回答所述触发者的语音信息。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的语音交互优化方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的语音交互优化方法。
CN202310927381.7A 2023-05-23 2023-07-25 基于中医问诊的语音交互优化方法、装置、设备及介质 Pending CN116884648A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2023105955959 2023-05-23
CN202310595595 2023-05-23

Publications (1)

Publication Number Publication Date
CN116884648A true CN116884648A (zh) 2023-10-13

Family

ID=88271332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310927381.7A Pending CN116884648A (zh) 2023-05-23 2023-07-25 基于中医问诊的语音交互优化方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116884648A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877686A (zh) * 2024-03-13 2024-04-12 自贡市第一人民医院 一种中医护理数据智能管理方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087689A (zh) * 2018-07-16 2018-12-25 江阴市中医院 名中医诊断信息收集系统、方法和终端
CN109670088A (zh) * 2018-12-13 2019-04-23 平安科技（深圳）有限公司 语音问答交互方法、装置、计算机设备及存储介质
CN110827831A (zh) * 2019-11-15 2020-02-21 广州洪荒智能科技有限公司 基于人机交互的语音信息处理方法、装置、设备及介质
CN110853757A (zh) * 2019-11-19 2020-02-28 孙家明 疾病诊断装置及设备
CN111067496A (zh) * 2020-01-06 2020-04-28 张力 一种具有望闻问切的中医诊断机器人及其工作方法
CN111243728A (zh) * 2019-12-27 2020-06-05 中国中医科学院中医药信息研究所 一种智能中医四诊信息融合系统、方法及存储介质
CN111415759A (zh) * 2020-03-03 2020-07-14 北京中锐福宁控股集团有限公司 基于问诊的中医预诊机器人的人机交互方法及系统
CN111883250A (zh) * 2020-07-21 2020-11-03 广州华见智能科技有限公司 一种中医辅助诊疗系统及其方法
CN112307168A (zh) * 2020-10-30 2021-02-02 康键信息技术（深圳）有限公司 基于人工智能的问诊会话处理方法、装置和计算机设备
CN112989767A (zh) * 2021-04-21 2021-06-18 腾讯科技（深圳）有限公司 医学词语标注方法、医学词语映射方法、装置及设备
CN113205817A (zh) * 2021-07-06 2021-08-03 明品云(北京)数据科技有限公司 语音语义识别方法、系统、设备及介质
CN114242267A (zh) * 2021-12-15 2022-03-25 平安科技（深圳）有限公司 基于神经网络的问诊回复方法、装置、设备及存储介质
JP2023048799A (ja) * 2021-09-28 2023-04-07 株式会社オンラインマスター オンライン診療を含む診療システム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087689A (zh) * 2018-07-16 2018-12-25 江阴市中医院 名中医诊断信息收集系统、方法和终端
CN109670088A (zh) * 2018-12-13 2019-04-23 平安科技（深圳）有限公司 语音问答交互方法、装置、计算机设备及存储介质
CN110827831A (zh) * 2019-11-15 2020-02-21 广州洪荒智能科技有限公司 基于人机交互的语音信息处理方法、装置、设备及介质
CN110853757A (zh) * 2019-11-19 2020-02-28 孙家明 疾病诊断装置及设备
CN111243728A (zh) * 2019-12-27 2020-06-05 中国中医科学院中医药信息研究所 一种智能中医四诊信息融合系统、方法及存储介质
CN111067496A (zh) * 2020-01-06 2020-04-28 张力 一种具有望闻问切的中医诊断机器人及其工作方法
CN111415759A (zh) * 2020-03-03 2020-07-14 北京中锐福宁控股集团有限公司 基于问诊的中医预诊机器人的人机交互方法及系统
CN111883250A (zh) * 2020-07-21 2020-11-03 广州华见智能科技有限公司 一种中医辅助诊疗系统及其方法
CN112307168A (zh) * 2020-10-30 2021-02-02 康键信息技术（深圳）有限公司 基于人工智能的问诊会话处理方法、装置和计算机设备
CN112989767A (zh) * 2021-04-21 2021-06-18 腾讯科技（深圳）有限公司 医学词语标注方法、医学词语映射方法、装置及设备
CN113205817A (zh) * 2021-07-06 2021-08-03 明品云(北京)数据科技有限公司 语音语义识别方法、系统、设备及介质
JP2023048799A (ja) * 2021-09-28 2023-04-07 株式会社オンラインマスター オンライン診療を含む診療システム
CN114242267A (zh) * 2021-12-15 2022-03-25 平安科技（深圳）有限公司 基于神经网络的问诊回复方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877686A (zh) * 2024-03-13 2024-04-12 自贡市第一人民医院 一种中医护理数据智能管理方法及系统
CN117877686B (zh) * 2024-03-13 2024-05-07 自贡市第一人民医院 一种中医护理数据智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
WO2015158017A1 (zh) 智能交互及心理慰藉机器人服务系统
US20220172710A1 (en) Interactive systems and methods
CN114898861A (zh) 基于全注意力机制的多模态抑郁症检测方法和系统
CN111914076B (zh) 一种基于人机对话的用户画像构建方法、系统、终端及存储介质
CN111967334B (zh) 一种人体意图识别方法、系统以及存储介质
Pandey et al. Liptype: A silent speech recognizer augmented with an independent repair model
CN112232276B (zh) 一种基于语音识别和图像识别的情绪检测方法和装置
CN111145903A (zh) 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统
CN116884648A (zh) 基于中医问诊的语音交互优化方法、装置、设备及介质
CN113689951A (zh) 一种智能导诊方法、系统和计算机可读存储介质
CN114997174B (zh) 意图识别模型训练及语音意图识别方法、装置和相关设备
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN115221941A (zh) 认知障碍检测方法及相关装置、电子设备和存储介质
CN115132182B (zh) 一种数据识别方法、装置、设备及可读存储介质
CN116469374A (zh) 基于情感空间的语音合成方法、装置、设备及存储介质
CN116130088A (zh) 多模态面诊问诊方法、装置及相关设备
CN113436617B (zh) 语音断句方法、装置、计算机设备及存储介质
CN114974310A (zh) 基于人工智能的情感识别方法、装置、计算机设备及介质
CN114170997A (zh) 发音技巧检测方法、装置、存储介质及电子设备
CN114492579A (zh) 情绪识别方法、摄像装置、情绪识别装置及存储装置
CN117649933B (zh) 在线问诊辅助方法、装置、电子设备和存储介质
CN117058405B (zh) 一种基于图像的情绪识别方法、系统、存储介质及终端
CN117059092B (zh) 基于区块链的智慧医疗交互式智能分诊方法及系统
CN116628161A (zh) 答案生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination