CN115098661A - 用于辅助疾病筛查的方法、电子设备及计算机存储介质 - Google Patents

Abstract

本申请实施例提供了一种用于辅助疾病筛查的方法、电子设备及计算机存储介质，其中，用于辅助疾病筛查的方法包括：获取疾病筛查量表中的多个问题文本数据对应的问题语音数据，并通过所述问题语音数据与被筛查者进行语音交互；获取所述被筛查者针对每个所述问题语音数据的回复语音数据，并将所述回复语音数据转换为回复文本数据；基于所述回复语音数据和所述回复文本数据进行多模态内容分析，获得对应的回复内容数据；基于所述回复内容数据与所述问题文本数据对应的标准回复数据，获取所述疾病筛查量表所对应的筛查结果。通过本申请实施例，大大降低了疾病筛查成本，提高了疾病筛查效率。

Description

用于辅助疾病筛查的方法、电子设备及计算机存储介质

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种用于辅助疾病筛查的方法、电子设备及计算机存储介质。

背景技术

随着互联网技术的发展，日常生活中越来越多的工作事务和生活事务基于互联网实现了自动化和智能化。然而，仍然存在一部分的事务目前尚无法加入到这一行列。例如，某些疾病的大规模筛查。

以阿尔茨海默病为例，该种疾病是一种起病隐匿的进行性发展的神经系统退行性疾病，在初期因为程度较轻不易被发觉，但一旦症状较明显，治疗的难度和成本都极大。因此，目前医疗界希望通过早期筛查尽早发现阿尔茨海默病患者，以在疾病程度较轻时即进行干预，延缓发病周期。然而，传统的筛查模式大多采用纸质量表测量，需要受过专门培训的医务人员一对一执行，该过程费时费力。另外，因我国人口基数庞大，使得采用该传统筛查模式进行大规模筛查成本极高，无法覆盖大范围人群，且存在着人工筛查可能导致的数据错误或偏差的情况。

发明内容

有鉴于此，本申请实施例提供一种用于辅助疾病筛查的方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种用于辅助疾病筛查的方法，包括：获取疾病筛查量表中的多个问题文本数据对应的问题语音数据，并通过所述问题语音数据与被筛查者进行语音交互；获取所述被筛查者针对每个所述问题语音数据的回复语音数据，并将所述回复语音数据转换为回复文本数据；基于所述回复语音数据和所述回复文本数据进行多模态内容分析，获得对应的回复内容数据；基于所述回复内容数据与所述问题文本数据对应的标准回复数据，获取所述疾病筛查量表所对应的筛查结果。

根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请实施例的第四方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述方法对应的操作。

根据本申请实施例提供的用于辅助疾病筛查的方案，一方面，与传统的采用纸质量表测量的筛查模式不同，本申请实施例的方案中，将筛查量表中的问题标准化为问答流程，通过对话系统与被筛查者进行语音交互。这对于视力不佳、使用智能设备进行手动操作经验不足、受教育水平有限、或者上了年纪的被筛查者尤其适用，大大降低了针对这部分被筛查者的操作负担。另一方面，在筛查过程中，与传统的将语音转换为文本，再基于文本进行语义理解不同，本申请实施例的方案着重考虑了被筛查者的各种情况，如地域口音的情况、年纪较大的被筛查者的发音情况等等，引入人工智能方法，综合回复语音数据和回复文本数据两方面进行多模态内容分析，进而基于该分析结果即回复内容数据和问题对应的标准回复数据，能够自动得到被筛选者对应的风险评估结果，从而实现了疾病的自动筛查。

由上，通过本申请实施例方案，无需受过专门培训的医务人员一对一执行疾病筛查，大大降低了筛查成本，提高了筛查效率；又因筛查可通过各种语音交互设备包括但不限于电话方式、APP语音方式、问答机器人方式，等等广泛存在于人们日常生活中的方式实现，因此，筛查可覆盖大部分的人群，且被接受程度较高，从而提高了筛查能力范围，且避免了人工筛查过程中可能产生的错误和偏差，进一步提高了筛查效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为适用本申请实施例的校验码生成方法的示例性系统的示意图；

图2A为根据本申请实施例一的一种用于辅助疾病筛查的方法的步骤流程图；

图2B为图2A所示实施例中的一种场景示例的示意图；

图3A为根据本申请实施例二的一种用于辅助疾病筛查的方法的步骤流程图；

图3B为图3A所示实施例中的一种语音交互过程示意图；

图3C为图3A所示实施例中的一种语音语义多模态意图模型的结构示意图；

图4为根据本申请实施例三的一种用于辅助疾病筛查的方法的步骤流程图；

图5为根据本申请实施例五的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图1示出了一种适用本申请实施例方案的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备，该用户设备具有语音交互功能。

云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于辅助疾病筛查。作为可选的示例，在一些实施例中，云服务端102可以被用于在获取到疾病筛查量表对应的问题语音数据后发送给用户设备106；然后，获取用户设备106反馈的针对问题语音数据的回复语音数据；进而，基于回复语音数据和回复文本数据获得回复内容数据；再基于回复内容数据和疾病筛查量表中各个问题对应的标准回复数据，获得相应的筛查结果。作为另一示例，在一些实施例中，云服务端102还可以被用于将疾病筛查量表中的问题文本数据转换为问题语音数据，并发送到用户设备106。

在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。

用户设备106可以包括具有语音交互功能的任何一个或多个用户设备。在一些实施例中，用户设备106可以接收云服务端102发送的问题语音数据，并向被筛查者播放；以及，接收被筛查者针对播放的问题语音数据的回复语音数据，并上传给云服务端102。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括传统电话设备、移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。

基于上述系统，本申请实施例提供了一种用于辅助疾病筛查方法，以下通过多个实施例进行说明。

实施例一

参照图2A，示出了根据本申请实施例一的一种用于辅助疾病筛查的方法的步骤流程图。

本实施例的用于辅助疾病筛查的方法包括以下步骤：

步骤S202：获取疾病筛查量表中的多个问题文本数据对应的问题语音数据，并通过问题语音数据与被筛查者进行语音交互。

疾病筛查量表是针对某疾病(如阿尔茨海默病等)设置的、能够较为客观地测试出被筛查者是否罹患该疾病，以及若罹患该疾病其程度如何的问卷数据，其包括问题和答案，通常呈现为问卷文本的形式。本申请实施例的一种方式中，可以将该疾病筛查量表中的多个问题文本数据转换为问题语音数据，从而实现该问题语音数据的获取。在另一种方式中，也可直接获取其它设备已转换完成的问题语音数据。

在获得了问题语音数据后，可逐个将问题语音数据发送至用户设备，以与被筛查者进行语音交互。即，用户设备播放该问题语音数据；然后被筛查者回复该问题语音数据；用户设备接收到被筛查者的回复后，生成对应的回复语音数据，并上传至云服务端；云服务端再向用户设备发送下一个问题语音数据。如此循环往复，从而实现云服务端通过问题语音数据与被筛查者的语音交互。

但不限于此，在获得了多个问题文本数据对应的多个问题语音数据后，云服务端也可将所有的问题语音数据一起下发给用户设备。在该种方式中，用户设备逐个播放问题语音数据，并接收被筛查者的回复，形成回复语音数据。一方面，用户设备会将每个回复语音数据实时上传给云服务端；另一方面，用户设备会判断被筛查者是否已回复完当前的问题语音数据对应的问题，并在确定已回复完后，再播放下一问题语音数据。如此循环往复，同样能够实现云服务端通过问题语音数据与被筛查者的语音交互。

步骤S204：获取被筛查者针对每个问题语音数据的回复语音数据，并将回复语音数据转换为回复文本数据。

在获得用户设备上传的回复语音数据后，可采用任意适当方式，包括但不限于ASR(Automatic Speech Recognition,自动语音识别技术)方式，将回复语音数据转换为回复文本数据。

步骤S206：基于回复语音数据和回复文本数据进行多模态内容分析，获得对应的回复内容数据。

传统的语音对话技术通常采用语音识别-语义理解两阶段级联的方式，首先通过语音识别技术将输入语音转成文本，再对转换后的文本进行理解。但在本申请方案的应用场景中，例如，阿尔茨海默病筛查的场景中，由于面对的人群通常是年纪较大的老人，这个群体的说话存在明显的口音、方言等发音特征，语音识别难度比较大，会存在较多的语音转换文本错误的情况，导致后续的筛查误差。为此，在本申请实施例中，采用基于语音语义的多模态理解方式，通过回复语音数据和回复文本数据，进行多模态数据融合，并基于融合后的数据进行内容分析，从而获得能够更准确地理解该类人群说话内容的回复内容数据，提高识别和分析的准确率。其中，内容分析不仅可分析出被筛查者回复的意图，还可分析出回复中的各项内容，如，回复中的日期信息、星期信息、各种名词、名称信息等。

步骤S208：基于回复内容数据与问题文本数据对应的标准回复数据，获取疾病筛查量表所对应的筛查结果。

对于疾病筛查量表来说，其中的每一个问题都对应有一个标准答案，即，每一个问题文本数据都对应有相应的标准回复数据。而对于被筛查者来说，其对第一个问题的回复(通过回复内容数据表征)都可能与标准答案(通过标准回复数据表征)相符或不相符，因此，基于每一个问题语音数据对应的回复内容数据和标准回复数据，即可评估被筛查者针对该问题语音数据对应的问题的答复是否正确或合理。进而，根据被筛查者对所有问题的回复情况，即可评估该被筛查者在该疾病筛查量表所对应的疾病方面是否存在风险以及存在风险时的风险程度，由此，获得该疾病筛查量表对应的筛查结果，实现该疾病筛查量表所要实现的疾病筛查。

以下，以一个简单场景示例，对上述过程进行示例性说明，如图2B所示。

图2B中，假设疾病筛查量表中存在三个问题，分别是：问题1“请问您多大年纪了”、问题2“今天的天气特别好，您能重复一下吗”、问题3“请说出今年的年份”。这三个问题将首先从文本形式转换为语音形式，即转换为语音问题数据1、语音问题数据2和语音问题数据3。云服务端或服务器将该3个语音问题数据都发送至用户设备，由用户设备逐个向被筛查者X语音播放。本示例，设定该用户设备为手机，云服务端通过通信网络呼叫被筛查者X的手机号码，被筛查者X通过接听该呼叫进行疾病筛查。

再假设，被筛查者X的手机首先进行相关疾病筛查的介绍，并确定被筛查者X愿意接受该疾病筛查问询后，向被筛查者X播放语音问题数据1，即“请问您多大年纪了”，此时，设定被筛查者X回复“我今年68”，该条回复语音数据将由手机上传至云服务端。再假设，因为口音问题，该条回复语音数据转换为的回复文本数据为“我今年陆十八”。若按照传统方式，基于该回复文本数据，可能认为被筛查者X未能有效回复该问题1。而根据本示例，“我今年68”的语音和“我今年陆十八”的文本将被一起输入一个机器学习模型，该机器学习模型能够进行语音语义多模态内容分析，其能够对带口音的语音数据进行有效识别。基于此，该机器学习模型可能会输出“年纪：68”的信息。基于该信息再与问题1对应的标准回复数据，如“年纪：50-100”，进行比较，可确定被筛查者X准确回答了问题1。

接着，被筛查者X的手机向被筛查者X播放语音问题数据2，即“今天的天气特别好，您能重复一下吗”。设定被筛查者X回复“好……特别好”，该条回复语音数据将由手机上传至云服务端。在云服务端，该条回复语音数据将被转换为对应的回复文本数据“好，特别好”。进而，“好……特别好”的语音和“好，特别好”的文本将被一起输入机器学习模型，由该机器学习模型进行语音语义多模态内容分析，其输出的回复内容数据可能为“好，特别好”。将该回复内容数据与问题2对应的标准回复数据，即“今天的天气特别好”进行比较，可确定被筛查者X未能准确回答问题2。

继而，被筛查者X的手机向被筛查者X播放语音问题数据3，即“请说出今年的年份”。设定被筛查者X回复“今年2019年…21…22年…”，该条回复语音数据将由手机上传至云服务端。在云服务端，该条回复语音数据将被转换为对应的回复文本数据“今年2019年，21，22年”。进而，“今年2019年…21…22年…”的语音和“今年2019年，21，22年”的文本将被一起输入机器学习模型，由该机器学习模型进行语音语义多模态内容分析，其输出的回复内容数据可能为“今年2019年，2021年，2022年”。将该回复内容数据与问题3对应的标准回复数据，即“今年是2022年”进行比较，可确定被筛查者X同时说出多个年份，未能准确回答问题3。

然后，基于被筛查者X对上述三个问题的回复，可认为其准确回答了问题1，但未能准确回复问题2和3，可能存在较大的该疾病筛查量表所要筛查的疾病如阿尔茨海默病的风险，可被划归为重点关注人群。在后续，可通过线下进一步确认和诊疗，对该被筛查者X进行疾病干预。

可见，通过本实施例，一方面，与传统的采用纸质量表测量的筛查模式不同，本实施例的方案中，将筛查量表中的问题标准化为问答流程，通过对话系统与被筛查者进行语音交互。这对于视力不佳、使用智能设备进行手动操作经验不足、受教育水平有限、或者上了年纪的被筛查者尤其适用，大大降低了针对这部分被筛查者的操作负担。另一方面，在筛查过程中，与传统的将语音转换为文本，再基于文本进行语义理解不同，本实施例的方案着重考虑了被筛查者的各种情况，如地域口音的情况、年纪较大的被筛查者的发音情况等等，引入人工智能方法，综合回复语音数据和回复文本数据两方面进行多模态内容分析，进而基于该分析结果即回复内容数据和问题对应的标准回复数据，能够自动得到被筛选者对应的风险评估结果，从而实现了疾病的自动筛查。

由上，通过本实施例方案，无需受过专门培训的医务人员一对一执行疾病筛查，大大降低了筛查成本，提高了筛查效率；又因筛查可通过各种语音交互设备包括但不限于电话方式、APP语音方式、问答机器人方式，等等广泛存在于人们日常生活中的方式实现，因此，筛查可覆盖大部分的人群，且被接受程度较高，从而提高了筛查能力范围，且避免了人工筛查过程中可能产生的错误和偏差，进一步提高了筛查效率。

实施例二

参照图3A，示出了根据本申请实施例二的一种用于辅助疾病筛查的方法的步骤流程图。

本实施例的用于辅助疾病筛查的方法包括以下步骤：

步骤S302：获取疾病筛查量表中的多个问题文本数据对应的问题语音数据，并通过问题语音数据与被筛查者进行语音交互。

本实施例中，以疾病筛查量表为用于进行阿尔茨海默病的筛查的筛查量表为示例，该筛查可主要针对50岁以上的人群。并且，本实施例中，设定由云服务端将问题文本数据转换为对应的问题语音数据，并采用在语音交互过程中，逐条将该疾病筛查量表中的问题语音数据下发给用户设备如手机等的方式。

步骤S304：获取被筛查者针对每个问题语音数据的回复语音数据，将回复语音数据转换为回复文本数据。

用户设备在接收到问题语音数据后，通过语音播报给被筛查者，被筛查者听到问题后不需要额外操作可以直接用语音回复，用户设备实时将回复语音流上传至云服务端。

但因针对的为50岁以上的人群，因此被筛查者可能存在诸如听力障碍或者理解不到位等各种情况。基于此，在一种可行方式中，获取被筛查者针对每个问题语音数据的回复语音数据可以实现为：针对每个问题语音数据，获取被筛查者的实时回复语音流；基于实时回复语音流，进行以下检测至少之一：被筛查者是否听清问题语音数据对应的问题的检测、被筛查者是否理解问题语音数据对应的问题内容的检测、被筛查者针对问题语音数据对应的问题的回复是否符合预设回复规则的检测。由此，可以使得方案能够更好地符合实际筛查场景，针对被筛查者提供足够的信息帮助，以助于获得更为准确的筛查结果。

其中：

被筛查者是否听清问题语音数据对应的问题的检测包括：若接收到被筛查者用于请求再次播放问题语音数据的语音请求，则确定被筛查者未听清问题语音数据。例如，在播放完语音问题数据后，接收到被筛查者发出的、诸如“我没有听清”、“你再说一遍”等语音数据，这部分语音数据在上传云服务端并经云服务端分析后，确定被筛查者是没有听清问题希望再播放一遍，则可认为这些语音数据即为请求再次播放问题语音数据的语音请求，基于此确定被筛查者未能听清问题语音数据。则云服务端将会指示用户设备再次播放该语音问题数据。通过该检测，可以有效照顾到听力不佳的人群的疾病筛查，为被筛查者提供更好的筛查服务，提升被筛查者的体验，并且，能够提升筛查准确率。

被筛查者是否理解问题语音数据对应的问题内容的检测包括：若接收到被筛查者用于请求澄清问题语音数据的问题内容的语音请求，或者，在预设时间范围内未接收到被筛查者的回复语音数据，则确定被筛查者未理解问题语音数据对应的问题内容。例如，在播放完语音问题数据后，接收到被筛查者发出的、诸如“这题是啥意思”、“没明白”等语音数据，这部分语音数据在上传云服务端并经云服务端分析后，确定被筛查者是没有明白问题的含义希望进行解释或澄清，则可认为这些语音数据即为请求澄清问题语音数据的问题内容的语音请求，基于此确定被筛查者未能理解问题内容。则云服务端会将针对该问题的解释数据发送给用户设备，并指示用户设备播放该解释数据。或者，在一个预设的时间段内(如10S)都未接收到被筛查者的任何回复语音，则也认为被筛查者未能理解问题内容，云服务端也会将针对该问题的解释数据发送给用户设备，并指示用户设备播放该解释数据。通过该检测，可以有效照顾到理解力不佳的人群的疾病筛查，为被筛查者提供更好的筛查服务，提升被筛查者的体验，并且，能够提升筛查准确率。

被筛查者针对问题语音数据对应的问题的回复是否符合预设回复规则的检测包括：检测被筛查者针对问题语音数据对应的问题的回复是否在预设的答案范围、或者是否一次回复多个答案。例如，当问题为有关被筛查人的年纪问题时，预设的答案范围为50-100，若被筛查者回复677，则认为回复不符合回复规则。再例如，当问题为有关当前年份的问题时，预设答案为一个，若被筛查者在一次回复中回答了多个答案，则认为不符合回复规则。通过该检测，可以有效筛查出可能存在疾病风险的人群，提升筛查效率和准确率。当然，以上仅为示例性说明，在实际应用中，回复规则不限于上述规则。

一种示例性的上述语音交互过程如图3B所示，用户设备基于问题语音数据，通过语音播报问题给被筛查者；被筛查者听到问题后直接用语音回复；用户设备实时将回复的语音流上传至云服务端。云服务端先基于语音识别技术将回复语音数据转换成回复文本数据；再通过内容理解对回复文本数据的内容进行分类，如图3B中所示，如果检测到被筛查者没有听清问题，则会指示用户设备再重复播报一遍问题；如果检测到被筛查者没有理解问题内容，则会将问题对应的解释内容发送给用户设备以使用户设备播报相应的解释内容，帮助被筛查者进一步理解题目；如果检测到被筛查者的回复不符合预设回复规则(比如询问年份时，回答多个年份值)，则会播报提醒，以使被筛查者进一步确认自己的回复。在确认一道问题回复完毕后，会自动进入下一道问题的播放和问答。

由此，可以照顾到绝大多数被筛查者的各种不同情况，为被筛查者提供更好的服务，也为后续筛查的准确性提供了依据。

步骤S306：基于回复语音数据和回复文本数据进行多模态内容分析，获得对应的回复内容数据。

通过前述的语音交互问答的过程，可以得到被筛选者对所有问题的回复语音数据及对应的回复文本数据，接下来可通过多模态内容分析完成对每一个问题回复的判断。

在一种可行方式中，可以分别对回复语音数据和回复文本数据进行编码，获得对应的语音表征向量和文本表征向量；对语音表征向量和所本表征向量进行特征融合，获得融合向量；基于融合向量进行内容识别，将获得的内容识别结果作为回复内容数据。通过特征融合的方式，可以使得语音数据所表征的信息和文本数据所表征的信息能够互为补充，以便于后续获得精准的回复内容数据。

可选地，上述过程可通过语音语义多模态内容模型实现，即：将回复语音数据和回复文本数据输入语音语义多模态内容模型，通过语音语义多模态内容模型进行多模态内容分析，获得对应的回复内容数据。

其中，一种示例性的语音语义多模态内容模型的结构如图3C所示，其包括：用于对回复语音数据进行编码、并输出语音表征向量的语音编码器；用于对回复文本数据进行编码、并输出文本表征向量的文本编码器；用于对语音表征向量和文本表征向量进行融合、并输出融合向量的多模态融合层；用于基于融合向量进行内容识别、并输出内容识别结果的任务层。

可见，该语音语义多模态内容模型的输入既包含转写回复文本数据又包含原始的回复语音数据，基于此，可以对回复文本数据和回复语音数据进行深度建模、融合，以更好地理解被筛查者想要表达的内容。在后续，再模型输出结果与问题对应的标签回复数据(即标准答案数据)进行匹配，判断被筛查者的回答是否正确，以此来进行筛查打分与评估。

具体地，语音语义多模态模型的目标是对原始的回复语音数据的语义进行理解，预测对应的语音的意图或进行语义匹配或识别语音中的实体、关键词等。如前所述，该语音语义多模态模型的输入包括回复文本数据和回复语音数据。进而，回复语音数据和回复文本数据分别通过SpeechEncoder(语音编码器)和TextEncoder(文本编码器)进行编码，得到对应的信息表征向量，即语音表征向量和文本表征向量。需要说明的是，文本编码器和语音编码器合在一起也可称为语音语义多模态模型的多模态编码层。接着，在得到语音表征向量和文本表征向量后，通过多模态融合层进行语音表征向量和文本表征向量的融合，以使这两个模态的特征进行相互补充。在特征融合后，可通过任务层，即可支持各种语义理解任务，如疾病筛查中的关键词识别等等。

由此，通过引入语音语义多模态模型，实现了基于人工智能技术的内容精准识别和任务完成，提高了疾病筛查的准确度和筛查效率。

此外，需要说明的是，虽然本实施例中，语音语义多模态模型示例性地用于对回复数据的内容理解。但在实际应用中，该模型还可被复用，以进行前述的对实时回复语音流的检测。此种情况下，语音语义多模态模型的任务层，还用于基于融合向量检测被筛查者是否听清问题语音数据对应的问题；或者，检测被筛查者是否理解问题语音数据对应的问题内容；或者，检测被筛查者针对问题语音数据对应的问题的回复是否符合预设回复规则。在执行这些检测任务时，该模型的输入仍然是回复语音数据和回复文本数据，但可将其任务层设置为可执行多任务，除上述内容理解任务外，为其设置相应的分类功能，如，是否听清问题的分类功能、是否理解问题内容的分类功能和回复是否符合预设回复规则的分类功能等，从而实现该模型在语音交互阶段的复用，提高模型复用效率，降低疾病筛查成本。当然，上述语音交互过程中的检测任务也可通过单独的多任务检测模型实现，其同样在本申请实施例的保护范围内。

步骤S308：基于回复内容数据与问题文本数据对应的标准回复数据，获取疾病筛查量表所对应的筛查结果。

在获得回复内容数据之后，将其与对应的标准回复数据进行比较，即可获得被筛查者针对每一个问题的具体回复结果，如回复得分。

步骤S310：根据筛查结果和疾病筛查风险阈值，生成被筛查者对应的风险提示。

例如，在获得了获得被筛查者针对每一个问题的回复得分后，可以根据疾病筛查风险阈值(每一种疾病筛查在医学上都有界定其风险的阈值)将被筛查者可能罹患该疾病的风险等级划分为高风险、中风险、低风险。也即，每一位被筛查者在回答完所有问题之后，即可为该筛查者生成相应的风险提示，以使该筛查者立即可以知道自己的疾病风险等级。

又因在实际应用中，不同地理区域中的疾病筛查要素(用于表征疾病筛查能力和历史情况，如医疗条件、历史患病人口比例等)不同，因此，在一种可行方式中，还可以根据预设地理区域内的疾病筛查要素，对标准筛查阈值进行调整，获得疾病筛查风险阈值；基于疾病筛查风险阈值和进行疾病筛查量表所对应的筛查结果，生成被筛查者对应的风险提示。其中，具体调整的方式和数值量，以及提示方式均可由本领域技术人员根据实际情况适当设置，本申请实施例对此不作限制。

通过本实施例，一方面，与传统的采用纸质量表测量的筛查模式不同，本实施例的方案中，将筛查量表中的问题标准化为问答流程，通过对话系统与被筛查者进行语音交互。这对于视力不佳、使用智能设备进行手动操作经验不足、受教育水平有限、或者上了年纪的被筛查者尤其适用，大大降低了针对这部分被筛查者的操作负担。另一方面，在筛查过程中，与传统的将语音转换为文本，再基于文本进行语义理解不同，本实施例的方案着重考虑了被筛查者的各种情况，如地域口音的情况、年纪较大的被筛查者的发音情况等等，引入人工智能方法，综合回复语音数据和回复文本数据两方面进行多模态内容分析，进而基于该分析结果即回复内容数据和问题对应的标准回复数据，能够自动得到被筛选者对应的风险评估结果，从而实现了疾病的自动筛查。

由上，通过本实施例方案，无需受过专门培训的医务人员一对一执行疾病筛查，大大降低了筛查成本，提高了筛查效率；又因筛查可通过各种语音交互设备包括但不限于电话方式、APP语音方式、问答机器人方式，等等广泛存在于人们日常生活中的方式实现，因此，筛查可覆盖大部分的人群，且被接受程度较高，从而提高了筛查能力范围，且避免了人工筛查过程中可能产生的错误和偏差，进一步提高了筛查效率。

实施例三

本实施例从用户设备的角度，对本申请实施例提供的用于辅助疾病筛查的方法进行说明。参照图4，示出了该用于辅助疾病筛查的方法的步骤流程，其包括：

步骤S402：通过语音向被筛查者依次播放疾病筛查量表对应的多个问题语音数据。

其中，多个问题语音数据为对疾病筛查量表中的多个问题文本数据进行语音转换得到。需要说明的是，该多个问题语音数据可以是由云服务端将多个问题文本数据转换为对应的语音数据后，然后发送给用户设备；也可以是云服务端将多个问题文本数据发送给用户设备后，由用户设备自动转换为问题语音数据。

用户设备在获得多个问题语音数据后，会按照多个问题语音数据的顺序，依次向被筛查者语音播放。在实际应用中，会先播放完一下，等待被筛查者回复，在该过程中可能还会有交互，如被筛查者要求澄清问题等的交互，直至确认被筛查者回复完当前问题，或者确定被筛查者无法回复当前问题后，再进行下一问题的播放。

步骤S404：接收被筛查者针对每个问题语音数据的回复语音数据，并将回复语音数据上传至云服务端；或者，将回复语音数据及回复语音数据转换后的回复文本数据上传云服务端。

用户设备在接收到被筛查者的回复语音数据后，可以直接将其上传至云服务端，由云服务端进行语音到文本的转换；或者，也可以由用户设备在本地将回复语音数据转换为回复文本数据后，再上传至云服务端，由云服务端进行后续处理。

步骤S406：接收云服务端返回的筛查结果。

其中，筛查结果由云服务端基于回复语音数据和对应的回复文本数据进行多模态内容分析后，获得回复内容数据，基于回复内容数据与多个问题文本数据对应的标准回复数据获得筛查结果。

上述云服务端获得筛查结果的具体实现可参照前述实施例一和二中相关部分的描述，在此不再赘述。云服务端在确定了筛查结果后，还可将该筛查结果发送给用户设备，通过用户设备通知被筛查者。

本申请实施例中，用户设备可以为智能用户设备，如智能手机、智能音箱等等，但传统的、不具智能功能的电话设备也同样可适用本申请实施例的方案。若用户设备为传统电话设备，则方案中将语音转换为文本，和将文本转换为语音的功能均由云服务端实现，用户设备主要用于通过语音与被筛查者交互。

通过本实施例，可以使用任意的具有语音交互功能的用户设备，协助云服务端实现相关疾病的辅助筛查，方便被筛查者尤其是年纪较大的被筛查者使用，提高疾病筛查效率，提升被筛查者的筛查体验。

实施例四

本实施例结合用户设备和云服务端，从一个用于辅助疾病筛查的完整系统角度，对本申请实施例的方案进行说明。

再次参照图1，该系统包括云服务端102和用户设备106。

其中：

用户设备106，用于接收云服务端102下发的问题语音数据，或者，将云服务端102下发的问题文本数据转换为问题语音数据，并通过语音向被筛查者播放问题语音数据，其中，问题语音数据及问题文本数据均为用于疾病筛查的疾病筛查量表对应的数据；以及，用户设备106，用于接收被筛查者针对每个问题语音数据的回复语音数据，将回复语音数据，或者，将回复语音数据转换为回复文本数据后上传给云服务端102。

云服务端102，用于基于回复语音数据和对应的回复文本数据进行多模态内容分析，获得对应的回复内容数据；基于回复内容数据与问题文本数据对应的标准回复数据，获取疾病筛查量表所对应的筛查结果，并下发给用户设备106。

用户设备106，还用于向被筛查者通知筛查结果，如，通过语音播报的形式等。

上述用户设备106和云服务端102中的各个操作的具体实现可分别参照前述实施例一至三中相关部分的描述，在此不再赘述。

通过本实施例的用于辅助疾病筛查的系统，可以提高疾病筛查效率，提升被筛查者的筛查体验。

实施例五

参照图5，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图5所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。

其中：

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于与其它电子设备或服务器进行通信。

处理器502，用于执行程序510，具体可以执行上述用于辅助疾病筛查的方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行前述多个方法实施例中任一实施例所描述的用于辅助疾病筛查的方法对应的操作。

程序510中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一用于辅助疾病筛查的方法对应的操作。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (12)

1.一种用于辅助疾病筛查的方法，包括：

获取疾病筛查量表中的多个问题文本数据对应的问题语音数据，并通过所述问题语音数据与被筛查者进行语音交互；

获取所述被筛查者针对每个所述问题语音数据的回复语音数据，并将所述回复语音数据转换为回复文本数据；

基于所述回复语音数据和所述回复文本数据进行多模态内容分析，获得对应的回复内容数据；

基于所述回复内容数据与所述问题文本数据对应的标准回复数据，获取所述疾病筛查量表所对应的筛查结果。

2.根据权利要求1所述的方法，其中，所述基于所述回复语音数据和所述回复文本数据进行多模态内容分析，获得对应的回复内容数据，包括：

分别对所述回复语音数据和所述回复文本数据进行编码，获得对应的语音表征向量和文本表征向量；

对所述语音表征向量和所述文本表征向量进行特征融合，获得融合向量；

基于所述融合向量进行内容识别，将获得的内容识别结果作为回复内容数据。

3.根据权利要求1或2所述的方法，其中，所述获取所述被筛查者针对每个所述问题语音数据的回复语音数据，包括：

针对每个所述问题语音数据，获取所述被筛查者的实时回复语音流；

基于所述实时回复语音流，进行以下检测至少之一：所述被筛查者是否听清所述问题语音数据对应的问题的检测、所述被筛查者是否理解所述问题语音数据对应的问题内容的检测、所述被筛查者针对所述问题语音数据对应的问题的回复是否符合预设回复规则的检测。

4.根据权利要求3所述的方法，其中，

所述被筛查者是否听清所述问题语音数据对应的问题的检测，包括：若接收到所述被筛查者用于请求再次播放所述问题语音数据的语音请求，则确定所述被筛查者未听清所述问题语音数据；

所述被筛查者是否理解所述问题语音数据对应的问题内容的检测，包括：若接收到所述被筛查者用于请求澄清所述问题语音数据的问题内容的语音请求，或者，在预设时间范围内未接收到所述被筛查者的回复语音数据，则确定所述被筛查者未理解所述问题语音数据对应的问题内容；

所述被筛查者针对所述问题语音数据对应的问题的回复是否符合预设回复规则的检测，包括：检测所述被筛查者针对所述问题语音数据对应的问题的回复是否在预设的答案范围、或者是否一次回复多个答案。

5.根据权利要求1所述的方法，其中，所述基于所述回复语音数据和所述回复文本数据进行多模态内容分析，获得对应的回复内容数据，包括：

将所述回复语音数据和所述回复文本数据输入语音语义多模态内容模型，通过所述语音语义多模态内容模型进行多模态内容分析，获得对应的回复内容数据；

其中，所述语音语义多模态内容模型包括：用于对所述回复语音数据进行编码、并输出语音表征向量的语音编码器；用于对所述回复文本数据进行编码、并输出文本表征向量的文本编码器；用于对所述语音表征向量和所述文本表征向量进行融合、并输出融合向量的多模态融合层；用于基于所述融合向量进行内容识别、并输出内容识别结果的任务层。

6.根据权利要求5所述的方法，其中，所述任务层，还用于基于所述融合向量检测所述被筛查者是否听清所述问题语音数据对应的问题；或者，检测所述被筛查者是否理解所述问题语音数据对应的问题内容；或者，检测所述被筛查者针对所述问题语音数据对应的问题的回复是否符合预设回复规则。

7.根据权利要求1所述的方法，其中，所述方法还包括：

根据预设地理区域内的疾病筛查要素，对标准筛查阈值进行调整，获得疾病筛查风险阈值；

基于所述疾病筛查风险阈值和进行所述疾病筛查量表所对应的筛查结果，生成所述被筛查者对应的风险提示。

8.一种用于辅助疾病筛查的方法，包括：

通过语音向被筛查者依次播放疾病筛查量表对应的多个问题语音数据，其中，所述多个问题语音数据为对所述疾病筛查量表中的多个问题文本数据进行语音转换得到；

接收所述被筛查者针对每个问题语音数据的回复语音数据，并将所述回复语音数据上传至云服务端；或者，将所述回复语音数据及所述回复语音数据转换后的回复文本数据上传云服务端；

接收所述云服务端返回的筛查结果，其中，所述筛查结果由所述云服务端基于所述回复语音数据和对应的回复文本数据进行多模态内容分析后，获得回复内容数据，基于所述回复内容数据与所述多个问题文本数据对应的标准回复数据获得筛查结果。

9.一种用于辅助疾病筛查的系统，包括：云服务端和用户设备；

其中，

所述用户设备，用于接收所述云服务端下发的问题语音数据，或者，将所述云服务端下发的问题文本数据转换为所述问题语音数据，并通过语音向被筛查者播放所述问题语音数据，其中，所述问题语音数据及所述问题文本数据均为用于疾病筛查的疾病筛查量表对应的数据；以及，接收所述被筛查者针对每个问题语音数据的回复语音数据，将所述回复语音数据，或者，将所述回复语音数据转换为回复文本数据后上传给所述云服务端；

所述云服务端，用于基于所述回复语音数据和对应的回复文本数据进行多模态内容分析，获得对应的回复内容数据；基于所述回复内容数据与所述问题文本数据对应的标准回复数据，获取所述疾病筛查量表所对应的筛查结果，并下发给所述用户设备；

所述用户设备，还用于向所述被筛查者通知所述筛查结果。

10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的方法对应的操作。

11.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

12.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-8中任一所述方法对应的操作。

Images