CN111183488A - 医疗查询应答设备 - Google Patents
医疗查询应答设备 Download PDFInfo
- Publication number
- CN111183488A CN111183488A CN201880065495.2A CN201880065495A CN111183488A CN 111183488 A CN111183488 A CN 111183488A CN 201880065495 A CN201880065495 A CN 201880065495A CN 111183488 A CN111183488 A CN 111183488A
- Authority
- CN
- China
- Prior art keywords
- user
- response
- query
- medical
- voice command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims abstract description 101
- 239000003814 drug Substances 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000005236 sound signal Effects 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 5
- 230000009118 appropriate response Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 229940079593 drug Drugs 0.000 description 57
- 238000012545 processing Methods 0.000 description 11
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000011022 operating instruction Methods 0.000 description 6
- 238000002483 medication Methods 0.000 description 4
- 239000013078 crystal Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及响应于查询而提供医疗信息，特别地但非排他地，涉及一种使用语音识别来查询医疗数据库的方法。根据一个实施方案，提供了一种医疗查询应答设备，其被配置为将检测到的音频信号转换成自然语言数据流；根据所述自然语言数据流确定用户是否已发出针对与医疗装置或药剂有关的信息的语音命令；响应于肯定的确定，将所述自然语言数据流的至少一部分转换成用于查询医疗数据库的查询；将所述查询供应给所述医疗数据库并从中接收响应；以及至少部分地基于来自所述医疗数据库的所述响应提供音频输出。
Description
技术领域
本申请涉及响应于查询而提供医疗信息，特别地但非排他地，涉及一种使用语音识别来查询医疗数据库的方法。
背景技术
患者信息活页(PIL)或包装插页通常提供有许可药物，以告知药物用户如何服用药物、药物的潜在副作用以及药物可能与其他用药或先前存在的医疗状况的相互作用，并提供任何其他被认为对用户有用的信息。
发明内容
根据本发明的一个方面，提供了一种提供医疗信息的方法，其包括：将检测到的音频信号转换成自然语言数据流；根据所述自然语言数据流确定用户是否已发出针对与医疗装置或药剂有关的信息的语音命令；响应于肯定的确定，将所述自然语言数据流的至少一部分转换成用于查询医疗数据库的查询；将所述查询供应给所述医疗数据库并从中接收响应；以及至少部分地基于来自所述医疗数据库的所述响应提供音频输出。这允许用户请求并被提供有与他们的用药或医疗装置有关的信息。
所述方法还可包括将所述查询传输至包括所述医疗数据库的数据服务器，所述数据服务器远离所述用户定位。这允许查询大型医疗数据库以确定响应。它还允许医疗数据库保持最新状态，而无需用户下载更新。
所述方法还可包括确定所述医疗数据库中是否存在对所述查询的适当响应；以及在否定确定的情况下，将所述查询传输至辅助查询应答设施。将所述查询传输至辅助查询应答设施可以允许对在医疗数据库中没有应答的查询进行响应。
所述方法可包括：接收来自所述辅助查询应答设施的新响应；以及至少部分地基于来自所述辅助查询应答设施的所述新响应提供音频输出。这允许对在医疗数据库中没有应答的查询进行响应。
可选地，所述新响应以文本格式在所述辅助查询应答设施处生成，并且所述音频输出是使用文本转语音过程从所述新响应创建的。
所述方法还可包括：将所述新响应传输至所述医疗数据库；以及将所述新响应和与所述查询有关的元数据一起存储在所述医疗数据库中。这是一种提供来自辅助医疗应答的响应的直接方法。
所述响应可包括视频数据并且所述方法还包括：将所述响应传输至显示装置；以及至少部分地基于所述响应中的所述视频数据在所述显示装置上提供视频输出。将视频数据作为所述响应的一部分提供可以允许提供对查询的更详细的应答，特别是在提供针对如何使用医疗装置或药剂的说明时。
所述方法还可包括：确定用户身份；使用所述用户身份检索来自用户数据库的用户数据；以及至少部分地基于所述用户数据来修改所述音频输出。这允许为供应查询的用户定制查询响应。特别地，它可以允许用户被告知与用户正在服用的药剂之间的相互作用。
为了提高安全性，所述方法还可包括在检索来自所述用户数据库的所述用户数据之前验证所述用户身份。
所述方法还可包括：创建所述查询的日志，所述日志包括所述用户身份、所述查询的标识符以及所提供的响应的标识符；以及将所述日志存储在所述医疗数据库中。这可以提供已向特定用户供应了哪些信息的记录。
所述确定用户是否已发出所述语音命令可包括：在所述自然语言数据流中识别一个或多个潜在语音命令；计算针对所识别的潜在语音命令中的每一者的置信级；基于所计算的置信级选择潜在语音命令；将所选语音命令的置信级与预定义的阈值置信级进行比较；以及在所选语音命令的置信级高于所述预定义的阈值置信度的情况下，做出存在所选语音命令的肯定确定。在确定是否存在语音命令时使用置信级可以帮助防止错误地识别查询。
所述方法还可包括：向用户提供重复语音命令的请求，其中已经做出存在多于一个所选语音命令的肯定确定。这可以防止响应于查询而供应不正确的信息。
查询可为从预定的允许查询列表中选择的。这可导致更准确的查询确定。
根据本公开文本的一个方面，提供了一种设备，其包括处理器；和存储器，所述存储器包括计算机程序代码，当由所述至少一个处理器执行时，所述计算机程序代码使得所述设备执行上述任一方面的方法。
根据本公开文本的一个方面，提供了一种用于执行上述任一方面的方法的系统，所述系统包括：扬声器；传声器；处理器组件；和医疗数据库。
参考下文描述的实施方案，这些和其他方面将变得清楚并得以阐明。
附图说明
现在将参考附图仅通过举例的方式描述实施方案，其中：
图1是根据第一实施方案的一种交互式医疗查询系统的概图；
图2是根据第一实施方案的系统的医疗查询应答设备的电子系统的示意性表示；
图3是一种响应于查询而提供医疗信息的方法的流程图；并且
图4是示出交互式医疗查询系统的进一步功能的概图。
具体实施方式
实施方案提供了一种用于应答与医疗信息有关的用户查询，特别是与用药和/或医疗装置有关的用户查询，的系统和方法。
关于图1，示出了根据第一实施方案的交互式医疗查询系统的概图。关于图2，示出了根据第一实施方案的设备的电子系统的示意性表示。在以“智能扬声器”形式示出的实施例中，提供了医疗查询应答设备10，用户可以使用语音命令与之交互。
如果用药用户12不能完全读取PIL，则可能使得用药用户12缺乏关于药物的信息或不确定如何正确地给药。此外，即使用户确实完全读取了PIL，他或她也可能会有关于用药的进一步查询。验证用户是否已被告知PIL内容也对制造商有用。
此外，用户12可能无法完全读取医疗装置的说明，这在使用装置时可能导致用户错误。即使完全读取，用户也可能有关于装置的进一步查询，例如关于故障排除的查询。
设备10包括用于接收音频信号的传声器14。传声器14包括用于将声音转换成电子音频信号的换能器，所述电子音频信号然后可以被处理。
设备还包括处理器组件38，所述处理器组件被配置为对由传声器14接收的音频信号进行语音识别。当传声器14接收到音频信号时，处理器组件38可以将音频信号转换成自然语言流，然后进一步处理自然语言流以确定在音频信号中是否存在语音命令。所述语音命令可包括预定义命令，诸如针对装置的激活命令或预定义查询，或者关于用药、用药施用、医疗装置、个人用药历史或到期日期的问题。
设备还包括用于以声音的形式将音频信号传输至用户12的扬声器14。扬声器14的取向可以支持空间自然声音渲染。
在设备上还设置了网络接口50，以将设备连接至网络。网络接口50可以例如由以下中的一者或多者设置：Wi-Fi接口；以太网接口；蓝牙收发器；和/或USB接口。10可以经由网络接口设备50连接至局域网(LAN)和/或互联网，从而允许其与网络的其他构件交换数据。设备还可以使用例如蓝牙连接，使用网络接口直接与附加装置连接。
设备可包括显示器18。可选地，显示器18具有触摸屏功能。显示器18可提供设备状态的视觉指示，诸如设备所处的模式、电池状态和/或是否连接了电源。显示器18还可用于将消息传达给用户。显示器18可呈液晶显示器(LCD)、发光二极管(LED)或有机发光二极管(OLED)屏幕或类似物的形式。
设备还可包括投影仪20，以向用户投射信息和/或说明，例如，可以将新消息投射至设备附近的墙壁之上。因此，设备可以包含可调节的投影仪20，在一些实施方案中，其呈LED投影仪的形式。在一些实施方案中，投影仪20可以替换外部显示装置22，以显示提供说明或信息的视频剪辑。
在一些实施方案中，显示器18可包括触摸屏功能，从而允许显示器18接收用户输入。触摸屏功能可以用于支持安装和故障排除程序。可替代地或附加地，显示器18可以在所述显示器附近伴有一个或多个按钮或按键，从而允许用户例如通过在显示器18上的菜单和选项的集合中导航光标来与设备交互。还可以设置用于与设备交互的遥控器。
设备可包括运动传感器24。运动传感器24可以以红外传感器、超声传感器的形式设置，或者可以与传声器14集成在一起。运动传感器24可以允许装置在附近检测到运动(诸如，用户12在设备所位于的房间中的运动)时做出反应，例如通过从待机模式“醒来”并开始收听语音命令。此外，运动传感器24对运动的检测可以用作设备向用户提供与用药有关的语音提醒的触发。此类提醒可包括将要服用一剂用药的提醒。
在一些实施方案中，设备10可包括RFID读取器25，或更一般地，包括近场通信收发器。然后，设备10可以读取RFID标签。读取器25可以可替代地或附加地包括QR码读取器、条形码读取器或其他光学码读取器。读取器25可以允许对用户正在使用的用药进行登记。这可以提供与用户的用药库存有关的信息，诸如已向用户提供的用药量或用药批号。
可以以多种形式设置设备，包括但不限于：智能扬声器；移动装置，诸如运行应用程序的智能手机或平板电脑；笔记本电脑；或个人计算机。在一些实施方案中，它可以被设置为分布在整个地点间和/或与地点中的其他用户装置集成在一起的单独部件的集合。
经由网络接口设备50连接至包括医疗数据库的数据服务器1 26。通过该连接，设备可以与数据服务器26以双向方式共享数据。数据服务器26可以远离设备10定位，例如位于由药品供应商或装置制造商控制的数据中心处。可替代地，数据中心26可以是诸如“云”的分布式计算机系统的一部分。在一些实施方案中，数据服务器26可以位于同一局域网上的设备本地。
医疗数据库包含对医疗查询(诸如，与用药和/或医疗装置有关的查询)的预定义响应。在一些实施方案中，它还可包含与系统的一个或多个用户有关的个人医疗细节，例如用户当前正在服用的用药列表以及任何过去或当前的医疗状况。这可以允许为与查询有关的特定用户定制对用户查询的响应。
__________________________
在一些实施方案中，网络接口还可以用于连接至与设备相同的局域网上的附加装置。附加装置的实施例包括显示装置22(诸如，电视或平板电脑)、附加扬声器28和传声器30和/或投影仪32或医疗装置34。
在一些实施方案中，网络接口可包括电话接口。这可以允许设备10根据来自用户12的语音请求来拨打紧急号码或热线电话。在一些实施方案中，来自经由网络接口设备50连接至的医疗装置34的数据可以充当拨打紧急号码或热线电话的触发。例如，如果检测到诸如血糖水平之类的医疗装置读数为临界，则设备10可以从用户12请求响应。在没有响应的情况下，设备10可以自动拨打热线电话以请求对用户12的帮助。
数据服务器26还由连接至既包括数据服务器26又包括设备10的网络的辅助查询应答设施36(诸如，联络中心)支持。辅助查询应答设施36可以与数据服务器26和设备10两者通信。辅助查询应答设施36可以由人工代理来人工操作，人工代理可以在没有找到对查询的适当响应时将附加的查询响应手动地添加至医疗数据库，并且可以将新响应附加地传输至设备10。
如图2最佳看到的，电子系统包括处理器组件38。处理器组件38和其他硬件部件可以经由系统总线(未示出)连接。每个硬件部件可以直接或经由接口连接到系统总线。电源40被布置为向电子系统提供电力。在一些实施方案中，还可以设置电池以使得能够使用设备而无需与市电电源的电源连接。所述电池可以是可再充电的。
处理器组件38控制电子系统的其他硬件部件的操作。处理器组件38可以是任何类型的集成电路。处理器组件38可以例如是通用处理器。所述通用处理器可以是单核装置或多核装置。处理器组件38可以是中央处理单元(CPU)或通用处理单元(GPU)。可替代地，处理器组件可以是更专业的单元，例如RISC处理器或具有嵌入式固件的可编程硬件。可包括多个处理器。处理器组件38可以称为处理装置。
电子系统包括工作的或易失性存储器42。处理器组件38可以访问易失性存储器42以便处理数据，并且可以控制存储器中的数据存储。易失性存储器42可以是任何类型的RAM，例如静态RAM(SRAM)、动态RAM(DRAM)，或者易失性存储器可以是闪存，诸如SD卡。可包括多个易失性存储器，但是在图中被省略掉。
电子系统包括非易失性存储器44。非易失性存储器44存储用于控制处理器组件38的正常操作的一组操作指令46。非易失性存储器44可以是任何类型的存储器，如只读存储器(ROM)、闪存或磁驱动存储器。可包括其他非易失性存储器，但是在图中被省略掉。
处理器组件38在操作指令46的控制下操作。操作指令46可包括与电子系统的硬件部件有关的代码(即驱动器)、以及与设备的基本操作有关的代码。操作指令46还可以使得激活存储在非易失性存储器44中的一个或多个软件模块。一般而言，处理器组件38执行永久地或半永久地存储在非易失性存储器44中的操作指令36中的一个或多个指令，使用易失性存储器42来临时存储在执行操作指令46期间生成的数据。
处理器组件38、易失性存储器42和非易失性存储器44可被设置为由片外总线连接的单独集成电路芯片，或者它们可被设置在单个集成电路芯片上。处理器组件38、易失性存储器42和非易失性存储器44可被设置为微控制器。
电子系统包括时钟48。时钟48可为时钟晶体，例如石英晶体振荡器。时钟48可以是被配置为向处理器组件提供时钟信号的、与处理器组件38分离的部件。处理器组件可被配置为基于来自时钟48的信号提供实时时钟。可替代地，时钟48可为时钟晶体，其与处理器组件38一起设置在单个集成电路芯片上。其他可能性包括通过互联网连接进行的无线电控制的时钟或时间调整。
电子系统包括一个或多个网络接口50。网络接口50促进设备至一个或多个计算机网络的连接以及设备与所述网络的其他构件之间的双向信息交换。
这些网络可包括互联网、局域网或设备与数据中心和/或联络中心进行通信所需的任何其他网络。网络接口50包括网络接口控制器，诸如以太网适配器、Wi-Fi适配器和/或蓝牙适配器。网络接口50与一个或多个网络地址相关联，以识别网络上的设备。所述一个或多个网络地址可以呈IP地址、MAC地址和/或IPX地址的形式。
电子系统包括传声器14。可以操作传声器14接收呈声音形式的输入，并且将所述声音转换成能够在数字域中被处理的电子音频信号。
处理器组件38被配置为将由传声器14检测到的任何音频信号转换成自然语言数据流。处理器组件38可以执行语音转文本算法，以便将音频信号转换成自然语言流。此类算法可包括隐马尔可夫模型、动态时间规整或神经网络。处理器组件38还被配置为分析自然语言数据流，以便确定在自然语言数据流中是否存在语音命令。处理组件38可以通过识别自然语言数据流中的潜在语音命令并向每个潜在语音命令分配置信级来实现这一点。
处理器组件38还被配置为至少部分地基于设备从医疗数据库26接收的响应来创建音频输出。这可能涉及对响应进行解码或解压缩。
电子系统也包括扬声器16。扬声器是音频换能器的实施例。可以操作扬声器16提供呈语音或更一般地任何声音形式的音频输出。处理器组件38基于从医疗数据库26接收的响应和/或基于处理组件的操作指令46中存在的状况来操作扬声器16以提供音频输出。
电子系统可包括显示驱动器52。显示驱动器52可以作为单独的集成电路芯片提供给通过片外总线连接的处理器组件38。可替代地，显示驱动器52可以与处理器组件38一起设置在单个集成电路芯片上。
电子系统可包括用户界面的显示器18。显示器18可以由处理组件38经由显示驱动器操作，以向用户提供一个或多个视觉通知。显示器18可以提供设备状态的视觉指示，诸如设备处于哪种模式、电池状态和/或是否连接了电源。在一些实施方案中，显示器18呈触摸屏显示器的形式。
处理器组件38可以检查封装组装件中包括的一个或多个电池(未示出)的荷电状态。如果确定荷电状态低，则可以操作显示器示出电池低电量警告。
电子系统还可包括运动传感器24。运动传感器24可以是专用运动感测装置(诸如，红外检测器或超声检测器)，或者可以与传声器集成在一起。处理组件38监测运动传感器24，以获取指示已经检测到该运动的信号。此类信号可用于将设备从待机模式中唤醒并使设备进入收听状态。所述信号还可以充当处理组件控制扬声器16向用户12输出提醒的触发，诸如用户将要服用一剂药物的提醒。
在一些实施方案中，设备中的处理器组件38可能没有强大到足以执行上述功能中的一个或多个功能。相反，处理组件38被配置为经由网络接口50与具有更多可用计算能力的附加计算机系统进行通信。处理器组件38可以将数据从设备传输至附加计算机系统，在此处可以使用附加计算机系统的附加计算能力对其进行处理。附加计算机系统可以将该处理的结果返回至处理器组件38以进行进一步的处理。附加计算系统可以例如是远程计算机系统、分布式计算机系统或数据中心的一部分。
电子系统可包括有线(非无线)数据接口54。有线数据接口54提供了用于与外部装置进行有线连接的装置。外部装置可包括例如医疗装置或个人计算机，诸如膝上型计算机、台式计算机、平板计算机等。在一些实施方案中，设备10中的电池可以经由数据接口54充电。有线数据接口54可以呈通用串行总线(USB)端口的形式，例如，微型USB或USB-C端口。
关于图3，示出了根据一个实施方案的一种提供医疗信息的方法的流程图。所述方法由医疗查询系统执行，例如关于图1描述的系统。在其默认状态下(称为收听状态56)，设备10监测经由系统中存在的一个或多个传声器14输入的音频信号，以收听任何潜在语音命令。在一些实施方案中，默认状态可以替代地是待机状态，在该状态中设备10没有主动收听语音命令并且处于低电力模式，其中收听状态56仅在检测到触发后(诸如，如果运动传感器24在系统中的传声器附近检测到运动的话)才被激活。
使用例如语音转文本算法将经由传声器14输入至系统中的音频信号转换成自然语言数据流。然后分析自然语言数据流以确定输入的音频信号是否包括来自用户12的语音命令58。识别音频流中的潜在语音命令，并各自分配一个置信度得分。置信度得分可以是例如基于潜在语音命令与预定语音命令的匹配程度。置信度得分用于选择潜在语音命令中的一个或多个以进行进一步分析。如果存在的一个或多个所选语音命令的置信级高于某个阈值置信级，则在音频流中识别该语音命令。通常，具有高于阈值置信级的最高置信度得分的语音命令被确定为自然语言数据流中存在的语音命令。但是，以高于阈值的类似置信度得分识别了音频流中的多个语音命令的情况下，系统可指示用户经由用户附近的扬声器重复语音命令。然后，系统返回至收听状态。
如果确定不存在语音命令，则系统返回至收听状态56。
如果确定语音命令存在于自然语言流中，系统尝试将自然语言流的至少一部分转换成针对医疗数据库26的查询60。还可以确定针对以这种方式生成的查询的置信级。例如，可以从预定义的允许查询列表中选择查询，其中置信级是根据自然语言流与预定义查询的匹配程度来确定的。以这种方式，系统从语音命令62生成查询。
如果该置信级降至预定阈值置信度之下，则系统经由输入了音频信号的传声器14附近的扬声器指示用户12重复命令64。然后，系统返回至收听状态56。
如果置信级高于预定阈值置信度，则将生成的查询传输66至数据服务器26。数据服务器26使用生成的查询来查询医疗数据库68，以确定对由用户12输入的语音命令的响应。如果在数据库中存在对查询的响应，则将响应传输70回到用户本地的系统部分，诸如关于图1和图2描述的医疗查询应答设备10。
系统使用确定的响应来提供音频输出72，所述音频输出可以经由系统中的扬声器16传达给用户12。音频输出72至少部分地根据从医疗数据库接收的对查询的响应来确定，并且可选地还根据存储在系统中的附加用户信息来确定。此类附加信息可以例如包括与用户身份、用户病史或用户用药方案有关的信息。在一些实施方案中，使用文本转语音算法从响应生成音频输出72。
在一些实施方案中，响应可以包含视频数据。如果响应中存在视频数据，则可以向用户提供将视频数据74或视频数据的一部分流出至连接至系统的能够进行视频回放的显示装置的选项。显示装置还可以提供与从响应导出的视频相关联的音频输出。当查询与医疗装置的使用有关时，或者在用户首次使用医疗装置时，向显示装置提供视频流可能特别有用。在医疗查询应答设备上设置了显示器的实施方案中，视频数据可以被呈现在设备显示器上。在设备包括LED投影仪的实施方案中，视频数据可被投射至设备附近的墙壁或屏幕之上。
如果在医疗数据库2中未找到对查询的响应，则系统可以将查询76传输至辅助查询应答设施36，诸如联络中心。例如，可以通过在医疗数据库处自动创建包含查询的电子邮件，然后将电子邮件发送至联络中心来进行传输。在联络中心处，联络中心代理可以读取查询并手动将对查询的新响应78输入至系统中。典型地，该新生成的响应将由代理经由键盘以文本格式输入，尽管可替代地也可以通过语音输入。
新生成的对查询的响应可以传输至医疗数据库，在此处可以将其连同查询一起存储以备将来参考80。响应可以和与请求有关的元数据一起存储，诸如查询的置信级、查询的时间和/或日期、创建新响应的时间和/或日期、创建响应的呼叫中心代理的身份、和/或与请求有关的用药或医疗装置。在一些实施方案中，元数据可以包含与响应相关的地理位置，例如以允许根据用户所在地点的任何现行法规来定制响应。当将来用户提供类似查询时，元数据可以允许识别响应。
新生成的响应可以在存储在医疗数据库中之前被修改。该修改可包括例如改变响应的格式、对响应进行压缩以进行更高效的存储和/或将元数据添加至响应。对新生成的响应的修改可以发生在数据服务器26处。对新生成的响应的修改可以可替代地或附加地发生在联络中心处，例如作为质量控制或验证过程的一部分。在已将存储的响应存储在医疗数据库中之后，也可以对其进行访问以进行修改，例如，以更正错误或使用新信息更新响应。
___________________________
然后，如上所述，新生成的响应被传输70至用户12本地的系统部分，就好像它总是一直存在于数据库中一样，并被传达给用户12。
在一些实施方案中，存在联络中心代理经由系统发起与用户12的音频链接的选项。用户12和联络中心代理然后可以口头交流以解决查询。使用该特征可以允许应答特别复杂或模棱两可的查询，并且为用户12提供与查询有关的附加信息和/或上下文的机会。
在所有情况下，查询和响应的日志可以和与查询有关的元数据(诸如，用户12的身份和/或查询的时间)一起存储在医疗数据库中。这可以提供证据，证明已经从PIL向用户12提供了一条特定信息。
在一些实施方案中，音频输入可以用于识别发出语音命令的用户12。扬声器识别算法可用于根据作为音频流的一部分输入至系统中的用户语音特征来确定用户12的身份。可替代地，用户12可以例如使用用户名和密码，通过与系统的接口(诸如，触摸屏显示器)，来识别自己并验证他们的身份。
识别输入语音命令的用户允许使用先前存储的关于该用户12的信息来为所识别的用户12定制对查询的响应。例如，用户12的医疗记录可用于确定是否需要在响应中包括附加信息或警告，诸如用户正在查询的用药是否与用户正在服用的任何其他用药或用户可能具有的任何状况有相互作用。医疗记录还可包括排定用户何时服用用药剂量的时间表，所述时间表可用于向用户发出在要求的时间服用用药的提醒。
例如，如果所识别的用户12查询关于用药剂量的信息，则系统会检查存储在数据库或其他存储器中所识别用户的用药方案，以发现用户针对该药物的剂量应该是多少。然后，该剂量用于确定对用户查询的响应，所述响应包括该用户所查询用药的所需剂量。如果系统发现用户查询的用药不是用户用药方案的一部分，则对用户查询的响应可包括用户不需要服用该用药的警告。
此外，系统可检查用户的医疗记录或用药方案，并发现用户查询的用药与用户用药方案和/或用户具有的医疗状况中的一种或多种其他用药有不良反应或冲突。在这种情况下，对查询的响应可包括对用户不要服用他们正在查询的用药的警告。在一些实施方案中，它还可以在响应中包括关于如果用户已服用冲突用药应如何处理的说明，例如立即与用户的医生联系的说明。
在一些实施方案中，系统还可以使用用户身份向用户12发出提醒。如果识别了用户12，则对用户查询的响应可包括例如服用用药的提醒。系统可以查询用户的用药时间表，并将用户服用用药的排定时间与当前时间进行比较。如果当前时间在用户12服用用药的排定时间的预定义窗口之内，则对用户查询的响应可以附加地包含对用户12的提醒，提醒他们应该准备服用或应该已经服用排定的用药。当用户12被识别而用户12不必向系统提供查询时，可以可替代地或附加地给出提醒。
在一些实施方案中，系统可响应于用户12请求是否有任何消息而向用户12提供与用药或医疗装置有关的消息或更新。例如，如果用户12请求“新消息”，则系统可经由扬声器或显示装置提供关于用药或医疗装置的消息。消息或更新可由用药制造商、管理者、用药代理和/或定义的新闻通讯论坛提供。
在一些实施方案中，系统可以向用户12读取已由医疗从业者(诸如，医生或制造商)提供的与用药的给药或剂量有关的电子邮件消息。
在一些实施方案中，用户医疗记录可以由诸如医疗从业者/医生的已授权第三方来访问。第三方可以更新用户医疗记录。然后，更新的用户记录可用于响应来自用户12的查询。例如，医生可以将用药的正确剂量定义在用户的记录之中，然后可以使用所述记录应答该用户与用户剂量方案有关的询问。在一些实施方案中，在识别出该用户的存在后就可以将更新的用户信息传达给用户。
由于记录的敏感性和私密性，提供对用户医疗记录的系统访问可能需要进一步验证用户身份。可以通过在提出需要访问用户的医疗记录的查询时要求用户输入密码来验证用户的身份。用户可以经由传声器向系统说出密码。可替代地或附加地，可以由用户使用触摸屏显示器、一组键或遥控器将其手动输入至装置中。
在一些实施方案中，读取器25可以用于登记用户用药。当检测到用户12首次使用用药时，设备可以向用户读取PIL和/或使用说明。可以按照用户记录确定的用户12的母语来读取说明。这可以提供用户12已被告知PIL的验证的指示符。
尽管在本申请中已经对特定特征组合制定权利要求，但是应当理解，本公开文本的范围还包括明确或隐含地在本文中公开的任何新颖特征或任何新颖特征组合或其任何概括，无论其是否涉及与目前在任何权利要求中要求保护的相同主题，并且无论其是否缓和了与本公开文本相同的任何或所有相同的技术问题。申请人特此给出通知，在本申请或由此衍生的任何进一步申请的审查期间，可以对此类特征和/或特征组合制定新的权利要求。
尽管已经显示和描述了若干个实施方案，但是本领域技术人员将理解，可以在不偏离本公开文本的原理的情况下对这些实施方案进行改变，本公开文本的范围由权利要求书限定。
本领域技术人员将理解，在不偏离本公开文本的全部范围和精神的情况下，可以对本文所述的API、配制品、仪器、方法、系统和实施方案的各种组件/组分进行修改(添加和/或去除)，本公开文本涵盖这些修改及其任何和所有等同物。
Claims (15)
1.一种提供医疗信息的方法，其包括：
将检测到的音频信号转换成自然语言数据流；
根据所述自然语言数据流确定用户是否已发出针对与医疗装置或药剂有关的信息的语音命令；
响应于肯定的确定，将所述自然语言数据流的至少一部分转换成用于查询医疗数据库的查询；
将所述查询供应给所述医疗数据库并从中接收响应；以及
至少部分地基于来自所述医疗数据库的所述响应提供音频输出。
2.根据权利要求1所述的方法，其还包括将所述查询传输至包括所述医疗数据库的数据服务器，所述数据服务器远离所述用户定位。
3.根据任一前述权利要求所述的方法，其还包括：
确定所述医疗数据库中是否存在对所述查询的适当响应；以及
在否定确定的情况下，将所述查询传输至辅助查询应答设施。
4.根据权利要求3所述的方法，其还包括：
接收来自所述辅助查询应答设施的新响应；以及
至少部分地基于来自所述辅助查询应答设施的所述新响应提供音频输出。
5.根据权利要求4所述的方法，其中所述新响应以文本格式在所述辅助查询应答设施处生成，并且所述音频输出是使用文本转语音过程从所述新响应创建的。
6.根据权利要求4或5所述的方法，其还包括：
将所述新响应传输至所述医疗数据库；以及
将所述新响应和与所述查询有关的元数据一起存储在所述医疗数据库中。
7.根据任一前述权利要求所述的方法，其中所述响应包括视频数据，并且所述方法还包括：
将所述响应传输至显示装置；以及
至少部分地基于所述响应中的所述视频数据在所述显示装置上提供视频输出。
8.根据任一前述权利要求所述的方法，其还包括：
确定用户身份；
使用所述用户身份检索来自用户数据库的用户数据；以及
至少部分地基于所述用户数据来修改所述音频输出。
9.根据权利要求8所述的方法，其还包括在检索来自所述用户数据库的所述用户数据之前，验证所述用户身份。
10.根据权利要求8或9所述的方法，其还包括：
创建所述查询的日志，所述日志包括所述用户身份、所述查询的标识符以及所提供的响应的标识符；以及
将所述日志存储在所述医疗数据库中。
11.根据任一前述权利要求所述的方法，其中所述确定用户是否已发出所述语音命令包括：
在所述自然语言数据流中识别一个或多个潜在语音命令；
计算针对所识别的潜在语音命令中的每一者的置信级；
基于所计算的置信级选择潜在语音命令；
将所选语音命令的置信级与预定义的阈值置信级进行比较；以及
在所选语音命令的置信级高于所述预定义的阈值置信度的情况下，做出存在所选语音命令的肯定确定。
12.根据权利要求11所述的方法，其还包括向用户提供重复语音命令的请求，其中已经做出存在多于一个所选语音命令的肯定确定。
13.根据任一前述权利要求所述的方法，其中所述查询是从预定义的允许查询列表中选择的。
14.一种设备，其包括：
处理器；和
存储器，所述存储器包括计算机程序代码，当由所述至少一个处理器执行时，所述计算机程序代码使得所述设备执行根据权利要求1至13中任一项所述的方法。
15.一种用于执行根据权利要求1至13中任一项所述的方法的系统，所述系统包括：扬声器；传声器；处理器组件；和医疗数据库。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17306364.5 | 2017-10-10 | ||
| EP17306364 | 2017-10-10 | ||
| PCT/EP2018/077431 WO2019072820A1 (en) | 2017-10-10 | 2018-10-09 | APPARATUS FOR RESPONSE TO MEDICAL INTERROGATION |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111183488A true CN111183488A (zh) | 2020-05-19 |
Family
ID=60138322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880065495.2A Pending CN111183488A (zh) | 2017-10-10 | 2018-10-09 | 医疗查询应答设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11581095B2 (zh) |
| EP (1) | EP3695419A1 (zh) |
| JP (1) | JP7316271B2 (zh) |
| CN (1) | CN111183488A (zh) |
| WO (1) | WO2019072820A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423885B2 (en) * | 2019-02-20 | 2022-08-23 | Google Llc | Utilizing pre-event and post-event input streams to engage an automated assistant |
| CN111081225B (zh) * | 2019-12-31 | 2022-04-01 | 思必驰科技股份有限公司 | 技能语音唤醒方法及装置 |
| CN111681656A (zh) * | 2020-05-23 | 2020-09-18 | 达科为（深圳）医疗设备有限公司 | 包埋盒打号机指令输入方法、系统、存储介质及打号机 |
| US20220383870A1 (en) * | 2021-05-28 | 2022-12-01 | Otis Elevator Company | Usage of voice recognition confidence levels in a passenger interface |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050089150A1 (en) * | 2003-10-28 | 2005-04-28 | Birkhead Mark W. | Voice enabled interactive drug and medical information system |
| US7640264B1 (en) * | 2005-09-23 | 2009-12-29 | Emc Corporation | System and methods for querying a report database |
| US20120078062A1 (en) * | 2010-09-24 | 2012-03-29 | International Business Machines Corporation | Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system |
| US20140032223A1 (en) * | 2012-07-27 | 2014-01-30 | Roderick Powe | Voice activated pharmaceutical processing system |
| CN103631853A (zh) * | 2012-08-15 | 2014-03-12 | 哈默尔Tlc公司 | 基于相关性的语音搜索和响应 |
| US20160071432A1 (en) * | 2014-09-10 | 2016-03-10 | Pathway Genomics Corporation | Health and wellness management methods and systems useful for the practice thereof |
| EP3010015A1 (en) * | 2014-10-14 | 2016-04-20 | Samsung Electronics Co., Ltd. | Electronic device and method for spoken interaction thereof |
| US20170162197A1 (en) * | 2015-12-06 | 2017-06-08 | Voicebox Technologies Corporation | System and method of conversational adjustment based on user's cognitive state and/or situational state |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003006316A (ja) | 2001-06-21 | 2003-01-10 | Nisshin Seifun Group Inc | 人生相談システム |
| US8626511B2 (en) | 2010-01-22 | 2014-01-07 | Google Inc. | Multi-dimensional disambiguation of voice commands |
| JP6355383B2 (ja) | 2014-03-28 | 2018-07-11 | Kddi株式会社 | 電子機器、検索方法及びプログラム |
-
2018
- 2018-10-09 US US16/651,437 patent/US11581095B2/en active Active
- 2018-10-09 CN CN201880065495.2A patent/CN111183488A/zh active Pending
- 2018-10-09 WO PCT/EP2018/077431 patent/WO2019072820A1/en unknown
- 2018-10-09 JP JP2020519802A patent/JP7316271B2/ja active Active
- 2018-10-09 EP EP18783015.3A patent/EP3695419A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050089150A1 (en) * | 2003-10-28 | 2005-04-28 | Birkhead Mark W. | Voice enabled interactive drug and medical information system |
| US7640264B1 (en) * | 2005-09-23 | 2009-12-29 | Emc Corporation | System and methods for querying a report database |
| US20120078062A1 (en) * | 2010-09-24 | 2012-03-29 | International Business Machines Corporation | Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system |
| US20140032223A1 (en) * | 2012-07-27 | 2014-01-30 | Roderick Powe | Voice activated pharmaceutical processing system |
| CN103631853A (zh) * | 2012-08-15 | 2014-03-12 | 哈默尔Tlc公司 | 基于相关性的语音搜索和响应 |
| US20160071432A1 (en) * | 2014-09-10 | 2016-03-10 | Pathway Genomics Corporation | Health and wellness management methods and systems useful for the practice thereof |
| EP3010015A1 (en) * | 2014-10-14 | 2016-04-20 | Samsung Electronics Co., Ltd. | Electronic device and method for spoken interaction thereof |
| US20170162197A1 (en) * | 2015-12-06 | 2017-06-08 | Voicebox Technologies Corporation | System and method of conversational adjustment based on user's cognitive state and/or situational state |
Also Published As
| Publication number | Publication date |
|---|---|
| US11581095B2 (en) | 2023-02-14 |
| JP7316271B2 (ja) | 2023-07-27 |
| WO2019072820A1 (en) | 2019-04-18 |
| JP2020537782A (ja) | 2020-12-24 |
| EP3695419A1 (en) | 2020-08-19 |
| US20200286628A1 (en) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110199350B (zh) | 用于感测语音结束的方法和实现该方法的电子设备 | |
| US11581095B2 (en) | Medical query answering apparatus | |
| US10204624B1 (en) | False positive wake word | |
| CN108121490B (zh) | 用于处理多模式输入的电子装置、方法和服务器 | |
| US10388282B2 (en) | Medical voice command device | |
| CN107077464B (zh) | 电子设备和用于其口头交互的方法 | |
| JP6471174B2 (ja) | ホームオートメーションのためのインテリジェントアシスタント | |
| US11538477B2 (en) | Generating IoT-based notification(s) and provisioning of command(s) to cause automatic rendering of the IoT-based notification(s) by automated assistant client(s) of client device(s) | |
| US10650823B2 (en) | Healthcare systems and methods using voice inputs | |
| KR102356969B1 (ko) | 통신 수행 방법 및 이를 지원하는 전자장치 | |
| KR102356889B1 (ko) | 음성 인식을 수행하는 방법 및 이를 사용하는 전자 장치 | |
| KR20180047801A (ko) | 전자 장치 및 전자 장치 제어 방법 | |
| US20190051307A1 (en) | Digital assistant activation based on wake word association | |
| KR20180109625A (ko) | 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치 | |
| KR20180096147A (ko) | 전자 장치 및 전자 장치에서의 정보 제공 방법 | |
| CN104584020A (zh) | 一种用于在患者监测系统中使用以辅助患者完成任务的方法和设备 | |
| CN109427332B (zh) | 使用语音命令执行操作的电子设备及其操作方法 | |
| US11393466B2 (en) | Electronic device and method of providing dialog service based on electronic medical record | |
| US10748535B2 (en) | Transcription record comparison | |
| KR20200041005A (ko) | 전자 장치 및 그의 동작 방법 | |
| EP4250719A1 (en) | Use of audio and/or video in patient care | |
| KR20210111423A (ko) | 사용자 입력을 처리하는 전자 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |