CN116096301A - 程序、信息处理装置以及信息处理方法 - Google Patents

程序、信息处理装置以及信息处理方法 Download PDF

Info

Publication number
CN116096301A
CN116096301A CN202180058332.3A CN202180058332A CN116096301A CN 116096301 A CN116096301 A CN 116096301A CN 202180058332 A CN202180058332 A CN 202180058332A CN 116096301 A CN116096301 A CN 116096301A
Authority
CN
China
Prior art keywords
question
answer
subject
server
answers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180058332.3A
Other languages
English (en)
Inventor
本间康之
前田直之
内田贵之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terumo Corp
Original Assignee
Terumo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terumo Corp filed Critical Terumo Corp
Publication of CN116096301A publication Critical patent/CN116096301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)

Abstract

程序使计算机执行如下的处理：利用声音输出第一提问，从对象者接受针对所述第一提问的回答，利用文本输出第二提问，从所述对象者接受针对所述第二提问的回答，判断针对所述第一提问以及所述第二提问的回答是否正确，基于针对所述第一提问以及所述第二提问的回答正确与否，推断所述对象者患有脑功能障碍的可能性。

Description

程序、信息处理装置以及信息处理方法
技术领域
本发明涉及程序、信息处理装置以及信息处理方法。
背景技术
有对痴呆症等脑功能障碍的诊断进行支援的技术。例如在专利文献1中公开了一种痴呆症诊断装置，将对象者针对规定的问题回答的说话声音转换为文本数据，算出该文本数据与比较用文本数据的编辑距离，来判断对象者是否有出现痴呆症的症状的可能性。
现有技术文献
专利文献
专利文献1：JP特开2020-483号公报
发明内容
然而，专利文献1的发明没有在考虑痴呆症、失语症等各种脑功能障碍的症状的不同的基础上推断患有脑功能障碍的可能性。
在一个方面，目的在于提供一种能够恰当地推断患有脑功能障碍的可能性的程序等。
一个方面的程序使计算机执行如下的处理：利用声音输出第一提问，从对象者接受针对所述第一提问的回答，利用文本输出第二提问，从所述对象者接受针对所述第二提问的回答，判断针对所述第一提问以及所述第二提问的回答是否正确，基于针对所述第一提问以及所述第二提问的回答正确与否，推断所述对象者患有脑功能障碍的可能性。
发明效果
在一个方面，能够恰当地推断患有脑功能障碍的可能性。
附图说明
图1是示出对话系统的构成例的说明图。
图2是示出服务器的构成例的框图。
图3是示出便携终端的构成例的框图。
图4是示出扬声器终端的构成例的框图。
图5是示出实施方式1的概要的说明图。
图6是示出消息的显示画面例的说明图。
图7是示出服务器执行的处理次序的流程图。
图8是示出实施方式2的服务器的构成例的框图。
图9是示出回答历史记录DB的记录布局的一例的说明图。
图10A是示出扬声器终端的显示画面例的说明图。
图10B是示出扬声器终端的显示画面例的说明图。
图11A是示出实施方式2的消息的显示画面例的说明图。
图11B是示出实施方式2的消息的显示画面例的说明图。
图12是示出推断结果显示时的聊天画面的另一例的说明图。
图13是示出历史记录画面的一例的说明图。
图14是示出实施方式2的服务器执行的处理次序的一例的流程图。
图15是示出实施方式2的服务器执行的处理次序的一例的流程图。
具体实施方式
以下，基于表示本发明的实施方式的附图详细说明本发明。
(实施方式1)
图1是示出对话系统的构成例的说明图。在本实施方式中，对基于对象者输入的话语声来判断对象者的异常、更恰当地判断有无脑功能障碍的对话系统进行说明。对话系统包括信息处理装置1、便携终端2、扬声器终端3。各装置与互联网等的网络N通信连接。
信息处理装置1为能够进行各种信息处理、收发信息的信息处理装置，例如为服务器计算机、个人计算机等。在本实施方式中信息处理装置1为服务器计算机，以下为了简化改称为服务器1。服务器1从对象者输入的说话声音判断是否有患有脑功能障碍的可能性。具体来说，如后述那样，服务器1从由对象者作为向包括对象者在内的多个用户参加的聊天群发送的消息而输入的说话声音、或者对象者向基于规定的对话引擎进行动作的聊天机器人系统输入的说话声音等，检测怀疑可能患有脑功能障碍的异常处。
作为对象的脑功能障碍没有特别限定，例如举出有痴呆症、失语症等。服务器1检测因痴呆症、失语症等产生的异常的话语(不清楚的词汇、说错等)，并向其他用户(例如对象者的家人、对对象者进行诊疗的医疗从业者等与对象者关联的用户)提示异常处。
便携终端2为包括对象者在内的各用户使用的信息处理终端，例如为智能手机、平板终端等。此外，在图1中，仅图示了一台便携终端2，但对象者以及其他用户各自的便携终端2与服务器1连接。服务器1作为向聊天群发送的消息等而从便携终端2获取对象者输入的说话声音，并转换为文本。然后，服务器1从转换后的文本检测异常处。
扬声器终端3为设在对象者的自己家等中的声音输入输出终端，为所谓的智能扬声器。此外，扬声器终端3不限于被称为智能扬声器，只要具备声音的输入输出功能和图像显示功能即可。另外，扬声器终端3的设置场所不限于对象者的自己家，也可以为自己家以外的设施(例如疗养院)等。扬声器终端3作为聊天机器人系统的终端装置发挥作用，与对象者进行对话。如在后面进行说明的那样，服务器1也可以从扬声器终端3获取对象者的说话声音来检测异常处。
此外，在本实施方式中，作为与服务器1协同工作的终端装置，举出便携终端2、扬声器终端3，但也可以为其他形态的终端装置(例如机器人型的装置)。终端装置只要为具有声音输入输出功能、图像显示功能等的本地终端即可，其形态没有特别限定。
图2是示出服务器1的构成例的框图。服务器1具备控制部11、主存储部12、通信部13、以及辅助存储部14。
控制部11具有一个或者多个CPU(Central Processing Unit：中央处理器)、MPU(Micro-Processing Unit：微处理器)、GPU(Graphics Processing Unit：图形处理器)等的运算处理装置，对存储在辅助存储部14内的程序P1进行读取并且执行，由此进行各种的信息处理、控制处理等。主存储部12为SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)、快闪存储器等的临时存储区域，临时存储控制部11执行运算处理所需的数据。通信部13为用于进行与通信有关的处理的通信模块，与外部进行信息的收发。辅助存储部14为大容量存储器、硬盘等的非挥发性存储区域，存储了控制部11执行处理所需的程序P1、其他数据。
此外，辅助存储部14可以为与服务器1连接的外部存储装置。另外，服务器1可以为由多个计算机构成的多台计算机，也可以为利用软件虚拟构建的虚拟机。
另外，在本实施方式中服务器1不限于上述构成，例如还可以包含接受操作输入的输入部、显示图像的显示部等。另外，服务器1具备读取CD(Compact Disk：光盘)-ROM、DVD(Digital Versatile Disc：数字多功能光盘)-ROM等的便携式存储介质1a的读取部，可以从便携式存储介质1a读取并执行程序P1。或者，服务器1也可以从半导体存储器1b读取程序P1。
图3是示出便携终端2的构成例的框图。便携终端2具备控制部21、主存储部22、通信部23、显示部24、输入部25、声音输出部26、声音输入部27、拍摄部28、辅助存储部29。
控制部21具有一个或者多个CPU、MPU等的运算处理装置，读取并执行存储在辅助存储部29内的程序P2，由此，进行各种信息处理、控制处理等。主存储部22为RAM等的临时存储区域，临时存储控制部21执行运算处理所需的数据。通信部23为用于进行与通信有关的处理的通信模块，与外部进行信息的收发。显示部24为液晶显示器等的显示画面，显示图像。
输入部25为触控面板等的操作界面，从用户接受操作输入。声音输出部26为扬声器，输出声音。声音输入部27为麦克风，从用户接受声音的输入。拍摄部28为具有CMOS(Complementary MOS)等拍摄元件的相机，拍摄图像。辅助存储部29为硬盘、大容量存储器等的非挥发性存储区域，存储了为了控制部21执行处理所需的程序P2、其他数据。
此外，便携终端2具备读取CD-ROM等的便携式存储介质2a的读取部，也可以从便携式存储介质2a读取并执行程序P2。或者，便携终端2也可以从半导体存储器2b读取程序P2。
图4是示出扬声器终端3的构成例的框图。扬声器终端3具备控制部31、主存储部32、通信部33、显示部34、输入部35、声音输出部36、声音输入部37、拍摄部38、辅助存储部39。
控制部31具备一个或者多个CPU、MPU等的运算处理装置，读取并执行在辅助存储部39内存储的程序P3，由此，进行各种信息处理、控制处理等。主存储部32为RAM等的临时存储区域，临时存储控制部31执行运算处理所需的数据。通信部33为用于进行与通信有关的处理的通信模块，与外部进行信息的收发。显示部34为液晶显示器等的显示画面，显示图像。
输入部35为触控面板等的操作界面，从用户接受操作输入。声音输出部36为扬声器，输出声音。声音输入部37为麦克风，从用户接受声音的输入。拍摄部38为具有CMOS等拍摄元件的相机，拍摄图像。辅助存储部39为硬盘、大容量存储器等的非挥发性存储区域，存储了控制部31执行处理所需的程序P3、其他数据。
此外，扬声器终端3具有读取CD-ROM等的便携式存储介质2a的读取部，可以从便携式存储介质3a读取并执行程序P3。或者，扬声器终端3可以从半导体存储器3b读取程序P3。
图5是示出实施方式1的概要的说明图。基于图5，说明本实施方式的概要。
如上述那样，服务器1根据包括对象者在内的多个用户参加的向聊天群发送的消息等，判断对象者的状态是否异常。在图5中，图示了聊天群中的对话形态。图5的右侧表示来自对象者的消息，左侧表示来自其他用户(例如家人)以及系统(服务器1)的消息。此外，对象者还能够利用文本输入、或者声音识别功能，利用声音输入消息。
服务器1将对象者输入的声音转换为文本，从转换后的文本检测异常处。在图5的例子中，图示了相对于来自其他用户的消息“今天去哪了？”，服务器1将对象者的说话声音转换为文本“今天去了taoyuan”的情况。在该情况下，服务器1从该文本检测异常处“taoyuan”。
具体的异常处的检测方法没有特别限定，例如服务器1进行形态学分析将文本划分为多个字符串(词汇)，参照保存有许多词汇的词汇词典(数据库未图示)，对各字符串与词汇词典的各词汇进行比较。此外，在本实施方式中，将文本的划分单位设为词汇，电脑也可以以比词汇长的单位(例如句节)划分，也可以以比词汇短的单位来划分。服务器1将没有保存在词汇词典内的字符串检测为异常处。此外，例如服务器1可以事先用词汇词典规定出现频度低的词汇(例如常用语以外的词汇)，将出现频度低的词汇检测为异常处等。
另外，服务器1还可以事先存储对象者输入的声音的文本，基于过去的文本检测异常处。例如服务器1将利用形态学分析可划分文本的字符串作为新的词汇而保存(录入)于词汇词典，针对每个对象者构建词汇词典。然后，服务器1在从对象者接受声音的输入并转换为文本的情况下，参照与该对象者对应的词汇词典检测异常处。由此，考虑对象者的发言的倾向，能够提高异常处的检测精度。
此外，上述利用词汇词典检测了异常处，但异常处的检测方法不限于此。例如服务器1也可以进行文本的句法结构解析、意味解析等检测异常处。另外，检测方法不限于规则库，例如服务器1也可以事先准备以在输入了文本的情况下检测异常处的方式学习结束的机械学习模型(例如神经网络)，将转换为说话声音的文本输入至该模型来检测异常处。像这样，异常处的检测方法没有特别限定。
在检测出了异常处的情况下，服务器1生成反复问异常处的问题并输出至对象者的便携终端2。该问题优选采用6W3H(Who、Whom、When、Where、What、Why、How、How many、Howmuch)的某一种形式。服务器1将与异常处对应的字符串适用6W3H的某一种形式的问题的模板，来生成问题。服务器1作为聊天群内的消息而输出问题，显示于便携终端2。此外，例如服务器1也可以将问题转换为声音并输出至便携终端2。
服务器1从对象者接受与上述问题对应的回答的输入。该回答与消息的输入时同样地，利用声音接受输入。服务器1将输入的回答声音转换为文本，判断对象者的状态是否异常，具体来说，来判断是否患有脑功能障碍的可能性。
在图5中，作为回答例而图示了模式1～3。在模式1的情况下，从声音识别出正确的词汇“公园(gongyuan)”，因此，服务器1判断为对象者的状态为正常。另一方面，在模式2的情况下，从声音再次识别异常处“taoyuan”，因此，服务器1判断为对象者的状态为异常。另外，在模式3的情况下，包括“taoyuan(桃园)”这一字符串，但从声音识别出了从前后文来看为正确的文章，因此，服务器1判断为对象者的状态为正常。
像这样，服务器1从针对问题的回答判断对象者的状态。在该情况下，服务器1也可以从声音以外的数据判断对象者的状态。例如便携终端2拍摄针对上述问题输入回答时的对象者，服务器1从拍摄图像(例如动态图像)判断对象者的状态。
具体来说，服务器1从图像识别对象者的脸部，从脸部的左右的不对称性判断对象者的状态。在例如因脑梗塞、脑出血等产生了脑功能障碍的情况下，脸部的左右动态不同、一侧下降、一侧产生歪斜等在脸部的左右观察到不对称的状态以及动态。服务器将图像中的脸部区域划分成左右的两个区域，确定各区域的状态(眼睛、嘴部的端部等各特征点的坐标)以及动态(特征点的移动)，判断脸部的左右的状态以及/或者动态是否不对称。在判断为不对称的情况下，服务器1判断为对象者的状态为异常。
此外，在针对上述问题输入回答时拍摄对象者，但也可以在最初输入作为消息(检测到异常处的消息)的声音时拍摄对象者，并在从输入该消息(声音)时的图像判断脸部的左右的不对称性。即，图像的拍摄时间点不限于在针对问题输入回答时，也可以为输入消息的声音时。
另外，在本实施方式中将图像以及声音组合来判断对象者的异常，也可以仅从声音(文本)判断对象者的异常。
如上述那样，服务器1从作为对象者向聊天群发送的消息而输入的声音的文本，检测怀疑患有脑功能障碍的可能性的异常处，并针对异常处进行反问，从针对问题的回答声音、以及/或者回答输入时的图像判断对象者的状态。
此外，上述以对象者与其他用户进行群组聊天的情况为一例进行了说明，但本实施方式不限于此。例如服务器1可以从在基于规定的对话引擎实现的聊天机器人与对象者对话时的输入声音检测异常处。
聊天机器人可以利用智能手机等便携终端2进行声音的输入输出，但也可以利用设于对象者的自己家等的扬声器终端3(智能扬声器)进行声音的输入输出。在此，对扬声器终端3从对象者接受声音的输入并输出响应声音进行说明。
扬声器终端3接受例如每天的问候语(“早上好”等)、信息的输出请求(例如今天的天气、安排等)、设备(家电等)的操作要求等、各种的声音的输入。扬声器终端3相对于这些输入声音进行各种的信息处理(例如在输入问候语之后输出问候语的响应声音、在输入设备操作的声音之后输出设备的操作信号等)。服务器1获取输入至扬声器终端3的声音并转换为文本，检测异常处。异常处的检测方法与上述相同。
另外，服务器1可以经由扬声器终端3从系统侧呼唤对象者，接受声音的输入。例如服务器1每隔一定期间向扬声器终端3输出提问规定的事项的声音(“今天的天气如何？”等)，从对象者接受回答的声音输入。由此，在例如对象者为独居高龄者的情况下，能够定期促进谈话的同时，还能够从谈话内容检测对象者的异常。
像这样，服务器1可以从与聊天机器人的对话声音检测异常处。即，成为异常处的检测对象的声音不限于向其他用户发送的消息，也可以为任意的说话声音。
图6是示出消息的显示画面例的说明图。在图6中，图示了检测出异常处的消息(文本)显示于群组聊天的情形。具体来说，在图6中，图示了与对象者交流消息的其他用户(家人等)的便携终端2显示的聊天画面。在图6中，在左侧图示了来自对象者以及系统的消息，在右侧图示了来自其他用户的消息。
服务器1在从对象者的消息检测到异常处的情况下，以与其他字符串不同的显示形态显示与异常处对应的字符串。例如服务器1变更与异常处对应的字符串的显示颜色，并且变更(高亮)该异常处的背景颜色。此外，在图6中，为了图示，用粗体字图示了字符串的显示颜色被变更的情形，并用阴影图示了背景颜色被变更的情形。另外，服务器1一并显示从系统侧(服务器1)输出的问题、和针对该问题的对象者的回答。
另外，服务器1与对象者的消息中的异常处对应地显示对象61。对象61可以为表示与异常处对应的字符串的显示形态的一例，还可以为用于使对象者输入的声音再生的图标。在接受了向对象61的操作输入的情况下，服务器1将输入声音输出至便携终端2，并再生。由此，其他用户(家人等)能够听到输入声音来确认对象者的状态。此外，服务器1不仅能够再生检测出异常处的最初的声音，还能够再生针对此后的问题的回答声音。
而且，服务器1在判断为对象者有患有脑功能障碍的可能性的情况下，将判断结果通知至其他用户。例如，如图6所示，服务器1输出对象者有患有脑功能障碍的可能性的评价(信息)并显示于便携终端2。具体来说，服务器1显示促进去医疗机构就诊并且促进实施用于检查是否患有脑功能障碍的测试的评价。例如服务器1在该评价中显示用于选择实施或者不实施测试的按钮，在接受了向“测试”的按钮的操作输入的情况下，向对象者的便携终端2(或者其他用户的便携终端2)输出测试数据。测试数据为例如加法、减法等的计算测试、碰触在照片中映出的物体的测试等，但没有特别限定。
此外，服务器1不仅可以向与对象者关联的其他用户(家人等)，当然还可以向对象者本人通知有患有脑功能障碍的可能性的判断结果。
以上，通过从对象者的平常的对话声音(向聊天群发送的消息、向聊天机器人的输入声音等)检测异常处，能够简单地检测对象者的异常并促进去医疗机构就诊等。
此外，服务器1在显示检测出异常处的消息时，可以与从向问题的回答、以及/或者回答输入时的图像判断出的对象者的状态对应地变更异常处的显示形态。例如服务器1在从向问题的回答声音判断为对象者的状态为异常的情况下，用红色显示与异常处对应的字符串。另一方面，在从消息检测到异常处但从向问题的回答声音判断为对象者的状态为正常的情况下，服务器1用蓝色显示与异常处对应的字符串。由此，在单纯说错的情况等下，能够对异常程度标注轻重来向其他用户提示异常处。
图7是示出服务器1执行的处理次序的流程图。基于图7，说明服务器1执行的处理内容。
服务器1的控制部11从对象者接受声音的输入(步骤S11)。如上述那样，该声音例如为向包括对象者在内的多个用户参加的聊天群发送的消息，但也可以为向基于规定的对话引擎的聊天机器人的输入声音。控制部11将输入的声音转换为文本(步骤S12)。控制部11从转换的文本检测异常处(步骤S13)。例如控制部11进行文本的形态学分析而划分为多个字符串，对由规定的词汇词典保存的各词汇与各字符串进行比较，检测与异常处对应的字符串。
控制部11从文本判断是否检测到异常处(步骤S14)。在判断为没有检测到异常处的情况(S14：否)下，控制部11将转换后的文本作为对象者的消息而输出至其他用户的便携终端2，并进行显示(步骤S15)。在判断为检测到异常处的情况(S14：是)下，控制部11将对与异常处对应的字符串进行反问的问题输出至对象者的便携终端2(步骤S16)。控制部11从对象者接受针对问题的回答的声音输入(步骤S17)。另外，控制部11从便携终端2获取拍摄到回答的输入时的对象者的图像(步骤S18)。
控制部11基于在步骤S17中输入的声音、以及/或者在步骤S18中获取的图像，判断对象者的状态是否异常(步骤S19)。具体来说，控制部11判断对象者是否患有脑功能障碍的可能性。例如控制部11与步骤S14同样地，将输入声音转换为文本并划分为多个字符串，与词汇词典的各词汇进行比较，判断是否有与异常处对应的字符串。另外，控制部11从在步骤S18中拍摄到的图像来识别对象者的脸部，判断脸部的左右的状态以及/或者动态是否不对称。在判断为不是异常的情况(S19：否)下，控制部11将处理移动至步骤S15。
在判断为异常的情况(S19：是)下，控制部11使以与其他字符串不同的显示形态表示与异常处对应的字符串的消息(文本)显示于其他用户的便携终端2(步骤S20)。具体来说，如上述那样，控制部11变更与异常处对应的字符串的显示颜色，且变更该字符串的背景颜色来显示。另外，控制部11显示用于再生对象者输入的声音的对象61。
控制部11与向对象61的操作输入对应地，判断是否再生输入声音(步骤S21)。在判断为再生输入声音的情况(S21：是)下，控制部11在其他用户的便携终端2再生对象者输入的声音(步骤S22)。在执行步骤S22的处理之后，或者在步骤S21中判断为否的情况下，控制部11结束一连串的处理。
此外，在本实施方式中为了便于说明，由服务器1执行输入声音的文本转换、异常处的检测等的处理，但本地的便携终端2(或者扬声器终端3)也可以执行一部分或者全部的处理。例如可以由便携终端2进行文本转换，由服务器1进行异常处的检测。像这样，一连串处理的处理主体没有特别限定。
以上，根据本实施方式1，将对象者输入的声音转换为文本来检测异常处，以与其他字符串不同的显示形态显示与异常处对应的字符串，并提示至其他用户。由此，其他用户能够易于掌握对象者的异常。
另外，根据本实施方式1，能够从在聊天群中的对话消息、向聊天机器人的输入声音等对象者的平常的对话声音检测对象者的异常。
另外，根据本实施方式1，通过参照对象者的过去的输入声音的文本，能够提高异常处的检测精度。
另外，根据本实施方式1，在检测到异常处的情况下输出反问异常处的问题并接受回答的输入，能够更恰当地判断对象者的状态是否异常。
另外，根据本实施方式1，通过从拍摄到回答输入时的对象者的图像判断脸部的左右的不对称性，能够更恰当地判断与脑功能障碍有关的对象者的异常。
另外，根据本实施方式1，通过与针对问题的回答、以及/或者从拍摄到对象者的图像判断出的对象者的状态对应地变更与异常处对应的字符串的显示形态，能够对异常程度标注轻重地向其他用户提示异常处。
另外，根据本实施方式1，通过再生对象者输入的声音，其他用户能够易于掌握对象者的状态。
(实施方式2)
在实施方式1中，说明了从对象者输入的声音检测异常处的形态。在本实施方式中，在检测到异常处的情况下，说明进行基于声音以及文本的提问推断患有脑功能障碍的可能性的形态。此外，针对与实施方式1重复的内容标注相同的附图标记，并省略说明。
图8是示出实施方式2的服务器1的构成例的框图。本实施方式的服务器1的辅助存储部14存储了回答历史记录DB141。回答历史记录DB141为保存后述的针对提问的对象者的回答、和基于该回答推断患有脑功能障碍的可能性的推断结果的数据库。
图9是示出回答历史记录DB141的记录布局的一例的说明图。回答历史记录DB141包括日期时间列、对象者列、声音列、文本列、反应列、推断结果列、图像列。日期时间列存储了对象者针对提问进行了回答的回答日期时间。对象者列、声音列、文本列、反应列、推断结果列、以及图像列分别与回答日期时间对应关联地存储回答的对象者名、针对基于声音的提问(后述的第一提问)的回答正确与否、针对基于文本的提问(后述的第二提问)的回答正确与否、相对于提问的对象者的反应、基于回答推断出的脑功能障碍的可能性的推断结果、以及在回答时拍摄到对象者的拍摄图像(例如视频)。在反应列，除了如后述那样从对象者的拍摄图像判断出的脸部的左右的对称性、手指或者视线方向的动态、表情等判断结果以外，还存储了从输出提问到输入回答为止的回答时间等。
图10A以及图10B是示出扬声器终端3的显示画面例的说明图。图11A以及图11B是示出实施方式2的消息的显示画面例的说明图。基于图10A、图10B、图11A以及图11B，说明本实施方式的概要。
在实施方式1中说明的那样，服务器1从对象者输入的声音检测异常处，并提示至其他用户。在本实施方式中，服务器1在检测到异常处的情况下，进行基于声音以及文本的提问。然后，服务器1基于相对提问的对象者的回答，推断患有脑功能障碍的可能性。
具体来说，服务器1将基于声音的第一提问、和基于文本的第二提问输出至扬声器终端3，进行与各提问对应的声音输出、以及图像显示。在图10A、图10B中，分别图示了进行第一提问的情况下的画面例、和进行第二提问的情况下的画面例。服务器1针对各提问将回答的选项显示于扬声器终端3，并通过接受从显示出的选项选择某一个的画面操作来接受回答的输入。
此外，在本实施方式中经由扬声器终端3进行提问，但也可以经由便携终端2进行提问。
在说明图10A以及图10B之前，基于图11A进行说明。在图11A中与图6同样地，图示了其他用户的便携终端2显示的聊天画面。在从对象者输入的声音的文本检测到异常处的情况下，便携终端2与实施方式1同样地，显示被检测到异常处的对象者的消息。
在本实施方式中，服务器1在检测到异常处的情况下，经由该画面从其他用户接受向对象者发送的消息的输入。消息内容没有特别限定，优选适当地接受包括图像在内的消息的输入。在图11A的例子中，作为向对象者发送的消息，输入了包括对象者的近亲属(例如孙子)的图像在内的消息。
服务器1对从其他用户输入的消息进行解析，并提取用于生成第一以及第二提问的数据。例如服务器1提取文本中的固有名词(例如人名、在图11A以及图11B的例子提取孙子的姓名“太郎”)、以及图像。服务器1基于提取出的数据生成第一以及第二提问，并输出至扬声器终端3。
返回至图10A以及图10B继续说明。服务器1首先生成基于声音的第一提问并输出至扬声器终端3。例如服务器1如图10A所示，将从其他用户的消息提取的图像和与该图像不同的其他图像输出至扬声器终端3并进行显示，并且输出促使选择哪一种图像的画面操作的声音。
例如服务器1从消息提取的图像提取拍摄到人物(孙子)的图像区域并生成缩略图像，并显示于扬声器终端3。另外，服务器1作为另一选项而显示事先准备的无关系的图像。此外，在图10A的例子中显示图像为两个，但也可以为三个以上。另外，在本实施方式中，显示其他用户输入的图像，但例如也可以针对每个对象者事先在数据库中准备(录入)图像，并显示在数据库中准备的图像。服务器1将从消息提取的固有名词(孙子的姓名)适用模板的提问，生成促进与固有名词对应的人物的图像的选择的声音，并输出至扬声器终端3。
服务器1接受相对于第一提问的回答的输入。具体来说，服务器1接受从在扬声器终端3显示的多个图像选择某一个的画面操作。此外，也可以用声音等来接受回答的输入。
在接受针对第一提问的回答的输入的情况下，服务器1输出基于文本的第二提问。例如服务器1如图10B所示，显示提出是否阅览图像(照片)的提问，并且显示用于选择是否阅览的对象(按钮)。此外，在图10B中图示了在图10A的画面中选择了正确答案的图像(孙子的图像)的情况，在该情况下，作为提问而显示“看照片吗？”，但在图10A的画面中选择了不正确答案的图像的情况下，作为提问而显示“不看照片吗？”。
服务器1接受从“看照片”或者“不看照片”的两个选项选择某一方的画面操作。在选择了“看照片”的情况下，服务器1将其他用户的消息输出至扬声器终端3。具体来说，服务器1将其他用户输入的图像显示于扬声器终端3。此外，当然处理图像以外也可以显示文本。在选择“不看照片”的情况(或者不操作任一按钮的情况)下，服务器1待机规定时间处理，在经过了规定时间的情况下不显示消息而结束一连串的处理。
服务器1判断针对第一以及第二提问的回答是否为正确的回答。然后，服务器1基于针对第一以及第二提问的回答正确与否，推断患有脑功能障碍的可能性。具体来说，服务器1基于各回答正确与否的组合，推断是否患有脑功能障碍的可能性，并且推断有可能性的脑功能障碍的种类。
成为推断对象的脑功能障碍没有特别限定，在本实施方式中，将失语症和痴呆症(或者基于脑梗塞等的短暂性的认知功能低下)作为推断对象。服务器1基于各回答正确与否的组合，推断是否有患有失语症的可能性、以及是否有患有痴呆症的可能性。
具体来说，服务器1在针对基于声音的第一提问的回答为错误的回答、且针对基于文本的第二提问的回答为正确的回答的情况下，推断为有患有失语症的可能性。另外，服务器1在对第一以及第二提问的回答双方均为错误的回答的情况下，推断为有患有痴呆症的可能性。此外，在第一以及第二提问的双方正确的回答的情况下推断为正常，在仅第二提问为错误的回答的情况下作为偶发性的回答失误进行处理。
失语症以及痴呆症混同的情况很多，但失语症为妨碍语言能力的障碍，痴呆症为通常包括妨碍非语言能力在内的认知能力的障碍。与为某一症状对应地，向声音以及文本的反应也不同。于是，在本实施方式中，进行基于声音的第一提问和基于文本的第二提问，与针对各提问的回答正确与否的组合对应地识别失语症以及痴呆症。
服务器1除了针对第一以及第二提问的回答以外，基于在回答时拍摄到对象者的图像来推断患有脑功能障碍的可能性。例如扬声器终端3在输出第一提问以及/或者第二提问的情况下，同时拍摄了对象者。服务器1从扬声器终端3获取针对各提问的回答，并获取回答时的图像进行推断。
例如服务器1与实施方式1同样地，基于对象者的脸部的左右的不对称性，推断患有脑功能障碍的可能性。即，服务器1将图像中的脸部区域划分为左右的两个区域，确定各区域的状态(眼睛、嘴部的端部等各特征点的坐标)以及动态(特征点的移动)，判断脸部的左右的状态以及/或者动态是否为不对称。由此，服务器1能够检测到因脑梗塞等产生了脑功能障碍的事态。
在本实施方式中，服务器1除了脸部的左右的不对称性以外，还从图像判断对象者是否处于回答困难的状态，由此，推断患有脑功能障碍的可能性。具体来说，如下述那样，服务器1从图像检测对应困难状态的特定的现象。
例如服务器1从图像检测对象者的手(手指)、或者对象者的视线方向，判断对象者的手或者视线方向的动态是否与特定的动态对应。具体来说，服务器1由于对象者犹豫选项的选择，所以检测到对象者的手或者视线方向在各选项(在第一提问中为图像、在第二提问中为按钮)之间往返的动态。在例如为布洛卡失语症的情况下，观察到在用口头命令从多个选项进行正确的选择的情况下由于不理解命令内容所以回答困难而犹豫选项的现象。于是，服务器1从针对例如基于声音的第一提问的回答时的图像检测手或者视线方向，判断手或者视线方向是否在图像之间往返，由此，推断为有患有失语症的可能性。
另外，例如服务器1也可以识别对象者的脸部的表情，判断是否与特定的表情(困扰、焦虑、烦恼等)对应。在该情况下也与上述同样地，能够判断是否处于回答困难的状态。
另外，例如服务器1也可以通过从图像推断对象者的生物体信息来判断困难状态。生物体信息例如为瞳孔的扩张程度、脉搏、脸部的温度(体温)、血流速度等。服务器1通过从图像推断这些生物体信息，检测生物体信息的变化(例如瞳孔扩张、脉搏变快等)，判断是否处于回答困难的状态。
以上从图案判断是否处于困难状态，但例如服务器1除了基于图像以外，还可以基于针对提问的回答时间来判断是否处于困难状态。具体来说，服务器1对从输出提问(例如第一提问)到被输入回答为止的回答时间进行计测，来判断回答时间是否为规定的阈值以上。由此，由于处于困难状态，所以能够检测到回答花费时间的事态。
如上所述，服务器1除了针对第一以及第二提问的回答以外，还从拍摄到对象者的图像、以及/或者回答时间推断患有脑功能障碍的可能性。例如服务器1即使在针对第一以及第二提问的回答双方均为正确的回答而推断为对象者为正常的情况下，在脸部的左右的动态以及/或者状态为不对称的情况、或者判断为处于困难状态的情况下，也推断为有患有脑功能障碍的可能性。或者，即使在针对第一提问的回答为正确的回答且针对第二提问的回答为错误的回答而作为对象者的偶发性的回答失误进行了处理的情况下，同样地在脸部的左右的动态以及/或者状态为不对称的情况、或者判断为处于困难状态的情况下，也可以进行改变问题等并重新提问的处理。
服务器1将推断结果输出至其他用户的便携终端2并进行显示。图11B图示了推断结果显示时的聊天画面。例如服务器1显示表示推断结果(判断结果)的文本，并且显示将推断结果数值化的分数。
服务器1算出与第一提问对应的“声音”、与第二提问对应的“文本”、以及与图像以及回答时间对应的“反应”各自的分数，并显示于便携终端2。分数的算出方法没有特别限定，例如服务器1对在过去规定期间(例如一周)进行的第一以及第二提问各自的回答正确与否进行统计，算出分别评价了声音识别能力以及文字识别能力的分数(例如在规定期间内的正确的回答率)，并作为“声音”以及“文本”的分数进行输出。另外，例如服务器1从图像以及/或者回答时间算出困难状态的程度，作为“反应”的分数进行输出。
图12是示出推断结果显示时的聊天画面的另一例的说明图。在图12中，图示了推断为患有脑功能障碍的可能性高的情况下的聊天画面。在推断为患有脑功能障碍的可能性高的情况下，服务器1将推断结果通知给其他用户的便携终端2并显示于聊天画面。
具体来说，服务器1与图11B同样地显示将推断结果数值化后的分数，并且显示表示患有脑功能障碍的可能性高的文本。例如服务器1如图12所示，示出被推断为可能性高的脑功能障碍的种类，并且显示促进去医疗机构就诊的评价。
此外，服务器1不仅向与对象者关联的其他用户(家人等)发出通知，当然也可以向对象者本人通知患有脑功能障碍的可能性的推断结果。
服务器1还在聊天画面显示用于阅览(确认)对象者的回答历史记录的链接121。链接121为用于输出(显示)历史记录信息的对象，历史记录信息示出对象者的过去的针对第一以及第二提问的回答、以及患有脑功能障碍的可能性的推断结果的历史记录，链接121为用于迁移至图13的历史记录画面的对象。在接受了向链接121的操作输入的情况下，便携终端2迁移至图13的历史记录画面。
此外，可以设为即使在推断为对象者的状态正常的情况(图11B)下，也能够阅览历史记录信息。另外，不仅可以从聊天画面迁移，当然还可以设为在任何时候都能够阅读历史记录信息。
图13是示出历史记录画面的一例的说明图。历史记录画面为显示针对第一以及第二提问的对象者的回答正确与否、在回答时拍摄到的对象者的拍摄图像、基于回答以及图像的脑功能障碍的推断结果等一连串的历史记录信息的显示画面。服务器1将各种历史记录信息存储在回答历史记录DB141中，并与来自便携终端2的要求对应地输出历史记录信息。例如历史记录画面包括回答历史记录表131、图像显示栏132、分数图表133。
回答历史记录表131为一览显示过去的各时间点的针对第一以及第二提问(“声音”以及“文本”)的回答正确与否、基于回答时的拍摄图像等判断出的对象者的困难状态的程度(“反应”的分数)、以及脑功能障碍的推断结果(“判断”)的表。另外，在回答历史记录表131中，与各时间点对应关联地显示用于再生拍摄图像(视频)的再生按钮1311。
图像显示栏132为显示在针对第一以及/或者第二提问的回答时拍摄到对象者的图像的显示栏。在接受了向再生按钮1311的操作输入的情况下，便携终端2显示在对应的时间点拍摄到的图像(视频)。
分数图表133是以时间序列示出在图11B、图12中例示的各分数的图表。便携终端2显示表示基于针对第一提问的回答正确与否而评价了声音识别能力的“声音”、基于针对第二提问的回答正确与否而评价了文字识别能力的“文本”、以及基于拍摄图像等而评价了对象者的状态的“反应”各自的分数的图表(例如折线图表)，向用户提示对象者的变化。
如上述那样，服务器1在从对象者的说话声音检测到异常处的情况下输出第一以及第二提问，从针对各提问的回答正确与否、以及回答时的图像等推断出脑功能障碍的可能性。由此，能够早期发现对象者的异常，并且进行脑功能障碍的分析。
图14以及图15是示出实施方式2的服务器1执行的处理次序的一例的流程图。在执行步骤S22的处理之后，或者在步骤S21中为否的情况下，服务器1执行以下的处理。
服务器1的控制部11从其他用户接受包括图像在内的消息的输入(步骤S23)。控制部11对该消息进行解析，提取由消息包含在内的图像，并且提取文本中的固有名词等(步骤S24)。
控制部11基于在步骤S24中解析的消息，将基于声音的第一提问输出至扬声器终端3(步骤S25)。例如控制部11将提取了图像的一部分的缩略图像、以及与该图像不同的另一图像作为选项并显示于扬声器终端3，输出促使选择哪一种图像的画面操作的声音。控制部11接受针对第一提问的回答的输入(步骤S26)。具体来说，如上述那样，控制部11接受从显示的多个图像(选项)选择某一个的操作输入。
控制部11将基于文本的第二提问输出至扬声器终端3(步骤S27)。例如控制部11将用于选择是否阅览图像的按钮作为选项并显示，并且将询问是否阅览在步骤S26中选择的图像的文本显示于扬声器终端3。控制部11接受针对第二提问的回答的输入(步骤S28)。例如控制部11接受从显示的多个按钮(选项)选择某一个的操作输入。
控制部11判断针对第二提问的回答是否为正确的回答(步骤S29)。例如控制部11判断是否接受了表示阅览图像的选择输入。在判断为正确的回答的情况(S29：是)下，控制部11将来自其他用户的消息(图像)输出至扬声器终端3(步骤S30)。
在判断为不是正确的回答的情况(S29：否)下，控制部11判断从输出第二提问起是否经过了规定时间(步骤S31)。在判断为没有经过规定时间的情况(S31：否)下，控制部11将处理返回步骤S29。在执行步骤S30的处理之后，或者在步骤S31中为是的情况下，控制部11从扬声器终端3获取步骤S26以及/或者步骤S28的回答时拍摄到对象者的图像(步骤S32)。
控制部11基于针对第一以及第二提问的回答、以及回答时的对象者的图像以及/或者回答时间，推断对象者患有脑功能障碍的可能性(步骤S33)。具体来说，控制部11推断是否患有脑功能障碍的可能性，并且推断脑功能障碍的种类(失语症以及痴呆症)。例如控制部11在针对第一提问的回答为错误的回答、且针对第二提问的回答为正确的回答的情况下，推断为患有失语症的可能性高。另外，控制部11在针对第一以及第二提问的回答双方均为错误的回答的情况下，推断患有痴呆症的可能性高。
而且，控制部11从回答时的对象者的图像判断脸部的左右的状态以及/或者动态是否为不对称。另外，控制部11从对象者的图像以及/或者回答时间判断对象者是否处于困难状态。控制部11即使在从针对第一以及第二提问的回答推断为正常的情况下，也根据脸部的左右的不对称性、以及/或者困难状态的判断结果而推断出有患有脑功能障碍的可能性。控制部11将针对第一以及第二提问的回答正确与否、回答时的对象者的拍摄图像、患有脑功能障碍的可能性的推断结果等存储在回答历史记录DB141内(步骤S34)。
控制部11将推断结果输出至其他用户的便携终端2(步骤S35)。例如控制部11显示是否患有脑功能障碍的可能性的推断结果，并且算出基于针对第一提问(声音)的回答、针对第二提问(文本)的回答、以及回答时的对象者的图像以及/或者回答时间评价了对象者的分数，并显示于便携终端2。
控制部11判断是否输出示出对象者的过去的针对第一以及第二提问的回答、以及基于回答的患有脑功能障碍的可能性的推断结果的历史记录的历史记录信息(步骤S36)。例如控制部11判断是否接受在图12中例示的向聊天画面中链接121的操作输入。在判断为输出历史记录信息的情况(S36：是)下，控制部11向其他用户的便携终端2输出并显示历史记录信息(步骤S37)。具体来说，如上述那样，控制部11除了过去的各时间点的针对第一以及第二提问的回答、脑功能障碍的推断结果以外，还将拍摄到对象者的图像等作为历史记录信息进行显示。在执行步骤S36的处理之后或者在步骤S36中为否的情况下，控制部11结束一连串的处理。
此外，以上，设为接受来自其他用户的消息作为输入并输出第一以及第二提问，但本实施方式不限于此。例如服务器1也可以设为与有无其他用户的消息无关地，每隔一定期间将第一以及第二提问输出至扬声器终端3并接受回答的输入。在该情况下，只要服务器1事先在数据库内准备提问用的图像(在上述的例子中为孙子的图像)等，使用该图像等来生成第一以及第二提问即可。像这样，可以与有无来自其他用户的消息无关地输出第一以及第二提问。
以上，根据本实施方式2，通过进行基于声音的第一提问和基于文本的第二提问，能够恰当地推断患有脑功能障碍的可能性。
另外，根据本实施方式2，能够基于针对各提问的回答正确与否的组合，推断患有脑功能障碍的种类(恰当地为失语症以及痴呆症)。
另外，根据本实施方式2，通过在扬声器终端3显示回答的选项，并利用画面操作接受回答的输入，即使在因脑功能障碍而导致识别能力低下的情况下也能够恰当地促进回答的输入。
另外，根据本实施方式2，在从对象者的对话声音检测出异常处的情况下开始提问。由此，能够早期发现脑功能障碍。
另外，根据本实施方式2，从作为对象者的对话对方的其他用户的消息生成第一以及第二提问。由此，能够进行与对象者对应的提问。
另外，根据本实施方式2，除了回答自身，还基于回答时的对象者的图像、以及/或者回答时间推断患有脑功能障碍的可能性。由此，能够检测出发生了脑梗塞等的状态(脸部的左右的不对称性)、或者处于回答困难的状态，能够更恰当地推断脑功能障碍的可能性。
应认为本公开的实施方式在所有方面为例示性的，并非有限定性。本发明的范围不受上面内容限制，而由权利要求书示出，并且包含在与权利要求书均等的含义以及范围内的所有变更。
附图标记说明
1服务器(信息处理装置)
11控制部
12主存储部
13通信部
14辅助存储部
P1程序
141回答历史记录DB
2便携终端
21控制部
22主存储部
23通信部
24显示部
25输入部
26声音输出部
27声音输入部
28拍摄部
29辅助存储部
P2程序
3扬声器终端
31控制部
32主存储部
33通信部
34显示部
35输入部
36声音输出部
37声音输入部
38拍摄部
39辅助存储部
P3程序。

Claims (15)

1.一种程序，其使计算机执行如下的处理：
利用声音输出第一提问，
从对象者接受针对所述第一提问的回答，
利用文本输出第二提问，
从所述对象者接受针对所述第二提问的回答，
判断针对所述第一提问以及所述第二提问的回答是否正确，
基于针对所述第一提问以及所述第二提问的回答正确与否，推断所述对象者患有脑功能障碍的可能性。
2.根据权利要求1所述的程序，其中，
根据所述第一提问以及所述第二提问各自的回答正确与否的组合，推断患有所述脑功能障碍的可能性、以及所述脑功能障碍的种类。
3.根据权利要求2所述的程序，其中，
在针对所述第一提问的回答为错误的回答、且针对所述第二提问的回答为正确的回答的情况下，推断为有患有失语症的可能性，
在针对所述第一提问以及所述第二提问的回答双方为错误的回答的情况下，推断为有患有痴呆症的可能性。
4.根据权利要求1～3中任一项所述的程序，其中，
将针对所述第一提问以及所述第二提问的回答的选项显示于显示部，
通过接受从所显示的选项选择某一个的画面操作，来接受针对所述第一提问以及所述第二提问的回答的输入。
5.根据权利要求1～4中任一项所述的程序，其中，
获取将从所述对象者输入的声音转换后的文本，
从所述文本检测异常处，
在检测出所述异常处的情况下，输出所述第一提问以及所述第二提问。
6.根据权利要求5所述的程序，其中，
从所述对象者接受向包含所述对象者在内的多个用户参加的聊天群发送的消息的声音输入，
将所述消息转换为所述文本并检测所述异常处，
在检测出所述异常处的情况下，将以不同于其他字符串的显示形态示出与所述异常处对应的字符串的所述文本显示于其他用户的终端装置。
7.根据权利要求6所述的程序，其中，
从显示了所述文本的所述其他用户的终端装置接受消息的输入，基于所述其他用户的消息生成所述第一提问以及所述第二提问，输出所生成的所述第一提问以及所述第二提问。
8.根据权利要求1～7中任一项所述的程序，其中，
获取对针对所述第一提问或者所述第二提问回答时的所述对象者进行拍摄得到的图像，
基于针对所述第一提问以及所述第二提问的回答正确与否、以及所述图像，推断患有所述脑功能障碍的可能性。
9.根据权利要求8所述的程序，其中，
基于所述图像，判断所述对象者的脸部的左右的动态或者状态是否不对称，
在判断为不对称的情况下，推断为有患有所述脑功能障碍的可能性。
10.根据权利要求8或者9所述的程序，其中，
基于所述图像，判断所述对象者是否处于回答困难的状态，
在判断为处于回答困难的状态的情况下，推断为有患有所述脑功能障碍的可能性。
11.根据权利要求1～10中任一项所述的程序，其中，
计测从输出所述第一提问或者所述第二提问到接受回答的输入为止的回答时间，
基于针对所述第一提问以及所述第二提问的回答正确与否、以及所述回答时间，推断患有所述脑功能障碍的可能性。
12.根据权利要求1～11中任一项所述的程序，其中，
将患有所述脑功能障碍的可能性的推断结果通知给所述对象者或者与该对象者有关系的其他用户。
13.根据权利要求1～12中任一项所述的程序，其中，
将针对所述第一提问以及所述第二提问的回答、以及基于该回答正确与否推断出的患有所述脑功能障碍的推断结果存储至存储部，
输出表示所述回答以及所述推断结果的历史记录的历史记录信息。
14.一种信息处理装置，其具备：
利用声音输出第一提问的第1输出部；
从对象者接受针对所述第一提问的回答的第1接受部；
利用文本输出第二提问的第2输出部；
从对象者接受针对所述第二提问的回答的第2接受部；
判断部，其判断针对所述第一提问以及所述第二提问的回答是否正确；以及
推断部，其基于针对所述第一提问以及所述第二提问的回答正确与否，推断所述对象者患有脑功能障碍的可能性。
15.一种信息处理方法，由计算机执行如下的处理：
利用声音输出第一提问，
从对象者接受针对所述第一提问的回答，
利用文本输出第二提问，
从所述对象者接受针对所述第二提问的回答，
判断针对所述第一提问以及所述第二提问的回答是否正确，
基于针对所述第一提问以及所述第二提问的回答正确与否，推断所述对象者患有脑功能障碍的可能性。
CN202180058332.3A 2020-09-08 2021-09-02 程序、信息处理装置以及信息处理方法 Pending CN116096301A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020150747 2020-09-08
JP2020-150747 2020-09-08
PCT/JP2021/032289 WO2022054687A1 (ja) 2020-09-08 2021-09-02 プログラム、情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
CN116096301A true CN116096301A (zh) 2023-05-09

Family

ID=80632351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058332.3A Pending CN116096301A (zh) 2020-09-08 2021-09-02 程序、信息处理装置以及信息处理方法

Country Status (5)

Country Link
US (1) US20230207073A1 (zh)
EP (1) EP4205666A4 (zh)
JP (1) JPWO2022054687A1 (zh)
CN (1) CN116096301A (zh)
WO (1) WO2022054687A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118338853A (zh) * 2022-03-28 2024-07-12 泰尔茂株式会社 计算机程序、信息处理方法及信息处理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6122849B2 (ja) * 2012-06-29 2017-04-26 テルモ株式会社 情報処理装置及び情報処理方法
US10515631B2 (en) * 2013-12-17 2019-12-24 Koninklijke Philips N.V. System and method for assessing the cognitive style of a person
JP6755128B2 (ja) * 2016-06-03 2020-09-16 一生 重松 認知症診断支援装置とその作動方法および作動プログラム、並びに認知症診断支援システム
US10910105B2 (en) * 2017-05-31 2021-02-02 International Business Machines Corporation Monitoring the use of language of a patient for identifying potential speech and related neurological disorders
JP6667907B2 (ja) 2018-06-28 2020-03-18 株式会社アルム 認知症診断装置、および認知症診断システム
JP6729923B1 (ja) * 2020-01-15 2020-07-29 株式会社エクサウィザーズ 難聴判定装置、難聴判定システム、コンピュータプログラム及び認知機能レベル補正方法

Also Published As

Publication number Publication date
WO2022054687A1 (ja) 2022-03-17
JPWO2022054687A1 (zh) 2022-03-17
EP4205666A4 (en) 2024-02-21
US20230207073A1 (en) 2023-06-29
EP4205666A1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
US11636859B2 (en) Transcription summary presentation
JP2018015139A (ja) 認知症検査システム
JP6667907B2 (ja) 認知症診断装置、および認知症診断システム
US20220076694A1 (en) Cognitive impairment detected through audio recordings
US10978209B2 (en) Method of an interactive health status assessment and system thereof
WO2021015948A1 (en) Measuring and responding to attention levels in group teleconferences
Barnes et al. Everyday conversation after right hemisphere damage: A methodological demonstration and some preliminary findings
US20230207073A1 (en) Program, information processing device, and information processing method
JP2009267621A (ja) 通信装置
JP7040593B2 (ja) 接客支援装置、接客支援方法、及び、接客支援プログラム
CN113780013A (zh) 一种翻译方法、设备和可读介质
JP2020030231A (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2017029850A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20230208966A1 (en) Determination method, information processing apparatus, and computer-readable recording medium storing determination program
US20230200748A1 (en) Program, information processing device, and information processing method
US11189289B2 (en) Information processing device, information processing method, and information processing system
US20200337568A1 (en) Computer system, drug recommendation method, and program
JP2023036273A (ja) 情報処理装置及び情報処理プログラム
US11430429B2 (en) Information processing apparatus and information processing method
TWI659429B (zh) 互動式健康狀態評估系統及其方法
JP2021033434A (ja) 医療支援装置及びプログラム
JP2020149072A (ja) 会話記録システム、会話記録方法、サーバ装置、及びプログラム
Kondapi et al. Pacifiurr: An android chatbot application for human interaction
JP7118821B2 (ja) 接遇ガイドプログラム、接遇ガイド装置、及び接遇ガイドシステム
JP7064159B1 (ja) 情報処理方法、プログラム、及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination