CN107888652B - 处理结果异常检测装置、存储介质、检测方法和移动体 - Google Patents

处理结果异常检测装置、存储介质、检测方法和移动体 Download PDF

Info

Publication number
CN107888652B
CN107888652B CN201710884531.5A CN201710884531A CN107888652B CN 107888652 B CN107888652 B CN 107888652B CN 201710884531 A CN201710884531 A CN 201710884531A CN 107888652 B CN107888652 B CN 107888652B
Authority
CN
China
Prior art keywords
user
emotion
processing result
processing
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710884531.5A
Other languages
English (en)
Other versions
CN107888652A (zh
Inventor
相马英辅
汤原博光
新谷智子
后藤绅一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107888652A publication Critical patent/CN107888652A/zh
Application granted granted Critical
Publication of CN107888652B publication Critical patent/CN107888652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)

Abstract

本发明提供能够减轻或消除带给用户的烦琐感并且判断异常的处理结果的处理结果异常检测装置、处理结果异常检测程序、处理结果异常检测方法和移动体。处理结果异常检测装置(3)具有：举动识别部(311)，其识别用户的举动(图3的步骤02、图3的步骤12)；处理部(36)，其执行与用户的举动相对应的处理(图3的步骤10)；情感推定部(312)，其根据用户对处理结果的反应，来推定用户的情感的程度(图3的步骤14)；和判断部(314)，其在所推定出的用户的情感的程度在规定的阈值以上的情况下(图3的步骤18：是或图3的步骤20：是)，将处理结果判断为异常(图3的步骤20或图3的步骤24)。

Description

处理结果异常检测装置、存储介质、检测方法和移动体
技术领域
本发明涉及一种处理结果异常检测装置、处理结果异常检测程序、处理结果异常检测方法和移动体。
背景技术
现有技术中，在进行路径引导的车载装置中，已知以下装置：其对通过话筒获取到的用户语音进行分析，来识别用户通过语音进行的指示(参照专利文献1)。
例如，在专利文献1中提出了以下技术：当由作为用户的驾驶员作出路径引导的指示时，判断驾驶员的状态是否为基于平常心的状态，在该判断结果为否定的情况下，判断驾驶员的焦急度，根据所判断出的该焦急度，来切换路径引导时的语音的种类。
另外，在专利文献2中公开了一种报告识别错误的技术。
专利文献1：日本发明专利公开公报特开2002-221429号
专利文献2：日本发明专利公开公报特开2000-259178号
但是，由于周围的噪音或用户的个别的发声方法等理由，有时无法正确地识别用户的语音输入。在这种情况下，为了向系统或应用程序进行反馈，进行通过通信网络将错误现象上传到外部的管理中心等处理。有时错误(error)是不容易区分正误的，但也存在明显可知是语音识别错误的事例。但是，若用户认为这些也许全部都是错误而进行逐一上传等作业是很费工夫的作业，除此之外，若交由用户来区分是怎样的错误，则可能会带给用户烦琐的感觉。
发明内容
因此，本发明的目的在于提供一种能够减轻或消除带给用户的烦琐感并且检测处理结果的异常的、处理结果异常检测装置、处理结果异常检测程序、处理结果异常检测方法和移动体。
本发明的处理结果异常检测装置具有：举动识别部，其识别用户的举动，其中所述用户的举动包括所述用户的反应；处理部，其执行与所述用户的举动相对应的处理；情感推定部，其根据所述用户对所述处理的结果、即处理结果的反应，来推定所述用户的情感的程度；和判断部，其在所推定出的所述用户的情感的程度在规定的阈值以上的情况下，将所述处理结果判定为异常。
在本发明的处理结果异常检测装置中优选为，所述情感推定部被构成为：使其根据所述用户对所述处理结果的反应，推定所述用户的情感的程度，此外还推定所述用户的情感的类别，在所述用户的情感的类别为否定性类别的情况下，所述判断部将比所述用户的情感的类别为肯定性类别的情况小的值设为所述阈值。
在本发明的处理结果异常检测装置中优选为，在所述用户的情感的程度在规定的第1阈值以上的情况下，所述判断部将所述处理结果判断为第1异常，其中该第1异常伴随对所述用户的指示的识别异常；在所述用户的情感的程度低于所述第1阈值且在比所述第1阈值小的第2阈值以上的情况下，所述判断部将所述处理结果判断为第2异常，其中该第2异常不伴随对所述用户的指示的识别异常。
在本发明的处理结果异常检测装置中优选为，所述情感推定部根据与所述用户的指示相对应的所述用户的举动，来推定所述处理之前的所述用户的情感的程度，所述判断部根据所述处理之前所述用户的情感的程度来规定所述阈值。
在本发明的处理结果异常检测装置中优选为，所述情感推定部构成为：使其根据所述用户对所述处理结果的反应，推定所述用户的情感的程度，此外还推定所述用户的情感的类别，所述判断部在所述用户的情感的类别为特定类别、且所述用户的情感的程度在所述阈值以上的情况下，将所述处理结果判定为异常。
在该结构的处理结果异常检测装置中优选为，所述特定类别包括肯定性情感的类别。
根据本发明的处理结果异常检测装置、处理结果异常检测程序、处理结果异常检测方法和移动体，能够减轻或消除带给用户的烦琐感，并且判断异常的处理结果。
附图说明
图1是处理结果异常检测系统的整体结构图。
图2是智能代理装置(agent device)的框图。
图3是处理结果异常检测处理的流程图。
图4是显示情感类别的表的说明图。
图5是说明识别异常一例的图。
图6是说明识别异常另一例的图。
图7A是显示肯定性情感的阈值设定一例的图；图7B是显示否定性情感的阈值设定一例的图；图7C是显示推定出用户的情感为肯定性情感的情况下的、肯定性情感的阈值设定一例的图；图7D是显示推定出用户的情感为否定性情感的情况下的、否定性情感的阈值设定一例的图。
附图标记说明
3：智能代理装置；311：举动识别部；312：情感推定部；314：判断部；36：处理部；U：用户。
具体实施方式
参照图1～图7D来对本发明的处理结果异常检测装置、处理结果异常检测程序、处理结果异常检测方法和移动体的一个实施方式进行说明。
如图1所示，处理结果异常检测系统具有服务器1、多个移动体2和被搭载于各个移动体2的智能代理装置3(处理结果异常检测装置)。服务器1与智能代理装置3以能够通过无线通信网相互进行通信的方式连接。移动体2例如为车辆，在本说明书中将其乘坐者称为用户U。在图1中，1个移动体中乘坐有1名乘坐者(用户U)，但也可以为1个移动体中乘坐有多名乘坐者。
(服务器的结构)
服务器1由一台或多台计算机构成。服务器1构成为如下：从各个智能代理装置3接收数据和请求，将数据存储到数据库等存储部，按照请求执行相应的处理，且将处理结果发送给智能代理装置3。
构成服务器1的计算机的一部分或全部也可以由移动局(mobile station)、例如一个或多个智能代理装置3的结构要素构成。
所谓“构成为”本发明的结构要素执行担当运算处理的意思是指，“编程为”或“设计(design)为”构成该结构要素的CPU等运算处理装置从ROM、RAM等存储器或记录媒介中读取所需的信息，此外还读取软件，针对该信息按照该软件来执行运算处理。各结构要素可以由共同的处理器(运算处理装置)构成，各结构要素也可以由能够相互通信的多个处理器构成。
(移动体的结构)
移动体2例如为四轮机动车，但除此之外或作为替代，也可以为两轮机动车、自行车、机器人或倒立摆型车辆等。
如图2所示，移动体2上搭载有：传感器部21，其输出表示移动体2的各状态的信号；和智能代理装置3，其通过无线连接或有线连接而与传感器部21连接。
传感器部21具有获取移动体2的当前位置的GPS传感器211、获取移动体2的移动速度的车速传感器222和获取移动体2的角速度的陀螺仪传感器223。传感器部21构成为：由未图示的传感器获取移动体2的点火开关的状态、对移动体2的加速、制动或操纵等的操作指示量，还获取搭载于移动体2的其他设备信息。传感器部21构成为：将所获取到的信息输出给智能代理装置3。
(智能代理装置的结构)
智能代理装置3例如为以下信息终端：如导航装置那样，尺寸等被设计成能够搭载于智能代理装置3的用户U(移动体的乘员)所乘坐的移动体2的信息终端。
智能代理装置3也可以由以下信息终端构成：平板型终端，或者能够通过应用程序进行定制且能够进行外部信息搜索的无线电话、所谓智能机等，尺寸、形状和重量被设计成能够由用户U携带的信息终端。
智能代理装置3是能够根据用户的思考、行动和状态来向用户U表示出某种反应、即“直接或间接地鼓励(encouragement：激励)”的装置，其考虑用户U的意图来控制移动体2，或者，在只有驾驶员1人乘车时通过发话等一些(某种)手段来作为会话对象，或者，在有同乘者的多人乘车时，通过提供话题等某种手段来加入会话以使乘员间保持良好的会话氛围，据此来辅助乘员能够更舒适地乘车。
智能代理装置3具有控制部31、存储部32、输出部33、状态识别部34、通信部35和处理部36。
控制部31由CPU等处理器构成。控制部31中安装有处理结果异常检测程序。控制部31构成为：通过启动处理结果异常检测程序，来作为执行后述的运算处理的举动识别部311、情感推定部312、处理识别部313和判断部314发挥功能。
控制部31构成为：能够与存储部32、输出部33、状态识别部34、通信部35和处理部36进行信息收发。
存储部32由RAM、ROM(EEPROM)或HDD、可拆装的卡片式存储器等记录装置构成，且构成为记录各种信息。存储部32构成为：能够存储和读取在控制部31进行的运算处理中存储或使用的用户举动信息321、执行处理信息322、用户情感信息323、异常信息324和反馈信息325。
输出部33具有图像显示部331和语音输出部332。
图像显示部331由液晶屏或显示器等能够显示图像的显示装置构成，显示与被安装于控制部31的程序(处理结果异常检测程序)的功能相对应的功能图像或导航图像。
语音输出部332例如由扬声器构成，且构成为：按照从控制部31输入的信号来输出语音。另外，语音输出部332构成为：将表示动作状况的信号输出给控制部31，其中该动作状况包括所输出的语音等。
状态识别部34具有操作输入部341、拍摄部342和语音输入部343。
操作输入部341由触摸板那样的检测用户U的触摸操作的输入装置构成。当通过操作输入部341检测到触摸操作时，将与该触摸操作相对应的信号向控制部31输出。也可以由操作输入部341和图像显示部331的组合来构成触摸屏。另外，除此之外或作为替代，操作输入部341也可以由按键、键盘和鼠标等能够检测用户U的操作的输入装置构成。
拍摄部342例如由摄像头构成，且构成为：对移动体2的内部进行摄像，且对所拍摄到的图像进行信号化并输出给控制部31。
语音输入部343例如由话筒构成，且构成为：检测用户U的语音，且将所检测到的语音作为信号输出给控制部31。语音输入部343也可以构成为：从控制部31被输入的信号中除去从语音输出部332输出的语音和移动体2的动作音等环境音，据此来识别用户U的语音。
通信部35具有近距离通信部351和无线通信网通信部352。
近距离通信部351构成为：通过与USB(UniversalSerialBus)连接线等的有线通信、或按照与近距离的无线通信相符合的通信标准的移动体2内的无线LAN等，来与移动体2或被搭载于移动体2的设备(例如传感器部21)相互进行通信。
无线通信网通信部352构成为：按照与在远距离的无线通信相符合的通信标准，通过无线通信网来与服务器1等外部终端进行相互通信，其中远距离的无线通信为：使用了遵照3G、4G、LTE(Long term Evolution：长期演进技术)、或IEEE802.X(X为b、c、ac、n等)标准的WiFi(注册商标)等的无线通信。
处理部36具有搜索部361和导航部362。
搜索部361构成为：例如通过经由无线通信网通信部352与服务器1进行通信，来搜索与所指定的关键词相关联的信息，且将搜索结果输出给输出部33。
导航部362构成为：例如通过经由无线通信网通信部352与服务器1进行通信，来探索到所指定的目的地为止的路径，且将搜索结果输出给输出部33。
处理部36也可以构成为：通过经由近距离通信部351与移动体2进行通信，来控制被搭载于移动体2的空调设施等各设备的动作状态。
构成智能代理装置3的计算机的一部分也可以由移动体2外部的计算机、例如服务器1的结构要素构成。例如，服务器1也可以通过处理来自智能代理装置3的请求而对智能代理装置3作出回答，来作为智能代理装置3的控制部31或处理部36的一部分或全部发挥功能。另外，服务器1也可以通过响应来自智能代理装置3的请求而存储或读取数据，来作为智能代理装置3的存储部32的一部分或全部发挥功能。
(处理结果异常检测处理)
参照图3～图7D来对控制部31所执行的处理结果异常检测处理进行说明。
举动识别部311通过状态识别部34来识别用户U的举动(图3的步骤02)。所谓用户U的举动例如可以是通过操作输入部341所检测到的用户U的操作，也可以是通过拍摄部342所拍摄到的用户U的动作或表情，还可以是通过语音输入部343所检测到的用户U的发声。举动识别部311将所识别出的用户U的举动、和由未图示的计时器测定出的识别出举动的时刻追加存储于存储部32的用户举动信息321。
情感推定部312根据在图3的步骤02中所识别出的用户U的举动来推定用户U的情感(图3的步骤04)。例如，情感推定部312将用户U的举动作为输入，而使用通过深度学习(deep learning)或支持向量机(support vector machine)等机器学习来制作的过滤器，来推定用户U的情感。用户U的情感通过图4所示的情感表来示出。示出的情感越浓，表示用户U的情感程度越强。情感推定部312将所推定出的用户的情感、和由计时器测量出的推定日期时间追加存储于存储部32的用户情感信息323。
用户U的情感通过情感的类别和情感的程度来表现。情感例如如由普拉切克先生提倡的那样，提倡分成几个种类进行理解。例如，情感包括喜欢、稳定、舒服、高兴、喜悦、信赖、期待等肯定性情感的类别、和不稳定、讨厌、疼痛、愤怒、厌恶等否定性情感的类别。情感的推定根据公知或新的情感模型来进行。图4是简略地表示公知的普拉特切克情感模型的图。在公知的普拉切克情感模型中，情感分类成4组8种的情感“喜悦、悲伤、愤怒、恐惧、厌恶、信赖、惊讶、期待”。各情感分类成放射的8个方向L1～……L5～L8。各情感被表现为，越靠圆的中心(C1→C3)，情感的程度越强。例如，喜悦L1被分类为小喜悦L1－C1、中喜悦L1－C2、大喜悦L1－C3。情感的程度可以用0以上的数值表示，情感的程度越强，意思指该情感越强。用户U的情感按照多种情感的每个类别，由分配给各个类别的情感的程度来表现。
判断部314在图3的步骤04中根据所推定出的用户U的情感来设定阈值(图3的步骤06)。判断部314按照情感的各类别，根据所推定出的用户U的情感，来设定第1阈值和比第1阈值小的第2阈值。关于阈值设定处理的详细情况在后面进行叙述。
处理识别部313在图3的步骤02中根据所识别出的用户U的举动，来识别应执行的处理(图3的步骤08)。
在此，例如考虑在用车辆移动的途中搜索“周边的盐拉面的店铺”的情况。在这种情况下，用户U发声为“盐拉面”。在图3的步骤08中，识别用户U的发声来作为用户U的举动。
处理识别部313通过处理部36来执行在图3的步骤08中所识别出的处理(图3的步骤10)。其结果，例如，可从输出部33输出处理部36中的处理结果，或者控制搭载于移动体2的设备的动作状态。处理识别部313将由计时器示出的处理执行日期时间和处理结果追加于存储部32的执行处理信息322。
举动识别部311通过状态识别部34来识别用户U对图3的步骤10的处理结果的反应(举动)(图3的步骤12)。举动识别部311将所识别出的用户U的举动、和由计时器测定出的识别出举动的时刻追加存储于存储部32的用户举动信息321。
情感推定部312根据在图3的步骤12中识别出的用户U的反应，来推定用户U的情感(图3的步骤14)。情感推定部312将所推定出的用户U的情感、和由计时器示出的推定日期时间追加于存储部32的用户情感信息323。
判断部314判断用户U的情感的类别是否为特定类别(图3的步骤16)。在此，特定类别例如为讨厌、愤怒、急躁、失望、高兴、喜欢、喜不自禁、喜悦。在使用户U产生多种类别的情感的情况下，当其中包括特定类别时，判断部314将图3的步骤16的判断结果判断为肯定性。
图3的步骤16是用于判断处理结果是否为异常的一个处理，在此，特定类别不仅包括讨厌、愤怒、急躁、失望这样的否定性情感的类别，而且包括高兴、喜欢、喜不自禁、喜悦这样的肯定性情感的类别是由于下面的理由。
例如，如图5所示，虽然用户U进行了“盐拉面”的发言(日语)51，但智能代理装置3的输出部33(图像显示部331)却显示了与“盐拉面”没有关系的、与“错视”(日语发音相近)61相关联的信息的搜索结果62等、不符合用户期待的处理结果，在该情况下，存在使用户U产生讨厌、愤怒、急躁、失望这样的否定性情感的可能性，此外，还存在用户对处理结果62的意外程度感到有趣等、使用户U产生高兴、喜欢、喜不自禁这样的肯定性情感的可能性。
在图3的步骤16的判断结果为肯定性的情况下(图3的步骤16：是)，判断部314判断用户U的特定类别的情感的程度是否在针对该特定类别规定的第1阈值以上(图3的步骤18)。
在该判断结果为肯定性的情况下(图3的步骤18：是)，判断部314判断为处理结果是第1异常(图3的步骤20)，其中该第1异常伴随对用户U的举动的识别异常。判断部314将在图3的步骤02中识别出的用户U的举动、图3的步骤10的处理结果和表示是第1异常的意思追加于存储部32的异常信息324。
在该判断结果为否定性的情况下，(图3的步骤18：否)，判断部314判断用户U的特定类别的情感的程度是否在针对该特定类别规定的第2阈值以上(图3的步骤22)。
在该判断结果为肯定性的情况下(图3的步骤22：是)，判断部314判断为处理结果是第2异常(图3的步骤24)，其中该第2异常不伴随对用户U的举动的识别异常。判断部314将在图3的步骤02中识别出的用户U的举动、图3的步骤10的处理结果和表示是第2异常的意思追加于存储部32的异常信息324。
在图3的步骤20或图3的步骤24的处理之后，判断部314将异常信息324上传到服务器1(图3的步骤26)。
在图3的步骤16或图3的步骤22的任一个的判断结果为否定性的情况下(图3的步骤16：否或图3的步骤22：否)，判断部314将在图3的步骤02中识别出的用户U的举动、图3的步骤10的处理结果和表示不是异常的意思的反馈信息上传到服务器1(图3的步骤28)。
在此，参照图5～图7A来对图3的步骤18～图3的步骤24的处理的意思进行补充。
在本说明书中，将处理结果的异常分为第1异常和第2异常。
第1异常是如图5所示的那样的、像处理结果62这样的起因于对用户的举动的识别异常的异常，其中该处理结果62是指：尽管用户U是进行“盐拉面”的发言(日语)51，但得到的却是对与“盐拉面”的意思和开头的字(词)均不同的“错视”61的处理结果。此外，第1异常还有：识别为与搜索对象关键词的“盐拉面”开头的音相同但意思完全不同的“盐良方面”的识别异常；或者，针对搜索句子“搜索周边的博多拉面或盐拉面的店铺”，却得到像“远方的博多地方的店铺”或“伯方的盐”这样不恰当地识别出各单词关系的结果、识别不同意思的词语的识别异常等。
第2异常是如图6所示那样的、像处理结果72不符合用户U的期待的情况那样的、不伴随对用户U的举动的识别异常的异常，其中该处理结果72是：用户U在内心期待对提供“盐拉面”的店铺进行搜索，因此针对用户U的发言“盐拉面”52进行的关键词“盐拉面”71的处理结果。此外，第2异常例如还有：对于搜索关键词“盐拉面”，没能很好地识别所发声的单词的一部分，仅识别出其余部分(例如后半部分)的“拉面”的识别异常；对于搜索句子“搜索周边的博多拉面或盐拉面的店铺”，虽然恰当地识别出了各单词，但却不是符合用户意图的搜索结果的识别异常，例如有：示出了卖食材的店铺或家庭餐馆的菜单的识别异常。
在这些异常中，与第2异常相比，第1异常对于用户U来说更容易成为意外的结果，因此，与第2异常相比，第1异常更容易带给户U较强的情感。例如，在如图5所示那样的第1异常的情况下，存在用户U以“不可能”这样的反应大笑或大声地说“不对”的可能性。另外，在如图6所示那样的第2异常的情况下，存在用户U怀着“原本期待吃饭的地方、专业店铺”这样的失望性情感、或说“不对”的可能性。
因此，如图7A所示，判断部314例如在用户U的高兴的情感的程度在高兴的第1阈值E1以上的情况下(图3的步骤18：是)，判断为处理结果是第1异常。另一方面，判断部314例如在用户U的高兴的情感的程度低于高兴的第1阈值E1(图3的步骤18：否)、且在比第1阈值E小的第2阈值E2以上的情况下(图3的步骤22：是)，判断为处理结果是第2异常。
据此，能够将第1异常和第2异常区别而检测。
另外，对说明被推后的图3的步骤06的阈值设定进行说明。
优选为：如图7A和图7B所示，判断部314分别将失望那样的否定性类别的情感的阈值D1、D2设定得分别比高兴那样的肯定性类别的情感的阈值E1、E2小。这是由于，通过将带来否定性类别的情感的处理结果识别为异常，且采取对策以使得从异常恢复或不发生异常，来能够实现减轻或消除用户U的否定性类别的情感。
优选为：判断部314还根据在图3的步骤04中所推定出的用户U的情感来设定阈值。
例如，在图3的步骤04中所推定出的用户U的情感为高兴等肯定性类别的情感的程度在规定值以上的情况下，优选为：如图7C所示，将肯定性情感的类别的阈值E1+、E2+设定得比用户U的该情感为平常程度的情况下(该情感的程度为零的情况下)的阈值E1、E2大；如图7D所示，将否定性情感的类别的阈值D1+、D2+设定得比用户U的该情感为平常程度的情况下的阈值D1、D2小。另外，在图3的步骤04中所推定出的用户U的情感为失望等否定性类别的情感的程度在规定值以上的情况下，优选为：将否定性情感的类别的阈值设定得比用户U的该情感为平常程度的情况下的阈值大；将肯定性情感的类别的阈值设定得比用户U的该情感为平常程度的情况下的阈值小。这样一来，能够考虑(斟酌)处理前的用户U的情感来进行异常判断。
(本实施方式的效果)
根据该结构的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2，根据用户U对处理结果的反应来推定用户U的情感的程度(图3的步骤14)，在用户的情感的程度在所定的阈值以上的情况下(图3的步骤18：是或图3的步骤22：是)，判断为处理结果为异常(图3的步骤20或图3的步骤24)。
在此，所谓用户U的情感的程度达到规定的阈值以上的情况是指，如图5或图6所示，处理结果对于用户U来说是意外的处理结果的情况，进而处理结果是不符合用户U的期待、即异常的处理结果的可能性高。
另外，由于根据用户U对处理结果的反应来进行判断处理结果(图3的步骤18或图3的步骤22)，因此，不需要输入处理结果是否符合期待等、由用户U进行的追加作业。其结果，可减轻或消除带给用户U的烦琐感。
因此，根据本发明的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2，能够减轻或消除带给用户U的烦琐感，并且以较好的精度来检测异常的处理结果。
另外，根据上述结构的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2，在用户U的情感的类别为否定性类别的情况下，将与用户U的情感的类别为肯定性类别的情况相比小的值设定为规定的阈值(图3的步骤06、图7A～图7D)。
据此，在产生否定性情感的情况下，易于判断为异常。通过根据这种异常的判断结果进行附加性处理，或进行学习以使得不容易进行异常的处理，能够减轻或消除用户U产生的否定性类别的情感。
在处理结果为存在用户U的识别异常的处理结果的情况下(图5)，推测用户的情感的程度比不存在用户的识别异常的处理结果的情况下(图6)大。
根据鉴于这一点而构成的该结构的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2，可根据用户U的反应来以较好的精度识别处理结果的异常的类别。
即使在处理结果为异常的情况下，根据处理前的用户U的情感，用户U的反应也可能会不同。根据鉴于这一点而构成的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2，根据处理前的用户U的情感来规定阈值(图3的步骤06、图7B～图7D)，因此，可通过考虑处理前的用户U的情感的形式来判断处理结果的异常的有无。
在处理结果为不符合用户U的期待的结果的情况下，用户U所产生的情感的类别是有限的，其结果，根据该结构的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2，在用户U的情感的类别为特定类别的情感的情况下(图3的步骤16：是)，判断为处理结果为异常(图3的步骤20或图3的步骤24)。据此，可提高处理结果的异常的检测精度。
即使在处理结果是不符合用户U的期待的结果的情况下，也存在用户U对意外的结果感到有趣等、使用户U产生肯定性情感的可能性。即使在用户U产生肯定性情感的情况下，当情感的程度在阈值以上时(图3的步骤18：是，图3的步骤22：是，图7A～图7D)，该结构的智能代理装置3、处理结果异常检测程序、处理结果异常检测方法和移动体2也判断为处理结果为异常(图3的步骤20或图3的步骤24)，因此，可提高处理结果的异常的检测精度。
(变形方式)
在本实施方式中，使用了第1阈值和第2阈值，但作为替代也可以使用一个阈值，仅检测第1异常或者不区分第1异常和第2异常双方来进行检测。
在本实施方式中，在图3的步骤26中上传异常信息，但作为替代或除此之外，也可以是：控制部31例如在处理结果为第1异常的情况下，变更识别方法来执行再次识别，或者在处理结果为第2异常的情况下，将处理内容从搜索等处理变更为导航等不同处理来再次执行处理，据此来执行从异常状态恢复的处理。
另外，在为第1异常的情况下，存在由于用户快速地说话而无法识别的可能性，因此，控制部31也可以播放用于促进用户慢慢发声的语音，或进行播放音乐的控制来使用户安静下来。
在本实施方式中，判断部314进行了情感的类别是否为特定类别的判断(图3的步骤16)，但也可以省略该处理而执行图3的步骤18的处理。
在本实施方式中，举动识别部311根据从智能代理装置3所具有的状态识别部34的输入来识别用户U的举动，但除此之外或作为替代，也可以通过与用户U所携带的移动终端进行通信来识别用户U的举动。
另外，处理部36将处理结果输出给智能代理装置3所具有的输出部33，除此之外或作为替代，也可以将处理结果输出给用户U所携带的移动终端的输出部。

Claims (8)

1.一种处理结果异常检测装置，其特征在于，
具有：
举动识别部，其识别用户的举动，其中所述用户的举动包括所述用户的反应；
处理部，其执行与所述用户的举动相对应的处理；
情感推定部，其根据所述用户对所述处理的结果即处理结果的反应，来推定所述用户的情感的程度；和
判断部，其在所推定出的所述用户的情感的程度在规定的阈值以上的情况下将所述处理结果判断为异常，
所述情感推定部根据与所述用户的指示相对应的所述用户的举动，来推定所述处理之前的所述用户的情感的程度，
所述判断部根据所述处理之前所述用户的情感的程度来规定所述阈值。
2.根据权利要求1所述的处理结果异常检测装置，其特征在于，
所述情感推定部被构成为：使其根据所述用户对所述处理结果的反应，推定所述用户的情感的程度，此外还推定所述用户的情感的类别，
在所述用户的情感的类别为否定性类别的情况下，所述判断部将比所述用户的情感的类别为肯定性类别的情况小的值设为所述阈值。
3.根据权利要求1或2所述的处理结果异常检测装置，其特征在于，
在所述用户的情感的程度在规定的第1阈值以上的情况下，所述判断部将所述处理结果判断为第1异常，其中该第1异常伴随对所述用户的指示的识别异常；在所述用户的情感的程度低于所述第1阈值且在比所述第1阈值小的第2阈值以上的情况下，所述判断部将所述处理结果判断为第2异常，其中该第2异常不伴随对所述用户的指示的识别异常。
4.根据权利要求1所述的处理结果异常检测装置，其特征在于，
所述情感推定部被构成为：使其根据所述用户对所述处理结果的反应，推定所述用户的情感的程度，此外还推定所述用户的情感的类别，
所述判断部在所述用户的情感的类别为特定类别且所述用户的情感的程度在所述阈值以上的情况下，判断为所述处理结果为异常。
5.根据权利要求4所述的处理结果异常检测装置，其特征在于，
所述特定类别包括肯定性情感的类别。
6.一种移动体，其特征在于，
具有权利要求1～5中任一项所述的处理结果异常检测装置。
7.一种存储介质，其特征在于，
存储有处理结果异常检测程序，该处理结果异常检测程序用于使计算机执行以下步骤：
举动识别步骤，其识别用户的举动，其中所述用户的举动包括所述用户的反应；
处理步骤，其执行与所述用户的举动相对应的处理；
情感推定步骤，其根据所述用户对所述处理的结果即处理结果的反应，来推定所述用户的情感的程度；和
判断步骤，其在所推定出的所述用户的情感的程度在规定的阈值以上的情况下，将所述处理结果判断为异常，
在所述情感推定步骤中，根据与所述用户的指示相对应的所述用户的举动，来推定所述处理之前的所述用户的情感的程度，
在所述判断步骤中，根据所述处理之前所述用户的情感的程度来规定所述阈值。
8.一种处理结果异常检测方法，该方法由计算机执行，其特征在于，
包括以下步骤：
举动识别步骤，其识别用户的举动，其中所述用户的举动包括所述用户的反应；
处理步骤，其执行与所述用户的举动相对应的处理；
情感推定步骤，其根据所述用户对所述处理的结果即处理结果的反应，来推定所述用户的情感的程度；和
判断步骤，其在所推定出的所述用户的情感的程度在规定的阈值以上的情况下，将所述处理结果判断为异常，
在所述情感推定步骤中，根据与所述用户的指示相对应的所述用户的举动，来推定所述处理之前的所述用户的情感的程度，
在所述判断步骤中，根据所述处理之前所述用户的情感的程度来规定所述阈值。
CN201710884531.5A 2016-09-30 2017-09-26 处理结果异常检测装置、存储介质、检测方法和移动体 Active CN107888652B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016195193A JP6657048B2 (ja) 2016-09-30 2016-09-30 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
JP2016-195193 2016-09-30

Publications (2)

Publication Number Publication Date
CN107888652A CN107888652A (zh) 2018-04-06
CN107888652B true CN107888652B (zh) 2020-12-25

Family

ID=61758299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710884531.5A Active CN107888652B (zh) 2016-09-30 2017-09-26 处理结果异常检测装置、存储介质、检测方法和移动体

Country Status (3)

Country Link
US (1) US10475470B2 (zh)
JP (1) JP6657048B2 (zh)
CN (1) CN107888652B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7145105B2 (ja) 2019-03-04 2022-09-30 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP2021102240A (ja) * 2019-12-25 2021-07-15 セイコーエプソン株式会社 プログラム作成システム、プログラム作成装置およびロボットシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
CN103269405A (zh) * 2013-05-23 2013-08-28 深圳市中兴移动通信有限公司 友好提示的方法及装置
CN103914139A (zh) * 2013-01-09 2014-07-09 索尼公司 信息处理设备、信息处理方法及程序
CN104417457A (zh) * 2013-08-20 2015-03-18 哈曼国际工业有限公司 驾驶者辅助系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029214A (en) * 1986-08-11 1991-07-02 Hollander James F Electronic speech control apparatus and methods
JP2000259178A (ja) 1999-03-08 2000-09-22 Fujitsu Ten Ltd 音声認識装置
JP4294853B2 (ja) * 2000-12-19 2009-07-15 アルパイン株式会社 操作指示装置
JP4604360B2 (ja) 2001-01-29 2011-01-05 ソニー株式会社 情報提供装置、情報提供方法及び情報提供装置のプログラム
US20060122834A1 (en) * 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
JP2009210992A (ja) * 2008-03-06 2009-09-17 Sony Corp 撮影装置
JP2010128015A (ja) * 2008-11-25 2010-06-10 Toyota Central R&D Labs Inc 音声認識の誤認識判定装置及び音声認識の誤認識判定プログラム
US8649533B2 (en) * 2009-10-02 2014-02-11 Ford Global Technologies, Llc Emotive advisory system acoustic environment
US9159068B2 (en) * 2010-10-12 2015-10-13 International Business Machines Corporation Service management using user experience metrics
DE102011117850B4 (de) * 2011-11-08 2020-12-03 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug
KR20130065846A (ko) * 2011-12-02 2013-06-20 삼성전자주식회사 사용자 감정 공유 장치 및 방법
JP5729345B2 (ja) * 2012-04-10 2015-06-03 株式会社デンソー 感情モニタリングシステム
US9245176B2 (en) * 2012-08-01 2016-01-26 Disney Enterprises, Inc. Content retargeting using facial layers
WO2014112025A1 (ja) * 2013-01-21 2014-07-24 Ｎｅｃソフト株式会社 画面変更装置、画面変更方法および画面変更プログラム
CN105830006B (zh) * 2014-01-30 2020-02-14 华为技术有限公司 图像及视频内容的情感修改
JP6445873B2 (ja) * 2015-01-14 2018-12-26 Ｋｙｂ株式会社 ショックアブソーバ
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
US10698951B2 (en) * 2016-07-29 2020-06-30 Booktrack Holdings Limited Systems and methods for automatic-creation of soundtracks for speech audio

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
CN103914139A (zh) * 2013-01-09 2014-07-09 索尼公司 信息处理设备、信息处理方法及程序
CN103269405A (zh) * 2013-05-23 2013-08-28 深圳市中兴移动通信有限公司 友好提示的方法及装置
CN104417457A (zh) * 2013-08-20 2015-03-18 哈曼国际工业有限公司 驾驶者辅助系统

Also Published As

Publication number Publication date
JP6657048B2 (ja) 2020-03-04
JP2018060248A (ja) 2018-04-12
US20180096698A1 (en) 2018-04-05
CN107888652A (zh) 2018-04-06
US10475470B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
EP3543999A2 (en) System for processing sound data and method of controlling system
JP4682714B2 (ja) 対話システム
JP6639444B2 (ja) 情報提供装置及び情報提供方法
JP6612707B2 (ja) 情報提供装置
CN107886045B (zh) 设施满意度计算装置
CN102652250B (zh) 导航装置
US20200114925A1 (en) Interaction device, interaction method, and program
JP2018060192A (ja) 発話装置およびコミュニケーション装置
JP2006190248A (ja) 感性基盤を有する車両用ソフトウェアロボット
JP2018124791A (ja) 情報提供システム
CN111092988A (zh) 控制装置、智能体装置以及计算机可读存储介质
CN107888652B (zh) 处理结果异常检测装置、存储介质、检测方法和移动体
CN112689587A (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
JP6552548B2 (ja) 地点提案装置及び地点提案方法
US20170334292A1 (en) Information providing apparatus for vehicle
JP6419134B2 (ja) 車両感情表示装置、車両感情表示方法および車両感情表示プログラム
JP2006313287A (ja) 音声対話装置
CN108352167B (zh) 包括可佩戴设备的车辆语音识别
US11869488B2 (en) Agent device, agent system, and computer-readable storage medium
KR20180134337A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN114834456A (zh) 向车辆的驾驶员提供辅助信息的方法和装置
CN113051377A (zh) 智能体管理装置、存储介质及智能体管理方法
CN111754288A (zh) 服务器装置、信息提供系统、信息提供方法及存储介质
JP7276165B2 (ja) エージェント装置、エージェントシステム、及びエージェントプログラム
US20240083245A1 (en) Driver support system, driver support method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant