CN110809749A - 互动装置、互动方法及程序 - Google Patents

互动装置、互动方法及程序 Download PDF

Info

Publication number
CN110809749A
CN110809749A CN201880038519.5A CN201880038519A CN110809749A CN 110809749 A CN110809749 A CN 110809749A CN 201880038519 A CN201880038519 A CN 201880038519A CN 110809749 A CN110809749 A CN 110809749A
Authority
CN
China
Prior art keywords
response
user
unit
identification information
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880038519.5A
Other languages
English (en)
Inventor
岩崎瞬
浅海寿夫
石坂贤太郎
近藤泉
小池谕
真锅伦久
伊藤洋
林佑树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN110809749A publication Critical patent/CN110809749A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

互动装置具备：取得部，其取得利用者的识别信息；和响应部，其针对由取得部取得的识别信息做出响应，响应部基于识别信息，导出表示利用者的心情状态的指标，以基于所导出的指标的形态来决定响应内容。

Description

互动装置、互动方法及程序
技术领域
本发明涉及互动装置、互动方法及程序。
本申请基于在2017年6月16日在日本申请的特愿2017-118701号而主张优先权，将其内容援引于此。
背景技术
近年来，与利用者进行交流的机器人装置正在被研究。例如，在专利文献1中记载了基于利用者的言行等外部状况来表露感情的机器人装置。
在先技术文献
专利文献
专利文献1：日本特开2017-077595号公报
发明内容
发明要解决的课题
专利文献1记载的机器人装置基于利用者针对机器人装置的行动来生成机器人装置的感情，而非根据利用者的心情状态来进行机器人装置的控制。
本发明是考虑这样的情形而完成的，目的之一在于，提供一种能够推定利用者的心情状态并且生成与利用者的心情状态相应的响应的互动装置、互动方法及程序。
用于解决课题的方案
本发明的信息处理装置采用了以下的结构。
(1)：本发明的一方案的互动装置，具备：取得部，其取得利用者的识别信息；以及响应部，其针对由所述取得部取得的所述识别信息做出响应，所述响应部基于所述识别信息，导出表示所述利用者的心情状态的指标，以基于所导出的所述指标而得到的形态来决定响应内容。
(2)：在上述(1)的方案中，所述响应部基于所述识别信息与所述响应内容之间的关系的过去的履历，来决定所述响应内容。
(3)：在上述(1)或(2)的方案中，所述响应部基于针对所述响应的所述利用者的所述识别信息，导出所述利用者的不快程度作为所述指标。
(4)：在上述(1)～(3)中任一方案中，所述响应部基于针对所述响应的所述利用者的所述识别信息，导出所述利用者的亲密度作为所述指标。
(5)：在上述(1)～(4)中任一方案中，所述响应部使所述响应内容具有波动。
(6)：在上述(1)～(5)中任一方案中，所述响应部基于针对所述响应的所述利用者的所述识别信息的过去的履历，导出针对所述响应内容的所述指标，并基于导出的所述指标与实际取得的针对所述响应内容的指标之差，来调整用于导出所述指标的参数。
(7)：本发明的一方案的互动方法，所述互动方法使计算机进行如下的处理：取得利用者的识别信息；针对所取得的所述识别信息做出响应；基于所述识别信息，导出表示所述利用者的心情状态的指标；以及以基于所导出的所述指标而得到的形态来决定响应内容。
(8)：本发明的一方案的程序，使计算机进行如下的处理：取得利用者的识别信息；针对所取得的所述识别信息做出响应；基于所述识别信息，导出表示所述利用者的心情状态的指标；以及以基于所导出的所述指标而得到的形态来决定响应内容。
(9)：本发明的一方案的互动装置，具备：取得部，其取得利用者的识别信息；以及响应部，其对由所述取得部取得的所述识别信息进行分析而生成包含与所述识别信息的内容相关联的信息的语境信息，并基于所述语境信息来决定与所述利用者的心情状态相应的响应内容，所述响应部具备：语境响应生成部，其参照存储于存储部的、与过去的基于所述语境信息生成的响应内容对应的所述利用者的响应履历，生成用于针对所述利用者做出响应的语境响应；以及响应生成部，其算出根据所述响应内容而变化的表示所述利用者的心情状态的指标，并决定基于由所述语境响应生成部生成的所述语境响应和所述指标而使响应形态发生了变化的新的响应内容。
(10)：在上述(9)的方案中，所述响应生成部将所决定的所述响应内容与所述语境信息建立关联而作为响应履历存储于所述存储部的响应履历存储部，
所述语境响应生成部参照存储于所述响应履历存储部的所述响应履历，生成用于针对所述利用者做出响应的新的语境响应。
(11)：在上述(9)或(10)的方案中，所述取得部取得与利用者的反应相关的数据而生成将该数据数值化了的所述识别信息，并基于所述识别信息与预先学习到的数据之间的比较结果来算出特征量，所述响应部基于由所述取得部算出的所述特征量来对所述识别信息进行分析，生成所述语境信息。
发明效果
根据(1)、(7)、(8)、(9)，能够推定利用者的心情状态并且生成与利用者的心情状态相应的响应。
根据(2)，能够预先预测针对响应内容的利用者的反应，实现与利用者的亲密的对话。
根据(3)、(4)、(10)，通过推定利用者的心情状态，能够变更响应内容而提高与利用者的亲密程度。
根据(5)，能够在以所导出的指标成为优选的方向的方式改变响应的基础上，避免产生由于指标陷入局部的最佳解而响应得不到改善这一状态。
根据(6)、(11)，在预测到的利用者的心情状态与实际取得的利用者的心情状态之间存在差异的情况下，能够通过反馈来调整响应内容。
附图说明
图1是示出互动装置1的结构的一例的图。
图2是示出由推定部13导出的指标的一例的图。
图3是示出由推定部13导出的指标的一例的图。
图4是示出与车辆所检测的状态建立了对应关系的任务数据33的内容的一例的图。
图5是示出向利用者U提供的信息的一例的图。
图6是示出互动装置1的处理的流程的一例的流程图。
图7是示出应用于自动驾驶车辆100的互动装置1A的结构的一例的图。
图8是示出互动系统S的结构的一例的图。
图9是示出互动系统SA的结构的一例的图。
图10是示出变形例的互动装置1的一部分的详细的结构的一例的图。
具体实施方式
以下，参照附图，对本发明的互动装置的实施方式进行说明。图1是示出互动装置1的结构的一例的图。互动装置1例如是搭载于车辆的信息提供装置。互动装置1例如检测车辆的故障等与车辆相关的信息，向利用者U提供信息。
[装置结构]
互动装置1例如具备检测部5、车辆传感器6、相机10、话筒11、取得部12、推定部13、响应控制部20、扬声器21、输入输出单元22、存储部30。存储部30由HDD(Hard Disk Drive)、闪存器、RAM(Random Access Memory)、ROM(Read Only Memory)等来实现。在存储部30例如存储有识别信息31、履历数据32、任务数据33、响应模式34。
取得部12、推定部13、响应控制部20分别通过CPU(Central Processing Unit)等处理器执行程序(软件)来实现。另外，上述的功能部中的一部分或全部既可以由LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件来实现，也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置，也可以保存于DVD、CD-ROM等可装卸的存储介质并通过存储介质装配于驱动装置(未图示)而安装于存储装置。推定部13与响应控制部20合起来是“响应部”的一例。
车辆传感器6是设置于车辆的传感器，检测部件的故障、损耗、液量的降低、断线等状态。检测部5基于车辆传感器6的检测结果，检测在车辆产生了的故障、损耗等状态。
相机10例如设置于车辆内，对利用者U进行拍摄。相机10例如是利用了CCD(ChargeCoupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等固体摄像元件的数码相机。相机10例如安装于车室内后视镜，对包含利用者U的脸部的区域进行拍摄而取得拍摄数据。相机10也可以是立体摄影机。话筒11例如收录利用者U的声音的声音数据。话筒11也可以内置于相机10。相机10及话筒11所取得的数据由取得部12取得。
扬声器21输出声音。输入输出单元22例如包括显示器装置，显示图像。另外，输入输出单元22包括用于接受利用者U的输入操作的触摸面板、开关、按键等。经由扬声器21及输入输出单元22从响应控制部20提供与任务信息相关的信息。
推定部13基于识别信息31，导出表示利用者U的心情状态的指标。
推定部13例如基于利用者U的表情、声音，导出将利用者U的感情离散数据化了的指标。
指标例如有利用者U针对互动装置1的假想的响应主体感到的亲密度、表示利用者U所感到的不适感的不快程度。以下，设为亲密度由正来表示，不快程度由负来表示。
图2及图3是示出由推定部13导出的指标的一例的图。推定部13例如基于识别信息31的利用者U的图像，来导出利用者U的亲密度及不快程度。推定部13将所取得的利用者U的脸部的图像中的眼睛、嘴的位置、大小作为特征量而取得，将所取得的特征量作为表示表情的变化的数值而参数化。
而且，推定部13对识别信息31的利用者U的声音的声音数据进行解析，作为表示声音的变化的数值而参数化。推定部13例如将声音的波形数据进行高速傅里叶变换(FFT：Fast Fourier Transform)，通过波形成分的解析而将声音参数化。推定部13也可以对各参数乘以系数来赋予权重。推定部13基于表情的参数和声音的参数，来导出利用者U的亲密度及不快程度。
响应控制部20例如基于由检测部5检测到的车辆的状态变化，决定利用者U应该行动的任务。所谓利用者U应该行动的任务，例如是在检测到车辆处于某种状态的情况下给予利用者U的指示。例如，在检测部5基于车辆传感器6的检测结果而检测到故障的情况下，由响应控制部20给予利用者U应该修理故障部位的意旨的指示。
任务与车辆所检测的状态建立对应关系并作为任务数据33存储于存储部30。图4是示出与车辆所检测的状态建立了对应的任务数据33的内容的一例的图。
响应控制部20参照任务数据33来决定与由检测部5检测到的检测结果对应的任务。响应控制部20针对利用者U应该行动的任务以时间序列生成任务信息。响应控制部20将与任务信息相关的信息经由扬声器21或输入输出单元22向外部输出。所谓与任务信息相关的信息，是与任务建立了对应关系的具体的计划等。例如，在对利用者U做出应该修理的意旨的指示的情况下，提示与具体的修理的方法、修理的委托方法等相关的信息。
另外，响应控制部20基于由推定部13推定出的心情状态，变更响应内容。所谓响应内容，是经由扬声器21和输入输出单元22而向利用者U提供的信息的内容。
例如，在以对话形式向利用者U传递信息的情况下，互动装置1所传递的信息的内容根据利用者U与互动装置1的亲密度而变更。
例如，若亲密度高，则信息以朋友语气传递，若亲密度低则以礼貌语传递。在亲密度高的情况下，也可以不仅是信息的传递，还追加闲聊等充满亲切的会话等。表示利用者U针对响应做出的反应的指标，例如由响应控制部20作为时间序列的履历数据32存储于存储部30。
[装置的动作]
接着，对互动装置1的动作进行说明。检测部5基于车辆传感器6的检测结果，检测在车辆产生了的故障等状态变化。响应控制部20提供利用者U针对检测到的车辆的状态变化应该行动的任务。响应控制部20例如基于检测部5检测到的车辆的状态，从存储于存储部30的任务数据33读出与车辆的状态对应的任务，生成任务信息。
响应控制部20将与任务信息相关的信息经由扬声器21或输入输出单元22而向外部输出。首先，响应控制部20例如针对利用者U进行存在与车辆相关的信息的意旨的通知。此时，响应控制部20以对话形式进行存在信息的意旨的通知，使利用者U做出回应。
取得部12取得针对从响应控制部20输出的通知而产生的利用者U的表情、反应，作为识别信息31。推定部13基于表示利用者U针对响应做出的反应的识别信息31来推定利用者U的心情状态。在心情状态的推定中，推定部13导出表示心情状态的指标。
推定部13例如基于识别信息31来导出利用者U的亲密度及不快程度。响应控制部20基于由推定部13导出的指标的值的高低来变更进行信息提供时的响应内容。
响应控制部20基于以时间序列存储有指标与响应内容的关系的过去的履历数据32，来决定响应内容。响应控制部20基于所生成的响应内容，经由扬声器21和输入输出单元22而向利用者U提供信息。此时，响应控制部20在输出与任务信息相关的信息时，基于由推定部13推定出的利用者U的亲密度及不快程度来变更响应。
响应的变更例如通过基于识别到利用者U的行动的识别信息31由推定部13导出利用者的亲密度及不快程度来进行。然后，响应控制部20以基于所导出的指标得到的形态来决定响应内容。图5是示出向利用者U提供的信息的一例的图。如图所示，根据亲密度的指标的高低而变更响应内容。
另外，响应控制部20在利用者U的不快程度的绝对值为基准以上的情况下，变更响应内容以使不快的程度成为最小。例如，在利用者U的不快程度变高了的情况下，响应控制部20在接下来的响应中，通过礼貌的语气来向利用者U传递与任务信息相关的信息。响应控制部20也可以在不快程度的绝对值超过了阈值的情况下，做出道歉的响应。
响应控制部20基于存储于存储部30的响应模式34来生成响应内容。响应模式34是以预先设定的模式规定了与利用者U的亲密度及不快程度对应的响应的信息。也可以不使用响应模式34，而是进行基于人工智能的自动响应。
响应控制部20基于响应模式34来决定与任务相应的响应内容，向利用者U提示响应内容。响应控制部20也可以不使用响应模式34，而是基于履历数据32进行机械学习，来决定与利用者U的心情状态对应的响应。
响应控制部20也可以使响应内容具有波动。所谓波动，指的是不是唯一地设定响应内容，而是针对利用者U所示出的一种心情状态使响应变化。通过使响应内容具有波动，能够在以所导出的指标成为优选的方向的方式改变响应的基础上，避免产生由于指标陷入局部的最佳解而响应得不到改善这一状态。
例如，在通过响应控制部20所决定的响应内容而利用者U与互动装置1的亲密度变高了的状态下经过了规定期间的情况下，有时，响应控制部20决定的响应内容收敛于规定的内容，利用者U的亲密度被保持为规定的值。
响应控制部20在这样的状态下，为了以所导出的指标成为优选的方向的方式改变响应，使响应内容具有波动，以亲密度进一步升高的方式生成响应模式。另外，响应控制部20即便在判定为当前的亲密度高的情况下，也可以有意地使响应内容具有波动。通过进行这样的响应内容，有可能发现亲密度进一步升高的响应模式。
另外，也可以通过利用者U选择或自己设定进行互动装置1的响应的形象，使得利用者U与自身的趣向相应的形象进行对话。
针对由响应控制部20进行的响应的、利用者U的心情状态的反应有时会与预测到的心情状态存在差异。在该情况下，也可以基于实际取得的利用者U的识别信息来调整心情状态的预测。推定部13基于针对由响应控制部20进行的响应的、利用者U的识别信息31的过去的履历数据32，来预测利用者U的心情状态从而决定响应内容。取得部12取得利用者U的表情等识别信息31。
推定部13基于识别信息31，将所导出的指标与实际取得的针对响应内容的指标进行比较，在2个指标之间产生了差异的情况下，调整用于导出指标的参数。推定部13例如对各参数乘以系数，通过调整系数来调整所导出的指标的值。
[处理流程]
接着，对互动装置1的处理的流程进行说明。图6是示出互动装置1的处理的流程的一例的流程图。响应控制部20基于由检测部5检测到的检测结果，进行存在利用者U应该行动的任务的意旨的通知(步骤S100)。取得部12识别利用者U针对通知做出的回应，取得识别信息31(步骤S110)。推定部13基于识别信息31，导出表示利用者U的心情状态的指标(步骤S120)。
响应控制部20基于指标，决定信息提供时的给利用者U的响应内容(步骤S130)。取得部12识别利用者U针对响应做出的回应而取得识别信息31，推定部13将预测到的指标与实际取得的针对响应内容的指标进行比较，根据2个指标之间是否产生差异来判定利用者U的反应是否如预测那样(步骤S140)。推定部13在2个指标之间产生了差异的情况下，调整用于导出指标的参数(步骤S150)。
根据以上说明的互动装置1，能够在信息提供时以与利用者U的心情状态相应的响应内容做出响应。另外，根据互动装置1，通过导出与利用者U的亲密度，能够在信息提供中演出亲密程度。
而且，根据互动装置1，通过导出利用者U的不快程度，能够演出使利用者U舒适的对话。
[变形例1]
上述的互动装置1也可以应用于自动驾驶车辆100。图7是示出应用于自动驾驶车辆100的互动装置1A的结构的一例的图。在以下的说明中，关于与上述同样的结构使用同一名称及附图标记，关于重复的说明适当省略。
导航装置120将到目的地为止的路径向推荐车道决定装置160输出。推荐车道决定装置160参照比导航装置120所具备的地图数据更详细的地图，决定车辆行驶的推荐车道，并向自动驾驶控制装置150输出。另外，互动装置1A也可以构成为导航装置120的一部分。
自动驾驶控制装置150基于从外部感测部110输入的信息，控制包括发动机、马达的驱动力输出装置170、制动装置180、转向装置190中的一部分或全部，以使得沿着从推荐车道决定装置160输入的推荐车道行驶。
在这样的自动驾驶车辆100中，利用者U在自动驾驶中与互动装置1A对话的机会增加。互动装置1A通过增加与利用者U的亲密度，能够使利用者U在自动驾驶车辆100内度过的时间舒适。
也可以将上述的互动装置1构成为服务器，从而构成互动系统S。图8是示出互动系统S的结构的一例的图。
互动系统S具备车辆100A、和经由网络NW而与车辆100A通信的互动装置1B。车辆100A进行无线通信，经由网络NW而与互动装置1B进行通信。
在车辆100A设置有车辆传感器6、相机10、话筒11、扬声器21及输入输出单元22的各装置，它们连接于通信部200。
通信部200例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(DedicatedShort Range Communication)等，进行无线通信，经由网络NW而与互动装置1B通信。
互动装置1B具备通信部40，经由网络NW而与车辆100A通信。互动装置1B经由通信部40而与车辆传感器6、相机10、话筒11、扬声器21及输入输出单元22通信，进行信息的输入输出。通信部40例如包括NIC(Network Interface Card)。
根据以上说明的互动系统S，通过将互动装置1B构成为服务器，能够将多个车辆而非仅1台车辆连接于互动装置1B。
由上述的互动装置提供的服务也可以通过智能手机等的终端装置来实施。图9是示出互动系统SA的结构的一例的图。
互动系统SA具备终端装置300、和经由网络NW而与终端装置300通信的互动装置1C。终端装置300进行无线通信，经由网络NW而与互动装置1C进行通信。
在终端装置300中，用于利用由互动装置提供的服务的应用程序或者浏览器等起动，支持以下说明的服务。在以下的说明中，将终端装置300是智能手机且应用程序起动了作为前提。
终端装置300例如是智能手机、平板终端、个人计算机等。终端装置300例如具备通信部310、输入输出部320、取得部330、响应部340。
通信部310例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC等，进行无线通信，经由网络NW而与互动装置1B通信。
输入输出部320例如包括触摸面板、扬声器。取得部330包括内置于终端装置300的对利用者U进行拍摄的相机、话筒。
响应部340通过由CPU(Central Processing Unit)等处理器执行程序(软件)来实现。另外，上述的功能部既可以由LSI(LargeScale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件来实现，也可以通过软件与硬件的协同配合来实现。
响应部340例如将取得部330取得的信息经由通信部310而向互动装置1C发送。响应部340将从互动装置1C接收到的响应内容经由输入输出部320而向利用者U提供。
通过上述结构，终端装置300能够在信息提供时以与利用者U的心情状态相应的响应内容做出响应。另外，互动系统SA中的终端装置300也可以通过与车辆通信而取得与车辆相关的状态的信息，从而提供与车辆相关的信息。
根据以上说明的互动系统SA，通过与互动装置1C进行通信的终端装置300，在向利用者U进行信息提供时，能够推定利用者U的心情状态，并且生成与利用者的心情状态相应的响应。
[变形例2]
上述的互动装置1也可以根据与利用者的对话内容的属性而变更所参照的信息，生成响应内容。在以下的说明中，关于与上述实施方式相同的结构使用同一名称及附图标记，关于重复的说明省略。图10是示出变形例2的互动装置1的一部分的详细的结构的一例的图。在图10中，例如记载了互动装置1中的、取得部12、响应部(推定部13及响应控制部20)以及存储部30之间的数据、处理的流程的一例。
推定部13例如具备履历比较部13A。响应控制部20例如具备语境响应生成部20A和响应生成部20B。
取得部12例如从相机10及话筒11取得与利用者的反应相关的数据。取得部12例如取得对利用者U进行拍摄而得到的图像数据及包含利用者U的响应的声音数据。取得部12对所取得的图像数据、声音数据进行信号变换，生成包含将图像、声音数值化了的信息的识别信息31。
识别信息31例如包含基于声音的特征量、将声音的内容文本化了的文本数据、基于图像的特征量等信息。以下，对各特征量、语境属性进行说明。
取得部12例如使声音数据通过文本变换器等而进行声音识别，将声音变换为按每个文节(日文：文節)的文本数据。取得部12例如算出基于所取得的图像数据的特征量。取得部12例如基于图像的像素的亮度差来提取物体的轮廓、边缘等特征点，基于提取出的特征点来识别物体。
取得部12例如提取图像上的利用者U的脸部的轮廓、眼睛、鼻子、嘴等特征点，将多个图像的特征点进行比较来识别利用者U的脸部的动作。取得部12例如通过关于人的脸部的动作而预先通过神经网络等学习到的数据组与所取得的图像数据的比较来提取特征量(向量)。取得部12例如基于眼睛、鼻子、嘴等的变化，来算出包含“眼睛的动作”、“嘴的动作”、“笑”、“无表情”、“怒”等参数的特征量。
取得部12生成包含基于文本数据而生成的后述的语境信息、基于图像数据得到的特征量的信息的识别信息31。识别信息31例如是将基于文本变换数据及图像数据得到的特征量与互动装置1所输出的与声音、显示相关的数据建立了对应关系的信息。
取得部12例如在互动装置1发出了催促保养的通知的情况下，将利用者U发出的声音的文本数据、此时的利用者U的表情的特征量与通知建立对应关系而生成识别信息31。取得部12也可以基于声音数据，生成利用者U发出的声音的大小[dB]的数据并附加于识别信息31。取得部12将识别信息31向推定部13输出。
推定部13基于从取得部12取得的识别信息31来对特征量进行评价，将利用者U的感情数值化。推定部13例如基于识别信息31，提取与互动装置1发出的通知对应的基于图像数据得到的利用者U的表情的特征量的向量。
推定部13例如对识别信息31所包含的文本数据进行分析，进行利用者的会话的内容的语境分析。所谓语境分析，是将会话的内容作为数理上能够处理的参数而算出。
推定部13例如基于文本数据的内容，将通过神经网络等而预先学习到的数据组与文本数据进行比较，将对话内容的意思分类，基于意思内容来决定语境属性。
语境属性例如以使得能够在数理上处理是否分别符合“车辆”、“路线检索”、“周边信息”等类型化了的对话的内容的多个类别的方式以数值来表示。推定部13例如基于文本数据的内容，提取“故障”、“传感器不良”、“修理”等对话内容的单词，将提取出的单词与预先学习到的数据组进行比较，算出属性值，基于属性值的大小而将对话内容的语境属性决定为“车辆”。
推定部13例如基于文本数据的内容，算出表示作为针对语境属性的评价项目的各参数的程度的评价值。推定部13例如基于文本数据而算出与“车辆”相关联的“保养”、“故障”、“操作”、“修理”等对话内容的特征量。取得部12例如作为对话内容的特征量而对话内容是“保养”，则基于对话内容而算出针对与保养的内容相关联的“消耗品等更换”、“保养场所”、“更换对象”等预先学习到的参数的特征量。
推定部13将基于所算出的文本数据的特征量与语境属性建立对应关系而生成语境信息，并向响应控制部20的语境响应生成部20A输出。关于语境响应生成部20A的处理后述。
推定部13还基于文本数据，根据利用者U的响应内容，算出利用者U的感情的特征量。推定部13例如提取利用者U发出的会话的语尾的单词、招呼的单词等，算出“亲密”、“普通”、“不快”、“不满”等利用者U的感情的特征量。
推定部13根据基于图像得到的利用者U的感情的特征量及基于语境分析结果得到的利用者U的感情的特征量，算出成为利用者U的感情的指标值的感情参数。所谓感情参数，例如是喜怒哀乐等分类化了的多个感情的指标值。推定部13基于所算出的感情参数，来推定利用者U的感情。推定部13也可以基于所算出的感情参数，来算出将感情指数化了的亲密度、不快程度等指数。
推定部13例如向感情评价函数输入特征量的向量，利用神经网络算出感情参数。感情评价函数通过预先将多个输入向量和此时的正解的感情参数作为教师数据进行学习，而保持有与正解对应的计算结果。感情评价函数构成为，针对新输入的特征量的向量，基于与正解的类似度来输出感情参数。推定部13基于感情参数的向量的大小，来算出利用者U与互动装置1的亲密度。
履历比较部13A将所算出的亲密度与过去生成的响应内容的响应履历进行比较来调整。履历比较部13A例如取得存储于存储部30的响应履历。所谓响应履历，是与利用者U针对互动装置1生成的响应内容做出的反应相关的过去的履历数据32。
履历比较部13A将所算出的亲密度、从取得部12取得的识别信息31以及响应履历进行比较，根据响应履历来调整亲密度。履历比较部13A例如将识别信息31与响应履历进行比较，根据与利用者U的亲密度的进展程度来使亲密度加减从而进行调整。履历比较部13A例如参照响应履历，使根据语境响应而变化的表示利用者的心情状态的亲密度变化。履历比较部13A将调整后的亲密度向响应生成部20B输出。亲密度也可以通过利用者U的设定而变更。
接着，对响应控制部20中的处理进行说明。响应控制部20基于分析结果来决定针对利用者的响应内容。
语境响应生成部20A取得从推定部13输出的语境信息。语境响应生成部20A基于语境信息，参照储存于存储部30的与语境信息对应的响应履历。语境响应生成部20A从响应履历中提取与利用者U的会话内容对应的响应，生成成为用于对利用者U做出响应的响应模式的语境响应。语境响应生成部20A将语境响应向响应生成部20B输出。
响应生成部20B决定基于由语境响应生成部20A生成的语境响应和从履历比较部13A取得的亲密度而使响应形态发生了变化的响应内容。此时，响应生成部20B也可以使用随机函数而有意地对响应内容赋予波动。
响应生成部20B将决定出的响应内容与语境信息建立关联而存储于存储部30的响应履历存储部。然后，语境响应生成部20A参照存储于响应履历存储部的新的响应履历，生成用于针对利用者做出响应的新的语境响应。
根据上述的变形例2的互动装置1，通过根据利用者U的会话内容的属性改变所参照的响应履历，能够输出更合适的响应内容。根据变形例2的互动装置1，除了暂时的计算结果之外，还反映识别信息31的解析结果，由此，能够针对少的参数提高识别精度。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。例如，上述的互动装置也可以适用于手动驾驶车辆。并且，互动装置1除了提供与车辆相关的信息之外，还可以作为提供、管理路线检索、周边信息检索、计划管理等的信息的信息提供装置而使用。互动装置1可以从网络取得信息，也可以与导航装置连动。
权利要求书(按照条约第19条的修改)
1.[修改后]一种互动装置，其中，
所述互动装置具备：
取得部，其取得针对由检测部检测到的装置的状态的变化的、利用者的识别信息；以及
响应部，其针对由所述取得部取得的所述识别信息做出响应，
所述响应部基于所述状态及所述识别信息，导出表示所述利用者的心情状态的指标，以基于所导出的所述指标而得到的形态来决定响应内容。
2.根据权利要求1所述的互动装置，其中，
所述响应部基于所述识别信息与所述响应内容之间的关系的过去的履历，来决定所述响应内容。
3.根据权利要求1或2所述的互动装置，其中，
所述响应部基于针对所述响应的所述利用者的所述识别信息，导出所述利用者的不快程度作为所述指标。
4.根据权利要求1～3中任一项所述的互动装置，其中，
所述响应部基于针对所述响应的所述利用者的所述识别信息，导出所述利用者的亲密度作为所述指标。
5.根据权利要求1～4中任一项所述的互动装置，其中，
所述响应部使所述响应内容具有波动。
6.根据权利要求1～5中任一项所述的互动装置，其中，
所述响应部基于针对所述响应的所述利用者的所述识别信息的过去的履历，导出针对所述响应内容的所述指标，并基于导出的所述指标与实际取得的针对所述响应内容的指标之差，来调整用于导出所述指标的参数。
7.[修改后]一种互动方法，其中，
所述互动方法使计算机进行如下的处理：
检测装置的状态的变化；
取得针对所述装置的状态的、利用者的识别信息；
针对所取得的所述识别信息做出响应；
基于所述状态及识别信息，导出表示所述利用者的心情状态的指标；以及
以基于所导出的所述指标而得到的形态来决定响应内容。
8.[修改后]一种程序，其中，
所述程序使计算机进行如下的处理：
检测装置的状态的变化；
取得针对所述装置的状态的、利用者的识别信息；
针对所取得的所述识别信息做出响应；
基于所述状态及所述识别信息，导出表示所述利用者的心情状态的指标；以及
以基于所导出的所述指标而得到的形态来决定响应内容。
9.[修改后]一种互动装置，其中，
所述互动装置具备：
取得部，其取得针对由检测部检测到的装置的状态的变化的、利用者的识别信息；以及
响应部，其对所述装置的状态及由所述取得部取得的所述识别信息进行分析而生成包含与所述识别信息的内容相关联的信息的语境信息，并基于所述语境信息来决定与所述利用者的心情状态相应的响应内容，
所述响应部具备：
语境响应生成部，其参照存储于存储部的、与过去的基于所述语境信息生成的响应内容对应的所述利用者的响应履历，生成用于针对所述利用者做出响应的语境响应；以及
响应生成部，其算出根据所述响应内容而变化的表示所述利用者的心情状态的指标，并决定基于由所述语境响应生成部生成的所述语境响应和所述指标而使响应形态发生了变化的新的响应内容。
10.[修改后]一种车辆控制方法，
所述车辆控制方法使车载计算机进行如下的处理：
识别车辆的周边车辆的位置；
基于识别到的所述周边车辆的位置，生成多个轨道的候补；以及
使表示所生成的所述多个轨道的候补中的所述车辆能够行驶的轨道的图像和表示所生成的所述多个轨道的候补中的所述车辆不能行驶的轨道的图像的双方一并显示于显示部。
11.根据权利要求9或10所述的互动装置，其中，
所述取得部取得与利用者的反应相关的数据而生成将该数据数值化了的所述识别信息，并基于所述识别信息与预先学习到的数据之间的比较结果来算出特征量，
所述响应部基于由所述取得部算出的所述特征量来对所述识别信息进行分析，生成所述语境信息。
说明或声明(按照条约第19条的修改)
权利要求1、7、8、9及10的“取得部，其取得针对由检测部检测到的装置的状态的变化的、利用者的识别信息”、“～所述响应部基于所述状态及所述识别信息～”的记载，基于申请时的说明书的第5页第5段～第10页第4段、说明书第11页倒数第2段～第15页第3段、图6、图10等的记载，是当初说明书等所记载的事项的范围内。

Claims (11)

1.一种互动装置，其中，
所述互动装置具备：
取得部，其取得利用者的识别信息；以及
响应部，其针对由所述取得部取得的所述识别信息做出响应，
所述响应部基于所述识别信息，导出表示所述利用者的心情状态的指标，以基于所导出的所述指标而得到的形态来决定响应内容。
2.根据权利要求1所述的互动装置，其中，
所述响应部基于所述识别信息与所述响应内容之间的关系的过去的履历，来决定所述响应内容。
3.根据权利要求1或2所述的互动装置，其中，
所述响应部基于针对所述响应的所述利用者的所述识别信息，导出所述利用者的不快程度作为所述指标。
4.根据权利要求1～3中任一项所述的互动装置，其中，
所述响应部基于针对所述响应的所述利用者的所述识别信息，导出所述利用者的亲密度作为所述指标。
5.根据权利要求1～4中任一项所述的互动装置，其中，
所述响应部使所述响应内容具有波动。
6.根据权利要求1～5中任一项所述的互动装置，其中，
所述响应部基于针对所述响应的所述利用者的所述识别信息的过去的履历，导出针对所述响应内容的所述指标，并基于导出的所述指标与实际取得的针对所述响应内容的指标之差，来调整用于导出所述指标的参数。
7.一种互动方法，其中，
所述互动方法使计算机进行如下的处理：
取得利用者的识别信息；
针对所取得的所述识别信息做出响应；
基于所述识别信息，导出表示所述利用者的心情状态的指标；以及
以基于所导出的所述指标而得到的形态来决定响应内容。
8.一种程序，其中，
所述程序使计算机进行如下的处理：
取得利用者的识别信息；
针对所取得的所述识别信息做出响应；
基于所述识别信息，导出表示所述利用者的心情状态的指标；以及
以基于所导出的所述指标而得到的形态来决定响应内容。
9.一种互动装置，其中，
所述互动装置具备：
取得部，其取得利用者的识别信息；以及
响应部，其对由所述取得部取得的所述识别信息进行分析而生成包含与所述识别信息的内容相关联的信息的语境信息，并基于所述语境信息来决定与所述利用者的心情状态相应的响应内容，
所述响应部具备：
语境响应生成部，其参照存储于存储部的、与过去的基于所述语境信息生成的响应内容对应的所述利用者的响应履历，生成用于针对所述利用者做出响应的语境响应；以及
响应生成部，其算出根据所述响应内容而变化的表示所述利用者的心情状态的指标，并决定基于由所述语境响应生成部生成的所述语境响应和所述指标而使响应形态发生了变化的新的响应内容。
10.根据权利要求9所述的互动装置，其中，
所述响应生成部将所决定的所述响应内容与所述语境信息建立关联而作为响应履历存储于所述存储部的响应履历存储部，
所述语境响应生成部参照存储于所述响应履历存储部的所述响应履历，生成用于针对所述利用者做出响应的新的语境响应。
11.根据权利要求9或10所述的互动装置，其中，
所述取得部取得与利用者的反应相关的数据而生成将该数据数值化了的所述识别信息，并基于所述识别信息与预先学习到的数据之间的比较结果来算出特征量，
所述响应部基于由所述取得部算出的所述特征量来对所述识别信息进行分析，生成所述语境信息。
CN201880038519.5A 2017-06-16 2018-06-14 互动装置、互动方法及程序 Pending CN110809749A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017118701 2017-06-16
JP2017-118701 2017-06-16
PCT/JP2018/022757 WO2018230654A1 (ja) 2017-06-16 2018-06-14 インタラクション装置、インタラクション方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN110809749A true CN110809749A (zh) 2020-02-18

Family

ID=64659109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880038519.5A Pending CN110809749A (zh) 2017-06-16 2018-06-14 互动装置、互动方法及程序

Country Status (4)

Country Link
US (1) US20200114925A1 (zh)
JP (1) JP7222938B2 (zh)
CN (1) CN110809749A (zh)
WO (1) WO2018230654A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869150B1 (en) 2017-06-01 2024-01-09 Apple Inc. Avatar modeling and generation
US11727724B1 (en) * 2018-09-27 2023-08-15 Apple Inc. Emotion detection
US11830182B1 (en) 2019-08-20 2023-11-28 Apple Inc. Machine learning-based blood flow tracking
US11967018B2 (en) 2019-12-20 2024-04-23 Apple Inc. Inferred shading
IT202100015695A1 (it) * 2021-06-16 2022-12-16 Ferrari Spa Metodo di elaborazione dello stato psicofisico di un guidatore per migliorare l'esperienza di guida di un veicolo stradale e relativo sistema veicolare
KR102373608B1 (ko) * 2021-06-21 2022-03-14 주식회사 쓰리디팩토리 디지털 휴먼 영상 형성을 위한 전자 장치 및 방법과, 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734061B2 (en) * 1995-06-07 2010-06-08 Automotive Technologies International, Inc. Optical occupant sensing techniques
JP3617826B2 (ja) * 2001-10-02 2005-02-09 松下電器産業株式会社 情報検索装置
JP2004090109A (ja) * 2002-08-29 2004-03-25 Sony Corp ロボット装置およびロボット装置の対話方法
EP1904347B1 (en) * 2005-07-11 2011-09-28 Volvo Technology Corporation Methods and arrangement for performing driver identity verification
EP2047392B1 (en) * 2006-07-06 2018-06-20 BioRICS NV Real-time monitoring and control of physical and arousal status of individual organisms
US20080242951A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Effective low-profile health monitoring or the like
JP4614005B2 (ja) * 2009-02-27 2011-01-19 トヨタ自動車株式会社 移動軌跡生成装置
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
EP2659366A1 (en) * 2010-12-30 2013-11-06 Ambientz Information processing using a population of data acquisition devices
US8872640B2 (en) * 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles
EP2763120B1 (en) * 2011-09-26 2017-12-27 Toyota Jidosha Kabushiki Kaisha Vehicle driving assistance system
JP2013152679A (ja) * 2012-01-26 2013-08-08 Denso Corp 運転支援装置
JP5899142B2 (ja) * 2012-06-25 2016-04-06 株式会社コナミデジタルエンタテインメント メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム
US9345404B2 (en) * 2013-03-04 2016-05-24 Hello Inc. Mobile device that monitors an individuals activities, behaviors, habits or health parameters
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US8868328B1 (en) * 2013-06-04 2014-10-21 The Boeing Company System and method for routing decisions in a separation management system
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
CA2955961A1 (en) * 2014-07-28 2016-02-04 Econolite Group, Inc. Self-configuring traffic signal controller
JPWO2016068262A1 (ja) * 2014-10-29 2017-08-10 京セラ株式会社 コミュニケーションロボット
CN105730370A (zh) * 2014-12-11 2016-07-06 鸿富锦精密工业（深圳）有限公司 汽车驾驶系统及控制方法
JP6222137B2 (ja) * 2015-03-02 2017-11-01 トヨタ自動車株式会社 車両制御装置
US9688271B2 (en) * 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
JP6610661B2 (ja) * 2015-04-23 2019-11-27 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6361567B2 (ja) * 2015-04-27 2018-07-25 トヨタ自動車株式会社 自動運転車両システム
KR20160148260A (ko) * 2015-06-16 2016-12-26 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP6601069B2 (ja) * 2015-09-01 2019-11-06 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム

Also Published As

Publication number Publication date
WO2018230654A1 (ja) 2018-12-20
US20200114925A1 (en) 2020-04-16
JP2020077000A (ja) 2020-05-21
JP7222938B2 (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
CN110809749A (zh) 互动装置、互动方法及程序
US11302311B2 (en) Artificial intelligence apparatus for recognizing speech of user using personalized language model and method for the same
CN110291478B (zh) 驾驶员监视和响应系统
US11289074B2 (en) Artificial intelligence apparatus for performing speech recognition and method thereof
EP3543999A2 (en) System for processing sound data and method of controlling system
US11495214B2 (en) Artificial intelligence device for providing voice recognition service and method of operating the same
CN102023703B (zh) 组合唇读与语音识别的多模式界面系统
KR102480416B1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
US11295166B2 (en) Artificial intelligence apparatus for generating training data for artificial intelligence model and method thereof
CN107097234B (zh) 机器人控制系统
US11404066B2 (en) Device and method for providing voice recognition service based on artificial intelligence
US10872438B2 (en) Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same
US11421610B2 (en) Artificial intelligence apparatus for controlling auto stop system and method therefor
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
US20210334640A1 (en) Artificial intelligence server and method for providing information to user
KR20180081444A (ko) 콘텐츠를 처리하는 장치 및 방법
JP2019179390A (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
US11810575B2 (en) Artificial intelligence robot for providing voice recognition function and method of operating the same
US11468247B2 (en) Artificial intelligence apparatus for learning natural language understanding models
KR20210044475A (ko) 대명사가 가리키는 객체 판단 방법 및 장치
CN114973209A (zh) 识别驾驶员情绪的方法、装置、设备、介质和车辆
CN110516760A (zh) 情境识别方法、装置、终端及计算机可读存储介质
US11270700B2 (en) Artificial intelligence device and method for recognizing speech with multiple languages
US11322134B2 (en) Artificial intelligence device and operating method thereof
GB2578766A (en) Apparatus and method for controlling vehicle system operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination