CN111661068B - 智能体装置、智能体装置的控制方法及存储介质 - Google Patents
智能体装置、智能体装置的控制方法及存储介质 Download PDFInfo
- Publication number
- CN111661068B CN111661068B CN202010145342.8A CN202010145342A CN111661068B CN 111661068 B CN111661068 B CN 111661068B CN 202010145342 A CN202010145342 A CN 202010145342A CN 111661068 B CN111661068 B CN 111661068B
- Authority
- CN
- China
- Prior art keywords
- display
- agent
- animation
- occupant
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 5
- 239000003795 chemical substances by application Substances 0.000 description 431
- 230000006870 function Effects 0.000 description 100
- 239000008186 active pharmaceutical agent Substances 0.000 description 50
- 238000004891 communication Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 238000003058 natural language processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 230000001680 brushing effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/85—Arrangements for transferring vehicle- or driver-related data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/165—Videos and animations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/182—Distributing information between displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/592—Data transfer involving external databases
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/741—Instruments adapted for user detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
提供一种智能体装置、智能体装置的控制方法及存储介质。智能体装置具备:智能体功能部,其根据车辆的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务;以及显示控制部,其使设置于所述车辆内的显示部显示与所述智能体功能部对应的智能体所相关的动画,所述显示控制部根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同。
Description
技术领域
本申请基于2019年3月7号申请的日本国专利申请第2019-041558号来主张优先权,将其内容援引于此。
本发明涉及智能体装置、智能体装置的控制方法及存储介质。
背景技术
以往,公开了与智能体功能相关的技术,该智能体功能一边与车辆的乘员进行对话,一边提供与乘员的要求相应的驾驶支援相关的信息、车辆的控制、其他应用程序等(日本特开2006-335231号公报)。
发明内容
近年来,关于智能体功能向车辆的搭载,正在推进实用化,但是,关于智能体功能启动着时的显示类型,没有充分进行研究。因此,在以往的技术中,存在无法以合适的形态显示的情况。
本发明是考虑这样的情形而完成的,目的之一在于,提供一种能够以合适的形态实现智能体提供服务的情况下的车内显示的智能体装置、智能体装置的控制方法及存储介质。
本发明的智能体装置、智能体装置的控制方法及存储介质采用了以下的结构。
(1):本发明的一方案的智能体装置,其具备:智能体功能部,其根据车辆的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务;以及显示控制部,其使设置于所述车辆内的显示部显示与所述智能体功能部对应的智能体所相关的动画,所述显示控制部根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同。
(2):在上述(1)的方案中,所述显示控制部基于进行了所述讲话的乘员在所述车辆内的位置,使所述第一显示区域及所述第二显示区域中的任一方显示所述动画。
(3):在上述(1)或(2)的方案中,所述智能体功能部基于来自设置于所述车辆的一个以上的话筒的输出来取得所述乘员的讲话,在所述动画正显示于所述第一显示区域的情况下与在所述动画正显示于所述第二显示区域的情况下,使取得所述乘员的讲话时的指向性不同。
(4):在上述(1)~(3)的方案中,所述智能体功能部基于设想就座的乘员的头部的位置与所述第一显示区域及所述第二显示区域中的显示着所述动画的那一方的显示区域最近的座位的乘员所进行的讲话,来提供所述服务。
(5):在上述(1)~(4)的方案中,所述第一显示区域与所述第二显示区域相比,在所述车辆内的位置靠近设想驾驶员的头部的位置。
(6):在上述(1)~(5)的方案中,在与所述显示部一体地设置并检测触摸操作的检测部至少检测到针对所述动画的触摸操作的情况下,所述显示控制部根据针对所述动画的触摸操作,使所述动画移动。
(7):在上述(1)~(6)的方案中,所述显示控制部在所述动画从一方的显示区域向另一方的显示区域移动的情况下,使所述显示部显示所述智能体正在从所述一方的显示区域向所述另一方的显示区域移动的过程中的动画。
(8):在上述(1)~(7)的方案中,所述显示控制部使所述显示部显示根据所述乘员的讲话而提供的智能体信息,在使显示着所述动画的显示区域显示所述智能体信息的情况下与在使没有显示着所述动画的显示区域显示所述智能体信息的情况下,所述显示控制部使所述智能体信息的显示类型不同。
(9):在上述(8)的方案中,所述显示控制部根据所述动画的移动,在使所述第一显示区域显示所述智能体信息的情况下与在使所述第二显示区域显示所述智能体信息的情况下,使所述智能体信息的显示类型不同。
(10):在上述(8)或(9)的方案中,所述显示控制部以所述智能体信息的信息量不同的方式,使所述智能体信息的显示类型不同。
(11):在上述(8)~(10)的方案中,所述显示控制部使所述第一显示区域及所述第二显示区域中的、所述动画移动到的那一方的显示区域显示所述智能体信息的详情,使显示移动之前的所述动画的那一方的显示区域显示所述智能体信息的概要。
(12):在上述(8)~(11)的方案中,所述显示控制部在由所述乘员指定了正显示于所述第二显示区域的所述智能体信息的一部分的情况下,将所述第一显示区域的显示变更为基于由所述乘员指定了的所述智能体信息的一部分得到的信息。
(13):在上述(1)~(12)的方案中,所述显示控制部根据所述车辆的驾驶状况,使所述动画在所述第一显示区域与所述第二显示区域之间移动。
(14):本发明的另一方案的智能体装置的控制方法使计算机进行如下处理:使用智能体功能,根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;使设置于所述车辆内的显示部显示与所述智能体功能对应的智能体所相关的动画;以及根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同。
(15):本发明的另一方案的存储介质,其存储有程序,所述程序使计算机执行如下处理:使用智能体功能,根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;使设置于所述车辆内的显示部显示与所述智能体功能对应的智能体所相关的动画;以及根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同。
根据上述(1)~(15)的方案,能够以合适的形态实现智能体提供服务的情况下的车内显示。
附图说明
图1是包含智能体装置的智能体系统的结构图。
图2是示出第一实施方式的智能体装置的结构和搭载于车辆的设备的图。
图3是示出显示·操作装置的配置例的图。
图4是示出扬声器单元的配置例的图。
图5是示出智能体服务器的结构和智能体装置的结构的一部分的图。
图6是示出AG用户是驾驶员座的乘员的情况下的画面的一例的图。
图7是示出AG用户是副驾驶员座的乘员的情况下的画面的一例的图。
图8是示出AG动画移动中和移动后的画面的一例的图。
图9是示出AG动画移动后的画面的一例的图。
图10是示出第一显示器的画面例的图。
图11是用于对声像定位的位置确定的原理进行说明的图。
图12是示出智能体功能部的启动时的处理的一例的流程图。
图13是示出智能体功能部的启动后的处理的一例的流程图。
图14是示出接受了AG动画的移动指示的情况下的显示控制处理的一例的流程图。
具体实施方式
以下,参照附图,对本发明的智能体装置、智能体装置的控制方法及存储介质的实施方式进行说明。智能体装置是实现智能体系统的一部分或全部的装置。以下,作为智能体装置的一例,对搭载于车辆(以下,车辆M)并具备多个种类的智能体功能的智能体装置进行说明。所谓智能体功能,例如是如下功能:一边与车辆M的乘员进行对话,一边进行基于乘员的讲话中所包含的要求(指令)的各种信息提供,或者居间于网络服务的功能。多个种类的智能体各自起到的功能、处理步骤、控制、输出形态·内容也可以分别不同。智能体功能中,可以存在具有进行车辆内的设备(例如与驾驶控制、车身控制相关的设备)的控制等的功能的智能体功能。
智能体功能例如除了识别乘员的声音的声音识别功能(将声音文本化的功能)之外,还综合地利用自然语言处理功能(理解文本的构造、意思的功能)、对话管理功能、经由网络而检索其他装置或检索自身装置所持有的规定的数据库的网络检索功能等来实现。这些功能的一部分或全部可以利用AI(Artificial Intelligence)技术来实现。用于进行这些功能的结构的一部分(尤其是,声音识别功能、自然语言处理解释功能)也可以搭载于能够与车辆M的车载通信装置或被带入到车辆M中的通用通信装置进行通信的智能体服务器(外部装置)。在以下的说明中,将结构的一部分搭载于智能体服务器且智能体装置与智能体服务器协同配合而实现智能体系统作为前提。
<整体结构>
图1是包含智能体装置100的智能体系统1的结构图。智能体系统1例如具备智能体装置100和多个智能体服务器200-1、200-2、200-3、…。附图标记的末尾的连字符以下数字设为用于区分智能体的标识符。在不对是哪一个智能体服务器进行区分的情况下,存在简称作智能体服务器200的情况。在图1中示出了3个智能体服务器200,但是,智能体服务器200的数量既可以是2个,也可以是4个以上。各智能体服务器200由互不相同的智能体系统的提供者运营。因此,本发明中的智能体是由互不相同的提供者实现的智能体。作为提供者,例如可以举出机动车制造商、网络服务商、电子商贸商、便携终端的销售者、制造者等,任意的主体(法人、团体、个人等)都能够成为智能体系统的提供者。
智能体装置100经由网络NW而与智能体服务器200通信。网络NW例如包括互联网、蜂窝网、Wi-Fi网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、电话线、无线基地站等中的一部分或全部。网络NW连接有各种网页服务器300,智能体服务器200或智能体装置100能够经由网络NW而从各种网页服务器300取得网页。
智能体装置100与车辆M的乘员进行对话,将来自乘员的声音向智能体服务器200发送,将从智能体服务器200得到的回答以声音输出、图像显示的形式向乘员提示。
<第一实施方式>
[车辆]
图2是示出第一实施方式的智能体装置100的结构和搭载于车辆M的设备的图。在车辆M例如搭载有一个以上的话简单元10、显示·操作装置20、扬声器单元30、导航装置40、车辆设备50、车载通信装置60、乘员识别装置80及智能体装置100。存在智能手机等通用通信装置70被带入到车室内,作为通信装置而被使用的情况。这些装置通过CAN(ControllerArea Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。图2所示的结构只不过是一例,既可以省略结构的一部分,也可以还追加别的结构。
话筒单元10是收集在车室内产生的声音的收音部。显示·操作装置20是显示图像并且能够接受输入操作的装置(或装置群)。显示·操作装置20例如包括作为触摸面板而构成的显示器装置。显示·操作装置20也可以还包括HUD(Head Up Display)、机械式的输入装置。扬声器单元30例如包括配设于车室内的互不相同的位置的多个扬声器(声音输出部)。显示·操作装置20也可以在智能体装置100和导航装置40中共用。关于它们的详情后述。
导航装置40具备导航HMI(Human machine Interface)、GPS(GlobalPositioningSystem)等位置测定装置、存储有地图信息的存储装置、以及进行路径搜索等的控制装置(导航控制器)。话筒单元10、显示·操作装置20及扬声器单元30中的一部分或全部也可以作为导航HMI而被使用。导航装置40搜索用于从由位置测定装置确定出的车辆M的位置移动至由乘员输入的目的地的路径(导航路径),使用导航HMI输出引导信息,以便车辆M能够沿着路径行驶。路径搜索功能也可以处于能够经由网络NW访问的导航服务器中。在该情况下,导航装置40从导航服务器取得路径而输出引导信息。智能体装置100也可以以导航控制器为基础而构筑,在该情况下,导航控制器与智能体装置100硬件上构成为一体。
车辆设备50例如包括发动机、行驶用马达等驱动力输出装置、发动机的启动马达、车门锁定装置、车门开闭装置、车窗、车窗的开闭装置及车窗的开闭控制装置、座椅、座椅位置的控制装置、车室内后视镜及其角度位置控制装置、车辆内外的照明装置及其控制装置、刮水器、除雾器及各自的控制装置、方向指示灯及其控制装置、空调装置、行驶距离、轮胎的空气压的信息、燃料的剩余量信息等的车辆信息装置等。
车载通信装置60例如是能够利用蜂窝网、Wi-Fi网访问网络NW的无线通信装置。
乘员识别装置80例如包括就座传感器、车室内相机、图像识别装置等。就座传感器包括设置于座位的下部的压力传感器、安装于座椅安全带的张力传感器等。车室内相机是设置于车室内的CCD(Charge Coupled Device)相机、CMOS(Complementary Metal OxideSemiconductor)相机。图像识别装置对车室内相机的图像进行解析,识别每个座位的乘员的有无、面部朝向等。在本实施方式中,乘员识别装置80是就座位置识别部的一例。
图3是示出显示·操作装置20的配置例的图。显示·操作装置20例如包括第一显示器21、第二显示器22、第三显示器23、操作开关ASSY26。显示·操作装置20也可以还包括HUD28。
在车辆M中,例如存在设置有转向盘SW的驾驶员座DS、和相对于驾驶员座DS设置于车宽方向(图中Y方向)的副驾驶员座AS。第一显示器21设置于与驾驶员座DS对置地设置的仪表MT的附近。第二显示器22是从仪表板中的驾驶员座DS与副驾驶员座AS的中间附近延伸至与副驾驶员座AS的左端部对置的位置的横长形状的显示器装置。第三显示器23设置于驾驶员座DS与副驾驶员座AS的车宽方向上的中间附近且第二显示器22的下方。
第一显示器21是包括第一显示区域的一例,第二显示器22是包括第二显示区域的一例。第一显示区域与第二显示区域相比,车辆M内的位置靠近设想驾驶员的头部的位置。
例如,第一显示器21、第二显示器22及第三显示器23均作为触摸面板而构成,作为显示部而具备LCD(Liquid Crystal Display)、有机EL(Electroluminescence)、等离子体显示器等。操作开关ASSY26是拨码开关、按钮式开关等集聚而成的。显示·操作装置20将由乘员进行了的操作的内容向智能体装置100输出。第一显示器21、第二显示器22及第三显示器23显示的内容可以由智能体装置100决定。
图4是示出话筒单元10和扬声器单元30的配置例的图。话筒单元10例如包括话筒10C、10R、10L。话筒10C设置于驾驶员座DS与副驾驶员座AS之间。话筒10R设置于驾驶员座DS侧的窗柱(所谓的A柱)。话筒10L设置于副驾驶员座AS侧的窗柱。
扬声器单元30例如包括扬声器30A~30H。扬声器30A设置于驾驶员座DS侧的窗柱。扬声器30B设置于靠近驾驶员座DS的车门的下部。扬声器30C设置于副驾驶员座AS侧的窗柱。扬声器30D设置于靠近副驾驶员座AS的车门的下部。扬声器30E设置于靠近右侧后部座位BS1侧的车门的下部。扬声器30F设置于靠近左侧后部座位BS2侧的车门的下部。扬声器30G设置于第二显示器22的附近。扬声器30H设置于车室的顶棚(roof)。
在该配置中,例如,在专门使扬声器30A及30B输出了声音的情况下,声像会定位于驾驶员座DS附近。在专门使扬声器30C及30D输出了声音的情况下,声像会定位于副驾驶员座AS附近。在专门使扬声器30E输出了声音的情况下,声像会定位于右侧后部座位BS1附近。在专门使扬声器30F输出了声音的情况下,声像会定位于左侧后部座位BS2附近。在专门使扬声器30G输出了声音的情况下,声像会定位于车室的前方附近,在专门使扬声器30H输出了声音的情况下,声像会定位于车室的上方附近。不限定于此,扬声器单元30能够通过使用混音器、放大器调整各扬声器输出的声音的分配,来使声像定位于车室内的任意的位置。
[智能体装置]
返回图2,智能体装置100具备管理部110、智能体功能部150-1、150-2、150-3、配对应用执行部152。管理部110例如具备声音取得部111、声响处理部112、按每个智能体WU(Wake Up)判定部114、指示接受部115、显示控制部116、声音控制部118。在不对是哪一个智能体功能部进行区分的情况下,简称作智能体功能部150。示出了3个智能体功能部150,这不过是与图1中的智能体服务器200的数量对应的一例,智能体功能部150的数量也可以是2个,还可以是4个以上。图2所示的软件配置是为了说明而简易地示出,实际上,能够像例如也可以在智能体功能部150与车载通信装置60之间介入有管理部110那样任意地改变。
智能体装置100的各构成要素例如通过由CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI(LargeScale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部;circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中,也可以保存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。
管理部110通过执行OS(Operating System)、中间件等程序而发挥功能。
声音取得部111基于来自话筒单元10的输出,确定讲话了的乘员的座位。例如,声音取得部111基于来自话筒单元10的输出,判定产生了声音的方向是驾驶员座DS还是副驾驶员座AS。例如,在为了驾驶员座DS用和副驾驶员座AS用而分别设置了话筒的情况下,声音取得部111将话筒所取得的音量大的那一方的座位决定为讲话了的乘员的座位。管理部110也可以具备如下功能部:基于乘员识别装置80的相机所取得的图像,将嘴在动的乘员确定为讲话了的乘员。
声音取得部111例如根据讲出了唤醒词的乘员(启动了智能体功能部150的乘员的一例)的座位,以分别不同的声音取得方法,处理话筒单元10的声音。所谓不同的声音取得方法,是专门收音的对象的空间位置(或方向、指向性)不同。例如,声音取得部111通过切换话筒单元10中的采用声音的话筒,来改变声音取得方法。声音取得部111也可以通过进行针对相控阵雷达的DBF那样的处理,来改变声音取得方法。声音取得部111也可以通过进行以电子的或机械的方式驱动话筒自身来切换话筒的开关的控制、使用话筒的摆头功能来变更话筒的朝向的控制,来改变声音取得方法。
例如,声音取得部111也可以与讲出了唤醒词的乘员的座位无关地,在AG动画在显示器间移动而与智能体对话的乘员切换了的情况下,根据与智能体对应的乘员的座位,来改变声音取得方法。关于与智能体对话的乘员的切换等后述。例如,在与智能体对应的乘员是驾驶员座DS的乘员的情况下,以驾驶员座用的取得方法,来处理话筒单元10的声音。例如,在与智能体对应的乘员是副驾驶员座AS的乘员的情况下,以副驾驶员座用的取得方法,来处理话筒单元10的声音。
声音取得方法可以根据设置于车辆M的话筒的个数、车辆内的位置而任意地设定。例如,在话筒分别随附于驾驶员座DS和副驾驶员座AS的情况下,声音取得部111在驾驶员座用的取得方法中,将驾驶员座DS侧的话筒10R开启并将副驾驶员座AS侧的话筒10L关闭。在话筒共用于驾驶员座DS和副驾驶员座AS的情况下,声音取得部111使指向性变化。
由声音取得部111进行的处理也可以由按每个智能体WU判定部114、智能体功能部150执行。例如,按每个智能体WU判定部114、智能体功能部150基于来自话筒单元10的输出来取得乘员的讲话,在AG动画显示于驾驶员用画面的情况下和AG动画显示于副驾驶员座用画面的情况下,如上述的声音取得部111那样,使取得乘员的讲话的取得方法不同。
管理部110的声响处理部112对被输入的声音进行声响处理,以使得成为适于识别针对每个智能体预先设定的唤醒词的状态。
按每个智能体WU判定部114与智能体功能部150-1、150-2、150-3分别对应地存在,识别针对每个智能体预先设定的唤醒词。按每个智能体WU判定部114从进行了声响处理的声音(声音流)识别声音的意思。首先,按每个智能体WU判定部114基于声音流中的声音波形的振幅和零交叉来检测声音区间。按每个智能体WU判定部114也可以进行通过基于混合高斯分布模型(GMM;Gaussian mixture model)的帧单位的声音识别及非声音识别实现的区间检测。
接着,按每个智能体WU判定部114将检测到的声音区间中的声音文本化,设为文字信息。然后,按每个智能体WU判定部114判定文本化了的文字信息是否符合唤醒词。在判定为是唤醒词的情况下,按每个智能体WU判定部114使对应的智能体功能部150启动。与按每个智能体WU判定部114相当的功能也可以搭载于智能体服务器200。在该情况下,管理部110将由声响处理部112进行了声响处理的声音流向智能体服务器200发送,在智能体服务器200判定为是唤醒词的情况下,按照来自智能体服务器200的指示,智能体功能部150启动。各智能体功能部150可以始终启动且自行进行唤醒词的判定。在该情况下,无需管理部110具备按每个智能体WU判定部114。
智能体功能部150与对应的智能体服务器200协同配合而使智能体出现,根据车辆的乘员的讲话,提供包含基于声音的响应的服务。在智能体功能部150中可以包含被赋予了控制车辆设备50的权限的功能部。智能体功能部150中可以存在经由配对应用执行部152而与通用通信装置70协作来与智能体服务器200通信的功能部。例如,对智能体功能部150-1赋予了控制车辆设备50的权限。智能体功能部150-1经由车载通信装置60而与智能体服务器200-1通信。智能体功能部150-2经由车载通信装置60而与智能体服务器200-2通信。智能体功能部150-3经由配对应用执行部152而与通用通信装置70协作来与智能体服务器200-3通信。配对应用执行部152例如通过Bluetooth(注册商标)与通用通信装置70进行配对,使智能体功能部150-3与通用通信装置70连接。智能体功能部150-3也可以通过利用了USB(Universal Serial Bus)等的有线通信而连接于通用通信装置70。以下,存在将智能体功能部150-1与智能体服务器200-1协同配合而出现的智能体称作智能体1,将智能体功能部150-2与智能体服务器200-2协同配合而出现的智能体称作智能体2,将智能体功能部150-3与智能体服务器200-3协同配合而出现的智能体称作智能体3的情况。
智能体功能部150例如基于讲出了唤醒词的乘员的之后的讲话来提供智能体功能。在智能体应对从讲出了唤醒词的乘员继承到其他乘员的情况下,基于继承后的乘员的讲话来提供服务。智能体应对例如包括与智能体对话。
指示接受部115使用显示·操作装置20接受来自乘员的指示。例如,基于来自与第一显示器21一体地设置的检测部的输出、来自与第二显示器22一体地设置的检测部的输出,来接受来自乘员的指示。不限定于此,指示接受部115也可以具备声音识别功能,基于车内声音来识别声音的意思,由此,接受来自乘员的指示。车内声音包括从话筒单元10输入的声音、由声响处理部112进行了声响处理的声音(声音流)等。
显示控制部116根据来自智能体功能部150的指示,使第一显示器21、第二显示器22或第三显示器23显示图像、动态图像。
以下,设为显示控制部116按照来自智能体功能部150的指示,生成驾驶员座用画面用的图像和副驾驶员座用画面用的图像,使第一显示器21显示驾驶员座用画面的图像,使第二显示器22显示副驾驶员座用画面的图像。关于驾驶员座用画面的图像和副驾驶员座用画面用的图像后述。作为副驾驶员座用图像、驾驶员座用图像的一部分,显示控制部116例如生成在车室内进行与乘员的交流的拟人化了的智能体的动画(以下,称作AG动画),使第一显示器21和第二显示器22中的任一方显示所生成的AG动画。例如,显示控制部116在讲出了唤醒词的乘员的座位用的画面显示AG动画。
AG动画例如是表示智能体的形象、智能体的图标等的动画。AG动画例如是人、拟人化了的物对乘员搭话的形态的图像或动态图像。AG动画例如可以包含至少由观看者(乘员)识别表情、面部朝向的程度的面部图像。例如,AG动画可以是,在面部区域中呈现模仿眼睛、鼻子的部件,基于面部区域中的部件的位置而识别表情、面部朝向。AG动画也可以被立体地感受,通过包含三维空间中的头部图像而由观看者识别智能体的面部朝向,通过包含主体(身躯、手脚)的图像而由观看者识别智能体的活动(动作、举止)、姿态等。
例如,显示控制部116在智能体功能部150启动着的期间,使第一显示器21或第二显示器22显示AG动画。显示控制部116也可以根据乘员的讲话而使AG动画的活动不同。例如,显示控制部116也可以在智能体的待机中,使AG动画执行小的活动,在智能体执行与乘员的讲话相应的处理的情况下,使AG动画执行与所执行的处理相应的活动。
声音控制部118根据来自智能体功能部150的指示,使扬声器单元30所包含的扬声器中的一部分或全部输出声音。声音控制部118也可以进行使用多个扬声器单元30而使智能体声音的声像定位于与AG动画的显示位置对应的位置的控制。所谓与AG动画的显示位置对应的位置,例如是被预测为乘员感到AG动画正在讲出智能体声音的位置,具体而言,是AG动画的显示位置附近(例如,2~3[cm]以内)的位置。所谓声像定位,例如是通过调节向乘员的左右耳传递的声音的大小来设定乘员感到的声源的空间上的位置。
[智能体服务器]
图5是示出智能体服务器200的结构和智能体装置100的结构的一部分的图。以下,与智能体服务器200的结构一起,对智能体功能部150等的动作进行说明。在此,省略关于从智能体装置100到网络NW的物理上的通信的说明。
智能体服务器200具备通信部210。通信部210例如是NIC(NetworkInterfaceCard)等网络接口。而且,智能体服务器200例如具备声音识别部220、自然语言处理部222、对话管理部224、网络检索部226、响应文生成部228。这些构成要素例如通过由CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部既可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部;circuitry)来实现,也可以通过软件与硬件的协同配合来实现。程序既可以预先保存于HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)中,也可以保存于DVD、CD-ROM等可装卸的存储介质(非暂时性的存储介质)并通过将存储介质装配于驱动装置而安装。
智能体服务器200具备存储部250。存储部250通过上述的各种存储装置来实现。在存储部250中保存有个人简介252、字典DB(数据库)254、知识库DB256、响应规则DB258等数据、程序。
在智能体装置100中,智能体功能部150将声音流、或进行了压缩、编码等处理的声音流向智能体服务器200发送。智能体功能部150可以在识别到能够进行本地处理(不经由智能体服务器200的处理)的声音指令的情况下,进行通过声音指令要求的处理。所谓能够进行本地处理的声音指令,是通过参照智能体装置100所具备的存储部(未图示)而能够回答的声音指令,在智能体功能部150-1的情况下是控制车辆设备50的声音指令(例如,打开空调装置的指令等)。因此,智能体功能部150也可以具有智能体服务器200所具备的功能的一部分。
当取得声音流后,声音识别部220进行声音识别并将文本化了的文字信息输出,自然语言处理部222针对文字信息一边参照字典DB254一边进行意思解释。字典DB254中,对于文字信息,抽象化了的意思信息建立了对应关系。字典DB254也可以包含同义词、近义词的一览信息。声音识别部220的处理和自然语言处理部222的处理,可以不明确分阶段,而是接受自然语言处理部222的处理结果而声音识别部220修正识别结果等相互影响地进行。
自然语言处理部222例如在识别到“今天的天气是”、“天气怎么样”等意思作为识别结果的情况下,生成置换为标准文字信息“今天的天气”的指令。由此,即便在请求的声音存在了表述差异的情况下,也能够容易地进行与要求相符的对话。自然语言处理部222例如也可以使用利用了概率的机器学习处理等人工智能处理来识别文字信息的意思,生成基于识别结果的指令。
对话管理部224基于自然语言处理部222的处理结果(指令),一边参照个人简介252、知识库DB256、响应规则DB258,一边决定针对车辆M的乘员的讲话的内容。个人简介252包含针对每个乘员保存着的乘员的个人信息、兴趣偏好、过去的对话的履历等。知识库DB256是规定了事物的关系性的信息。响应规则DB258是规定了针对指令而智能体应该进行的动作(回答、设备控制的内容等)的信息。
对话管理部224也可以通过使用从声音流得到的特征信息而与个人简介252进行对照,来确定乘员。在该情况下,个人简介252中,例如声音的特征信息与个人信息建立了对应关系。所谓声音的特征信息,例如是与声音的高度、语调、节奏(声音的高低的模式)等说话方式的特征、基于梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficients)等的特征量相关的信息。声音的特征信息例如是在乘员的初始登记时使乘员对规定的单词、句子等进行发声,通过识别发出的声音而得到的信息。
对话管理部224在指令是要求能够经由网络NW而检索的信息的指令的情况下,使网络检索部226进行检索。网络检索部226经由网络NW而访问各种网页服务器300,取得期望的信息。所谓“能够经由网络NW而检索的信息”,例如是处于车辆M的周边的餐厅的由一般用户评价的评价结果,或者是与当日的车辆M的位置相应的天气预报。
响应文生成部228以使得由对话管理部224决定出的讲话的内容向车辆M的乘员传达的方式,生成响应文,并向智能体装置100发送。响应文生成部228也可以在确定了乘员是在个人简介中登记了的乘员的情况下,呼叫乘员的名字,生成模仿乘员的说话方式的说话方式的响应文。
智能体功能部150当取得响应文后,指示声音控制部118进行声音合成并输出声音。智能体功能部150指示显示控制部116与声音输出相配合地显示AG动画。这样,假想地出现的智能体对车辆M的乘员进行响应的智能体功能得以实现。
[显示控制]
显示控制部116使第一显示器21和第二显示器22显示与智能体功能部150提供的服务、智能体等相关的信息。
例如,显示控制部116基于讲话了的乘员的车辆内的位置,使第一显示器21和第二显示器22的任一方显示AG动画。例如,显示控制部116根据第一显示器21和第二显示器22中的、与智能体对话的乘员(以下,记作AG用户)的座位,使与各座位预先建立了对应关系的那一方的显示器显示AG动画。例如,第一显示器21与驾驶员座DS预先建立了对应关系,第二显示器22与副驾驶员座AS预先建立了对应关系。
AG用户例如既可以是讲出了唤醒词的乘员,也可以是从讲出了唤醒词的乘员继承了智能体应对的乘员。智能体应对例如可以通过使AG动画向其他显示器移动而伴随于AG动画的移动来继承。例如,在从驾驶员座DS那一方讲出了唤醒词的情况下,AG用户是驾驶员座DS的乘员。
显示控制部116根据来自乘员的移动指示,使AG动画在第一显示器21和第二显示器22之间移动。
来自乘员的移动指示,例如由指示接受部115取得,被向显示控制部116输出。来自乘员的移动指示例如包括针对在第一显示器21或第二显示器22显示的AG动画的触摸操作、轻拂操作。针对AG动画的触摸操作,例如既可以是触摸显示AG动画的部分的操作,也可以是触摸接受来自乘员的移动指示的按钮等的操作。针对AG动画的轻拂操作,例如既可以是掸显示AG动画的部分那样的操作,也可以是整体地掸显示器的显示面那样的操作。
不限定于此,来自乘员的移动指示也可以由指示接受部115通过声音识别来取得,还可以是指示接受部115基于来自乘员识别装置80的输出而取得。前者的情况下,例如,包括识别到“使智能体移到副驾驶员座”、“使副驾驶员座继承”、“智能体暂时撤离”等声音的情况。后者的情况下,例如包括基于对车内进行拍摄所得到的图像而识别到乘员掸手、手指的动作的情况。
指示接受部115也可以基于针对AG动画的轻拂操作,接受使AG动画移动的方向。例如,在针对显示于第一显示器21的AG智能体由驾驶员座DS的乘员进行了朝向副驾驶员座AS掸的轻拂操作的情况下,指示接受部115接受从第一显示器21向第二显示器22的移动。不限定于该例子,在朝向第三显示器23进行了轻拂操作的情况下,指示接受部115也可以接受从第一显示器21向第三显示器23的移动。在后部座位那一方设置有显示器、且朝向画面的上、下进行了轻拂操作的情况下,指示接受部115也可以接受从第一显示器21向后部座位的显示器的移动。
显示控制部116也可以使显示操作装置20显示与乘员的讲话相应地提供的智能体信息。智能体信息中例如包括智能体向乘员推荐的推荐列表、基于乘员要求的条件使用检索引擎而检索到的检索结果等。
显示控制部116也可以在第一显示器21和第二显示器22这双方显示智能体信息。在该情况下,显示控制部116也可以在使显示有AG动画的显示区域显示智能体信息的情况和使没有显示AG动画的显示区域显示智能体信息的情况下,使智能体信息的显示类型不同。例如,显示控制部116在使显示有AG动画的显示区域显示的情况下,与使没有显示AG动画的显示区域显示的情况相比,减少智能体信息的信息量。
通过AG智能体移动到其他显示器而智能体应对由其他乘员继承了的情况下,显示控制部116改变智能体信息的显示类型。例如,在AG智能体从驾驶员座用画面移动到副驾驶员座用画面的情况下,显示控制部116不使在驾驶员座用画面显示着的智能体信息显示,使没有显示智能体信息的副驾驶员座用画面显示智能体信息。即,显示控制部116在AG动画的移动的前后,改变智能体信息的信息量。
[声音取得控制]
按每个智能体WU判定部114及智能体功能部150根据AG动画的移动,变更声音的取得方法。换言之,在通过AG智能体移动到其他显示器而智能体应对由其他乘员继承了的情况下(即,AG用户被切换了的情况下),按每个智能体WU判定部114及智能体功能部150将声音的取得方法也切换为取得进行智能体应对的乘员的声音的取得方法。声音的取得方法也可以由声音取得部111变更。
以下,对智能体功能部150变更声音的取得方法的例子进行说明。例如,在讲出了唤醒词的乘员是驾驶员座DS的乘员的情况下,AG用户是驾驶员座DS的乘员,显示AG动画的显示器是第一显示器21。在AG用户是驾驶员座DS的乘员的情况下,智能体功能部150将声音的取得方法决定为驾驶员座用的取得方法。声音取得部111以驾驶员座用的取得方法来处理声音。然后,设为由驾驶员座DS的乘员进行了针对AG动画的触摸操作。在该情况下,AG智能体从第一显示器21向第二显示器22移动,并且,智能体功能部150将声音的取得方法从驾驶员座用的取得方法改变为副驾驶员座用的取得方法。声音取得部111以副驾驶员座用的取得方法来处理声音。
[画面例其一]
图6是示出AG用户是驾驶员座DS的乘员的情况下的画面的一例的图。在第一显示器21显示有驾驶员座用画面501,在第二显示器22显示有副驾驶员座用画面601。在驾驶员座用画面501显示有服务标题510、推荐列表520、AG动画550。副驾驶员座用画面601是没有显示推荐列表、AG动画的空白状态。在此,对提供推荐服务的例子进行说明,即,智能体功能部150-1与智能体服务器200-1协同配合,经由网络NW访问各种网页服务器300,取得与乘员的要求相应的推荐信息,向乘员提供所取得的推荐信息。在由乘员选择了推荐信息之一作为目的地的情况下,智能体功能部150-1也可以控制车辆设备50而使车辆M朝向所选择的目的地行驶。
图7是示出AG用户是副驾驶员座的乘员的情况下的画面的一例的图。在副驾驶员座用画面601显示有服务标题610、推荐列表620、限定条件630、周边地图640、AG动画650。驾驶员座用画面501是没有显示推荐列表、AG动画的空白状态。
服务标题510、610表示智能体功能部150-1提供的服务的概要。推荐列表520,620表示由智能体功能部150-1取得的推荐信息的一部分。推荐列表520、620中例如包括与车辆M的周边的餐饮店相关的信息。推荐列表620包括多个推荐要素621、622、623、624…,针对每个推荐要素而汇总了各餐饮店的信息。
限定条件630表示缩小(限定)在推荐列表620显示的信息的条件。周边地图640表示推荐列表520所包含的各餐饮店的位置。AG动画550、650是与智能体功能部150-1对应的智能体的动画。在此,与智能体功能部150-1对应的智能体例如是例如拟人化了的圆球那样的外观的动画。
服务标题510与服务标题610相比,显示的文字数少。服务标题510以一句话来表现智能体提供的服务,服务标题610以详细的句子来表现智能体提供的服务。通过这样,驾驶员座DS的乘员能够以短的时间推测显示着的信息的内容,能够抑制驾驶员座DS的乘员注视显示器。
推荐列表520与推荐列表620相比,显示的文字数、信息量少。在推荐列表520中例如显示餐饮店的名称、到餐饮店的所需要时间、餐饮店的评价。在推荐列表620中,除了餐饮店名的名称、到餐饮店的所需要时间、餐饮店的评价之外,例如可以还包括到餐饮店的距离、餐饮店的营业时间、餐饮店的口碑、价格范围、示意图像等。不仅是显示项目的数量的不同,即便是在推荐列表520、620的双方显示的信息,其显示也可以不同。例如,关于餐饮店的评价,推荐列表620利用星的插图来表现星的数,推荐列表520用数字来表现星的数。通过这样,驾驶员座DS的乘员能够得到关于周边的餐饮店的简单的信息。能够抑制驾驶员座DS的乘员想要看显示着的许多信息而注视显示器。
显示控制部116也可以通过仅使第二显示器22显示限定条件630、周边地图640,而不使第一显示器21显示,来使显示类型不同。通过使第二显示器22显示限定条件630,指示接受部115从副驾驶员座AS的乘员接受条件的限定指示,能够进一步缩小显示于推荐列表620的信息。副驾驶员座AS的乘员能够通过自己的判断或按照驾驶员座DS的乘员的指示来操作限定条件630。显示控制部116通过不使第一显示器21显示限定条件630,能够抑制驾驶员座DS的乘员通过手动操作输入针对智能体的指示。通过仅使第二显示器22显示周边地图640,能够抑制驾驶员座DS的乘员注视细致的地图。条件的限定指示不限定于由第二显示器22接受,也可以由指示接受部115使用声音识别功能来接受。在该情况下,副驾驶员座AS的乘员也能够观看限定条件630来进行确认,从而指示条件的限定,便利性提高。
显示控制部116也可以使AG动画执行与乘员的讲话相应的活动。活动例如包括动作、举止、表情等。例如,在等待着乘员进行的讲话的情况下,AG动画可以采取老实地等待着那样的活动。在寻找与乘员的讲话相应的信息的情况下,AG动画也可以采取透过放大镜而寻找着什么那样的活动。
[画面例其二]
图8是示出AG动画移动中和移动后的画面的一例的图。在此,对在移动前的状态下AG用户是驾驶员座DS的乘员的例子进行说明。在移动前的状态下,图6所示那样的图像显示于第一显示器21。图8所示的AG动画550(t1)是移动前的AG动画。tx表示时刻,t1表示最靠过去,t5表示最靠未来。例如,在AG动画550(t1)由驾驶员座DS的乘员进行了触摸操作的情况下,AG动画550(t2)、550(t3)依次显示。然后,当AG动画550(t3)从第一显示器21消失后,AG动画移动到第二显示器22,AG动画650(t4)、650(t5)依次显示。通过这样,显示控制部116能够使AG动画从第一显示器21向第二显示器22移动的过程中的动画显示。伴随于AG动画的移动,显示控制部116使第二显示器22显示如图7所示那样的智能体信息。
通过这样,驾驶员座DS的乘员能够使副驾驶员座AS的乘员继承与智能体对话的角色。因此,副驾驶员座AS的乘员能够取代驾驶员座DS的乘员而与智能体对话,确认智能体信息。即便是在副驾驶员座AS没有乘员乘车的情况下,通过使智能体暂时向第二显示器22撤离,在第一显示器21不再显示AG动画、智能体信息,智能体不再与驾驶员座DS的乘员搭话。由此,能够营造驾驶员座DS的乘员集中精力驾驶的环境。虽然在想要集中精力驾驶时也可以使智能体功能部150停止,但在再次启动的情况下不得不从头进行唤醒的讲话等乘员已经进行过的讲话,会烦躁,但是,能够省略该麻烦。
[画面例其三]
图9是示出AG动画移动后的画面的一例的图。此处的AG动画的移动也与图8所示的例子同样,是从第一显示器21向第二显示器22的移动。以下,对与图8的例子不同的点进行说明。显示控制部116在AG动画移动而在第一显示器21没有显示AG动画550的状态下,使第一显示器21显示智能体信息的概要。通过这样,驾驶员座DS的乘员能够将与智能体的对话委托给副驾驶员座AS的乘员,同时,自身也能够确认智能体信息。在图9的例子中,将智能体信息的概要显示于第一显示器21,但是,也可以将智能体信息的详情显示于第一显示器21。
[画面例其四]
显示控制部116也可以在由副驾驶员座AS的乘员使用显示·操作装置20指定了显示于第二显示器22的智能体信息的一部分的情况下,将第一显示器21的显示变更为基于由副驾驶员座AS的乘员指定的智能体信息的一部分得到的信息。智能体信息的一部分的指定也可以由指示接受部115使用声音识别功能来接受。
图10是示出第一显示器21的画面例的图。推荐列表520(t11)与图9所示的显示类型相同。在此,AG用户是副驾驶员座AS的乘员,AG动画显示于第二显示器22。例如,关于显示控制部116,在显示于第二显示器22的推荐要素621(图9参照)由副驾驶员座AS的乘员进行了触摸的情况下,指示接受部115接受推荐要素621被指定了这一情况,向显示控制部116通知该意旨。显示控制部116使第一显示器21显示与推荐要素621所对应的餐饮店相关的信息。例如,显示控制部116使第一显示器21显示如图10所示那样的推荐列表520(t12)。
推荐列表520(t12)中包括与推荐要素621所对应的餐饮店相关的、餐饮店的名称、到餐饮店的所需要时间、餐饮店的评价及示意图像。即,在由乘员选择了显示于第二显示器22的一个推荐要素的情况下,显示控制部116使显示于推荐列表520的推荐要素的数量减少。由此,显示控制部116能够使显示于推荐列表520(t12)的文字的大小比推荐列表520(t11)大,从而使推荐列表520(t12)显示在推荐列表520(t11)中没有显示的示意图像。通过这样,驾驶员座DS的乘员容易看到与副驾驶员座AS的乘员所选择的餐饮店相关的信息,与通过显示许多细小的字等而难以观看的画面相比,能够防止驾驶员座DS的乘员注视显示器。副驾驶员座AS的乘员能够关于去往自己喜欢的餐饮店,向驾驶员座DS的乘员寻得同意。
不限定于此,在第一显示器21显示推荐列表520(t12)之前,也可以是没有显示推荐列表等的空白状态。
[画面例其五]
显示控制部116也可以根据车辆M的驾驶状况,使AG动画在第一显示器21和第二显示器22之间移动。在该情况下也是,也可以执行AG动画移动了时的上述的处理。例如,也可以伴随于AG动画的移动而变更智能体信息的显示类型、声音的取得方法。
例如,显示控制部116在车辆M的驾驶状况满足了第一条件的情况下,使AG动画从第一显示器21向第二显示器22移动。第一条件中例如包括走弯道、时速成为阈值以上、在高速道路上行驶、在住宅街行驶、变更车道、赶超前方车辆、变更目的地等。
显示控制部116在车辆M的驾驶状况满足了第二条件的情况下(或者车辆M的驾驶状况不再满足第一条件的情况下),使AG动画从第二显示器22向第一显示器21移动。第二条件中例如包括在走弯道之后走直线、时速成为阈值以下、下高速道路等。
通过这样,在车辆M的驾驶状况满足了第一条件的情况下,能够不依赖于驾驶员的操作地使AG动画移动到副驾驶员座用画面601,能够自动地将与智能体对话的乘员切换为副驾驶员座AS的乘员。由此,驾驶员座DS的乘员不会被显示于驾驶员座用画面501的AG动画550等分散精力,能够提供集中精力驾驶的环境。在副驾驶员座AS的乘员注意到显示于副驾驶员座用画面601的AG动画的情况下,识别到驾驶状况满足了规定条件,能够节制对驾驶员座DS的乘员搭话等的行为。由此,能够营造驾驶员座DS的乘员集中精力驾驶的环境。在满足了第一条件之后满足了第二条件的情况下(或不再满足第一条件的情况下),使AG动画返回驾驶员座用画面501,能够将与智能体对话的乘员自动地切换为驾驶员座DS的乘员,便利性提高。
[声音控制]
声音控制部118也可以与AG动画在第一显示器21和第二显示器22之间的移动相应地,变更使智能体声音的声像定位的位置。例如,在AG动画从第一显示器21移动到了第二显示器22的情况下,声音控制部118进行使声像定位于被预测为副驾驶员座AS的乘员感到显示于第二显示器22的AG动画正在讲智能体声音的位置的控制。另一方面,在AG动画从第二显示器22移动到了第一显示器21的情况下,声音控制部118进行使声像定位于被预测为驾驶员座DS的乘员感到显示于第一显示器21的AG动画正在讲智能体声音的位置的控制。
图11是用于对声像定位的位置确定的原理进行说明的图。在图11中,为了简化说明,示出了使用上述的扬声器30B、30D及30G的例子,但是,可以使用扬声器单元30所包含的任意的扬声器。声音控制部118控制连接于各扬声器的放大器(AMP)32及混音器34而使声像定位。例如,在使声像定位于图11所示的空间位置MP1的情况下,声音控制部118通过控制放大器32及混音器34,使扬声器30B进行最大强度的5%的输出,使扬声器30D进行最大强度的80%的输出,使扬声器30G进行最大强度的15%的输出。其结果是,从乘员P的位置,感到声像仿佛定位于图11所示的空间位置MP1。
在使声像定位于图11所示的空间位置MP2的情况下,声音控制部118通过控制放大器32及混音器34,使扬声器30B进行最大强度的45%的输出,使扬声器30D进行最大强度的45%的输出,使扬声器30G进行最大强度的45%的输出。其结果是,从乘员P的位置,感到声像仿佛定位于图11所示的空间位置MP2。这样,通过调整设置于车室内的多个扬声器和从各扬声器输出的声音的大小,能够使声像被定位的位置变化。更详细而言,声像定位的位置,基于声源原本持有的声音特性、车室内环境的信息、头部传递函数(HRTF;Head-relatedtransfer function)而定,所以,声音控制部118通过以预先利用感官试验等得到的最佳的输出分配来控制扬声器单元30,使声像定位于规定的位置。
[流程图]
图12是示出智能体功能部150的启动时的处理的一例的流程图。智能体装置100判定是否讲出了唤醒词(步骤S101)。在讲出了唤醒词的情况下,智能体功能部150启动。然后,管理部110确定进行了讲话的乘员的座位,将确定出的座位决定为AG用户的座位(步骤S102)。接下来,管理部110判定所决定的AG用户的座位是否是驾驶员座DS(步骤S103)。在AG用户的座位是驾驶员座DS的情况下,显示控制部116将AG动画和智能体信息的概要显示于驾驶员座用画面501(步骤S104)。声音取得部111开始以驾驶员座用的取得方法来取得声音的控制(步骤8105)。声音控制部118开始使声像定位于被预测为驾驶员座DS的乘员感到显示于第一显示器21的AG动画正在讲智能体声音的位置的控制(步骤S106)。
另一方面,在步骤S103中所决定的AG用户的座位不是驾驶员座DS的情况下,管理部110判定所决定的AG用户的座位是否是副驾驶员座AS(步骤S107)。在AG用户的座位是副驾驶员座AS的情况下,显示控制部116将AG动画和智能体信息的详情显示于副驾驶员座用画面601(步骤S108)。声音取得部111开始以副驾驶员座用的取得方法来取得声音的控制(步骤S109)。声音控制部118开始使声像定位于被预测为副驾驶员座AS的乘员感到显示于第二显示器22的AG动画正在讲智能体声音的位置的控制(步骤S110)。
图13是示出智能体功能部150的启动后的处理的一例的流程图。智能体装置100以规定的时机反复进行以下说明的处理。关于由智能体功能部150提供服务用的处理,省略说明。
首先,智能体功能部150判定是否从作为AG用户的乘员进行了讲话(步骤S201)。在从作为AG用户的乘员进行了讲话的情况下,显示控制部116使AG用户用的画面显示与作为AG用户的乘员的讲话相应的智能体信息(步骤S202)。在此,显示控制部116也可以使显示于显示器AG动画执行与作为AG用户的乘员的讲话相应的活动。
另一方面,在步骤S201中没有从作为AG用户的乘员进行讲话的情况下,指示接受部115判定是否接受了AG动画的移动指示(步骤S203)。在接受了AG动画的移动指示的情况下,显示控制部116一边使双方的显示器显示AG动画向其他显示器移动的过程中的动画(步骤S204),一边使AG动画向其他显示器移动(步骤S205)。声音取得部111开始以与AG动画移动到的其他显示器对应的座位用的取得方法来取得声音的控制(步骤S206)。声音控制部118开始使声像定位于被预测为乘员感到移动到其他显示器的AG动画正在讲智能体声音的位置的控制(步骤S207)。然后,在伴随于AG动画的移动而变更智能体信息的情况下,显示控制部116例如减少AG动画的移动前的画面的智能体信息的信息量,增加AG动画的移动后的画面的智能体信息的信息量(步骤S208)。
另一方面,在步骤S203中没有接受AG动画的移动指示的情况下,指示接受部115判定显示有AG动画的画面的智能体信息的一部分是否被进行了操作(步骤S209)。在智能体信息的一部分被进行了操作的情况下,显示控制部116使其他显示器(没有显示AG动画的那一方的显示器)显示被进行了操作的智能体信息的一部分(步骤S210)。
图14是示出接受了AG动画的移动指示的情况下的显示控制处理的一例的流程图。在此,对AG动画的移动指示是触摸显示于显示器的AG动画的操作的例子进行说明。
指示接受部115判定显示于驾驶员座用画面501的AG动画是否被进行了触摸操作(步骤S301)。在显示于驾驶员座用画面501的AG动画被进行了触摸操作的情况下,显示控制部116一边使AG动画从驾驶员座用画面501向副驾驶员座用画面601移动的过程中的动画显示,一边使AG动画向副驾驶员座用画面601移动(步骤S302)。显示控制部116使空白状态(不显示任何与智能体相关的信息的状态)的副驾驶员座用画面601显示智能体信息的详情(或概要)(步骤S303)。而且,显示控制部116在驾驶员座用画面501显示有智能体信息的详情的情况下,变更为智能体信息的概要或者变更为空白状态(步骤S304)。在步骤S304中在驾驶员座用画面501显示有智能体信息的概要的情况下,显示控制部116也可以变更为空白状态。即,在步骤S304中,以减少显示于驾驶员座用画面501的智能体信息的信息量的方式变更显示。
另一方面,在步骤S301中显示于驾驶员座用画面501的AG动画没有被进行触摸操作的情况下,指示接受部115判定显示于副驾驶员座用画面601的AG动画是否被进行了触摸操作(步骤S305)。在显示于副驾驶员座用画面601的AG动画被进行了触摸操作的情况下,显示控制部116一边使AG动画从副驾驶员座用画面601向驾驶员座用画面501移动的过程中的动画显示,一边使AG动画向驾驶员座用画面501移动(步骤S306)。显示控制部116使空白状态的驾驶员座用画面501显示智能体信息的概要(或详情)(步骤S307)。而且,显示控制部116在副驾驶员座用画面601显示有智能体信息的详情的情况下,变更为智能体信息的概要,或者变更为空白状态(步骤S308)。在步骤S308中在副驾驶员座用画面601显示有智能体信息的概要的情况下,显示控制部116也可以变更为空白状态。即,在步骤S308中,以减少显示于副驾驶员座用画面601的智能体信息的信息量的方式变更显示。
不限定于此,在使显示于副驾驶员座用画面601的AG动画向驾驶员座用画面501移动的情况下,也可以维持显示于副驾驶员座用画面601的智能体信息,还可以在驾驶员座用画面501不显示智能体信息。
根据上述说明的第一实施方式的智能体装置100,能够以合适的形态实现智能体提供服务的情况下的车内显示。
以上使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
例如,副驾驶员座用画面也可以显示于第三显示器23。
Claims (11)
1.一种智能体装置,其中,
所述智能体装置具备:
智能体功能部,其根据车辆的乘员的讲话,提供包含使输出部输出通过声音进行的响应的服务;以及
显示控制部,其使设置于所述车辆内的显示部显示与所述智能体功能部对应的智能体所相关的动画,
所述显示控制部根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同,
所述显示控制部使所述显示部显示根据所述乘员的讲话而提供的智能体信息,在使显示着所述动画的显示区域显示所述智能体信息的情况下与在使没有显示着所述动画的显示区域显示所述智能体信息的情况下,所述显示控制部使所述智能体信息的显示类型不同,
所述显示控制部根据所述动画的移动,在使所述第一显示区域显示所述智能体信息的情况下与在使所述第二显示区域显示所述智能体信息的情况下,使所述智能体信息的显示类型不同,
所述显示控制部以所述智能体信息的信息量不同的方式,使所述智能体信息的显示类型不同,
所述显示控制部使所述第一显示区域及所述第二显示区域中的、所述动画移动到的那一方的显示区域显示所述智能体信息的详情,使显示移动之前的所述动画的那一方的显示区域以减少所述智能体信息的信息量的方式显示所述智能体信息的概要或空白。
2.根据权利要求1所述的智能体装置,其中,
所述显示控制部基于进行了所述讲话的乘员在所述车辆内的位置,使所述第一显示区域及所述第二显示区域中的任一方显示所述动画。
3.根据权利要求1或2所述的智能体装置,其中,
所述智能体功能部基于来自设置于所述车辆的一个以上的话筒的输出来取得所述乘员的讲话,在所述动画正显示于所述第一显示区域的情况下与在所述动画正显示于所述第二显示区域的情况下,使取得所述乘员的讲话时的指向性不同。
4.根据权利要求1或2所述的智能体装置,其中,
所述智能体功能部基于设想就座的乘员的头部的位置与所述第一显示区域及所述第二显示区域中的显示着所述动画的那一方的显示区域最近的座位的乘员所进行的讲话,来提供所述服务。
5.根据权利要求1或2所述的智能体装置,其中,
所述第一显示区域与所述第二显示区域相比,在所述车辆内的位置靠近设想驾驶员的头部的位置。
6.根据权利要求1或2所述的智能体装置,其中,
在由与所述显示部一体地设置并检测触摸操作的检测部至少检测到针对所述动画的触摸操作的情况下,所述显示控制部根据针对所述动画的触摸操作,使所述动画移动。
7.根据权利要求1或2所述的智能体装置,其中,
所述显示控制部在所述动画从一方的显示区域向另一方的显示区域移动的情况下,使所述显示部显示所述智能体正在从所述一方的显示区域向所述另一方的显示区域移动的过程中的动画。
8.根据权利要求1或2所述的智能体装置,其中,
所述显示控制部在由所述乘员指定了正显示于所述第二显示区域的所述智能体信息的一部分的情况下,将所述第一显示区域的显示变更为基于由所述乘员指定了的所述智能体信息的一部分得到的信息。
9.根据权利要求1或2所述的智能体装置,其中,
所述显示控制部根据所述车辆的驾驶状况,使所述动画在所述第一显示区域与所述第二显示区域之间移动。
10.一种智能体装置的控制方法,其中,
所述智能体装置的控制方法使计算机进行如下处理:
使用智能体功能,根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;
使设置于所述车辆内的显示部显示与所述智能体功能对应的智能体所相关的动画;
根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同;
使所述显示部显示根据所述乘员的讲话而提供的智能体信息,在使显示着所述动画的显示区域显示所述智能体信息的情况下与在使没有显示着所述动画的显示区域显示所述智能体信息的情况下,使所述智能体信息的显示类型不同;
根据所述动画的移动,在使所述第一显示区域显示所述智能体信息的情况下与在使所述第二显示区域显示所述智能体信息的情况下,使所述智能体信息的显示类型不同;
以所述智能体信息的信息量不同的方式,使所述智能体信息的显示类型不同;以及
使所述第一显示区域及所述第二显示区域中的、所述动画移动到的那一方的显示区域显示所述智能体信息的详情,使显示移动之前的所述动画的那一方的显示区域以减少所述智能体信息的信息量的方式显示所述智能体信息的概要或空白。
11.一种存储介质,其存储有程序,其中,
所述程序使计算机执行如下处理:
使用智能体功能,根据车辆的乘员的讲话而提供包含使输出部输出通过声音进行的响应的服务;
使设置于所述车辆内的显示部显示与所述智能体功能对应的智能体所相关的动画;
根据来自所述乘员的指示,使所述动画在所述显示部所具备的第一显示区域与第二显示区域之间移动,所述第二显示区域在所述车辆内的位置与所述第一显示区域在所述车辆内的位置不同;
使所述显示部显示根据所述乘员的讲话而提供的智能体信息,在使显示着所述动画的显示区域显示所述智能体信息的情况下与在使没有显示着所述动画的显示区域显示所述智能体信息的情况下,使所述智能体信息的显示类型不同;
根据所述动画的移动,在使所述第一显示区域显示所述智能体信息的情况下与在使所述第二显示区域显示所述智能体信息的情况下,使所述智能体信息的显示类型不同;
以所述智能体信息的信息量不同的方式,使所述智能体信息的显示类型不同;以及
使所述第一显示区域及所述第二显示区域中的、所述动画移动到的那一方的显示区域显示所述智能体信息的详情,使显示移动之前的所述动画的那一方的显示区域以减少所述智能体信息的信息量的方式显示所述智能体信息的概要或空白。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-041558 | 2019-03-07 | ||
JP2019041558A JP7340940B2 (ja) | 2019-03-07 | 2019-03-07 | エージェント装置、エージェント装置の制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111661068A CN111661068A (zh) | 2020-09-15 |
CN111661068B true CN111661068B (zh) | 2023-09-29 |
Family
ID=72334988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010145342.8A Active CN111661068B (zh) | 2019-03-07 | 2020-03-04 | 智能体装置、智能体装置的控制方法及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11211033B2 (zh) |
JP (1) | JP7340940B2 (zh) |
CN (1) | CN111661068B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020144274A (ja) * | 2019-03-07 | 2020-09-10 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7169921B2 (ja) * | 2019-03-27 | 2022-11-11 | 本田技研工業株式会社 | エージェント装置、エージェントシステム、エージェント装置の制御方法、およびプログラム |
KR20220156805A (ko) * | 2020-03-23 | 2022-11-28 | 엘지전자 주식회사 | 디스플레이 제어 장치 |
JP7366850B2 (ja) * | 2020-07-28 | 2023-10-23 | 本田技研工業株式会社 | 情報共有システムおよび情報共有方法 |
JP7314898B2 (ja) * | 2020-10-09 | 2023-07-26 | トヨタ自動車株式会社 | エージェント装置、エージェント方法及びエージェントプログラム |
CN112373302B (zh) * | 2020-11-10 | 2022-07-12 | 广州小鹏汽车科技有限公司 | 显示控制方法、装置、车辆及存储介质 |
CN114564159B (zh) * | 2020-11-27 | 2024-01-30 | 上海擎感智能科技有限公司 | 控制方法、系统及计算机存储介质 |
KR20230023330A (ko) * | 2021-08-10 | 2023-02-17 | 현대모비스 주식회사 | 차량의 표시 장치 및 그것의 동작 방법, 차량 |
CN114035878A (zh) * | 2021-11-11 | 2022-02-11 | 阿波罗智联(北京)科技有限公司 | 信息显示方法、装置、电子设备以及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06183286A (ja) * | 1992-09-16 | 1994-07-05 | Zanabui Infuomateikusu:Kk | 車載用情報表示装置 |
US6006161A (en) * | 1996-08-02 | 1999-12-21 | Aisin Aw Co., Ltd. | Land vehicle navigation system with multi-screen mode selectivity |
JP2000043652A (ja) * | 1998-07-31 | 2000-02-15 | Alpine Electronics Inc | 車載用装置の表示制御方式 |
JP2003022278A (ja) * | 2001-07-06 | 2003-01-24 | Alpine Electronics Inc | 情報交換システム |
JP2006335231A (ja) * | 2005-06-02 | 2006-12-14 | Denso Corp | エージェントキャラクタ表示を利用した表示システム |
JP2008001247A (ja) * | 2006-06-23 | 2008-01-10 | Kenwood Corp | エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法 |
CN108973989A (zh) * | 2017-06-02 | 2018-12-11 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006154926A (ja) * | 2004-11-25 | 2006-06-15 | Denso Corp | キャラクタ表示を利用した電子機器操作システム及び電子機器 |
US8214219B2 (en) * | 2006-09-15 | 2012-07-03 | Volkswagen Of America, Inc. | Speech communications system for a vehicle and method of operating a speech communications system for a vehicle |
ATE555433T1 (de) * | 2007-04-26 | 2012-05-15 | Ford Global Tech Llc | Emotives beratungssystem und verfahren |
US20100118037A1 (en) * | 2008-09-08 | 2010-05-13 | Apple Inc. | Object-aware transitions |
US20110298808A1 (en) * | 2010-06-02 | 2011-12-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Animated Vehicle Attendance Systems |
US9008906B2 (en) * | 2011-11-16 | 2015-04-14 | Flextronics Ap, Llc | Occupant sharing of displayed content in vehicles |
KR101416378B1 (ko) * | 2012-11-27 | 2014-07-09 | 현대자동차 주식회사 | 영상 이동이 가능한 디스플레이 장치 및 방법 |
KR20150073269A (ko) * | 2013-12-20 | 2015-07-01 | 현대자동차주식회사 | 차량용 클러스터 장치 |
-
2019
- 2019-03-07 JP JP2019041558A patent/JP7340940B2/ja active Active
-
2020
- 2020-03-04 US US16/808,414 patent/US11211033B2/en active Active
- 2020-03-04 CN CN202010145342.8A patent/CN111661068B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06183286A (ja) * | 1992-09-16 | 1994-07-05 | Zanabui Infuomateikusu:Kk | 車載用情報表示装置 |
US6006161A (en) * | 1996-08-02 | 1999-12-21 | Aisin Aw Co., Ltd. | Land vehicle navigation system with multi-screen mode selectivity |
JP2000043652A (ja) * | 1998-07-31 | 2000-02-15 | Alpine Electronics Inc | 車載用装置の表示制御方式 |
JP2003022278A (ja) * | 2001-07-06 | 2003-01-24 | Alpine Electronics Inc | 情報交換システム |
JP2006335231A (ja) * | 2005-06-02 | 2006-12-14 | Denso Corp | エージェントキャラクタ表示を利用した表示システム |
JP2008001247A (ja) * | 2006-06-23 | 2008-01-10 | Kenwood Corp | エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法 |
CN108973989A (zh) * | 2017-06-02 | 2018-12-11 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11211033B2 (en) | 2021-12-28 |
CN111661068A (zh) | 2020-09-15 |
US20200286450A1 (en) | 2020-09-10 |
JP7340940B2 (ja) | 2023-09-08 |
JP2020144663A (ja) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111661068B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11380325B2 (en) | Agent device, system, control method of agent device, and storage medium | |
CN111681651B (zh) | 智能体装置、智能体系统、服务器装置、智能体装置的控制方法及存储介质 | |
CN111752686A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111746435B (zh) | 信息提供装置、信息提供方法及存储介质 | |
CN111559328B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US20200319634A1 (en) | Agent device, method of controlling agent device, and storage medium | |
US20200286452A1 (en) | Agent device, agent device control method, and storage medium | |
CN111667824A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111660966A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
CN111724778B (zh) | 车载装置、车载装置的控制方法及存储介质 | |
CN111667823B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11542744B2 (en) | Agent device, agent device control method, and storage medium | |
CN111731320B (zh) | 智能体系统、智能体服务器及其控制方法、存储介质 | |
CN111661065B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP7245695B2 (ja) | サーバ装置、情報提供システム、および情報提供方法 | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111754999B (zh) | 智能体装置及其控制方法、智能体系统、存储介质 | |
CN111726772B (zh) | 智能体系统及其控制方法、服务器装置、存储介质 | |
CN111824174A (zh) | 智能体装置、智能体装置的控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |