JP2022063121A - エージェント装置、エージェント方法及びエージェントプログラム - Google Patents
エージェント装置、エージェント方法及びエージェントプログラム Download PDFInfo
- Publication number
- JP2022063121A JP2022063121A JP2020171496A JP2020171496A JP2022063121A JP 2022063121 A JP2022063121 A JP 2022063121A JP 2020171496 A JP2020171496 A JP 2020171496A JP 2020171496 A JP2020171496 A JP 2020171496A JP 2022063121 A JP2022063121 A JP 2022063121A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- function
- recommended function
- recommended
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000009471 action Effects 0.000 claims abstract description 29
- 230000008921 facial expression Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 description 219
- 239000003795 chemical substances by application Substances 0.000 description 51
- 230000008569 process Effects 0.000 description 21
- 230000006399 behavior Effects 0.000 description 6
- 230000001502 supplementing effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1に示されるように、第1の実施形態のエージェントシステム10は、車両12と、エージェント装置としてのセンタサーバ30と、情報提供サーバ40と、を含んで構成されている。車両12には通知装置としての車載器20が搭載されている。
図2に示されるように、本実施形態に係る車両12は、車載器20と、複数のECU22と、複数の車載装置23と、マイク24と、カメラ25と、入力スイッチ26と、モニタ27と、スピーカ28と、GPS装置29と、を含んで構成されている。
図3に示されるように、センタサーバ30は、CPU30A、ROM30B、RAM30C、ストレージ30D、及び通信I/F30Eを含んで構成されている。CPU30A、ROM30B、RAM30C、ストレージ30D及び通信I/F30Eは、内部バス30Gを介して相互に通信可能に接続されている。CPU30A、ROM30B、RAM30C及び通信I/F30Eの機能は、上述した車載器20のCPU20A、ROM20B、RAM20C及び無線通信I/F20Eと同じである。
本実施形態のエージェントシステム10において実行される処理の流れについて、図5及び図6のフローチャートを用いて説明する。
本実施形態のセンタサーバ30は、受付部200が乗員Pの言動を受け付けると、意図理解部210が受け付けた言動を理解する。そして、機能制御部220において、選定部222は、理解した乗員Pの意図に基づいて推奨機能を選定し、決定部224が、推奨機能の作動、及び作動の提案の何れを実行するかを、車両12の環境に係る所定の条件に基づいて決定する。そして、機能制御部220において、指示部226が、推奨機能の作動又は作動の提案の指示をコマンドとして車載器20に送信する。一方、コマンドを受信した車載器20では、コマンドが推奨機能の作動に係る指示である場合に推奨機能を作動させる。以上、本実施形態のセンタサーバ30によれば、乗員Pの言動及び車両12の環境に応じて車両12の機能を作動させることで、乗員Pの操作負担の軽減を図ることができる。
第1の実施形態では、車載器20が推奨機能の作動に係るコマンドを受信した場合に当該推奨機能を作動させていたが、第2の実施形態では、推奨機能の作動に係るコマンドを受信した場合、乗員Pに対して作動の可否の確認を行っている。以下、第1の実施形態との相違点について説明する。なお、第1の実施形態とハードウェアの構成は同じであるため、説明は割愛する。
上記各実施形態では、乗員Pの発話、表情及び動きに基づいて、意図理解部210が乗員Pの意図を理解していたが、これに限らない。例えば、タッチパネルであるモニタ27に対する乗員Pの操作に基づいて、意図理解部210が乗員Pの意図を理解してもよい。この場合の操作とは、例えば、乗員Pがモニタ27に対して文字列を入力したり、選択肢を選択したりすることが挙げられる。
25 カメラ(撮像装置)
30 センタサーバ(エージェント装置)
100 処理プログラム(エージェントプログラム)
200 受付部
210 意図理解部
222 選定部
224 決定部
226 指示部
242 気象取得部
244 位置取得部
246 走行取得部
P 乗員
Claims (10)
- 車両の乗員の言動を受け付ける受付部と、
前記受付部が受け付けた言動の意図を理解する意図理解部と、
前記意図理解部が理解した前記乗員の意図に基づいて、作動を推奨する前記車両の機能を推奨機能として選定する選定部と、
前記選定部により選定された前記推奨機能の作動、及び作動の提案の何れを実行するかを、前記車両の環境に係る所定の条件に基づいて決定する決定部と、
前記決定部の決定に基づいて、前記推奨機能の作動又は作動の提案の指示を前記車両に対して行う指示部と、
を備えるエージェント装置。 - 前記受付部は、前記車両が搭載する撮像装置により撮像された前記乗員の撮像画像の情報を受け付け、
前記意図理解部は、前記乗員の表情及び動きの少なくも一つに基づいて、前記乗員の意図を理解する請求項1に記載のエージェント装置。 - 前記車両が走行する地点の気象に関する気象情報を取得する気象取得部を備え、
前記決定部は、前記気象取得部が取得した前記気象情報に係る気象状態を所定の条件の一つとして、前記推奨機能の作動、及び作動の提案の何れを実行するかを決定する請求項1又は2に記載のエージェント装置。 - 前記決定部は、前記推奨機能が前記気象状態に対応付けられている機能の場合は前記推奨機能の作動を決定し、前記推奨機能が前記気象状態に対応付けられていない機能の場合は前記推奨機能の作動の提案を決定する請求項3に記載のエージェント装置。
- 前記車両の位置情報を取得する位置取得部を備え、
前記決定部は、前記位置取得部が取得した前記位置情報に対応する前記車両の位置を所定の条件の一つとして、前記推奨機能の作動、及び作動の提案の何れを実行するかを決定する請求項1~4の何れか1項に記載のエージェント装置。 - 前記決定部は、前記推奨機能の利用が可能な位置の場合は前記推奨機能の作動を決定し、前記推奨機能の利用が不可能な位置の場合は前記推奨機能の作動の提案を決定する請求項5に記載のエージェント装置。
- 前記車両の走行状態を取得する走行取得部を備え、
前記決定部は、前記走行取得部が取得した前記車両の走行状態を所定の条件の一つとして、前記推奨機能の作動、及び作動の提案の何れを実行するかを決定する請求項1~6の何れか1項に記載のエージェント装置。 - 前記決定部は、前記車両が停止している場合は前記推奨機能の作動を決定し、前記車両が走行している場合は前記推奨機能の作動の提案を決定する請求項7に記載のエージェント装置。
- 車両の乗員の言動を受け付け、
受け付けた言動の意図を理解し、
理解した前記乗員の意図に基づいて、作動を推奨する前記車両の機能を推奨機能として選定し、
選定された前記推奨機能の作動、及び作動の提案の何れを実行するかを、前記車両の環境に係る所定の条件に基づいて決定し、
前記決定に基づいて、前記推奨機能の作動又は作動の提案の指示を前記車両に対して行う、
処理をコンピュータが実行するエージェント方法。 - 車両の乗員の言動を受け付け、
受け付けた言動の意図を理解し、
理解した前記乗員の意図に基づいて、作動を推奨する前記車両の機能を推奨機能として選定し、
選定された前記推奨機能の作動、及び作動の提案の何れを実行するかを、前記車両の環境に係る所定の条件に基づいて決定し、
前記決定に基づいて、前記推奨機能の作動又は作動の提案の指示を前記車両に対して行う、
処理をコンピュータに実行させるためのエージェントプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020171496A JP7314898B2 (ja) | 2020-10-09 | 2020-10-09 | エージェント装置、エージェント方法及びエージェントプログラム |
US17/468,259 US20220111855A1 (en) | 2020-10-09 | 2021-09-07 | Agent device, agent method and storage medium storing agent program |
CN202111128003.XA CN114312797A (zh) | 2020-10-09 | 2021-09-26 | 智能体装置、智能体方法以及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020171496A JP7314898B2 (ja) | 2020-10-09 | 2020-10-09 | エージェント装置、エージェント方法及びエージェントプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022063121A true JP2022063121A (ja) | 2022-04-21 |
JP7314898B2 JP7314898B2 (ja) | 2023-07-26 |
Family
ID=81045651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020171496A Active JP7314898B2 (ja) | 2020-10-09 | 2020-10-09 | エージェント装置、エージェント方法及びエージェントプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220111855A1 (ja) |
JP (1) | JP7314898B2 (ja) |
CN (1) | CN114312797A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024071469A1 (ko) * | 2022-09-28 | 2024-04-04 | 엘지전자 주식회사 | 인공지능 기기 및 그의 동작 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11351901A (ja) * | 1998-06-10 | 1999-12-24 | Denso Corp | 制御装置 |
JP2019074498A (ja) * | 2017-10-19 | 2019-05-16 | アイシン精機株式会社 | 運転支援装置 |
JP2020020987A (ja) * | 2018-08-02 | 2020-02-06 | トヨタ自動車株式会社 | 車内システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6498970B2 (en) * | 2001-04-17 | 2002-12-24 | Koninklijke Phillips Electronics N.V. | Automatic access to an automobile via biometrics |
US9701258B2 (en) * | 2013-07-09 | 2017-07-11 | Magna Electronics Inc. | Vehicle vision system |
US10166995B2 (en) * | 2016-01-08 | 2019-01-01 | Ford Global Technologies, Llc | System and method for feature activation via gesture recognition and voice command |
KR101816635B1 (ko) * | 2016-07-11 | 2018-01-09 | 한동대학교 산학협력단 | 차량의 운전 보조 시스템 및 서비스 방법 |
JP6722132B2 (ja) * | 2017-04-27 | 2020-07-15 | クラリオン株式会社 | 推奨運転出力装置、推奨運転出力方法、及び推奨運転出力システム |
JP6844472B2 (ja) * | 2017-08-24 | 2021-03-17 | トヨタ自動車株式会社 | 情報処理装置 |
JPWO2019082630A1 (ja) * | 2017-10-23 | 2020-12-03 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
CN108995655B (zh) * | 2018-07-06 | 2020-04-10 | 北京理工大学 | 一种驾驶员驾驶意图识别方法及系统 |
JP7068986B2 (ja) * | 2018-10-09 | 2022-05-17 | 本田技研工業株式会社 | エージェントシステム、エージェント制御方法、およびプログラム |
JP7053432B2 (ja) * | 2018-11-14 | 2022-04-12 | 本田技研工業株式会社 | 制御装置、エージェント装置及びプログラム |
JP7165566B2 (ja) * | 2018-11-14 | 2022-11-04 | 本田技研工業株式会社 | 制御装置、エージェント装置及びプログラム |
JP7340940B2 (ja) * | 2019-03-07 | 2023-09-08 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
US11858532B2 (en) * | 2020-06-04 | 2024-01-02 | Qualcomm Incorporated | Gesture-based control for semi-autonomous vehicle |
-
2020
- 2020-10-09 JP JP2020171496A patent/JP7314898B2/ja active Active
-
2021
- 2021-09-07 US US17/468,259 patent/US20220111855A1/en not_active Abandoned
- 2021-09-26 CN CN202111128003.XA patent/CN114312797A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11351901A (ja) * | 1998-06-10 | 1999-12-24 | Denso Corp | 制御装置 |
JP2019074498A (ja) * | 2017-10-19 | 2019-05-16 | アイシン精機株式会社 | 運転支援装置 |
JP2020020987A (ja) * | 2018-08-02 | 2020-02-06 | トヨタ自動車株式会社 | 車内システム |
Also Published As
Publication number | Publication date |
---|---|
US20220111855A1 (en) | 2022-04-14 |
JP7314898B2 (ja) | 2023-07-26 |
CN114312797A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10192171B2 (en) | Method and system using machine learning to determine an automotive driver's emotional state | |
US7269504B2 (en) | System and method for assigning a level of urgency to navigation cues | |
JP4534925B2 (ja) | 車両用情報提供装置 | |
US10558876B2 (en) | Automatic driving assistance device and automatic driving assistance method | |
US11491903B2 (en) | System and method for alleviating sensory conflict in a vehicle | |
JP2004524210A (ja) | 自動車に関する情報に関連するデータを出力する方法および装置 | |
JP6714552B2 (ja) | 車両制御装置 | |
JP2009255609A (ja) | 遠隔操作装置 | |
JP2006214945A (ja) | 運転支援装置 | |
WO2019172011A1 (ja) | 車載制御装置、制御プログラム及び機器制御方法 | |
JP7314898B2 (ja) | エージェント装置、エージェント方法及びエージェントプログラム | |
CN110329183B (zh) | 车辆控制装置 | |
EP4198455A1 (en) | Dynamic modality-based vehicle navigation | |
JP6996632B2 (ja) | 音声対話装置、音声対話システム、及び音声対話装置の制御方法 | |
CN113386758B (zh) | 车辆及其控制装置 | |
CN113147598B (zh) | 应用于车辆的座舱系统及其控制方法、车辆 | |
KR101854338B1 (ko) | 차량용 멀티미디어 장치 | |
WO2020202380A1 (ja) | 制御装置、制御方法及びプログラム | |
JP2022083350A (ja) | エージェント装置 | |
WO2024038817A1 (ja) | 情報通知システム、車両制御装置、プログラム、及び情報通知方法 | |
CN113574848A (zh) | 控制装置、控制方法以及程序 | |
KR20190131731A (ko) | 차량 및 그 제어방법 | |
CN111469660B (zh) | 车辆及其控制装置 | |
US20240199042A1 (en) | Method, apparatus and computer program product for vehicle feature emulation | |
US20240115176A1 (en) | System and method to detect automotive stress and/or anxiety in vehicle operators and implement remediation measures via the cabin environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7314898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |