JP2023019245A

JP2023019245A - Agent device

Info

Publication number: JP2023019245A
Application number: JP2021123831A
Authority: JP
Inventors: 勇長澤; Isamu Nagasawa
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2023-02-09

Abstract

To provide an agent device that can increase the safety by preventing a driver from keep looking at a specific target and paying no attention to regions around the driver.SOLUTION: An agent device 100 includes: a shift position sensor 140f for detecting a shift position; an ambient surrounding recognition unit 120 for acquiring a surrounding situation; and an agent controller 190 for controlling a personalized agent. The agent controller 190 expresses the curvature of a corner by using both arms and stretch when the presence of a corner is determined in a travelling route by the acquisition of the surrounding situation.SELECTED DRAWING: Figure 9

Description

本発明は、擬人化されたキャラクタによる報知が可能なエージェント装置に関する。 TECHNICAL FIELD The present invention relates to an agent device capable of notification by an anthropomorphic character.

従来から、自動車などの車両での走行環境において、乗員（特に運転者）に注意喚起を促す手法として、様々な手法が提案されている。
このような手法の１つとして、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、対話を行いながら、乗員の要求に応じた運転支援に関する情報などを提供するエージェント装置や、運転支援装置が提案されている。 2. Description of the Related Art Conventionally, various methods have been proposed as methods for calling the attention of a passenger (especially a driver) in a driving environment of a vehicle such as an automobile.
As one of such methods, there is an agent device or a driving support device in which a passenger and an anthropomorphic character (a so-called agent) interact with each other to provide information on driving support in response to requests from the passenger. is proposed.

例えば、従来の運転支援装置では、音声などによる危険回避行動の通知では、直感的に伝わり難いと考え、ダッシュボードに小型のロボットを配設し、擬人化されたエージェントとして登場させ、このエージェントに運転者が行うべき危険回避行動を模擬的に実行させるものが提案されている（特許文献１参照）。 For example, with conventional driving support devices, it is difficult to intuitively convey danger avoidance notifications by voice, etc., so we installed a small robot on the dashboard and made it appear as an anthropomorphic agent. A system has been proposed that simulates the danger avoidance behavior that a driver should take (see Patent Literature 1).

特開２０１８－０３２２０４号公報JP 2018-032204 A

しかしながら、従来のエージェントは、無機的なものであったり、突然登場して注意喚起を促すものであったりして、エージェントと、運転者と、の信頼関係が築き難かった。また、エージェントに突然回避行動と同じ動作をとられても、回避行動を取らなければならない原因となったものが解らないと、とっさにその行動を取り難く、特に信頼関係がないと回避行動に繋がらないという問題があった。
特に、走行時に危険回避行動などの運転者に所定の対応処置の必要が発生した場合に、エージェントが突然、回避行動の真似事を行っても、何故エージェントがその行動を行ったのか理解できず、考えているうちに所定の回避行動が間に合わなくなってしまう虞がある。
例えば、走行中にコーナーが現れた際に、エージェントに注意が集中してしまう、あるいは、対向車やコーナー外側の風景、ガードレールなどに視線が行ってしまうと、アンダーステアーを誘発し、対向車線にはみ出してしまう虞がある。 However, conventional agents are inorganic or appear suddenly to call attention, making it difficult to build a relationship of trust between the agent and the driver. In addition, even if the agent suddenly takes the same action as an evasive action, it is difficult to take that action immediately without knowing what caused the agent to take the evasive action, especially if there is no trusting relationship. I had a problem with not connecting.
In particular, when the driver is required to take a predetermined action such as avoiding danger while driving, even if the agent suddenly mimics the avoidance action, it is difficult to understand why the agent took that action. , while thinking, there is a possibility that the predetermined avoidance action will not be in time.
For example, when a corner appears while driving, if the agent's attention is focused on the agent, or if the line of sight goes to the oncoming vehicle, the scenery outside the corner, the guardrail, etc., it will induce understeer and turn into the oncoming lane. There is a risk that it will stick out.

本発明は、このような従来の問題を解決するためになされたもので、特定の対象物に運転者の視線が集中して、周辺の注意が疎かになってしまうことを防止して、安全性を向上させることができるエージェント装置を提供することを課題とする。 SUMMARY OF THE INVENTION The present invention was made to solve such conventional problems. An object of the present invention is to provide an agent device capable of improving the performance.

本発明に係るエージェント装置は、シフトポジションを検知するシフトポジション検知部と、周辺状況を取得する周辺状況取得部と、擬人化されたエージェントを制御するエージェント制御部と、を備え、前記エージェント制御部は、前記周辺状況の取得により、進行経路にコーナーがあると判断した場合、両腕と屈伸を用いて、コーナーの曲率を表現させる、ことを特徴とする。 An agent device according to the present invention includes a shift position detection unit that detects a shift position, a surrounding situation acquisition unit that acquires a surrounding situation, and an agent control unit that controls a personified agent. is characterized by expressing the curvature of the corner by using both arms and bending and stretching when it is determined that there is a corner in the traveling path by acquiring the surrounding conditions.

本発明によれば、特定の対象物に運転者の視線が集中して、周辺の注意が疎かになってしまうことを防止して、安全性を向上させることができるエージェント装置を提供することができる。 According to the present invention, it is possible to provide an agent device capable of improving safety by preventing the driver's line of sight from concentrating on a specific object and causing the driver's attention to be neglected. can.

本発明の実施の一形態おける車両の車室内を示す斜視図である。1 is a perspective view showing the interior of a vehicle according to one embodiment of the present invention; FIG. 運転席前方の車室内を示す正面図である。It is a front view which shows the vehicle interior in front of a driver's seat. エージェントの配置を示す正面図である。FIG. 4 is a front view showing placement of agents; 本発明の実施の形態におけるエージェントの構成を示す概略図である。It is a schematic diagram showing the configuration of an agent in the embodiment of the present invention. エージェント装置を説明するためのブロック図である。3 is a block diagram for explaining an agent device; FIG. エージェント装置の制御部によって行われるエージェント制御処理のメインフローチャートである。4 is a main flow chart of agent control processing performed by the controller of the agent device; エージェント装置の制御部によって行われる走行時処理を示すフローチャートである。4 is a flow chart showing running processing performed by the control unit of the agent device. エージェント装置の制御部によって行われる走行中処理を示すフローチャートである。4 is a flow chart showing running processing performed by the control unit of the agent device. エージェント装置の制御部によって行われるコーナー走行用処理を示すフローチャートである。4 is a flow chart showing corner running processing performed by the control unit of the agent device. エージェントの動作の一例を示す動作図である。FIG. 4 is an operation diagram showing an example of an agent's operation; コーナーにおける道路状況の一例を示す図である。It is a figure which shows an example of the road condition in a corner. エージェントの動作の一例を示す動作図である。FIG. 4 is an operation diagram showing an example of an agent's operation;

以下、本発明の実施の形態について、図面を参照して説明する。
また、以下の説明で、異なる図における同一符号は同一機能の部位を示しており、各図における重複説明は適宜省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
Also, in the following description, the same reference numerals in different drawings indicate portions having the same function, and duplication of description in each drawing will be omitted as appropriate.

（車室内における各構成）
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４と、を有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、運転者（以下、ドライバーという）Ｈに向けて展開するエアバッグ８が格納されている。
なお、本実施の形態のエージェント装置１００（後述）およびエージェント２００（後述）においては、ドライバーＨとの対話やジェスチャー（動作）を基本に説明しているが、他の乗員に対しても同様に行うことができる。 (Each configuration in the passenger compartment)
As shown in FIGS. 1 and 2, a vehicle 1 includes an instrument panel 3 provided on the vehicle front side of a driver's seat 2, a steering wheel 4 disposed between the driver's seat 2 and the instrument panel 3, have. The steering wheel 4 is rotatably attached to a steering column (not shown) via a steering shaft (not shown). Further, inside the steering wheel 4, an airbag 8 that deploys toward a driver (hereafter referred to as a driver) H is stored when the vehicle 1 collides or the like.
In addition, in the agent device 100 (described later) and the agent 200 (described later) of the present embodiment, the explanation is based on the interaction and gestures (movements) with the driver H, but the same applies to other passengers. It can be carried out.

図１に示すように、車両１の車室内には、第１表示用パネル３０と、第２表示用パネル４０と、の２つの表示パネルが設けられている。第１表示用パネル３０は、運転席２の前方側のインストルメントパネル３に配置され、第２表示用パネル４０は、運転席２の左前方側のインストルメントパネル３に配置されている。 As shown in FIG. 1 , two display panels, that is, a first display panel 30 and a second display panel 40 are provided in the interior of the vehicle 1 . The first display panel 30 is arranged on the instrument panel 3 on the front side of the driver's seat 2 , and the second display panel 40 is arranged on the instrument panel 3 on the left front side of the driver's seat 2 .

（第１表示用パネル３０）
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバーＨは、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。 (First display panel 30)
As shown in FIGS. 1 and 2, the first display panel 30 includes a pointer-type meter configured like an analog clock, and a so-called liquid crystal display device in which a liquid crystal panel and a backlight are integrally provided. configured with. The driver H can view various information displayed in the first display area 30 a of the first display panel 30 through the upper space 4 a of the steering wheel 4 .

図２に示すように、第１表示用パネル３０には、第１表示領域３０ａが設けられており、この第１表示領域３０ａの左右には、車両１の走行速度（スピードメータ）や、エンジンの単位時間当たりの回転数（タコメータ）などの情報を表示する２つの指針式メータと、２つの指針式メータの間であって第１表示用パネル３０の中央部には、一般的な車両情報を示す画像を表示する小型の液晶ディスプレイ装置とが配置される。なお、第１表示用パネル３０は、指針式メータを備えずに、全体を１つの液晶ディスプレイ装置で構成してもよい。 As shown in FIG. 2, the first display panel 30 is provided with a first display area 30a. Two pointer type meters that display information such as the number of revolutions per unit time (tachometer), and general vehicle information in the central part of the first display panel 30 between the two pointer type meters and a small liquid crystal display device for displaying an image showing It should be noted that the first display panel 30 may be entirely composed of one liquid crystal display device without including a needle-type meter.

（第２表示用パネル４０）
図１に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第２表示用パネル４０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。 (Second display panel 40)
As shown in FIG. 1, the second display panel 40 is composed of, for example, a so-called liquid crystal display device in which a liquid crystal panel and a backlight are integrally provided. The second display panel 40 displays map information and the like, and serves as a so-called car navigation system.

なお、第１表示用パネル３０、第２表示用パネル４０において構成されている液晶ディスプレイ装置を、プラズマディスプレイや有機ＥＬ等の自発光型の表示デバイス、投影型のプロジェクタ等の表示装置で構成してもよい。 It should be noted that the liquid crystal display device constituted by the first display panel 30 and the second display panel 40 is constituted by a self-luminous display device such as a plasma display or organic EL, or a display device such as a projection type projector. may

（エージェント２００）
また、図３に示すように、運転席２の前方側のインストルメントパネル３の上部には、エージェント２００が配置されている。
なお、エージェント２００は、ドライバーＨの周辺視野に入る位置であればどこでもよく、必ずしも運転席の真正面に配置されていなくてもよい。なお、エージェント２００は、ドライバーＨの周辺視野にあって、ドライバーＨの車外の視野等を遮らない位置にあるのが望ましい。また、所定の操作デバイス、または、音声指示等により、エージェント２００の配置位置を変更できるようにしてもよい。 (Agent 200)
Further, as shown in FIG. 3, an agent 200 is arranged above the instrument panel 3 on the front side of the driver's seat 2 .
The agent 200 may be located anywhere within the peripheral vision of the driver H, and does not necessarily have to be located directly in front of the driver's seat. It is desirable that the agent 200 is in the driver H's peripheral field of vision and is positioned so as not to block the driver's H's field of view outside the vehicle. Also, the arrangement position of the agent 200 may be changed by a predetermined operation device, voice instruction, or the like.

エージェント２００は、擬人化されたキャラクタであり、人型の外形を備えた報知用および対話型の立体物である。なお、本実施の形態において、エージェント２００は、人型の実像する立体物としているが、これに限らず、ディスプレイ等の表示装置に表示されたキャラクタであっても、フォログラム等で表現された３次元表示物、仮想立体物等であってもよい。 The agent 200 is an anthropomorphic character, and is an informative and interactive three-dimensional object with a humanoid appearance. In the present embodiment, the agent 200 is a three-dimensional object that is a real image of a human. It may be a dimensional display object, a virtual three-dimensional object, or the like.

図４に示すように、エージェント２００は、頭部２１１、右眼部２１２Ｒ、左眼部２１２Ｌ、首部２１３、胸部２１４、腰部２１５、臀部２１６、右肩部２２１Ｒ、左肩部２２１Ｌ、右上腕部２２２Ｒ、左上腕部２２２Ｌ、右肘部２２３Ｒ、左肘部２２３Ｌ、右前腕部２２４Ｒ、左前腕部２２４Ｌ、右手首部２２５Ｒ、左手首部２２５Ｌ、右手部２２６Ｒ、左手部２２６Ｌ、右股関節部２３１Ｒ、左股関節部２３１Ｌ、右大腿部２３２Ｒ、左大腿部２３２Ｌ、右膝部２３３Ｒ、左膝部２３３Ｌ、右下腿部２３４Ｒ、左下腿部２３４Ｌ、右足首部２３５Ｒ、左足首部２３５Ｌ、右足部２３６Ｒ、左足部２３６Ｌを有している。 As shown in FIG. 4, agent 200 includes head 211, right eye 212R, left eye 212L, neck 213, chest 214, waist 215, buttocks 216, right shoulder 221R, left shoulder 221L, right upper arm 222R. , left upper arm 222L, right elbow 223R, left elbow 223L, right forearm 224R, left forearm 224L, right wrist 225R, left wrist 225L, right hand 226R, left hand 226L, right hip joint 231R, left hip joint 231L, right thigh 232R, left thigh 232L, right knee 233R, left knee 233L, right lower leg 234R, left lower leg 234L, right ankle 235R, left ankle 235L, right foot 236R, left foot 236L have.

また、エージェント２００には、支持コネクタ２４０が設けられており、エージェント２００が、インストルメントパネル３上に立設可能に支持されている。
なお、エージェント２００の頭部２１１の両側部には、耳が設けられている。これにより、ドライバーＨの話をエージェント２００がよく聴いているように思わせることができる。また、この耳については、実際に設けられていなくても、後述のように、エージェント２００がドライバーＨの話を聴く際に、エージェント２００の頭部２１１の側部に、右手部２２６Ｒまたは左手部２２６Ｌを当てることにより、耳に手を当てて聴いているように見せることができ、ドライバーＨとの信頼関係を深めることができる。 Further, the agent 200 is provided with a support connector 240, and the agent 200 is supported on the instrument panel 3 so as to be erectable.
Ears are provided on both sides of the head 211 of the agent 200 . As a result, the agent 200 can be made to think that the driver H is listening carefully. In addition, even if these ears are not actually provided, as will be described later, when the agent 200 listens to the driver H, they are attached to the side of the head 211 of the agent 200 on the right hand portion 226R or the left hand portion. 226L makes it look as if the listener is listening with his or her hand on the ear, and the relationship of trust with the driver H can be deepened.

なお、図４（ａ）は、エージェント２００が、ドライバーＨ側（車両１の後方側）を向いているときの基本姿勢を示す図であり、図４（ｂ）は、エージェント２００が、ドライバーＨに背を向けている（車両１の前方側を向いている）ときの基本姿勢を示す図である。
また、基本姿勢において、エージェント２００は、右手部２２６Ｒの右手掌部２２６Ｒａ、左手部２２６Ｌの左手掌部２２６Ｌａをエージェント２００の内側に向け、右手部２２６Ｒの右手甲部２２６Ｒｂ、左手部２２６Ｌの左手甲部２２６Ｌｂをエージェント２００の外側に向けて、起立している。
上記のように、エージェント２００は、ドライバーＨ側を向いた前面姿勢と、ドライバーＨに背を向けた背面姿勢と、で自由に回転できるようになっている。すなわち、エージェント２００は、支持コネクタ２４０を中心にエージェント２００自体が回転するようなものでもよいし、エージェント２００を回転体の上にのせて、この回転体を回転させることにより、前面姿勢から背面姿勢、背面姿勢から前面姿勢に回転させるようにしたものであってもよい。 FIG. 4(a) is a diagram showing the basic posture of the agent 200 when facing the driver H side (the rear side of the vehicle 1), and FIG. 1 is a diagram showing a basic posture when the back is turned to the front (facing the front side of the vehicle 1). FIG.
In the basic posture, the agent 200 directs the right palm 226Ra of the right hand 226R and the left palm 226La of the left hand 226L toward the inside of the agent 200. The part 226Lb faces the outside of the agent 200 and stands up.
As described above, the agent 200 can freely rotate between the front posture facing the driver H and the rear posture facing the driver H. That is, the agent 200 may rotate itself around the support connector 240, or the agent 200 may be placed on a rotating body and rotated to rotate from the front posture to the back posture. , and may be rotated from the back posture to the front posture.

また、エージェント２００内には、後述するエージェント制御部１９０が設けられており、エージェント２００の各関節を制御および動作させ、エージェント２００が所定の姿勢をとることができるようになっている。エージェント制御部１９０は、後述する制御部１１０（ＥＣＵ）と無線接続されており、制御部１１０による制御により、エージェント２００を動作させるようになっている。なお、本実施の形態では、エージェント制御部１９０と、制御部１１０と、を無線接続とするようにしたが、例えば、支持コネクタ２４０内に通信ラインを通して、有線接続するようにしてもよい。 An agent control unit 190, which will be described later, is provided in the agent 200 to control and operate each joint of the agent 200 so that the agent 200 can assume a predetermined posture. The agent control unit 190 is wirelessly connected to a control unit 110 (ECU), which will be described later, and operates the agent 200 under the control of the control unit 110 . Although the agent controller 190 and the controller 110 are wirelessly connected in this embodiment, they may be connected by wire through a communication line in the support connector 240, for example.

また、エージェント２００の頭部２１１内には、後述するエージェントスピーカ１９１が設けられており、エージェント制御部１９０の制御により、音声出力が行われるようになっている。なお、このエージェントスピーカ１９１は、エージェント２００の頭部２１１内に限らず、エージェント２００の他の部位であっても、車両１の他の場所に設けられたものであってもよい。ただし、エージェント２００の頭部２１１内にエージェントスピーカ１９１が設けられていた方が、ドライバーＨに対して、よりリアルにエージェント２００からの発話とらえさせることができ、感情移入もし易く、ドライバーＨのエージェント２００に対する信頼構築に、大きく寄与することができる。 An agent speaker 191, which will be described later, is provided in the head 211 of the agent 200, and voice output is performed under the control of the agent control unit 190. FIG. The agent speaker 191 is not limited to the inside of the head 211 of the agent 200 , and may be provided in another part of the agent 200 or in another location of the vehicle 1 . However, if the agent speaker 191 is provided in the head 211 of the agent 200, the driver H can catch the utterances from the agent 200 more realistically and easily empathize with the driver H's agent. It can greatly contribute to building trust in 200.

次に、本発明におけるエージェント装置１００の構成について、図５のブロック図を参照して説明する。 Next, the configuration of the agent device 100 according to the present invention will be described with reference to the block diagram of FIG.

図５に示すように、エージェント装置１００は、制御部１１０と、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、スピーカ１５０と、マイク１６０と、記憶部１７０と、送受信機１８０と、エージェント制御部１９０と、エージェントスピーカ１９１と、を備えている。 As shown in FIG. 5, the agent device 100 includes a control unit 110, a surrounding environment recognition unit 120, an occupant state recognition unit 130, a vehicle state recognition unit 140, a speaker 150, a microphone 160, and a storage unit 170. , a transmitter/receiver 180 , an agent control unit 190 , and an agent speaker 191 .

なお、図５に示すエージェント装置１００は一例にすぎず、エージェント装置１００の構成要素は適宜変更ができる。例えば、スピーカ１５０と、エージェントスピーカ１９１と、はいずれか一方のみでも、本発明のエージェント装置１００を実現できる。また、マイク１６０に加えて、エージェント２００内にエージェントマイクを備えても良く、マイク１６０の代わりに、エージェント２００内に備えたエージェントマイクのみを備えたものであっても、本発明のエージェント装置１００を実現できる。さらに、本実施の形態においては、制御部１１０とエージェント制御部１９０の双方を設けるようにしているが、これに限らず、制御部１１０、または、エージェント制御部１９０の一方のみを有し、双方の機能を行うようにしても構わない。 Note that the agent device 100 shown in FIG. 5 is merely an example, and the components of the agent device 100 can be changed as appropriate. For example, either one of the speaker 150 and the agent speaker 191 can realize the agent device 100 of the present invention. In addition to the microphone 160, the agent device 100 of the present invention may be provided with an agent microphone in the agent 200, and instead of the microphone 160, only the agent microphone provided in the agent 200 may be provided. can be realized. Furthermore, in the present embodiment, both the control unit 110 and the agent control unit 190 are provided, but the present invention is not limited to this. function may be performed.

（制御部１１０）
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、ＥＥＰＲＯＭ、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイスを制御するようになっている。 (control unit 110)
The control unit 110 includes a CPU, a ROM, a RAM (for example, a ring buffer), an EEPROM, and an input/output port (not shown). to control various devices through output ports.

なお、制御部１１０のＲＯＭには、エージェント２００が行う動作や、セリフのデータテーブル（図示省略）が記憶されている。また、ＡＩ等の学習機能を持たせ、記憶されている動作やセリフ以外を行うようにしてもよい。制御部１１０のＣＰＵは、後述する各認識部から取得した情報や、マイク１６０から取得した情報に基づいて、エージェント２００に行わせる動作やセリフをデータテーブルから決定する。例えば、ドライバーＨからの発話をマイク１６０から取得したら、データテーブルから「うなずき」のジェスチャーを決定し、ドライバーＨの発話が終了したら、「了解しました」といったセリフを決定する。なお、エージェント２００が行う動作や、セリフのデータテーブルは、エージェント制御部１９０のＲＯＭに記憶させるようにしてもよい。 Note that the ROM of the control unit 110 stores the actions performed by the agent 200 and a data table (not shown) of dialogue. Also, a learning function such as AI may be provided to perform actions and lines other than those stored. The CPU of the control unit 110 determines actions and lines to be performed by the agent 200 from the data table based on information acquired from each recognition unit described later and information acquired from the microphone 160 . For example, when driver H's speech is acquired from microphone 160, the gesture of "nodding" is determined from the data table, and when driver H finishes speaking, the line of "understood" is determined. The actions performed by the agent 200 and the dialogue data table may be stored in the ROM of the agent control unit 190 .

（周辺環境認識部１２０）
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂと、気温センサ１２０ｃと、天候センサ１２０ｄと、ナビゲーション装置１２１と、を備えており、これらのデバイスによって車両１の周辺環境および周辺状況を認識することができるようになっている。例えば、周辺環境認識部１２０は、進行方向のコーナーや曲がり角の存在、接近物の有無などを検知することができるようになっている。
なお、本実施の形態においては、ナビゲーション装置１２１を、周辺環境認識部１２０の一部として有する構成としているが、これに限らず、ナビゲーション装置１２１を周辺環境認識部１２０とは別体で、単独で有するものであってもよい。 (Surrounding environment recognition unit 120)
The surrounding environment recognition unit 120 is provided to recognize the surrounding environment of the vehicle 1 (own vehicle). In addition, the surrounding environment recognition unit 120 includes a camera 120a for photographing outside the vehicle, a radar 120b, an air temperature sensor 120c, a weather sensor 120d, and a navigation device 121. These devices detect the surrounding environment of the vehicle 1 and It is designed to be able to recognize the surrounding situation. For example, the surrounding environment recognition unit 120 can detect the presence of corners and turns in the traveling direction, the presence of approaching objects, and the like.
In the present embodiment, the navigation device 121 is configured as part of the surrounding environment recognition unit 120. However, the configuration is not limited to this. may have.

（車外撮影用カメラ１２０ａ）
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。 (External photography camera 120a)
The exterior photographing camera 120 a is attached to, for example, a rearview mirror (not shown), and is capable of photographing the front of the vehicle 1 and the rear of the vehicle 1 . Then, the captured image information is input to the control unit 110, and the control unit 110 stores the image information in the RAM. Thereby, the control unit 110 can recognize the situation in front of the vehicle 1 and in the rear of the vehicle 1 both in real time and after the fact.

（レーダ１２０ｂ）
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施の形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。 (Radar 120b)
The radar 120b uses, for example, a millimeter-wave radar that emits radio waves to detect obstacles and the like. Front side monitoring and rear side monitoring of the vehicle 1 can be performed. Then, the monitoring information is input to the control section 110, and the control section 110 stores the monitoring information in the RAM. Thereby, the control unit 110 can recognize the situation in front of the vehicle 1, the situation in the front side of the vehicle 1, and the situation in the rear side of the vehicle 1 both in real time and after the fact. In addition, although a millimeter wave radar is used in this embodiment, other radars may be used. For example, infrared radar may be used.

（気温センサ１２０ｃ）
気温センサ１２０ｃは、例えば、車両１の後部に取り付けられており、車両１の外部の気温を検出できるようになっている。そして、検出した気温が制御部１１０に入力されて、制御部１１０がＲＡＭに気温を記憶する。これにより、制御部１１０は、車両１の外部の気温を認識することができる。 (Temperature sensor 120c)
The air temperature sensor 120c is attached to the rear part of the vehicle 1, for example, so that the air temperature outside the vehicle 1 can be detected. Then, the detected air temperature is input to the control unit 110, and the control unit 110 stores the temperature in the RAM. Thereby, the control unit 110 can recognize the temperature outside the vehicle 1 .

（天候センサ１２０ｄ）
天候センサ１２０ｄは、例えば、車両１の上部に取り付けられており、車両１にかかる雨の水滴等を検知できるようになっている。そして、検知した水滴情報が制御部１１０に入力されて、制御部１１０がＲＡＭに水滴情報を記憶する。これにより、制御部１１０は、車両１の外部の天候状況を認識することができる。 (weather sensor 120d)
The weather sensor 120 d is attached, for example, to the upper portion of the vehicle 1 so as to detect rain water droplets or the like on the vehicle 1 . Then, the detected water droplet information is input to the control section 110, and the control section 110 stores the water droplet information in the RAM. Thereby, the control unit 110 can recognize the weather conditions outside the vehicle 1 .

（ナビゲーション装置１２１）
ナビゲーション装置１２１は、目的地、経由地等に応じて、経路案内を行うものである。また、ナビゲーション装置１２１は、地図情報やＧＰＳ、ＶＩＣＳ受信機などを有しており、車両１の現在位置や周辺の地図情報、渋滞情報、道路規制情報、駐車場情報などを取得できるようになっている。したがって、制御部１１０は、ナビゲーション装置１２１に加え、車外撮影用カメラ１２０ａやレーダ１２０ｂなどが取得した情報をもとに、車両１の周辺状況をリアルタイムに認識することができる。
なお、ナビゲーション装置１２１は、地図情報についても、随時、受信可能で、最新の地図情報を取得できるようになっている。また、ナビゲーション装置１２１の送受信部は、後述する送受信機１８０と兼用するものであっても構わない。 (Navigation device 121)
The navigation device 121 provides route guidance according to destinations, waypoints, and the like. In addition, the navigation device 121 has map information, GPS, VICS receiver, etc., and can acquire the current position of the vehicle 1, map information about the surroundings, traffic information, road regulation information, parking lot information, and the like. ing. Therefore, the control unit 110 can recognize the situation around the vehicle 1 in real time based on the information acquired by the vehicle exterior photographing camera 120a and the radar 120b in addition to the navigation device 121 .
The navigation device 121 can also receive map information at any time, and can acquire the latest map information. Further, the transmitting/receiving unit of the navigation device 121 may also be used as the transmitting/receiving device 180 described later.

以上のようにして、制御部１１０は、車両１の周辺環境、周辺状況をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の周辺環境、周辺状況の認識に基づいて、エージェント２００と、エージェントスピーカ１９１と、を制御して、車両１の周辺環境、周辺状況の情報をドライバーＨに対して報知することができる。例えば、車両１の前方に落下物があれば、「前方に落下物があります」といったジェスチャーおよび音声による報知ができる。これにより、安全性を向上させることができる。 As described above, the control unit 110 can recognize the surrounding environment and the surrounding situation of the vehicle 1 both in real time and after the fact. As a result, the control unit 110 controls the agent 200 and the agent speaker 191 based on the recognition of the surrounding environment and surrounding situation of the vehicle 1, and transmits the information of the surrounding environment and surrounding situation of the vehicle 1 to the driver H. can be notified. For example, if there is a falling object in front of the vehicle 1, it is possible to notify by gesture and voice that "there is a falling object in front". Thereby, safety can be improved.

なお、本実施の形態においては、周辺環境認識部１２０として、車外撮影用カメラ１２０ａと、レーダ１２０ｂと、気温センサ１２０ｃと、天候センサ１２０ｄと、ナビゲーション装置１２１と、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。 In the present embodiment, as surrounding environment recognition unit 120, camera 120a for photographing outside the vehicle, radar 120b, temperature sensor 120c, weather sensor 120d, and navigation device 121 are cited, but this is merely an example. Of course, other devices may be used instead.

（乗員状態認識部１３０）
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。 (Occupant state recognition unit 130)
The occupant state recognition unit 130 is provided for recognizing the state of the driver H. As shown in FIG. The occupant state recognizing unit 130 includes an occupant photographing camera 130a and a vital sensor 130b, and can recognize the state of the driver H by means of these devices.

（乗員撮影用カメラ１３０ａ）
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向き、また、うずくまった状態であるか、動作できない状態であるか、などが想定される。 (Passenger photographing camera 130a)
The occupant imaging camera 130a is attached to the instrument panel 3, for example, so that the driver H can be photographed. Then, the captured image information is input to the control unit 110, and the control unit 110 stores the image information in the RAM. Thereby, the control part 110 can recognize the state of the driver H in real time and after the fact. The state of the driver H mentioned here specifically includes the state of the eyelids of the driver H, the number of blinks, the direction of the line of sight, the direction of the face, and the state of being crouched or unable to move. state, or the like.

（バイタルセンサ１３０ｂ）
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。 (Vital sensor 130b)
The vital sensor 130b is attached, for example, to a portion of the steering wheel 4 that is gripped by the driver H, so that vital information such as heart rate and blood pressure of the driver H can be obtained. Then, the acquired vital information is input to the control unit 110, and the control unit 110 stores the vital information in the RAM. Thereby, the control part 110 can recognize the state of the driver H in real time and after the fact.

以上のようにして、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、ドライバーＨの状態の認識に基づいて、エージェント２００と、エージェントスピーカ１９１とを制御して、所定の情報をドライバーＨに対して報知することができる。例えば、「目蓋が下がっておりますが、休憩しませんか？」といった画像および音声による報知や、「いつもより心拍数が速いですが、休憩しませんか？」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。 As described above, the control unit 110 can recognize the state of the driver H in real time and after the fact. As a result, the control unit 110 can control the agent 200 and the agent speaker 191 based on recognition of the driver H's state, and notify the driver H of predetermined information. For example, it is possible to provide an image and voice notification such as ``Your eyelids are drooping, would you like to take a break?'' and an image and voice notification such as ``Your heart rate is faster than usual. . This leads to an improvement in safety.

乗員状態認識部１３０は、乗員撮影用カメラ１３０ａやバイタルセンサ１３０ｂから取得した情報や、マイク１６０から入力した情報に基づいて、ある程度の範囲でドライバーＨの思考感情を認識することができる。例えば、乗員撮影用カメラ１３０ａよりドライバーＨの顔の表情を取得し、バイタルセンサ１３０ｂよりドライバーＨの心拍数や血圧を取得し、マイク１６０より声量および入力内容を取得し、これらの取得した情報からドライバーＨが通常の思考感情にあるか、通常とは異なる思考感情（例えば、驚いている、怒っているなど）にあるかを認識することができる。 The occupant state recognition unit 130 can recognize the thoughts and feelings of the driver H to some extent based on the information acquired from the occupant photographing camera 130a and the vital sensor 130b and the information input from the microphone 160. FIG. For example, the driver H's facial expression is acquired from the camera 130a for photographing the passenger, the heart rate and blood pressure of the driver H are acquired from the vital sensor 130b, the voice volume and input content are acquired from the microphone 160, and from these acquired information It can be recognized whether the driver H is in a normal thinking feeling or a different thinking feeling (for example, surprised, angry, etc.).

なお、本実施形態においては、乗員状態認識部１３０として、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂと、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。 In this embodiment, the occupant photographing camera 130a and the vital sensor 130b are used as the occupant state recognition unit 130, but these are merely examples, and other devices may of course be used.

（車両状態認識部１４０）
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅと、シフトポジションセンサ１４０ｆと、を備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。 (Vehicle state recognition unit 140)
Vehicle state recognition unit 140 is provided to recognize the state of vehicle 1 . The vehicle state recognition unit 140 also includes a vehicle speed sensor 140a, a steering wheel angle sensor 140b, an accelerator pedal sensor 140c, a brake pedal sensor 140d, a G sensor 140e, and a shift position sensor 140f. The state of the vehicle 1 can be recognized by the device.

（車速センサ１４０ａ）
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。 (Vehicle speed sensor 140a)
The vehicle speed sensor 140a is a sensor for detecting the vehicle speed of the vehicle 1. The detected vehicle speed is input to the control unit 110 as a vehicle speed signal, and the control unit 110 stores the vehicle speed information in RAM. Thereby, the control part 110 can recognize the vehicle speed of the vehicle 1 in real time and after the fact.

（ハンドル角センサ１４０ｂ）
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。 (Handle angle sensor 140b)
The steering wheel angle sensor 140b is a sensor for detecting the steering wheel angle of the vehicle 1 (the angle of the steering wheel 4). to store the angle information. Thereby, the control unit 110 can recognize the steering wheel angle (the angle of the steering wheel 4) of the vehicle 1 both in real time and after the fact.

（アクセルペダルセンサ１４０ｃ）
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。 (Accelerator pedal sensor 140c)
The accelerator pedal sensor 140c is a sensor for detecting the amount of depression of an accelerator pedal (not shown). memorize Thereby, the control part 110 can recognize the depression amount of the accelerator pedal of the vehicle 1 in real time and after the fact.

（ブレーキペダルセンサ１４０ｄ）
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。 (Brake pedal sensor 140d)
The brake pedal sensor 140d is a sensor for detecting the amount of depression of a brake pedal (not shown). memorize Thereby, the control part 110 can recognize the depression amount of the brake pedal of the vehicle 1 in real time and after the fact.

（Ｇセンサ１４０ｅ）
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。 (G sensor 140e)
The G sensor 140e is a sensor for detecting the acceleration, deceleration and tilt of the vehicle 1, and detects the acceleration amount when acceleration is detected, the deceleration amount when deceleration is detected, and the tilt. In this case, the tilt angle amount is input to the control unit 110 as an acceleration amount signal, a deceleration amount signal, and a tilt angle signal, respectively, and the control unit 110 stores the acceleration information, deceleration information, and tilt information in the RAM. Thereby, the control part 110 can recognize the acceleration, deceleration, and inclination of the vehicle 1 in real time and after the fact.

（シフトポジションセンサ１４０ｆ）
シフトポジションセンサ１４０ｆは、車両１のシフトレンジ（シフトポジション）がどこになっているかを検出するためのセンサである。すなわち、シフトポジションセンサ１４０ｆは、シフトレンジが、パーキングレンジ（停車位置）、ドライブレンジ（走行位置）、リバースレンジ（後退位置）、ニュートラルレンジ（中立位置）等の、どの位置に設定されているかを検知するものである。シフトポジションセンサ１４０ｆが検知したシフトレンジは、制御部１１０に入力されて、制御部１１０がＲＡＭに現在のシフトレンジを記憶する。これにより、制御部１１０は、シフトレンジがどこに設定されているかを認識することができる。 (Shift position sensor 140f)
The shift position sensor 140f is a sensor for detecting where the shift range (shift position) of the vehicle 1 is. That is, the shift position sensor 140f detects which position the shift range is set to, such as parking range (parking position), drive range (running position), reverse range (backward position), neutral range (neutral position), and the like. It detects. The shift range detected by shift position sensor 140f is input to control unit 110, and control unit 110 stores the current shift range in RAM. This allows control unit 110 to recognize where the shift range is set.

以上のようにして、制御部１１０は、車両１の状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の状態の認識に基づいて、エージェント２００と、エージェントスピーカ１９１と、を制御して、車両１の状態の情報をドライバーＨに対して報知することができる。例えば、適切な速度で走行していれば、「適切な速度で走行されていますね」といったジェスチャーおよび音声による報知ができる。これにより、安全性の向上に繋がる。 As described above, the control unit 110 can recognize the state of the vehicle 1 both in real time and after the fact. Accordingly, the control unit 110 can notify the driver H of the state information of the vehicle 1 by controlling the agent 200 and the agent speaker 191 based on the recognition of the state of the vehicle 1 . For example, if the vehicle is traveling at an appropriate speed, it can be notified by gestures and voice such as "You are traveling at an appropriate speed." This leads to an improvement in safety.

なお、本実施形態においては、車両状態認識部１４０として、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅ、シフトポジションセンサ１４０ｆと、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。 In this embodiment, the vehicle state recognition unit 140 includes a vehicle speed sensor 140a, a steering wheel angle sensor 140b, an accelerator pedal sensor 140c, a brake pedal sensor 140d, a G sensor 140e, and a shift position sensor 140f. However, this is only an example, and other devices may of course be used.

（スピーカ１５０）
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、エージェント２００から発せられる音声以外の音声や警告音等が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。また、後述するように、スピーカ１５０は、エージェントスピーカ１９１を兼用するものであってもよい。 (Speaker 150)
The speaker 150 is attached to the instrument panel 3, for example, and outputs sounds other than the sound emitted from the agent 200, warning sounds, and the like. An audio speaker built in the vehicle 1 may be used without providing the speaker 150 . Also, as will be described later, the speaker 150 may double as the agent speaker 191 .

（マイク１６０）
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。 (mic 160)
The microphone 160 is attached to the instrument panel 3, for example, and receives voices from the driver H and other passengers.

（記憶部１７０）
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話をエージェント装置１００側（エージェント２００）から能動的に行うこともできる。 (storage unit 170)
The storage unit 170 can store information acquired from each of the recognition units described above, dialogue between the driver H and the control unit 110, and the like. By accumulating such information in the storage unit 170, the control unit 110 can determine the driving tendency of the driver H (for example, how the driver drives) and the hobbies and preferences of the driver H (for example, which Do you like such BGM?), etc., can be recognized. In addition, by recognizing these, it is also possible to actively engage in conversations in accordance with the driving tendency of the driver H and the hobbies and tastes of the driver H from the side of the agent device 100 (agent 200).

（送受信機１８０）
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話をエージェント装置１００側（エージェント２００）から能動的に行うこともできる。 (Transceiver 180)
The transmitter/receiver 180 can, for example, acquire information using a vehicle-mounted wireless LAN, acquire position information using a satellite positioning system, and the like. Based on the acquired information and the information accumulated in the storage unit 170, the control unit 110 causes the agent device 100 side (agent 200) to communicate with the driver H's driving tendency and the driver H's hobbies and preferences. It can also be done actively.

（エージェント制御部１９０）
エージェント制御部１９０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、入出力ポート等を備えており、例えば、制御部１１０から情報入力が行われると、エージェント２００の各部を動作させたり、エージェントスピーカ１９１に対して所定の音声出力を行わせたりできるようになっている。 (Agent control unit 190)
The agent control unit 190 includes a CPU, a ROM, a RAM, an input/output port, etc. (not shown). It is possible to perform a predetermined audio output by pressing the button.

（エージェントスピーカ１９１）
エージェントスピーカ１９１は、前述のように、エージェント２００の頭部２１１内に設けられており、エージェント２００から発せられる音声等が出力される。なお、本実施の形態のように、エージェントスピーカ１９１をエージェント２００の頭部２１１内、特に口にあたる部分に設けることで、よりリアルになり信頼関係の構築に寄与するものであるが、エージェント２００が小さいものであり、頭部２１１内に設けることが困難である場合などには、前述のスピーカ１５０で代用したり、車両１内の他の部分にエージェントスピーカ１９１、または、その代用品となるスピーカを設けたりしてもよい。 (Agent speaker 191)
The agent speaker 191 is provided inside the head 211 of the agent 200 as described above, and outputs voices and the like emitted from the agent 200 . By providing the agent speaker 191 in the head 211 of the agent 200, particularly in the mouth, as in the present embodiment, it becomes more realistic and contributes to building a relationship of trust. If it is small and difficult to install in the head 211, the speaker 150 described above may be substituted, or the agent speaker 191 or a substitute speaker may be placed in another part of the vehicle 1. may be provided.

次に、エージェント装置１００におけるエージェント２００の動作および対話について、説明する。エージェント２００の動作および対話は、制御部１１０による制御処理によって行われ、エージェント制御部１９０によりエージェント２００の各部が動作されるとともに、エージェントスピーカ１９１から音声が出力される。なお、制御処理を行う制御フローは、制御部１１０のＲＯＭに記憶されており、制御部１１０のＣＰＵがＲＯＭから読み出して各種処理を行う。 Next, the operation and interaction of agent 200 in agent device 100 will be described. The action and dialogue of the agent 200 are performed by the control processing by the control unit 110 , each part of the agent 200 is operated by the agent control unit 190 , and voice is output from the agent speaker 191 . A control flow for performing control processing is stored in the ROM of the control unit 110, and the CPU of the control unit 110 reads it from the ROM and performs various processing.

以下、図６を用いて、制御部１１０のＣＰＵにより行われるエージェント制御処理のメイン処理について、説明する。 Main processing of the agent control processing performed by the CPU of the control unit 110 will be described below with reference to FIG.

（ステップＳ１０）
ステップＳ１０において、制御部１１０のＣＰＵは、イグニッションがオンされると、エージェント制御処理のメイン処理を開始する。具体的には、制御部１１０のＣＰＵは、ＲＯＭからエージェント制御処理のメイン処理を読み出して処理を開始し、ステップＳ１００に処理を移行する。 (Step S10)
In step S10, when the ignition is turned on, the CPU of control unit 110 starts the main processing of the agent control processing. Specifically, the CPU of the control unit 110 reads the main process of the agent control process from the ROM, starts the process, and shifts the process to step S100.

（ステップＳ１００）
ステップＳ１００において、制御部１１０のＣＰＵは、乗車時処理を行う。乗車時処理では、ドライバーＨが車両１に乗車した際の開始時の処理を行う。例えば、制御部１１０のＣＰＵは、乗車時処理において、エージェント２００をドライバーＨに正対させる処理を行う。また、制御部１１０のＣＰＵは、ドライバーＨへの会話を行ったり、天候、燃料残情報、車両メンテナンスの特筆事項などの乗車時説明事項を、エージェント２００に対して発話および動作によって行わせたりする処理などを行う。そして、乗車時処理を終えると、ステップＳ２００に処理を移行する。 (Step S100)
In step S100, the CPU of the control unit 110 performs boarding processing. In the boarding process, the process at the start when the driver H gets into the vehicle 1 is performed. For example, the CPU of the control unit 110 performs a process of causing the agent 200 to face the driver H in the boarding process. In addition, the CPU of the control unit 110 converses with the driver H, and causes the agent 200 to speak and act to provide explanations upon boarding, such as the weather, remaining fuel information, special notes on vehicle maintenance, and the like. processing, etc. Then, when the boarding process is completed, the process proceeds to step S200.

（ステップＳ２００）
ステップＳ２００において、制御部１１０のＣＰＵは、運転開始前処理を行う。運転開始前処理では、ドライバーＨが運転を開始する前の処理を行う。例えば、運転開始前処理では、目的地までの走行環境の注意事項や、休憩ポイントについての説明などを行う。運転開始前処理の説明では、エージェント２００は、ドライバーＨに正対し、項目ごとに両手を動かして説明し、項目の終了ごとに首を上下するなど完了の合図も行う。そして、運転開始前処理を終えると、ステップＳ２０に処理を移行する。 (Step S200)
In step S200, the CPU of the control unit 110 performs pre-operation processing. In the pre-driving process, the process before the driver H starts driving is performed. For example, in the pre-driving process, notes on the driving environment to the destination, explanations about rest points, and the like are performed. In the explanation of the pre-driving process, the agent 200 faces the driver H, moves both hands to explain each item, and signals the completion of each item by moving the head up and down. Then, after finishing the pre-starting process, the process proceeds to step S20.

（ステップＳ２０）
ステップＳ２０において、制御部１１０のＣＰＵは、シフトレンジが「Ｐ」（パーキングレンジ）であるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがパーキングレンジでない（この場合、シフトポジションが変更された）と判定した場合には、ステップＳ３００に処理を移行し、シフトレンジがパーキングレンジである（この場合、シフトポジションが変更されていない）と判定した場合には、ステップＳ４００に処理を移行する。 (Step S20)
In step S20, the CPU of control unit 110 performs a process of determining whether or not the shift range is "P" (parking range). Specifically, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the parking range. When the CPU of control unit 110 determines that the shift range is not the parking range (in this case, the shift position has been changed), the process proceeds to step S300, and the shift range is the parking range (in this case, If it is determined that the shift position has not been changed, the process proceeds to step S400.

（ステップＳ３００）
ステップＳ３００において、制御部１１０のＣＰＵは、走行時処理を行う。走行時処理では、走行時におけるエージェント２００の制御処理を行う。例えば、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、「Ｄ」（ドライブレンジ）である場合には、エージェント２００を前方（車両１の進行方向）に向かせる（所定の姿勢をとらせる）などの前進走行時のエージェント２００の制御処理を行い、シフトレンジが「Ｒ」（リバースレンジ）である場合には、後退走行時のエージェント２００の制御処理を行う。走行時処理の詳細については、後述する。そして、走行時処理を終えると、ステップＳ３０に処理を移行する。 (Step S300)
In step S300, the CPU of the control unit 110 performs a running process. In the running process, the agent 200 is controlled during running. For example, when the shift range input from the shift position sensor 140f is "D" (driving range), the CPU of the control unit 110 directs the agent 200 forward (in the traveling direction of the vehicle 1) (predetermined If the shift range is "R" (reverse range), the agent 200 is controlled during reverse travel. The details of the running process will be described later. After the running process is completed, the process proceeds to step S30.

（ステップＳ３０）
ステップＳ３０において、制御部１１０のＣＰＵは、シフトレンジが「Ｐ」（パーキングレンジ）であるか否かを判定する処理を行う。前述のように、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがパーキングレンジでないと判定した場合には、ステップＳ３００に処理を移行し、シフトレンジがパーキングレンジであると判定した場合には、ステップＳ４００に処理を移行する。 (Step S30)
In step S30, the CPU of control unit 110 performs a process of determining whether or not the shift range is "P" (parking range). As described above, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the parking range. When the CPU of control unit 110 determines that the shift range is not the parking range, the process proceeds to step S300, and when it determines that the shift range is the parking range, the process proceeds to step S400.

（ステップＳ４００）
ステップＳ４００において、制御部１１０のＣＰＵは、運転終了時処理を行う。運転終了時処理では、所定の走行が終了した際の終了時の処理を行う。例えば、制御部１１０のＣＰＵは、運転終了時処理において、エージェント２００を改めてドライバーＨに正対させ、基本姿勢を取らせる。また、制御部１１０のＣＰＵは、運転終了時の労いのための音声出力および動作を行ったり、車両における異常や告知情報などがある場合には、異常の告知、警告音の発報や、情報の告知を音声や動作で行ったりする。そして、運転終了時処理を終えると、ステップＳ４０に処理を移行する。 (Step S400)
In step S400, the CPU of the control unit 110 performs processing at the end of operation. In the end-of-driving process, a process at the end of a predetermined run is performed. For example, the CPU of the control unit 110 causes the agent 200 to again face the driver H and take the basic posture in the process at the end of driving. In addition, the CPU of the control unit 110 performs voice output and operation for the end of driving, and if there is an abnormality in the vehicle or notification information, the CPU of the control unit 110 notifies the abnormality, issues a warning sound, or The announcement is made by voice or action. When the end of operation process is completed, the process proceeds to step S40.

（ステップＳ４０）
ステップＳ４０において、制御部１１０のＣＰＵは、シフトレンジが「Ｐ」（パーキングレンジ）であるか否かを判定する処理を行う。前述のように、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがパーキングレンジでない（この場合、シフトポジションが変更された）と判定した場合には、ステップＳ３００に処理を移行し、シフトレンジがパーキングレンジである（この場合、シフトポジションが変更されていない）と判定した場合には、ステップＳ５０に処理を移行する。 (Step S40)
In step S40, the CPU of control unit 110 performs a process of determining whether or not the shift range is "P" (parking range). As described above, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the parking range. When the CPU of control unit 110 determines that the shift range is not the parking range (in this case, the shift position has been changed), the process proceeds to step S300, and the shift range is the parking range (in this case, If it is determined that the shift position has not been changed, the process proceeds to step S50.

（ステップＳ５０）
ステップＳ５０において、制御部１１０のＣＰＵは、運転再開判定処理を行う。運転再開判定処理では、ドライバーＨが運転を再開する意思があるのか否かを判定する処理を行う。例えば、制御部１１０のＣＰＵは、ドライバーＨから「運転を再開します」といった音声入力が行われた場合、または、新たな目的地がナビゲーションシステムに音声入力や手入力によって入力された場合等、運転再開の意思があると判定する。制御部１１０のＣＰＵは、運転再開の意思があると判定した場合には、ステップＳ２００に処理を移行し、運転再開の意思がないと判定した場合には、ステップＳ６０に処理を移行する。 (Step S50)
In step S50, the CPU of the control unit 110 performs operation restart determination processing. In the driving resumption determination process, it is determined whether or not the driver H has an intention to resume driving. For example, the CPU of the control unit 110 receives voice input such as "I will resume driving" from the driver H, or when a new destination is input to the navigation system by voice input or manual input. It is determined that there is an intention to resume operation. If the CPU of control unit 110 determines that there is an intention to resume operation, the process proceeds to step S200, and if it determines that there is no intention to resume operation, the process proceeds to step S60.

（ステップＳ６０）
ステップＳ６０において、制御部１１０のＣＰＵは、イグニッションがオフされたか否かを判定する。制御部１１０のＣＰＵは、イグニッションがオフされた場合には、エージェント制御処理のメイン処理を終了し、イグニッションがオフされていない場合には、ステップＳ４０に処理を移行する。 (Step S60)
In step S60, the CPU of control unit 110 determines whether or not the ignition is turned off. The CPU of control unit 110 ends the main processing of the agent control processing when the ignition is turned off, and proceeds to step S40 when the ignition is not turned off.

次に、図７を用いて、制御部１１０のＣＰＵにより行われる走行時処理について説明を行う。図７は、図６のステップＳ３００（走行時処理）のサブルーチンである。 Next, with reference to FIG. 7, the running processing performed by the CPU of the control unit 110 will be described. FIG. 7 is a subroutine of step S300 (running process) in FIG.

（ステップＳ３０１）
走行時処理では、まず、ステップＳ３０１において、制御部１１０のＣＰＵは、発進時処理を行う。発進時処理では、発進時の注意喚起を行う。すなわち、発進時には、ドライバーＨの考えと動作（過去の操作を含む）が一致していない場合が発生しやすい。具体的には、高齢者等が思い込みでシフトポジション（シフトレンジの「Ｄ」（ドライブレンジ）と「Ｒ」（リバースレンジ）等）を間違え、衝突などが発生することがある。ここでは、安全だろうとの思い込みを排除するため、発進時処理を行う。例えば、制御部１１０のＣＰＵは、発進時処理において、シフトレンジの読み上げによる行動確認を行う。また、制御部１１０のＣＰＵは、進行方向の目視確認を促す。これにより、車両１に誤発進機能が搭載されていたとしても、ドライバーＨによる誤操作自体を抑制して、安全性を向上させることができる。 (Step S301)
In the running process, first, in step S301, the CPU of the control unit 110 performs starting process. In the process at the time of starting, attention is called at the time of starting. In other words, when the vehicle starts moving, the driver H's thoughts and actions (including past operations) often do not match. Specifically, an elderly person or the like may misunderstand the shift position (such as "D" (drive range) and "R" (reverse range) of the shift range), which may cause a collision or the like. Here, in order to eliminate the assumption that the vehicle is safe, start-up processing is performed. For example, the CPU of the control unit 110 confirms the behavior by reading out the shift range in the starting process. Further, the CPU of the control unit 110 prompts visual confirmation of the traveling direction. As a result, even if the vehicle 1 is equipped with an erroneous start function, the erroneous operation itself by the driver H can be suppressed, and safety can be improved.

（ステップＳ３０２）
ステップＳ３０２において、制御部１１０のＣＰＵは、シフトレンジが「Ｄ」（ドライブレンジ）であるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、ドライブレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがドライブレンジでないと判定した場合には、ステップＳ３０３に処理を移行し、シフトレンジがドライブレンジであると判定した場合には、ステップＳ３１０に処理を移行する。 (Step S302)
In step S302, the CPU of control unit 110 performs a process of determining whether or not the shift range is "D" (drive range). Specifically, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the drive range. If the CPU of control unit 110 determines that the shift range is not the drive range, it proceeds to step S303, and if it determines that the shift range is the drive range, it proceeds to step S310.

（ステップＳ３０３）
ステップＳ３０３において、制御部１１０のＣＰＵは、非ドライブレンジ時処理を行う。非ドライブレンジ時処理では、シフトレンジが「Ｄ」（ドライブレンジ）時以外の走行時の処理を行う。例えば、制御部１１０のＣＰＵは、シフトレンジが「Ｒ」（リバースレンジ）であれば、リバースレンジ時処理などを行う。リバースレンジ時処理では、駐車を想定した処理などを行う。非ドライブレンジ時処理の詳細については、説明を省略する。そして、非ドライブレンジ時処理を終えると、走行時処理を終了する。 (Step S303)
In step S303, the CPU of the control unit 110 performs non-driving range processing. In the non-driving range process, the process is performed when the vehicle is traveling when the shift range is not "D" (driving range). For example, if the shift range is "R" (reverse range), the CPU of control unit 110 performs reverse range processing. In the reverse range processing, processing assuming parking is performed. Description of the details of the non-driving range processing is omitted. When the non-driving range processing ends, the running processing ends.

（ステップＳ３１０）
ステップＳ３１０において、制御部１１０のＣＰＵは、走行中処理を行う。走行中処理では、周辺状況に応じて走行中におけるエージェント２００の制御処理を行う。例えば、制御部１１０のＣＰＵは、コーナー進入前の減速指示や、カーブの半径の報知を、エージェント２００の動作により伝達させる処理などを行う。走行中処理の詳細については、後述する。そして、走行中処理が終了したら、走行時処理を終了する。 (Step S310)
In step S310, the CPU of control unit 110 performs processing during running. In the running processing, control processing of the agent 200 during running is performed according to the surrounding situation. For example, the CPU of the control unit 110 performs a process of transmitting an instruction to decelerate before entering a corner and a notification of the radius of a curve by the action of the agent 200 . The details of the running process will be described later. When the running process ends, the running process ends.

次に、図８を用いて、制御部１１０のＣＰＵにより行われる走行中処理について説明を行う。図８は、図７のステップＳ３１０（走行中処理）のサブルーチンである。 Next, the running process performed by the CPU of the control unit 110 will be described with reference to FIG. FIG. 8 is a subroutine of step S310 (running process) in FIG.

（ステップＳ３１１）
走行中処理では、まず、ステップＳ３１１において、制御部１１０のＣＰＵは、接近物があるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、車外撮影用カメラ１２０ａやレーダ１２０ｂ等から入力された周辺状況の情報から、車両１に対して所定の範囲内および所定の速度以上で接近するもの（や人など）があるか否かを判定する。すなわち、制御部１１０のＣＰＵは、取得した周辺状況により、障害物の回避を行う必要があるか否かを判断する。制御部１１０のＣＰＵは、接近物があると判定した場合には、ステップＳ３１２に処理を移行し、接近物がないと判定した場合には、ステップＳ３１４に処理を移行する。 (Step S311)
In the running process, first, in step S311, the CPU of the control unit 110 performs a process of determining whether or not there is an approaching object. Specifically, the CPU of the control unit 110 determines that the vehicle 1 is approaching within a predetermined range and at a speed higher than a predetermined speed ( , people, etc.). That is, the CPU of the control unit 110 determines whether or not it is necessary to avoid obstacles based on the acquired surrounding conditions. When the CPU of the control unit 110 determines that there is an approaching object, the process proceeds to step S312, and when it determines that there is no approaching object, the process proceeds to step S314.

（ステップＳ３１２）
ステップＳ３１２において、制御部１１０のＣＰＵは、障害物回避処理を行う。障害物回避処理には、緊急回避処理と普通回避処理とがある。すなわち、車両１に接近物があった場合、衝突の虞があり、早急に回避行動をとらなければならない場合と、ドライバーＨに報知し、適切な処置を行わせるだけでよい場合と、がある。制御部１１０のＣＰＵは、取得した周辺状況に応じて、緊急回避処理または普通回避処理を行う。緊急回避処理では、状況によっては、ドライバーＨの操作によらず緊急ブレーキの発動や、エアバッグ８の展開を行うこともある。そして、制御部１１０のＣＰＵは、障害物回避処理の後、ステップＳ３１３に処理を移行する。 (Step S312)
In step S312, the CPU of the control unit 110 performs obstacle avoidance processing. Obstacle avoidance processing includes emergency avoidance processing and normal avoidance processing. That is, when there is an approaching object to the vehicle 1, there is a risk of a collision, and there is a case in which the driver must take immediate avoidance action, and a case in which it is sufficient to notify the driver H and take appropriate measures. . The CPU of the control unit 110 performs emergency avoidance processing or normal avoidance processing according to the acquired surrounding conditions. In the emergency avoidance process, depending on the situation, the emergency brake may be applied or the airbag 8 may be deployed regardless of the operation of the driver H. After the obstacle avoidance process, the CPU of the control unit 110 shifts the process to step S313.

（ステップＳ３１３）
ステップＳ３１３において、制御部１１０のＣＰＵは、走行停止であるか否かを判定する処理を行う。この走行停止には、ドライバーＨの操作によらず、制御部１１０のＣＰＵにより、車両１を走行停止させた場合も、ドライバーＨが車両１を停車させた場合も、含まれる。制御部１１０のＣＰＵは、走行停止でないと判定した場合には、ステップＳ３１１に処理を移行し、走行停止であると判定した場合には、走行中処理を終了する。 (Step S313)
In step S313, the CPU of the control unit 110 performs a process of determining whether or not the vehicle is stopped. This running stop includes both the case where the CPU of the control unit 110 stops the vehicle 1 and the case where the driver H stops the vehicle 1 without depending on the driver H's operation. When the CPU of the control unit 110 determines that the vehicle is not running stopped, the process proceeds to step S311, and when it determines that the vehicle is running stopped, the running process ends.

（ステップＳ３１４）
ステップＳ３１４において、制御部１１０のＣＰＵは、車速が「０」であるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、車速センサ１４０ａから入力された車速に基づいて、車両１が停止したか否かを判定する。制御部１１０のＣＰＵは、車速が「０」でないと判定した場合には、ステップＳ３１５に処理を移行し、車速が「０」であると判定した場合には、走行中処理を終了する。 (Step S314)
In step S314, the CPU of control unit 110 performs a process of determining whether or not the vehicle speed is "0". Specifically, the CPU of the control unit 110 determines whether the vehicle 1 has stopped based on the vehicle speed input from the vehicle speed sensor 140a. When the CPU of the control unit 110 determines that the vehicle speed is not "0", the process proceeds to step S315, and when it determines that the vehicle speed is "0", the running process ends.

（ステップＳ３１５）
ステップＳ３１５において、制御部１１０のＣＰＵは、コーナーに接近したか否かを判定する処理を行う。例えば、制御部１１０のＣＰＵは、車両１の進行経路にコーナーがあり、コーナーまでの距離が所定の距離、または、コーナーに達するまでの推定時間が所定の時間以内などとなったところで、コーナーに接近したと判断する。なお、この判定のための距離や時間などは、車両１の速度や走行路の状況などによって変更することが望ましい。制御部１１０のＣＰＵは、コーナーに接近したと判定した場合には、ステップＳ３２０に処理を移行し、コーナーに接近していないと判定した場合には、ステップＳ３１６に処理を移行する。 (Step S315)
In step S315, the CPU of the control unit 110 performs processing to determine whether or not the vehicle approaches a corner. For example, the CPU of the control unit 110 may turn to the corner when the traveling route of the vehicle 1 has a corner and the distance to the corner is within a predetermined distance or the estimated time until reaching the corner is within a predetermined time. Decide that you are close. It is desirable to change the distance, time, etc. for this determination according to the speed of the vehicle 1, the condition of the road, and the like. When the CPU of the control unit 110 determines that the corner is approached, the process proceeds to step S320, and when it determines that the corner is not approached, the process proceeds to step S316.

（ステップＳ３１６）
ステップＳ３１６において、制御部１１０のＣＰＵは、コーナー外走行中処理を行う。コーナー外走行中処理では、走行中の経路がコーナー以外、および、コーナーの直近以外である場合の走行時の処理を行う。例えば、制御部１１０のＣＰＵは、走行路が直進路であれば、直進時処理などを行う。コーナー外走行中処理の詳細については、説明を省略する。そして、コーナー外走行中処理を行った後、ステップＳ３１１に処理を移行する。 (Step S316)
In step S316, the CPU of the control unit 110 performs a corner-outside running process. In the out-of-corner running processing, the processing during running is performed when the route during running is other than the corner and other than the one immediately adjacent to the corner. For example, if the traveling road is a straight road, the CPU of the control unit 110 performs straight driving processing and the like. Description of the details of the out-of-corner running processing is omitted. Then, after the out-of-corner running process is performed, the process proceeds to step S311.

（ステップＳ３２０）
ステップＳ３２０において、制御部１１０のＣＰＵは、コーナー走行用処理を行う。コーナー走行用処理では、コーナーの手前からコーナーの走行中におけるエージェント２００の制御処理などを行う。例えば、制御部１１０のＣＰＵは、車両１のコーナー走行中のアンダーステアーによる対向車線へのはみだし防止の処理などを行う。コーナー走行用処理の詳細については、後述する。そして、コーナー走行用処理を行った後、ステップＳ３１１に処理を移行する。 (Step S320)
In step S320, the CPU of the control unit 110 performs corner running processing. In the corner running processing, control processing of the agent 200 from before the corner to during corner running is performed. For example, the CPU of the control unit 110 performs processing to prevent the vehicle 1 from running into the oncoming lane due to understeer during cornering. The details of the corner running processing will be described later. After the corner running processing is performed, the processing proceeds to step S311.

次に、図９を用いて、制御部１１０のＣＰＵにより行われるコーナー走行用処理について説明を行う。図９は、図８のステップＳ３２０（コーナー走行用処理）のサブルーチンである。 Next, the corner running processing performed by the CPU of the control unit 110 will be described with reference to FIG. FIG. 9 is a subroutine of step S320 (corner running processing) in FIG.

（ステップＳ３２１）
コーナー走行用処理では、まず、ステップＳ３２１において、制御部１１０のＣＰＵは、コーナー進入前であるか否かを判定する処理を行う。例えば、制御部１１０のＣＰＵは、車両１の走行路が、直進路であるか、すでに曲がっているか否かなどを判定する。制御部１１０のＣＰＵは、コーナー進入前であると判定した場合には、ステップＳ３２２に処理を移行し、コーナー進入前でない、すなわち、もうコーナー内に入っていると判定した場合には、ステップＳ３２６に処理を移行する。 (Step S321)
In the corner running process, first, in step S321, the CPU of the control unit 110 performs a process of determining whether or not the vehicle has yet to enter a corner. For example, the CPU of the control unit 110 determines whether the road of the vehicle 1 is a straight road or whether the road is already curved. If the CPU of control unit 110 determines that the vehicle has not yet entered the corner, it proceeds to step S322. to process.

（ステップＳ３２２）
ステップＳ３２２において、制御部１１０のＣＰＵは、ドライバーＨに対して、コーナーを認識させる処理を行う。具体的には、制御部１１０のＣＰＵは、エージェント２００に対して、コーナーに接近していることを、音声、または、指差しなどの動作、あるいは、その両方で報知し、ドライバーＨに対してコーナーを認識させる。そして、コーナーを認識させる処理の実行後、ステップＳ３２３に処理を移行する。 (Step S322)
In step S322, the CPU of the control unit 110 causes the driver H to recognize the corner. Specifically, the CPU of the control unit 110 notifies the agent 200 that the agent 200 is approaching the corner by voice or gesture such as pointing, or both. Recognize corners. After executing the process for recognizing the corner, the process proceeds to step S323.

（ステップＳ３２３）
ステップＳ３２３において、制御部１１０のＣＰＵは、減速の指示を行う。具体的には、図１０に示すように、制御部１１０のＣＰＵは、エージェント２００に対して、掌を下に向け、両腕を水平に広げさせる。これにより、ドライバーＨに対して、中心視野に意識が集中していたものを、周辺の注意も必要であることを意識付けさせる。そして、制御部１１０のＣＰＵは、エージェント２００の両腕を広げたまま、両足を屈伸させて、しゃがみこませる。これにより、減速の指示を行い、ドライバーＨに減速行動を起こさせることができる。なお、減速の必要度合いに応じて、屈伸量（屈伸の深さ）を変えることで、減速の量をイメージさせることができる。また、地図情報等から道路状況等は収集することができる。そして、道路状況、場合によっては対向車などの情報も含めて、減速の必要量を求め、減速度合いに応じて屈伸量を設定する。 (Step S323)
In step S323, the CPU of the control unit 110 instructs deceleration. Specifically, as shown in FIG. 10, the CPU of the control unit 110 causes the agent 200 to open its arms horizontally with the palm facing downward. As a result, the driver H becomes conscious of the need to pay attention to the periphery instead of focusing on the central visual field. Then, the CPU of the control unit 110 causes the agent 200 to squat down with its arms spread out and its legs bent and stretched. As a result, it is possible to instruct the driver to decelerate and cause the driver H to decelerate. By changing the amount of bending and stretching (the depth of bending and stretching) according to the degree of necessity of deceleration, the amount of deceleration can be visualized. Also, road conditions and the like can be collected from map information and the like. Then, the necessary amount of deceleration is obtained, including information on road conditions and, in some cases, oncoming vehicles, and the amount of bending and stretching is set according to the degree of deceleration.

例えば、図１１に示すように、コーナーの前方の視界が遮られている場合がある。このような場合、前方の状況を視認することができず、対向車がセンターラインをはみ出して、自車が走行している車線に進入してくる可能性もある。したがって、このような場合には、見通しが良い場合よりも、減速量を多くする必要がある。このため、道路状況などによって、減速量を設定することが望ましい。また、ドライバーＨに車両１の停止を促す必要があると判断した場合には、エージェント２００の掌をドライバーＨに向けさせる。これにより、安全性を向上させることができる。なお、本ステップに限らず、ドライバーＨに車両１の停止を促す必要があると判断した場合には、随時、エージェント２００の掌をドライバーＨに向けさせる。そして、減速の指示を行ったら、ステップＳ３２４に処理を移行する。 For example, as shown in FIG. 11, the view ahead of the corner may be obstructed. In such a case, the situation ahead cannot be visually recognized, and an oncoming vehicle may cross the center line and enter the lane in which the vehicle is traveling. Therefore, in such a case, it is necessary to decelerate more than when the visibility is good. Therefore, it is desirable to set the deceleration amount according to road conditions and the like. Further, when it is determined that it is necessary to prompt the driver H to stop the vehicle 1, the palm of the agent 200 is directed to the driver H. Thereby, safety can be improved. Not limited to this step, the agent 200 is made to turn the palm of the agent 200 to the driver H at any time when it is determined that it is necessary to prompt the driver H to stop the vehicle 1 . After deceleration is instructed, the process proceeds to step S324.

（ステップＳ３２４）
ステップＳ３２４において、制御部１１０のＣＰＵは、コーナー出口の報知を行う。ここで、制御部１１０のＣＰＵは、ドライバーＨに視線がコーナー出口に集中してしまわないように、対向車などを周辺視野でとらえさせつつ、コーナー出口を示す。具体的には、制御部１１０のＣＰＵは、エージェント２００に対して、一方の腕でコーナー出口を指差しながら、他方の腕は水平に伸ばしたまま、減速およびドライバーＨの視線がコーナー出口に集中してしまわないように、視線誘導を行う。また、コーナー出口の指差しは、短時間とすることにより、さらに、ドライバーＨの視線がコーナー出口に集中してしまわないようにする。そして、コーナー出口の報知を行ったら、ステップＳ３２５に処理を移行する。 (Step S324)
In step S324, the CPU of the control unit 110 notifies the corner exit. Here, the CPU of the control unit 110 indicates the exit of the corner while making the driver H see the oncoming vehicle and the like in the peripheral vision so that the line of sight does not concentrate on the exit of the corner. Specifically, the CPU of the control unit 110 instructs the agent 200 to decelerate and focus the line of sight of the driver H on the corner exit while pointing the corner exit with one arm while keeping the other arm stretched horizontally. In order not to do so, perform gaze guidance. Further, the driver H's line of sight is not concentrated on the corner exit by keeping the pointing at the corner exit for a short period of time. After the corner exit is notified, the process proceeds to step S325.

（ステップＳ３２５）
ステップＳ３２５において、制御部１１０のＣＰＵは、コーナーの直前に達したか否かを判定する処理を行う。すなわち、制御部１１０のＣＰＵは、コーナーまでの距離が所定の距離、または、コーナーに達するまでの推定時間が所定の時間以内などとなり、コーナーに接近したと判断してから、さらに走行し、上記距離や時間などよりも短い、コーナー直前と設定した距離や時間などとなったか否かを判定する。 (Step S325)
In step S325, the CPU of the control unit 110 performs processing to determine whether or not the vehicle has reached just before the corner. That is, the CPU of the control unit 110 determines that the distance to the corner is within a predetermined distance, or the estimated time until reaching the corner is within a predetermined time, and the vehicle is approaching the corner. It is determined whether or not the set distance and time just before the corner, which are shorter than the distance and time, are reached.

なお、このコーナー直前と設定する距離や時間などについても、適宜設定可能である。すなわち、コーナー直前判定を、走行路が曲がり出す寸前としてもよいし、ある程度余裕を持った段階でコーナー直前と判定するようにしてもよい。また、このコーナー直前判定値は、車両１の速度や走行路の状況などに加え、ドライバーＨの特性などによって変化させるようにしてもよい。制御部１１０のＣＰＵは、コーナーの直前に達したと判定した場合には、ステップＳ３２６に処理を移行し、コーナーの進行中における処理等を行い、コーナーの直前に達していないと判定した場合には、ステップＳ３２２に処理を移行する。 It should be noted that the distance and time to be set immediately before the corner can also be set as appropriate. In other words, the judgment just before the corner may be made just before the road turns, or it may be judged that the road is just before the corner when there is some margin. Further, this corner-preceding determination value may be changed according to the characteristics of the driver H in addition to the speed of the vehicle 1 and the conditions of the road. If the CPU of the control unit 110 determines that the vehicle has reached just before the corner, the process proceeds to step S326, and performs processing while the corner is in progress. moves the process to step S322.

（ステップＳ３２６）
ステップＳ３２６において、制御部１１０のＣＰＵは、エージェント２００に対して、コーナーの曲率（Ｒ：回転半径）表現を行わせる。また、制御部１１０のＣＰＵは、このコーナーの曲率表現の際に、減速をイメージさせつつ、コーナーの曲率表現を行い、コーナーの出口表現を継続して行う。 (Step S326)
In step S326, the CPU of the control unit 110 causes the agent 200 to express the curvature (R: radius of rotation) of the corner. When expressing the curvature of the corner, the CPU of the control unit 110 expresses the curvature of the corner while giving an image of deceleration, and continues to express the exit of the corner.

具体的には、図１２に示すように、制御部１１０のＣＰＵは、エージェント２００に対して、一方の腕でコーナー出口を指差しながら、他方の腕を水平に伸ばして減速をイメージさせる。そして、上半身を傾けさせ、ねじりを加えて、上半身の傾きとねじり度合いでコーナーのキツさを表現する。また、左右の屈伸量を変え、エージェント２００の上半身のねじれと片膝の屈伸度合いによっても、コーナーの深さを再現する。さらに、一方の腕のコーナー出口の指差しを継続したまま、他方の腕の水平も維持することにより、減速をイメージさせる。また、屈伸量の大きさによって、減速量も表現する。このように、エージェント２００が、上半身のねじれと片膝の屈伸度合い、また、腕だけの動作ではなく、肩を入れて屈伸も活用して体をねじることにより、カーブの深さを表現することにより、ドライバーＨがエージェント２００を周辺視野で捉えるだけで、コーナーのＲの大きさなど状況を把握することができ、よそ見することなく安全に走行することができる。そして、コーナーの曲率表現後、ステップＳ３２７に処理を移行する。 Specifically, as shown in FIG. 12, the CPU of the control unit 110 makes the agent 200 imagine deceleration by pointing one arm at the corner exit and extending the other arm horizontally. Then, tilt the upper body and add a twist to express the tightness of the corner with the tilt and twist of the upper body. In addition, the depth of the corner is reproduced by changing the amount of bending and stretching on the left and right sides, and depending on the twist of the agent 200's upper body and the degree of bending and stretching of one knee. Furthermore, by keeping the other arm horizontal while continuing to point at the corner exit with one arm, deceleration is imagined. Also, the amount of deceleration is expressed by the amount of bending and stretching. In this way, the agent 200 expresses the depth of the curve by twisting the upper body, bending and stretching one knee, and by twisting the body not only by the movement of the arm but also by bending and stretching the shoulder. Therefore, the driver H can grasp the situation such as the size of the radius of the corner just by seeing the agent 200 in the peripheral vision, and can drive safely without looking away. After expressing the curvature of the corner, the process proceeds to step S327.

（ステップＳ３２７）
ステップＳ３２７において、制御部１１０のＣＰＵは、コーナーが終了したか否かを判定する処理を行う。制御部１１０のＣＰＵは、コーナーが終了したと判定した場合には、コーナー走行用処理を終了し、コーナーが終了していないと判定した場合には、ステップＳ３２８に処理を移行する。 (Step S327)
In step S327, the CPU of control unit 110 performs a process of determining whether or not the corner has ended. When the CPU of the control unit 110 determines that the corner has ended, it ends the corner running process, and when it determines that the corner has not ended, the process proceeds to step S328.

（ステップＳ３２８）
ステップＳ３２８において、制御部１１０のＣＰＵは、曲率が変化したか否かを判定する処理を行う。すなわち、１つのコーナーにおいても、途中で曲率が変化する場合がある。例えば、１つのコーナーにおいても、複数のカーブが存在することがある。具体的には、１つのコーナーにおいて、前半のカーブの曲率、すなわち、回転半径と、後半のカーブの曲率と、が異なることがある。また、途中でカーブの方向が逆になることもある。そこで、曲率が変化したか否かを判定し、曲率が変化した場合には、変化に応じた対応を行う。制御部１１０のＣＰＵは、曲率が変化したと判定した場合には、ステップＳ３２９に処理を移行し、曲率が変化していないと判定した場合には、ステップＳ３２６に処理を移行する。 (Step S328)
In step S328, the CPU of control unit 110 performs a process of determining whether or not the curvature has changed. That is, even at one corner, the curvature may change in the middle. For example, even one corner may have multiple curves. Specifically, in one corner, the curvature of the curve in the first half, that is, the turning radius, and the curvature of the curve in the second half may differ. Also, the direction of the curve may be reversed on the way. Therefore, it is determined whether or not the curvature has changed, and if the curvature has changed, a response corresponding to the change is performed. If the CPU of the control unit 110 determines that the curvature has changed, the process proceeds to step S329, and if it determines that the curvature has not changed, the process proceeds to step S326.

（ステップＳ３２９）
ステップＳ３２９において、制御部１１０のＣＰＵは、変化した曲率に合わせて、エージェント２００の表現を変更させる。具体的には、制御部１１０のＣＰＵは、カーブの曲率が変化したら、あるいは、変化する前に、エージェント２００の上半身の傾きとねじり度合いを変更させる。また、曲率が変化することを示すため、一端腕を曲げるなどの動作を挟むようにしてもよい。そして、曲率に合わせた表現に変更したら、ステップＳ３２６に処理を移行する。 (Step S329)
In step S329, the CPU of control unit 110 changes the representation of agent 200 in accordance with the changed curvature. Specifically, the CPU of the control unit 110 changes the inclination and twist degree of the upper body of the agent 200 when or before the curvature of the curve changes. Also, in order to show that the curvature changes, an action such as bending one end of the arm may be interposed. Then, after the expression is changed to match the curvature, the process proceeds to step S326.

以上のように、本実施の形態のエージェント装置１００は、エージェント２００に対して、コーナーの深さ（Ｒ）と視線誘導とを同時に与えるので、ドライバーＨに対して、コーナーにおける周囲の注意も意識付けさせつつ、所定の運転操作も行わせることができ、アンダーステアーによる対向車線へのはみ出しなどを防止することができる。すなわち、特定の対象物にドライバーＨの視線が集中して、周辺の注意が疎かになってしまうことを防止して、安全性を向上させることができる。 As described above, the agent device 100 of the present embodiment simultaneously provides the agent 200 with the corner depth (R) and visual guidance, so that the driver H is conscious of the surroundings at the corner. A predetermined driving operation can also be performed while the vehicle is being turned on, and it is possible to prevent the vehicle from running into the oncoming lane due to understeer. That is, it is possible to prevent the driver H from concentrating his line of sight on a specific object and neglecting his attention to the surroundings, thereby improving safety.

なお、本実施の形態のエージェント制御処理は、制御部１１０のＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等に記憶されたプログラムが、制御部１１０のＲＡＭ等に展開されて、制御部１１０のＣＰＵ等によって実行される。
さらに、本実施の形態において、シフトポジションセンサ１４０ｆは、本願のシフトポジション検知部を構成する。また、本実施の形態において、周辺環境認識部１２０は、本願の周辺状況取得部を構成する。 In the agent control process of the present embodiment, a program stored in the ROM, RAM, EEPROM, etc. of the control unit 110 is developed in the RAM, etc., of the control unit 110, and executed by the CPU, etc. of the control unit 110. .
Furthermore, in the present embodiment, the shift position sensor 140f constitutes the shift position detection section of the present application. Further, in the present embodiment, the surrounding environment recognition unit 120 constitutes the surrounding situation acquisition unit of the present application.

また、本実施の形態においては、制御部１１０とエージェント制御部１９０の双方によって、本願のエージェント制御部を構成するようにしたが、前述のように、エージェント制御部１９０のみで、本実施の形態の制御部１１０とエージェント制御部１９０の双方の機能を有するようにしてもよい。 In the present embodiment, both the control unit 110 and the agent control unit 190 constitute the agent control unit of the present application. It may have the functions of both the control unit 110 and the agent control unit 190 .

１：車両、１００：エージェント装置、１１０：制御部、１２０：周辺環境認識部、１３０：乗員状態認識部、１４０：車両状態認識部、１４０ｆ：シフトポジションセンサ、１５０：スピーカ、１６０：マイク、１７０：記憶部、１８０：送受信機、１９０：エージェント制御部、１９１：エージェントスピーカ、２００：エージェント
1: vehicle, 100: agent device, 110: control unit, 120: surrounding environment recognition unit, 130: occupant state recognition unit, 140: vehicle state recognition unit, 140f: shift position sensor, 150: speaker, 160: microphone, 170 : storage unit, 180: transceiver, 190: agent control unit, 191: agent speaker, 200: agent

Claims

a shift position detection unit that detects a shift position;
a peripheral situation acquisition unit that acquires a peripheral situation;
an agent control unit that controls an anthropomorphic agent;
with
The agent control unit
When it is determined that there is a corner in the traveling path by acquiring the surrounding situation, the curvature of the corner is expressed using both arms and bending and stretching.
An agent device characterized by:

The agent control unit
Spread your arms, bend your legs toward the exit of the corner, and turn your eyes to the exit of the corner.
The agent device according to claim 1, characterized by:

The agent control unit
During the corner, keep one arm up and point the exit of the corner with the other arm.
3. The agent device according to claim 1 or 2, characterized by:

The agent control unit
If it determines that it is necessary to prompt the driver to stop, turn the palm to the driver,
4. The agent device according to any one of claims 1 to 3, characterized by: