JP2020168901A

JP2020168901A - Viewpoint position sensing type vehicle automatic control system

Info

Publication number: JP2020168901A
Application number: JP2019070300A
Authority: JP
Inventors: 健青柳; Takeshi Aoyanagi
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2019-04-02
Filing date: 2019-04-02
Publication date: 2020-10-15

Abstract

To provide a viewpoint position sensing type vehicle automatic control system that improves convenience and operability by restraining erroneous operation of visual line input.SOLUTION: A viewpoint position sensing type vehicle automatic control system of the present disclosure is applied to a vehicle 10 having an automatic driving function for traveling while automatically controlling a steering angle and a vehicle speed. The vehicle automatic control system has attitude detection devices 5, 6, a gaze point detection device 4 and a visual line input control unit 3. The visual line detection devices 5, 6 detect a seating attitude of an occupant. The gaze point detection device 4 detects a gaze point of the occupant. The visual line input control unit 3 changes the steering angle or the vehicle speed of the vehicle 10 by intervening in the automatic driving function in response to a position of the gaze point when the sitting attitude is a prescribed attitude.SELECTED DRAWING: Figure 2

Description

本発明は、舵角及び車速を自動的に制御しながら走行する自動運転機能を備えた視点位置感知式車両自動制御システムに関する。 The present invention relates to a viewpoint position sensing type vehicle automatic control system having an automatic driving function of traveling while automatically controlling a steering angle and a vehicle speed.

従来、車両の運転者の視線を検知して車載電装品（カーオーディオやカーエアコンなど）を操作する視線入力システムが提案されている。例えば、ヘッドアップディスプレイを用いてフロントウィンドウにアイコンを表示させ、ユーザーがアイコンを注視することでそのアイコンに割り当てられた機能が選択されるように構成された視線入力装置が知られている。フロントウィンドウ越しに見える景色とアイコンとを重畳させることで、車両前方の視認性を保ちつつ車載電装品の操作性を向上させることができる（特許文献１参照）。 Conventionally, a line-of-sight input system has been proposed that detects the line of sight of a vehicle driver and operates in-vehicle electrical components (car audio, car air conditioner, etc.). For example, there is known a line-of-sight input device configured to display an icon on a front window using a head-up display and to select a function assigned to the icon when the user gazes at the icon. By superimposing the scenery seen through the front window and the icon, it is possible to improve the operability of the in-vehicle electrical components while maintaining the visibility in front of the vehicle (see Patent Document 1).

特開2015-223913号公報JP-A-2015-223913

上記のような視線入力システムを自動運転車両に適用すれば、視線のみで車両を自由に走行させることが可能となり、運転の楽しさや利便性がさらに向上するものと予想される。しかしながら、運転者が視線の動きを完全にコントロールすることは難しく、意図しない視線移動によって車両が誤作動するおそれが生じる。例えば、運転者が同乗者と会話するために視線を車内へ向けたときに、その視線の移動が車両に対する運転操作の入力であると解釈される可能性がある。これにより、車両の進路があらぬ方向へと変更されかねず、あるいは、運転者の意図しない方向に車両が旋回しかねない。 If the above-mentioned line-of-sight input system is applied to an autonomous driving vehicle, the vehicle can be freely driven only by the line of sight, and it is expected that the enjoyment and convenience of driving will be further improved. However, it is difficult for the driver to completely control the movement of the line of sight, and there is a risk that the vehicle may malfunction due to unintended movement of the line of sight. For example, when a driver turns his or her line of sight into the vehicle to talk to a passenger, the movement of that line of sight may be interpreted as an input of a driving operation to the vehicle. As a result, the course of the vehicle may be changed in a direction different from that of the vehicle, or the vehicle may turn in a direction not intended by the driver.

本件の目的の一つは、上記のような課題に鑑みて創案されたものであり、視線入力の誤作動を抑制し、利便性及び操作性を向上させることができるようにした視点位置感知式車両自動制御システムを提供することである。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用効果であって、従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けることができる。 One of the purposes of this case was devised in view of the above-mentioned problems, and it is a viewpoint position sensing type that suppresses malfunction of line-of-sight input and improves convenience and operability. It is to provide an automatic vehicle control system. Not limited to this purpose, it is also possible to exert an action / effect derived from each configuration shown in the “mode for carrying out the invention” described later, which cannot be obtained by the conventional technique. It can be positioned as a purpose.

ここで開示する車両自動制御システムは、舵角及び車速を自動的に制御しながら走行する自動運転機能を備えた視点位置感知式車両自動制御システムである。本装置は、乗員の着座姿勢を検出する姿勢検出装置と、前記乗員の注視点を検出する注視点検出装置とを備える。また、前記着座姿勢が所定姿勢であるときに、前記注視点の位置に応じて前記自動運転機能に介入することで前記舵角または車速を変更する視線入力制御部を備える。 The vehicle automatic control system disclosed here is a viewpoint position sensing type vehicle automatic control system having an automatic driving function of traveling while automatically controlling a steering angle and a vehicle speed. The present device includes a posture detecting device for detecting the sitting posture of the occupant and a gazing point detecting device for detecting the gazing point of the occupant. Further, the line-of-sight input control unit for changing the steering angle or the vehicle speed by intervening in the automatic driving function according to the position of the gazing point when the sitting posture is a predetermined posture is provided.

着座姿勢が所定姿勢であるときに乗員の注視点の位置に応じて自動運転機能に介入することで、視線のみによる車両の運転操作を実現することができ、運転の楽しさや利便性を向上させることができる。一方、着座姿勢が所定姿勢でないときには視線入力が受け付けられないため、意図しない自動運転への介入を抑制することができ、操作性を向上させることができる。したがって、視線入力の誤作動を抑制することができ、利便性及び操作性を向上させることができる。 By intervening in the automatic driving function according to the position of the occupant's gaze point when the sitting posture is the predetermined posture, it is possible to realize the driving operation of the vehicle only by the line of sight, and improve the enjoyment and convenience of driving. be able to. On the other hand, when the sitting posture is not a predetermined posture, the line-of-sight input is not accepted, so that it is possible to suppress unintended intervention in automatic driving and improve operability. Therefore, the malfunction of the line-of-sight input can be suppressed, and the convenience and operability can be improved.

車両自動制御システムの構成を説明するための模式図である。It is a schematic diagram for demonstrating the structure of the vehicle automatic control system. フロントガラス上に設定される視線入力範囲を示す模式図である。It is a schematic diagram which shows the line-of-sight input range set on the windshield. （Ａ）〜（Ｃ）は二種類の表示モードを説明するための模式図である。(A) to (C) are schematic diagrams for explaining two types of display modes. 視線入力に関する制御手順を例示するフローチャート（前半）である。It is a flowchart (first half) which illustrates the control procedure about the line-of-sight input. 視線入力に関する制御手順を例示するフローチャート（後半）である。It is a flowchart (second half) which illustrates the control procedure about the line-of-sight input.

［１．装置構成］
図１は、自動運転制御装置１が搭載された視点位置感知式の車両自動制御システムを表す模式図である。この自動運転制御装置１は、舵角及び車速を自動的に制御しながら走行する自動運転機能を実現するための電子制御装置（コンピューター）である。ここでいう自動運転機能とは、乗員による運転操作に依存することなく車両１０を自律的に走行させる機能を意味する。 [1. Device configuration]
FIG. 1 is a schematic view showing a viewpoint position sensing type vehicle automatic control system equipped with the automatic driving control device 1. The automatic driving control device 1 is an electronic control device (computer) for realizing an automatic driving function of traveling while automatically controlling a steering angle and a vehicle speed. The automatic driving function referred to here means a function of autonomously driving the vehicle 10 without depending on a driving operation by an occupant.

本実施形態の自動運転制御装置１は、車両１０の目的地の設定がなされたときに、現在地から目的地までの走行経路を自動的に設定し、その走行経路に沿って車両１０を走行させる制御を実施する。走行経路は、車両１０が通行しうる道路の形状や配置を縮尺してなる地図情報（ロードマップ情報）に基づいて設定される。また、特定の条件下では乗員の視点位置を感知し、その視点位置を用いて自動運転機能に介入できるようになっている。なお、視線入力による車両１０の意図しない暴走を防止すべく、視線入力操作に起因する車両１０の挙動に制限を加えてもよい。例えば、車速に上限値や下限値を設定してもよいし、地図情報に含まれる道路に沿った移動のみが許容されるようにしてもよい。 When the destination of the vehicle 10 is set, the automatic driving control device 1 of the present embodiment automatically sets a traveling route from the current location to the destination and causes the vehicle 10 to travel along the traveling route. Enforce control. The travel route is set based on map information (roadmap information) obtained by reducing the shape and arrangement of the road on which the vehicle 10 can pass. In addition, under specific conditions, the viewpoint position of the occupant can be sensed and the viewpoint position can be used to intervene in the automatic driving function. In addition, in order to prevent an unintended runaway of the vehicle 10 due to the line-of-sight input, the behavior of the vehicle 10 due to the line-of-sight input operation may be restricted. For example, an upper limit value or a lower limit value may be set for the vehicle speed, or only movement along the road included in the map information may be permitted.

自動運転制御装置１は車載ネットワーク上に設けられる。これにより、車載ネットワークを介して、他の電子制御装置，車載装置，電装品，センサー類と互いに通信可能とされる。自動運転制御装置１と通信可能な装置例としては、室内カメラ４，顔変位計５，肘（ひじ）センサー６，表示装置７，測位装置８，通信装置９，前方カメラ１１，視線入力スイッチ１２などが挙げられる。また、駆動装置（エンジン，走行用モーターなど）やブレーキ装置，変速装置，操舵装置，前照灯，ウィンカーなども、自動運転制御装置１の制御対象に含まれる。 The automatic driving control device 1 is provided on the vehicle-mounted network. As a result, it is possible to communicate with other electronic control devices, in-vehicle devices, electrical components, and sensors via the in-vehicle network. Examples of devices capable of communicating with the automatic driving control device 1 include an indoor camera 4, a face displacement meter 5, an elbow sensor 6, a display device 7, a positioning device 8, a communication device 9, a front camera 11, and a line-of-sight input switch 12. And so on. Further, a driving device (engine, traveling motor, etc.), a braking device, a transmission, a steering device, a headlight, a blinker, and the like are also included in the control target of the automatic driving control device 1.

室内カメラ４（注視点検出装置）は、乗員の注視点を検出すべく、車室内の乗員を撮影するカメラである。視線の方向は、乗員の虹彩，瞳孔の向きから推定される。また、虹彩や瞳孔の向きは、目の輪郭内における虹彩，瞳孔の位置に基づいて（あるいは、目尻までの距離と目頭までの距離との比に基づいて）推定される。乗員の虹彩，瞳孔の向きや目の輪郭，虹彩，瞳孔の位置などについては、乗員の顔の形状や特徴点の配置（顔パターン）を事前登録しておくことで精度よく推定することができる。また、本実施形態の室内カメラ４は、フロントピラー１３に内蔵される。インストルメントパネルやバックミラー１６，サンバイザー，ルーフなどに室内カメラ４を内蔵させてもよい。 The indoor camera 4 (gaze point detection device) is a camera that photographs an occupant in the vehicle interior in order to detect the gaze point of the occupant. The direction of the line of sight is estimated from the direction of the iris and pupil of the occupant. The orientation of the iris and pupil is estimated based on the position of the iris and pupil within the contour of the eye (or based on the ratio of the distance to the outer corner of the eye to the distance to the inner corner of the eye). The iris of the occupant, the orientation of the pupil, the contour of the eye, the iris, the position of the pupil, etc. can be estimated accurately by pre-registering the shape of the occupant's face and the arrangement of feature points (face pattern). .. Further, the indoor camera 4 of the present embodiment is built in the front pillar 13. The indoor camera 4 may be built in the instrument panel, the rear-view mirror 16, the sun visor, the roof, or the like.

顔変位計５及び肘センサー６はともに、乗員の着座姿勢を検出するための姿勢検出装置である。顔変位計５は、乗員の顔に関する姿勢（顔の向き）を検出し、肘センサー６は、乗員の腕や手に関する姿勢（腕の位置）を検出する。顔変位計５は、車室内に送信波（電磁波，レーザー光，音波など）を照射し、その反射波を受信する機能を有する。一般に、送信波に対する反射波の反射時間，位相差，反射方向などに基づいて、送信波を反射した物体までの距離及び方位（すなわち位置）を把握することができる。 Both the face displacement meter 5 and the elbow sensor 6 are posture detection devices for detecting the sitting posture of the occupant. The face displacement meter 5 detects the posture of the occupant with respect to the face (face orientation), and the elbow sensor 6 detects the posture of the occupant with respect to the arm or hand (arm position). The face displacement meter 5 has a function of irradiating a transmitted wave (electromagnetic wave, laser light, sound wave, etc.) into the vehicle interior and receiving the reflected wave. In general, the distance and azimuth (that is, position) to the object that reflected the transmitted wave can be grasped based on the reflection time, phase difference, reflection direction, and the like of the reflected wave with respect to the transmitted wave.

顔変位計５の具体例としては、マイクロ波レーダー装置，赤外線スキャナー装置，レーザーレーダー装置，超音波センサー装置などが挙げられる。本実施形態の顔変位計５はレーザー変位計であり、乗員の顔の向きが正面向き，上向き，下向き，右向き，左向きのうち、どの向きになっているのかを検出する。レーザー変位計は、照射されたレーザー光の反射光に基づいて、そのレーザー光が反射された物体までの距離を測定する機能を持つ。レーザー光の照射方向を変化させながら物体までの距離を測定することで、その物体の三次元形状が把握される。注視点の検出と同様に、顔の向きについても、顔パターンを事前登録しておくことで精度よく推定することができる。顔変位計５は、フロントピラー１３に内蔵される。 Specific examples of the face displacement meter 5 include a microwave radar device, an infrared scanner device, a laser radar device, an ultrasonic sensor device, and the like. The face displacement meter 5 of the present embodiment is a laser displacement meter, and detects which of the frontward, upward, downward, rightward, and leftward directions the occupant's face is facing. The laser displacement meter has a function of measuring the distance to an object to which the laser light is reflected based on the reflected light of the irradiated laser light. By measuring the distance to an object while changing the irradiation direction of the laser beam, the three-dimensional shape of the object can be grasped. Similar to the detection of the gazing point, the orientation of the face can be estimated accurately by pre-registering the face pattern. The face displacement meter 5 is built in the front pillar 13.

なお、室内カメラ４で撮影された画像に基づいて乗員の目，口，鼻などの特徴点を抽出し、それらの位置関係から顔の向きを特定してもよい。あるいは、グリッド状に照射された赤外線の反射光を赤外線カメラで撮影し、その画像を解析することで顔の向きを特定してもよい。本実施形態の顔変位計５は、室内カメラ４と同様にフロントピラー１３に内蔵されるが、インストルメントパネルやバックミラー１６，サンバイザー，ルーフなどに内蔵させてもよい。 The feature points such as the eyes, mouth, and nose of the occupant may be extracted based on the image taken by the indoor camera 4, and the orientation of the face may be specified from their positional relationship. Alternatively, the direction of the face may be specified by photographing the reflected infrared light emitted in a grid shape with an infrared camera and analyzing the image. The face displacement meter 5 of the present embodiment is built in the front pillar 13 like the indoor camera 4, but may be built in the instrument panel, the rearview mirror 16, the sun visor, the roof, or the like.

肘センサー６は、乗員が適切な姿勢（所定姿勢）をとっていることを確認するためのセンサーであり、アームレスト１７の上面に内蔵される。ここでは、乗員が肘を肘センサー６に載せた（触れた）姿勢であることが確認される。肘センサー６の検出方式は、感圧式や静電容量式などである。好ましくは、乗員の左右両側方に肘センサー６が設けられる。例えば、センターコンソール上のアームレスト１７に内蔵された肘センサー６で片方の肘を検出し、サイドドアのアームレスト１７に内蔵された肘センサー６でもう片方の肘を検出する。 The elbow sensor 6 is a sensor for confirming that the occupant is in an appropriate posture (predetermined posture), and is built in the upper surface of the armrest 17. Here, it is confirmed that the occupant is in a posture in which the elbow is placed (touched) on the elbow sensor 6. The detection method of the elbow sensor 6 is a pressure-sensitive type or a capacitance type. Preferably, elbow sensors 6 are provided on both the left and right sides of the occupant. For example, the elbow sensor 6 built into the armrest 17 on the center console detects one elbow, and the elbow sensor 6 built into the armrest 17 of the side door detects the other elbow.

なお、室内カメラ４で撮影された画像に基づいて乗員の顔，首，胴体，腕，手首などの特徴点を抽出し、それらの位置関係から肘の姿勢を特定してもよい。また、ここでいう「適切な姿勢」は、乗員が肘を肘掛けに乗せた姿勢のみに限定されない。例えば、シフトレバー（セレクトレバー）のグリップを掴んでいる姿勢を、適切な姿勢とみなしてもよい。この場合、センターコンソール上のアームレスト１７に肘センサー６を内蔵させる代わりに、シフトレバー（セレクトレバー）のグリップにタッチセンサーを内蔵させればよい。 It should be noted that the posture of the elbow may be specified from the positional relationship of the feature points such as the face, neck, torso, arms, and wrists of the occupant based on the image taken by the indoor camera 4. Further, the "appropriate posture" referred to here is not limited to the posture in which the occupant puts his elbow on the armrest. For example, the posture of holding the grip of the shift lever (select lever) may be regarded as an appropriate posture. In this case, instead of incorporating the elbow sensor 6 in the armrest 17 on the center console, the touch sensor may be incorporated in the grip of the shift lever (select lever).

表示装置７は、前方の視界を妨げることなく視線入力範囲をガラス面に表示するものである。視線入力範囲とは、注視点による自動運転機能への介入が許可される範囲を意味する。表示装置７の具体例としては、透明有機ELディスプレイ，透明液晶ディスプレイ，プロジェクターなどが挙げられる。プロジェクターを用いる場合、乗員の目に届く反射光を増加させるための反射フィルムをフロントガラス１４に貼付してもよい。また、透明有機ELディスプレイや透明液晶ディスプレイを用いる場合には、それらをガラス面に貼付すればよい。本実施形態の表示装置７は、紫外線や短波長の可視光（ブルーライト）がカットされたブルーライトレスの有機ELディスプレイであるものとする。 The display device 7 displays the line-of-sight input range on the glass surface without obstructing the front view. The line-of-sight input range means the range in which intervention in the automatic driving function by the gazing point is permitted. Specific examples of the display device 7 include a transparent organic EL display, a transparent liquid crystal display, a projector, and the like. When a projector is used, a reflective film for increasing the reflected light that reaches the eyes of the occupant may be attached to the windshield 14. When a transparent organic EL display or a transparent liquid crystal display is used, they may be attached to the glass surface. It is assumed that the display device 7 of the present embodiment is a blue lightless organic EL display in which ultraviolet rays and visible light (blue light) having a short wavelength are cut off.

表示装置７に表示される視線入力範囲の例を図２に示す。フロントガラス１４の中央付近（運転席に着座する乗員の正面付近）には、前進エリア２１が設定される。前進エリア２１は、車両１０を前進させるための視線入力範囲である。また、フロントガラス１４の上部付近には加速エリア２２が設けられ、下部付近には減速エリア２３が設けられる。加速エリア２２は車速を増加させるための視線入力範囲であり、減速エリア２３は車速を減少させるための視線入力範囲である。 FIG. 2 shows an example of the line-of-sight input range displayed on the display device 7. A forward area 21 is set near the center of the windshield 14 (near the front of the occupant seated in the driver's seat). The forward area 21 is a line-of-sight input range for advancing the vehicle 10. Further, an acceleration area 22 is provided near the upper part of the windshield 14, and a deceleration area 23 is provided near the lower part. The acceleration area 22 is a line-of-sight input range for increasing the vehicle speed, and the deceleration area 23 is a line-of-sight input range for decreasing the vehicle speed.

同様に、フロントガラス１４の右部付近には右旋回エリア２４が設定され、左部付近には左旋回エリア２５が設定される。右旋回エリア２４は舵角を右方向に増加させるための視線入力範囲であり、左旋回エリア２５は舵角を左方向に増加させるための視線入力範囲である。また、フロントガラス１４上におけるバックミラー１６の付近には、後退エリア２６が設定される。後退エリア２６は、車両１０を後退させるための視線入力範囲である。なお、表示装置７をフロントガラス１４だけでなくドアガラス１５やバックミラー１６に貼付してもよい。つまり、ドアガラス１５上に右旋回エリア２４や左旋回エリア２５を設定してもよいし、バックミラー１６上に後退エリア２６を設定してもよい。 Similarly, a right turning area 24 is set near the right portion of the windshield 14, and a left turning area 25 is set near the left portion. The right turning area 24 is a line-of-sight input range for increasing the steering angle to the right, and the left turning area 25 is a line-of-sight input range for increasing the steering angle to the left. Further, a retreat area 26 is set in the vicinity of the rearview mirror 16 on the windshield 14. The retreat area 26 is a line-of-sight input range for retreating the vehicle 10. The display device 7 may be attached not only to the windshield 14, but also to the door glass 15 and the rearview mirror 16. That is, the right turning area 24 and the left turning area 25 may be set on the door glass 15, and the retreating area 26 may be set on the rearview mirror 16.

通信装置９は、車両１０の外部のネットワーク（インターネット，ローカルネット，車車間通信網など）を介して、車外のコンピューターと無線通信を行うための電子制御装置（例えば移動体通信装置，路車間通信装置，車車間通信装置など）である。本実施形態の通信装置９は、インターネットへの接続機能を有しており、車両１０の乗員が所有するスマートフォンやインターネット上のサーバーにも接続可能とされる。 The communication device 9 is an electronic control device (for example, a mobile communication device, road-to-vehicle communication) for wirelessly communicating with a computer outside the vehicle via an external network (Internet, local network, vehicle-to-vehicle communication network, etc.) of the vehicle 10. Equipment, inter-vehicle communication equipment, etc.). The communication device 9 of the present embodiment has a function of connecting to the Internet, and can be connected to a smartphone owned by an occupant of the vehicle 10 or a server on the Internet.

測位装置８は、GNSS（Global Navigation Satellite System，全球測位衛星システム）や車速センサー，舵角センサー，ヨーレイトセンサーなどの検出情報に基づいて、車両１０の位置を計測するための電子制御装置（カーナビゲーション装置）である。ここでは、世界測地系を基準として、車両１０の測位情報（緯度，経度，高さの情報）が測定されるとともに、地図情報に照らし合わされて車両１０の現在位置が特定される。地図情報は、測位装置８の内部にあらかじめ保存しておいてもよい。あるいは、インターネット上のサーバーに地図情報を保存しておき、必要に応じてそのサーバーから地図情報を取得してもよい。 The positioning device 8 is an electronic control device (car navigation) for measuring the position of the vehicle 10 based on detection information such as a GNSS (Global Navigation Satellite System), a vehicle speed sensor, a steering angle sensor, and a yaw rate sensor. Device). Here, the positioning information (latitude, longitude, height information) of the vehicle 10 is measured with reference to the world geodetic system, and the current position of the vehicle 10 is specified by comparing with the map information. The map information may be stored in advance inside the positioning device 8. Alternatively, the map information may be stored in a server on the Internet, and the map information may be acquired from the server as needed.

前方カメラ１１は車両１０の前方を撮影するカメラであり、車両１０の前端部やルーフの前端部，フロントガラス近傍などに取り付けられる。前方カメラ１１で撮影された画像は、自動運転中に先行車両や周辺車両の走行状態を確認するために用いられる。
視線入力スイッチ１２は、視線による自動運転への介入を認めるか否かを決めるための切り替えスイッチである。視線入力スイッチ１２の取り付け位置は、図１に示すように、アームレスト１７の先端（前面の上端部）に設定される。これにより、乗員が肘を肘センサー６に載せた姿勢を保ったまま、視線入力スイッチ１２を操作できるようになっている。視線入力スイッチ１２がオフに操作されているときには、視線による自動運転への介入が無効化される。視線入力スイッチ１２がオンに操作されていることは、視線による自動運転への介入を有効化するための条件の一つとなる。 The front camera 11 is a camera that photographs the front of the vehicle 10, and is attached to the front end of the vehicle 10, the front end of the roof, the vicinity of the windshield, and the like. The image taken by the front camera 11 is used to confirm the traveling state of the preceding vehicle and surrounding vehicles during automatic driving.
The line-of-sight input switch 12 is a changeover switch for determining whether or not to allow intervention in automatic driving by the line of sight. As shown in FIG. 1, the attachment position of the line-of-sight input switch 12 is set at the tip end (upper end portion of the front surface) of the armrest 17. As a result, the occupant can operate the line-of-sight input switch 12 while maintaining the posture in which the elbow is placed on the elbow sensor 6. When the line-of-sight input switch 12 is operated off, the line-of-sight intervention in autonomous driving is disabled. The fact that the line-of-sight input switch 12 is turned on is one of the conditions for enabling the intervention of the line-of-sight for automatic driving.

［２．自動運転制御装置］
自動運転制御装置１には、ハードウェア資源として、プロセッサー（中央処理装置），メモリ（メインメモリ），記憶装置（ストレージ），インタフェース装置などが内蔵される。記憶装置には、上記の制御を実施するためのプログラム（ソフトウェア）が格納される。プログラムの内容は適宜メモリ上に読み込まれ、プロセッサーで実行される。なお、自動運転制御装置１は、インターネット上のストレージを外部記憶装置として利用することができる。したがって、ソフトウェアの一部（または全部）をインターネット上のストレージに格納しておくことも可能である。 [2. Automatic operation control device]
The automatic operation control device 1 includes a processor (central processing unit), a memory (main memory), a storage device (storage), an interface device, and the like as hardware resources. A program (software) for performing the above control is stored in the storage device. The contents of the program are read into memory as appropriate and executed by the processor. The automatic operation control device 1 can use the storage on the Internet as an external storage device. Therefore, it is possible to store part (or all) of the software in storage on the Internet.

自動運転制御装置１には、自動制御部２と視線入力制御部３とが設けられる。これらの要素は、自動運転制御装置１の機能を便宜的に分類して示したものであり、個々の要素を独立したプログラムとして記述してもよいし、これらの機能を兼ね備えた複合プログラムとして記述してもよい。自動制御部２はおもに自動運転制御を担当し、視線入力制御部３はおもに視線による自動運転機能への介入制御を担当する。 The automatic operation control device 1 is provided with an automatic control unit 2 and a line-of-sight input control unit 3. These elements are shown by classifying the functions of the automatic operation control device 1 for convenience, and each element may be described as an independent program or described as a composite program having these functions. You may. The automatic control unit 2 is mainly in charge of automatic driving control, and the line-of-sight input control unit 3 is mainly in charge of intervention control to the automatic driving function by the line of sight.

自動制御部２は、乗員に目的地を設定させるとともに、現在地から目的地までの走行経路を検索して設定し、その設定された走行経路に沿って車両１０を自律的に走行させる自動運転制御を実施する。自動運転制御の実施中には、基本的には乗員が何も操作しなくても、車両１０が自動的に走行するように制御される。自動運転制御が解除される条件としては、車両１０が目的地に到着したことや、乗員がステアリングを掴み続けたこと、アクセルペダルが踏み込まれたこと、ブレーキペダルが踏み込まれたことなどである。 The automatic control unit 2 causes the occupant to set a destination, searches for and sets a travel route from the current location to the destination, and autonomously drives the vehicle 10 along the set travel route. To carry out. During the execution of the automatic driving control, the vehicle 10 is basically controlled so as to automatically travel without any operation by the occupant. The conditions under which the automatic driving control is released include that the vehicle 10 has arrived at the destination, that the occupant has continued to grasp the steering wheel, that the accelerator pedal has been depressed, and that the brake pedal has been depressed.

視線入力制御部３は、自動運転制御の実施中に特定の条件が成立すると、視線入力による自動運転機能への介入制御を実施する。特定の条件には、少なくとも乗員の着座姿勢が所定姿勢であることが含まれる。例えば、乗員が肘を肘掛けに乗せた姿勢であって、顔を視線入力範囲に向けている場合に、その視線入力範囲に対応する入力操作が有効化される。好ましくは上記の条件に加えて、乗員の注視点が特定の視線入力範囲に所定時間以上とどまっている場合に、その視線入力範囲に対応する入力操作が有効化される。 When a specific condition is satisfied during the execution of the automatic driving control, the line-of-sight input control unit 3 executes intervention control to the automatic driving function by the line-of-sight input. Certain conditions include at least a predetermined sitting posture of the occupant. For example, when the occupant is in a posture in which the elbow is placed on the armrest and the face is directed to the line-of-sight input range, the input operation corresponding to the line-of-sight input range is enabled. Preferably, in addition to the above conditions, when the occupant's gaze point stays in a specific line-of-sight input range for a predetermined time or longer, the input operation corresponding to the line-of-sight input range is enabled.

本実施形態の視線入力制御部３は、二種類の表示モード（表示態様）を用いて視線入力範囲と視線入力の適否（その視線入力が有効であるか否か）とを表示装置７に表示させる機能を持つ。第一の表示モードは、複数の視線入力範囲のそれぞれについて、視線入力範囲の輪郭を発光させるものである。この第一表示モードは、視線入力の受付中であって、適切な視線入力がなされていないことを表す。このように、輪郭のみが発光する視線入力範囲を示すことで、どのエリアを注視すれば視線入力が有効化されうるのかを乗員に直感的に把握させることができる。なお、図３（Ａ）に示すように、視線入力範囲の輪郭に加えて、各々の視線入力範囲の役割を表す記号や文字（好ましくはその輪郭線）を発光させてもよい。 The line-of-sight input control unit 3 of the present embodiment displays the line-of-sight input range and the suitability of the line-of-sight input (whether or not the line-of-sight input is valid) on the display device 7 using two types of display modes (display modes). It has a function to make it. In the first display mode, the outline of the line-of-sight input range is made to emit light for each of the plurality of line-of-sight input ranges. This first display mode indicates that the line-of-sight input is being accepted and the line-of-sight input is not properly performed. In this way, by showing the line-of-sight input range in which only the contour emits light, it is possible for the occupant to intuitively grasp which area should be watched to enable the line-of-sight input. As shown in FIG. 3A, in addition to the contour of the line-of-sight input range, symbols and characters (preferably the contour line) representing the role of each line-of-sight input range may be emitted.

第二の表示モードは、複数の視線入力範囲のうちいずれか一つについて、視線入力範囲の全体を発光させるものである。この第二表示モードは、視線入力の受付中であって適切な視線入力がなされていることを表す。このように、視線入力範囲の全体を発光させることで、乗員が注視している視線有力範囲に対応する視線入力が有効化されていることを乗員に直感的に把握させることができる。例えば、前進エリア２１を注視している乗員の視線入力が有効であるときには、図３（Ｂ）に示すように、前進エリア２１の全体を発光させる。また、右旋回エリア２４への視線入力が有効であるときには、図３（Ｃ）に示すように、右旋回エリア２４の全体を発光させる。なお、各々の視線入力範囲の役割を表す記号や文字が視認可能な程度の輝度で発光させることが好ましい。 The second display mode causes the entire line-of-sight input range to emit light for any one of the plurality of line-of-sight input ranges. This second display mode indicates that the line-of-sight input is being accepted and an appropriate line-of-sight input is made. In this way, by making the entire line-of-sight input range emit light, the occupant can intuitively understand that the line-of-sight input corresponding to the line-of-sight influential range that the occupant is gazing at is enabled. For example, when the line-of-sight input of the occupant who is gazing at the forward area 21 is valid, the entire forward area 21 is made to emit light as shown in FIG. 3 (B). Further, when the line-of-sight input to the right turning area 24 is effective, the entire right turning area 24 is made to emit light as shown in FIG. 3C. In addition, it is preferable to emit light with a brightness such that symbols and characters representing the role of each line-of-sight input range can be visually recognized.

［３．フローチャート］
図４，図５は、自動運転制御中の視線入力に関する制御手順を例示するフローチャートである。このフローチャートに示される制御は、自動運転制御中に所定周期で繰り返し実施されている。
図４のフローチャートにおけるステップＡ１では、視線入力スイッチ１２がオンに操作されているか否かが判定される。また、ステップＡ２では、視線入力の実施条件が成立するか否かが判定される。ここでは例えば、乗員がステアリングに触れていないことやアクセルペダル，ブレーキペダルが踏み込まれていないこと、顔パターンが事前登録されていることなどが確認される。これらの条件が成立する場合にステップＡ３に進み、乗員の腕の位置がアームレスト１７上にあるか否かが判定される。ここで、肘センサー６が乗員の肘を検出している場合には、ステップＡ４に進む。なお、乗員が肘を肘センサー６に載せた状態で視線入力スイッチ１２をオンに操作すれば、短時間でステップＡ１〜Ａ３の条件が成立することになり、迅速にステップＡ４へ移行することができる。 [3. flowchart]
4 and 5 are flowcharts illustrating a control procedure relating to line-of-sight input during automatic driving control. The control shown in this flowchart is repeatedly executed at a predetermined cycle during the automatic operation control.
In step A1 in the flowchart of FIG. 4, it is determined whether or not the line-of-sight input switch 12 is turned on. Further, in step A2, it is determined whether or not the execution condition of the line-of-sight input is satisfied. Here, for example, it is confirmed that the occupant is not touching the steering wheel, that the accelerator pedal and the brake pedal are not depressed, and that the face pattern is pre-registered. When these conditions are satisfied, the process proceeds to step A3, and it is determined whether or not the position of the occupant's arm is on the armrest 17. Here, if the elbow sensor 6 detects the elbow of the occupant, the process proceeds to step A4. If the occupant operates the line-of-sight input switch 12 on with the elbow resting on the elbow sensor 6, the conditions of steps A1 to A3 are satisfied in a short time, and the process can be quickly shifted to step A4. it can.

ステップＡ４では、視線入力制御部３が表示装置７に視線入力範囲の輪郭を発光させる。これにより、乗員は視線入力が受け付けられる状態となったことを即座に把握できる。これに続くステップＡ５では、乗員の顔が正面向きであるか否かが判定され、ステップＡ６では、注視点が前進エリア２１に２秒以上とどまっているか否かが判定される。これらの条件が成立する場合にはステップＡ７に進み、視線入力制御部３が表示装置７に前進エリア２１の全体を発光させる。また、ステップＡ８では、視線入力制御部３が視線入力による自動運転機能への介入制御を実施し、車両１０を前進させる。例えば、車両１０がすでに走行中だった場合には、あらかじめ設定された所定速度（例えば法定速度）で前進し続けるように車両１０が制御される。また、車両１０が停止（あるいは後退）していた場合には、徐々に車速を増加させながら前進するように車両１０が制御される。 In step A4, the line-of-sight input control unit 3 causes the display device 7 to emit light the outline of the line-of-sight input range. As a result, the occupant can immediately grasp that the line-of-sight input is accepted. In step A5 following this, it is determined whether or not the occupant's face is facing forward, and in step A6, it is determined whether or not the gazing point stays in the forward area 21 for 2 seconds or more. When these conditions are satisfied, the process proceeds to step A7, and the line-of-sight input control unit 3 causes the display device 7 to emit light in the entire forward area 21. Further, in step A8, the line-of-sight input control unit 3 executes intervention control to the automatic driving function by the line-of-sight input to move the vehicle 10 forward. For example, when the vehicle 10 is already running, the vehicle 10 is controlled so as to continue moving forward at a preset predetermined speed (for example, a legal speed). Further, when the vehicle 10 is stopped (or backward), the vehicle 10 is controlled so as to move forward while gradually increasing the vehicle speed.

ステップＡ５，Ａ６のいずれかの条件が不成立である場合にはステップＡ９に進み、乗員の顔が上向きであるか否かが判定される。この条件が成立する場合にはステップＡ１０に進み、不成立の場合には図５のフローチャートにおけるステップＡ１６に進む。ステップＡ１０では、注視点が加速エリア２２に２秒以上とどまっているか否かが判定される。この条件が成立する場合にはステップＡ１１に進み、視線入力制御部３が表示装置７に加速エリア２２の全体を発光させる。また、ステップＡ１２では、視線入力制御部３が視線入力による自動運転機能への介入制御を実施し、車速を増加させる。 If any of the conditions of steps A5 and A6 is not satisfied, the process proceeds to step A9, and it is determined whether or not the occupant's face is facing upward. If this condition is satisfied, the process proceeds to step A10, and if this condition is not satisfied, the process proceeds to step A16 in the flowchart of FIG. In step A10, it is determined whether or not the gazing point stays in the acceleration area 22 for 2 seconds or longer. When this condition is satisfied, the process proceeds to step A11, and the line-of-sight input control unit 3 causes the display device 7 to emit light from the entire acceleration area 22. Further, in step A12, the line-of-sight input control unit 3 performs intervention control to the automatic driving function by the line-of-sight input to increase the vehicle speed.

ステップＡ１０の条件が不成立の場合にはステップＡ１３に進み、注視点が後退エリア２６に２秒以上とどまっているか否かが判定される。この条件が成立する場合にはステップＡ１４に進み、視線入力制御部３が表示装置７に後退エリア２６の全体を発光させる。また、ステップＡ１５では、視線入力制御部３が視線入力による自動運転機能への介入制御を実施し、車速を後退させる。例えば、車両１０が停止（あるいは後退）していた場合には、徐々に一定の徐行速度で後退するように車両１０が制御される。また、車両１０が前進していた場合には、徐々に車速を減少させてから後退するように車両１０が制御される。ステップＡ１３の条件が不成立の場合、図５のフローチャートにおけるステップＡ１６に進む。 If the condition of step A10 is not satisfied, the process proceeds to step A13, and it is determined whether or not the gazing point stays in the retreat area 26 for 2 seconds or more. When this condition is satisfied, the process proceeds to step A14, and the line-of-sight input control unit 3 causes the display device 7 to emit light in the entire retreat area 26. Further, in step A15, the line-of-sight input control unit 3 performs intervention control to the automatic driving function by the line-of-sight input to reduce the vehicle speed. For example, when the vehicle 10 is stopped (or retreated), the vehicle 10 is controlled so as to gradually retreat at a constant slow speed. Further, when the vehicle 10 is moving forward, the vehicle 10 is controlled so as to gradually reduce the vehicle speed and then move backward. If the condition of step A13 is not satisfied, the process proceeds to step A16 in the flowchart of FIG.

図５のフローチャートにおけるステップＡ１６では、乗員の顔が下向きであるか否かが判定され、ステップＡ１７では、注視点が減速エリア２３に２秒以上とどまっているか否かが判定される。これらの条件が成立する場合にはステップＡ１８に進み、視線入力制御部３が表示装置７に減速エリア２３の全体を発光させる。また、ステップＡ１９では、視線入力制御部３が視線入力による自動運転機能への介入制御を実施し、車速を減少させる。ステップＡ１６，Ａ１７のいずれかの条件が不成立である場合には、ステップＡ２０に進む。 In step A16 in the flowchart of FIG. 5, it is determined whether or not the occupant's face is facing downward, and in step A17, it is determined whether or not the gazing point stays in the deceleration area 23 for 2 seconds or more. When these conditions are satisfied, the process proceeds to step A18, and the line-of-sight input control unit 3 causes the display device 7 to emit light in the entire deceleration area 23. Further, in step A19, the line-of-sight input control unit 3 performs intervention control to the automatic driving function by the line-of-sight input to reduce the vehicle speed. If any of the conditions of steps A16 and A17 is not satisfied, the process proceeds to step A20.

ステップＡ２０では、乗員の顔が右向きであるか否かが判定され、ステップＡ２１では、注視点が右旋回エリア２４に２秒以上とどまっているか否かが判定される。これらの条件が成立する場合にはステップＡ２２に進み、視線入力制御部３が表示装置７に右旋回エリア２４の全体を発光させる。また、ステップＡ２３では、視線入力制御部３が視線入力による自動運転機能への介入制御を実施し、舵角を右方向に増加させる。ステップＡ２０，Ａ２１のいずれかの条件が不成立である場合には、ステップＡ２４に進む。 In step A20, it is determined whether or not the occupant's face is facing right, and in step A21, it is determined whether or not the gazing point stays in the right turning area 24 for 2 seconds or more. When these conditions are satisfied, the process proceeds to step A22, and the line-of-sight input control unit 3 causes the display device 7 to emit light from the entire right turning area 24. Further, in step A23, the line-of-sight input control unit 3 performs intervention control to the automatic driving function by the line-of-sight input to increase the steering angle to the right. If any of the conditions of steps A20 and A21 is not satisfied, the process proceeds to step A24.

ステップＡ２４では、乗員の顔が左向きであるか否かが判定され、ステップＡ２５では、注視点が左旋回エリア２５に２秒以上とどまっているか否かが判定される。これらの条件が成立する場合にはステップＡ２６に進み、視線入力制御部３が表示装置７に左旋回エリア２５の全体を発光させる。また、ステップＡ２７では、視線入力制御部３が視線入力による自動運転機能への介入制御を実施し、舵角を左方向に増加させる。ステップＡ２４，Ａ２５のいずれかの条件が不成立である場合には、今回の制御周期における制御を終了する。 In step A24, it is determined whether or not the occupant's face is facing left, and in step A25, it is determined whether or not the gazing point stays in the left turning area 25 for 2 seconds or more. When these conditions are satisfied, the process proceeds to step A26, and the line-of-sight input control unit 3 causes the display device 7 to emit light from the entire left turning area 25. Further, in step A27, the line-of-sight input control unit 3 performs intervention control to the automatic driving function by the line-of-sight input to increase the steering angle to the left. If any of the conditions of steps A24 and A25 is not satisfied, the control in the current control cycle is terminated.

［４．効果］
（１）上記の車両自動制御システムは、乗員の着座姿勢が所定姿勢であるときに、注視点の位置に応じて自動運転機能に介入するように機能する。これにより、視線のみによる車両１０の運転操作を実現することができ、運転の楽しさや利便性を向上させることができる。一方、着座姿勢が所定姿勢でないときには視線入力が受け付けられないため、意図しない自動運転への介入を抑制することができ、操作性を向上させることができる。したがって、視線入力の誤作動を抑制することができ、自動運転の利便性，操作性を向上させることができる。 [4. effect]
(1) The above-mentioned automatic vehicle control system functions to intervene in the automatic driving function according to the position of the gazing point when the seating posture of the occupant is a predetermined posture. As a result, the driving operation of the vehicle 10 can be realized only by the line of sight, and the enjoyment and convenience of driving can be improved. On the other hand, when the sitting posture is not a predetermined posture, the line-of-sight input is not accepted, so that it is possible to suppress unintended intervention in automatic driving and improve operability. Therefore, the malfunction of the line-of-sight input can be suppressed, and the convenience and operability of automatic driving can be improved.

（２）上記の車両自動制御システムには、視線入力範囲をフロントガラス１４のガラス面（あるいは、バックミラー１６やドアガラス１５の表面など）に表示する表示装置７が設けられる。これにより、乗員はガラス面を通して車外の景色や周辺状況を確認しながら視線入力を実施することができ、自然な目線で自動運転への介入を実現することができる。また、手動運転時と同じような視点の動かし方で、その手動運転に対応する自動運転が実現されるため、直感的でわかりやすい入力操作を実現することができ、操作性を向上させることができる。 (2) The vehicle automatic control system is provided with a display device 7 for displaying the line-of-sight input range on the glass surface of the windshield 14 (or the surface of the rearview mirror 16 or the door glass 15). As a result, the occupant can input the line of sight while checking the scenery outside the vehicle and the surrounding conditions through the glass surface, and can realize the intervention in the automatic driving from a natural line of sight. In addition, since automatic driving corresponding to the manual driving is realized by moving the viewpoint in the same way as during manual driving, intuitive and easy-to-understand input operations can be realized and operability can be improved. ..

（３）上記の車両自動制御システムでは二種類の表示モードが用意されており、視線入力範囲と視線入力の適否とが表示装置７に表示されるようになっている。このように、視線入力範囲を表示するだけでなく、視線入力の適否を表示することで、視線入力操作が有効であるのか否かを即座に乗員にフィードバックすることができ、自動運転の利便性，操作性を向上させることができる。 (3) In the above automatic vehicle control system, two types of display modes are prepared, and the line-of-sight input range and the appropriateness of the line-of-sight input are displayed on the display device 7. In this way, by not only displaying the line-of-sight input range but also displaying the suitability of the line-of-sight input, it is possible to immediately feed back to the occupant whether or not the line-of-sight input operation is effective, which is convenient for automatic driving. ， The operability can be improved.

（４）第一表示モードでは、視線入力範囲の輪郭のみが発光表示される。このような表示態様により、どのエリアを注視すれば視線入力が有効化されうるのかを乗員に直感的に把握させることができ、自動運転の利便性，操作性をさらに向上させることができる。一方、第二表示モードでは、視線入力範囲の全体が発光表示される。このような表示態様により、乗員が注視している視線有力範囲に対応する視線入力が有効化されていることを乗員に直感的に把握させることができ、自動運転の利便性，操作性をさらに向上させることができる。 (4) In the first display mode, only the outline of the line-of-sight input range is emitted and displayed. With such a display mode, it is possible for the occupant to intuitively grasp which area should be watched to enable the line-of-sight input, and the convenience and operability of automatic driving can be further improved. On the other hand, in the second display mode, the entire line-of-sight input range is emitted and displayed. With such a display mode, the occupant can intuitively understand that the line-of-sight input corresponding to the line-of-sight influential range that the occupant is gazing at is enabled, further improving the convenience and operability of automatic driving. Can be improved.

（５）フロントガラス１４の中央付近（運転席に着座する乗員の正面付近）に前進用の視線入力範囲（前進エリア２１）を設定することで、車両１０の前方を目視確認しながら車両１０を前進させることができる。したがって、自然な視線入力操作で自動運転に介入することができ、自動運転の利便性，操作性を向上させることができる。 (5) By setting the line-of-sight input range (advance area 21) for forward movement near the center of the windshield 14 (near the front of the occupant seated in the driver's seat), the vehicle 10 can be visually confirmed in front of the vehicle 10. You can move forward. Therefore, it is possible to intervene in automatic driving by a natural line-of-sight input operation, and it is possible to improve the convenience and operability of automatic driving.

（６）フロントガラス１４の上部付近，下部付近のそれぞれに加速用，減速用の視線入力範囲（加速エリア２２，減速エリア２３）を設定することで、自然な視線入力操作で自動運転に介入することができ、自動運転の利便性，操作性を向上させることができる。 (6) By setting the line-of-sight input ranges (acceleration area 22, deceleration area 23) for acceleration and deceleration in the vicinity of the upper part and the lower part of the windshield 14, the automatic operation is intervened by the natural line-of-sight input operation. It is possible to improve the convenience and operability of automatic driving.

（７）フロントガラス１４の右部付近，左部付近のそれぞれに右旋回用，左旋回用の視線入力範囲（右旋回エリア２４，左旋回エリア２５）を設定することで、車両１０を進行させたい方向の状況を目視確認しながら舵角を変更する（旋回する）ことができる。したがって、自然な視線入力操作で自動運転に介入することができ、自動運転の利便性，操作性を向上させることができる。 (7) By setting the line-of-sight input ranges (right turn area 24, left turn area 25) for right turn and left turn in the vicinity of the right part and the left part of the windshield 14, the vehicle 10 can be set. You can change (turn) the steering angle while visually checking the situation in the direction you want to travel. Therefore, it is possible to intervene in automatic driving by a natural line-of-sight input operation, and it is possible to improve the convenience and operability of automatic driving.

（８）バックミラー付近に後退用の視線入力範囲（後退エリア２６）を設定することで、車両１０の後方を目視確認しながら車両１０を後退させることができる。したがって、自然な視線入力操作で自動運転に介入することができ、自動運転の利便性，操作性を向上させることができる。 (8) By setting the line-of-sight input range (backward area 26) for retreating near the rear-view mirror, the vehicle 10 can be retreated while visually checking the rear of the vehicle 10. Therefore, it is possible to intervene in automatic driving by a natural line-of-sight input operation, and it is possible to improve the convenience and operability of automatic driving.

（９）上記の車両自動制御システムでは、乗員の顔の向きが特定の視線入力範囲に向いており、かつ、乗員の肘がアームレスト１７上（肘センサー６）に位置している場合に、着座姿勢が所定姿勢であると判断される。このように、乗員の顔の向きと手の位置とを確認することで、視線入力の誤操作の防止効果を高めることができ、自動運転の利便性，操作性をさらに向上させることができる。 (9) In the above automatic vehicle control system, when the occupant's face is oriented to a specific line-of-sight input range and the occupant's elbow is located on the armrest 17 (elbow sensor 6), he / she is seated. It is determined that the posture is the predetermined posture. In this way, by confirming the orientation of the occupant's face and the position of the hand, the effect of preventing erroneous operation of the line-of-sight input can be enhanced, and the convenience and operability of automatic driving can be further improved.

（１０）上記の車両自動制御システムでは、室内カメラ４，顔変位計５がフロントピラー１３に内蔵される。これにより、乗員の顔の近くで視線や顔の向きを検出することができ、検出精度を向上させることができる。また、室内カメラ４を乗員の顔の斜め前方に設置することで、顔の正面に設置した場合と比較して、顔の水平旋回動作を精度よく把握することができる。これにより、顔の向きの検出精度を向上させることができる。顔変位計５についても同様である。なお、これらを自動運転制御装置１と有線接続する場合には、フロントピラー１３の内側に配線材を挿通させることができ、車室内の美観を損なうことなく室内カメラ４，顔変位計５を設置することができる。 (10) In the above automatic vehicle control system, the indoor camera 4 and the face displacement meter 5 are built in the front pillar 13. As a result, the line of sight and the direction of the face can be detected near the occupant's face, and the detection accuracy can be improved. Further, by installing the indoor camera 4 diagonally in front of the occupant's face, it is possible to accurately grasp the horizontal turning motion of the face as compared with the case where it is installed in front of the face. As a result, the accuracy of detecting the orientation of the face can be improved. The same applies to the face displacement meter 5. When these are connected to the automatic driving control device 1 by wire, the wiring material can be inserted inside the front pillar 13, and the indoor camera 4 and the face displacement meter 5 are installed without spoiling the aesthetic appearance of the vehicle interior. can do.

（１１）表示装置７として透明有機ELディスプレイを用いれば、フロントガラス１４の透明度を高く保ったまま、視認性の高い発光表示を容易に実現することができ、自動運転の利便性，操作性をさらに向上させることができる。また、ブルーライトレスの有機ELディスプレイを使用することで、ブルーライトがカットされていないLEDディスプレイを使用した場合と比較して人体への影響や負担を軽減する事ができ、自動運転の利便性，操作性をさらに向上させることができる。さらに、プロジェクターを用いた場合と比較して、車両前方の視認性を向上させることができる。 (11) If a transparent organic EL display is used as the display device 7, it is possible to easily realize a highly visible light emitting display while maintaining high transparency of the windshield 14, and to improve the convenience and operability of automatic driving. It can be further improved. In addition, by using a blue lightless organic EL display, it is possible to reduce the impact and burden on the human body compared to the case of using an LED display with uncut blue light, which is convenient for autonomous driving. ， The operability can be further improved. Further, the visibility in front of the vehicle can be improved as compared with the case where a projector is used.

［５．変形例］
上記の実施形態はあくまでも例示に過ぎず、本実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。 [5. Modification example]
The above embodiment is merely an example, and there is no intention of excluding the application of various modifications and techniques not specified in the present embodiment. Each configuration of the present embodiment can be variously modified and implemented without departing from the gist thereof. In addition, it can be selected as needed, or can be combined as appropriate.

例えば、上述の実施形態では顔変位計５で顔の向きを検出しているが、室内カメラ４で撮影された画像に基づいて顔の向きを検出する制御構成としてもよい。肘センサー６についても同様であり、室内カメラ４で撮影された画像に基づいて乗員の肘の位置や姿勢を判定してもよい。つまり、室内カメラ４を視線検出装置として機能させることで、顔変位計５，肘センサー６を省略することが可能である。 For example, in the above-described embodiment, the face orientation is detected by the face displacement meter 5, but a control configuration may be used in which the face orientation is detected based on the image taken by the indoor camera 4. The same applies to the elbow sensor 6, and the position and posture of the occupant's elbow may be determined based on the image taken by the indoor camera 4. That is, by making the indoor camera 4 function as a line-of-sight detection device, it is possible to omit the face displacement meter 5 and the elbow sensor 6.

また、上述の実施形態では、乗員の注視点が特定の視線入力範囲に所定時間以上とどまっている場合に、その視線入力範囲に対応する入力操作が有効化されている。所定時間の長さは任意に設定可能（例えば0.5〜3秒）であって、例えば図４，図５中に示すように２秒程度であってもよいし、より短い時間としてもよい。また、上述の実施形態では、顔の向きを６パターン（正面向き，上向き，下向き，右向き，左向き，それ以外の６種）に分類しているが、より細かく分類してもよいし、あるいは大まかに分類してもよい。少なくとも顔の向きを視線入力の適否判定に用いることで、視線入力の誤作動を抑制することができ、自動運転の利便性，操作性を向上させることができる。 Further, in the above-described embodiment, when the occupant's gaze point stays in a specific line-of-sight input range for a predetermined time or longer, the input operation corresponding to the line-of-sight input range is enabled. The length of the predetermined time can be arbitrarily set (for example, 0.5 to 3 seconds), and may be, for example, about 2 seconds as shown in FIGS. 4 and 5, or may be a shorter time. Further, in the above-described embodiment, the face orientation is classified into 6 patterns (frontward, upward, downward, rightward, leftward, and other 6 types), but it may be classified more finely or roughly. It may be classified into. By using at least the direction of the face for determining the suitability of the line-of-sight input, it is possible to suppress the malfunction of the line-of-sight input and improve the convenience and operability of automatic driving.

１自動運転制御装置
２自動制御部
３視線入力制御部
４室内カメラ（注視点検出装置）
５顔変位計（姿勢検出装置の一つ）
６肘センサー（姿勢検出装置の一つ）
７表示装置
８測位装置
９通信装置
１０車両
１１前方カメラ
１２視線入力スイッチ
１３フロントピラー
１４フロントガラス
１５ドアガラス
１６バックミラー
１７アームレスト
２１前進エリア（視線入力範囲の一つ）
２２加速エリア（視線入力範囲の一つ）
２３減速エリア（視線入力範囲の一つ）
２４右旋回エリア（視線入力範囲の一つ）
２５左旋回エリア（視線入力範囲の一つ）
２６後退エリア（視線入力範囲の一つ） 1 Automatic operation control device 2 Automatic control unit 3 Line-of-sight input control unit 4 Indoor camera (viewpoint detection device)
5 Face displacement meter (one of posture detection devices)
6 Elbow sensor (one of the posture detection devices)
7 Display device 8 Positioning device 9 Communication device 10 Vehicle 11 Front camera 12 Line-of-sight input switch 13 Front pillar 14 Windshield 15 Door glass 16 Rear-view mirror 17 Armrest 21 Forward area (one of the line-of-sight input ranges)
22 Acceleration area (one of the line-of-sight input ranges)
23 Deceleration area (one of the line-of-sight input ranges)
24 Right turn area (one of the line-of-sight input ranges)
25 Left turn area (one of the line-of-sight input ranges)
26 Retreat area (one of the line-of-sight input ranges)

Claims

It is a viewpoint position sensing type vehicle automatic control system equipped with an automatic driving function that runs while automatically controlling the steering angle and vehicle speed.
A posture detection device that detects the sitting posture of the occupant,
A gaze point detection device that detects the gaze point of the occupant, and
A viewpoint characterized by comprising a line-of-sight input control unit that changes the steering angle or vehicle speed by intervening in the automatic driving function according to the position of the gazing point when the sitting posture is a predetermined posture. Position-sensitive automatic vehicle control system.

The viewpoint position sensing type vehicle automatic control system according to claim 1, further comprising a display device for displaying a line-of-sight input range on a glass surface on which intervention by the gaze point is permitted in the automatic driving function.

The viewpoint position sensing type vehicle automatic control according to claim 2, wherein the line-of-sight input control unit displays the line-of-sight input range and the suitability of the line-of-sight input on the display device using two types of display modes. system.

The display device emits the outline of the line-of-sight input range when the line-of-sight input is being accepted and the appropriate line-of-sight input is not made, and the line-of-sight input is being received and the appropriate line-of-sight input is made. The viewpoint position sensing type vehicle automatic control system according to claim 3, characterized in that the entire line-of-sight input range is sometimes emitted.

The viewpoint position sensing type vehicle automatic according to any one of claims 2 to 4, wherein the display device displays the line-of-sight input range for advancing the vehicle near the center of the windshield. Control system.

The viewpoint position sensing according to any one of claims 2 to 5, wherein the display device displays the line-of-sight input range for increasing or decreasing the vehicle speed in the vicinity of the upper portion and the vicinity of the lower portion of the windshield. Type vehicle automatic control system.

The display device according to any one of claims 2 to 6, wherein the display device displays the line-of-sight input range for changing the steering angle in the vicinity of the right portion and the vicinity of the left portion of the windshield. Viewpoint position sensing type vehicle automatic control system.

The viewpoint position sensing type vehicle automatic control system according to any one of claims 2 to 7, wherein the display device displays the line-of-sight input range for reversing the vehicle in the vicinity of the rear-view mirror. ..

The line-of-sight input control unit determines that the seating posture is the predetermined posture when the face of the occupant is oriented toward the line-of-sight input range and the elbow of the occupant is located on the armrest. The viewpoint position sensing type vehicle automatic control system according to any one of claims 2 to 8, wherein the determination is made.

The viewpoint position sensing type vehicle automatic control system according to any one of claims 2 to 9, wherein the posture detecting device and the gazing point detecting device are built in the front pillar of the vehicle.

The viewpoint position sensing type vehicle automatic control system according to any one of claims 2 to 10, wherein the display device is a transparent organic EL display attached to the glass surface.