JP2021098378A - Information providing device for vehicle - Google Patents

Information providing device for vehicle Download PDF

Info

Publication number
JP2021098378A
JP2021098378A JP2018061841A JP2018061841A JP2021098378A JP 2021098378 A JP2021098378 A JP 2021098378A JP 2018061841 A JP2018061841 A JP 2018061841A JP 2018061841 A JP2018061841 A JP 2018061841A JP 2021098378 A JP2021098378 A JP 2021098378A
Authority
JP
Japan
Prior art keywords
vehicle
control
state
image
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018061841A
Other languages
Japanese (ja)
Inventor
克哉 松雪
Katsuya Matsuyuki
克哉 松雪
松田　聡
Satoshi Matsuda
聡 松田
義幸 吉田
Yoshiyuki Yoshida
義幸 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2018061841A priority Critical patent/JP2021098378A/en
Priority to PCT/JP2019/005496 priority patent/WO2019187749A1/en
Publication of JP2021098378A publication Critical patent/JP2021098378A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Abstract

To notify a user of an acceleration state and a deceleration state for making a vehicle travel even when the vehicle cannot travel a schedule travel route.SOLUTION: A vehicle control device 10 comprises a picked-up image acquisition unit 104 which acquires a picked-up image of circumference of a vehicle 20 from an imaging unit installed on the vehicle, a control picture image generation unit 105 which generates a control picture image which superimposes course prediction line of the vehicle based upon a steering state of the vehicle and a travel state identification image revealing an acceleration/deceleration state of the vehicle to the picked-up image acquired by the picked-up image acquisition unit 104 and a display control unit 106 which displays the control picture image generated by the control picture image generation unit 105 to a display unit installed on the vehicle.SELECTED DRAWING: Figure 3

Description

本発明は、車両用情報提供装置に関する。 The present invention relates to a vehicle information providing device.

本願発明の背景技術として、特許文献１に記載の技術が知られている。特許文献１には、自車両の予定走行経路を設定する予定走行経路設定部と、前記自車両を前記予定走行経路に沿ってどのように走行させるかを示す走行計画を策定し、前記走行計画に基づいて、前記予定走行経路における前記自車両の前方の道路に対して前記自車両を加速状態または減速状態に設定する予定走行状況設定部と、前記予定走行経路に対応する経路画像に対して、前記予定走行状況設定部が設定した加速状態と減速状態とを示す走行状況識別画像を配置した走行計画画像を生成する走行計画画像生成部と、前記走行計画画像を表示する表示部と、を備えることを特徴とする車両用走行案内装置が開示されている。 As a background technique of the present invention, the technique described in Patent Document 1 is known. In Patent Document 1, a planned travel route setting unit for setting a planned travel route of the own vehicle and a travel plan showing how the own vehicle is traveled along the planned travel route are formulated, and the travel plan is described. With respect to the planned traveling condition setting unit that sets the own vehicle in the acceleration state or the deceleration state with respect to the road in front of the own vehicle in the planned travel route, and the route image corresponding to the planned travel route. , A travel plan image generation unit that generates a travel plan image in which a travel condition identification image indicating an acceleration state and a deceleration state set by the planned travel condition setting unit is arranged, and a display unit that displays the travel plan image. A vehicle traveling guidance device characterized by being provided is disclosed.

特許第６１０７９５６号Patent No. 6107956

特許文献１に記載の技術では、設定した予測走行経路における車両の加速状態や減速状態を示した走行計画画像を表示することで、予測走行経路に従って車両を走行させる際の加速状態や減速状態をユーザに通知することができる。しかしながら、障害物の存在等によって車両が予定走行経路を走行できない場合は、走行計画画像を表示することができずに、車両を走行させる際の加速状態や減速状態をユーザに通知することができない。 In the technique described in Patent Document 1, by displaying a travel plan image showing the acceleration state and deceleration state of the vehicle in the set predicted travel route, the acceleration state and deceleration state when the vehicle is traveled according to the predicted travel route can be determined. The user can be notified. However, if the vehicle cannot travel on the planned travel route due to the presence of obstacles or the like, the travel plan image cannot be displayed and the acceleration state or deceleration state when the vehicle is driven cannot be notified to the user. ..

本発明による車両用情報提供装置は、車両に搭載されて前記車両の乗員への情報提供を行う装置であって、前記車両に搭載された撮像部から前記車両の周囲の撮像画像を取得する撮像画像取得部と、前記撮像画像取得部が取得した前記撮像画像に、前記車両の操舵状態に基づく前記車両の進路予測線と、前記車両の加減速状態を示す走行状況識別画像と、を重畳した制御画像を生成する制御画像生成部と、前記制御画像生成部が生成した前記制御画像を、前記車両に搭載された表示部に表示させる表示制御部と、を備える。 The vehicle information providing device according to the present invention is a device mounted on a vehicle to provide information to the occupants of the vehicle, and obtains an image captured around the vehicle from an imaging unit mounted on the vehicle. The image acquisition unit and the captured image acquired by the captured image acquisition unit are superposed with a course prediction line of the vehicle based on the steering state of the vehicle and a traveling condition identification image showing the acceleration / deceleration state of the vehicle. It includes a control image generation unit that generates a control image, and a display control unit that displays the control image generated by the control image generation unit on a display unit mounted on the vehicle.

本発明によれば、車両が予定走行経路を走行できない場合であっても、車両を走行させる際の加速状態や減速状態をユーザに通知することができる。 According to the present invention, even when the vehicle cannot travel on the planned traveling route, it is possible to notify the user of the acceleration state and the deceleration state when the vehicle is traveling.

本発明の一実施形態に係る車両制御システムの構成図Configuration diagram of the vehicle control system according to the embodiment of the present invention 本発明の一実施形態に係る車両制御システムの車両への搭載例を示す図The figure which shows the example of mounting the vehicle control system which concerns on one Embodiment of this invention on a vehicle 本発明の一実施形態に係る車両制御装置の機能ブロック図Functional block diagram of the vehicle control device according to the embodiment of the present invention 経路解析部の動作を説明する図The figure explaining the operation of the route analysis part 車両が走行計画に従って走行する様子を示す図Diagram showing how the vehicle travels according to the travel plan 進路予測線の第１の例を示す図The figure which shows the 1st example of the course prediction line 進路予測線の第２の例を示す図The figure which shows the 2nd example of the course prediction line 進路予測線の第３の例を示す図The figure which shows the 3rd example of the course prediction line 制御画像の第１の例を示す図The figure which shows the 1st example of a control image 制御画像の第２の例を示す図The figure which shows the 2nd example of the control image 制御画像の第３の例を示す図The figure which shows the 3rd example of the control image 制御画像の第４の例を示す図The figure which shows the 4th example of a control image 制御画像の第５の例を示す図The figure which shows the 5th example of a control image 制御画像の第６の例を示す図The figure which shows the 6th example of a control image 制御画像の第７の例を示す図The figure which shows the 7th example of a control image 制御画像の第８の例を示す図The figure which shows the 8th example of the control image 本発明の一実施形態に係る車両制御システムの処理手順を示すフローチャートA flowchart showing a processing procedure of a vehicle control system according to an embodiment of the present invention. 本発明の一実施形態に係る車両制御システムの処理手順を示すフローチャートA flowchart showing a processing procedure of a vehicle control system according to an embodiment of the present invention. 本発明の一実施形態に係る車両制御システムの処理手順を示すフローチャートA flowchart showing a processing procedure of a vehicle control system according to an embodiment of the present invention.

以下、本発明の一実施形態に係る車両制御装置について、図面を参照して説明する。 Hereinafter, the vehicle control device according to the embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の一実施形態に係る車両制御システムの構成図である。図１に示す車両制御システム１は、車両制御装置１０と、車両制御装置１０との間で各種情報をやり取りする車両制御ＥＣＵ２１、表示部２３、操作部２４、撮像部２５、測距センサ２６および車速センサ２７とを備える。車両制御ＥＣＵ２１は、アクセルＥＣＵ２１１、ブレーキＥＣＵ２１２およびステアリングＥＣＵ２１３を含む。図１の車両制御システム１は、図２に示す車両２０に搭載されている。なお、以下の説明では、車両制御システム１を搭載した車両２０は、車両制御システム１が行う車両制御により、乗員の運転操作なしで走行する自動運転が可能であるものとする。 FIG. 1 is a configuration diagram of a vehicle control system according to an embodiment of the present invention. The vehicle control system 1 shown in FIG. 1 includes a vehicle control ECU 21, a display unit 23, an operation unit 24, an imaging unit 25, a distance measuring sensor 26, and a vehicle control ECU 21, which exchanges various information between the vehicle control device 10 and the vehicle control device 10. It is equipped with a vehicle speed sensor 27. The vehicle control ECU 21 includes an accelerator ECU 211, a brake ECU 212, and a steering ECU 213. The vehicle control system 1 of FIG. 1 is mounted on the vehicle 20 shown in FIG. In the following description, it is assumed that the vehicle 20 equipped with the vehicle control system 1 can be automatically driven by the vehicle control performed by the vehicle control system 1 without the driving operation of the occupants.

撮像部２５は、車両２０の周囲を撮影して撮像画像を取得する。撮像部２５は、たとえば撮像素子を備えた電子式カメラにより構成される。撮像部２５が取得した撮像画像の情報は、撮像画像データＤ２５として車両制御装置１０に入力される。 The imaging unit 25 photographs the surroundings of the vehicle 20 to acquire an captured image. The image pickup unit 25 is composed of, for example, an electronic camera provided with an image pickup element. The information of the captured image acquired by the imaging unit 25 is input to the vehicle control device 10 as the captured image data D25.

測距センサ２６は、車両２０の周囲に存在する障害物を検出し、その障害物までの距離を測定するセンサである。測距センサ２６は、たとえばレーザーレーダやミリ波レーダを用いて構成される。測距センサ２６が測定した障害物までの距離の情報は、測距データＤ２６として車両制御装置１０に入力される。 The distance measuring sensor 26 is a sensor that detects an obstacle existing around the vehicle 20 and measures the distance to the obstacle. The ranging sensor 26 is configured by using, for example, a laser radar or a millimeter wave radar. The information on the distance to the obstacle measured by the distance measuring sensor 26 is input to the vehicle control device 10 as the distance measuring data D26.

車速センサ２７は、車両２０の走行速度を検出するセンサである。車速センサ２７は、たとえば車両２０の車輪の回転速度を検出する車輪速センサを用いて構成される。車速センサ２７が検出した車両２０の走行速度の情報は、車速データＤ２７として車両制御装置１０に入力される。 The vehicle speed sensor 27 is a sensor that detects the traveling speed of the vehicle 20. The vehicle speed sensor 27 is configured by using, for example, a wheel speed sensor that detects the rotational speed of the wheels of the vehicle 20. The information on the traveling speed of the vehicle 20 detected by the vehicle speed sensor 27 is input to the vehicle control device 10 as vehicle speed data D27.

表示部２３は、画像や映像を表示して車両２０の乗員に情報提供を行う部分であり、たとえば液晶ディスプレイを用いて構成される。表示部２３の表示内容は、車両制御装置１０から入力された制御画像データＤ１０４に基づき決定される。すなわち、車両制御装置１０は、表示部２３を介して車両２０の乗員への情報提供を行う車両用情報提供装置として機能する。 The display unit 23 is a part that displays an image or a video and provides information to the occupants of the vehicle 20, and is configured by using, for example, a liquid crystal display. The display content of the display unit 23 is determined based on the control image data D104 input from the vehicle control device 10. That is, the vehicle control device 10 functions as a vehicle information providing device that provides information to the occupants of the vehicle 20 via the display unit 23.

操作部２４は、車両２０の乗員による各種操作入力を受け付ける部分であり、たとえば操作ボタンや操作スイッチ等を用いて構成される。なお、表示部２３と操作部２４を組み合わせてタッチパネルとしてもよい。乗員が操作部２４を用いて行った操作内容の情報は、操作データＤ２４として車両制御装置１０に入力される。 The operation unit 24 is a part that receives various operation inputs by the occupants of the vehicle 20, and is configured by using, for example, operation buttons and operation switches. The display unit 23 and the operation unit 24 may be combined to form a touch panel. Information on the contents of operations performed by the occupant using the operation unit 24 is input to the vehicle control device 10 as operation data D24.

車両制御ＥＣＵ２１は、車両制御装置１０から入力される走行計画データＤ１０３に基づいて、車両２０を自動運転で走行させるための車両制御を行う。また、車両２０の走行状態を示す情報を生成し、車両制御装置１０に出力する。車両制御ＥＣＵ２１から出力されて車両制御装置１０に入力される車両２０の走行状態の情報には、車両２０の加減速状態を示す加減速量データＤ２１と、車両２０の操舵状態を示す操舵量データＤ２２とが含まれる。加減速量データＤ２１は、車両２０の加減速制御を行うアクセルＥＣＵ２１１およびブレーキＥＣＵ２１２から出力され、操舵量データＤ２２は、車両２０の操舵制御を行うステアリングＥＣＵ２１３から出力される。 The vehicle control ECU 21 controls the vehicle for automatically driving the vehicle 20 based on the travel plan data D103 input from the vehicle control device 10. In addition, information indicating the traveling state of the vehicle 20 is generated and output to the vehicle control device 10. The running state information of the vehicle 20 output from the vehicle control ECU 21 and input to the vehicle control device 10 includes acceleration / deceleration amount data D21 indicating the acceleration / deceleration state of the vehicle 20 and steering amount data indicating the steering state of the vehicle 20. D22 and is included. The acceleration / deceleration amount data D21 is output from the accelerator ECU 211 and the brake ECU 212 that control the acceleration / deceleration of the vehicle 20, and the steering amount data D22 is output from the steering ECU 213 that controls the steering of the vehicle 20.

車両制御装置１０は、操作部２４、撮像部２５、測距センサ２６、車速センサ２７からそれぞれ入力された操作データＤ２４、撮像画像データＤ２５、測距データＤ２６および車速データＤ２７や、車両制御ＥＣＵ２１から入力された加減速量データＤ２１および操舵量データＤ２２に基づいて、車両２０の制御に関する様々な処理を実行する。そして、走行計画データＤ１０３および制御画像データＤ１０４を生成し、車両制御ＥＣＵ２１と表示部２３にそれぞれ出力する。車両制御装置１０は、たとえばマイクロコンピュータやＦＰＧＡ（Field-Programmable Gate Array）を用いて構成される。 The vehicle control device 10 can be used from the operation data D24, the captured image data D25, the distance measurement data D26, the vehicle speed data D27, and the vehicle control ECU 21 input from the operation unit 24, the image pickup unit 25, the distance measurement sensor 26, and the vehicle speed sensor 27, respectively. Based on the input acceleration / deceleration amount data D21 and steering amount data D22, various processes related to the control of the vehicle 20 are executed. Then, the travel plan data D103 and the control image data D104 are generated and output to the vehicle control ECU 21 and the display unit 23, respectively. The vehicle control device 10 is configured by using, for example, a microcomputer or an FPGA (Field-Programmable Gate Array).

図２は、本発明の一実施形態に係る車両制御システム１の車両２０への搭載例を示す図である。図２に示すように、車両２０には、車両２０の前方を撮影するカメラ２５Ｆと、車両２０の左側方を撮影するカメラ２５Ｌと、車両２０の右側方を撮影するカメラ２５Ｒと、車両２０の後方を撮影するカメラ２５Ｂが取り付けられている。これらのカメラ２５Ｆ〜２５Ｂにより、図１に示した撮像部２５が構成される。なお、カメラ２５Ｆ〜２５Ｂの取付位置は、図２に示す位置に限定されない。また、図２に示す例では、カメラ２５Ｆ〜２５Ｂをそれぞれ１つずつのカメラで構成しているが、２つのカメラを組み合わせた、いわゆるステレオカメラとしてもよい。この場合、カメラ２５Ｆ〜２５Ｂを測距センサ２６として用いることも可能である。さらに、図２に示す例では、４つのカメラ２５Ｆ〜２５Ｂで撮像部２５を構成しているが、撮像部２５を構成するカメラの数はこれに限定されない。 FIG. 2 is a diagram showing an example of mounting the vehicle control system 1 according to the embodiment of the present invention on the vehicle 20. As shown in FIG. 2, the vehicle 20 includes a camera 25F for photographing the front of the vehicle 20, a camera 25L for photographing the left side of the vehicle 20, a camera 25R for photographing the right side of the vehicle 20, and the vehicle 20. A camera 25B for photographing the rear is attached. These cameras 25F to 25B constitute the imaging unit 25 shown in FIG. The mounting positions of the cameras 25F to 25B are not limited to the positions shown in FIG. Further, in the example shown in FIG. 2, the cameras 25F to 25B are each composed of one camera, but a so-called stereo camera in which the two cameras are combined may be used. In this case, the cameras 25F to 25B can also be used as the distance measuring sensor 26. Further, in the example shown in FIG. 2, the imaging unit 25 is composed of four cameras 25F to 25B, but the number of cameras constituting the imaging unit 25 is not limited to this.

車両２０の車体における複数の所定位置、たとえばフロントグリルの内側、フロントバンパーやリアバンパーの表面、ドアミラーの側面等には、測距センサ２６がそれぞれ取り付けられている。各測距センサ２６は、その取付位置に応じて車両２０の前方、側方、後方のいずれかに存在する障害物を検出する。たとえば、車両２０の前方を走行する先行車両、車両２０の前方を横切る人物や車両、車両２０の進行方向に存在する駐車車両、壁、各種設置物等を障害物として検出する。各測距センサ２６は、障害物を検出すると、その障害物までの距離を測定して車両制御装置１０へ測距データＤ２６を出力する。 Distance measuring sensors 26 are attached to a plurality of predetermined positions on the vehicle body of the vehicle 20, for example, the inside of the front grille, the surface of the front bumper and the rear bumper, the side surface of the door mirror, and the like. Each distance measuring sensor 26 detects an obstacle existing in the front, side, or rear of the vehicle 20 according to its mounting position. For example, a preceding vehicle traveling in front of the vehicle 20, a person or vehicle crossing the front of the vehicle 20, a parked vehicle existing in the traveling direction of the vehicle 20, a wall, various installation objects, and the like are detected as obstacles. When each distance measuring sensor 26 detects an obstacle, it measures the distance to the obstacle and outputs the distance measuring data D26 to the vehicle control device 10.

車両２０には、左前輪の回転速度を検出する車輪速センサ２７ＦＬと、右前輪の回転速度を検出する車輪速センサ２７ＦＲと、左後輪の回転速度を検出する車輪速センサ２７ＲＬと、右後輪の回転速度を検出する車輪速センサ２７ＲＲが取り付けられている。これらの車輪速センサ２７ＦＲ〜２７ＲＲにより、図１に示した車速センサ２７が構成される。 The vehicle 20 includes a wheel speed sensor 27FL that detects the rotation speed of the left front wheel, a wheel speed sensor 27FR that detects the rotation speed of the right front wheel, a wheel speed sensor 27RL that detects the rotation speed of the left rear wheel, and the right rear. A wheel speed sensor 27RR that detects the rotation speed of the wheel is attached. These wheel speed sensors 27FR to 27RR constitute the vehicle speed sensor 27 shown in FIG.

車両２０は、アクセルペダル２、ブレーキペダル３およびステアリングホイール４を備える。車両２０の乗員がアクセルペダル２を用いて行ったアクセル操作の状態や、車両２０の乗員がブレーキペダル３を用いて行ったブレーキ操作の状態は、加減速量データＤ２１としてアクセルＥＣＵ２１１およびブレーキＥＣＵ２１２から出力され、車両制御装置１０に入力される。車両２０の乗員がステアリングホイール４を用いて行った操舵操作の状態は、操舵量データＤ２２としてステアリングＥＣＵ２１３から出力され、車両制御装置１０に入力される。 The vehicle 20 includes an accelerator pedal 2, a brake pedal 3, and a steering wheel 4. The state of the accelerator operation performed by the occupant of the vehicle 20 using the accelerator pedal 2 and the state of the brake operation performed by the occupant of the vehicle 20 using the brake pedal 3 are obtained from the accelerator ECU 211 and the brake ECU 212 as acceleration / deceleration amount data D21. It is output and input to the vehicle control device 10. The state of the steering operation performed by the occupant of the vehicle 20 using the steering wheel 4 is output from the steering ECU 213 as steering amount data D22 and input to the vehicle control device 10.

表示部２３および操作部２４は、車両２０の運転席付近に設置される。操作部２４から出力された操作データＤ２４は車両制御装置１０に入力され、車両制御装置１０から出力された制御画像データＤ１０４は表示部２３に入力される。 The display unit 23 and the operation unit 24 are installed near the driver's seat of the vehicle 20. The operation data D24 output from the operation unit 24 is input to the vehicle control device 10, and the control image data D104 output from the vehicle control device 10 is input to the display unit 23.

次に、車両制御装置１０が行う処理の具体的な内容について説明する。図３は、本発明の一実施形態に係る車両制御装置１０の機能ブロック図である。図３に示すように、車両制御装置１０は、状態管理部１０１、経路生成部１０２、経路解析部１０３、撮像画像取得部１０４、制御画像生成部１０５、表示制御部１０６および空間認識部１０７の各機能ブロックを有する。車両制御装置１０は、これらの機能ブロックを、たとえばマイクロコンピュータ上で動作するコンピュータプログラムや、ＦＰＧＡ内に構成される論理回路の組み合わせ等によって実現可能である。 Next, the specific contents of the processing performed by the vehicle control device 10 will be described. FIG. 3 is a functional block diagram of the vehicle control device 10 according to the embodiment of the present invention. As shown in FIG. 3, the vehicle control device 10 includes a state management unit 101, a route generation unit 102, a route analysis unit 103, an image capture image acquisition unit 104, a control image generation unit 105, a display control unit 106, and a space recognition unit 107. Each has a functional block. The vehicle control device 10 can realize these functional blocks by, for example, a computer program operating on a microcomputer, a combination of logic circuits configured in the FPGA, or the like.

状態管理部１０１には、加減速量データＤ２１、操舵量データＤ２２および操作データＤ２４が入力される。状態管理部１０１は、操作データＤ２４に基づいて乗員からの経路生成要求の有無を判断し、経路生成要求ありと判断した場合に、経路生成要求データＤ１０１を生成して出力する。乗員が指定した目的地に向かって車両２０を走行させる場合、経路生成要求データＤ１０１には、車両２０の現在地の情報や、操作データＤ２４が示す目的地、経由地、優先すべき道路等の設定情報が含まれる。また、乗員が指定した駐車区画に車両２０を自動駐車させる際に、状態管理部１０１が経路生成要求データＤ１０１を生成して出力してもよい。この場合、経路生成要求データＤ１０１には、駐車場内における車両２０の位置情報や、操作データＤ２４が示す駐車区画の位置情報などが含まれる。状態管理部１０１から出力された経路生成要求データＤ１０１は、経路生成部１０２に入力される。 Acceleration / deceleration amount data D21, steering amount data D22, and operation data D24 are input to the state management unit 101. The state management unit 101 determines whether or not there is a route generation request from the occupant based on the operation data D24, and when it is determined that there is a route generation request, the state management unit 101 generates and outputs the route generation request data D101. When the vehicle 20 is driven toward the destination specified by the occupant, the route generation request data D101 includes information on the current location of the vehicle 20, the destination indicated by the operation data D24, a waypoint, a priority road, and the like. Contains information. Further, when the vehicle 20 is automatically parked in the parking section designated by the occupant, the state management unit 101 may generate and output the route generation request data D101. In this case, the route generation request data D101 includes the position information of the vehicle 20 in the parking lot, the position information of the parking section indicated by the operation data D24, and the like. The route generation request data D101 output from the state management unit 101 is input to the route generation unit 102.

また、状態管理部１０１は、加減速量データＤ２１が示す車両２０の加減速状態や、操舵量データＤ２２が示す車両２０の操舵状態に基づき、経路の再設定が必要か否かを判断する。経路の再設定が必要と判断した場合、状態管理部１０１は、現在の車両２０の状態に基づく新たな経路生成要求データＤ１０１を生成して出力する。なお、経路の再設定が必要か否かを判断する具体的な判断方法については後述する。 Further, the state management unit 101 determines whether or not the route needs to be reset based on the acceleration / deceleration state of the vehicle 20 indicated by the acceleration / deceleration amount data D21 and the steering state of the vehicle 20 indicated by the steering amount data D22. When it is determined that the route needs to be reset, the state management unit 101 generates and outputs new route generation request data D101 based on the current state of the vehicle 20. A specific method for determining whether or not the route needs to be reset will be described later.

経路生成部１０２は、状態管理部１０１から入力された経路生成要求データＤ１０１に基づいて、車両２０が走行すべき予定走行経路を設定する。たとえば、乗員が指定した目的地に向かって車両２０を走行させる場合には、経路生成要求データＤ１０１に含まれる前述のような情報に基づき、現在地から目的地までの予定走行経路を設定する。また、乗員が指定した駐車区画に車両２０を自動駐車させる場合には、経路生成要求データＤ１０１に含まれる前述のような情報に基づき、駐車場内における車両２０の現在位置から指定された駐車区画までの予定走行経路を設定する。経路生成部１０２が設定した予定走行経路の情報は、走行経路データＤ１０２として経路解析部１０３に入力される。 The route generation unit 102 sets a planned travel route on which the vehicle 20 should travel based on the route generation request data D101 input from the state management unit 101. For example, when the vehicle 20 is driven toward the destination designated by the occupant, the planned travel route from the current location to the destination is set based on the above-mentioned information included in the route generation request data D101. Further, when the vehicle 20 is automatically parked in the parking lot designated by the occupant, from the current position of the vehicle 20 in the parking lot to the designated parking lot based on the above-mentioned information included in the route generation request data D101. Set the planned travel route of. The information of the planned travel route set by the route generation unit 102 is input to the route analysis unit 103 as travel route data D102.

経路解析部１０３は、経路生成部１０２から入力された走行経路データＤ１０２に基づいて、車両２０が予定走行経路を走行する際の目標加減速量および目標操舵量を設定する。そして、設定した目標加減速量および目標操舵量に基づく車両２０の走行計画を策定し、走行計画データＤ１０３を生成して出力する。走行計画データＤ１０３には、予定走行経路上に所定間隔で設定された複数の走行目標点を示す情報と、各走行目標点における車両２０の目標加減速量および目標操舵量を示す情報とが含まれる。経路解析部１０３から出力された走行計画データＤ１０３は、制御画像生成部１０５に入力されるとともに、車両制御装置１０から出力されて車両制御ＥＣＵ２１に入力される。これにより、車両制御ＥＣＵ２１において、車両２０を自動運転で走行させるための車両制御が行われる。 The route analysis unit 103 sets a target acceleration / deceleration amount and a target steering amount when the vehicle 20 travels on the planned travel route based on the travel route data D102 input from the route generation unit 102. Then, the travel plan of the vehicle 20 based on the set target acceleration / deceleration amount and the target steering amount is formulated, and the travel plan data D103 is generated and output. The travel plan data D103 includes information indicating a plurality of travel target points set at predetermined intervals on the planned travel route, and information indicating the target acceleration / deceleration amount and the target steering amount of the vehicle 20 at each travel target point. Is done. The travel plan data D103 output from the route analysis unit 103 is input to the control image generation unit 105, and is also output from the vehicle control device 10 and input to the vehicle control ECU 21. As a result, the vehicle control ECU 21 performs vehicle control for driving the vehicle 20 in automatic driving.

撮像画像取得部１０４は、撮像部２５から撮像画像データＤ２５を取得し、制御画像生成部１０５および空間認識部１０７に出力する。このとき撮像画像取得部１０４は、車両２０の進行方向や予定走行経路に基づいて、撮像部２５を構成する複数のカメラからそれぞれ取得した撮像画像データＤ２５のうち、制御画像生成部１０５や空間認識部１０７で用いられる撮像画像データＤ２５を選択して出力してもよい。また、複数のカメラから取得した撮像画像データＤ２５を合成することで仮想的な３次元画像を生成し、制御画像生成部１０５や空間認識部１０７に出力してもよい。 The captured image acquisition unit 104 acquires the captured image data D25 from the imaging unit 25 and outputs the captured image data D25 to the control image generation unit 105 and the space recognition unit 107. At this time, the captured image acquisition unit 104 has the control image generation unit 105 and the space recognition of the captured image data D25 acquired from the plurality of cameras constituting the imaging unit 25 based on the traveling direction of the vehicle 20 and the planned traveling route. The captured image data D25 used in the unit 107 may be selected and output. Further, a virtual three-dimensional image may be generated by synthesizing the captured image data D25 acquired from a plurality of cameras and output to the control image generation unit 105 or the space recognition unit 107.

制御画像生成部１０５には、加減速量データＤ２１および操舵量データＤ２２と、経路解析部１０３から出力された走行計画データＤ１０３と、撮像画像取得部１０４から出力された撮像画像データＤ２５とが入力される。制御画像生成部１０５は、入力されたこれらのデータに基づいて、車両２０を走行させる際の加速状態や減速状態を車両２０の乗員に通知するための制御画像を生成する。この制御画像では、撮像画像データＤ２５が示す撮像画像上に、車両２０の進路を示す進路予測線と、車両２０の加減速状態を示す走行状況識別画像とが重畳されている。なお、制御画像の具体例については後述する。制御画像生成部１０５が生成した制御画像の情報は、制御画像データＤ１０４として表示制御部１０６に入力される。 Acceleration / deceleration amount data D21 and steering amount data D22, travel plan data D103 output from the route analysis unit 103, and captured image data D25 output from the captured image acquisition unit 104 are input to the control image generation unit 105. Will be done. Based on these input data, the control image generation unit 105 generates a control image for notifying the occupants of the vehicle 20 of the acceleration state and the deceleration state when the vehicle 20 is driven. In this control image, a course prediction line showing the course of the vehicle 20 and a traveling situation identification image showing the acceleration / deceleration state of the vehicle 20 are superimposed on the captured image shown by the captured image data D25. A specific example of the control image will be described later. The information of the control image generated by the control image generation unit 105 is input to the display control unit 106 as the control image data D104.

表示制御部１０６は、制御画像生成部１０５から入力された制御画像データＤ１０４を表示部２３に出力することで、制御画像生成部１０５が生成した制御画像を表示部２３に表示させる。このとき表示制御部１０６は、表示部２３のインタフェース仕様に応じたデータ形式または信号形式に制御画像データＤ１０４を変換した上で、表示部２３に出力することが好ましい。これにより、表示部２３において制御画像が表示され、車両２０の走行状況に関する乗員への情報提供が行われる。 The display control unit 106 outputs the control image data D104 input from the control image generation unit 105 to the display unit 23, so that the control image generated by the control image generation unit 105 is displayed on the display unit 23. At this time, it is preferable that the display control unit 106 converts the control image data D104 into a data format or a signal format according to the interface specifications of the display unit 23, and then outputs the control image data D104 to the display unit 23. As a result, the control image is displayed on the display unit 23, and information on the traveling condition of the vehicle 20 is provided to the occupants.

空間認識部１０７には、測距データＤ２６および車速データＤ２７と、撮像画像取得部１０４から出力された撮像画像データＤ２５とが入力される。空間認識部１０７は、入力されたこれらのデータに基づいて、車両２０の周囲に存在する障害物を認識し、車両２０が予定走行経路を走行する際にその障害物に衝突するか否かを予測する。ここで、空間認識部１０７が認識する障害物とは、車両２０の安全な走行に対する妨げとなる物体であり、測距センサ２６が検出対象とする前述のような各種の物体が該当する。このとき空間認識部１０７は、撮像画像データＤ２５と測距データＤ２６の両方を用いて障害物の有無を判断してもよいし、いずれか一方を用いて障害物の有無を判断してもよい。障害物への衝突を予測したら、空間認識部１０７は、測距データＤ２６が示す障害物までの距離と、車速データＤ２７が示す車両２０の走行速度とに基づいて、車両２０が障害物までの衝突に要する時間である衝突予測時間を算出し、障害物検出データＤ１０５を生成する。障害物検出データＤ１０５には、障害物までの距離および衝突予測時間が含まれる。空間認識部１０７から出力された障害物検出データＤ１０５は、状態管理部１０１および経路生成部１０２に入力される。 Distance measurement data D26, vehicle speed data D27, and captured image data D25 output from the captured image acquisition unit 104 are input to the space recognition unit 107. Based on these input data, the space recognition unit 107 recognizes an obstacle existing around the vehicle 20, and determines whether or not the vehicle 20 collides with the obstacle when traveling on the planned travel route. Predict. Here, the obstacle recognized by the space recognition unit 107 is an object that hinders the safe traveling of the vehicle 20, and corresponds to various objects as described above that the distance measuring sensor 26 detects. At this time, the space recognition unit 107 may determine the presence or absence of an obstacle by using both the captured image data D25 and the distance measurement data D26, or may use either one of them to determine the presence or absence of an obstacle. .. After predicting a collision with an obstacle, the space recognition unit 107 causes the vehicle 20 to reach the obstacle based on the distance to the obstacle indicated by the distance measurement data D26 and the traveling speed of the vehicle 20 indicated by the vehicle speed data D27. The collision prediction time, which is the time required for the collision, is calculated, and the obstacle detection data D105 is generated. The obstacle detection data D105 includes the distance to the obstacle and the estimated collision time. The obstacle detection data D105 output from the space recognition unit 107 is input to the state management unit 101 and the route generation unit 102.

空間認識部１０７から障害物検出データＤ１０５が入力されると、状態管理部１０１は、経路の再設定が必要と判断し、新たな経路生成要求データＤ１０１を生成して経路生成部１０２に出力する。経路生成部１０２は、状態管理部１０１から入力された新たな経路生成要求データＤ１０１と、障害物検出データＤ１０５とに基づき、障害物を回避するように予定走行経路を再設定して走行経路データＤ１０２を出力する。このようにして、車両２０が障害物に衝突すると空間認識部１０７が予測した場合には、経路生成部１０２において予定走行経路が再設定される。 When the obstacle detection data D105 is input from the space recognition unit 107, the state management unit 101 determines that the route needs to be reset, generates new route generation request data D101, and outputs the new route generation request data D101 to the route generation unit 102. .. The route generation unit 102 resets the planned travel route so as to avoid obstacles based on the new route generation request data D101 input from the state management unit 101 and the obstacle detection data D105, and travel route data. Output D102. In this way, when the space recognition unit 107 predicts that the vehicle 20 will collide with an obstacle, the route generation unit 102 resets the planned travel route.

続いて、車両制御装置１０の各機能ブロックが行う動作の具体例について説明する。図４は、経路解析部１０３の動作を説明する図である。 Subsequently, a specific example of the operation performed by each functional block of the vehicle control device 10 will be described. FIG. 4 is a diagram illustrating the operation of the route analysis unit 103.

図４に示す例では、リンクＬ１が予定走行経路として設定されており、このリンクＬ１を図中の矢印に沿って車両２０が走行するものとする。このような予定走行経路を示す走行経路データＤ１０２が経路解析部１０３に入力されると、経路解析部１０３は、リンクＬ１上に所定間隔で車両２０の走行目標点Ｐ１〜Ｐ８を設定する。このとき、最後の走行目標点Ｐ８は、たとえば車両２０が現時点から所定時間後に到達する位置、または車両２０の現在位置からリンクＬ１に沿って所定距離だけ離れた位置に設定される。なお、車両２０の現在位置から走行目標点Ｐ８までの距離を経路長とすると、この経路長は一定であってもよいし、車速に応じて変化させてもよい。 In the example shown in FIG. 4, the link L1 is set as the planned travel route, and it is assumed that the vehicle 20 travels along the link L1 along the arrow in the figure. When the travel route data D 102 indicating such a planned travel route is input to the route analysis unit 103, the route analysis unit 103 sets the travel target points P1 to P8 of the vehicle 20 on the link L1 at predetermined intervals. At this time, the final travel target point P8 is set, for example, at a position where the vehicle 20 arrives after a predetermined time from the current time, or at a position separated from the current position of the vehicle 20 by a predetermined distance along the link L1. Assuming that the distance from the current position of the vehicle 20 to the travel target point P8 is the route length, this route length may be constant or may be changed according to the vehicle speed.

走行目標点Ｐ１〜Ｐ８を設定したら、経路解析部１０３は、設定した走行目標点Ｐ１〜Ｐ８のそれぞれについて、次の走行目標点までの目標加減速量と目標操舵量を算出する。具体的には、まず、現在位置での車両１００の走行速度と最高制限速度から、最初の走行目標点Ｐ１での目標車速を設定し、現在の走行速度と設定した目標車速の差分に基づいて、現在位置から走行目標点Ｐ１までの目標加減速量を算出する。また、現在位置から走行目標点Ｐ１までのリンクＬ１の形状に基づいて、車両２０が走行目標点Ｐ１へ到達するのに必要な目標操舵量を算出する。このようにして、最初の走行目標点Ｐ１に対する目標加減速量および目標操舵量を算出したら、経路解析部１０３は、同様の方法で次の走行目標点Ｐ２に対する目標加減速量および目標操舵量を算出する。こうした処理を最後の走行目標点Ｐ８まで繰り返すことで、走行目標点Ｐ１〜Ｐ８のそれぞれに対して目標加減速量および目標操舵量を算出し、走行計画を策定して走行計画データＤ１０３を生成することができる。 After setting the travel target points P1 to P8, the route analysis unit 103 calculates the target acceleration / deceleration amount and the target steering amount up to the next travel target point for each of the set travel target points P1 to P8. Specifically, first, the target vehicle speed at the first travel target point P1 is set from the traveling speed of the vehicle 100 at the current position and the maximum speed limit, and based on the difference between the current traveling speed and the set target vehicle speed. , Calculate the target acceleration / deceleration amount from the current position to the traveling target point P1. Further, based on the shape of the link L1 from the current position to the travel target point P1, the target steering amount required for the vehicle 20 to reach the travel target point P1 is calculated. After calculating the target acceleration / deceleration amount and the target steering amount for the first traveling target point P1 in this way, the route analysis unit 103 calculates the target acceleration / deceleration amount and the target steering amount for the next traveling target point P2 in the same manner. calculate. By repeating such processing up to the final travel target point P8, the target acceleration / deceleration amount and the target steering amount are calculated for each of the travel target points P1 to P8, a travel plan is formulated, and the travel plan data D103 is generated. be able to.

図５は、車両２０がリンクＬ１の道路区間を走行計画データＤ１０３が示す走行計画に従って走行する様子を、車両２０から見た状態で概念的に示した図である。図５の例では、車両２０の通過位置として、走行目標点Ｐ１，Ｐ２，Ｐ３，…Ｐ８が設定されている。車両２０は、これらの走行目標点Ｐ１，Ｐ２，Ｐ３，…Ｐ８に対してそれぞれ設定された目標加減速量と目標操舵量に応じて、各走行目標点を順次たどるように走行していく。 FIG. 5 is a diagram conceptually showing how the vehicle 20 travels on the road section of the link L1 according to the travel plan indicated by the travel plan data D103, as viewed from the vehicle 20. In the example of FIG. 5, the traveling target points P1, P2, P3, ... P8 are set as the passing positions of the vehicle 20. The vehicle 20 travels so as to sequentially follow each travel target point according to the target acceleration / deceleration amount and the target steering amount set for each of the travel target points P1, P2, P3, ... P8.

なお、上記図４、図５の例では、説明を簡略化するために、車両２０の前方を走行する先行車両等の障害物が存在せず、車両２０が制限速度で走行できる場合の様子を示している。しかしながら実際には、先行車両や割り込み車両の存在により、車両１００は途中で停止したり減速したりする必要が生じる場合がある。 In the examples of FIGS. 4 and 5 above, in order to simplify the explanation, the situation where the vehicle 20 can travel at the speed limit without any obstacles such as the preceding vehicle traveling in front of the vehicle 20 is shown. Shown. However, in reality, the presence of the preceding vehicle or the interrupting vehicle may cause the vehicle 100 to need to stop or decelerate on the way.

図６〜図１６は、制御画像生成部１０５の動作を説明する図である。 6 to 16 are views for explaining the operation of the control image generation unit 105.

図６〜図８は、車両２０が前進しながら右旋回するときに制御画像生成部１０５が設定する進路予測線の例をそれぞれ示している。図６に示す第１の例では、車両２０の進路予測線として、左右前輪の軌跡線Ｒ１，Ｒ２を示している。なお、車両２０が後退する場合は、左右後輪の軌跡線を進路予測線としてもよい。 6 to 8 show examples of course prediction lines set by the control image generation unit 105 when the vehicle 20 turns to the right while moving forward. In the first example shown in FIG. 6, the locus lines R1 and R2 of the left and right front wheels are shown as the course prediction lines of the vehicle 20. When the vehicle 20 moves backward, the locus lines of the left and right rear wheels may be used as the course prediction line.

図７に示す第２の例では、車両２０の進路予測線として、左前輪と右後輪がそれぞれ通過する軌跡線Ｒ１，Ｒ３を示している。なお、車両２０が前進中に左転舵する場合は、右前輪と左後輪がそれぞれ通過する軌跡線を進路予測線としてもよい。また、車両２０が後退中に右転舵する場合は、左後輪と右前輪がそれぞれ通過する軌跡線を進路予測線としてもよく、車両２０が後退中に左転舵する場合は、右後輪と左前輪がそれぞれ通過する軌跡線を進路予測線としてもよい。 In the second example shown in FIG. 7, the locus lines R1 and R3 through which the left front wheel and the right rear wheel pass are shown as the course prediction lines of the vehicle 20. When the vehicle 20 steers to the left while moving forward, the locus lines through which the right front wheel and the left rear wheel pass may be used as the course prediction line. Further, when the vehicle 20 steers to the right while reversing, the locus line through which the left rear wheel and the right front wheel pass may be used as a course prediction line, and when the vehicle 20 steers to the left while reversing, the right rear The locus line through which the wheel and the left front wheel pass may be used as a course prediction line.

図８に示す第３の例では、複数のカメラで取得した撮像画像データＤ２５を合成することで仮想的に３Ｄ表示とした撮像画像上に、車両２０の進路予測線として左前輪の軌跡線Ｒ１を示している。なお、車両２０が前進中に左転舵する場合は、右前輪が通過する軌跡線を進路予測線としてもよい。 In the third example shown in FIG. 8, the locus line R1 of the left front wheel is used as the course prediction line of the vehicle 20 on the captured image virtually displayed in 3D by synthesizing the captured image data D25 acquired by a plurality of cameras. Is shown. When the vehicle 20 turns to the left while moving forward, the locus line through which the right front wheel passes may be used as the course prediction line.

図６、図７の例において、左側の進路予測線である軌跡線Ｒ１と、右側の進路予測線である軌跡線Ｒ２またはＲ３との間に挟まれた範囲は、後述するように、車両２０の走行状況を示す走行状況識別画像を重畳させる部分となる。すなわち、制御画像生成部１０５は、撮像部２５で得られた撮像画像上に複数の進路予測線を重畳させ、さらにその複数の進路予測線の間の部分に、車両２０の走行状況を示す走行状況識別画像を重畳させることで、制御画像を生成する。なお、走行状況識別画像が示す車両２０の走行状況とは、具体的には、車両２０の加減速状態、すなわち車両２０が加速中または一定速度の駆動状態にあるか、それとも減速中の制動状態にあるかを表している。 In the examples of FIGS. 6 and 7, the range sandwiched between the locus line R1 which is the left course prediction line and the trajectory line R2 or R3 which is the right course prediction line is the vehicle 20 as described later. It is a part on which a running situation identification image showing the running situation of is superimposed. That is, the control image generation unit 105 superimposes a plurality of course prediction lines on the captured image obtained by the image pickup unit 25, and further indicates the traveling state of the vehicle 20 in the portion between the plurality of course prediction lines. A control image is generated by superimposing the situation identification image. The traveling condition of the vehicle 20 shown in the traveling condition identification image is specifically the acceleration / deceleration state of the vehicle 20, that is, the vehicle 20 is accelerating or driving at a constant speed, or the braking state during deceleration. Indicates whether it is in.

図９〜図１６は、制御画像生成部１０５が生成する制御画像の例をそれぞれ示している。図９に示す第１の例では、左右の進路予測線Ｒ１，Ｒ２の間の領域に、走行状況識別画像Ｉｍ１，Ｉｍ２を重畳している。走行状況識別画像Ｉｍ１は、車両２０が駆動状態で加減速せずに一定速度で走行する範囲を示している。走行状況識別画像Ｉｍ２は、車両２０が制動状態で減速しながら走行する範囲を示している。制御画像生成部１０５は、走行状況識別画像Ｉｍ１とＩｍ２の表示形態、たとえば色、明るさ、模様等を互いに異ならせることで、これらを識別可能にして制御画像を生成する。車両２０の乗員は、表示部２３に表示された図９のような制御画像を見ることで、車両２０が一定速で走行している状態から減速するように制御されることを容易に認識することができる。 9 to 16 show examples of control images generated by the control image generation unit 105, respectively. In the first example shown in FIG. 9, the traveling situation identification images Im1 and Im2 are superimposed on the region between the left and right course prediction lines R1 and R2. The traveling situation identification image Im1 shows a range in which the vehicle 20 travels at a constant speed without accelerating or decelerating in the driving state. The traveling situation identification image Im2 shows a range in which the vehicle 20 travels while decelerating in a braking state. The control image generation unit 105 generates a control image by making the display forms of the traveling situation identification images Im1 and Im2, for example, colors, brightness, patterns, and the like different from each other so that they can be identified. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is controlled to decelerate from a state of traveling at a constant speed by looking at the control image as shown in FIG. 9 displayed on the display unit 23. be able to.

なお、図９の走行状況識別画像Ｉｍ１，Ｉｍ２は、半透明画像としてもよい。走行状況識別画像Ｉｍ１，Ｉｍ２が半透明であれば、これらによって路面が完全に隠れてしまうことがないため、車両２０の乗員は表示部２３に表示された制御画像を見ることで、路上の標識や物体を識別することができる。この点は、以降の各例で説明する他の走行状況識別画像についても同様である。 The traveling situation identification images Im1 and Im2 in FIG. 9 may be semi-transparent images. If the driving situation identification images Im1 and Im2 are translucent, the road surface will not be completely hidden by them. Therefore, the occupant of the vehicle 20 can see the control image displayed on the display unit 23 to indicate the road sign. And objects can be identified. This point also applies to the other traveling situation identification images described in each of the following examples.

図１０に示す第２の例では、左右の進路予測線Ｒ１，Ｒ２の間の領域に、走行状況識別画像Ｉｍ３を重畳している。走行状況識別画像Ｉｍ３は、車両２０が制動状態で減速しながら走行する範囲を、車両２０の走行速度に応じてグラデーション状に示している。車両２０の乗員は、表示部２３に表示された図１０のような制御画像を見ることで、車両２０が減速制御されることを容易に認識することができる。 In the second example shown in FIG. 10, the traveling situation identification image Im3 is superimposed on the region between the left and right course prediction lines R1 and R2. The traveling situation identification image Im3 shows the range in which the vehicle 20 travels while decelerating in the braking state in a gradation shape according to the traveling speed of the vehicle 20. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is decelerated and controlled by looking at the control image as shown in FIG. 10 displayed on the display unit 23.

図１１に示す第３の例では、左右の進路予測線Ｒ１，Ｒ２の間の領域に、走行状況識別画像Ｉｍ４を重畳している。走行状況識別画像Ｉｍ４は、車両２０が駆動状態で加速しながら走行する範囲を、上向きの矢印の組み合わせで示している。車両２０の乗員は、表示部２３に表示された図１１のような制御画像を見ることで、車両２０が加速制御されることを容易に認識することができる。 In the third example shown in FIG. 11, the traveling situation identification image Im4 is superimposed on the region between the left and right course prediction lines R1 and R2. The traveling situation identification image Im4 indicates the range in which the vehicle 20 travels while accelerating in the driving state by a combination of upward arrows. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is accelerated and controlled by looking at the control image as shown in FIG. 11 displayed on the display unit 23.

図１２に示す第４の例では、左右の進路予測線Ｒ１，Ｒ２の間の領域に、走行状況識別画像Ｉｍ５を重畳している。走行状況識別画像Ｉｍ５は、車両２０が制動状態で減速しながら走行する範囲を、下向きの矢印の組み合わせで示している。車両２０の乗員は、表示部２３に表示された図１２のような制御画像を見ることで、車両２０が減速制御されることを容易に認識することができる。 In the fourth example shown in FIG. 12, the traveling situation identification image Im5 is superimposed on the region between the left and right course prediction lines R1 and R2. The traveling situation identification image Im5 indicates the range in which the vehicle 20 travels while decelerating in the braking state by a combination of downward arrows. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is decelerated and controlled by looking at the control image as shown in FIG. 12 displayed on the display unit 23.

図１３は、制御画像生成部１０５が生成する制御画像の第５の例を示している。第５の例では、車両２０の前方に障害物がない状況で車両２０を走行計画データＤ１０３に従って加速制御および操舵制御する際に表示される制御画像の例を示している。図１３に示した第５の例の制御画像において、制御画像生成部１０５は、目標操舵量に応じた現在の操舵量データＤ２２に基づいて進路予測線Ｒ１，Ｒ２を車両前方の撮像画像に重畳させるとともに、進路予測線Ｒ１，Ｒ２の間の領域に、走行計画データＤ１０３が示す目標加減速量に基づいて生成した走行状況識別画像Ｉｍ６を重畳させている。走行状況識別画像Ｉｍ６は、車両２０が駆動状態で加速しながら走行する範囲を、車両２０の走行速度に応じてグラデーション状に示している。このとき車両制御ＥＣＵ２１は、走行計画データＤ１０３が示す各目標点に対して設定された目標加減速量および目標操舵量に従い、車両２０の加減速制御および操舵制御を行う。車両２０の乗員は、表示部２３に表示された図１３のような制御画像を見ることで、車両２０が加速制御されることを容易に認識することができる。 FIG. 13 shows a fifth example of the control image generated by the control image generation unit 105. In the fifth example, an example of a control image displayed when the vehicle 20 is accelerated and steered according to the travel plan data D103 in a situation where there is no obstacle in front of the vehicle 20 is shown. In the control image of the fifth example shown in FIG. 13, the control image generation unit 105 superimposes the course prediction lines R1 and R2 on the captured image in front of the vehicle based on the current steering amount data D22 according to the target steering amount. At the same time, the traveling situation identification image Im6 generated based on the target acceleration / deceleration amount indicated by the traveling plan data D103 is superimposed on the region between the course prediction lines R1 and R2. The traveling situation identification image Im6 shows the range in which the vehicle 20 travels while accelerating in the driving state in a gradation shape according to the traveling speed of the vehicle 20. At this time, the vehicle control ECU 21 performs acceleration / deceleration control and steering control of the vehicle 20 according to the target acceleration / deceleration amount and the target steering amount set for each target point indicated by the travel plan data D103. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is accelerated and controlled by looking at the control image as shown in FIG. 13 displayed on the display unit 23.

図１４は、制御画像生成部１０５が生成する制御画像の第６の例を示している。第６の例では、車両２０の前方に先行車両が障害物として存在しているが、車両２０と先行車両の衝突の可能性がない状況で、車両２０を走行計画データＤ１０３に従って加速制御する際に表示される制御画像の例を示している。図１４に示した第６の例の制御画像において、制御画像生成部１０５は、運転者の操舵操作状態に応じた現在の操舵量データＤ２２に基づいて進路予測線Ｒ１，Ｒ２を車両前方の撮像画像に重畳させるとともに、進路予測線Ｒ１，Ｒ２の間の領域に、走行計画データＤ１０３が示す目標加減速量に基づいて生成した走行状況識別画像Ｉｍ７を重畳させている。走行状況識別画像Ｉｍ７は、図１３の走行状況識別画像Ｉｍ６と同様に、車両２０が駆動状態で加速しながら走行する範囲を、車両２０の走行速度に応じてグラデーション状に示している。このとき車両制御ＥＣＵ２１は、走行計画データＤ１０３が示す各目標点に対して設定された目標加減速量に従い、車両２０の加減速制御を行う。なお、車両２０の操舵制御は、運転者によって行われる。車両２０の乗員は、表示部２３に表示された図１４のような制御画像を見ることで、車両２０が加速制御されることを容易に認識することができる。 FIG. 14 shows a sixth example of the control image generated by the control image generation unit 105. In the sixth example, the preceding vehicle exists as an obstacle in front of the vehicle 20, but when the vehicle 20 is accelerated and controlled according to the travel plan data D103 in a situation where there is no possibility of collision between the vehicle 20 and the preceding vehicle. An example of the control image displayed in is shown. In the control image of the sixth example shown in FIG. 14, the control image generation unit 105 captures the course prediction lines R1 and R2 in front of the vehicle based on the current steering amount data D22 according to the steering operation state of the driver. In addition to being superimposed on the image, the traveling condition identification image Im7 generated based on the target acceleration / deceleration amount indicated by the traveling plan data D103 is superimposed on the region between the course prediction lines R1 and R2. Similar to the traveling condition identification image Im6 of FIG. 13, the traveling condition identification image Im7 shows the range in which the vehicle 20 travels while accelerating in the driving state in a gradation shape according to the traveling speed of the vehicle 20. At this time, the vehicle control ECU 21 performs acceleration / deceleration control of the vehicle 20 according to a target acceleration / deceleration amount set for each target point indicated by the travel plan data D103. The steering control of the vehicle 20 is performed by the driver. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is accelerated and controlled by looking at the control image as shown in FIG. 14 displayed on the display unit 23.

図１５は、制御画像生成部１０５が生成する制御画像の第７の例を示している。第７の例では、車両２０が前方の目的地点に近づいている状況で、車両２０を走行計画データＤ１０３に従って操舵制御する際に表示される制御画像の例を示している。図１５に示した第７の例の制御画像において、制御画像生成部１０５は、目標操舵量に応じた現在の操舵量データＤ２２に基づいて進路予測線Ｒ１，Ｒ２を車両前方の撮像画像に重畳させるとともに、進路予測線Ｒ１，Ｒ２の間の領域に、加減速量データＤ２１が示す現在の車両２０のアクセル操作状態およびブレーキ操作状態に基づいて生成した走行状況識別画像Ｉｍ８を重畳させている。走行状況識別画像Ｉｍ８は、車両２０が制動状態で減速しながら走行する範囲を、車両２０の走行速度に応じてグラデーション状に示している。このとき車両制御ＥＣＵ２１は、走行計画データＤ１０３が示す各目標点に対して設定された目標操舵量に従い、車両２０の操舵制御を行う。なお、車両２０の加減速制御は、運転者によって行われる。車両２０の乗員は、表示部２３に表示された図１５のような制御画像を見ることで、車両２０が減速制御されることを容易に認識することができる。 FIG. 15 shows a seventh example of the control image generated by the control image generation unit 105. The seventh example shows an example of a control image displayed when the vehicle 20 is steered and controlled according to the travel plan data D103 in a situation where the vehicle 20 is approaching a destination point ahead. In the control image of the seventh example shown in FIG. 15, the control image generation unit 105 superimposes the course prediction lines R1 and R2 on the captured image in front of the vehicle based on the current steering amount data D22 according to the target steering amount. In addition, the traveling condition identification image Im8 generated based on the current accelerator operation state and brake operation state of the vehicle 20 indicated by the acceleration / deceleration amount data D21 is superimposed on the region between the course prediction lines R1 and R2. The traveling situation identification image Im8 shows the range in which the vehicle 20 travels while decelerating in the braking state in a gradation shape according to the traveling speed of the vehicle 20. At this time, the vehicle control ECU 21 controls the steering of the vehicle 20 according to the target steering amount set for each target point indicated by the travel plan data D103. The acceleration / deceleration control of the vehicle 20 is performed by the driver. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is decelerated and controlled by looking at the control image as shown in FIG. 15 displayed on the display unit 23.

図１６は、制御画像生成部１０５が生成する制御画像の第８の例を示している。第８の例では、車両２０が前方の目的地点に近づいている状況で、運転者が車両２０を手動運転する際に表示される制御画像の例を示している。図１６に示した第８の例の制御画像において、制御画像生成部１０５は、運転者の操舵操作状態に応じた現在の操舵量データＤ２２に基づいて進路予測線Ｒ１，Ｒ２を車両前方の撮像画像に重畳させるとともに、進路予測線Ｒ１，Ｒ２の間の領域に、加減速量データＤ２１が示す現在の車両２０のアクセル操作状態およびブレーキ操作状態に基づいて生成した走行状況識別画像Ｉｍ９を重畳させている。走行状況識別画像Ｉｍ９は、図１５の走行状況識別画像Ｉｍ８と同様に、車両２０が制動状態で減速しながら走行する範囲を、車両２０の走行速度に応じてグラデーション状に示している。このとき車両２０の加減速制御および操舵制御は、運転者によって行われる。車両２０の乗員は、表示部２３に表示された図１６のような制御画像を見ることで、車両２０が減速制御されることを容易に認識することができる。 FIG. 16 shows an eighth example of the control image generated by the control image generation unit 105. The eighth example shows an example of a control image displayed when the driver manually drives the vehicle 20 in a situation where the vehicle 20 is approaching a destination point ahead. In the control image of the eighth example shown in FIG. 16, the control image generation unit 105 captures the course prediction lines R1 and R2 in front of the vehicle based on the current steering amount data D22 according to the steering operation state of the driver. In addition to superimposing on the image, the driving condition identification image Im9 generated based on the current accelerator operation state and brake operation state of the vehicle 20 indicated by the acceleration / deceleration amount data D21 is superimposed on the region between the course prediction lines R1 and R2. ing. Similar to the traveling condition identification image Im8 of FIG. 15, the traveling condition identification image Im9 shows the range in which the vehicle 20 travels while decelerating in the braking state in a gradation shape according to the traveling speed of the vehicle 20. At this time, the acceleration / deceleration control and steering control of the vehicle 20 are performed by the driver. The occupant of the vehicle 20 can easily recognize that the vehicle 20 is decelerated and controlled by looking at the control image as shown in FIG. 16 displayed on the display unit 23.

次に、図１７〜図１９に示すフローチャートを用いて、本発明の一実施形態に係る車両制御システム１の処理手順について説明する。図１７〜図１９に示すフローチャートは、車両制御システム１の車両制御装置１０が有する各機能ブロックにおいて、所定時間ごとに実行される。 Next, the processing procedure of the vehicle control system 1 according to the embodiment of the present invention will be described with reference to the flowcharts shown in FIGS. 17 to 19. The flowcharts shown in FIGS. 17 to 19 are executed at predetermined time intervals in each functional block of the vehicle control device 10 of the vehicle control system 1.

図１７のステップＳ１において、状態管理部１０１は、操作部２４から入力された操作データＤ２４に基づき、経路に関する設定データの提供の有無を判定する。操作データＤ２４において現在地や目的地等の経路に関する設定情報が含まれている場合は、設定データの提供ありと判定してステップＳ２へ進み、そうでない場合はステップＳ４へ進む。 In step S1 of FIG. 17, the state management unit 101 determines whether or not setting data regarding the route is provided based on the operation data D24 input from the operation unit 24. If the operation data D24 includes setting information related to a route such as a current location or a destination, it is determined that the setting data is provided and the process proceeds to step S2. If not, the process proceeds to step S4.

ステップＳ２において、経路生成部１０２は、提供された設定データに基づく経路生成を行う。ここでは状態管理部１０１は、操作データＤ２４に基づいて経路生成要求データＤ１０１を生成し、経路生成部１０２へ出力する。経路生成部１０２は、状態管理部１０１から入力された経路生成要求データＤ１０１に基づいて車両２０の予定走行経路を設定し、走行経路データＤ１０２を生成して経路解析部１０３へ出力する。 In step S2, the route generation unit 102 generates a route based on the provided setting data. Here, the state management unit 101 generates the route generation request data D101 based on the operation data D24 and outputs the route generation request data D101 to the route generation unit 102. The route generation unit 102 sets the planned travel route of the vehicle 20 based on the route generation request data D 101 input from the state management unit 101, generates the travel route data D 102, and outputs the travel route data D 102 to the route analysis unit 103.

ステップＳ３において、経路解析部１０３は、ステップＳ２で生成された経路に対する経路解析を行う。ここでは経路解析部１０３は、経路生成部１０２から入力された走行経路データＤ１０２に基づいて予定走行経路を解析することで、前述のように複数の走行目標点を予定走行経路上に所定間隔で設定し、各走行目標点に対して、車両２０が走行する際の目標加減速量と目標操舵量を設定する。そして、予定走行経路の解析結果に応じた走行計画データＤ１０３を生成し、制御画像生成部１０５および車両制御ＥＣＵ２１へ出力する。 In step S3, the route analysis unit 103 performs route analysis for the route generated in step S2. Here, the route analysis unit 103 analyzes the planned travel route based on the travel route data D102 input from the route generation unit 102, so that a plurality of travel target points are set on the planned travel route at predetermined intervals as described above. The target acceleration / deceleration amount and the target steering amount when the vehicle 20 travels are set for each travel target point. Then, the travel plan data D103 corresponding to the analysis result of the planned travel route is generated and output to the control image generation unit 105 and the vehicle control ECU 21.

ステップＳ４において、撮像画像取得部１０４は、車両２０の周辺のカメラ映像を取得する。ここでは撮像画像取得部１０４は、撮像部２５から提供される撮像画像データＤ２５を取得する。 In step S4, the captured image acquisition unit 104 acquires a camera image around the vehicle 20. Here, the captured image acquisition unit 104 acquires the captured image data D25 provided by the imaging unit 25.

ステップＳ５において、撮像画像取得部１０４は、ステップＳ４で取得した撮像画像データＤ２５に基づいて、車両２０の周辺映像を合成する。このとき撮像画像取得部１０４は、撮像部２５を構成する複数のカメラからそれぞれ取得した撮像画像データＤ２５のうち、任意のものを選択して合成する。なお、合成が不要な場合、ステップＳ５の処理を省略してもよい。 In step S5, the captured image acquisition unit 104 synthesizes the peripheral image of the vehicle 20 based on the captured image data D25 acquired in step S4. At this time, the captured image acquisition unit 104 selects and synthesizes arbitrary captured image data D25 acquired from each of the plurality of cameras constituting the imaging unit 25. If synthesis is not required, the process of step S5 may be omitted.

ステップＳ６において、状態管理部１０１は、車両制御ＥＣＵ２１の動作状態に対する異常判定を行う。ここでは状態管理部１０１は、車両制御ＥＣＵ２１から入力される加減速量データＤ２１および操舵量データＤ２２に基づいて、車両制御ＥＣＵ２１の動作状態が正常であるか異常であるかを判定する。その結果、車両制御ＥＣＵ２１の動作状態が異常であると判定した場合はステップＳ７へ進み、正常であると判定した場合はステップＳ８へ進む。 In step S6, the state management unit 101 determines an abnormality in the operating state of the vehicle control ECU 21. Here, the state management unit 101 determines whether the operating state of the vehicle control ECU 21 is normal or abnormal based on the acceleration / deceleration amount data D21 and the steering amount data D22 input from the vehicle control ECU 21. As a result, if it is determined that the operating state of the vehicle control ECU 21 is abnormal, the process proceeds to step S7, and if it is determined that the operation state is normal, the process proceeds to step S8.

ステップＳ７において、状態管理部１０１は、車両２０の走行制御状態を「手動」に設定する。すなわち、車両制御ＥＣＵ２１の動作状態が異常であり、そのため車両制御ＥＣＵ２１が車両２０の自動運転を実施できない場合には、車両２０の走行制御状態を「手動」に設定する。ステップＳ７を実行したら、図１８のステップＳ２１へ進む。 In step S7, the state management unit 101 sets the traveling control state of the vehicle 20 to "manual". That is, when the operating state of the vehicle control ECU 21 is abnormal and therefore the vehicle control ECU 21 cannot automatically drive the vehicle 20, the traveling control state of the vehicle 20 is set to "manual". After executing step S7, the process proceeds to step S21 of FIG.

ステップＳ８において、状態管理部１０１は、走行経路データＤ１０２の有無を判定する。経路生成部１０２がステップＳ２の処理を実行しておらず、そのため予定走行経路が設定されずに走行経路データＤ１０２が生成されていない場合は、走行経路データなしと判定してステップＳ９へ進む。一方、経路生成部１０２がステップＳ２の処理を実行済みであり、そのため走行経路データＤ１０２が生成されている場合は、走行経路データありと判定してステップＳ１０へ進む。 In step S8, the state management unit 101 determines the presence / absence of the travel route data D102. If the route generation unit 102 has not executed the process of step S2 and therefore the planned travel route is not set and the travel route data D102 is not generated, it is determined that there is no travel route data and the process proceeds to step S9. On the other hand, if the route generation unit 102 has already executed the process of step S2 and therefore the travel route data D102 is generated, it is determined that there is travel route data and the process proceeds to step S10.

ステップＳ９において、状態管理部１０１は、車両２０の走行制御状態を「手動」に設定する。すなわち、経路生成部１０２により予定走行経路が設定されておらず、そのため車両制御ＥＣＵ２１が予定走行経路に応じた走行計画データＤ１０３を用いて車両２０の自動運転を実施できない場合には、車両２０の走行制御状態を「手動」に設定する。ステップＳ９を実行したら、図１８のステップＳ２１へ進む。 In step S9, the state management unit 101 sets the traveling control state of the vehicle 20 to "manual". That is, when the planned travel route is not set by the route generation unit 102, and therefore the vehicle control ECU 21 cannot automatically drive the vehicle 20 using the travel plan data D103 according to the planned travel route, the vehicle 20 Set the driving control status to "manual". After executing step S9, the process proceeds to step S21 of FIG.

ステップＳ１０において、状態管理部１０１は、車両２０が予定走行経路から逸脱したか否かを判定する。ここでは状態管理部１０１は、車両２０の現在位置と、ステップＳ２で経路生成部１０２が生成した走行経路データＤ１０２が示す予定走行経路とを比較し、これらの間の距離が所定範囲内であるか否かを判定する。その結果、現在位置と予定走行経路の距離が所定範囲内であれば、車両２０が予定走行経路から逸脱していないと判定し、図１９のステップＳ３１へ進む。一方、現在位置と予定走行経路の距離が所定範囲を超えていれば、車両２０が予定走行経路から逸脱したと判定してステップＳ１１へ進む。 In step S10, the state management unit 101 determines whether or not the vehicle 20 has deviated from the planned travel route. Here, the state management unit 101 compares the current position of the vehicle 20 with the planned travel route indicated by the travel route data D102 generated by the route generation unit 102 in step S2, and the distance between them is within a predetermined range. Judge whether or not. As a result, if the distance between the current position and the planned travel route is within a predetermined range, it is determined that the vehicle 20 does not deviate from the planned travel route, and the process proceeds to step S31 in FIG. On the other hand, if the distance between the current position and the planned travel route exceeds the predetermined range, it is determined that the vehicle 20 has deviated from the planned travel route, and the process proceeds to step S11.

ステップＳ１１において、状態管理部１０１は、車両２０の走行制御状態を「自動」に設定する。続くステップＳ１２において、状態管理部１０１は、予定走行経路から逸脱した車両２０の現在位置に基づいて、経路に関する設定データを更新する。これにより、車両２０が予定走行経路を逸脱した場合には、次回の処理において経路生成部１０２が更新後の設定データに基づいてステップＳ２の処理を行うことで、予定走行経路が再設定されるようにする。ステップＳ１２を実行したら、図１８のステップＳ２１へ進む。 In step S11, the state management unit 101 sets the travel control state of the vehicle 20 to "automatic". In the following step S12, the state management unit 101 updates the setting data regarding the route based on the current position of the vehicle 20 deviating from the planned traveling route. As a result, when the vehicle 20 deviates from the planned travel route, the route generation unit 102 performs the process of step S2 based on the updated setting data in the next process, so that the planned travel route is reset. To do so. After executing step S12, the process proceeds to step S21 of FIG.

図１８のステップＳ２１において、制御画像生成部１０５は、車両２０の現在の操舵量から進路予測線を生成する。ここでは制御画像生成部１０５は、ステアリングＥＣＵ２１３から入力された操舵量データＤ２２に基づいて、車両２０の操舵状態に基づく進路予測線を生成する。 In step S21 of FIG. 18, the control image generation unit 105 generates a course prediction line from the current steering amount of the vehicle 20. Here, the control image generation unit 105 generates a course prediction line based on the steering state of the vehicle 20 based on the steering amount data D22 input from the steering ECU 213.

ステップＳ２２において、状態管理部１０１は、車両２０の走行制御状態が「自動」であるか否かを判定する。車両２０の走行制御状態が「自動」に設定されている場合はステップＳ２３へ進み、そうでない場合、すなわち「手動」に設定されている場合はステップＳ２４へ進む。 In step S22, the state management unit 101 determines whether or not the traveling control state of the vehicle 20 is "automatic". If the travel control state of the vehicle 20 is set to "automatic", the process proceeds to step S23. If not, that is, if the vehicle 20 is set to "manual", the process proceeds to step S24.

ステップＳ２３において、制御画像生成部１０５は、車両２０の現在位置から所定距離内の目標加減速量に基づいて、車両２０の加減速状態を示す走行状況識別画像を生成する。ここでは制御画像生成部１０５は、ステップＳ３で経路解析部１０３から入力された走行計画データＤ１０３が示す目標加減速量に基づいて、図９〜図１６で例示した走行状況識別画像Ｉｍ１〜Ｉｍ９のような走行状況識別画像を生成する。ステップＳ２３で走行状況識別画像を生成したら、ステップＳ２５へ進む。 In step S23, the control image generation unit 105 generates a traveling situation identification image showing the acceleration / deceleration state of the vehicle 20 based on the target acceleration / deceleration amount within a predetermined distance from the current position of the vehicle 20. Here, the control image generation unit 105 of the traveling situation identification images Im1 to Im9 illustrated in FIGS. 9 to 16 based on the target acceleration / deceleration amount indicated by the traveling plan data D103 input from the route analysis unit 103 in step S3. Such a driving situation identification image is generated. After generating the traveling situation identification image in step S23, the process proceeds to step S25.

ステップＳ２４において、制御画像生成部１０５は、現在の車両２０のアクセル操作量とブレーキ操作量に基づいて、車両２０の加減速状態を示す走行状況識別画像を生成する。ここでは制御画像生成部１０５は、アクセルＥＣＵ２１１やブレーキＥＣＵ２１２から入力された加減速量データＤ２１に基づいて、車両２０のアクセル操作状態およびブレーキ操作状態を判断し、図９〜図１６で例示した走行状況識別画像Ｉｍ１〜Ｉｍ９のような走行状況識別画像を生成する。ステップＳ２４で走行状況識別画像を生成したら、ステップＳ２５へ進む。 In step S24, the control image generation unit 105 generates a traveling state identification image showing the acceleration / deceleration state of the vehicle 20 based on the current accelerator operation amount and brake operation amount of the vehicle 20. Here, the control image generation unit 105 determines the accelerator operation state and the brake operation state of the vehicle 20 based on the acceleration / deceleration amount data D21 input from the accelerator ECU 211 and the brake ECU 212, and travels illustrated in FIGS. 9 to 16. Situation identification image A driving situation identification image such as Im1 to Im9 is generated. After generating the traveling situation identification image in step S24, the process proceeds to step S25.

ステップＳ２５において、制御画像生成部１０５は、車両２０の周囲の撮像画像上に、ステップＳ２１で生成した進路予測線と、ステップＳ２３またはステップＳ２４で生成した走行状況識別画像とを重畳して、これらを合成した制御画像を生成する。このとき制御画像生成部１０５は、ステップＳ４で撮像画像取得部１０４が取得した撮像画像、またはステップＳ５で撮像画像取得部１０４が複数の撮像画像を合成して生成した合成画像を対象として、その上に進路予測線および走行状況識別画像を重畳する。また、図９〜図１６で例示したように、複数の進路予測線を重畳し、その間の領域に走行状況識別画像を重畳することが好ましい。車両２０の周囲の撮像画像上に進路予測線および走行状況識別画像を重畳することで制御画像を合成できたら、制御画像生成部１０５は、合成した制御画像に基づく制御画像データＤ１０４を生成し、表示制御部１０６を介して表示部２３へ供給する。これにより、表示部２３において、車両２０の周囲の撮像画像上に進路予測線と走行状況識別画像が重畳された制御画像が表示され、車両２０の走行状況に関する乗員への情報提供が行われる。ステップＳ２５で制御画像を表示したら、図１７のステップＳ１に戻って前述の処理を繰り返す。 In step S25, the control image generation unit 105 superimposes the course prediction line generated in step S21 and the traveling situation identification image generated in step S23 or step S24 on the captured image around the vehicle 20 to obtain these. Generate a controlled image that combines the above. At this time, the control image generation unit 105 targets the captured image acquired by the captured image acquisition unit 104 in step S4, or the composite image generated by synthesizing a plurality of captured images by the captured image acquisition unit 104 in step S5. The course prediction line and the driving situation identification image are superimposed on the top. Further, as illustrated in FIGS. 9 to 16, it is preferable to superimpose a plurality of course prediction lines and superimpose a traveling situation identification image on a region between them. If the control image can be synthesized by superimposing the course prediction line and the traveling situation identification image on the captured image around the vehicle 20, the control image generation unit 105 generates the control image data D104 based on the synthesized control image. It is supplied to the display unit 23 via the display control unit 106. As a result, the display unit 23 displays a control image in which the course prediction line and the traveling condition identification image are superimposed on the captured image around the vehicle 20, and provides information to the occupants regarding the traveling condition of the vehicle 20. After displaying the control image in step S25, the process returns to step S1 of FIG. 17 and the above-described processing is repeated.

図１９のステップＳ３１において、空間認識部１０７は、撮像画像データＤ２５や測距データＤ２６に基づいて、車両２０の周囲に存在する障害物の有無を判定する。障害物があると判定した場合はステップＳ３２へ進み、ないと判定した場合はステップＳ３６へ進む。 In step S31 of FIG. 19, the space recognition unit 107 determines the presence or absence of obstacles existing around the vehicle 20 based on the captured image data D25 and the distance measurement data D26. If it is determined that there is an obstacle, the process proceeds to step S32, and if it is determined that there is no obstacle, the process proceeds to step S36.

ステップＳ３２において、空間認識部１０７は、ステップＳ３１で車両２０の周囲に存在すると判定した障害物に対して、車両２０との衝突予測を行う。ここでは空間認識部１０７は、測距データＤ２６が示す車両２０から障害物までの距離と、車速データＤ２７が示す車両２０の車速とに基づいて、車両２０が障害物と衝突する可能性の有無と判断する。その結果、衝突の可能性があると判断した場合はステップＳ３３へ進み、ないと判断した場合はステップＳ３５へ進む。 In step S32, the space recognition unit 107 predicts a collision with the vehicle 20 with respect to an obstacle determined to exist around the vehicle 20 in step S31. Here, the space recognition unit 107 has a possibility that the vehicle 20 collides with an obstacle based on the distance from the vehicle 20 to the obstacle indicated by the distance measurement data D26 and the vehicle speed of the vehicle 20 indicated by the vehicle speed data D27. Judge. As a result, if it is determined that there is a possibility of collision, the process proceeds to step S33, and if it is determined that there is no possibility of collision, the process proceeds to step S35.

ステップＳ３３において、状態管理部１０１は、車両２０の走行制御状態を「自動」に設定する。続くステップＳ３４において、状態管理部１０１は、障害物との衝突が予測される車両２０の現在位置に基づいて、経路に関する設定データを更新する。これにより、車両２０が障害物に衝突すると予測される場合には、次回の処理において経路生成部１０２が更新後の設定データに基づいてステップＳ２の処理を行うことで、障害物を回避する予定走行経路が再設定されるようにする。ステップＳ３４を実行したら、図１８のステップＳ２１へ進む。 In step S33, the state management unit 101 sets the travel control state of the vehicle 20 to "automatic". In the following step S34, the state management unit 101 updates the setting data regarding the route based on the current position of the vehicle 20 in which the collision with the obstacle is predicted. As a result, when it is predicted that the vehicle 20 will collide with an obstacle, the route generation unit 102 will perform the process of step S2 based on the updated setting data in the next process to avoid the obstacle. Make sure that the travel route is reset. After executing step S34, the process proceeds to step S21 of FIG.

ステップＳ３５において、状態管理部１０１は、車両２０の走行制御状態を「自動」に設定する。ステップＳ３５を実行したら、図１８のステップＳ２１へ進む。 In step S35, the state management unit 101 sets the travel control state of the vehicle 20 to "automatic". After executing step S35, the process proceeds to step S21 of FIG.

ステップＳ３６において、状態管理部１０１は、乗員が車両２０に対してオーバーライド操作を行ったか否かを判定するオーバーライド判定を行う。ここでは状態管理部１０１は、車両制御ＥＣＵ２１から入力された加減速量データＤ２１および操舵量データＤ２２と、ステップＳ３で経路解析部１０３から入力された走行計画データＤ１０３とを比較し、車両２０の乗員が設定された目標加減速量や目標操舵量とは異なる運転操作を行ったか否かを判断する。その結果、乗員が目標加減速量や目標操舵量とは異なる運転操作を行ったと判断した場合には、自動運転をキャンセルするオーバーライド操作が行われたと判定してステップＳ３７へ進み、そうでない場合はオーバーライド操作が行われていないと判定してステップＳ３８へ進む。 In step S36, the state management unit 101 makes an override determination for determining whether or not the occupant has performed an override operation on the vehicle 20. Here, the state management unit 101 compares the acceleration / deceleration amount data D21 and the steering amount data D22 input from the vehicle control ECU 21 with the travel plan data D103 input from the route analysis unit 103 in step S3, and compares the travel plan data D103 of the vehicle 20. It is determined whether or not the occupant has performed a driving operation different from the set target acceleration / deceleration amount and target steering amount. As a result, if it is determined that the occupant has performed a driving operation different from the target acceleration / deceleration amount or the target steering amount, it is determined that an override operation for canceling the automatic driving has been performed, and the process proceeds to step S37. It is determined that the override operation has not been performed, and the process proceeds to step S38.

ステップＳ３７において、状態管理部１０１は、車両２０の走行制御状態を「手動」に設定する。すなわち、乗員がオーバーライド操作を行った場合には、車両２０の走行制御状態を「手動」に設定することで自動運転をキャンセルする。ステップＳ３７を実行したら、図１８のステップＳ２１へ進む。 In step S37, the state management unit 101 sets the travel control state of the vehicle 20 to "manual". That is, when the occupant performs the override operation, the automatic driving is canceled by setting the traveling control state of the vehicle 20 to "manual". After executing step S37, the process proceeds to step S21 of FIG.

ステップＳ３８において、状態管理部１０１は、車両２０の走行制御状態を「自動」に設定する。ステップＳ３８を実行したら、図１８のステップＳ２１へ進む。 In step S38, the state management unit 101 sets the travel control state of the vehicle 20 to "automatic". After executing step S38, the process proceeds to step S21 of FIG.

以上説明した本発明の実施形態によれば、以下の作用効果を奏する。 According to the embodiment of the present invention described above, the following effects are exhibited.

（１）車両制御装置１０は、車両２０に搭載されて車両２０の乗員への情報提供を行う装置である。車両制御装置１０は、車両２０に搭載された撮像部２５から車両２０の周囲の撮像画像を取得する撮像画像取得部１０４と、撮像画像取得部１０４が取得した撮像画像に、車両２０の操舵状態に基づく車両２０の進路予測線と、車両２０の加減速状態を示す走行状況識別画像と、を重畳した制御画像を生成する制御画像生成部１０５と、制御画像生成部１０５が生成した制御画像を、車両２０に搭載された表示部２３に表示させる表示制御部１０６とを備える。このようにしたので、車両２０が予定走行経路を走行できない場合であっても、車両２０を走行させる際の加速状態や減速状態を車両２０の乗員であるユーザに通知することができる。 (1) The vehicle control device 10 is a device mounted on the vehicle 20 and providing information to the occupants of the vehicle 20. The vehicle control device 10 sets the steering state of the vehicle 20 on the captured image acquisition unit 104 that acquires the captured image of the surroundings of the vehicle 20 from the image capturing unit 25 mounted on the vehicle 20 and the captured image acquired by the captured image acquisition unit 104. A control image generation unit 105 that generates a control image in which a course prediction line of the vehicle 20 based on the above and a traveling state identification image showing an acceleration / deceleration state of the vehicle 20 are superimposed, and a control image generated by the control image generation unit 105. , A display control unit 106 to be displayed on the display unit 23 mounted on the vehicle 20 is provided. As a result, even when the vehicle 20 cannot travel on the planned traveling route, it is possible to notify the user who is an occupant of the vehicle 20 of the acceleration state and the deceleration state when the vehicle 20 is traveling.

（２）車両制御装置１０は、車両２０が走行すべき予定走行経路を設定する経路生成部１０２と、車両２０が予定走行経路を走行する際の目標加減速量を設定する経路解析部１０３とをさらに備える。制御画像生成部１０５は、経路解析部１０３が設定した目標加減速量に基づいて走行状況識別画像を生成する。このようにしたので、車両２０が自動運転により走行しているときの加速状態や減速状態を、車両２０の乗員であるユーザに通知することができる。 (2) The vehicle control device 10 includes a route generation unit 102 that sets a planned travel route on which the vehicle 20 should travel, and a route analysis unit 103 that sets a target acceleration / deceleration amount when the vehicle 20 travels on the planned travel route. Further prepare. The control image generation unit 105 generates a traveling situation identification image based on the target acceleration / deceleration amount set by the route analysis unit 103. As a result, it is possible to notify the user who is an occupant of the vehicle 20 of the acceleration state and the deceleration state when the vehicle 20 is traveling by automatic driving.

（３）また、制御画像生成部１０５は、車両２０のアクセル操作状態およびブレーキ操作状態に基づいて走行状況識別画像を生成することもできる。このようにしたので、車両２０が手動運転により走行しているときの加速状態や減速状態を、車両２０の乗員であるユーザに通知することができる。 (3) Further, the control image generation unit 105 can also generate a traveling situation identification image based on the accelerator operation state and the brake operation state of the vehicle 20. Since this is done, it is possible to notify the user who is an occupant of the vehicle 20 of the acceleration state and the deceleration state when the vehicle 20 is traveling by manual driving.

（４）車両制御装置１０は、車両２０が走行すべき予定走行経路を設定する経路生成部１０２と、車両２０が予定走行経路を走行する際の目標加減速量および目標操舵量を設定し、目標加減速量および目標操舵量に基づく走行計画を策定する経路解析部１０３とを備える。車両２０は、経路解析部１０３が策定した走行計画を示す走行計画データＤ１０３に基づいて車両２０の自動運転を実施する車両制御ＥＣＵ２１を搭載している。制御画像生成部１０５は、車両制御ＥＣＵ２１が車両２０の自動運転を実施可能な場合には（ステップＳ２２：Ｔｒｕｅ）、目標加減速量に基づいて走行状況識別画像を生成し（ステップＳ２３）、車両制御ＥＣＵが車両２０の自動運転を実施できない場合には（ステップＳ２２：Ｆａｌｓｅ）、車両２０のアクセル操作状態およびブレーキ操作状態に基づいて走行状況識別画像を生成する（ステップＳ２４）。このようにしたので、車両２０の自動運転の実施状況に応じて適切な方法で、車両２０の加速状態や減速状態を示す走行状況識別画像を生成することができる。 (4) The vehicle control device 10 sets a route generation unit 102 that sets a planned travel route on which the vehicle 20 should travel, and a target acceleration / deceleration amount and a target steering amount when the vehicle 20 travels on the planned travel route. It is provided with a route analysis unit 103 that formulates a travel plan based on a target acceleration / deceleration amount and a target steering amount. The vehicle 20 is equipped with a vehicle control ECU 21 that automatically drives the vehicle 20 based on the travel plan data D103 indicating the travel plan formulated by the route analysis unit 103. When the vehicle control ECU 21 can automatically drive the vehicle 20 (step S22: True), the control image generation unit 105 generates a traveling situation identification image based on the target acceleration / deceleration amount (step S23), and the vehicle When the control ECU cannot automatically drive the vehicle 20 (step S22: False), a traveling state identification image is generated based on the accelerator operation state and the brake operation state of the vehicle 20 (step S24). Since this is done, it is possible to generate a traveling condition identification image showing the acceleration state and the deceleration state of the vehicle 20 by an appropriate method according to the implementation status of the automatic driving of the vehicle 20.

（５）車両制御装置１０は、車両制御ＥＣＵ２１による車両２０の走行制御状態を自動または手動のいずれかに設定する状態管理部１０１をさらに備える。制御画像生成部１０５は、状態管理部１０１が車両２０の走行制御状態を自動に設定した場合には（ステップＳ２２：Ｔｒｕｅ）、目標加減速量に基づいて走行状況識別画像を生成し（ステップＳ２３）、状態管理部１０１が車両２０の走行制御状態を手動に設定した場合には（ステップＳ２２：Ｆａｌｓｅ）、車両２０のアクセル操作状態およびブレーキ操作状態に基づいて走行状況識別画像を生成する（ステップＳ２４）。このようにしたので、車両２０の自動運転の実施状況を正確に判断し、適切な方法で車両２０の加速状態や減速状態を示す走行状況識別画像を生成することができる。 (5) The vehicle control device 10 further includes a state management unit 101 that sets the traveling control state of the vehicle 20 by the vehicle control ECU 21 to either automatic or manual. When the state management unit 101 automatically sets the travel control state of the vehicle 20 (step S22: True), the control image generation unit 105 generates a travel status identification image based on the target acceleration / deceleration amount (step S23). ), When the state management unit 101 manually sets the travel control state of the vehicle 20 (step S22: False), a travel status identification image is generated based on the accelerator operation state and the brake operation state of the vehicle 20 (step). S24). Since this is done, it is possible to accurately determine the implementation status of the automatic driving of the vehicle 20 and generate a traveling status identification image showing the acceleration state and the deceleration state of the vehicle 20 by an appropriate method.

（６）状態管理部１０１は、経路生成部１０２が予定走行経路を設定したか否かを判定し、予定走行経路を設定していないと判定した場合に（ステップＳ８：Ｆａｌｓｅ）、車両２０の走行制御状態を手動に設定する（ステップＳ９）。また、乗員が車両２０に対してオーバーライド操作を行ったか否かを判定し、オーバーライド操作を行ったと判定した場合に（ステップＳ３６：Ｔｒｕｅ）、車両２０の走行制御状態を手動に設定する（ステップＳ３７）。このようにしたので、車両２０が自動運転を実施できない状況のときには、これを正確に判断して自動運転から手動運転へと切り替えることができる。 (6) The state management unit 101 determines whether or not the route generation unit 102 has set the planned travel route, and when it is determined that the planned travel route has not been set (step S8: False), the vehicle 20 The travel control state is set to manual (step S9). Further, it is determined whether or not the occupant has performed the override operation on the vehicle 20, and when it is determined that the override operation has been performed (step S36: True), the traveling control state of the vehicle 20 is set to manual (step S37). ). Since this is done, when the vehicle 20 cannot perform automatic driving, it is possible to accurately determine this and switch from automatic driving to manual driving.

（７）経路生成部１０２は、車両２０が予定走行経路を逸脱した場合に（ステップＳ１０：Ｔｒｕｅ）、予定走行経路を再設定する（ステップＳ１２、Ｓ２）。また、車両制御装置１０は、車両２０の周囲に存在する障害物を認識し、車両２０が予定走行経路を走行する際に障害物に衝突するか否かを予測する空間認識部１０７をさらに備えており、経路生成部１０２は、車両２０が障害物に衝突すると空間認識部１０７が予測した場合に（ステップＳ３２：Ｔｒｕｅ）、予定走行経路を再設定する（ステップＳ３４、Ｓ２）。このようにしたので、車両２０が設定された予測走行経路を走行できない状況のときには、これを正確に判断して新たな予測走行経路を再設定することができる。 (7) When the vehicle 20 deviates from the planned travel route (step S10: True), the route generation unit 102 resets the planned travel route (steps S12 and S2). Further, the vehicle control device 10 further includes a space recognition unit 107 that recognizes obstacles existing around the vehicle 20 and predicts whether or not the vehicle 20 collides with an obstacle when traveling on a planned traveling route. When the space recognition unit 107 predicts that the vehicle 20 will collide with an obstacle (step S32: True), the route generation unit 102 resets the planned travel route (steps S34 and S2). As a result, when the vehicle 20 cannot travel on the set predicted traveling route, it can be accurately determined and a new predicted traveling route can be reset.

（８）制御画像生成部１０５は、撮像画像に進路予測線を複数重畳し、複数の進路予測線の間に走行状況識別画像を重畳して制御画像を生成する。このようにしたので、車両２０の加速状態や減速状態をユーザに分かりやすく提示することができる。 (8) The control image generation unit 105 generates a control image by superimposing a plurality of course prediction lines on the captured image and superimposing a traveling situation identification image between the plurality of course prediction lines. Since this is done, the acceleration state and deceleration state of the vehicle 20 can be presented to the user in an easy-to-understand manner.

（９）制御画像生成部１０５は、走行状況識別画像において、車両２０の加速状態を示す部分の表示形態と、車両２０の減速状態を示す部分の表示形態とを、互いに異ならせる。このようにしたので、車両２０の加速状態と減速状態とを互いに区別して、それぞれをユーザに分かりやすく提示することができる。 (9) The control image generation unit 105 makes the display form of the portion indicating the acceleration state of the vehicle 20 and the display form of the portion indicating the deceleration state of the vehicle 20 different from each other in the traveling situation identification image. Since this is done, the acceleration state and the deceleration state of the vehicle 20 can be distinguished from each other and each can be presented to the user in an easy-to-understand manner.

以上説明した実施形態や各種変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 The embodiments and various modifications described above are merely examples, and the present invention is not limited to these contents as long as the features of the invention are not impaired. Moreover, although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention.

１：車両制御システム、１０：車両制御装置、２０：車両、２１：車両制御ＥＣＵ、２３：表示部、２４：操作部、２５：撮像部、２６：測距センサ、２７：車速センサ、１０１：状態管理部、１０２：経路生成部、１０３：経路解析部、１０４：撮像画像取得部、１０５：制御画像生成部、１０６：表示制御部、１０７：空間認識部、２１１：アクセルＥＣＵ、２１２：ブレーキＥＣＵ、２１３：ステアリングＥＣＵ、Ｄ２１：加減速量データ、Ｄ２２：操舵量データ、Ｄ２４、操作データ、Ｄ２５：撮像画像データ、Ｄ２６：測距データ、Ｄ２７：車速データ、Ｄ１０１：経路生成要求データ、Ｄ１０２：走行経路データ、Ｄ１０３：走行計画データ、Ｄ１０４：制御画像データ、Ｄ１０５：障害物検出データ 1: Vehicle control system, 10: Vehicle control device, 20: Vehicle, 21: Vehicle control ECU, 23: Display unit, 24: Operation unit, 25: Imaging unit, 26: Distance measurement sensor, 27: Vehicle speed sensor, 101: State management unit, 102: Route generation unit, 103: Route analysis unit, 104: Captured image acquisition unit, 105: Control image generation unit, 106: Display control unit, 107: Spatial recognition unit, 211: Accelerator ECU, 212: Brake ECU, 213: Steering ECU, D21: Acceleration / deceleration amount data, D22: Steering amount data, D24, Operation data, D25: Captured image data, D26: Distance measurement data, D27: Vehicle speed data, D101: Route generation request data, D102 : Travel route data, D103: Travel plan data, D104: Control image data, D105: Obstacle detection data

Claims (11)

車両に搭載されて前記車両の乗員への情報提供を行う装置であって、
前記車両に搭載された撮像部から前記車両の周囲の撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部が取得した前記撮像画像に、前記車両の操舵状態に基づく前記車両の進路予測線と、前記車両の加減速状態を示す走行状況識別画像と、を重畳した制御画像を生成する制御画像生成部と、
前記制御画像生成部が生成した前記制御画像を、前記車両に搭載された表示部に表示させる表示制御部と、を備える車両用情報提供装置。 A device that is mounted on a vehicle and provides information to the occupants of the vehicle.
An image acquisition unit that acquires an image of the surroundings of the vehicle from an image pickup unit mounted on the vehicle, and an image acquisition unit.
A control image is generated by superimposing the course prediction line of the vehicle based on the steering state of the vehicle and the traveling condition identification image showing the acceleration / deceleration state of the vehicle on the captured image acquired by the captured image acquisition unit. Control image generator and
A vehicle information providing device including a display control unit that displays the control image generated by the control image generation unit on a display unit mounted on the vehicle. 請求項１に記載の車両用情報提供装置において、
前記車両が走行すべき予定走行経路を設定する経路生成部と、
前記車両が前記予定走行経路を走行する際の目標加減速量を設定する経路解析部と、をさらに備え、
前記制御画像生成部は、前記経路解析部が設定した前記目標加減速量に基づいて前記走行状況識別画像を生成する車両用情報提供装置。 In the vehicle information providing device according to claim 1,
A route generation unit that sets a planned travel route for the vehicle to travel, and
A route analysis unit for setting a target acceleration / deceleration amount when the vehicle travels on the planned travel route is further provided.
The control image generation unit is a vehicle information providing device that generates the traveling situation identification image based on the target acceleration / deceleration amount set by the route analysis unit. 請求項１に記載の車両用情報提供装置において、
前記制御画像生成部は、前記車両のアクセル操作状態およびブレーキ操作状態に基づいて前記走行状況識別画像を生成する車両用情報提供装置。 In the vehicle information providing device according to claim 1,
The control image generation unit is a vehicle information providing device that generates the traveling situation identification image based on the accelerator operation state and the brake operation state of the vehicle. 請求項１に記載の車両用情報提供装置において、
前記車両が走行すべき予定走行経路を設定する経路生成部と、
前記車両が前記予定走行経路を走行する際の目標加減速量および目標操舵量を設定し、前記目標加減速量および前記目標操舵量に基づく走行計画を策定する経路解析部と、をさらに備え、
前記車両は、前記経路解析部が策定した前記走行計画に基づいて前記車両の自動運転を実施する車両制御装置を搭載しており、
前記制御画像生成部は、前記車両制御装置が前記車両の自動運転を実施可能な場合には、前記目標加減速量に基づいて前記走行状況識別画像を生成し、前記車両制御装置が前記車両の自動運転を実施できない場合には、前記車両のアクセル操作状態およびブレーキ操作状態に基づいて前記走行状況識別画像を生成する車両用情報提供装置。 In the vehicle information providing device according to claim 1,
A route generation unit that sets a planned travel route for the vehicle to travel, and
Further provided with a route analysis unit that sets a target acceleration / deceleration amount and a target steering amount when the vehicle travels on the planned travel route, and formulates a travel plan based on the target acceleration / deceleration amount and the target steering amount.
The vehicle is equipped with a vehicle control device that automatically drives the vehicle based on the travel plan formulated by the route analysis unit.
When the vehicle control device can automatically drive the vehicle, the control image generation unit generates the traveling situation identification image based on the target acceleration / deceleration amount, and the vehicle control device generates the vehicle. A vehicle information providing device that generates a traveling situation identification image based on an accelerator operating state and a braking operating state of the vehicle when automatic driving cannot be performed. 請求項４に記載の車両用情報提供装置において、
前記車両制御装置による前記車両の走行制御状態を自動または手動のいずれかに設定する状態管理部をさらに備え、
前記制御画像生成部は、前記状態管理部が前記車両の走行制御状態を自動に設定した場合には、前記目標加減速量に基づいて前記走行状況識別画像を生成し、前記状態管理部が前記車両の走行制御状態を手動に設定した場合には、前記車両のアクセル操作状態およびブレーキ操作状態に基づいて前記走行状況識別画像を生成する車両用情報提供装置。 In the vehicle information providing device according to claim 4.
Further, a state management unit for setting the traveling control state of the vehicle by the vehicle control device to either automatic or manual is provided.
When the state management unit automatically sets the travel control state of the vehicle, the control image generation unit generates the travel condition identification image based on the target acceleration / deceleration amount, and the state management unit generates the travel condition identification image. A vehicle information providing device that generates a traveling state identification image based on the accelerator operating state and the braking operating state of the vehicle when the traveling control state of the vehicle is set to manual. 請求項５に記載の車両用情報提供装置において、
前記状態管理部は、前記経路生成部が前記予定走行経路を設定したか否かを判定し、前記予定走行経路を設定していないと判定した場合に、前記車両の走行制御状態を手動に設定する車両用情報提供装置。 In the vehicle information providing device according to claim 5.
The state management unit determines whether or not the route generation unit has set the planned travel route, and when it is determined that the planned travel route has not been set, the state management unit manually sets the travel control state of the vehicle. Information providing device for vehicles. 請求項５に記載の車両用情報提供装置において、
前記状態管理部は、前記乗員が前記車両に対してオーバーライド操作を行ったか否かを判定し、前記オーバーライド操作を行ったと判定した場合に、前記車両の走行制御状態を手動に設定する車両用情報提供装置。 In the vehicle information providing device according to claim 5.
The state management unit determines whether or not the occupant has performed an override operation on the vehicle, and when it is determined that the override operation has been performed, the vehicle information for manually setting the traveling control state of the vehicle. Providing equipment. 請求項２または４に記載の車両用情報提供装置において、
前記経路生成部は、前記車両が前記予定走行経路を逸脱した場合に、前記予定走行経路を再設定する車両用情報提供装置。 In the vehicle information providing device according to claim 2 or 4.
The route generation unit is a vehicle information providing device that resets the planned travel route when the vehicle deviates from the planned travel route. 請求項２または４に記載の車両用情報提供装置において、
前記車両の周囲に存在する障害物を認識し、前記車両が前記予定走行経路を走行する際に前記障害物に衝突するか否かを予測する空間認識部をさらに備え、
前記経路生成部は、前記車両が前記障害物に衝突すると前記空間認識部が予測した場合に、前記予定走行経路を再設定する車両用情報提供装置。 In the vehicle information providing device according to claim 2 or 4.
Further provided with a space recognition unit that recognizes obstacles existing around the vehicle and predicts whether or not the vehicle will collide with the obstacle when traveling on the planned traveling route.
The route generation unit is a vehicle information providing device that resets the planned traveling route when the space recognition unit predicts that the vehicle will collide with the obstacle. 請求項１に記載の車両用情報提供装置において、
前記制御画像生成部は、前記撮像画像に前記進路予測線を複数重畳し、複数の前記進路予測線の間に前記走行状況識別画像を重畳して前記制御画像を生成する車両用情報提供装置。 In the vehicle information providing device according to claim 1,
The control image generation unit is a vehicle information providing device that generates the control image by superimposing a plurality of the course prediction lines on the captured image and superimposing the traveling situation identification image between the plurality of course prediction lines. 請求項１に記載の車両用情報提供装置において、
前記制御画像生成部は、前記走行状況識別画像において、前記車両の加速状態を示す部分の表示形態と、前記車両の減速状態を示す部分の表示形態とを、互いに異ならせる車両用情報提供装置。 In the vehicle information providing device according to claim 1,
The control image generation unit is a vehicle information providing device that makes the display form of a portion indicating the acceleration state of the vehicle and the display form of the portion indicating the deceleration state of the vehicle different from each other in the traveling situation identification image.
JP2018061841A 2018-03-28 2018-03-28 Information providing device for vehicle Pending JP2021098378A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018061841A JP2021098378A (en) 2018-03-28 2018-03-28 Information providing device for vehicle
PCT/JP2019/005496 WO2019187749A1 (en) 2018-03-28 2019-02-15 Vehicle information providing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018061841A JP2021098378A (en) 2018-03-28 2018-03-28 Information providing device for vehicle

Publications (1)

Publication Number Publication Date
JP2021098378A true JP2021098378A (en) 2021-07-01

Family

ID=68058028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018061841A Pending JP2021098378A (en) 2018-03-28 2018-03-28 Information providing device for vehicle

Country Status (2)

Country Link
JP (1) JP2021098378A (en)
WO (1) WO2019187749A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456329B2 (en) * 2020-08-21 2024-03-27 株式会社デンソー Vehicle display control device, vehicle display control system, and vehicle display control method
WO2023152818A1 (en) * 2022-02-09 2023-08-17 日産自動車株式会社 Information processing device and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4962176B2 (en) * 2007-07-09 2012-06-27 トヨタ自動車株式会社 Traveling track display device
JP5124351B2 (en) * 2008-06-04 2013-01-23 三洋電機株式会社 Vehicle operation system
CN105612403B (en) * 2013-08-29 2019-05-07 日产自动车株式会社 Drive guiding device for vehicle and method
JP6303419B2 (en) * 2013-11-13 2018-04-04 日産自動車株式会社 Vehicle travel guidance device and vehicle travel guidance method
WO2017168517A1 (en) * 2016-03-28 2017-10-05 本田技研工業株式会社 Vehicle control system, vehicle control method, and vehicle control program
US10921144B2 (en) * 2016-03-29 2021-02-16 Pioneer Corporation Navigation apparatus
JP6354085B2 (en) * 2016-05-20 2018-07-11 本田技研工業株式会社 Vehicle control system, vehicle control method, and vehicle control program

Also Published As

Publication number Publication date
WO2019187749A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
JP6806156B2 (en) Peripheral monitoring device
CA3069114C (en) Parking assistance method and parking assistance device
JP5636609B2 (en) Vehicle periphery display device
WO2011089812A1 (en) Vehicle periphery monitoring device
US10773714B2 (en) Parking control method and parking control apparatus
JP4623396B2 (en) Vehicle periphery display device
JP6801786B2 (en) Parking support method and parking support device
JP2008044529A (en) Parking assistance device, automobile, and parking assistance method
JP2017159687A (en) Parking region display system and automatic parking system using the same
JP2014065342A (en) Parking support device, control method, and program
WO2019187749A1 (en) Vehicle information providing apparatus
JP7283514B2 (en) display controller
CN110877575A (en) Periphery monitoring device
JP6910254B2 (en) Driving support display method and driving support display device
JP7065068B2 (en) Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method and program
JP6747019B2 (en) Vehicle display method and vehicle display device
JP7121120B2 (en) vehicle controller
WO2020148957A1 (en) Vehicle control device and method
JP2017182429A (en) Vehicular display method and vehicular display apparatus
JP7130923B2 (en) display controller
JP6172059B2 (en) Display control device for vehicle
JP7314514B2 (en) display controller