JP2022049711A - Vehicular control device and method - Google Patents

Vehicular control device and method Download PDF

Info

Publication number
JP2022049711A
JP2022049711A JP2019004328A JP2019004328A JP2022049711A JP 2022049711 A JP2022049711 A JP 2022049711A JP 2019004328 A JP2019004328 A JP 2019004328A JP 2019004328 A JP2019004328 A JP 2019004328A JP 2022049711 A JP2022049711 A JP 2022049711A
Authority
JP
Japan
Prior art keywords
viewpoint
vehicle
control device
vehicle control
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019004328A
Other languages
Japanese (ja)
Inventor
克哉 松雪
Katsuya Matsuyuki
宗俊 柘植
Munetoshi Tsuge
智 大久保
Satoru Okubo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2019004328A priority Critical patent/JP2022049711A/en
Priority to PCT/JP2019/040808 priority patent/WO2020148957A1/en
Publication of JP2022049711A publication Critical patent/JP2022049711A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

To provide a vehicular control device and the like that enable users to intuitively follow changes in display due to switching viewpoints.SOLUTION: A memory is configured to store a plurality of icons of an own vehicle according to a plurality of viewpoints. A vehicular control unit 10 is configured to synthesize a three-dimensional image on the basis of a current virtual viewpoint (a first viewpoint) from images around the own vehicle to be taken respectively by a plurality of cameras 23F to 23B. When switching from the current virtual viewpoint to a virtual viewpoint to be displayed next (a second viewpoint), the vehicular control unit 10 is configured to generate a rotation animation of the own vehicle from the plurality of icons based on a viewpoint ranging from the current virtual viewpoint to the virtual viewpoint to be displayed next during a period of synthesizing the three-dimensional image based on the virtual viewpoint to be displayed next from the images around the own vehicle to be taken respectively by the plurality of cameras 23F to 23B, and cause an image having the rotation animation of the own vehicle synthesized with a black image to be displayed on a display part 22.SELECTED DRAWING: Figure 2

Description

本発明は、車両制御装置及び方法に関する。 The present invention relates to a vehicle control device and a method.

従来、車両の前方、後方および左右方向の全ての領域を例えば４台のカメラで撮影し、得られた原画像を合成して、俯瞰映像に加工することで、車両周辺の様子を認識できるようにした車両周辺監視システムが提案されている。 Conventionally, all areas in the front, rear, and left-right directions of the vehicle are photographed with, for example, four cameras, and the obtained original images are combined and processed into a bird's-eye view image so that the state around the vehicle can be recognized. A vehicle peripheral monitoring system has been proposed.

車両周辺監視システムでは、車両の外側から自車両の前方、右斜め前方、右側方など、特定の視点（固定仮想視点）から自車両を眺めた映像を表示し、その視点を切り替えることで乗員は車両周辺の状況を確認することに利用されている（例えば、特許文献１参照）。 The vehicle peripheral monitoring system displays an image of the vehicle viewed from a specific viewpoint (fixed virtual viewpoint) such as the front of the vehicle, diagonally to the right, and the right side from the outside of the vehicle, and the occupants can switch the viewpoint. It is used to check the situation around the vehicle (see, for example, Patent Document 1).

特開2016-208368号公報Japanese Unexamined Patent Publication No. 2016-208368

複数のカメラで撮影した映像を合成して表示する場合、映像の合成に時間が掛かり、合成途中の映像を表示すると乗員は画面がちらついて見えてしまう。 When synthesizing and displaying images taken by multiple cameras, it takes time to synthesize the images, and when displaying the images in the middle of synthesizing, the occupant will see the screen flickering.

この対応として、合成途中の映像を黒画などでマスクすることで途中の映像を見せないようにするが、黒画を挟むことにより、映像の連続性が途切れ、表示された固定仮想視点の向きを瞬時に判断できない課題がある。 As a countermeasure, the image in the middle of composition is masked with a black image so that the image in the middle is not shown, but the continuity of the image is interrupted by sandwiching the black image, and the orientation of the displayed fixed virtual viewpoint. There is a problem that cannot be judged instantly.

本発明の目的は、視点の切り替えによる表示の変化にユーザが直感的に追従することができる車両制御装置及び方法を提供することにある。 An object of the present invention is to provide a vehicle control device and a method capable of intuitively following a change in display due to switching of viewpoints by a user.

上記目的を達成するために、本発明は、複数の視点による自車の複数のアイコンを記憶するメモリと、複数のカメラによってそれぞれ撮像される前記自車の周りの画像から第１の視点による３次元画像を合成するプロセッサと、を備え、前記プロセッサは、前記第１の視点から第２の視点へ切り替える場合、複数の前記カメラによってそれぞれ撮像される前記自車の周りの画像から前記第２の視点による３次元画像を合成する期間に、前記第１の視点から前記第２の視点までの範囲の視点による自車の複数の前記アイコンから前記自車の回転アニメーションを生成し、前記自車の前記回転アニメーションと黒画を合成した画像をディスプレイに表示させる。 In order to achieve the above object, the present invention has a memory for storing a plurality of icons of the own vehicle from a plurality of viewpoints, and a first viewpoint from images around the own vehicle captured by a plurality of cameras. The processor comprises a processor for synthesizing a dimensional image, and when the processor switches from the first viewpoint to the second viewpoint, the second viewpoint is taken from the images around the own vehicle captured by the plurality of cameras. During the period of synthesizing the three-dimensional image from the viewpoint, the rotation animation of the own vehicle is generated from the plurality of icons of the own vehicle from the viewpoint in the range from the first viewpoint to the second viewpoint, and the rotation animation of the own vehicle is generated. An image in which the rotation animation and the black image are combined is displayed on the display.

本発明によれば、視点の切り替えによる表示の変化にユーザが直感的に追従することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, the user can intuitively follow the change in the display due to the switching of the viewpoint. Issues, configurations and effects other than those described above will be clarified by the following description of the embodiments.

一実施形態の車両周辺監視システム（車両制御システム）の全体構成図である。It is an overall block diagram of the vehicle peripheral monitoring system (vehicle control system) of one embodiment. 車両制御装置を搭載した車両の概略構成図である。It is a schematic block diagram of a vehicle equipped with a vehicle control device. 車両制御装置の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of a vehicle control device. 本発明を適用した車両周辺監視システムにおける一連の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a series of processing in the vehicle peripheral monitoring system to which this invention is applied. 本発明の実施形態に係る画像処理方法を示す説明図である。It is explanatory drawing which shows the image processing method which concerns on embodiment of this invention.

以下、本発明の車両制御装置の一実施形態について図面を参照して説明する。なお、本発明の実施形態は、車両に取り付けられた複数のカメラから取得した画像を用いて作成した俯瞰映像や３Ｄ映像を表示装置に表示し、車両乗員に車両周辺の状況を認識させる車両周辺監視システムおよび画像表示方法に関する。 Hereinafter, an embodiment of the vehicle control device of the present invention will be described with reference to the drawings. In the embodiment of the present invention, a bird's-eye view image or a 3D image created by using images acquired from a plurality of cameras mounted on the vehicle is displayed on a display device, and the vehicle occupants are made to recognize the situation around the vehicle. Regarding the monitoring system and image display method.

図１は、本発明の一実施形態の車両制御装置１０を含む車両制御システム１の全体構成図であり、図２は、車両制御装置１０を搭載した車両２０の概略構成図である。 FIG. 1 is an overall configuration diagram of a vehicle control system 1 including a vehicle control device 10 according to an embodiment of the present invention, and FIG. 2 is a schematic configuration diagram of a vehicle 20 equipped with the vehicle control device 10.

図１に示す車両制御システム１は、車両制御装置１０と、車両制御装置１０との間で各種情報をやり取りする車両制御ＥＣＵ２１、表示部２２、撮像部２３、操作部２４、測距センサ２５および車速センサ２６とを備える。車両制御ＥＣＵ２１は、アクセルＥＣＵ２１１、ブレーキＥＣＵ２１２およびステアリングＥＣＵ２１３を含む。 The vehicle control system 1 shown in FIG. 1 includes a vehicle control ECU 21, a display unit 22, an image pickup unit 23, an operation unit 24, a distance measuring sensor 25, and a vehicle control ECU 21, which exchanges various information between the vehicle control device 10 and the vehicle control device 10. It is equipped with a vehicle speed sensor 26. The vehicle control ECU 21 includes an accelerator ECU 211, a brake ECU 212, and a steering ECU 213.

なお、車両制御装置１０、表示部２２、撮像部２３、操作部２４、測距センサ２５および車速センサ２６は、車両周辺監視システムを構成する。車両周辺監視システムは、複数のカメラから取得した画像を用いて作成した俯瞰映像や３Ｄ映像を表示装置（ディスプレイ）に表示し、車両乗員に車両周辺の状況を認識させる。 The vehicle control device 10, the display unit 22, the imaging unit 23, the operation unit 24, the distance measuring sensor 25, and the vehicle speed sensor 26 constitute a vehicle peripheral monitoring system. The vehicle peripheral monitoring system displays a bird's-eye view image or a 3D image created by using images acquired from a plurality of cameras on a display device (display), and makes the vehicle occupants recognize the situation around the vehicle.

図１の車両制御システム１は、図２に示す車両２０に搭載されている。なお、以下の説明では、車両制御システム１を搭載した車両２０は、車両制御システム１が行う車両制御により、乗員の運転操作なしで走行する自動運転が可能であるものとする。 The vehicle control system 1 of FIG. 1 is mounted on the vehicle 20 shown in FIG. In the following description, it is assumed that the vehicle 20 equipped with the vehicle control system 1 can be automatically driven by the vehicle control performed by the vehicle control system 1 without any driving operation of an occupant.

撮像部２３は、車両２０の周囲を撮影して撮像画像を取得する。撮像部２３は、たとえば撮像素子を備えた電子式カメラにより構成される。撮像部２３が取得した撮像画像の情報は、撮像画像データＤ２３として車両制御装置１０に入力される。 The imaging unit 23 photographs the surroundings of the vehicle 20 to acquire an captured image. The image pickup unit 23 is composed of, for example, an electronic camera provided with an image pickup element. The information of the captured image acquired by the imaging unit 23 is input to the vehicle control device 10 as the captured image data D23.

測距センサ２５は、車両２０の周囲に存在する障害物を検出し、その障害物までの距離を測定するセンサである。測距センサ２５は、たとえばレーザーレーダやミリ波レーダを用いて構成される。測距センサ２５が測定した障害物までの距離の情報は、測距データＤ２５として車両制御装置１０に入力される。 The distance measuring sensor 25 is a sensor that detects an obstacle existing around the vehicle 20 and measures the distance to the obstacle. The range-finding sensor 25 is configured by using, for example, a laser radar or a millimeter-wave radar. The information on the distance to the obstacle measured by the distance measuring sensor 25 is input to the vehicle control device 10 as the distance measuring data D25.

車速センサ２６は、車両２０の走行速度を検出するセンサである。車速センサ２６は、たとえば車両２０の車輪の回転速度を検出する車輪速センサを用いて構成される。車速センサ２６が検出した車両２０の走行速度の情報は、車速データＤ２６として車両制御装置１０に入力される。 The vehicle speed sensor 26 is a sensor that detects the traveling speed of the vehicle 20. The vehicle speed sensor 26 is configured by using, for example, a wheel speed sensor that detects the rotational speed of the wheels of the vehicle 20. Information on the traveling speed of the vehicle 20 detected by the vehicle speed sensor 26 is input to the vehicle control device 10 as vehicle speed data D26.

表示部２２は、画像や映像を表示して車両２０の乗員に情報提供を行う部分であり、たとえば液晶ディスプレイを用いて構成される。表示部２２の表示内容は、車両制御装置１０から入力された制御画像データＤ１０５に基づき決定される。すなわち、車両制御装置１０は、表示部２２を介して車両２０の乗員への情報提供を行う車両用情報提供装置として機能する。 The display unit 22 is a part that displays an image or a video and provides information to the occupants of the vehicle 20, and is configured by using, for example, a liquid crystal display. The display content of the display unit 22 is determined based on the control image data D105 input from the vehicle control device 10. That is, the vehicle control device 10 functions as a vehicle information providing device that provides information to the occupants of the vehicle 20 via the display unit 22.

操作部２４は、車両２０の乗員による各種操作入力を受け付ける部分であり、たとえば操作ボタンや操作スイッチ等を用いて構成される。なお、表示部２２と操作部２４を組み合わせてタッチパネルとしてもよい。乗員が操作部２４を用いて行った操作内容の情報は、操作データＤ２４として車両制御装置１０に入力される。 The operation unit 24 is a part that receives various operation inputs by the occupants of the vehicle 20, and is configured by using, for example, operation buttons and operation switches. The display unit 22 and the operation unit 24 may be combined to form a touch panel. Information on the operation content performed by the occupant using the operation unit 24 is input to the vehicle control device 10 as operation data D24.

車両制御ＥＣＵ２１は、車両制御装置１０から入力される走行計画データＤ１０７に基づいて、車両２０を自動運転で走行させるための車両制御を行う。また、車両制御ＥＣＵ２１は、車両２０の走行状態を示す走行状態情報Ｄ２１を生成し、車両制御装置１０に出力する。 The vehicle control ECU 21 performs vehicle control for driving the vehicle 20 by automatic driving based on the travel plan data D107 input from the vehicle control device 10. Further, the vehicle control ECU 21 generates the traveling state information D21 indicating the traveling state of the vehicle 20 and outputs it to the vehicle control device 10.

車両制御ＥＣＵ２１から出力されて車両制御装置１０に入力される車両２０の走行状態の情報（走行状態情報Ｄ２１）には、車両２０の加減速状態を示す加減速量データと、車両２０の操舵状態を示す操舵量データとが含まれる。 The running state information (running state information D21) of the vehicle 20 output from the vehicle control ECU 21 and input to the vehicle control device 10 includes acceleration / deceleration amount data indicating the acceleration / deceleration state of the vehicle 20 and the steering state of the vehicle 20. The steering amount data indicating the above is included.

加減速量データは、車両２０の加減速制御を行うアクセルＥＣＵ２１１およびブレーキＥＣＵ２１２から出力され、操舵量データは、車両２０の操舵制御を行うステアリングＥＣＵ２１３から出力される。 The acceleration / deceleration amount data is output from the accelerator ECU 211 and the brake ECU 212 that control the acceleration / deceleration of the vehicle 20, and the steering amount data is output from the steering ECU 213 that controls the steering of the vehicle 20.

車両制御装置１０は、撮像部２３、操作部２４、測距センサ２５、車速センサ２６からそれぞれ入力された、撮像画像データＤ２３、操作データＤ２４、測距データＤ２５および車速データＤ２６や、車両制御ＥＣＵ２１から入力された走行状態データＤ２１に基づいて、車両２０の制御に関する様々な処理を実行する。 The vehicle control device 10 includes an image pickup image data D23, an operation data D24, a distance measurement data D25 and a vehicle speed data D26, and a vehicle control ECU 21 input from the image pickup unit 23, the operation unit 24, the distance measurement sensor 25, and the vehicle speed sensor 26, respectively. Based on the traveling state data D21 input from, various processes related to the control of the vehicle 20 are executed.

そして、車両制御装置１０は、走行計画データＤ１０７および出力映像データＤ１０５を生成し、車両制御ＥＣＵ２１と表示部２２にそれぞれ出力する。車両制御装置１０は、たとえばマイクロコンピュータやＦＰＧＡ（Field-Programmable Gate Array）を用いて構成される。 Then, the vehicle control device 10 generates the travel plan data D107 and the output video data D105, and outputs them to the vehicle control ECU 21 and the display unit 22, respectively. The vehicle control device 10 is configured by using, for example, a microcomputer or an FPGA (Field-Programmable Gate Array).

なお、マイクロコンピュータは、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、メモリ、入出力回路等のＩ／Ｆ（Interface）から構成される。メモリは、複数の視点による自車の複数のアイコンを記憶する。例えば、メモリは、少なくとも８方位の視点による自車のアイコンを記憶する。これにより、少ないメモリ使用量で自車を１回転（３６０度）する回転アニメーションを生成することができる。 The microcomputer is composed of, for example, a processor such as a CPU (Central Processing Unit), a memory, and an I / F (Interface) such as an input / output circuit. The memory stores a plurality of icons of the own vehicle from a plurality of viewpoints. For example, the memory stores the icon of the own vehicle from the viewpoints of at least eight directions. As a result, it is possible to generate a rotation animation in which the vehicle rotates once (360 degrees) with a small amount of memory.

図２は、本発明の一実施形態に係る車両制御システム１の車両２０への搭載例を示す図である。 FIG. 2 is a diagram showing an example of mounting the vehicle control system 1 according to the embodiment of the present invention on the vehicle 20.

図２に示すように、車両２０には、車両２０の前方を撮影するカメラ２３Ｆと、車両２０の左側方を撮影するカメラ２３Ｌと、車両２０の右側方を撮影するカメラ２３Ｒと、車両２０の後方を撮影するカメラ２３Ｂが取り付けられている。 As shown in FIG. 2, the vehicle 20 includes a camera 23F for photographing the front of the vehicle 20, a camera 23L for photographing the left side of the vehicle 20, a camera 23R for photographing the right side of the vehicle 20, and the vehicle 20. A camera 23B for photographing the rear is attached.

これらのカメラ２３Ｆ～２３Ｂにより、図１に示した撮像部２３が構成される。なお、カメラ２３Ｆ～２３Ｂの取付位置は、図２に示す位置に限定されない。また、図２に示す例では、カメラ２３Ｆ～２３Ｂをそれぞれ１つずつのカメラで構成しているが、２つのカメラを組み合わせた、いわゆるステレオカメラとしてもよい。 These cameras 23F to 23B constitute the image pickup unit 23 shown in FIG. The mounting positions of the cameras 23F to 23B are not limited to the positions shown in FIG. Further, in the example shown in FIG. 2, the cameras 23F to 23B are each composed of one camera, but a so-called stereo camera in which two cameras are combined may be used.

この場合、カメラ２３Ｆ～２３Ｂを測距センサ２５として用いることも可能である。さらに、図２に示す例では、４つのカメラ２３Ｆ～２３Ｂで撮像部２３を構成しているが、撮像部２３を構成するカメラの数はこれに限定されない。 In this case, the cameras 23F to 23B can also be used as the distance measuring sensor 25. Further, in the example shown in FIG. 2, the image pickup unit 23 is composed of four cameras 23F to 23B, but the number of cameras constituting the image pickup unit 23 is not limited to this.

車両２０の車体における複数の所定位置、たとえばフロントグリルの内側、フロントバンパーやリアバンパーの表面、ドアミラーの側面等には、測距センサ２５がそれぞれ取り付けられている。各測距センサ２５は、その取付位置に応じて車両２０の前方、側方、後方のいずれかに存在する障害物を検出する。 Distance measuring sensors 25 are attached to a plurality of predetermined positions on the vehicle body of the vehicle 20, for example, the inside of the front grille, the surface of the front bumper and the rear bumper, the side surface of the door mirror, and the like. Each distance measuring sensor 25 detects an obstacle existing in the front, the side, or the rear of the vehicle 20 according to the mounting position thereof.

たとえば、車両２０の前方を走行する先行車両、車両２０の前方を横切る人物や車両、車両２０の進行方向に存在する駐車車両、壁、各種設置物等を障害物として検出する。各測距センサ２５は、障害物を検出すると、その障害物までの距離を測定して車両制御装置１０へ測距データＤ２５を出力する。 For example, a preceding vehicle traveling in front of the vehicle 20, a person or vehicle crossing the front of the vehicle 20, a parked vehicle existing in the traveling direction of the vehicle 20, a wall, various installation objects, and the like are detected as obstacles. When each distance measuring sensor 25 detects an obstacle, it measures the distance to the obstacle and outputs the distance measuring data D25 to the vehicle control device 10.

車両２０には、左前輪の回転速度を検出する車輪速センサ２６ＦＬと、右前輪の回転速度を検出する車輪速センサ２６ＦＲと、左後輪の回転速度を検出する車輪速センサ２６ＲＬと、右後輪の回転速度を検出する車輪速センサ２６ＲＲが取り付けられている。これらの車輪速センサ２６ＦＲ～２６ＲＲにより、図１に示した車速センサ２６が構成される。 The vehicle 20 includes a wheel speed sensor 26FL that detects the rotation speed of the left front wheel, a wheel speed sensor 26FR that detects the rotation speed of the right front wheel, a wheel speed sensor 26RL that detects the rotation speed of the left rear wheel, and the right rear. A wheel speed sensor 26RR that detects the rotation speed of the wheel is attached. These wheel speed sensors 26FR to 26RR constitute the vehicle speed sensor 26 shown in FIG. 1.

車両２０は、アクセルペダル２、ブレーキペダル３およびステアリングホイール４を備える。 The vehicle 20 includes an accelerator pedal 2, a brake pedal 3, and a steering wheel 4.

車両２０の乗員がアクセルペダル２を用いて行ったアクセル操作の状態や、車両２０の乗員がブレーキペダル３を用いて行ったブレーキ操作の状態は、加減速量データとしてアクセルＥＣＵ２１１およびブレーキＥＣＵ２１２から出力され、車両制御装置１０に入力される。 The state of the accelerator operation performed by the occupant of the vehicle 20 using the accelerator pedal 2 and the state of the brake operation performed by the occupant of the vehicle 20 using the brake pedal 3 are output from the accelerator ECU 211 and the brake ECU 212 as acceleration / deceleration amount data. Is input to the vehicle control device 10.

車両２０の乗員がステアリングホイール４を用いて行った操舵操作の状態は、操舵量データとしてステアリングＥＣＵ２１３から出力され、車両制御装置１０に入力される。 The state of the steering operation performed by the occupant of the vehicle 20 using the steering wheel 4 is output from the steering ECU 213 as steering amount data and input to the vehicle control device 10.

表示部２２および操作部２４は、車両２０の運転席付近に設置される。操作部２４から出力された操作データＤ２４は車両制御装置１０に入力され、車両制御装置１０から出力された出力映像データＤ１０５は表示部２２に入力される。 The display unit 22 and the operation unit 24 are installed near the driver's seat of the vehicle 20. The operation data D24 output from the operation unit 24 is input to the vehicle control device 10, and the output video data D105 output from the vehicle control device 10 is input to the display unit 22.

次に、車両制御装置１０が行う処理の具体的な内容について説明する。図３は、本発明の一実施形態に係る車両制御装置１０の機能ブロック図である。 Next, the specific contents of the processing performed by the vehicle control device 10 will be described. FIG. 3 is a functional block diagram of the vehicle control device 10 according to the embodiment of the present invention.

図３に示すように、車両制御装置１０は、状態管理部１０１、視点切替判定部１０２、周辺映像合成部１０３、補助情報生成部１０４、出力映像生成部１０５、障害物検知部１０６および経路生成部１０７の各ブロックを有する。 As shown in FIG. 3, the vehicle control device 10 includes a state management unit 101, a viewpoint switching determination unit 102, a peripheral image synthesis unit 103, an auxiliary information generation unit 104, an output image generation unit 105, an obstacle detection unit 106, and a route generation. Each block of unit 107 is provided.

車両制御装置１０は、これらの機能ブロックを、たとえばマイクロコンピュータ上で動作するコンピュータプログラムや、ＦＰＧＡ内に構成される論理回路の組み合わせ等によって実現可能である。 The vehicle control device 10 can realize these functional blocks by, for example, a computer program operating on a microcomputer, a combination of logic circuits configured in the FPGA, or the like.

状態管理部１０１には、走行状態情報Ｄ２１、操作データＤ２４、および車速データＤ２６が入力される。状態管理部１０１は、走行状態情報Ｄ２１と車速データＤ２６から車両制御情報を生成する。 The traveling state information D21, the operation data D24, and the vehicle speed data D26 are input to the state management unit 101. The state management unit 101 generates vehicle control information from the traveling state information D21 and the vehicle speed data D26.

また、状態管理部１０１は、操作データＤ２４に基づいて乗員からの視点切替要求の有無を判断し、視点切替要求ありと判断した場合に、切り替え指示を生成する。乗員が指定した仮想視点の向きに視点を変える場合、切り替え指示には、現在の仮想視点の方向や次に表示する仮想視点の方向が含まれる。 Further, the state management unit 101 determines whether or not there is a viewpoint switching request from the occupant based on the operation data D24, and generates a switching instruction when it is determined that there is a viewpoint switching request. When the viewpoint is changed to the direction of the virtual viewpoint specified by the occupant, the switching instruction includes the direction of the current virtual viewpoint and the direction of the virtual viewpoint to be displayed next.

次に、状態管理部１０１は、車両制御情報と切り替え指示とを含む、制御情報Ｄ１０１を生成する。また、状態管理部１０１は、操作データＤ２４に基づいて乗員からの経路生成要求の有無を判断し、経路生成要求ありと判断した場合に、経路生成要求を生成する。 Next, the state management unit 101 generates the control information D 101 including the vehicle control information and the switching instruction. Further, the state management unit 101 determines whether or not there is a route generation request from the occupant based on the operation data D24, and generates a route generation request when it is determined that there is a route generation request.

乗員が指定した目的地に向かって車両２０を走行させる場合、経路生成要求には、車両２０の現在地の情報や、操作データＤ２４が示す目的地、経由地、優先すべき道路等の設定情報が含まれる。 When the vehicle 20 is driven toward the destination specified by the occupant, the route generation request includes information on the current location of the vehicle 20 and setting information such as the destination, waypoints, and priority roads indicated by the operation data D24. included.

また、乗員が指定した駐車区画に車両２０を自動駐車させる際に、状態管理部１０１が経路生成要求を生成して出力してもよい。この場合、経路生成要求データＤ１０１には、駐車場内における車両２０の位置情報や、操作データＤ２４が示す駐車区画の位置情報などが含まれる。状態管理部１０１から出力された経路生成要求は、制御情報Ｄ１０１に含まれ経路生成部１０７に入力される。 Further, when the vehicle 20 is automatically parked in the parking section designated by the occupant, the state management unit 101 may generate and output a route generation request. In this case, the route generation request data D101 includes the position information of the vehicle 20 in the parking lot, the position information of the parking section indicated by the operation data D24, and the like. The route generation request output from the state management unit 101 is included in the control information D 101 and input to the route generation unit 107.

視点切替判定部１０２には、制御情報Ｄ１０１が入力される。視点切替判定部１０２は、制御情報Ｄ１０１に基づいて切り替え要求の有無を判断し、切り替え要求が無しと判断した場合に、制御情報Ｄ１０１に含まれる車両制御情報と、カメラ映像表示要求とを含む視点切り替え情報Ｄ１０２を生成して出力する。 The control information D101 is input to the viewpoint switching determination unit 102. The viewpoint switching determination unit 102 determines whether or not there is a switching request based on the control information D101, and when it is determined that there is no switching request, the viewpoint including the vehicle control information included in the control information D101 and the camera image display request. The switching information D102 is generated and output.

また、視点切替判定部１０２は、切り替え要求が有りと判断した場合に、制御情報Ｄ１０１に含まれる、車両制御情報と現在の仮想視点の方向と次に表示する仮想視点の方向、およびカメラ映像マスク要求とを含む視点切り替え情報Ｄ１０２を生成して出力する。 Further, when the viewpoint switching determination unit 102 determines that there is a switching request, the vehicle control information, the direction of the current virtual viewpoint, the direction of the virtual viewpoint to be displayed next, and the camera image mask included in the control information D101. The viewpoint switching information D102 including the request is generated and output.

周辺映像合成部１０３には、撮像画像データＤ２３と視点切り替え情報Ｄ１０２とが入力される。 The captured image data D23 and the viewpoint switching information D102 are input to the peripheral image synthesizing unit 103.

入力された視点切り替え情報Ｄ１０２にカメラ映像表示要求が含まれる場合、周辺映像合成部１０３は、現在の仮想視点の方向から見た仮想的な３次元画像を複数のカメラから取得した撮像画像データＤ２３を合成することで生成し、生成された仮想的な３次元画像を周辺映像データＤ１０３として出力映像生成部１０５に出力する。 When the input viewpoint switching information D102 includes a camera image display request, the peripheral image synthesizing unit 103 acquires a virtual three-dimensional image viewed from the direction of the current virtual viewpoint from a plurality of cameras, and the captured image data D23. Is generated by synthesizing the above, and the generated virtual three-dimensional image is output to the output video generation unit 105 as peripheral video data D103.

すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から現在の仮想視点（第１の視点）による３次元画像を合成する。 That is, the CPU (processor) of the vehicle control device 10 synthesizes a three-dimensional image from the current virtual viewpoint (first viewpoint) from the images around the own vehicle captured by the plurality of cameras 23F to 23B, respectively.

また、入力された視点切り替え情報Ｄ１０２にカメラ映像マスク要求が含まれる場合、周辺映像合成部１０３は、次に表示する仮想視点の方向から見た仮想的な３次元画像を複数のカメラから取得した撮像画像データＤ２３を合成することで生成する。 Further, when the input viewpoint switching information D102 includes a camera image mask request, the peripheral image synthesizing unit 103 acquires a virtual three-dimensional image viewed from the direction of the virtual viewpoint to be displayed next from a plurality of cameras. It is generated by synthesizing the captured image data D23.

すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する。 That is, the CPU (processor) of the vehicle control device 10 synthesizes a three-dimensional image from the virtual viewpoint (second viewpoint) to be displayed next from the images around the own vehicle captured by the plurality of cameras 23F to 23B, respectively. ..

次に、周辺映像合成部１０３は、カメラ映像マスク要求に従い、生成している仮想的な３次元画像を黒画などで覆うマスク処理を行い、周辺映像データＤ１０３として出力映像生成部１０５に出力する。 Next, the peripheral image synthesizing unit 103 performs mask processing for covering the generated virtual three-dimensional image with a black image or the like in accordance with the camera image mask request, and outputs the peripheral image data D 103 to the output image generation unit 105. ..

すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する期間に、合成中の次に表示する仮想視点（第２の視点）による３次元画像を黒画でマスクする。これにより、合成中の３次元画像（映像）によるディスプレイのちらつきを防止することができる。 That is, when switching from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next, the CPU (processor) of the vehicle control device 10 is imaged by a plurality of cameras 23F to 23B, respectively. During the period of synthesizing the 3D image from the virtual viewpoint (second viewpoint) to be displayed next from the image around the own vehicle, the 3D image from the virtual viewpoint (second viewpoint) to be displayed next during the synthesis is displayed. Mask with a black image. This makes it possible to prevent the display from flickering due to the three-dimensional image (video) being synthesized.

補助情報生成部１０４には、視点切り替え情報Ｄ１０２と、後述する障害物検出データＤ１０６と、走行計画データＤ１０７と、が入力される。 The viewpoint switching information D102, the obstacle detection data D106 described later, and the travel plan data D107 are input to the auxiliary information generation unit 104.

入力された視点切り替え情報Ｄ１０２にカメラ映像表示要求が含まれる場合、補助情報生成部１０４は、入力されたこれらのデータに基づいて、車両２０を走行させる際の加速状態や減速状態を車両２０の乗員に通知するための制御画像を生成する。 When the input viewpoint switching information D102 includes a camera image display request, the auxiliary information generation unit 104 determines the acceleration state or deceleration state when the vehicle 20 is driven based on these input data. Generate a control image to notify the occupants.

この制御画像では、撮像画像データＤ２３が示す撮像画像上に、車両２０の進路を示す進路予測線と、車両２０との距離の目安となる目安線や、検知した駐車枠や、出庫方向を示す画像などが重畳されている。補助情報生成部１０４が生成した制御画像の情報は、補助情報データＤ１０４として出力映像生成部１０５に入力される。 In this control image, on the captured image shown by the captured image data D23, a course prediction line indicating the course of the vehicle 20, a guideline as a guideline for the distance to the vehicle 20, a detected parking frame, and a warehousing direction are shown. Images etc. are superimposed. The information of the control image generated by the auxiliary information generation unit 104 is input to the output video generation unit 105 as the auxiliary information data D104.

入力された視点切り替え情報Ｄ１０２にカメラ映像マスク要求が含まれる場合、補助情報生成部１０４は、入力された視点切り替え情報Ｄ１０２に基づいて、現在の仮想視点の方向から次に表示する仮想視点の方向まで車両が回転する車両アイコン画像を準備し、単位時間毎に次の角度の車両アイコン画像を表示させるための情報として補助情報データＤ１０４を生成し、出力映像生成部１０５に入力する。 When the input viewpoint switching information D102 includes a camera image mask request, the auxiliary information generation unit 104 determines the direction of the virtual viewpoint to be displayed next from the direction of the current virtual viewpoint based on the input viewpoint switching information D102. A vehicle icon image in which the vehicle rotates up to is prepared, auxiliary information data D104 is generated as information for displaying the vehicle icon image at the next angle every unit time, and is input to the output video generation unit 105.

すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する期間に、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）までの範囲の視点による自車の複数のアイコンから自車の回転アニメーションを生成する。 That is, when switching from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next, the CPU (processor) of the vehicle control device 10 is imaged by a plurality of cameras 23F to 23B, respectively. During the period of synthesizing the 3D image by the virtual viewpoint (second viewpoint) to be displayed next from the image around the own vehicle, the virtual viewpoint (second viewpoint) to be displayed next from the current virtual viewpoint (first viewpoint) Generates a rotation animation of the own vehicle from multiple icons of the own vehicle from the viewpoint of the range up to).

出力映像生成部１０５は、周辺映像合成部１０３と補助情報生成部１０４からから入力された周辺映像データＤ１０３と補助情報データＤ１０４を合成し表示部２２に表示させる。このとき出力映像生成部１０５は、表示部２２のインタフェース仕様に応じたデータ形式または信号形式に出力映像データＤ１０５を変換した上で、表示部２２に出力することが好ましい。 The output video generation unit 105 synthesizes the peripheral video data D 103 and the auxiliary information data D 104 input from the peripheral video synthesis unit 103 and the auxiliary information generation unit 104, and displays them on the display unit 22. At this time, it is preferable that the output video generation unit 105 converts the output video data D 105 into a data format or a signal format according to the interface specifications of the display unit 22 and then outputs the output video data D 105 to the display unit 22.

これにより、表示部２２において車両周辺画像が表示され、車両２０の車両周辺状況に関する乗員への情報提供が行われる。 As a result, the vehicle peripheral image is displayed on the display unit 22, and information is provided to the occupants regarding the vehicle peripheral situation of the vehicle 20.

このようにして、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する期間に、自車の回転アニメーションと黒画を合成した画像をディスプレイに表示させる。これにより、ユーザは視点の切り替えによる表示の変化に直感的に追従することができる。 In this way, when the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next, the plurality of cameras 23F to 23B are used. During the period of synthesizing the 3D image from the virtual viewpoint (second viewpoint) to be displayed next from the images around the own vehicle that are captured, the display is displayed with the combined image of the rotation animation of the own vehicle and the black image. .. As a result, the user can intuitively follow the change in the display due to the switching of the viewpoint.

本実施形態では、現在の仮想視点（第１の視点）及び次に表示する仮想視点（第２の視点）は、自車の周りに存在する物体と自車の両方が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える前において、現在の仮想視点（第１の視点）による３次元画像をディスプレイに表示させ、かつ、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替えた後において、次に表示する仮想視点（第２の視点）による３次元画像をディスプレイに表示させる。これにより、視点の切り替え前後において、ユーザは自車の周りに存在する物体と自車の相対的な位置関係を容易に認識することができる。 In the present embodiment, the current virtual viewpoint (first viewpoint) and the virtual viewpoint to be displayed next (second viewpoint) are viewpoints in which both the object existing around the vehicle and the vehicle are in the field of view. .. The CPU (processor) of the vehicle control device 10 is based on the current virtual viewpoint (first viewpoint) before switching from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next. After displaying the 3D image on the display and switching from the current virtual viewpoint (first viewpoint) to the next virtual viewpoint (second viewpoint), the next virtual viewpoint (second viewpoint) is displayed. The 3D image from the viewpoint) is displayed on the display. As a result, the user can easily recognize the relative positional relationship between the object existing around the vehicle and the vehicle before and after the viewpoint is switched.

障害物検知部１０６には、撮像画像データＤ２３および測距データＤ２５が入力される。障害物検知部１０６は、入力されたこれらのデータに基づいて、車両２０の周囲に存在する障害物の検知を行う。ここで、障害物検知部１０６が認識する障害物とは、車両２０の安全な走行に対する妨げとなる物体であり、測距センサ２５が検出対象とする前述のような各種の物体が該当する。 The captured image data D23 and the ranging data D25 are input to the obstacle detection unit 106. The obstacle detection unit 106 detects obstacles existing around the vehicle 20 based on these input data. Here, the obstacle recognized by the obstacle detection unit 106 is an object that hinders the safe traveling of the vehicle 20, and corresponds to various objects as described above that the distance measuring sensor 25 detects.

このとき障害物検知部１０６は、撮像画像データＤ２３と測距データＤ２５の両方を用いて障害物の有無を判断してもよいし、いずれか一方を用いて障害物の有無を判断してもよい。 At this time, the obstacle detection unit 106 may determine the presence or absence of an obstacle by using both the captured image data D23 and the distance measurement data D25, or may determine the presence or absence of an obstacle by using either of them. good.

障害物を検知したら、障害物検知部１０６は、測距データＤ２６が示す障害物までの距離を含む障害物検出データＤ１０６を生成する。障害物検知部１０６から出力された障害物検出データＤ１０６は、状態管理部１０１および補助情報生成部１０４に入力される。 When the obstacle is detected, the obstacle detection unit 106 generates the obstacle detection data D106 including the distance to the obstacle indicated by the distance measurement data D26. The obstacle detection data D106 output from the obstacle detection unit 106 is input to the state management unit 101 and the auxiliary information generation unit 104.

障害物検知部１０６から障害物検出データＤ１０６が入力されると、状態管理部１０１は、検知した障害物を確認可能な視点に仮想視点を切り替えが必要と判断し、切り替え指示を含む制御情報Ｄ１０１を生成して視点切替判定部１０２に出力する。 When the obstacle detection data D106 is input from the obstacle detection unit 106, the state management unit 101 determines that it is necessary to switch the virtual viewpoint to a viewpoint that can confirm the detected obstacle, and the control information D101 including the switching instruction. Is generated and output to the viewpoint switching determination unit 102.

すなわち、次に表示する仮想視点（第２の視点）は、障害物と自車の両方が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、障害物が検知された場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。 That is, the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint in which both the obstacle and the own vehicle are in the field of view. When an obstacle is detected, the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.

これにより、障害物が検知された場合、検知された障害物を確認できるディスプレイの画面へ切替えられる。そして、視点切り替えが発生した場合も、ユーザは視点切り替えを追従できる。そのため、ユーザは、視点切り替え後の視点位置を認識しやすく、表示される画面から障害物の有無の確認が容易になる。 As a result, when an obstacle is detected, the screen is switched to the display screen where the detected obstacle can be confirmed. Then, even when the viewpoint switching occurs, the user can follow the viewpoint switching. Therefore, the user can easily recognize the viewpoint position after switching the viewpoint, and can easily confirm the presence or absence of an obstacle from the displayed screen.

経路生成部１０７は、状態管理部１０１から入力された経路生成要求を含む制御情報Ｄ１０１に基づいて、車両２０が走行すべき予定走行経路を設定する。 The route generation unit 107 sets a planned travel route to be traveled by the vehicle 20 based on the control information D 101 including the route generation request input from the state management unit 101.

たとえば、乗員が指定した目的地に向かって車両２０を走行させる場合には、経路生成部１０７は、経路生成要求に含まれる前述のような情報に基づき、現在地から目的地までの予定走行経路を設定する。また、乗員が指定した駐車区画に車両２０を自動駐車させる場合には、経路生成部１０７は、経路生成要求に含まれる前述のような情報に基づき、駐車場内における車両２０の現在位置から指定された駐車区画までの予定走行経路を設定する。 For example, when the vehicle 20 is driven toward a destination designated by the occupant, the route generation unit 107 sets a planned travel route from the current location to the destination based on the above-mentioned information included in the route generation request. Set. Further, when the vehicle 20 is automatically parked in the parking lot designated by the occupant, the route generation unit 107 is designated from the current position of the vehicle 20 in the parking lot based on the above-mentioned information included in the route generation request. Set the planned travel route to the parking lot.

次に、経路生成部１０７は、予定走行経路に基づいて、車両２０が予定走行経路を走行する際の目標加減速量および目標操舵量を設定する。そして、経路生成部１０７は、設定した目標加減速量および目標操舵量に基づく車両２０の走行計画を策定し、走行計画データＤ１０７を生成して出力する。 Next, the route generation unit 107 sets a target acceleration / deceleration amount and a target steering amount when the vehicle 20 travels on the planned travel route based on the planned travel route. Then, the route generation unit 107 formulates a travel plan for the vehicle 20 based on the set target acceleration / deceleration amount and the target steering amount, and generates and outputs the travel plan data D107.

走行計画データＤ１０７には、予定走行経路上に所定間隔で設定された複数の走行目標点を示す情報と、各走行目標点における車両２０の目標加減速量および目標操舵量を示す情報とが含まれる。 The travel plan data D107 includes information indicating a plurality of travel target points set at predetermined intervals on the planned travel route, and information indicating the target acceleration / deceleration amount and the target steering amount of the vehicle 20 at each travel target point. Is done.

経路生成部１０７から出力された走行計画データＤ１０７は、状態管理部１０１と補助情報生成部１０４に入力されるとともに、車両制御装置１０から出力されて車両制御ＥＣＵ２１に入力される。これにより、車両制御ＥＣＵ２１において、車両２０を自動運転で走行させるための車両制御が行われる。 The travel plan data D107 output from the route generation unit 107 is input to the state management unit 101 and the auxiliary information generation unit 104, and is also output from the vehicle control device 10 and input to the vehicle control ECU 21. As a result, the vehicle control ECU 21 performs vehicle control for driving the vehicle 20 by automatic driving.

（システム動作）
図４に示すフローチャートを用いて、一実施形態の車両制御装置１０による車両周辺監視システムの手順について説明する。 (System operation)
The procedure of the vehicle peripheral monitoring system by the vehicle control device 10 of one embodiment will be described with reference to the flowchart shown in FIG.

まず、周辺映像合成部１０３において、複数の撮像部２３より提供される各撮像画像データＤ２３を取得する（ステップＳ１）。 First, the peripheral image synthesizing unit 103 acquires each captured image data D23 provided by the plurality of imaging units 23 (step S1).

次に、状態管理部１０１において、車両制御ＥＣＵ２１から入力される舵角情報などの走行状態情報Ｄ２１と、操作部２４から入力される操作データＤ２４と、車速センサ２６から入力される車速データＤ２６と、を取得する。状態管理部１０１は、走行状態情報Ｄ２１と、車速データＤ２６とに基づいて、車両制御情報を生成し、操作データＤ２４に基づいて、切り替え指示を生成する。 Next, in the state management unit 101, the running state information D21 such as the steering angle information input from the vehicle control ECU 21, the operation data D24 input from the operation unit 24, and the vehicle speed data D26 input from the vehicle speed sensor 26. , To get. The state management unit 101 generates vehicle control information based on the traveling state information D21 and the vehicle speed data D26, and generates a switching instruction based on the operation data D24.

例えば、次に表示する仮想視点（第２の視点）は、旋回方向の自車の側面が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、自車を旋回させる場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。これにより、ユーザは旋回方向の自車の側面側に巻き込む可能性のある障害物が無いかを確認することができる。 For example, the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint in which the side surface of the own vehicle in the turning direction is in the field of view. When turning the own vehicle, the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next. As a result, the user can confirm whether there is an obstacle that may get caught in the side surface side of the own vehicle in the turning direction.

詳細には、車両制御装置１０のＣＰＵ（プロセッサ）は、舵角が閾値以上となった場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。これにより、交差点での右左折時や切替し時に、舵角が閾値より大きくなったことをトリガーにディスプレイの画面が現在の画面（例えば正面から車両を見る視点）から巻き込み確認をできる画面（例えば右前から車両を見る視点）に切替えられる。そのため、視点切替え後、ユーザは車両巻き込み位置に障害物が無いか確認することが容易になる。 Specifically, the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next when the steering angle exceeds the threshold value. .. As a result, when turning left or right at an intersection or switching, the screen of the display can be confirmed from the current screen (for example, the viewpoint of looking at the vehicle from the front) when the steering angle becomes larger than the threshold value (for example). It is switched to the viewpoint of looking at the vehicle from the front right. Therefore, after switching the viewpoint, it becomes easy for the user to confirm whether or not there is an obstacle in the vehicle entrainment position.

好ましくは、次に表示する仮想視点（第２の視点）は、シフト位置に応じた視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、シフト位置が切り替えられた場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。 Preferably, the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint according to the shift position. When the shift position is switched, the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.

これにより、例えば、シフト位置がＤ（ドライブ）からＲ（リバース）へ切り替えられ、舵角が閾値より大きくなったことをトリガーにディスプレイの画面が現在の画面（例えば正面から車両を見る視点）から巻き込み確認をできる画面（例えば右後ろから車両を見る視点）に切替えられる。そのため、ユーザはシフト位置に応じた視点から旋回方向の自車の側面側に巻き込む可能性のある障害物が無いかを確認することができる。 As a result, for example, the shift position is switched from D (drive) to R (reverse), and the display screen is changed from the current screen (for example, the viewpoint of viewing the vehicle from the front) triggered by the steering angle becoming larger than the threshold value. The screen can be switched to a screen where you can confirm the involvement (for example, the viewpoint of looking at the vehicle from the back right). Therefore, the user can confirm whether there is an obstacle that may get caught in the side surface side of the own vehicle in the turning direction from the viewpoint corresponding to the shift position.

次に、状態管理部１０１は、車両制御情報と切り替え指示とを含む、制御情報Ｄ１０１を生成する（ステップＳ２）。 Next, the state management unit 101 generates the control information D 101 including the vehicle control information and the switching instruction (step S2).

次に、視点切替判定部１０２において、状態管理部１０１より提供される制御情報Ｄ１０１に含まれる切り替え指示により、視点切り替え判定（ステップＳ３）を行う。 Next, in the viewpoint switching determination unit 102, the viewpoint switching determination (step S3) is performed by the switching instruction included in the control information D101 provided by the state management unit 101.

切り替え指示が無い場合（Ｆａｌｓｅ）、周辺映像合成部１０３は、取得した各映像データ（撮像画像データＤ２３）を合成し、周辺映像の周辺映像データＤ１０３を生成する（ステップＳ４）。 When there is no switching instruction (False), the peripheral video synthesizing unit 103 synthesizes the acquired video data (captured image data D23) to generate peripheral video data D103 of the peripheral video (step S4).

次に、補助情報生成部１０４において、状態管理部１０１より提供される制御情報Ｄ１０１に含まれる車両制御情報に基づいて、補助情報データＤ１０４の生成を行う（ステップＳ５）。補助情報は、車両の進行方向を表示する進路予測線や、車両からの距離の目安となる目安線や、警報画像、検知した駐車枠や、出庫方向を示す画像などである。 Next, the auxiliary information generation unit 104 generates the auxiliary information data D104 based on the vehicle control information included in the control information D101 provided by the state management unit 101 (step S5). The auxiliary information includes a course prediction line that displays the traveling direction of the vehicle, a guideline that serves as a guideline for the distance from the vehicle, an alarm image, a detected parking frame, an image that indicates the leaving direction, and the like.

次に、出力映像生成部１０５において、周辺映像合成部１０３より提供される周辺映像データＤ１０３と、補助情報生成部１０４より提供される補助情報データＤ１０４と、を合成し出力映像データＤ１０５を生成する（ステップＳ６）。 Next, in the output video generation unit 105, the peripheral video data D103 provided by the peripheral video synthesis unit 103 and the auxiliary information data D104 provided by the auxiliary information generation unit 104 are combined to generate the output video data D105. (Step S6).

一方、ステップＳ３にて切り替え指示が有ると判定された場合（Ｔｒｕｅ）、視点切替判定部１０２は、制御情報Ｄ１０１に含まれる、車両制御情報、切り替え指示、現在の仮想視点の向き、および次に表示される仮想視点の向きとを含む視点切り替え情報Ｄ１０２を生成する。 On the other hand, when it is determined in step S3 that there is a switching instruction (True), the viewpoint switching determination unit 102 includes the vehicle control information, the switching instruction, the direction of the current virtual viewpoint, and the next, which are included in the control information D101. The viewpoint switching information D102 including the orientation of the displayed virtual viewpoint is generated.

次に、周辺映像合成部１０３は、撮像部２３より取得した各映像データ（撮像画像データＤ２３）と、視点切替判定部１０２より取得した視点切り替え情報Ｄ１０２とに基づき、次に表示される仮想視点の向きの周辺映像の合成映像を生成する（ステップＳ７）。 Next, the peripheral image synthesizing unit 103 next displays a virtual viewpoint based on each video data (captured image data D23) acquired from the imaging unit 23 and the viewpoint switching information D102 acquired from the viewpoint switching determination unit 102. Generate a composite image of the peripheral image in the direction of (step S7).

次に、周辺映像合成部１０３は、合成途中の映像が表示されないようにするため、カメラ映像をマスクする処理を実行する（ステップＳ８）。 Next, the peripheral image synthesizing unit 103 executes a process of masking the camera image in order to prevent the image being synthesized from being displayed (step S8).

次に、補助情報生成部１０４において、視点切り替え情報Ｄ１０２に基づいて、現在の仮想視点の向きから次に表示される仮想視点の向きまで、車両アイコンが回転する車両アイコン画像を準備し、１コマずつ切り替え車両アイコンを描画する（ステップＳ９）。 Next, the auxiliary information generation unit 104 prepares a vehicle icon image in which the vehicle icon rotates from the direction of the current virtual viewpoint to the direction of the virtual viewpoint displayed next based on the viewpoint switching information D102, and one frame. The switching vehicle icon is drawn one by one (step S9).

次に、出力映像生成部１０５において、周辺映像合成部１０３より提供される周辺映像データＤ１０３と、補助情報生成部１０４より提供される補助情報データＤ１０４と、を合成し出力映像データＤ１０５を生成する（ステップＳ６）。 Next, in the output video generation unit 105, the peripheral video data D103 provided by the peripheral video synthesis unit 103 and the auxiliary information data D104 provided by the auxiliary information generation unit 104 are combined to generate the output video data D105. (Step S6).

（画像処理方法）
次に、図５を参照して、補助情報生成部１０４によって実行される車両アイコンの回転表示について説明する。 (Image processing method)
Next, with reference to FIG. 5, the rotation display of the vehicle icon executed by the auxiliary information generation unit 104 will be described.

周辺映像合成部１０３で処理する仮想的な３次元画像の合成処理は時間を必要とする。 The processing of synthesizing a virtual three-dimensional image processed by the peripheral image synthesizing unit 103 requires time.

その合成処理を実行するのに十分な時間を合成時間Ｔ（秒）とする。補助情報生成部１０４は、この合成時間Ｔ（秒）で現在の仮想視点の方向から、次に表示される仮想視点の方向まで車両アイコンを回転させる。 The time sufficient to execute the synthesis process is defined as the synthesis time T (seconds). The auxiliary information generation unit 104 rotates the vehicle icon from the direction of the current virtual viewpoint to the direction of the virtual viewpoint to be displayed next in this synthesis time T (seconds).

例えば、１５度刻みで車両が回転する車両アイコン画像を２４枚保持する。図５にある仮想視点Ａ（車両前方）から仮想視点Ｂ（車両右前）に視点移動する場合、０度から４５度までの４枚の車両アイコン画像を取得し、合成時間Ｔ（秒）を準備枚数（４枚）で割ったＴ／４（秒）毎にアイコンを更新する。 For example, it holds 24 vehicle icon images in which the vehicle rotates in increments of 15 degrees. When moving the viewpoint from the virtual viewpoint A (front of the vehicle) in FIG. 5 to the virtual viewpoint B (front right of the vehicle), four vehicle icon images from 0 degrees to 45 degrees are acquired, and the synthesis time T (seconds) is prepared. The icon is updated every T / 4 (seconds) divided by the number of sheets (4 sheets).

同様に、仮想視点Ａ（車両前方）から仮想視点Ｃ（車両後方）に視点移動する場合、０度から１８０度までの１３枚の車両アイコン画像を取得し、合成時間Ｔ（秒）を準備枚数（１３枚）で割ったＴ／１３（秒）毎にアイコンを更新する。 Similarly, when moving the viewpoint from the virtual viewpoint A (front of the vehicle) to the virtual viewpoint C (rear of the vehicle), 13 vehicle icon images from 0 degrees to 180 degrees are acquired, and the combined time T (seconds) is prepared. The icon is updated every T / 13 (seconds) divided by (13 sheets).

すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）までの範囲の視点による自車のアイコンの数に応じた時間間隔でアイコンを切り替え、自車の回転アニメーションの再生時間を一定にする。これにより、自車の回転アニメーションの再生終了からスムーズに視点を切り替えることができる。 That is, the CPU (processor) of the vehicle control device 10 corresponds to the number of icons of the own vehicle from the viewpoint in the range from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next. Switch the icon at regular time intervals to keep the playback time of the rotation animation of your vehicle constant. As a result, the viewpoint can be smoothly switched from the end of playback of the rotation animation of the own vehicle.

また、上述した車両アイコンの回転表示では、単位時間当たりの車両アイコンの回転量を変化させることで回転量を一定にする例を説明したが、一定の回転量で車両アイコンを回転させてもよい。 Further, in the above-mentioned rotation display of the vehicle icon, an example in which the rotation amount of the vehicle icon is made constant by changing the rotation amount of the vehicle icon per unit time has been described, but the vehicle icon may be rotated by a constant rotation amount. ..

換言すれば、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）までの範囲の視点によるアイコンの数にかかわらず、一定の時間間隔でアイコンを切り替える。これにより、計算負荷を抑制しつつ、自車の回転アニメーションを容易に生成することができる。 In other words, the CPU (processor) of the vehicle control device 10 has no relation to the number of icons by the viewpoint in the range from the current virtual viewpoint (first viewpoint) to the next virtual viewpoint (second viewpoint) to be displayed. , Switch icons at regular time intervals. This makes it possible to easily generate a rotation animation of the own vehicle while suppressing the calculation load.

例えば、１５度刻みで車両が回転する車両アイコン画像を２４枚保持する。図５にある仮想視点Ａ（車両前方）から仮想視点Ｂ（車両右前）に視点移動する場合、０度から４５度までの４枚の車両アイコン画像を取得し、単位時間毎にアイコンを更新する。 For example, it holds 24 vehicle icon images in which the vehicle rotates in increments of 15 degrees. When moving the viewpoint from the virtual viewpoint A (front of the vehicle) in FIG. 5 to the virtual viewpoint B (front right of the vehicle), four vehicle icon images from 0 degrees to 45 degrees are acquired and the icons are updated every unit time. ..

同様に、仮想視点Ａ（車両前方）から仮想視点Ｃ（車両後方）に視点移動する場合、０度から１８０度までの１３枚の車両アイコン画像を取得し、単位時間毎にアイコンを更新する。 Similarly, when the viewpoint is moved from the virtual viewpoint A (front of the vehicle) to the virtual viewpoint C (rear of the vehicle), 13 vehicle icon images from 0 degrees to 180 degrees are acquired, and the icons are updated every unit time.

なお、上述した実施形態では、状態管理部１０１において、乗員の操作による操作データＤ２４に基づいて視点切替要求の有無と切り替え先の仮想視点の方向を判断しているが、経路生成部１０７による走行計画データＤ１０７に基づいて、仮想視点の方向の切り替え先を判断し、切り替え指示を生成することもできる。 In the above-described embodiment, the state management unit 101 determines whether or not there is a viewpoint switching request and the direction of the virtual viewpoint of the switching destination based on the operation data D24 operated by the occupant. Based on the plan data D107, it is also possible to determine the switching destination of the direction of the virtual viewpoint and generate a switching instruction.

例えば、乗員により、自動出庫モードにおける右（方向）への出庫が確定され、生成される走行計画データＤ１０７において、進行方向が前進、転舵方向が右の場合、右転舵による巻き込みを確認できる仮想視点の方向に視点を自動で切り替えるよう、切り替え指示を含む制御情報Ｄ１０１を生成してもよい。 For example, when the occupant confirms the delivery to the right (direction) in the automatic delivery mode and the traveling direction is forward and the steering direction is right in the generated travel plan data D107, it is possible to confirm the involvement by the right steering. Control information D101 including a switching instruction may be generated so that the viewpoint is automatically switched in the direction of the virtual viewpoint.

また、上述した実施形態では、自動出庫を例に説明したが、システムによる自動運転制御において、進行方向および転舵方向により切り替え先の視点方向が決まればよい。 Further, in the above-described embodiment, the automatic delivery has been described as an example, but in the automatic operation control by the system, the viewpoint direction of the switching destination may be determined by the traveling direction and the steering direction.

例えば、次に表示する仮想視点（第２の視点）は、進行方向に存在する物体と自車の両方が視野に入る視点であり、車両制御装置１０のＣＰＵ（プロセッサ）は、自動運転を開始する前に、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。 For example, the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint in which both the object existing in the traveling direction and the own vehicle are in the field of view, and the CPU (processor) of the vehicle control device 10 starts automatic driving. Before switching from the current virtual viewpoint (first viewpoint) to the virtual viewpoint to be displayed next (second viewpoint).

これにより、ディスプレイの現在の画面（例えば正面から車両を見る視点）から巻き込み確認をできる画面（例えば右前から車両を見る視点）に切替わった際、視点切替え後の視点を容易に認識することができ、ユーザは車両巻き込み位置に障害物が無いかを確認することが可能になる。 As a result, when the current screen of the display (for example, the viewpoint of viewing the vehicle from the front) is switched to the screen where the involvement can be confirmed (for example, the viewpoint of viewing the vehicle from the front right), the viewpoint after the viewpoint is switched can be easily recognized. This allows the user to check if there are any obstacles in the vehicle entrainment position.

また、車両制御装置１０のＣＰＵ（プロセッサ）は、自車が駐車場から出庫する場合、駐車場の白線を含む自車の回転アニメーションを生成してもよい。これにより、自車の回転アニメーションにおいて臨場感が増加する。 Further, the CPU (processor) of the vehicle control device 10 may generate a rotation animation of the own vehicle including the white line of the parking lot when the own vehicle leaves the parking lot. This increases the sense of presence in the rotation animation of the own vehicle.

さらに、車両制御装置１０のＣＰＵ（プロセッサ）は、自車が駐車場から出庫する前に、自車の周りを１回転する自車の回転アニメーションを生成してもよい。これにより、ユーザは視点が自車を中心に１回転（３６０度）していることを容易に認識することができる。 Further, the CPU (processor) of the vehicle control device 10 may generate a rotation animation of the own vehicle that makes one rotation around the own vehicle before the own vehicle leaves the parking lot. As a result, the user can easily recognize that the viewpoint makes one rotation (360 degrees) around the own vehicle.

また、上述した実施形態では、状態管理部１０１において、乗員の操作による操作データＤ２４に基づいて視点切替要求の有無と切り替え先の仮想視点の方向を判断しているが、操作データＤ２４により、ウィンカー（方向指示器）の指示方向を入力することで、操作データＤ２４に基づいて、仮想視点の方向の切り替え先を判断し、切り替え指示を生成することもできる。 Further, in the above-described embodiment, the state management unit 101 determines whether or not there is a viewpoint switching request and the direction of the virtual viewpoint of the switching destination based on the operation data D24 operated by the occupant. However, the operation data D24 determines the direction of the winker. By inputting the instruction direction of (direction indicator), it is also possible to determine the switching destination of the direction of the virtual viewpoint based on the operation data D24 and generate the switching instruction.

例えば、乗員により、ウィンカーの右方向への指示操作が発生した場合、操作データＤ２４により、視点切替要求が状態管理部１０１に入力される。状態管理部１０１は、操作データＤ２４に基づき、車両右後方の仮想視点の方向に視点を自動で切替えるよう、切り替え指示を含む制御情報Ｄ１０１を生成してもよい。 For example, when an instruction operation to the right of the winker is generated by the occupant, the viewpoint switching request is input to the state management unit 101 by the operation data D24. The state management unit 101 may generate control information D101 including a switching instruction so that the viewpoint is automatically switched in the direction of the virtual viewpoint on the right rear side of the vehicle based on the operation data D24.

すなわち、次に表示する仮想視点（第２の視点）は、ウィンカー（方向指示器）が示す指示方向に応じた後側方に存在する物体と自車の両方が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、ウィンカー（方向指示器）が操作された場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。 That is, the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint in which both the object existing on the rear side and the own vehicle are in the field of view according to the instruction direction indicated by the winker (direction indicator). When the winker (direction indicator) is operated, the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.

これにより、車線変更などでウィンカー（方向指示器）を用いて指示を出した場合に、ディスプレイの現在の画面（例えば正面から車両を見る視点）から車線変更時に後方確認できる画面（例えば右後ろから車両を見る視点）に切替わった際、ユーザは、視点切替え後の視点を容易に認識することができ、車両後方から接近する車両の有無などを確認することが可能になる。 As a result, when an instruction is given using a winker (direction indicator) when changing lanes, a screen that can be checked backward when changing lanes from the current screen of the display (for example, the viewpoint of viewing the vehicle from the front) (for example, from the back right). When switching to the viewpoint of viewing the vehicle), the user can easily recognize the viewpoint after the viewpoint is switched, and can confirm the presence or absence of an approaching vehicle from behind the vehicle.

また、上述した実施形態では、状態管理部１０１において、乗員の操作による操作データＤ２４に基づいて視点切替要求の有無と切り替え先の仮想視点の方向を判断しているが、車両制御ＥＣＵ２１による走行状態情報Ｄ２１に基づいて、仮想視点の方向の切り替え先を判断し、切り替え指示を生成することもできる。 Further, in the above-described embodiment, the state management unit 101 determines whether or not there is a viewpoint switching request and the direction of the virtual viewpoint of the switching destination based on the operation data D24 operated by the occupant. It is also possible to determine the switching destination of the direction of the virtual viewpoint based on the information D21 and generate a switching instruction.

例えば、乗員によるステアリングの右への操作を判断した場合、右転舵による巻き込みを確認できる仮想視点の方向に視点を自動で切り替えるよう、切り替え指示を含む制御情報Ｄ１０１を生成してもよい。 For example, when it is determined that the occupant operates the steering to the right, the control information D101 including the switching instruction may be generated so as to automatically switch the viewpoint in the direction of the virtual viewpoint where the involvement by the right steering can be confirmed.

以上説明したように、本実施形態によれば、視点の切り替えによる表示の変化にユーザが直感的に追従することができる。 As described above, according to the present embodiment, the user can intuitively follow the change in the display due to the switching of the viewpoint.

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（マイコン）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Further, each of the above configurations, functions and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor (microcomputer) interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a recording device such as a hard disk or SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.

なお、本発明の実施形態は、以下の態様であってもよい。 The embodiment of the present invention may have the following aspects.

本発明は、車両に取り付けられた複数のカメラから取得した画像を用いて作成した俯瞰映像や３Ｄ映像を表示装置に表示し、車両乗員に車両周辺の状況を認識させる車両周辺監視システムおよび画像表示方法に関する。 The present invention is a vehicle peripheral monitoring system and an image display that displays a bird's-eye view image or a 3D image created by using images acquired from a plurality of cameras mounted on a vehicle on a display device and makes a vehicle occupant recognize the situation around the vehicle. Regarding the method.

（１）．外界認識装置から取得した自車周囲辺の情報と、車両アイコンを合成して表示装置に表示する制御装置において、視点を切り替える際に、視点切り替え中に黒画を表示するとともに、車両アイコンを現在の視点位置から次に表示する視点位置まで回転するアニメーションを表示させる制御装置。 (1). In the control device that combines the information around the vehicle acquired from the outside world recognition device and the vehicle icon and displays it on the display device, when switching the viewpoint, a black image is displayed during the viewpoint switching and the vehicle icon is currently displayed. A control device that displays an animation that rotates from the viewpoint position of to the next viewpoint position to be displayed.

（２）．（１）に記載の車両制御装置であって、視点移動開始前と終了後においては、自車両と周辺物体との相対位置関係を表示することを特徴とする制御装置。 (2). The vehicle control device according to (1), wherein the relative positional relationship between the own vehicle and a peripheral object is displayed before and after the viewpoint movement starts and ends.

（３）．（１）に記載の車両制御装置であって、システムによる自動制御開始前における、進行方向の安全を確認できる視点に自動で切り替える。 (3). The vehicle control device according to (1) automatically switches to a viewpoint that can confirm the safety in the traveling direction before the start of automatic control by the system.

（４）．（１）に記載の車両制御装置であって、ウィンカーの指示方向に従い、後側方を確認できる視点に自動で切り替える。 (4). The vehicle control device according to (1) automatically switches to a viewpoint at which the rear side can be confirmed according to the instruction direction of the winker.

（５）．（１）に記載の車両制御装置であって、舵角とシフト位置に応じて、巻き込みを確認できる視点に自動で切り替える。 (5). The vehicle control device according to (1) automatically switches to a viewpoint at which entrainment can be confirmed according to the steering angle and the shift position.

（６）．（１）に記載の車両制御装置であって、障害物を検知した場合において、検知した障害物を確認できる視点に自動で切替えることを特徴とする制御装置。 (6). The vehicle control device according to (1), wherein when an obstacle is detected, the control device automatically switches to a viewpoint at which the detected obstacle can be confirmed.

（７）．（１）に記載の車両制御装置であって、少なくとも８方向分の車両アイコン画像データを保持し、視点切替方向に応じて、回転する車両アイコン画像を選択し、アニメーションを作成し、黒画に重畳する。 (7). The vehicle control device according to (1) holds vehicle icon image data for at least eight directions, selects a rotating vehicle icon image according to the viewpoint switching direction, creates an animation, and creates a black image. Superimpose.

（８）．（１）に記載の車両制御装置であって、視点切替時の車両アイコンの回転角度に因らず、一定の回転量で車両アイコンを回転させることを特徴とする車両制御装置。 (8). The vehicle control device according to (1), wherein the vehicle icon is rotated by a constant rotation amount regardless of the rotation angle of the vehicle icon when the viewpoint is switched.

（９）．（１）に記載の車両制御装置であって、視点切替時の車両アイコンの回転角度に応じて、１フレーム毎の車両アイコンの回転量を変化させることで、回転時間を一定にすることを特徴とする車両制御装置。 (9). The vehicle control device according to (1), characterized in that the rotation time is made constant by changing the rotation amount of the vehicle icon for each frame according to the rotation angle of the vehicle icon at the time of switching the viewpoint. Vehicle control device.

（１０）．外界認識装置から取得した自車周囲辺の情報と、自車両アイコンを合成して表示装置に表示する方法において、視点を切り替える際に、視点切り替え中に黒画を表示装置に表示するとともに、自車両アイコンを現在の視点位置から次に表示する視点位置まで回転するアニメーションを表示装置に表示させる方法。 (10). In the method of synthesizing the information around the own vehicle acquired from the outside world recognition device and the own vehicle icon and displaying it on the display device, when switching the viewpoint, a black image is displayed on the display device while the viewpoint is switched, and the own vehicle is displayed. A method of displaying an animation on the display device that rotates the vehicle icon from the current viewpoint position to the next viewpoint position to be displayed.

（１１）．視点移動開始前と終了後においては、自車両と周辺物体との相対位置関係を表示することを特徴とする（１０）に記載の方法。 (11). The method according to (10), wherein the relative positional relationship between the own vehicle and a peripheral object is displayed before and after the viewpoint movement starts and ends.

（１２）．システムによる自動制御開始前における、進行方向の安全を確認できる視点に自動で切り替えることを特徴とする（１０）に記載の方法。 (12). The method according to (10), which automatically switches to a viewpoint that can confirm the safety of the traveling direction before the start of automatic control by the system.

（１３）．高速走行中の場合、ウィンカーの指示方向に従い、後側方を確認できる視点に自動で切り替えることを特徴とする（１０）に記載の方法。 (13). The method according to (10), wherein when the vehicle is traveling at high speed, the vehicle automatically switches to a viewpoint where the rear side can be confirmed according to the instruction direction of the winker.

（１４）．低速走行中の場合、舵角とシフト位置に応じて、巻き込みを確認できる視点に自動で切り替えることを特徴とする（１０）に記載の方法。 (14). The method according to (10), wherein when the vehicle is traveling at a low speed, the viewpoint is automatically switched to a viewpoint at which entrainment can be confirmed according to the steering angle and the shift position.

（１５）．障害物を検知した場合において、検知した障害物を確認できる視点に自動で切替えることを特徴とする（１０）に記載の方法。 (15). The method according to (10), wherein when an obstacle is detected, the detected obstacle is automatically switched to a viewpoint at which the detected obstacle can be confirmed.

（１６）．少なくとも８方向分の自車両アイコン画像データを保持し、視点切替方向に応じて、画像を選択し、アニメーションを作成し、黒画に重畳することを特徴とする（１０）に記載の方法。 (16). The method according to (10), which holds at least eight directions of own vehicle icon image data, selects an image according to a viewpoint switching direction, creates an animation, and superimposes the image on a black image.

（１７）．視点切替時の車両アイコンの回転角度に因らず、一定の回転量で車両アイコンを回転させることを特徴とする（１０）に記載の方法。 (17). The method according to (10), wherein the vehicle icon is rotated by a constant rotation amount regardless of the rotation angle of the vehicle icon when the viewpoint is switched.

（１８）．視点切替時の車両アイコンの回転角度に応じて、１フレーム毎の車両アイコンの回転量を変化させることで、回転時間を一定にすることを特徴とする
（１０）に記載の方法。 (18). The method according to (10), wherein the rotation time is made constant by changing the rotation amount of the vehicle icon for each frame according to the rotation angle of the vehicle icon when the viewpoint is switched.

上記の（１）－（１８）によれば、乗員は視点の切り替え前後の変化方向を認識できるようになるため、映像の連続性の途切れが軽減され、視点切替え時の追従が可能となり、切り替え終了後の周辺確認をスムーズに行うことが可能となる。 According to the above (1)-(18), since the occupant can recognize the change direction before and after the viewpoint is switched, the interruption of the continuity of the image is reduced, and the tracking when the viewpoint is switched becomes possible, and the switching is possible. It is possible to smoothly check the surrounding area after the end.

１…車両制御システム
２…アクセルペダル
３…ブレーキペダル
４…ステアリングホイール
１０…車両制御装置
２０…車両
２２…表示部
２３…撮像部
２３Ｆ…カメラ
２３Ｂ…カメラ
２３Ｌ…カメラ
２３Ｒ…カメラ
２４…操作部
２５…測距センサ
２６…車速センサ
２６ＦＬ…車輪速センサ
２６ＦＲ…車輪速センサ
２６ＲＬ…車輪速センサ
２６ＲＲ…車輪速センサ
１０１…状態管理部
１０２…視点切替判定部
１０３…周辺映像合成部
１０４…補助情報生成部
１０５…出力映像生成部
１０６…障害物検知部
１０７…経路生成部 1 ... Vehicle control system 2 ... Accelerator pedal 3 ... Brake pedal 4 ... Steering wheel 10 ... Vehicle control device 20 ... Vehicle 22 ... Display unit 23 ... Imaging unit 23F ... Camera 23B ... Camera 23L ... Camera 23R ... Camera 24 ... Operation unit 25 ... Distance measuring sensor 26 ... Vehicle speed sensor 26FL ... Wheel speed sensor 26FR ... Wheel speed sensor 26RL ... Wheel speed sensor 26RR ... Wheel speed sensor 101 ... State management unit 102 ... Viewpoint switching determination unit 103 ... Peripheral image synthesis unit 104 ... Auxiliary information generation Unit 105 ... Output image generation unit 106 ... Obstacle detection unit 107 ... Route generation unit

Claims (15)

複数の視点による自車の複数のアイコンを記憶するメモリと、
複数のカメラによってそれぞれ撮像される前記自車の周りの画像から第１の視点による３次元画像を合成するプロセッサと、を備え、
前記プロセッサは、
前記第１の視点から第２の視点へ切り替える場合、複数の前記カメラによってそれぞれ撮像される前記自車の周りの画像から前記第２の視点による３次元画像を合成する期間に、前記第１の視点から前記第２の視点までの範囲の視点による自車の複数の前記アイコンから前記自車の回転アニメーションを生成し、前記自車の前記回転アニメーションと黒画を合成した画像をディスプレイに表示させる
ことを特徴とする車両制御装置。 A memory that stores multiple icons of the vehicle from multiple viewpoints,
It is equipped with a processor that synthesizes a three-dimensional image from a first viewpoint from an image around the own vehicle captured by a plurality of cameras.
The processor
When switching from the first viewpoint to the second viewpoint, the first one is during the period of synthesizing the three-dimensional image from the second viewpoint from the images around the own vehicle captured by the plurality of cameras. The rotation animation of the own vehicle is generated from a plurality of the icons of the own vehicle from the viewpoint in the range from the viewpoint to the second viewpoint, and the image in which the rotation animation of the own vehicle and the black image are combined is displayed on the display. A vehicle control device characterized by that. 請求項１に記載の車両制御装置であって、
前記プロセッサは、
前記第１の視点から第２の視点へ切り替える場合、複数の前記カメラによってそれぞれ撮像される前記自車の周りの画像から前記第２の視点による３次元画像を合成する期間に、合成中の前記第２の視点による３次元画像を前記黒画でマスクする
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The processor
When switching from the first viewpoint to the second viewpoint, the synthesis is being performed during the period of synthesizing the three-dimensional image from the second viewpoint from the images around the own vehicle captured by the plurality of cameras. A vehicle control device characterized by masking a three-dimensional image from a second viewpoint with the black image. 請求項２に記載の車両制御装置であって、
前記第１の視点及び前記第２の視点は、
前記自車の周りに存在する物体と前記自車の両方が視野に入る視点であり、
前記プロセッサは、
前記第１の視点から前記第２の視点へ切り替える前において、前記第１の視点による３次元画像を前記ディスプレイに表示させ、かつ、前記第１の視点から前記第２の視点へ切り替えた後において、前記第２の視点による３次元画像を前記ディスプレイに表示させる
ことを特徴とする車両制御装置。 The vehicle control device according to claim 2.
The first viewpoint and the second viewpoint are
It is a viewpoint in which both the object existing around the own vehicle and the own vehicle are in the field of view.
The processor
Before switching from the first viewpoint to the second viewpoint, after displaying the three-dimensional image from the first viewpoint on the display and switching from the first viewpoint to the second viewpoint. , A vehicle control device characterized in that a three-dimensional image from the second viewpoint is displayed on the display. 請求項１に記載の車両制御装置であって、
前記第２の視点は、
進行方向に存在する物体と前記自車の両方が視野に入る視点であり、
前記プロセッサは、
自動運転を開始する前に、前記第１の視点から前記第２の視点へ切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The second viewpoint is
It is a viewpoint where both the object existing in the traveling direction and the own vehicle can be seen.
The processor
A vehicle control device characterized by switching from the first viewpoint to the second viewpoint before starting automatic driving. 請求項１に記載の車両制御装置であって、
前記第２の視点は、
方向指示器が示す指示方向に応じた後側方に存在する物体と前記自車の両方が視野に入る視点であり、
前記プロセッサは、
前記方向指示器が操作された場合、前記第１の視点から前記第２の視点へ切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The second viewpoint is
It is a viewpoint in which both the object existing on the rear side and the own vehicle according to the instruction direction indicated by the turn signal are in the field of view.
The processor
A vehicle control device characterized by switching from the first viewpoint to the second viewpoint when the direction indicator is operated. 請求項１に記載の車両制御装置であって、
前記第２の視点は、
旋回方向の前記自車の側面が視野に入る視点であり、
前記プロセッサは、
前記自車を旋回させる場合、前記第１の視点から前記第２の視点へ切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The second viewpoint is
This is the viewpoint where the side surface of the vehicle in the turning direction is in the field of view.
The processor
A vehicle control device characterized in that when the own vehicle is turned, the first viewpoint is switched to the second viewpoint. 請求項６に記載の車両制御装置であって、
前記プロセッサは、
舵角が閾値以上となった場合、前記第１の視点から前記第２の視点へ切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 6.
The processor
A vehicle control device characterized by switching from the first viewpoint to the second viewpoint when the steering angle becomes equal to or more than a threshold value. 請求項７に記載の車両制御装置であって、
前記第２の視点は、
シフト位置に応じた視点であり、
前記プロセッサは、
シフト位置が切り替えられた場合、前記第１の視点から前記第２の視点へ切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 7.
The second viewpoint is
It is a viewpoint according to the shift position,
The processor
A vehicle control device characterized by switching from the first viewpoint to the second viewpoint when the shift position is switched. 請求項１に記載の車両制御装置であって、
前記第２の視点は、
障害物と前記自車の両方が視野に入る視点であり、
前記プロセッサは、
前記障害物が検知された場合、前記第１の視点から前記第２の視点へ切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The second viewpoint is
It is a viewpoint that both the obstacle and the own vehicle can be seen.
The processor
A vehicle control device characterized by switching from the first viewpoint to the second viewpoint when the obstacle is detected. 請求項１に記載の車両制御装置であって、
前記メモリは、
少なくとも８方位の視点による前記自車の前記アイコンを記憶する
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The memory is
A vehicle control device for storing the icon of the own vehicle from a viewpoint of at least eight directions. 請求項１に記載の車両制御装置であって、
前記プロセッサは、
前記第１の視点から前記第２の視点までの範囲の視点による前記自車の前記アイコンの数にかかわらず、一定の時間間隔で前記アイコンを切り替える
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The processor
A vehicle control device characterized in that the icons are switched at regular time intervals regardless of the number of the icons of the own vehicle from the viewpoint in the range from the first viewpoint to the second viewpoint. 請求項１に記載の車両制御装置であって、
前記プロセッサは、
前記第１の視点から前記第２の視点までの範囲の視点による前記自車の前記アイコンの数に応じた時間間隔で前記アイコンを切り替え、前記自車の前記回転アニメーションの再生時間を一定にする
ことを特徴とする車両制御装置。 The vehicle control device according to claim 1.
The processor
The icons are switched at time intervals according to the number of the icons of the own vehicle from the viewpoint in the range from the first viewpoint to the second viewpoint, and the reproduction time of the rotation animation of the own vehicle is made constant. A vehicle control device characterized by that. 請求項４に記載の車両制御装置であって、
前記プロセッサは、
前記自車が駐車場から出庫する場合、前記駐車場の白線を含む前記自車の前記回転アニメーションを生成する
ことを特徴とする車両制御装置。 The vehicle control device according to claim 4.
The processor
A vehicle control device comprising generating the rotation animation of the own vehicle including the white line of the parking lot when the own vehicle leaves the parking lot. 請求項１３に記載の車両制御装置であって、
前記プロセッサは、
前記自車が駐車場から出庫する前に、前記自車の周りを１回転する前記自車の前記回転アニメーションを生成する
ことを特徴とする車両制御装置。 The vehicle control device according to claim 13.
The processor
A vehicle control device comprising generating the rotation animation of the own vehicle that makes one rotation around the own vehicle before the own vehicle leaves the parking lot. 自車の周りの画像から第１の視点による３次元画像を合成する工程と、
前記自車の周りの画像から第２の視点による３次元画像を合成する工程と、
前記第１の視点から前記第２の視点へ切り替える場合、前記第２の視点による３次元画像を合成する期間に、前記第１の視点から前記第２の視点までの範囲の視点による前記自車の複数のアイコンから前記自車の回転アニメーションを生成する工程と、
前記自車の前記回転アニメーションと黒画を合成した画像を表示する工程と、
を含む方法。 The process of synthesizing a 3D image from the first viewpoint from the image around the own vehicle,
The process of synthesizing a three-dimensional image from the second viewpoint from the image around the own vehicle,
When switching from the first viewpoint to the second viewpoint, the own vehicle from the viewpoint in the range from the first viewpoint to the second viewpoint during the period of synthesizing the three-dimensional image from the second viewpoint. The process of generating the rotation animation of the own vehicle from multiple icons of
The process of displaying an image in which the rotation animation of the own vehicle and the black image are combined,
How to include.
JP2019004328A 2019-01-15 2019-01-15 Vehicular control device and method Pending JP2022049711A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019004328A JP2022049711A (en) 2019-01-15 2019-01-15 Vehicular control device and method
PCT/JP2019/040808 WO2020148957A1 (en) 2019-01-15 2019-10-17 Vehicle control device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019004328A JP2022049711A (en) 2019-01-15 2019-01-15 Vehicular control device and method

Publications (1)

Publication Number Publication Date
JP2022049711A true JP2022049711A (en) 2022-03-30

Family

ID=71613364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019004328A Pending JP2022049711A (en) 2019-01-15 2019-01-15 Vehicular control device and method

Country Status (2)

Country Link
JP (1) JP2022049711A (en)
WO (1) WO2020148957A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023133831A (en) * 2022-03-14 2023-09-27 本田技研工業株式会社 Control device, control method and control program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228614B2 (en) * 2021-03-24 2023-02-24 本田技研工業株式会社 image display system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5168186B2 (en) * 2009-02-24 2013-03-21 日産自動車株式会社 Image processing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023133831A (en) * 2022-03-14 2023-09-27 本田技研工業株式会社 Control device, control method and control program
JP7398492B2 (en) 2022-03-14 2023-12-14 本田技研工業株式会社 Control device, control method, and control program

Also Published As

Publication number Publication date
WO2020148957A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
EP3650285B1 (en) Parking assistance method and parking assistance device
JP7443705B2 (en) Peripheral monitoring device
JP2018144526A (en) Periphery monitoring device
WO2020003750A1 (en) Vehicle display control device, vehicle display control method, and control program
JP2017016200A (en) Image processing apparatus, image display system, and image processing method
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
US20200081608A1 (en) Display control device
US20230373309A1 (en) Display control device
JP2018144554A (en) Head-up display device for vehicle
US11669230B2 (en) Display control device
US20200081612A1 (en) Display control device
WO2020148957A1 (en) Vehicle control device and method
JPWO2019239725A1 (en) Vehicle control device
JP2020140603A (en) Display control device, display control method, and display control program
JP6662655B2 (en) Vehicle image display device
US11104380B2 (en) Display controller
JP2023003663A (en) Virtual image display device
JP7302311B2 (en) Vehicle display control device, vehicle display control method, vehicle display control program
JP7137356B2 (en) In-vehicle failure detection device and failure detection method
JP2022041286A (en) Display control device, display control method, and display control program
CN113538965A (en) Display control device, display control method, and recording medium having program recorded thereon
WO2022255409A1 (en) Vehicle display system, vehicle display method, vehicle display program
US20240328809A1 (en) Surrounding display device
JP7424144B2 (en) Vehicle display device and vehicle display method
US20240326911A1 (en) Driving assistance device and driving assistance method