JP2019029865A - Display control device, display control system, display control method, and program - Google Patents

Display control device, display control system, display control method, and program Download PDF

Info

Publication number
JP2019029865A
JP2019029865A JP2017148469A JP2017148469A JP2019029865A JP 2019029865 A JP2019029865 A JP 2019029865A JP 2017148469 A JP2017148469 A JP 2017148469A JP 2017148469 A JP2017148469 A JP 2017148469A JP 2019029865 A JP2019029865 A JP 2019029865A
Authority
JP
Japan
Prior art keywords
vehicle
visibility
display control
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017148469A
Other languages
Japanese (ja)
Other versions
JP6763358B2 (en
Inventor
昇 勝俣
Noboru Katsumata
昇 勝俣
一郎 石田
Ichiro Ishida
一郎 石田
清水 義之
Yoshiyuki Shimizu
義之 清水
林 直人
Naoto Hayashi
直人 林
拓之 照内
Hiroyuki Teruuchi
拓之 照内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017148469A priority Critical patent/JP6763358B2/en
Priority to PCT/JP2018/014137 priority patent/WO2019026348A1/en
Priority to EP18840930.4A priority patent/EP3550830B1/en
Priority to CN201880004577.6A priority patent/CN109997356B/en
Publication of JP2019029865A publication Critical patent/JP2019029865A/en
Priority to US16/424,691 priority patent/US11117520B2/en
Application granted granted Critical
Publication of JP6763358B2 publication Critical patent/JP6763358B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To properly display a perspective video according to visibility around a vehicle during delivery.SOLUTION: The device comprises a video acquisition part 41 for acquiring vide data from plural cameras picking up a periphery of a vehicle, a perspective vide generation part 44 for applying view-point conversion processing and synthetic processing to the video data and generating the perspective video, a visibility information acquisition part 43 for acquiring first visibility information that is information indicating visibility around the vehicle when the vehicle moves backward and delivered inside, and second visibility information that is information indicating visibility around the vehicle when the vehicle moves forward from the inside state and delivered outside, a comparison part 45 for comparing the first visibility information and the second visibility information, so as to compare the visibility around the vehicle when the vehicle is delivered inside and outside, and a display control part 48 for displaying the perspective view on the display panel 31 during delivering outside, when the comparison part 45 determines that the visibility of the second visibility information when the vehicle is delivered outside is lower than that of the first visibility information.SELECTED DRAWING: Figure 1

Description

本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。   The present invention relates to a display control device, a display control system, a display control method, and a program.

車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている(例えば、特許文献1参照)。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。   A technique related to a vehicle periphery display device that displays a bird's-eye view image of a vehicle together with a vehicle image is known (see, for example, Patent Document 1). This technology widens the display area of the overhead view image behind the vehicle image when the vehicle switches from forward to backward.

特開2015−076645号公報Japanese Patent Laying-Open No. 2015-0776645

特許文献1に記載のように、車両の俯瞰映像は、駐車区画への入庫時の駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。   As described in Patent Document 1, an overhead view image of a vehicle is displayed at the time of backward entry into the parking area because it mainly aims to assist parking when entering the parking area. Thereby, at the time of reverse warehousing, the driver confirms the surrounding situation including the blind spot range in the mirror visually or with a bird's-eye view image.

駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、車両の周囲の視認性が低下した場合などには、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、駐車区画からの前進出庫時に、周辺状況に関わらず俯瞰映像を表示すると、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。   Since a bird's-eye view image is not displayed when the warehouse has advanced from the parking area, the driver checks the surroundings visually or with a mirror. The operation at the time of advance advance from the parking area is easier than at the time of reverse entry. However, when the visibility around the vehicle is lowered, it may be desirable to confirm the surrounding situation with an overhead view image in addition to visual confirmation or confirmation with a mirror. In addition, when a bird's-eye view image is displayed regardless of the surrounding situation when the warehouse has advanced from the parking area, the bird's-eye view image is displayed in a situation where there is no need to display the bird's-eye view image, or when it is desired to check the route by navigation, etc. Will be displayed.

本発明は、上記に鑑みてなされたものであって、出庫時に車両の周囲の視認性の変化に応じて適切に俯瞰映像を表示させることを目的とする。   This invention is made in view of the above, Comprising: It aims at displaying a bird's-eye view image appropriately according to the change of the visibility around a vehicle at the time of leaving.

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両が後退して入庫したときにおける前記車両の周囲の視認性を示す情報である第一視認性情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の視認性を示す情報である第二視認性情報を取得する視認性情報取得部と、前記第一視認性情報と前記第二視認性情報とを比較して、前記車両の入庫時と出庫時の前記車両の周囲の視認性を比較する比較部と、前記比較部が、前記車両が出庫するときの前記第二視認性情報が前記第一視認性情報より視認性が低下していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。   In order to solve the above-described problems and achieve the object, a display control device according to the present invention includes a video data acquisition unit that acquires video data from a plurality of imaging units that capture the surroundings of a vehicle, and the video data acquisition An overhead view video generation unit that performs viewpoint conversion processing and composition processing on the video data acquired by the unit to generate an overhead view video, and information indicating the visibility of the surroundings of the vehicle when the vehicle moves backward Visibility information, and a visibility information acquisition unit that acquires second visibility information that is information indicating visibility around the vehicle when the vehicle moves forward from the warehousing state and exits, and the first visibility Comparing the sex information with the second visibility information and comparing the visibility of the surroundings of the vehicle at the time of entry and exit of the vehicle, and the comparison unit when the vehicle exits Second visibility information A display control unit that, when it is determined that the visibility is lower than the first visibility information, causes the display unit to display the overhead view image generated by the overhead view image generation unit when leaving. And

本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともどちらかとを備える。   A display control system according to the present invention includes the above-described display control device, at least one of a plurality of photographing units for acquiring video data by the video data acquisition unit, and a display unit for displaying the overhead image by the display control unit. .

本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の視認性を示す情報である第一視認性情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の視認性を示す情報である第二視認性情報を取得する視認性情報取得ステップと、前記第一視認性情報と前記第二視認性情報とを比較して、前記車両の入庫時と出庫時の前記車両の周囲の視認性を比較する比較ステップと、前記比較ステップで、前記車両が出庫するときの前記第二視認性情報が前記第一視認性情報より視認性が低下していると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。   The display control method according to the present invention includes a video data acquisition step for acquiring video data from a plurality of imaging units that capture the surroundings of a vehicle, and a viewpoint conversion process and a synthesis process for the video data acquired in the video data acquisition step. An overhead view video generation step for generating an overhead view video, first visibility information which is information indicating visibility around the vehicle when the vehicle is retracted and stored, and the vehicle advances from the storage state. Comparing the first visibility information and the second visibility information with the visibility information obtaining step for obtaining the second visibility information, which is information indicating the visibility around the vehicle when leaving In the comparison step of comparing the visibility of the surroundings of the vehicle at the time of entry and exit of the vehicle, and the comparison step, the second visibility information when the vehicle exits is If visibility than one visibility information is determined to be decreased, and a display control step of displaying the overhead view image generated by the overhead view image generating step when unloading the display unit.

本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の周囲の視認性を示す情報である第一視認性情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の視認性を示す情報である第二視認性情報を取得する視認性情報取得ステップと、前記第一視認性情報と前記第二視認性情報とを比較して、前記車両の入庫時と出庫時の前記車両の周囲の視認性を比較する比較ステップと、前記比較ステップで、前記車両が出庫するときの前記第二視認性情報が前記第一視認性情報より視認性が低下していると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。   A program according to the present invention provides a video data acquisition step of acquiring video data from a plurality of imaging units that capture the surroundings of a vehicle, and performs a viewpoint conversion process and a synthesis process on the video data acquired in the video data acquisition step. A bird's-eye view image generation step for generating an image; first visibility information that is information indicating visibility around the vehicle when the vehicle moves backward and enters; and the vehicle moves forward from the entry state and exits Comparing the first visibility information and the second visibility information with the visibility information obtaining step for obtaining the second visibility information, which is information indicating the visibility around the vehicle when The comparison step of comparing the visibility of the surroundings of the vehicle at the time of entering and leaving the vehicle, and the second visibility information when the vehicle leaves at the comparison step When it is determined that the visibility is lower than the visibility information, a display control step for displaying the overhead video generated in the overhead video generation step on the display unit when leaving the store is executed on a computer operating as a display control device Let

本発明によれば、出庫時に車両の周囲の視認性の変化に応じて適切に俯瞰映像を表示させることができるという効果を奏する。   Advantageous Effects of Invention According to the present invention, there is an effect that it is possible to appropriately display a bird's-eye view video according to a change in visibility around the vehicle at the time of delivery.

図1は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of a display control system according to the first embodiment. 図2は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 2 is a diagram illustrating an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. 図3は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 3 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the first embodiment. 図4は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。FIG. 4 is a flowchart showing another example of the processing flow in the display control apparatus of the display control system according to the first embodiment. 図5は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the second embodiment. 図6は、第三実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 6 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the third embodiment. 図7は、第四実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。FIG. 7 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the fourth embodiment. 図8は、第五実施形態に係る表示制御システムの構成例を示すブロック図である。FIG. 8 is a block diagram illustrating a configuration example of a display control system according to the fifth embodiment. 図9は、第五実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 9 is a diagram illustrating an example of a bird's-eye view image generated by the display control device of the display control system according to the fifth embodiment. 図10は、第六実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 10 is a diagram illustrating an example of an overhead video generated by the display control device of the display control system according to the sixth embodiment. 図11は、第七実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。FIG. 11 is a diagram illustrating an example of a bird's-eye view image generated by the display control device of the display control system according to the seventh embodiment.

以下に添付図面を参照して、本発明に係る表示制御装置40、表示制御システム1、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。   Hereinafter, embodiments of a display control device 40, a display control system 1, a display control method, and a program according to the present invention will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by the following embodiment.

[第一実施形態]
図1は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。表示制御システム1は、例えば、出庫時の車両の周囲の視認性が入庫時の車両V1の周囲の視認性より低下している場合などに適切に俯瞰映像100を表示させる。表示制御システム1は、車両V1に搭載されている。表示制御システム1は、車両V1に載置されているものに加えて、可搬型で車両V1において利用可能な装置であってもよい。
[First embodiment]
FIG. 1 is a block diagram illustrating a configuration example of a display control system according to the first embodiment. The display control system 1 displays the bird's-eye view image 100 appropriately when, for example, the visibility around the vehicle at the time of delivery is lower than the visibility around the vehicle V1 at the time of entry. The display control system 1 is mounted on the vehicle V1. In addition to what is mounted on the vehicle V1, the display control system 1 may be a portable device that can be used in the vehicle V1.

図1を用いて、表示制御システム1について説明する。表示制御システム1は、前方カメラ(撮影部)11と、後方カメラ(撮影部)12と、左側方カメラ(撮影部)13と、右側方カメラ(撮影部)14と、照度センサ21と、表示パネル(表示部)31と、表示制御装置40とを有する。   The display control system 1 will be described with reference to FIG. The display control system 1 includes a front camera (shooting unit) 11, a rear camera (shooting unit) 12, a left side camera (shooting unit) 13, a right side camera (shooting unit) 14, an illuminance sensor 21, and a display. A panel (display unit) 31 and a display control device 40 are included.

前方カメラ11は、俯瞰映像用カメラである。前方カメラ11は、車両V1の前方に配置され、車両V1の前方を中心とした周辺を撮影する。前方カメラ11は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の前方に広い範囲を含む。前方カメラ11は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。   The front camera 11 is an overhead video camera. The front camera 11 is disposed in front of the vehicle V1 and photographs a periphery around the front of the vehicle V1. For example, the front camera 11 captures an imaging range of about 180 °. The shooting range includes a wider range in front of the vehicle V1 than the display range of the overhead view video 100. The front camera 11 outputs the captured video to the video data acquisition unit 41 of the display control device 40.

後方カメラ12は、俯瞰映像用カメラである。後方カメラ12は、車両V1の後方に配置され、車両V1の後方を中心とした周辺を撮影する。後方カメラ12は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の後方に広い範囲を含む。後方カメラ12は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。   The rear camera 12 is an overhead video camera. The rear camera 12 is disposed behind the vehicle V1 and photographs the periphery around the rear of the vehicle V1. For example, the rear camera 12 captures an imaging range of about 180 °. The shooting range includes a wider range behind the vehicle V1 than the display range of the overhead view video 100. The rear camera 12 outputs the captured video to the video data acquisition unit 41 of the display control device 40.

左側方カメラ13は、俯瞰映像用カメラである。左側方カメラ13は、車両V1の左側方に配置され、車両V1の左側方を中心とした周辺を撮影する。左側方カメラ13は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の左側方に広い範囲を含む。左側方カメラ13は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。   The left side camera 13 is an overhead video camera. The left side camera 13 is disposed on the left side of the vehicle V1 and shoots the periphery around the left side of the vehicle V1. The left side camera 13 shoots a shooting range of about 180 °, for example. The shooting range includes a wider range on the left side of the vehicle V <b> 1 than the display range of the overhead view image 100. The left side camera 13 outputs the captured video to the video data acquisition unit 41 of the display control device 40.

右側方カメラ14は、俯瞰映像用カメラである。右側方カメラ14は、車両V1の右側方に配置され、車両V1の右側方を中心とした周辺を撮影する。右側方カメラ14は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より車両V1の右側方に広い範囲を含む。右側方カメラ14は、撮影した映像を表示制御装置40の映像データ取得部41へ出力する。   The right side camera 14 is an overhead video camera. The right side camera 14 is disposed on the right side of the vehicle V1 and captures the periphery around the right side of the vehicle V1. The right-side camera 14 captures an imaging range of about 180 °, for example. The shooting range includes a range wider on the right side of the vehicle V <b> 1 than the display range of the overhead view image 100. The right side camera 14 outputs the captured video to the video data acquisition unit 41 of the display control device 40.

前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで、車両V1の全方位を撮影する。   The front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14 photograph all directions of the vehicle V <b> 1.

照度センサ21は、車両V1の前方または左右側方などに配置され、車両V1の前方の路面の照度を測定する。照度センサ21は、測定結果を表示制御装置40の視認性情報取得部43に出力する。   The illuminance sensor 21 is arranged in front of the vehicle V1 or on the left and right sides, and measures the illuminance of the road surface in front of the vehicle V1. The illuminance sensor 21 outputs the measurement result to the visibility information acquisition unit 43 of the display control device 40.

表示パネル31は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル31は、必要なタイミングで、車両V1の周囲を確認するためのモニタである。表示パネル31は、車両V1の周囲を確認することができれば、様々な形態をとりうることがでる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。表示パネル31は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル31は、車両V1の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル31は、表示制御装置40の表示制御部48から出力された映像信号に基づき、車両V1の俯瞰映像100を表示する。   The display panel 31 is, for example, a display device shared with other systems including a navigation system. The display panel 31 is a monitor for confirming the surroundings of the vehicle V1 at a necessary timing. If the display panel 31 can confirm the circumference | surroundings of the vehicle V1, it can take various forms. As an example of the display panel, an electronic room mirror can be used or a function of an instrument panel can be used. The display panel 31 is a display including, for example, a liquid crystal display (LCD) or an organic EL-Organic Electro-Luminescence (EL) display. The display panel 31 is disposed at a position that is easily visible to the driver. In the present embodiment, the display panel 31 is arranged on a dashboard, an instrument panel, a center console, etc. in front of the driver of the vehicle V1. The display panel 31 displays the bird's-eye view image 100 of the vehicle V <b> 1 based on the video signal output from the display control unit 48 of the display control device 40.

表示制御装置40は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置40は、入庫時および出庫時に、俯瞰映像100を生成し表示する。   The display control device 40 provides information for assisting parking. More specifically, the display control device 40 generates and displays the bird's-eye view image 100 at the time of entering and leaving.

表示制御装置40は、例えば、CPU(Central Processing Unit)や映像処理用プロセッサなどで構成された演算処理装置(制御部)である。表示制御装置40は、記憶部49に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置40は、映像データ取得部41と、自車両情報取得部42と、視認性情報取得部43と、俯瞰映像生成部44と、比較部45と、表示制御部48と、内部メモリである記憶部49とが含まれる。表示制御装置40は、一または複数の装置で構成されていてもよい。   The display control device 40 is, for example, an arithmetic processing device (control unit) configured with a CPU (Central Processing Unit), a video processing processor, and the like. The display control device 40 loads the program stored in the storage unit 49 into the memory and executes instructions included in the program. The display control device 40 includes a video data acquisition unit 41, a host vehicle information acquisition unit 42, a visibility information acquisition unit 43, an overhead view video generation unit 44, a comparison unit 45, a display control unit 48, and an internal memory. A certain storage unit 49 is included. The display control device 40 may be composed of one or a plurality of devices.

映像データ取得部41は、車両V1の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部41は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とが出力した映像データを取得する。映像データ取得部41は、取得した映像データを俯瞰映像生成部44に出力する。   The video data acquisition unit 41 acquires video data obtained by photographing the periphery of the vehicle V1. More specifically, the video data acquisition unit 41 acquires video data output from the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video data acquisition unit 41 outputs the acquired video data to the overhead view video generation unit 44.

自車両情報取得部42は、車両V1のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、CAN(Controller Area Network)や車両V1の状態をセンシングする各種センサなどから取得する。自車両情報取得部42は、車両情報として、CANや各種センサなどから取得した駐車時に行われたステアリング操作の操作情報を取得する。自車両情報取得部42は、取得した車両情報を視認性情報取得部43および表示制御部48に出力する。   The own vehicle information acquisition unit 42 senses vehicle information serving as a parking start display trigger or a parking end trigger, such as gear operation information of the vehicle V1, and a state of a CAN (Controller Area Network) or the vehicle V1. Obtain from sensors. The own vehicle information acquisition part 42 acquires the operation information of the steering operation performed at the time of the parking acquired from CAN, various sensors, etc. as vehicle information. The own vehicle information acquisition unit 42 outputs the acquired vehicle information to the visibility information acquisition unit 43 and the display control unit 48.

視認性情報取得部43は、照度センサ21によって、車両V1が後退して入庫したときにおける車両V1の周囲の視認性を示す情報である第一視認性情報、および、車両V1が入庫状態から前進して出庫するときにおける車両V1の周囲の視認性を示す情報である第二視認性情報を取得する。より詳しくは、視認性情報取得部43は、車両V1が後退して入庫したとき、照度センサ21で測定した照度情報を第一視認性情報として取得する。視認性情報取得部43は、入庫時の第一視認性情報を記憶部49で記憶させる。また、視認性情報取得部43は、車両V1が入庫状態から前進して出庫するとき、照度センサ21で測定した照度情報を第二視認性情報として取得する。車両V1が後退して入庫した判断、および車両V1が前進して出庫する判断は、自車両情報取得部42から取得した車両V1のギア操作情報やエンジンのオン/オフ情報などによって判断する。視認性情報取得部43は、出庫時の第二視認性情報を比較部45に出力する。   The visibility information acquisition unit 43 uses the illuminance sensor 21 to display first visibility information that is information indicating visibility around the vehicle V1 when the vehicle V1 moves backward and enters the vehicle, and the vehicle V1 moves forward from the storage state. Then, the second visibility information, which is information indicating the visibility around the vehicle V1 when leaving the vehicle, is acquired. More specifically, the visibility information acquisition unit 43 acquires the illuminance information measured by the illuminance sensor 21 as the first visibility information when the vehicle V1 moves backward and enters the warehouse. The visibility information acquisition unit 43 stores the first visibility information at the time of warehousing in the storage unit 49. Moreover, the visibility information acquisition part 43 acquires the illumination intensity information measured with the illumination intensity sensor 21 as 2nd visibility information, when the vehicle V1 advances from a warehouse state and leaves. The determination that the vehicle V1 moves backward and enters the vehicle and the determination that the vehicle V1 moves forward and exits are made based on the gear operation information of the vehicle V1 acquired from the own vehicle information acquisition unit 42, the engine on / off information, and the like. The visibility information acquisition unit 43 outputs the second visibility information at the time of delivery to the comparison unit 45.

第一視認性情報は、車両V1が後退して入庫したときにおける車両V1の前方または左右側方の路面の照度情報である。   The first visibility information is illuminance information on the road surface in front of or right and left sides of the vehicle V1 when the vehicle V1 moves backward.

第二視認性情報は、車両V1が入庫状態から前進して出庫するときにおける車両V1の前方または左右側方の路面の照度情報である。第二視認性情報が、車両V1の前方に配置されている照度センサ21によるものである場合は、車両V1の前照灯などが未点灯時の照度情報を用いる。第二視認性情報が、車両V1の左右側方に配置されている照度センサ21によるものである場合は、車両V1の前照灯などの状態によらず出庫前の照度情報を用いる。   The second visibility information is illuminance information on the road surface in front of or right and left sides of the vehicle V1 when the vehicle V1 moves forward from the entering state and exits. When the second visibility information is based on the illuminance sensor 21 disposed in front of the vehicle V1, the illuminance information when the headlamp of the vehicle V1 is not lit is used. When the second visibility information is based on the illuminance sensor 21 disposed on the left and right sides of the vehicle V1, the illuminance information before leaving the vehicle is used regardless of the state of the headlamp of the vehicle V1.

車両V1が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両V1が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、5秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両V1が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。   The fact that the vehicle V1 moves backward and enters the warehouse is, for example, that the shift position is “reverse” and the vehicle V1 travels backward and then the shift position is “parking” or “neutral”, or 5 It is detected when the speed has become zero for more than a second, or when the engine is stopped or the side brake or foot brake is operated. Or it may detect with arbitrary triggers, such as user operation, that vehicles V1 moved backward.

車両V1が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、5秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両V1が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。   When the vehicle V1 moves forward from the entering state and exits, for example, the shift position is “parking” or “neutral”, or the speed is zero for a time of 5 seconds or more, or the engine is stopped. Alternatively, it is detected when the engine is started, the shift position is set to “drive”, the side brake or the foot brake is released, etc., from the storage state such as the operation of the side brake or the foot brake. Or it may detect by arbitrary triggers, such as user operation, that vehicles V1 move forward from a warehouse state and leave.

俯瞰映像生成部44は、映像データ取得部41で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像100を生成する。俯瞰映像生成部44は、入庫時、俯瞰映像100を生成する。俯瞰映像生成部44は、車両V1が出庫するときの第二視認性情報が第一視認性情報より視認性が低下していると判定した場合、俯瞰映像100を生成する。本実施形態では、俯瞰映像生成部44は、比較部45が、出庫時の照度が入庫時の照度より低下していると判定した場合、俯瞰映像100を生成する。より詳しくは、本実施形態では、俯瞰映像生成部44は、比較部45が、入庫時が昼間の照度であり、出庫時が夜間の照度であると判定した場合、俯瞰映像100を生成する。俯瞰映像生成部44は、生成した俯瞰映像100を表示制御部48に出力する。俯瞰映像生成部44は、視点変換処理部441と、切出処理部442と、合成処理部443とを有する。   The overhead video generation unit 44 performs viewpoint conversion processing and synthesis processing on the peripheral video data acquired by the video data acquisition unit 41 to generate the overhead video 100. The overhead view video generation unit 44 generates the overhead view video 100 at the time of warehousing. The bird's-eye view video generation unit 44 generates the bird's-eye view video 100 when it is determined that the second visibility information when the vehicle V1 leaves the vehicle is less visible than the first visibility information. In this embodiment, the overhead view video generation unit 44 generates the overhead view video 100 when the comparison unit 45 determines that the illuminance at the time of leaving is lower than the illuminance at the time of entry. More specifically, in this embodiment, the overhead view video generation unit 44 generates the overhead view video 100 when the comparison unit 45 determines that the illuminance at daytime is illuminance at daytime and the illuminance at night is illuminance at night. The overhead view video generation unit 44 outputs the generated overhead view video 100 to the display control unit 48. The bird's-eye view video generation unit 44 includes a viewpoint conversion processing unit 441, a cut-out processing unit 442, and a composition processing unit 443.

視点変換処理部441は、映像データ取得部41で取得した周辺映像データに対して、車両V1を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部441は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部441は、視点変換処理を行った周辺映像データを切出処理部442に出力する。   The viewpoint conversion processing unit 441 performs viewpoint conversion processing on the surrounding video data acquired by the video data acquisition unit 41 so that the vehicle V1 is looked down from above. More specifically, the viewpoint conversion processing unit 441 generates a video on which the viewpoint conversion processing has been performed based on peripheral video data captured by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The method of viewpoint conversion processing may be any known method and is not limited. The viewpoint conversion processing unit 441 outputs the peripheral video data that has undergone the viewpoint conversion processing to the clipping processing unit 442.

切出処理部442は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部442は、切出処理を行った映像の映像データを合成処理部443に出力する。   The cut-out processing unit 442 performs a cut-out process for cutting out a predetermined range of video from the peripheral video data subjected to the viewpoint conversion process. Which range is the cut-out range is registered and stored in advance. The cutout processing unit 442 outputs the video data of the video that has undergone the cutout processing to the composition processing unit 443.

合成処理部443は、切出処理を行った映像データを合成する合成処理を行う。合成処理部443は、合成した映像に車両アイコン110を表示した俯瞰映像100を生成する。   The composition processing unit 443 performs composition processing for compositing the video data that has been subjected to the clipping processing. The composition processing unit 443 generates an overhead image 100 in which the vehicle icon 110 is displayed on the synthesized image.

図2を用いて、俯瞰映像100について説明する。図2は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像100は、車両V1から2m程度の範囲を表示する。俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104と、前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた中央部に位置する車両アイコン110とを含む。車両アイコン110は、車両V1の位置と向きとを示す。車両アイコン110は、前後方向を俯瞰映像100の前後方向と平行にして、中央部に配置されている。   The overhead view image 100 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a bird's-eye view image generated by the display control device of the display control system according to the first embodiment. The bird's-eye view image 100 displays a range of about 2 m from the vehicle V1. The bird's-eye view image 100 is located at the center surrounded by the front image 101, the rear image 102, the left side image 103, the right side image 104, the front image 101, the rear image 102, the left side image 103, and the right side image 104. Vehicle icon 110 to be included. The vehicle icon 110 indicates the position and orientation of the vehicle V1. The vehicle icon 110 is arranged in the center with the front-rear direction parallel to the front-rear direction of the bird's-eye view image 100.

図1に戻って、比較部45は、第一視認性情報および第二視認性情報を比較して、車両V1の入庫時と出庫時の車両V1の周囲の視認性を比較する。本実施形態では、比較部45は、入庫時の車両V1の周囲の照度と出庫時の車両V1の周囲の照度とを比較して、出庫時の照度が入庫時の照度より低下しているか否かを判定する。より詳しくは、比較部45は、入庫時の車両V1の周囲の照度と出庫時の車両V1の周囲の照度とを比較して、入庫時が昼間の照度であり、出庫時が夜間の照度であるか否かを判定する。   Returning to FIG. 1, the comparison unit 45 compares the first visibility information and the second visibility information, and compares the visibility around the vehicle V1 when the vehicle V1 enters and when the vehicle V1 exits. In the present embodiment, the comparison unit 45 compares the illuminance around the vehicle V1 at the time of entry with the illuminance around the vehicle V1 at the time of exit, and whether or not the illuminance at the time of delivery is lower than the illuminance at the time of entry. Determine whether. More specifically, the comparison unit 45 compares the illuminance around the vehicle V1 at the time of warehousing with the illuminance around the vehicle V1 at the time of warehousing. It is determined whether or not there is.

本実施形態では、昼間の照度は2000ルクス以上とし、夜間の照度は500ルクス以下とする。   In this embodiment, the illuminance in the daytime is 2000 lux or more, and the illuminance at night is 500 lux or less.

表示制御部48は、入庫時、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。表示制御部48は、比較部45が、車両V1が出庫するときの第二視認性情報が第一視認性情報より視認性が低下していると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。本実施形態では、表示制御部48は、比較部45が、出庫時の照度が入庫時の照度より低下していると判定した場合、俯瞰映像100を表示パネル31に表示させる。より詳しくは、表示制御部48は、比較部45が、入庫時が昼間の照度であり、出庫時が夜間の照度であると判定した場合、俯瞰映像100を表示パネル31に表示させる。   The display control unit 48 causes the display panel 31 to display the overhead video 100 generated by the overhead video generation unit 44 at the time of warehousing. When the comparison unit 45 determines that the second visibility information when the vehicle V1 leaves the vehicle is less visible than the first visibility information, the display control unit 48 generates the overhead view video generation unit 44. The overhead image 100 is displayed on the display panel 31. In the present embodiment, the display control unit 48 causes the display panel 31 to display the bird's-eye view video 100 when the comparison unit 45 determines that the illuminance at the time of delivery is lower than the illuminance at the time of entry. More specifically, the display control unit 48 causes the display panel 31 to display the bird's-eye view image 100 when the comparison unit 45 determines that the illuminance at daytime is illuminance at daytime and the illuminance at nighttime is illuminance at night.

記憶部49は、表示制御装置40におけるデータの一時記憶などに用いられる。記憶部49は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。   The storage unit 49 is used for temporary storage of data in the display control device 40. The storage unit 49 is, for example, a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. Alternatively, an external storage device that is wirelessly connected via a communication device (not shown) may be used.

次に、図3、図4を用いて、表示制御システム1の表示制御装置40における処理の流れについて説明する。図3は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図4は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。   Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIGS. 3 and 4. FIG. 3 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the first embodiment. FIG. 4 is a flowchart showing another example of the processing flow in the display control apparatus of the display control system according to the first embodiment.

表示制御システム1が起動されると、表示制御装置40は、映像データ取得部41で映像データを取得する。表示制御装置40は、自車両情報取得部42で車両情報を取得する。   When the display control system 1 is activated, the display control device 40 acquires video data by the video data acquisition unit 41. The display control device 40 acquires vehicle information by the own vehicle information acquisition unit 42.

まず、入庫時の処理の流れについて説明する。   First, the flow of processing at the time of warehousing will be described.

表示制御装置40は、後退を開始したか否かを判定する(ステップS11)。表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両V1の進行方向が後方になったことで検出する。表示制御装置40は、後退を開始していないと判定した場合(ステップS11でNo)、ステップS11の処理を再度実行する。表示制御装置40は、後退を開始したと判定した場合(ステップS11でYes)、ステップS12に進む。   The display control device 40 determines whether or not the backward movement is started (step S11). The display control device 40 determines the presence or absence of a reverse trigger based on the host vehicle information acquired by the host vehicle information acquisition unit 42. The reverse trigger is detected, for example, when the shift position is “reverse” or when the traveling direction of the vehicle V1 is backward. If the display control device 40 determines that the retreat is not started (No in step S11), the display control device 40 executes the process of step S11 again. If the display control device 40 determines that retreat has started (Yes in step S11), the display control device 40 proceeds to step S12.

ステップS11で後退を開始したと判定された場合(ステップS11でYes)、表示制御装置40は、俯瞰映像表示を開始する(ステップS12)。より詳しくは、表示制御装置40は、俯瞰映像生成部44で俯瞰映像100を生成し、表示制御部48で俯瞰映像100を表示パネル31に表示させる。表示制御装置40は、ステップS13に進む。   When it is determined that the backward movement is started in Step S11 (Yes in Step S11), the display control device 40 starts the overhead view video display (Step S12). More specifically, in the display control device 40, the overhead image 100 is generated by the overhead image generator 44, and the overhead image 100 is displayed on the display panel 31 by the display controller 48. The display control device 40 proceeds to step S13.

表示制御装置40は、入庫が完了したか否かを判定する(ステップS13)。より詳しくは、表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、5秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置40は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し(ステップS13でYes)、ステップS14に進む。表示制御装置40は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し(ステップS13でNo)、ステップS13の処理を再度実行する。   The display control device 40 determines whether the warehousing is completed (step S13). More specifically, the display control device 40 determines that the shift position is “parking” or “neutral” based on the host vehicle information acquired by the host vehicle information acquisition unit 42, or a time of 5 seconds or more, When it is detected that the speed is zero, the engine is stopped, or the operation of the side brake or the foot brake is detected, it is determined that the warehousing is completed. If the display control device 40 determines that the warehousing has been completed, the display control device 40 determines to end the overhead view video display (Yes in step S13), and proceeds to step S14. If the display control device 40 determines that the warehousing has not been completed, the display control device 40 determines not to end the video display (No in step S13), and executes the process of step S13 again.

表示制御装置40は、入庫が完了したと判定された場合(ステップS13でYes)、俯瞰映像表示を終了する(ステップS14)。表示制御装置40は、ステップS15に進む。   If it is determined that the warehousing has been completed (Yes in step S13), the display control device 40 ends the overhead view video display (step S14). The display control device 40 proceeds to step S15.

表示制御装置40は、視認性情報取得部43で第一視認性情報を取得し、記憶部49に記憶させる(ステップS15)。そして、表示制御装置40は、処理を終了する。   The display control device 40 acquires the first visibility information by the visibility information acquisition unit 43 and stores it in the storage unit 49 (step S15). Then, the display control device 40 ends the process.

次に、出庫時の処理の流れについて説明する。   Next, the flow of processing at the time of delivery will be described.

表示制御装置40は、前進トリガの有無を判定する(ステップS21)。表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置40は、前進トリガがないと判定した場合(ステップS21でNo)、ステップS21の処理を再度実行する。表示制御装置40は、前進トリガがあると判定した場合(ステップS21でYes)、ステップS22に進む。   The display control device 40 determines whether or not there is a forward trigger (step S21). The display control device 40 determines whether or not there is a forward trigger based on the host vehicle information acquired by the host vehicle information acquisition unit 42. The forward trigger is detected, for example, when the engine is started, when the shift position is set to “drive” capable of moving forward, or when the side brake or foot brake is released. When it is determined that there is no forward trigger (No in step S21), the display control device 40 executes the process of step S21 again. If the display control device 40 determines that there is a forward trigger (Yes in step S21), the display control device 40 proceeds to step S22.

ステップS21で前進トリガがあると判定された場合(ステップS21でYes)、表示制御装置40は、入庫からの前進であるか否かを判定する(ステップS22)。より詳しくは、表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、5秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置40は、記憶部49に、第一視認性情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置40は、入庫からの前進ではないと判定した場合(ステップS22でNo)、ステップS21の処理を再度実行する。表示制御装置40は、入庫からの前進であると判定した場合(ステップS22でYes)、ステップS23に進む。   When it is determined in step S21 that there is a forward trigger (Yes in step S21), the display control device 40 determines whether or not it is forward movement from warehousing (step S22). More specifically, the display control device 40 has a state immediately before detecting the forward trigger based on the host vehicle information acquired by the host vehicle information acquisition unit 42, for example, the shift position is “parking” or “neutral”. Or if it is determined that the speed was zero, the engine was stopped, or the side brake or foot brake was operated, for 5 seconds or more judge. Or the display control apparatus 40 may determine with it being advance from warehousing, when the 1st visibility information is memorize | stored in the memory | storage part 49. FIG. When it is determined that the display control device 40 is not moving forward from warehousing (No in step S22), the process of step S21 is executed again. If it is determined that the display control device 40 is advancing from warehousing (Yes in step S22), the display control device 40 proceeds to step S23.

表示制御装置40は、視認性情報取得部43で第二視認性情報を取得し、比較する(ステップS23)。より詳しくは、表示制御装置40は、視認性情報取得部43で第二視認性情報を取得する。表示制御装置40は、比較部45で第一視認性情報と第二視認性情報とを比較させる。表示制御装置40は、比較部45で比較することによって、入庫時と出庫時との車両V1の周囲の視認性の変化の有無を判定する。表示制御装置40は、ステップS24に進む。   The display control device 40 acquires and compares the second visibility information with the visibility information acquisition unit 43 (step S23). More specifically, the display control device 40 acquires the second visibility information by the visibility information acquisition unit 43. The display control device 40 causes the comparison unit 45 to compare the first visibility information and the second visibility information. The display control device 40 determines whether or not there is a change in visibility around the vehicle V <b> 1 at the time of warehousing and at the time of warehousing by comparing with the comparison unit 45. The display control device 40 proceeds to step S24.

表示制御装置40は、比較部45による比較の結果、入庫時が昼間の照度であり、出庫時が夜間の照度であるか否かを判定する(ステップS24)。本実施形態では、表示制御装置40は、入庫時が昼間の照度ではない、または、出庫時が夜間の照度ではないと判定した場合(ステップS24でNo)、処理を終了する。この場合、俯瞰映像100は表示されない。表示制御装置40は、入庫時が昼間の照度であり、出庫時が夜間の照度であると判定した場合(ステップS24でYes)、ステップS25に進む。   As a result of the comparison by the comparison unit 45, the display control device 40 determines whether or not the illuminance at daytime is the illuminance during the daytime and the illuminance at night is the illuminance at night (step S24). In this embodiment, the display control apparatus 40 complete | finishes a process, when it determines with the illuminance at the time of warehousing not being daytime illuminance, or when the leaving time is not illuminance at night (No in step S24). In this case, the overhead image 100 is not displayed. If the display control device 40 determines that the illuminance at daytime is illuminance at daytime and the illuminance at night is illuminance at night (Yes in step S24), the display control device 40 proceeds to step S25.

表示制御装置40は、前進を開始したか否かを判定する(ステップS25)。表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、例えば、速度がゼロ以上であること、または、車両V1が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置40は、車両V1が前進していないと判定した場合(ステップS25でNo)、ステップS25の処理を再度実行する。表示制御装置40は、車両V1が前進したと判定した場合(ステップS25でYes)、ステップS26に進む。   The display control device 40 determines whether or not advancement has started (step S25). For example, when it is detected that the speed is zero or more or the vehicle V1 travels forward based on the host vehicle information acquired by the host vehicle information acquisition unit 42, the display control device 40 moves forward. It is determined that it has started. When the display control device 40 determines that the vehicle V1 is not moving forward (No in step S25), the display control device 40 executes the process of step S25 again. If the display control device 40 determines that the vehicle V1 has advanced (Yes in step S25), the display control device 40 proceeds to step S26.

ステップS25で前進を開始したと判定された場合(ステップS25でYes)、表示制御装置40は、俯瞰映像表示を開始する(ステップS26)。より詳しくは、表示制御装置40は、俯瞰映像生成部44で俯瞰映像100を生成し、表示制御部48で俯瞰映像100を表示パネル31に表示させる。表示制御装置40は、ステップS27に進む。   If it is determined in step S25 that the vehicle has started moving forward (Yes in step S25), the display control device 40 starts bird's-eye view video display (step S26). More specifically, in the display control device 40, the overhead image 100 is generated by the overhead image generator 44, and the overhead image 100 is displayed on the display panel 31 by the display controller 48. The display control device 40 proceeds to step S27.

俯瞰映像100を表示パネル31に表示させるタイミングについては、一例としてステップS25を例示したが、車両V1がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両V1が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。   As an example of the timing at which the bird's-eye view image 100 is displayed on the display panel 31, step S25 is illustrated as an example, but when the vehicle V1 starts the engine, when the shift position is set to “drive”, and when the vehicle V1 starts moving forward For example, it is arbitrary if the timing is appropriate for confirming the surrounding situation when leaving the store.

表示制御装置40は、俯瞰映像表示の終了条件を満たすか否かを判定する(ステップS27)。より詳しくは、表示制御装置40は、自車両情報取得部42で取得した自車両情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、車速が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。表示制御装置40は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し(ステップS27でYes)、ステップS28に進む。表示制御装置40は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し(ステップS27でNo)、ステップS27の処理を再度実行する。   The display control device 40 determines whether or not the end-point condition for the overhead video display is satisfied (step S27). More specifically, the display control device 40 has, for example, traveled a predetermined distance or more from the position where the vehicle started to advance based on the host vehicle information acquired by the host vehicle information acquisition unit 42, or the vehicle speed has exceeded a predetermined speed. When this is detected, it is determined that the end condition for the overhead video display is satisfied. If the display control device 40 determines that the end-point image display end condition is satisfied, the display control device 40 determines to end the overhead-view image display (Yes in step S27), and proceeds to step S28. If the display control device 40 determines that the condition for ending the overhead video display is not satisfied, the display control device 40 determines that the video display is not ended (No in step S27), and executes the process of step S27 again.

ステップS27で俯瞰映像表示の終了条件を満たすと判定された場合(ステップS27でYes)、表示制御装置40は、俯瞰映像表示を終了する(ステップS28)。表示制御装置40は、記憶部49に記憶した第一視認性情報を削除する。そして、表示制御装置40は、処理を終了する。   If it is determined in step S27 that the end-point video display end condition is satisfied (Yes in step S27), the display control device 40 ends the overhead-view video display (step S28). The display control device 40 deletes the first visibility information stored in the storage unit 49. Then, the display control device 40 ends the process.

上述したように、本実施形態は、比較部45が、入庫時が昼間の照度であり、出庫時が夜間の照度であると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、出庫時に車両V1の周囲の照度の変化に応じて適切に俯瞰映像100を表示させることができる。これにより、入庫時が昼間の照度であり、出庫時が夜間の照度であり、周囲の視認性が低下したとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像100によって車両V1の周辺を適切に確認することができる。   As described above, in the present embodiment, when the comparison unit 45 determines that the illuminance is daytime at the time of warehousing and the illuminance at night is the illuminance at night, the overhead view video 100 generated by the overhead view video generating unit 44 is displayed. Display on the panel 31. Thus, this embodiment can display the bird's-eye view image 100 appropriately according to the change in the illuminance around the vehicle V1 when leaving. As a result, even if the illuminance at daytime is illuminance at daytime and the illuminance at nighttime is illuminance at night, and the visibility of the surroundings is lowered, the driver can check the vehicle V1 by the overhead image 100 in addition to the visual or mirror confirmation. Can be confirmed appropriately.

本実施形態によれば、出庫時に車両V1の周囲の照度の変化に応じて、俯瞰映像100の表示が必要なときに限って俯瞰映像100を表示する。このように、本実施形態は、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまうことを抑制することができる。   According to the present embodiment, the overhead image 100 is displayed only when it is necessary to display the overhead image 100 according to the change in the illuminance around the vehicle V1 at the time of delivery. As described above, the present embodiment can prevent the overhead image from being displayed when the overhead image is displayed in a situation where there is no need to display the overhead image, or when it is desired to confirm the route by navigation. .

[第二実施形態]
図5を参照しながら、本実施形態に係る表示制御システム1について説明する。図5は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム1は、基本的な構成は第一実施形態の表示制御システム1と同様である。表示制御システム1は、入庫時の照度と出庫時の照度とが所定以上の照度差であるときに俯瞰映像100を表示する点で第一実施形態と異なる。
[Second Embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the second embodiment. The basic configuration of the display control system 1 is the same as that of the display control system 1 of the first embodiment. The display control system 1 is different from the first embodiment in that the bird's-eye view video 100 is displayed when the illuminance at the time of entering and the illuminance at the time of leaving are equal to or greater than a predetermined illuminance.

俯瞰映像生成部44は、比較部45が、入庫時の照度と出庫時の照度とが所定以上の照度差であると判定した場合、俯瞰映像100を生成する。   The overhead view video generation unit 44 generates the overhead view video 100 when the comparison unit 45 determines that the illuminance at the time of entry and the illuminance at the time of exit are equal to or greater than a predetermined illuminance.

比較部45は、入庫時の車両V1の周囲の照度と出庫時の車両V1の周囲の照度とを比較して、入庫時の照度と出庫時の照度とが所定以上の照度差であるか否かを判定する。例えば、所定以上の照度差とは、5000ルクスとする。   The comparison unit 45 compares the illuminance around the vehicle V1 at the time of warehousing and the illuminance around the vehicle V1 at the time of warehousing, and whether or not the illuminance at the time of warehousing and the illuminance at the time of leaving is a predetermined illuminance difference or more. Determine whether. For example, the illumination difference greater than or equal to a predetermined value is 5000 lux.

表示制御部48は、比較部45が、入庫時の照度と出庫時の照度とが所定以上の照度差であると判定した場合、俯瞰映像100を表示パネル31に表示させる。   When the comparison unit 45 determines that the illuminance at the time of entering and the illuminance at the time of leaving are a predetermined illuminance difference or more, the display control unit 48 causes the display panel 31 to display the overhead view video 100.

次に、図5を用いて、表示制御システム1の表示制御装置40における処理の流れについて説明する。ステップS31ないしステップS33、ステップS35ないしステップS38の処理は、図4に示すフローチャートのステップS21ないしステップS23、ステップS25ないしステップS28と同様の処理を行う。   Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIG. The processes in steps S31 to S33 and steps S35 to S38 are the same as those in steps S21 to S23 and steps S25 to S28 in the flowchart shown in FIG.

表示制御装置40は、比較部45による比較の結果、入庫時の照度と出庫時の照度とが所定以上の照度差であるか否かを判定する(ステップS34)。本実施形態では、表示制御装置40は、入庫時の照度と出庫時の照度とが所定以上の照度差ではないと判定した場合(ステップS34でNo)、処理を終了する。この場合、俯瞰映像100は表示されない。表示制御装置40は、入庫時の照度と出庫時の照度とが所定以上の照度差であると判定した場合(ステップS34でYes)、ステップS35に進む。ここで言う所定以上の照度差とは、照度が高い状態から照度低い状態への差である。   As a result of the comparison by the comparison unit 45, the display control device 40 determines whether or not the illuminance at the time of entry and the illuminance at the time of exit are equal to or greater than a predetermined illuminance (step S34). In this embodiment, the display control apparatus 40 complete | finishes a process, when it determines with the illumination intensity at the time of warehousing, and the illumination intensity at the time of delivery being a predetermined or more illumination difference (No in step S34). In this case, the overhead image 100 is not displayed. If the display control device 40 determines that the illuminance at the time of entry and the illuminance at the time of exit are equal to or greater than a predetermined illuminance difference (Yes in step S34), the display control device 40 proceeds to step S35. The illuminance difference equal to or greater than a predetermined value is a difference from a high illuminance state to a low illuminance state.

上述したように、本実施形態は、比較部45が、入庫時の照度と出庫時の照度とが所定以上の照度差であると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、入庫時の照度と出庫時の照度とが所定以上の照度差であるとき、適切に俯瞰映像100を表示させることができる。これにより、入庫時の照度と出庫時の照度とが所定以上の照度差があって、周囲の視認性が低下したとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像100によって車両V1の周辺を適切に確認することができる。   As described above, in the present embodiment, when the comparison unit 45 determines that the illuminance at the time of entering and the illuminance at the time of leaving are equal to or greater than a predetermined illuminance, the overhead view video 100 generated by the overhead view video generating unit 44 is generated. It is displayed on the display panel 31. Thus, this embodiment can display the bird's-eye view image 100 appropriately when the illuminance at the time of entry and the illuminance at the time of exit are equal to or greater than a predetermined illuminance. Thereby, even if there is an illuminance difference of a predetermined level or more between the illuminance at the time of entry and the illuminance at the time of exit, and the visibility of the surroundings is lowered, The vicinity of the vehicle V1 can be appropriately confirmed.

[第三実施形態]
図6を参照しながら、本実施形態に係る表示制御システム1について説明する。図6は、第三実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム1は、出庫時に降水によって視認性が入庫時より低下しているときに俯瞰映像100を表示する点で第一実施形態と異なる。
[Third embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the third embodiment. The display control system 1 is different from the first embodiment in that the bird's-eye view image 100 is displayed when the visibility is lowered due to precipitation at the time of delivery when compared with the time of entry.

視認性情報取得部43は、入庫時の現在位置の天候を示す情報である第一視認性情報、および、出庫時の現在位置の天候を示す情報である第二視認性情報を取得する。例えば、視認性情報取得部43は、車両V1に配置された降水センサによる検出情報、ワイパーの動作情報、および、通信網を介して取得した天候情報の少なくともいずれかに基づいて、現在位置の天候を取得してもよい。または、例えば、視認性情報取得部43は、映像データ取得部41で取得した周辺映像データに画像処理を行って現在位置の天候を取得してもよい。   The visibility information acquisition part 43 acquires the 1st visibility information which is the information which shows the weather of the present position at the time of warehousing, and the 2nd visibility information which is the information which shows the weather of the present position at the time of warehousing. For example, the visibility information acquisition unit 43 determines the weather at the current position based on at least one of detection information from a precipitation sensor disposed in the vehicle V1, operation information of the wiper, and weather information acquired via a communication network. May be obtained. Alternatively, for example, the visibility information acquisition unit 43 may acquire the weather at the current position by performing image processing on the peripheral video data acquired by the video data acquisition unit 41.

俯瞰映像生成部44は、比較部45が、天候の変化によって出庫時に入庫時より視認性が低下していると判定した場合、俯瞰映像100を生成する。本実施形態では、俯瞰映像生成部44は、比較部45が、出庫時に降水によって視認性が入庫時より出庫時に降水によって視認性が入庫時より低下していると判定した場合、俯瞰映像100を生成する。   The overhead view video generation unit 44 generates the overhead view video 100 when the comparison unit 45 determines that the visibility is lower than that at the time of warehousing due to a change in weather. In this embodiment, when the comparison unit 45 determines that the visibility is lower due to precipitation at the time of warehousing than at the time of warehousing due to precipitation at the time of warehousing, the comparison unit 45 displays the overhead view video 100. Generate.

比較部45は、入庫時の現在位置の天候と出庫時の現在位置の天候とを比較して、天候の変化によって出庫時に入庫時より視認性が低下しているか否かを判定する。本実施形態では、比較部45は、入庫時の現在位置の天候と出庫時の現在位置の天候とを比較して、出庫時に降水によって視認性が入庫時より低下しているか否かを判定する。   The comparison unit 45 compares the weather at the current position at the time of warehousing with the weather at the current position at the time of warehousing, and determines whether or not the visibility is lower than that at the time of warehousing due to a change in weather. In the present embodiment, the comparison unit 45 compares the weather at the current position at the time of warehousing with the weather at the current position at the time of warehousing, and determines whether the visibility is lowered due to precipitation at the time of warehousing. .

表示制御部48は、比較部45が、天候の変化によって出庫時に入庫時より視認性が低下していると判定した場合、俯瞰映像100を表示パネル31に表示させる。本実施形態では、表示制御部48は、比較部45が、出庫時に降水によって視認性が入庫時より低下していると判定した場合、俯瞰映像100を表示パネル31に表示させる。   The display control unit 48 causes the display panel 31 to display the bird's-eye view video 100 when the comparison unit 45 determines that the visibility is lower than that at the time of warehousing due to a change in weather. In the present embodiment, the display control unit 48 causes the display panel 31 to display the bird's-eye view video 100 when the comparison unit 45 determines that the visibility is lower than that at the time of warehousing due to precipitation at the time of delivery.

次に、図6を用いて、表示制御システム1の表示制御装置40における処理の流れについて説明する。ステップS41ないしステップS43、ステップS45ないしステップS48の処理は、図4に示すフローチャートのステップS21ないしステップS23、ステップS25ないしステップS28と同様の処理を行う。   Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIG. Steps S41 through S43 and steps S45 through S48 are the same as steps S21 through S23 and steps S25 through S28 in the flowchart shown in FIG.

表示制御装置40は、比較部45による比較の結果、出庫時に降水によって視認性が入庫時より低下しているか否かを判定する(ステップS44)。表示制御装置40は、出庫時に降水によって視認性が入庫時より低下していないと判定した場合(ステップS44でNo)、処理を終了する。この場合、俯瞰映像100は表示されない。表示制御装置40は、出庫時に降水によって視認性が入庫時より低下していると判定した場合(ステップS44でYes)、ステップS45に進む。   As a result of the comparison by the comparison unit 45, the display control device 40 determines whether or not the visibility is lowered due to the precipitation at the time of delivery, compared to the time of entry (step S44). If the display control device 40 determines that the visibility is not lowered due to precipitation at the time of delivery (No in step S44), the process ends. In this case, the overhead image 100 is not displayed. When the display control device 40 determines that the visibility is lower than that at the time of warehousing due to precipitation at the time of delivery, the display control device 40 proceeds to step S45.

上述したように、本実施形態は、比較部45が、出庫時に降水によって視認性が入庫時より低下していると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、出庫時に降水によって視認性が入庫時より低下しているとき、適切に俯瞰映像100を表示させることができる。これにより、降水によって周囲の視認性が低下したとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像100によって車両V1の周辺を適切に確認することができる。   As described above, according to the present embodiment, when the comparison unit 45 determines that the visibility is lowered due to precipitation at the time of delivery, the overhead view image 100 generated by the overhead view image generation unit 44 is displayed on the display panel 31. Display. Thus, this embodiment can display the bird's-eye view image 100 appropriately when the visibility is lowered due to precipitation at the time of delivery, as compared with the time of entry. Thereby, even if the visibility of the surroundings is reduced due to precipitation, the driver can appropriately check the periphery of the vehicle V1 by the bird's-eye view image 100 in addition to the visual check or the confirmation by the mirror.

[第四実施形態]
図7を参照しながら、本実施形態に係る表示制御システム1について説明する。図7は、第四実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム1は、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下しているときに俯瞰映像100を表示する点で第一実施形態と異なる。
[Fourth embodiment]
The display control system 1 according to the present embodiment will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of a process flow in the display control apparatus of the display control system according to the fourth embodiment. The display control system 1 is different from the first embodiment in that the bird's-eye view image 100 is displayed when visibility is lowered due to freezing of the window glass at the time of delivery.

ウィンドガラスは、車両V1の前後および左右の少なくともいずれかの窓ガラスを含む。ウィンドガラスは、ウィンドシールドを含む。ウィンドガラスは、車両V1の外部を透過して視認可能な部分を示す。   The window glass includes at least one of the front and rear window glasses and the left and right window glasses of the vehicle V1. The windshield includes a windshield. The window glass indicates a portion that is visible through the outside of the vehicle V1.

視認性情報取得部43は、入庫時の車両V1のウィンドガラスの凍結状態を示す情報である第一視認性情報、および、出庫時の車両V1のウィンドガラスの凍結状態を示す情報第二視認性情報を取得する。例えば、視認性情報取得部43は、車両V1に配置されたデフロスタおよびデフォッガの動作情報、温度計で測定した外気の温度情報、通信網を介して取得した天候情報の少なくともいずれかに基づいて、ウィンドガラスの凍結状態を示す情報を取得してもよい。または、例えば、視認性情報取得部43は、映像データ取得部41で取得した周辺映像データに画像処理を行ってウィンドガラスの凍結状態を示す情報を取得してもよい。   The visibility information acquisition part 43 is the 1st visibility information which is the information which shows the frozen state of the window glass of the vehicle V1 at the time of warehousing, and the information 2nd visibility which shows the frozen state of the window glass of the vehicle V1 at the time of warehousing Get information. For example, the visibility information acquisition unit 43 is based on at least one of the operation information of the defroster and the defogger arranged in the vehicle V1, the temperature information of the outside air measured with a thermometer, and the weather information acquired through the communication network. Information indicating the frozen state of the window glass may be acquired. Alternatively, for example, the visibility information acquisition unit 43 may perform image processing on the peripheral video data acquired by the video data acquisition unit 41 to acquire information indicating the frozen state of the window glass.

俯瞰映像生成部44は、比較部45が、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下していると判定した場合、俯瞰映像100を生成する。   The overhead image generation unit 44 generates the overhead image 100 when the comparison unit 45 determines that the visibility is lower than that at the time of entry due to freezing of the window glass at the time of delivery.

比較部45は、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下しているか否かを判定する。   The comparison unit 45 determines whether or not the visibility is lower than that at the time of entry due to the freezing of the window glass at the time of delivery.

表示制御部48は、比較部45が、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下していると判定した場合、俯瞰映像100を表示パネル31に表示させる。   The display control unit 48 causes the display panel 31 to display the bird's-eye view video 100 when the comparison unit 45 determines that the visibility is lower than that at the time of warehousing due to freezing of the window glass at the time of delivery.

次に、図7を用いて、表示制御システム1の表示制御装置40における処理の流れについて説明する。ステップS51ないしステップS53、ステップS55ないしステップS58の処理は、図4に示すフローチャートのステップS21ないしステップS23、ステップS25ないしステップS28と同様の処理を行う。   Next, the flow of processing in the display control device 40 of the display control system 1 will be described with reference to FIG. Steps S51 to S53 and steps S55 to S58 are the same as steps S21 to S23 and steps S25 to S28 in the flowchart shown in FIG.

表示制御装置40は、比較部45による比較の結果、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下しているか否かを判定する(ステップS54)。表示制御装置40は、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下していないと判定した場合(ステップS54でNo)、処理を終了する。この場合、俯瞰映像100は表示されない。表示制御装置40は、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下していると判定した場合(ステップS54でYes)、ステップS55に進む。   As a result of the comparison by the comparison unit 45, the display control device 40 determines whether or not the visibility is lower than that at the time of entry due to freezing of the window glass at the time of delivery (step S54). If the display control device 40 determines that the visibility is not lower than that at the time of warehousing due to freezing of the window glass at the time of delivery (No in step S54), the process is terminated. In this case, the overhead image 100 is not displayed. If the display control device 40 determines that the visibility is lower than that at the time of warehousing due to freezing of the window glass at the time of delivery (Yes in step S54), the process proceeds to step S55.

上述したように、本実施形態は、比較部45が、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下していると判定した場合、俯瞰映像生成部44が生成する俯瞰映像100を表示パネル31に表示させる。このように、本実施形態は、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下しているとき、適切に俯瞰映像100を表示させることができる。これにより、ウィンドガラスの凍結によって周囲の視認性が低下したとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像100によって車両V1の周辺を適切に確認することができる。   As described above, in the present embodiment, when the comparison unit 45 determines that the visibility is lower than that at the time of entry due to freezing of the window glass at the time of delivery, the overhead view image 100 generated by the overhead view image generation unit 44 is displayed. Display on the panel 31. Thus, this embodiment can display the bird's-eye view image 100 appropriately when the visibility is lower than that at the time of entry due to freezing of the window glass at the time of delivery. As a result, even if the visibility of the surroundings is reduced due to the freezing of the window glass, the driver can appropriately confirm the periphery of the vehicle V1 by the overhead view image 100 in addition to the visual confirmation or the confirmation by the mirror.

特に、デフロスタおよびデフォッガを動作させても、動作時間や温度などの条件によっては、後部座席側方のガラスの視認性を向上することが難しいことがある。本実施形態によれば、このような場合、俯瞰映像100が表示されるので、車両V1の周辺を適切に確認することができる。   In particular, even if the defroster and the defogger are operated, it may be difficult to improve the visibility of the glass on the side of the rear seat depending on conditions such as operation time and temperature. According to the present embodiment, in such a case, the bird's-eye view video 100 is displayed, so that the vicinity of the vehicle V1 can be appropriately confirmed.

[第五実施形態]
図8、図9を参照しながら、本実施形態に係る表示制御システム1Aについて説明する。図8は、第五実施形態に係る表示制御システムの構成例を示すブロック図である。図9は、第五実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム1Aは、生成する俯瞰映像100において、検出した障害物である隣接車両を強調表示する点で第一実施形態と異なる。
[Fifth embodiment]
The display control system 1A according to the present embodiment will be described with reference to FIGS. FIG. 8 is a block diagram illustrating a configuration example of a display control system according to the fifth embodiment. FIG. 9 is a diagram illustrating an example of a bird's-eye view image generated by the display control device of the display control system according to the fifth embodiment. The display control system 1A differs from the first embodiment in that the adjacent vehicle that is the detected obstacle is highlighted in the overhead image 100 to be generated.

表示制御システム1Aは、センサユニット50Aをさらに備える。   The display control system 1A further includes a sensor unit 50A.

センサユニット50Aは、車両V1の周囲に設置された複数のセンサを含む。センサユニット50Aは、車両V1に隣接する全方位の障害物を検出可能である。本実施形態では、センサユニット50Aは、車両V1に隣接する障害物として、隣接する駐車区画に存在する隣接車両を検出する。本実施形態では、センサユニット50Aは、前方中央センサと前方左センサと前方右センサと後方中央センサと後方左センサと後方右センサと左側方センサと右側方センサとが配置されている。各センサは同様に構成されているため、前方中央センサについて説明し、他のセンサについては説明を省略する。   The sensor unit 50A includes a plurality of sensors installed around the vehicle V1. The sensor unit 50A can detect obstacles in all directions adjacent to the vehicle V1. In the present embodiment, the sensor unit 50A detects an adjacent vehicle existing in an adjacent parking section as an obstacle adjacent to the vehicle V1. In the present embodiment, the sensor unit 50A includes a front center sensor, a front left sensor, a front right sensor, a rear center sensor, a rear left sensor, a rear right sensor, a left side sensor, and a right side sensor. Since each sensor is configured in the same manner, the front center sensor will be described, and description of the other sensors will be omitted.

前方中央センサは、車両V1の前方中央に配置され、車両V1の前方中央における障害物を検出する。前方中央センサは、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。前方中央センサは、例えば、車両V1から5m程度までの距離の隣接車両を検出する。前方中央センサは、鉛直方向視において、センサの中央部を中心とした、例えば、40°程度の範囲の隣接車両を検出する。前方中央センサの検出範囲は、前方左センサおよび前方右センサの検出範囲の一部と重複していてもよい。前方中央センサは、検出結果である障害物情報を表示制御装置40Aの隣接情報取得部46Aへ出力する。   The front center sensor is disposed at the front center of the vehicle V1 and detects an obstacle at the front center of the vehicle V1. The front center sensor is, for example, an infrared sensor, an ultrasonic sensor, a millimeter wave radar, or the like, and may be configured by a combination thereof. The front center sensor detects, for example, an adjacent vehicle having a distance of about 5 m from the vehicle V1. The front center sensor detects an adjacent vehicle in a range of, for example, about 40 ° with the center of the sensor as the center when viewed in the vertical direction. The detection range of the front center sensor may overlap with a part of the detection range of the front left sensor and the front right sensor. The front center sensor outputs obstacle information as a detection result to the adjacent information acquisition unit 46A of the display control device 40A.

表示制御装置40Aは、さらに、隣接情報取得部46Aを有する。   The display control device 40A further includes an adjacent information acquisition unit 46A.

隣接情報取得部46Aは、車両V1が入庫状態から前進して出庫するとき、センサユニット50Aから障害物情報を取得する。隣接情報取得部46Aは、出庫時の障害物情報を記憶部49Aに記憶し、比較部45Aに出力する。   The adjacent information acquisition unit 46A acquires obstacle information from the sensor unit 50A when the vehicle V1 moves forward from the storage state and exits. 46A of adjacent information acquisition parts memorize | store the obstacle information at the time of leaving in the memory | storage part 49A, and output it to the comparison part 45A.

合成処理部443Aは、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両を強調した俯瞰映像100を生成する。例えば、合成処理部443Aは、検出した隣接車両を着色したり、太い線で囲ったりすることで強調表示する。または、表示制御部48Aが、比較部45Aによる判定結果を受けて、合成処理部443Aに検出した隣接車両を強調した俯瞰映像100を生成させる。   When the comparison unit 45A determines that the illuminance is lower than when entering the vehicle V1 when the vehicle V1 leaves the building processing unit 443A, the combining processing unit 443A generates the overhead view video 100 that emphasizes the detected adjacent vehicle. For example, the compositing processing unit 443A highlights the detected adjacent vehicle by coloring it or surrounding it with a thick line. Alternatively, the display control unit 48A receives the determination result by the comparison unit 45A and causes the synthesis processing unit 443A to generate the overhead view video 100 that emphasizes the detected adjacent vehicle.

表示制御部48Aは、検出された隣接車両を強調表示した俯瞰映像100を表示パネル31に表示させる。   The display control unit 48A causes the display panel 31 to display a bird's-eye view image 100 that highlights the detected adjacent vehicle.

図9を用いて、俯瞰映像100について説明する。俯瞰映像100は、検出した隣接車両Veが着色されて強調表示されている。   The overhead view video 100 will be described with reference to FIG. In the bird's-eye view image 100, the detected adjacent vehicle Ve is colored and highlighted.

上述したように、本実施形態によれば、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両が強調表示された俯瞰映像100を表示パネル31に表示させる。本実施形態は、入庫時と出庫時とで照度が低下したときに、検出した隣接車両を容易に把握することができる。本実施形態によれば、俯瞰映像100において、隣接車両を認識しやすいので、照度が低下していても、運転者が出庫時に留意すべき点を容易に確認することができる。   As described above, according to the present embodiment, when the comparison unit 45A determines that the illuminance is lower than when the vehicle V1 leaves the vehicle, the bird's-eye view image 100 highlights the detected adjacent vehicle. Is displayed on the display panel 31. This embodiment can grasp | ascertain easily the adjacent vehicle detected when illumination intensity fell at the time of warehousing and at the time of warehousing. According to this embodiment, in the bird's-eye view image 100, it is easy to recognize an adjacent vehicle, so that even if the illuminance is low, it is possible to easily confirm the points that the driver should pay attention to when leaving the vehicle.

[第六実施形態]
図10を参照しながら、本実施形態に係る表示制御システム1Aについて説明する。図10は、第六実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム1Aは、基本的な構成は第五実施形態の表示制御システム1Aと同様である。表示制御システム1Aは、生成する俯瞰映像100において、検出した隣接車両の存在する方向を報知する報知アイコン120を表示する点で第五実施形態と異なる。
[Sixth embodiment]
A display control system 1A according to the present embodiment will be described with reference to FIG. FIG. 10 is a diagram illustrating an example of an overhead video generated by the display control device of the display control system according to the sixth embodiment. The basic configuration of the display control system 1A is the same as that of the display control system 1A of the fifth embodiment. The display control system 1A is different from the fifth embodiment in that a notification icon 120 for notifying the direction in which the detected adjacent vehicle exists is displayed in the overhead image 100 to be generated.

合成処理部443Aは、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両が存在する方向を示す報知アイコン120を表示した俯瞰映像100を生成する。例えば、合成処理部443Aは、矢印形状の報知アイコン120を表示させる。   When the comparison unit 45A determines that the illuminance is lower than when entering the vehicle V1 when the vehicle V1 leaves, the composition processing unit 443A displays the overhead view image that displays the notification icon 120 that indicates the direction in which the detected adjacent vehicle exists. 100 is generated. For example, the compositing processing unit 443A displays an arrow-shaped notification icon 120.

表示制御部48Aは、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両の方向を示す報知アイコン120を含む俯瞰映像100を表示パネル31に表示させる。   48 A of display control parts display the bird's-eye view image 100 containing the alert | report icon 120 which shows the direction of the detected adjacent vehicle, when 45 A of comparison parts determine with the illumination intensity falling from the time of warehousing when the vehicle V1 leaves. Display on the panel 31.

図10を用いて、俯瞰映像100について説明する。本実施形態では、表示範囲外の右前方の隣接車両が検出されたものとする。俯瞰映像100は、検出した隣接車両が存在する方向を示す報知アイコン120が表示されている。   The overhead view image 100 will be described with reference to FIG. In the present embodiment, it is assumed that an adjacent vehicle on the right front outside the display range is detected. In the bird's-eye view video 100, a notification icon 120 indicating the direction in which the detected adjacent vehicle exists is displayed.

上述したように、本実施形態によれば、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両が存在する方向を示す報知アイコン120を表示した俯瞰映像100を表示パネル31に表示させる。本実施形態は、俯瞰映像100に検出した隣接車両が表示されていない場合でも、隣接車両が存在する方向を容易に把握することができる。本実施形態によれば、俯瞰映像100に表示されていなくても検出した隣接車両を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。   As described above, according to the present embodiment, when the comparison unit 45A determines that the illuminance is lower than when the vehicle V1 leaves, the notification icon indicating the direction in which the detected adjacent vehicle is present. The overhead view video 100 displaying 120 is displayed on the display panel 31. In the present embodiment, even when the detected adjacent vehicle is not displayed in the bird's-eye view video 100, the direction in which the adjacent vehicle exists can be easily grasped. According to the present embodiment, it is easy to recognize the detected adjacent vehicle even if it is not displayed in the bird's-eye view video 100, so that it is possible to easily confirm the points that the driver should pay attention to when leaving.

[第七実施形態]
図11を参照しながら、本実施形態に係る表示制御システム1Aについて説明する。図11は、第七実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。表示制御システム1Aは、基本的な構成は第五実施形態の表示制御システム1Aと同様である。表示制御システム1Aは、生成する俯瞰映像100において、検出した隣接車両が表示範囲に含まれるように表示範囲を変更した俯瞰映像100を表示する点で第一実施形態と異なる。
[Seventh embodiment]
The display control system 1A according to the present embodiment will be described with reference to FIG. FIG. 11 is a diagram illustrating an example of an overhead video generated by the display control device of the display control system according to the seventh embodiment. The basic configuration of the display control system 1A is the same as that of the display control system 1A of the fifth embodiment. The display control system 1A is different from the first embodiment in that, in the overhead view image 100 to be generated, the overhead view image 100 in which the display range is changed so that the detected adjacent vehicle is included in the display range is displayed.

切出処理部442は、視点変換処理を行った周辺映像データから、検出した隣接車両が表示範囲に含まれるような切出範囲で切出し処理を行う。検出した隣接車両は、俯瞰映像100の表示範囲に一部分が含まれていればよい。   The cut-out processing unit 442 performs the cut-out process in the cut-out range in which the detected adjacent vehicle is included in the display range from the peripheral video data subjected to the viewpoint conversion process. The detected adjacent vehicle only needs to be partially included in the display range of the overhead view video 100.

表示制御部48Aは、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両を含むように表示範囲を変更した俯瞰映像100を表示パネル31に表示させる。   48 A of display control parts display the bird's-eye view image 100 which changed the display range so that the adjacent vehicle detected may be included, when the comparison part 45A determines with the illumination intensity falling from the time of warehousing when the vehicle V1 leaves. Display on the panel 31.

図11を用いて、俯瞰映像100について説明する。本実施形態では、右前方の隣接車両Vcを検出したものとする。俯瞰映像100は、検出した隣接車両Vcが表示されるように表示範囲を前方に広くした俯瞰映像100が表示されている。   The overhead view video 100 will be described with reference to FIG. In the present embodiment, it is assumed that the right front adjacent vehicle Vc is detected. In the bird's-eye view image 100, the bird's-eye view image 100 with the display range widened forward is displayed so that the detected adjacent vehicle Vc is displayed.

上述したように、本実施形態によれば、比較部45Aが、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、検出した隣接車両が表示されるように表示範囲を変更した俯瞰映像100を表示パネル31に表示させる。本実施形態によれば、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、入庫時から変化した点を認識しやすいので、運転者が出庫時に留意すべき点を容易に確認することができる。   As described above, according to the present embodiment, when the comparison unit 45A determines that the illuminance is lower than when entering the vehicle V1 when leaving the vehicle, the display range is displayed so that the detected adjacent vehicle is displayed. Is displayed on the display panel 31. According to the present embodiment, when it is determined that the illuminance is lower than at the time of entry when the vehicle V1 leaves, it is easy to recognize a point that has changed since the entry, so that the driver should be careful when leaving It can be easily confirmed.

図示した表示制御システム1および表示制御システム1Aの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。   The constituent elements of the display control system 1 and the display control system 1A shown in the drawings are functionally conceptual and may not necessarily be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.

表示制御システム1および表示制御システム1Aの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。   The configurations of the display control system 1 and the display control system 1A are realized by, for example, a program loaded in a memory as software. The above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。   The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the structures described above can be appropriately combined. In addition, various omissions, substitutions, or changes in the configuration can be made without departing from the scope of the present invention.

視認性情報取得部43は、照度センサ21から第一視認性情報および第二視認性情報を取得するものとして説明したが、これに限定されない。視認性情報取得部43は、映像データ取得部41で取得した映像データに画像処理を行って、車両V1の周囲の照度を認識し、第一視認性情報および第二視認性情報として取得してもよい。   Although the visibility information acquisition part 43 demonstrated as what acquires 1st visibility information and 2nd visibility information from the illumination intensity sensor 21, it is not limited to this. The visibility information acquisition unit 43 performs image processing on the video data acquired by the video data acquisition unit 41, recognizes the illuminance around the vehicle V1, and acquires it as first visibility information and second visibility information. Also good.

俯瞰映像生成部44は、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、図示しない赤外光カメラで車両V1の周囲を撮影した映像データに基づいて視認性を高めた俯瞰映像を生成してもよい。または、俯瞰映像生成部44は、車両V1が出庫する際に入庫時より照度が低下していると判定した場合、映像データ取得部41で取得した映像データに画像処理を行って視認性を高めた俯瞰映像を生成してもよい。   When the bird's-eye view image generation unit 44 determines that the illuminance is lower than when the vehicle V1 leaves the vehicle when the vehicle V1 leaves the vehicle, the visibility is increased based on video data obtained by photographing the surroundings of the vehicle V1 with an infrared camera (not shown). An enhanced overhead view video may be generated. Alternatively, when it is determined that the illuminance is lower than when the vehicle V1 leaves the vehicle V1 when the vehicle V1 leaves, the overhead view image generator 44 performs image processing on the video data acquired by the video data acquisition unit 41 to increase visibility. Alternatively, an overhead view image may be generated.

第三実施形態において、出庫時に降水によって視認性が入庫時より低下しているときに俯瞰映像100を表示するものとしたが、霧の発生により視認性が低下しているときに俯瞰映像100を表示してもよい。   In the third embodiment, the bird's-eye view image 100 is displayed when the visibility is lowered due to precipitation at the time of delivery, but when the visibility is lowered due to the occurrence of fog, the bird's-eye view image 100 is displayed. It may be displayed.

第一視認性情報は、車両V1が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一視認性情報は、車両V1が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両V1の周囲の障害物の情報を取得してもよい。   The first visibility information has been described as being acquired when the vehicle V1 moves backward and enters, but the first visibility information is not limited thereto. The first visibility information may acquire information on obstacles around the vehicle V1 at the time of completion of warehousing based on information obtained during the parking operation in which the vehicle V1 is retracted and entered.

さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両V1の現在位置情報とから、車両V1の現在位置が駐車場であると判定された場合、または、映像データ取得部41で取得した映像データに画像処理を行って、車両V1の現在位置が駐車場であると判定された場合、車両V1が入庫したと判定してもよい。   Furthermore, for example, when it is determined from the map information of the navigation system (not shown) and the current position information of the vehicle V1 that the current position of the vehicle V1 is a parking lot, or the video data acquired by the video data acquisition unit 41 When image processing is performed and it is determined that the current position of the vehicle V1 is a parking lot, it may be determined that the vehicle V1 has entered.

1 表示制御システム
11 前方カメラ(撮影部)
12 後方カメラ(撮影部)
13 左側方カメラ(撮影部)
14 右側方カメラ(撮影部)
21 照度センサ
31 表示パネル(表示部)
40 表示制御装置
41 映像データ取得部
42 自車両情報取得部
43 視認性情報取得部
44 俯瞰映像生成部
45 比較部
48 表示制御部
49 記憶部
1 Display control system 11 Front camera (shooting unit)
12 Rear camera (shooting unit)
13 Left-side camera (shooting unit)
14 Right-side camera (shooting unit)
21 Illuminance sensor 31 Display panel (display unit)
DESCRIPTION OF SYMBOLS 40 Display control apparatus 41 Image | video data acquisition part 42 Own vehicle information acquisition part 43 Visibility information acquisition part 44 Overhead view image generation part 45 Comparison part 48 Display control part 49 Memory | storage part

Claims (13)

車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、
前記車両が後退して入庫したときにおける前記車両の周囲の視認性を示す情報である第一視認性情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の視認性を示す情報である第二視認性情報を取得する視認性情報取得部と、
前記第一視認性情報と前記第二視認性情報とを比較して、前記車両の入庫時と出庫時の前記車両の周囲の視認性を比較する比較部と、
前記比較部が、前記車両が出庫するときの前記第二視認性情報が前記第一視認性情報より視認性が低下していると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする表示制御装置。
A video data acquisition unit that acquires video data from a plurality of imaging units that shoot around the vehicle;
A bird's-eye view video generation unit that generates a bird's-eye view video by performing viewpoint conversion processing and synthesis processing on the video data acquired by the video data acquisition unit;
First visibility information that is information indicating visibility around the vehicle when the vehicle moves backward and enters the vehicle, and visibility around the vehicle when the vehicle moves forward from the storage state and exits the vehicle A visibility information acquisition unit that acquires second visibility information that is information indicating
A comparison unit that compares the first visibility information with the second visibility information, and compares the visibility of the surroundings of the vehicle at the time of entry and exit of the vehicle,
When the comparison unit determines that the second visibility information when the vehicle leaves the vehicle is less visible than the first visibility information, the overhead image generation unit generates when the vehicle leaves. A display control unit for displaying a bird's-eye view video on the display unit;
A display control apparatus comprising:
前記視認性情報取得部は、入庫時の車両の周囲の照度情報を前記第一視認性情報として、出庫時の車両の周囲の照度情報を前記第二視認性情報として取得し、
前記比較部は、入庫時の車両の周囲の照度と出庫時の車両の周囲の照度とを比較して、出庫時の照度が入庫時の照度より低下しているか否かを判定し、
前記表示制御部は、前記比較部が、出庫時の照度が入庫時の照度より低下していると判定した場合、俯瞰映像を表示部に表示させる、
請求項1に記載の表示制御装置。
The visibility information acquisition unit acquires illuminance information around the vehicle at the time of entry as the first visibility information, and illuminance information around the vehicle at the time of exit as the second visibility information,
The comparison unit compares the illuminance around the vehicle at the time of entry with the illuminance around the vehicle at the time of exit, and determines whether the illuminance at the time of exit is lower than the illuminance at the time of entry,
The display control unit, when the comparison unit determines that the illuminance at the time of leaving is lower than the illuminance at the time of warehousing, displays the overhead image on the display unit
The display control apparatus according to claim 1.
前記比較部は、入庫時の車両の周囲の照度と出庫時の車両の周囲の照度とを比較して、入庫時が昼間の照度であり、出庫時が夜間の照度であるか否かを判定し、
前記表示制御部は、前記比較部が、入庫時が昼間の照度であり、出庫時が夜間の照度であると判定した場合、俯瞰映像を表示部に表示させる、
請求項2に記載の表示制御装置。
The comparison unit compares the illuminance around the vehicle at the time of warehousing with the illuminance around the vehicle at the time of warehousing, and determines whether the illuminance is daytime illuminance and the illuminance is nighttime illuminance. And
If the display control unit determines that the illuminance at daytime is illuminance at daytime and the illuminance at night time is at night, the display control unit causes the display unit to display a bird's-eye view image.
The display control apparatus according to claim 2.
前記比較部は、入庫時の車両の周囲の照度と出庫時の車両の周囲の照度とを比較して、入庫時の照度と出庫時の照度とが所定以上の照度差であるか否かを判定し、
前記表示制御部は、前記比較部が、入庫時の照度と出庫時の照度とが所定以上の照度差であると判定した場合、俯瞰映像を表示部に表示させる、
請求項2に記載の表示制御装置。
The comparison unit compares the illuminance around the vehicle at the time of warehousing with the illuminance around the vehicle at the time of warehousing, and whether or not the illuminance at the time of warehousing and the illuminance at the time of leaving is a predetermined illuminance difference or not. Judgment,
The display control unit causes the display unit to display a bird's-eye view video when the comparison unit determines that the illuminance at the time of warehousing and the illuminance at the time of warehousing is a predetermined illuminance difference or more,
The display control apparatus according to claim 2.
前記視認性情報取得部は、前記車両の周囲における路面の照度を取得する、
請求項2から4のいずれか一項に記載の表示制御装置。
The visibility information acquisition unit acquires the illuminance of the road surface around the vehicle.
The display control apparatus as described in any one of Claim 2 to 4.
前記視認性情報取得部は、入庫時の現在位置の天候を示す情報を前記第一視認性情報として、出庫時の現在位置の天候を示す情報を前記第二視認性情報として取得し、
前記比較部は、入庫時の現在位置の天候と出庫時の現在位置の天候とを比較して、出庫時に降水によって視認性が入庫時より低下しているか否かを判定し、
前記表示制御部は、前記比較部が、出庫時に降水によって視認性が入庫時より低下していると判定した場合、俯瞰映像を表示部に表示させる、
請求項1に記載の表示制御装置。
The visibility information acquisition unit acquires information indicating the weather at the current position at the time of warehousing as the first visibility information, and information indicating the weather at the current position at the time of warehousing as the second visibility information,
The comparison unit compares the weather at the current position at the time of warehousing with the weather at the current position at the time of warehousing, and determines whether or not the visibility is lower than the time of warehousing due to precipitation at the time of warehousing,
The display control unit causes the display unit to display a bird's-eye view video when the comparison unit determines that the visibility is lowered due to precipitation when leaving,
The display control apparatus according to claim 1.
前記視認性情報取得部は、入庫時の車両のウィンドガラスの凍結状態を示す情報を前記第一視認性情報として、出庫時の車両のウィンドガラスの凍結状態を示す情報を前記第二視認性情報として取得し、
前記比較部は、入庫時の車両のウィンドガラスの凍結状態を示す情報と出庫時の車両のウィンドガラスの凍結状態を示す情報とを比較して、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下しているか否かを判定し、
前記表示制御部は、前記比較部が、出庫時にウィンドガラスの凍結によって視認性が入庫時より低下していると判定した場合、俯瞰映像を表示部に表示させる、
請求項1に記載の表示制御装置。
The visibility information acquisition unit uses the information indicating the frozen state of the windshield of the vehicle at the time of entry as the first visibility information, and the information indicating the frozen state of the windshield of the vehicle at the time of delivery as the second visibility information. Get as
The comparison unit compares the information indicating the frozen state of the vehicle window glass at the time of entry with the information indicating the frozen state of the window glass of the vehicle at the time of delivery, and the visibility is determined by the freezing of the window glass at the time of delivery. To determine whether it is lower,
The display control unit causes the display unit to display a bird's-eye view video when the comparison unit determines that the visibility is lower than that at the time of warehousing due to freezing of the window glass at the time of warehousing.
The display control apparatus according to claim 1.
前記車両の出庫時における前記車両近傍の障害物を検出する障害物検出部によって検出された障害物情報を取得する障害物情報取得部、
をさらに備え、
前記表示制御部は、前記比較部が、前記車両が出庫する際の前記第二視認性情報が前記第一視認性情報より視認性が低下していると判断した場合、前記障害物情報取得部が検出した障害物を強調表示した俯瞰映像を表示部に表示させる、
請求項1から7のいずれか一項に記載の表示制御装置。
An obstacle information acquisition unit for acquiring obstacle information detected by an obstacle detection unit for detecting an obstacle in the vicinity of the vehicle when leaving the vehicle;
Further comprising
When the display control unit determines that the second visibility information when the vehicle leaves the vehicle is less visible than the first visibility information, the obstacle information acquisition unit Display a bird's-eye view image highlighting obstacles detected by the
The display control apparatus according to any one of claims 1 to 7.
前記車両の出庫時における前記車両近傍の障害物を検出する障害物検出部によって検出された障害物情報を取得する障害物情報取得部、
をさらに備え、
前記表示制御部は、前記比較部が、前記車両が出庫する際の前記第二視認性情報が前記第一視認性情報より視認性が低下していると判断した場合、前記障害物情報取得部が検出した障害物の方向を示す情報を含む俯瞰映像を表示部に表示させる、
請求項1から7のいずれか一項に記載の表示制御装置。
An obstacle information acquisition unit for acquiring obstacle information detected by an obstacle detection unit for detecting an obstacle in the vicinity of the vehicle when leaving the vehicle;
Further comprising
When the display control unit determines that the second visibility information when the vehicle leaves the vehicle is less visible than the first visibility information, the obstacle information acquisition unit Display a bird's-eye view image including information indicating the direction of the obstacle detected by the
The display control apparatus according to any one of claims 1 to 7.
前記車両の出庫時における前記車両近傍の障害物を検出する障害物検出部によって検出された障害物情報を取得する障害物情報取得部、
をさらに備え、
前記表示制御部は、前記比較部が、前記車両が出庫する際の前記第二視認性情報が前記第一視認性情報より視認性が低下していると判断した場合、前記障害物情報取得部が検出した障害物を含むように表示範囲を変更した俯瞰映像を表示部に表示させる、
請求項1から7のいずれか一項に記載の表示制御装置。
An obstacle information acquisition unit for acquiring obstacle information detected by an obstacle detection unit for detecting an obstacle in the vicinity of the vehicle when leaving the vehicle;
Further comprising
When the display control unit determines that the second visibility information when the vehicle leaves the vehicle is less visible than the first visibility information, the obstacle information acquisition unit Display a bird's-eye view image with the display range changed to include obstacles detected by
The display control apparatus according to any one of claims 1 to 7.
請求項1から10のいずれか一項に記載の表示制御装置と、
前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示制御システム。
A display control device according to any one of claims 1 to 10,
A plurality of photographing units from which the video data obtaining unit obtains video data; and at least one of display units from which the display control unit displays a bird's-eye view video;
A display control system comprising:
車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の周囲の視認性を示す情報である第一視認性情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の視認性を示す情報である第二視認性情報を取得する視認性情報取得ステップと、
前記第一視認性情報と前記第二視認性情報とを比較して、前記車両の入庫時と出庫時の前記車両の周囲の視認性を比較する比較ステップと、
前記比較ステップで、前記車両が出庫するときの前記第二視認性情報が前記第一視認性情報より視認性が低下していると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を含むことを特徴とする表示制御方法。
A video data acquisition step of acquiring video data from a plurality of imaging units that shoot around the vehicle;
A bird's-eye view video generation step for generating a bird's-eye view video by performing viewpoint conversion processing and synthesis processing on the video data acquired in the video data acquisition step;
First visibility information that is information indicating visibility around the vehicle when the vehicle moves backward and enters the vehicle, and visibility around the vehicle when the vehicle moves forward from the storage state and exits the vehicle Visibility information acquisition step of acquiring second visibility information that is information indicating
A comparison step of comparing the first visibility information with the second visibility information and comparing the visibility of the surroundings of the vehicle at the time of entry and exit of the vehicle;
When the comparison step determines that the second visibility information when the vehicle leaves the vehicle is less visible than the first visibility information, the overhead image generation step generates when the vehicle leaves. A display control step for displaying a bird's-eye view video on the display unit;
A display control method comprising:
車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の周囲の視認性を示す情報である第一視認性情報、および、前記車両が入庫状態から前進して出庫するときにおける前記車両の周囲の視認性を示す情報である第二視認性情報を取得する視認性情報取得ステップと、
前記第一視認性情報と前記第二視認性情報とを比較して、前記車両の入庫時と出庫時の前記車両の周囲の視認性を比較する比較ステップと、
前記比較ステップで、前記車両が出庫するときの前記第二視認性情報が前記第一視認性情報より視認性が低下していると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を表示制御装置として動作するコンピュータに実行させるためのプログラム。
A video data acquisition step of acquiring video data from a plurality of imaging units that shoot around the vehicle;
A bird's-eye view video generation step for generating a bird's-eye view video by performing viewpoint conversion processing and synthesis processing on the video data acquired in the video data acquisition step;
First visibility information that is information indicating visibility around the vehicle when the vehicle moves backward and enters the vehicle, and visibility around the vehicle when the vehicle moves forward from the storage state and exits the vehicle Visibility information acquisition step of acquiring second visibility information that is information indicating
A comparison step of comparing the first visibility information with the second visibility information and comparing the visibility of the surroundings of the vehicle at the time of entry and exit of the vehicle;
When the comparison step determines that the second visibility information when the vehicle leaves the vehicle is less visible than the first visibility information, the overhead image generation step generates when the vehicle leaves. A display control step for displaying a bird's-eye view video on the display unit;
For causing a computer that operates as a display control device to execute.
JP2017148469A 2017-07-31 2017-07-31 Display control device, display control system, display control method and program Active JP6763358B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017148469A JP6763358B2 (en) 2017-07-31 2017-07-31 Display control device, display control system, display control method and program
PCT/JP2018/014137 WO2019026348A1 (en) 2017-07-31 2018-04-02 Display control device, display control system, display control method, and program
EP18840930.4A EP3550830B1 (en) 2017-07-31 2018-04-02 Display control device, display control system, display control method, and program
CN201880004577.6A CN109997356B (en) 2017-07-31 2018-04-02 Display control device, display control system, display control method, and program
US16/424,691 US11117520B2 (en) 2017-07-31 2019-05-29 Display control device, display control system, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017148469A JP6763358B2 (en) 2017-07-31 2017-07-31 Display control device, display control system, display control method and program

Publications (2)

Publication Number Publication Date
JP2019029865A true JP2019029865A (en) 2019-02-21
JP6763358B2 JP6763358B2 (en) 2020-09-30

Family

ID=65476688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017148469A Active JP6763358B2 (en) 2017-07-31 2017-07-31 Display control device, display control system, display control method and program

Country Status (1)

Country Link
JP (1) JP6763358B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145658A (en) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド Display control device, display system, display control method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010064546A (en) * 2008-09-09 2010-03-25 Toyota Industries Corp Parking assist device
JP2012056428A (en) * 2010-09-08 2012-03-22 Aisin Seiki Co Ltd Driving support device
JP2013123922A (en) * 2011-12-13 2013-06-24 Mitsubishi Motors Corp Driving support device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010064546A (en) * 2008-09-09 2010-03-25 Toyota Industries Corp Parking assist device
JP2012056428A (en) * 2010-09-08 2012-03-22 Aisin Seiki Co Ltd Driving support device
JP2013123922A (en) * 2011-12-13 2013-06-24 Mitsubishi Motors Corp Driving support device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145658A (en) * 2019-03-08 2020-09-10 株式会社Jvcケンウッド Display control device, display system, display control method, and program
JP7302205B2 (en) 2019-03-08 2023-07-04 株式会社Jvcケンウッド Display control device, display system, display control method and program

Also Published As

Publication number Publication date
JP6763358B2 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
US10147323B2 (en) Driver assistance system with path clearance determination
US11117520B2 (en) Display control device, display control system, display control method, and program
US9697735B2 (en) Drive assistance device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
EP3608179B1 (en) Display control device, display control system, display control method, and program
CN108382305B (en) Image display method and device and vehicle
CN109314765B (en) Display control device for vehicle, display system, display control method, and program
US10688868B2 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
JP2000295604A (en) Rear and side monitoring device for vehicle
US11170234B2 (en) Vehicle display control device, vehicle display system, vehicle display control method, non-transitory storage medium
CN113060156B (en) Vehicle surroundings monitoring device, vehicle surroundings monitoring method, and program
JP6763358B2 (en) Display control device, display control system, display control method and program
JP2009147906A (en) Vehicle periphery monitoring device
JP6825521B2 (en) Display control device, display control system, display control method and program
JP6763357B2 (en) Display control device, display control system, display control method and program
JP6825522B2 (en) Display control device, display control system, display control method and program
JP6763356B2 (en) Display control device, display control system, display control method and program
JP6787272B2 (en) Display control device, display control system, display control method and program
JP7302205B2 (en) Display control device, display system, display control method and program
JP2019110390A (en) Vehicle periphery monitoring device
JP2018160751A (en) Vehicular display control device, vehicular display control system, vehicular display control method, and program
JP2019062414A (en) Overhead video generation device, overhead video generation system, overhead video generation method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6763358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150