JP2010257242A - Image data generation device - Google Patents

Image data generation device Download PDF

Info

Publication number
JP2010257242A
JP2010257242A JP2009106762A JP2009106762A JP2010257242A JP 2010257242 A JP2010257242 A JP 2010257242A JP 2009106762 A JP2009106762 A JP 2009106762A JP 2009106762 A JP2009106762 A JP 2009106762A JP 2010257242 A JP2010257242 A JP 2010257242A
Authority
JP
Japan
Prior art keywords
vehicle
image data
image
imaging
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009106762A
Other languages
Japanese (ja)
Inventor
Masayuki Sato
正行 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009106762A priority Critical patent/JP2010257242A/en
Publication of JP2010257242A publication Critical patent/JP2010257242A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image data generation device for providing more information to a driver or the like without giving a driver who views an image any feeling of incompatibility. <P>SOLUTION: The image data generation device 30A includes: an imaged data obtaining part 31 for obtaining imaged data related with imaging results of at least one camera 11 to 15 installed in a vehicle; a vehicle image data storage part 32 for preliminarily storing vehicle image data related with the image of a vehicle; an image data generation part 33A for generating image data related with an image including the vehicle when it is viewed from the external virtual viewpoint of the vehicle based on the stored vehicle image data and the obtained imaged data; and an output part 34 for outputting the generated imaged data to a display device. The image data generation part 33A generates the imaged data so that the imaging result is synthesized in the image of the vehicle based on the imaged data. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像データ生成装置に関し、特に車両の車室内に設けられた表示装置に画像を表示させるための画像データ生成装置に関する。   The present invention relates to an image data generation device, and more particularly to an image data generation device for displaying an image on a display device provided in a vehicle cabin.

従来、自車両の外観を表す模擬画像と、車両の周囲の撮像結果と、に基づいて、自車両を外部の仮想視点から見た俯瞰画像を自車両の車室内に設けられた表示装置に表示する技術が知られている(特許文献1参照)。   Conventionally, based on a simulated image representing the appearance of the host vehicle and an imaging result around the vehicle, an overhead image obtained by viewing the host vehicle from an external virtual viewpoint is displayed on a display device provided in the cabin of the host vehicle. The technique to do is known (refer patent document 1).

特開2008−210084号公報JP 2008-210084 A

かかる表示技術においては、画像を見る運転者等に違和感を与えることなく、より多くの情報を運転者等に提供することが望まれている。   In such a display technique, it is desired to provide more information to the driver or the like without giving the driver or the like viewing the image a sense of incongruity.

本発明は、前記した要望を鑑みて創案されたものであり、画像を見る運転者等に違和感を与えることなく、より多くの情報を運転者等に提供することが可能な画像データ生成装置を提供することを課題とする。   The present invention was devised in view of the above-described demands, and provides an image data generation device capable of providing more information to a driver or the like without giving the driver or the like viewing the image a sense of incongruity. The issue is to provide.

前記課題を解決するため、本発明の画像データ生成装置は、車両に設けられた少なくとも一つのカメラの撮像結果に関する撮像データを取得する撮像データ取得部と、前記車両の画像に関する車両画像データが予め記憶される車両画像データ記憶部と、記憶された前記車両画像データと、取得された前記撮像データと、に基づいて、前記車両の外部の仮想視点から見た当該車両を含む画像に関する画像データを生成する画像データ生成部と、生成された前記画像データを表示装置へ出力する出力部と、を備え、前記画像データ生成部は、前記撮像データに基づいて、前記撮像結果が前記車両の画像内に合成されるように、前記画像データを生成することを特徴とする。   In order to solve the above-described problem, an image data generation device according to the present invention includes an imaging data acquisition unit that acquires imaging data regarding an imaging result of at least one camera provided in a vehicle, and vehicle image data regarding the image of the vehicle in advance. Based on the stored vehicle image data storage unit, the stored vehicle image data, and the acquired imaging data, image data relating to an image including the vehicle viewed from a virtual viewpoint outside the vehicle. An image data generation unit to generate, and an output unit to output the generated image data to a display device, the image data generation unit, based on the imaging data, the imaging result is within the image of the vehicle The image data is generated so as to be combined with each other.

本発明において、車両の画像は、車両の外観を表す画像であってもよく、車両の輪郭線のみを表す画像であってもよく、車両の輪郭線及び車輪の輪郭線を表す画像であってもよい。かかる構成によると、カメラの撮像結果が合成された車両の画像を表示装置に表示させ、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができる。また、カメラの撮像結果が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、より多くの情報を運転者等に提供することができる。   In the present invention, the vehicle image may be an image representing the appearance of the vehicle, may be an image representing only the contour of the vehicle, or may be an image representing the contour of the vehicle and the contour of the wheel. Also good. According to such a configuration, an image of the vehicle in which the imaging results of the camera are combined can be displayed on the display device, and a realistic image can be shown to the driver or the like, so that the uncomfortable feeling given to the driver or the like can be reduced. it can. Moreover, since the image of the vehicle in which the imaging results of the camera are combined is displayed on the display device, more information can be provided to the driver or the like without causing the driver or the like to see the image feel uncomfortable.

前記撮像データ取得部は、車室内を撮像するカメラから車室内の撮像結果に関する車室内撮像データを取得し、前記画像データ生成部は、前記車室内撮像データに基づいて、前記車室内の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する構成であってもよい。   The imaging data acquisition unit acquires vehicle interior imaging data related to the imaging result of the vehicle interior from a camera that images the vehicle interior, and the image data generation unit is configured to acquire the imaging result of the vehicle interior based on the vehicle interior imaging data. The image data may be generated so that the image data is synthesized in the vehicle image.

かかる構成によると、車室内の画像が合成された車両の画像を表示装置に表示させ、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができる。また、車室内の撮像結果が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、車室内の情報を運転者等に提供することができる。また、車両周辺の状況と車室内の状況とを同時に表示することができるため、表示装置を見る運転者等の視点の移動を少なくすることができる。すなわち、運手者は、振り返ったり、ルームミラーを見ずに、表示装置を見るだけで、車両周辺の状況と車室内の状況とを同時に確認することができるようになる。   According to such a configuration, an image of the vehicle in which the images in the passenger compartment are combined can be displayed on the display device, and a realistic image can be shown to the driver or the like, so that the uncomfortable feeling given to the driver or the like can be reduced. it can. Further, since the image of the vehicle in which the imaging results in the passenger compartment are combined is displayed on the display device, information on the passenger compartment can be provided to the driver or the like without causing the driver or the like who sees the image to feel uncomfortable. Moreover, since the situation around the vehicle and the situation in the passenger compartment can be displayed at the same time, the movement of the viewpoint of the driver or the like who views the display device can be reduced. That is, the operator can check the situation around the vehicle and the situation in the passenger compartment at the same time by simply looking at the display device without looking back or looking at the room mirror.

また、前記撮像データ取得部は、前記車両の周囲を撮像するカメラから前記車両の周囲の撮像結果に関する車両周囲撮像データを取得し、前記車両の周囲の撮像結果が前記車両の画像に映り込む映り込み位置が予め記憶される映り込み位置記憶部をさらに備え、前記画像データ生成部は、前記映り込み位置に基づいて、前記車両の周囲の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する構成であってもよい。   Further, the imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle, and the imaging results around the vehicle are reflected in the image of the vehicle The image data generation unit further includes a reflection position storage unit in which a reflection position is stored in advance, and the image data generation unit is configured to synthesize an imaging result around the vehicle in the image of the vehicle based on the reflection position. The image data may be generated.

かかる構成によると、車両の周囲の撮像結果が映り込みとして合成された車両の画像を表示装置に表示させ、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができる。また、車両の周囲の撮像結果が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、車両の周囲の情報を運転者等に提供することができる。また、仮想視点からは見えない画像を車両への映り込みとして間接的に表示することができるため、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置を見る運転者等へ提供することができる。   According to such a configuration, it is possible to display on the display device a vehicle image synthesized as a result of imaging of the surroundings of the vehicle and to show a realistic image to the driver etc. Can be reduced. In addition, since the image of the vehicle in which the imaging results around the vehicle are combined is displayed on the display device, it is possible to provide information on the surroundings of the vehicle to the driver and the like without giving the driver an uncomfortable feeling. it can. In addition, images that cannot be seen from the virtual viewpoint can be indirectly displayed as a reflection on the vehicle, so driving without seeing any discomfort in the image from the virtual viewpoint to view the display device Can be provided.

また、前記撮像データ取得部は、前記車両の周囲を撮像するカメラから前記車両の周囲の撮像結果に関する車両周囲撮像データを取得し、取得された前記車両周囲撮像データが記憶される車両周囲撮像データ記憶部をさらに備え、前記画像データ生成部は、記憶された前記車両周囲撮像データに基づいて前記車両の下方の画像に関する車両下方画像データを生成し、生成された前記車両下方画像データに基づいて、前記車両の下方の画像が前記車両の画像内に合成されるように、前記画像データを生成する構成であってもよい。   In addition, the imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle, and vehicle surrounding imaging data in which the acquired vehicle surrounding imaging data is stored A storage unit, wherein the image data generation unit generates vehicle lower image data relating to an image below the vehicle based on the stored vehicle surrounding imaging data, and based on the generated vehicle lower image data The image data may be generated so that an image below the vehicle is combined with the image of the vehicle.

かかる構成によると、車両の下方の画像が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、車両の下方の情報を運転者等に提供することができる。また、例えば半透明化された車両の画像に車両の下方の画像が合成された車両の画像を表示装置に表示させて運転者等に見せることができるので、仮想視点からは見えない車両の下方の状況(道路標示等)を表示することができ、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置の利用者(運転者等)へ提供することができる。   According to such a configuration, since the vehicle image in which the image below the vehicle is combined is displayed on the display device, the information below the vehicle is provided to the driver or the like without giving the driver an uncomfortable feeling. be able to. Further, for example, a vehicle image in which an image below the vehicle is combined with a translucent vehicle image can be displayed on a display device and shown to a driver or the like. The situation (road marking etc.) can be displayed, and more surrounding situations can be provided to the display device user (driver etc.) without making the image from the virtual viewpoint feel uncomfortable.

本発明によれば、自車両の画像内にカメラの撮像結果を合成し、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができ、また、より多くの情報を運転者等に提供することが可能となる。   According to the present invention, it is possible to synthesize the imaging results of the camera in the image of the own vehicle and to show a realistic image to the driver or the like, so that the uncomfortable feeling given to the driver or the like can be reduced. Thus, it becomes possible to provide more information to the driver or the like.

本発明の第一の実施形態に係る画像表示システムが適用される車両の外観図であり、(a)は側面図、(b)は平面図である。BRIEF DESCRIPTION OF THE DRAWINGS It is an external view of the vehicle with which the image display system which concerns on 1st embodiment of this invention is applied, (a) is a side view, (b) is a top view. 本発明の第一の実施形態に係る画像データ生成装置を示すブロック図である。1 is a block diagram illustrating an image data generation device according to a first embodiment of the present invention. (a)は、従来の画像表示システムによって表示される画像例であり、(b)は、本発明の第一の実施形態に係る画像表示システムによって表示される画像例である。(A) is an example of an image displayed by a conventional image display system, and (b) is an example of an image displayed by the image display system according to the first embodiment of the present invention. 本発明の第二の実施形態に係る画像表示システムが適用される車両の外観図であり、(a)は側面図、(b)は平面図である。It is an external view of the vehicle with which the image display system which concerns on 2nd embodiment of this invention is applied, (a) is a side view, (b) is a top view. 本発明の第二の実施形態に係る画像データ生成装置を示すブロック図である。It is a block diagram which shows the image data generation apparatus which concerns on 2nd embodiment of this invention. (a)は、従来の画像表示システムによって表示される画像例であり、(b)は、本発明の第二の実施形態に係る画像表示システムによって表示される画像例である。(A) is an example of an image displayed by a conventional image display system, and (b) is an example of an image displayed by the image display system according to the second embodiment of the present invention. 本発明の第三の実施形態に係る画像データ生成装置を示すブロック図である。It is a block diagram which shows the image data generation apparatus which concerns on 3rd embodiment of this invention. (a)は、従来の画像表示システムによって表示される画像例であり、(b)は、本発明の第三の実施形態に係る画像表示システムによって表示される画像例である。(A) is an example of an image displayed by a conventional image display system, and (b) is an example of an image displayed by an image display system according to the third embodiment of the present invention.

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate. Similar parts are denoted by the same reference numerals, and redundant description is omitted.

<第一の実施形態>
まず、本発明の第一の実施形態に係る画像データ表示システムについて、図1〜図3を参照して説明する。図1は、本発明の第一の実施形態に係る画像表示システムが適用される車両の外観図であり、(a)は側面図、(b)は平面図である。図2は、本発明の第一の実施形態に係る画像データ生成装置を示すブロック図である。図3(a)は、従来の画像表示システムによって表示される画像例であり、図3(b)は、本発明の第一の実施形態に係る画像表示システムによって表示される画像例である。
<First embodiment>
First, an image data display system according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is an external view of a vehicle to which an image display system according to a first embodiment of the present invention is applied, (a) is a side view, and (b) is a plan view. FIG. 2 is a block diagram showing the image data generation apparatus according to the first embodiment of the present invention. FIG. 3A is an example of an image displayed by a conventional image display system, and FIG. 3B is an example of an image displayed by the image display system according to the first embodiment of the present invention.

図1に示すように、本発明の第一の実施形態に係る画像表示システム1Aは、車両Vの前方を撮像する前カメラ11、車両Vの左方を撮像する左カメラ12、車両Vの右方を撮像する右カメラ13、及び、車両Vの後方を撮像する後カメラ14を備えるとともに、車両Vの車室内を撮像する車室内カメラ15を備える。一例として、前カメラ11は車両Vの前部バンパに設けられ、左カメラ12は車両Vの左ドアミラーに設けられ、右カメラ13は車両Vの右ドアミラーに設けられ、後カメラ14は車両Vの後部バンパに設けられている。また、車室内カメラ15は、車室内の前部(例えば、リアビューミラー付近、フロントマップランプ付近、ダッシュボード上など)に設けられ、運転者等の乗員を前方から撮像することができる。また、車室内全体を撮像領域としてカバーするために、車室内カメラ15として複数のカメラを設置する構成であってもよい。前カメラ11、左カメラ12、右カメラ13、後カメラ14及び後記する上カメラ16としては、広角カメラ等が好適に使用可能である。各カメラ11,12,13,14,15の撮像結果は、デジタルの撮像データとして画像データ生成装置30Aに出力される。   As shown in FIG. 1, the image display system 1A according to the first embodiment of the present invention includes a front camera 11 that images the front of the vehicle V, a left camera 12 that images the left side of the vehicle V, and the right side of the vehicle V. And a rear camera 14 that captures the rear of the vehicle V, and a vehicle interior camera 15 that captures the interior of the vehicle V. As an example, the front camera 11 is provided on the front bumper of the vehicle V, the left camera 12 is provided on the left door mirror of the vehicle V, the right camera 13 is provided on the right door mirror of the vehicle V, and the rear camera 14 is provided on the vehicle V. Located on the rear bumper. The vehicle interior camera 15 is provided in the front part of the vehicle interior (for example, near the rear view mirror, near the front map lamp, on the dashboard, etc.), and can take images of passengers such as drivers from the front. Moreover, in order to cover the whole vehicle interior as an imaging region, the structure which installs a some camera as the vehicle interior camera 15 may be sufficient. As the front camera 11, the left camera 12, the right camera 13, the rear camera 14, and the upper camera 16 described later, a wide-angle camera or the like can be suitably used. The imaging results of the cameras 11, 12, 13, 14, and 15 are output to the image data generation device 30A as digital imaging data.

図2に示すように、本発明の第一の実施形態に係る画像表示システム1Aは、表示装置20と、画像データ生成装置30Aと、を備える。表示装置20は、車両Vの車室内の前部に設けられ、運転者等の乗員に画像を表示することができる。かかる表示装置20としては、カーナビゲーションシステムのディスプレイ、フロントガラスへのヘッドアップディスプレイ等、運転席に着席した運転者が表示画像を見ることができる各種装置が好適に使用可能である。   As shown in FIG. 2, the image display system 1A according to the first embodiment of the present invention includes a display device 20 and an image data generation device 30A. The display device 20 is provided in the front part of the passenger compartment of the vehicle V, and can display an image to an occupant such as a driver. As such a display device 20, various devices such as a display of a car navigation system, a head-up display on a windshield, and the like that allow a driver seated in the driver's seat to see a display image can be suitably used.

画像データ生成装置30Aは、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read-Only Memory)、入出力回路等から構成されており、機能ブロックとして、撮像データ取得部31と、車両画像データ記憶部32と、画像データ生成部33Aと、画像データ出力部34と、を備える。   The image data generation device 30A includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read-Only Memory), an input / output circuit, and the like. A vehicle image data storage unit 32, an image data generation unit 33A, and an image data output unit 34 are provided.

撮像データ取得部31は、前カメラ11、左カメラ12、右カメラ13、後カメラ14及び車室内カメラ15の撮像結果に関する撮像データを取得する。取得された撮像データは、画像データ生成部33Aに出力される。   The imaging data acquisition unit 31 acquires imaging data relating to imaging results of the front camera 11, the left camera 12, the right camera 13, the rear camera 14, and the vehicle interior camera 15. The acquired imaging data is output to the image data generation unit 33A.

車両画像データ記憶部32には、車両Vの外観の画像、すなわち車両画像に関する車両画像データが予め記憶されている。   The vehicle image data storage unit 32 stores an image of the appearance of the vehicle V, that is, vehicle image data related to the vehicle image in advance.

画像データ生成部33Aは、車両画像データ記憶部32に記憶された車両画像データと、撮像データ取得部31によって取得された撮像データと、に基づいて、車両Vの外部の仮想視点から見た当該車両Vを含む画像に関する画像データを生成する。本実施形態において、画像データ生成部33Aは、車室内カメラ15の撮像結果に関する車室内撮像データに基づいて、車両Vの画像に前記車室内の撮像結果が合成されるように、車両画像データを生成するものであり、車両画像データ加工部33aと、俯瞰画像データ生成部33bと、画像データ合成部33cと、を備える。   33 A of image data generation parts are the said seen from the virtual viewpoint outside the vehicle V based on the vehicle image data memorize | stored in the vehicle image data memory | storage part 32, and the imaging data acquired by the imaging data acquisition part 31. Image data relating to an image including the vehicle V is generated. In the present embodiment, the image data generation unit 33A generates vehicle image data so that the image of the vehicle interior is combined with the image of the vehicle V based on vehicle interior image data related to the image of the vehicle interior camera 15. The vehicle image data processing unit 33a, the overhead image data generation unit 33b, and the image data synthesis unit 33c are generated.

車両画像データ加工部33aは、車室内カメラ15の撮像結果に関する車室内撮像データに基づいて、車両Vの画像内(本実施形態では、車両Vのフロントガラス)に車室内の撮像結果が合成されるように、車両画像データを加工する。ここで、車両画像データ加工部33aは、必要に応じて、車室内撮像データに透明化処理を施して車室内撮像データに基づいて表示される車室内の撮像結果を半透明化したり、車室内の撮像結果を仮想視点から見える画像となるように車室内撮像データを加工する。加工された車両画像データは、画像データ合成部33cに出力される。   The vehicle image data processing unit 33a synthesizes the imaging result of the vehicle interior in the image of the vehicle V (in this embodiment, the windshield of the vehicle V) based on the vehicle interior imaging data related to the imaging result of the vehicle interior camera 15. Thus, the vehicle image data is processed. Here, the vehicle image data processing unit 33a performs transparency processing on the vehicle interior image data as necessary to make the image of the vehicle interior displayed based on the vehicle interior image data translucent, The vehicle interior image data is processed so that the imaging result becomes an image seen from a virtual viewpoint. The processed vehicle image data is output to the image data composition unit 33c.

俯瞰画像データ生成部33bは、前カメラ11、左カメラ12、右カメラ13及び後カメラ14の撮像結果に関する撮像データに基づいて、車両Vの外部の仮想視点から見た当該車両Vの周囲の俯瞰画像に関する俯瞰画像データを生成する。生成された俯瞰画像データは、画像データ合成部33cに出力される。本実施形態において、仮想視点は、車両Vの前方上方から車両Vを見下ろす視点であり、俯瞰画像データ生成部33bは、前カメラ11、左カメラ12、右カメラ13及び後カメラ14の撮像データに対して、反転、回転、拡大、縮小、変形等の処理を施すことによって俯瞰画像データを生成する。   The bird's-eye view image data generation unit 33b is a bird's-eye view of the surroundings of the vehicle V viewed from a virtual viewpoint outside the vehicle V, based on the imaging data regarding the imaging results of the front camera 11, the left camera 12, the right camera 13, and the rear camera 14. Overhead image data relating to the image is generated. The generated overhead image data is output to the image data synthesis unit 33c. In the present embodiment, the virtual viewpoint is a viewpoint that looks down on the vehicle V from the front upper side of the vehicle V, and the overhead image data generation unit 33b applies the imaging data of the front camera 11, the left camera 12, the right camera 13, and the rear camera 14 to the imaging data. On the other hand, overhead image data is generated by performing processing such as inversion, rotation, enlargement, reduction, and deformation.

画像データ合成部33cは、加工された車両画像データと、生成された俯瞰画像データと、に基づいて、車両Vの外部の仮想視点から見た当該車両Vを含む画像に関する画像データを生成する。生成された画像データは、画像データ出力部34に出力される。   Based on the processed vehicle image data and the generated overhead image data, the image data synthesis unit 33c generates image data related to an image including the vehicle V viewed from a virtual viewpoint outside the vehicle V. The generated image data is output to the image data output unit 34.

画像データ出力部34は、画像データ生成部33によって生成された画像データを表示装置20に出力する。   The image data output unit 34 outputs the image data generated by the image data generation unit 33 to the display device 20.

表示装置20は、図3(b)に示すように、画像データ生成部33Aによって生成された画像データを用いて、車両Vの外部の仮想視点から見た当該車両Vを含む画像100Aを表示する。画像100Aは、前カメラ11の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる前領域101と、左カメラ12の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる左領域102と、右カメラ13の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる右領域103と、後カメラ14の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる後領域104と、車両画像データ記憶部32に記憶された車両画像データを車両画像データ加工部33aが車室内カメラ15の撮像結果に関する撮像データを用いて加工することによって得られた画像データによる車両領域105と、から構成される。すなわち、第一の実施形態に係る画像表示システム1Aは、車両Vの画像に車室内の撮像結果が合成されているので、運転者、同乗者、自車の内装等が表示されることとなり、図3(a)に示す従来例と比べて、現実感のある画像を表示することができる。また、第一の実施形態に係る画像表示システム1Aは、車両V周辺の状況と車室内の状況とを同時に表示することができるため、表示装置20の利用者(運転者等)の視点の移動を少なくすることができる。すなわち、運手者は、振り返ったり、ルームミラーを見ずに、表示装置20を見るだけで、車両V周辺の状況と車室内の状況とを同時に確認することができるようになる。   As shown in FIG. 3B, the display device 20 displays an image 100A including the vehicle V viewed from a virtual viewpoint outside the vehicle V using the image data generated by the image data generation unit 33A. . The image 100 </ b> A generates overhead image data of the front area 101 based on the image data obtained by processing the imaging data related to the imaging result of the front camera 11 by the overhead image data generation unit 33 b and the imaging data related to the imaging result of the left camera 12. A left region 102 based on image data obtained by processing by the unit 33b, a right region 103 based on image data obtained by processing the overhead image data generation unit 33b on imaging data related to the imaging result of the right camera 13, and Vehicle image data processing is performed on the rear area 104 based on the image data obtained by processing the imaging data relating to the imaging result of the rear camera 14 by the overhead image data generation unit 33b and the vehicle image data stored in the vehicle image data storage unit 32. The unit 33a uses imaging data regarding the imaging result of the vehicle interior camera 15. The vehicle area 105 by the image data obtained by processing, and a. That is, in the image display system 1A according to the first embodiment, the image of the vehicle V is combined with the image of the vehicle V, so the driver, passengers, the interior of the vehicle, etc. are displayed. Compared with the conventional example shown in FIG. 3A, a realistic image can be displayed. Moreover, since the image display system 1A according to the first embodiment can simultaneously display the situation around the vehicle V and the situation inside the vehicle interior, the viewpoint of the user (driver or the like) of the display device 20 can be moved. Can be reduced. That is, the operator can check the situation around the vehicle V and the situation in the passenger compartment at the same time by simply looking at the display device 20 without looking back or looking at the room mirror.

<第二の実施形態>
続いて、本発明の第二の実施形態に係る画像表示システムについて、第一の実施形態に係る画像表示システム1Aとの相違点を中心に、図4〜図6を参照して説明する。図4は、本発明の第二の実施形態に係る画像表示システムが適用される車両の外観図であり、(a)は側面図、(b)は平面図である。図5は、本発明の第二の実施形態に係る画像データ生成装置を示すブロック図である。図6(a)は、従来の画像表示システムによって表示される画像例であり、図6(b)は、本発明の第二の実施形態に係る画像表示システムによって表示される画像例である。
<Second Embodiment>
Next, an image display system according to a second embodiment of the present invention will be described with reference to FIGS. 4 to 6 with a focus on differences from the image display system 1A according to the first embodiment. 4A and 4B are external views of a vehicle to which the image display system according to the second embodiment of the present invention is applied. FIG. 4A is a side view and FIG. 4B is a plan view. FIG. 5 is a block diagram showing an image data generation apparatus according to the second embodiment of the present invention. FIG. 6A is an example of an image displayed by a conventional image display system, and FIG. 6B is an example of an image displayed by an image display system according to the second embodiment of the present invention.

図4に示すように、本発明の第二の実施形態に係る画像表示システム1Bは、車室内カメラ15に代えて、車両Vの上方を撮像する上カメラ16を備える。一例として、上カメラ16は車室内のルームミラー近傍に設けられ、フロントガラスを介して車両Vの上方を撮像する。上カメラ16の撮像結果は、デジタルの撮像データとして画像データ生成装置30Bに出力される。   As shown in FIG. 4, the image display system 1 </ b> B according to the second embodiment of the present invention includes an upper camera 16 that images the upper side of the vehicle V instead of the vehicle interior camera 15. As an example, the upper camera 16 is provided in the vicinity of a rearview mirror in the vehicle interior, and images the upper side of the vehicle V through the windshield. The imaging result of the upper camera 16 is output to the image data generation device 30B as digital imaging data.

図5に示すように、本発明の第二の実施形態に係る画像表示システム1Bは、画像データ生成装置30Aに代えて画像データ生成装置30Bを備える。画像データ生成装置30Bは、画像データ生成装置30Aの機能ブロックに加えて、映り込み位置記憶部35をさらに備える。   As shown in FIG. 5, an image display system 1B according to the second embodiment of the present invention includes an image data generation device 30B instead of the image data generation device 30A. The image data generation device 30B further includes a reflection position storage unit 35 in addition to the functional blocks of the image data generation device 30A.

映り込み位置記憶部35には、車両Vの周囲の撮像結果が車両Vの画像に映り込む映り込み位置が記憶されており、詳細には、前カメラ11、左カメラ12、右カメラ13及び上カメラ16の撮像結果の座標と、これらの座標の画素が映り込む車両Vの画像上の座標と、当該座標における映り込みにおける画素の重畳割合と、が関連付けて記憶されている。
例えば、RGBの各画素値を0〜255に階層化するものとし、車両画像データのある位置のRGB画素値が(128,128,128)であり、かかる位置に重畳される撮像データのRGB画素値が(32,160,32)であり、重畳割合が60%である場合には、かかる位置の映り込みが反映されたRGB画素値は、
(128,128,128)×40%+(32,160,32)×60%
=(70,147,70)
となる。
The reflection position storage unit 35 stores reflection positions at which the imaging results around the vehicle V are reflected in the image of the vehicle V. In detail, the front camera 11, the left camera 12, the right camera 13, and the upper The coordinates of the imaging result of the camera 16, the coordinates on the image of the vehicle V in which the pixels of these coordinates are reflected, and the pixel superposition ratio in the reflection at the coordinates are stored in association with each other.
For example, it is assumed that RGB pixel values are hierarchized from 0 to 255, and the RGB pixel value at a certain position in the vehicle image data is (128, 128, 128), and the RGB pixel of the imaging data superimposed at such a position When the value is (32, 160, 32) and the superposition ratio is 60%, the RGB pixel value reflecting the reflection of the position is
(128,128,128) × 40% + (32,160,32) × 60%
= (70, 147, 70)
It becomes.

本実施形態において、車両画像データ加工部33aは、映り込み位置記憶部35に記憶された関係性を参照し、前カメラ11、左カメラ12、右カメラ13及び上カメラ16の撮像結果に関する車両周囲撮像データに基づいて、車両Vの周囲の撮像結果が車両Vの画像内に合成されるように、車両画像データを加工する。   In the present embodiment, the vehicle image data processing unit 33a refers to the relationship stored in the reflection position storage unit 35, and the vehicle surroundings regarding the imaging results of the front camera 11, the left camera 12, the right camera 13, and the upper camera 16 Based on the imaging data, the vehicle image data is processed so that the imaging result around the vehicle V is synthesized in the image of the vehicle V.

表示装置20は、図6(b)に示すように、画像データ生成部33によって生成された画像データを用いて、車両Vの外部の仮想視点から見た当該車両Vを含む画像100Bを表示する。画像100Bは、前カメラ11の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる前領域101と、左カメラ12の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる左領域102と、右カメラ13の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる右領域103と、後カメラ14の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる後領域104と、車両画像データ記憶部32に記憶された車両画像データを車両画像データ加工部33aが前カメラ11、左カメラ12、右カメラ13及び上カメラ16の撮像結果に関する撮像データを用いて加工することによって得られた画像データによる車両領域106と、から構成される。ここで、車両領域106において、車両Vのフロントグリル中央には、前カメラ11の撮像結果が映り込んでおり、車両Vのフロントグリル左右端部のそれぞれには、左カメラ12及び右カメラ13のそれぞれの撮像結果が映り込んでおり、車両Vのボンネット及びフロントガラスには、上カメラ16の撮像結果が映りこんでいる。すなわち、第二の実施形態に係る画像表示システム1Bは、車両Vの画像内に車両Vの周囲の撮像結果が映り込みとして合成されているので、図6(a)に示す従来例と比べて、より現実感のある画像を表示することができる。また、第二の実施形態に係る画像表示システム1Bは、仮想視点からは見えない画像を車両Vへの映り込みとして間接的に表示することができるため、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置20の利用者(運転者等)へ提供することができる。   As illustrated in FIG. 6B, the display device 20 displays an image 100 </ b> B including the vehicle V viewed from the virtual viewpoint outside the vehicle V using the image data generated by the image data generation unit 33. . The image 100B generates overhead image data of the front area 101 based on the image data obtained by processing the imaging data related to the imaging result of the front camera 11 by the overhead image data generation unit 33b and the imaging data related to the imaging result of the left camera 12. A left region 102 based on image data obtained by processing by the unit 33b, a right region 103 based on image data obtained by processing the overhead image data generation unit 33b on imaging data related to the imaging result of the right camera 13, and Vehicle image data processing is performed on the rear area 104 based on the image data obtained by processing the imaging data relating to the imaging result of the rear camera 14 by the overhead image data generation unit 33b and the vehicle image data stored in the vehicle image data storage unit 32. The unit 33a is the front camera 11, the left camera 12, the right camera 13, and the upper camera. The vehicle area 106 by the image data obtained by processing using the 16 imaging data related to the imaging result of, and a. Here, in the vehicle area 106, the imaging result of the front camera 11 is reflected in the center of the front grille of the vehicle V, and the left camera 12 and the right camera 13 are respectively displayed on the left and right ends of the front grille of the vehicle V. The respective imaging results are reflected, and the imaging result of the upper camera 16 is reflected in the hood and windshield of the vehicle V. That is, in the image display system 1B according to the second embodiment, the imaging result around the vehicle V is synthesized as a reflection in the image of the vehicle V, so that it is compared with the conventional example shown in FIG. A more realistic image can be displayed. Moreover, since the image display system 1B according to the second embodiment can indirectly display an image that cannot be seen from the virtual viewpoint as a reflection on the vehicle V, the image from the virtual viewpoint feels uncomfortable. Thus, more surrounding situations can be provided to users (drivers, etc.) of the display device 20.

<第三の実施形態>
続いて、本発明の第三の実施形態に係る画像表示システムについて、第一の実施形態に係る画像表示システム1Aとの相違点を中心に、図7及び図8を参照して説明する。図7は、本発明の第三の実施形態に係る画像データ生成装置を示すブロック図である。図8(a)は、従来の画像表示システムによって表示される画像例であり、図8(b)は、本発明の第三の実施形態に係る画像表示システムによって表示される画像例である。
<Third embodiment>
Next, an image display system according to a third embodiment of the present invention will be described with reference to FIGS. 7 and 8 with a focus on differences from the image display system 1A according to the first embodiment. FIG. 7 is a block diagram showing an image data generation apparatus according to the third embodiment of the present invention. FIG. 8A is an example of an image displayed by the conventional image display system, and FIG. 8B is an example of an image displayed by the image display system according to the third embodiment of the present invention.

図7に示すように、本発明の第三の実施形態に係る画像表示システム1Cは、車室内カメラ15を備えておらず、画像データ生成装置30Aに代えて画像データ生成装置30Cを備える。   As shown in FIG. 7, the image display system 1C according to the third embodiment of the present invention does not include the vehicle interior camera 15, but includes an image data generation device 30C instead of the image data generation device 30A.

画像データ生成装置30Cは、画像データ生成装置30Aと比較すると、車両周囲撮像データ記憶部35をさらに備えるとともに、画像データ生成部33Aに代えて画像データ生成部33Cを備える。   Compared with the image data generation device 30A, the image data generation device 30C further includes a vehicle surrounding imaging data storage unit 35, and includes an image data generation unit 33C instead of the image data generation unit 33A.

車両周囲撮像データ記憶部35には、撮像データ取得部31によって取得された撮像データが一連の映像データとして記憶される。   The imaging data acquired by the imaging data acquisition unit 31 is stored in the vehicle surrounding imaging data storage unit 35 as a series of video data.

画像データ生成部33Cは、画像データ生成部33Aの機能ブロックに加えて、車両下方画像データ生成部33dと、透明化処理部33eと、をさらに備える。   In addition to the functional blocks of the image data generation unit 33A, the image data generation unit 33C further includes a vehicle lower image data generation unit 33d and a transparency processing unit 33e.

車両下方画像データ生成部33dは、車両周囲撮像データ記憶部35に記憶された車両周囲撮像データに基づいて、車両Vの下方の画像に関する車両下方画像データを生成する。例えば、車両下方画像データ生成部33dは、車両Vの前進中には前カメラ11の撮像結果に関する周囲撮像データに基づいて車両下方画像データを生成し、車両Vの後進中には後カメラ14の撮像結果に関する周囲撮像データに基づいて車両下方画像データを生成することができる。また、車両下方撮像データ生成部33dは、車両Vに設けられた車体の速度を検出する車体速度センサの検出結果に基づいて、過去の車両周囲撮像データの中からどれを車両下方画像データの生成に用いるかを決定することができる。また、車両下方撮像データ生成部33dは、車両Vに設けられたステアリング(ハンドル)の操舵角を検出する操舵角センサの検出結果に基づいて、過去の車両周囲撮像データにおける撮像領域と現時点の車両Vの位置との関係に応じた車両下方画像データを生成することもできる。生成された車両下方画像データは、車両画像データ加工部33aに出力される。   The vehicle lower image data generation unit 33 d generates vehicle lower image data relating to an image below the vehicle V based on the vehicle surrounding imaging data stored in the vehicle surrounding imaging data storage unit 35. For example, the vehicle lower image data generation unit 33d generates vehicle lower image data based on the surrounding imaging data related to the imaging result of the front camera 11 while the vehicle V is moving forward, and the rear camera 14 is moving while the vehicle V is moving backward. The vehicle lower image data can be generated based on the surrounding imaging data related to the imaging result. Further, the vehicle lower side imaging data generation unit 33d generates any of the past vehicle surrounding imaging data based on the detection result of the vehicle body speed sensor that detects the speed of the vehicle body provided in the vehicle V. Can be determined. Further, the vehicle lower side imaging data generation unit 33d, based on the detection result of the steering angle sensor that detects the steering angle of the steering (steering wheel) provided in the vehicle V, the imaging area in the past vehicle surrounding imaging data and the current vehicle Vehicle lower image data corresponding to the relationship with the position of V can also be generated. The generated vehicle lower image data is output to the vehicle image data processing unit 33a.

透明化処理部33eは、車両画像データ記憶部32に記憶された車両画像データに透明化処理を施すことによって、車両画像データに基づいて表示される車両Vの画像の透明度を変更し、当該車両Vの画像を半透明化する。透明化処理が施された車両画像データは、車両画像データ加工部33aに出力される。   The transparency processing unit 33e performs transparency processing on the vehicle image data stored in the vehicle image data storage unit 32, thereby changing the transparency of the image of the vehicle V displayed based on the vehicle image data. Translucent V image. The vehicle image data subjected to the transparency processing is output to the vehicle image data processing unit 33a.

本実施形態において、車両画像データ加工部33aは、車両下方画像データに基づいて、車両Vの下方の画像が半透明化された車両Vの画像内に合成されるように、車両画像データを加工する。ここで、一の車両画像データにおいて、車両下方画像データは、俯瞰画像データに用いられる車両周囲撮像データよりも過去に撮像されたものを用いて生成されている。   In the present embodiment, the vehicle image data processing unit 33a processes the vehicle image data based on the vehicle lower image data so that the image below the vehicle V is combined with the translucent image of the vehicle V. To do. Here, in one vehicle image data, the vehicle lower image data is generated using data captured in the past than the vehicle surrounding image data used for the overhead image data.

表示装置20は、図8(b)に示すように、画像データ生成部33によって生成された画像データを用いて、車両Vの外部の仮想視点から見た当該車両Vを含む画像100Cを表示する。画像100Cは、前カメラ11の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる前領域101と、左カメラ12の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる左領域102と、右カメラ13の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる右領域103と、後カメラ14の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる後領域104と、車両下方画像データ生成部33dが車両下方画像データを生成するとともに車両画像データ記憶部32に記憶された車両画像データに対して透明化処理部33eが透明化処理を施し、透明化処理が施された車両画像データを車両画像データ加工部33aが車両下方画像データを用いて加工することによって得られた画像データによる車両領域107と、から構成される。すなわち、第三の実施形態に係る画像表示システム1Cは、半透明化された車両Vの画像に車両Vの下方の画像が合成されているので、図8(a)に示す従来例と比べて、仮想視点からは見えない車両Vの下方の状況(道路標示等)を表示することができるため、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置20の利用者(運転者等)へ提供することができる。   As illustrated in FIG. 8B, the display device 20 displays an image 100 </ b> C including the vehicle V viewed from a virtual viewpoint outside the vehicle V using the image data generated by the image data generation unit 33. . The image 100 </ b> C generates the overhead image data of the front area 101 based on the image data obtained by processing the imaging data related to the imaging result of the front camera 11 by the overhead image data generation unit 33 b and the imaging data related to the imaging result of the left camera 12. A left region 102 based on image data obtained by processing by the unit 33b, a right region 103 based on image data obtained by processing the overhead image data generation unit 33b on imaging data related to the imaging result of the right camera 13, and The rear area 104 based on the image data obtained by processing the imaging data related to the imaging result of the rear camera 14 by the overhead image data generation unit 33b and the vehicle lower image data generation unit 33d generate the vehicle lower image data and the vehicle image. Transparent to vehicle image data stored in the data storage unit 32 A vehicle region 107 based on image data obtained by the processing unit 33e performing a transparency process, and the vehicle image data processed by the vehicle image data processing unit 33a using the vehicle lower image data; Consists of That is, in the image display system 1C according to the third embodiment, since the image below the vehicle V is synthesized with the translucent image of the vehicle V, compared to the conventional example shown in FIG. Since the situation below the vehicle V that cannot be seen from the virtual viewpoint (road markings, etc.) can be displayed, more surrounding conditions can be used without causing the image from the virtual viewpoint to feel uncomfortable. Can be provided to the driver (driver, etc.).

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、第一の実施形態〜第三の実施形態の全てを組み合わせた画像データ生成装置を車両Vに備え、かかる画像データ生成装置が、ボタン、タッチパネル等といった入力装置を運転者等が操作することによる入力信号に基づいて、第一の実施形態〜第三の実施形態の画像100A〜100Cのいずれかを表示装置20に表示させる構成であってもよい。また、例えば、左カメラ12及び右カメラ13がそれぞれ車両Vの左右のドアミラーに設けられる場合には、左右のドアミラーの角度を検出するセンサを車両Vに設け、画像データ生成装置1A,1B,1Cの俯瞰画像データ生成部33bが、かかるセンサの検出結果に基づいて、左カメラ12及び右カメラ13の撮像結果の向きを補正して俯瞰画像データを生成する構成であってもよい。同様に、第二の実施形態に係る車両画像データ加工部33aが、かかるセンサの検出結果に基づいて、左カメラ12及び右カメラ13の撮像結果の映り込み位置を補正して車両画像データを加工する構成であってもよい。また、車室内カメラ15及び上カメラ16の設置位置は、前記した位置に限定されず、例えば、車室内カメラ15を車室内の後部に設け、車両Vの後進中において、車両画像データ加工部33aが、車室内カメラ15の撮像結果に関する車室内撮像データに基づいて、車両Vの画像のリアガラスに車室内カメラ15による撮像結果が合成されるように、車両画像データを加工する構成であってもよい。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, A design change is possible suitably in the range which does not deviate from the summary of this invention. For example, a vehicle V is provided with an image data generation device that combines all of the first to third embodiments, and the driver operates an input device such as a button or a touch panel. The display device 20 may be configured to display any one of the images 100A to 100C of the first embodiment to the third embodiment based on the input signal. For example, when the left camera 12 and the right camera 13 are provided on the left and right door mirrors of the vehicle V, sensors for detecting the angles of the left and right door mirrors are provided on the vehicle V, and the image data generating devices 1A, 1B, 1C are provided. The overhead image data generation unit 33b may generate overhead image data by correcting the orientation of the imaging results of the left camera 12 and the right camera 13 based on the detection result of the sensor. Similarly, the vehicle image data processing unit 33a according to the second embodiment corrects the reflection positions of the imaging results of the left camera 12 and the right camera 13 based on the detection result of the sensor, and processes the vehicle image data. It may be configured to. Further, the installation positions of the vehicle interior camera 15 and the upper camera 16 are not limited to the above-described positions. For example, the vehicle interior camera 15 is provided at the rear part of the vehicle interior, and the vehicle image data processing unit 33a is provided while the vehicle V is moving backward. However, even if it is the structure which processes vehicle image data so that the imaging result by the vehicle interior camera 15 is synthesize | combined with the rear glass of the image of the vehicle V based on the vehicle interior imaging data regarding the imaging result of the vehicle interior camera 15. Good.

また、第三の実施形態に係る画像データ生成装置30Cにおいて、車両画像データ記憶部32に記憶された車両画像データが、車両Vの輪郭線のみを表すデータ、又は、車両Vの輪郭線及び車輪の輪郭線を表すデータであり、車両画像データ加工部33aが、かかる車両画像データに対応する車両画像と車両下方画像データに対応する車両下方画像とを直接合成する構成であってもよい。かかる車両画像データは、車両画像として、車両Vの輪郭線(及び車輪の輪郭線)を半透明の線として表示するとともに、車両Vの輪郭線の内部を透明として表示することができるデータである。この場合には、透明化処理部33eを省略することができるので、画像データ生成装置30Cが簡略化される。また、第三の実施形態に係る画像データ生成装置30Cにおいて、車両画像データ記憶部32に予め記憶された車両画像データが、車両Vの外観を半透明で表示するデータである場合にも、透明化処理部33eを省略することができる。   In the image data generation device 30C according to the third embodiment, the vehicle image data stored in the vehicle image data storage unit 32 is data representing only the contour line of the vehicle V, or the contour line and wheels of the vehicle V. The vehicle image data processing unit 33a may directly synthesize the vehicle image corresponding to the vehicle image data and the vehicle lower image corresponding to the vehicle lower image data. The vehicle image data is data that can display the outline of the vehicle V (and the outline of the wheels) as a translucent line as a vehicle image, and can display the inside of the outline of the vehicle V as transparent. . In this case, since the transparency processing unit 33e can be omitted, the image data generation device 30C is simplified. Further, in the image data generation device 30C according to the third embodiment, the vehicle image data stored in advance in the vehicle image data storage unit 32 is also transparent when the appearance of the vehicle V is displayed in a translucent manner. The processing unit 33e can be omitted.

1A,1B,1C 画像表示システム
11 前カメラ
12 左カメラ
13 右カメラ
14 後カメラ
15 車室内カメラ
16 上カメラ
20 表示装置
30A,30B,30C 画像データ生成装置
31 撮像データ取得部
32 車両画像データ記憶部
33A,33C 画像データ生成部
34 画像データ出力部
1A, 1B, 1C Image display system 11 Front camera 12 Left camera 13 Right camera 14 Rear camera 15 Car interior camera 16 Upper camera 20 Display device 30A, 30B, 30C Image data generation device 31 Imaging data acquisition unit 32 Vehicle image data storage unit 33A, 33C Image data generation unit 34 Image data output unit

Claims (4)

車両に設けられた少なくとも一つのカメラの撮像結果に関する撮像データを取得する撮像データ取得部と、
前記車両の画像に関する車両画像データが予め記憶される車両画像データ記憶部と、
記憶された前記車両画像データと、取得された前記撮像データと、に基づいて、前記車両の外部の仮想視点から見た当該車両を含む画像に関する画像データを生成する画像データ生成部と、
生成された前記画像データを表示装置へ出力する出力部と、
を備え、
前記画像データ生成部は、前記撮像データに基づいて、前記撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする画像データ生成装置。
An imaging data acquisition unit that acquires imaging data related to an imaging result of at least one camera provided in the vehicle;
A vehicle image data storage unit in which vehicle image data relating to the image of the vehicle is stored in advance;
An image data generation unit that generates image data relating to an image including the vehicle viewed from a virtual viewpoint outside the vehicle, based on the stored vehicle image data and the acquired imaging data;
An output unit for outputting the generated image data to a display device;
With
The image data generation unit generates the image data based on the imaging data so that the imaging result is synthesized in an image of the vehicle.
前記撮像データ取得部は、車室内を撮像するカメラから車室内の撮像結果に関する車室内撮像データを取得し、
前記画像データ生成部は、前記車室内撮像データに基づいて、前記車室内の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする請求項1に記載の画像データ生成装置。
The imaging data acquisition unit acquires vehicle interior imaging data related to an imaging result in the vehicle interior from a camera that images the vehicle interior;
The image data generation unit generates the image data based on the vehicle interior image data so that an imaging result in the vehicle interior is synthesized in an image of the vehicle. The image data generation device described.
前記撮像データ取得部は、前記車両の周囲を撮像するカメラから前記車両の周囲の撮像結果に関する車両周囲撮像データを取得し、
前記車両の周囲の撮像結果が前記車両の画像に映り込む映り込み位置が予め記憶される映り込み位置記憶部をさらに備え、
前記画像データ生成部は、前記映り込み位置に基づいて、前記車両の周囲の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする請求項1に記載の画像データ生成装置。
The imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle,
A reflection position storage unit in which a reflection position at which an imaging result around the vehicle is reflected in an image of the vehicle is stored in advance;
The image data generation unit generates the image data based on the reflection position so that an imaging result around the vehicle is synthesized in an image of the vehicle. The image data generation device described.
前記撮像データ取得部は、前記車両の周囲を撮像するカメラから前記車両の周囲の撮像結果に関する車両周囲撮像データを取得し、
取得された前記車両周囲撮像データが記憶される車両周囲撮像データ記憶部をさらに備え、
前記画像データ生成部は、記憶された前記車両周囲撮像データに基づいて前記車両の下方の画像に関する車両下方画像データを生成し、生成された前記車両下方画像データに基づいて、前記車両の下方の画像が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする請求項1に記載の画像データ生成装置。
The imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle,
A vehicle surrounding imaging data storage unit for storing the acquired vehicle surrounding imaging data;
The image data generation unit generates vehicle lower image data related to an image below the vehicle based on the stored vehicle surrounding imaging data, and based on the generated vehicle lower image data, The image data generation apparatus according to claim 1, wherein the image data is generated so that an image is synthesized in an image of the vehicle.
JP2009106762A 2009-04-24 2009-04-24 Image data generation device Pending JP2010257242A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009106762A JP2010257242A (en) 2009-04-24 2009-04-24 Image data generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009106762A JP2010257242A (en) 2009-04-24 2009-04-24 Image data generation device

Publications (1)

Publication Number Publication Date
JP2010257242A true JP2010257242A (en) 2010-11-11

Family

ID=43318068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009106762A Pending JP2010257242A (en) 2009-04-24 2009-04-24 Image data generation device

Country Status (1)

Country Link
JP (1) JP2010257242A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013100057A (en) * 2011-11-09 2013-05-23 Aisin Seiki Co Ltd Driving support device
JP2013193734A (en) * 2012-03-15 2013-09-30 Mekra Lang Gmbh & Co Kg Rear view monitor system for vehicle
JP2014093768A (en) * 2012-10-31 2014-05-19 Hyundai Motor Company Co Ltd Apparatus and method for controlling image on room mirror
KR101816157B1 (en) * 2015-11-13 2018-01-09 현대오트론 주식회사 Apparatus for preventing the collision of vehicles using head-up display and method thereof
CN108621938A (en) * 2017-03-24 2018-10-09 丰田自动车株式会社 Observation device for vehicle
WO2019138465A1 (en) * 2018-01-10 2019-07-18 三菱電機株式会社 Display control device for vehicle and image display method
JP2020166689A (en) * 2019-03-29 2020-10-08 日産自動車株式会社 Vehicle remote monitoring system, vehicle remote monitoring device, and vehicle remote monitoring method
JP2021129185A (en) * 2020-02-13 2021-09-02 トヨタ自動車株式会社 Vehicle peripheral monitoring device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013100057A (en) * 2011-11-09 2013-05-23 Aisin Seiki Co Ltd Driving support device
JP2013193734A (en) * 2012-03-15 2013-09-30 Mekra Lang Gmbh & Co Kg Rear view monitor system for vehicle
JP2014093768A (en) * 2012-10-31 2014-05-19 Hyundai Motor Company Co Ltd Apparatus and method for controlling image on room mirror
KR101816157B1 (en) * 2015-11-13 2018-01-09 현대오트론 주식회사 Apparatus for preventing the collision of vehicles using head-up display and method thereof
CN108621938B (en) * 2017-03-24 2022-03-01 丰田自动车株式会社 Observation device for vehicle
CN108621938A (en) * 2017-03-24 2018-10-09 丰田自动车株式会社 Observation device for vehicle
JP2018164187A (en) * 2017-03-24 2018-10-18 トヨタ自動車株式会社 Visual recognition device for vehicle
WO2019138465A1 (en) * 2018-01-10 2019-07-18 三菱電機株式会社 Display control device for vehicle and image display method
JPWO2019138465A1 (en) * 2018-01-10 2020-07-02 三菱電機株式会社 Vehicle display control device and image display method
JP2020166689A (en) * 2019-03-29 2020-10-08 日産自動車株式会社 Vehicle remote monitoring system, vehicle remote monitoring device, and vehicle remote monitoring method
JP7242386B2 (en) 2019-03-29 2023-03-20 日産自動車株式会社 Vehicle remote monitoring system, vehicle remote monitoring device, and vehicle remote monitoring method
JP2021129185A (en) * 2020-02-13 2021-09-02 トヨタ自動車株式会社 Vehicle peripheral monitoring device
JP7319593B2 (en) 2020-02-13 2023-08-02 トヨタ自動車株式会社 Vehicle perimeter monitoring device

Similar Documents

Publication Publication Date Title
CN108621937B (en) In-vehicle display apparatus, control method of in-vehicle display apparatus, and storage medium storing control program of in-vehicle display apparatus
JP2010257242A (en) Image data generation device
JP4579145B2 (en) Vehicle peripheral image display device
JP6565148B2 (en) Image display control device and image display system
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
WO2002089485A1 (en) Method and apparatus for displaying pickup image of camera installed in vehicle
JP6877115B2 (en) Vehicle visibility device
WO2016035581A1 (en) Image display control device and image display system
JP5669791B2 (en) Moving object peripheral image display device
JP2012514558A (en) Peripheral image generation method and apparatus
JP6958163B2 (en) Display control device
JP2010130673A (en) Image processing apparatus, image processing method, and image processing program
WO2019026320A1 (en) Display control device
JP2022095303A (en) Peripheral image display device, display control method
JP2023536976A (en) Vehicle vision system and method including electronic image display for driver rearview
JP2010208359A (en) Display device for vehicle
JP2017111739A (en) Driving support apparatus and driving support method
JP4379148B2 (en) Rear confirmation device
KR20180094717A (en) Driving assistance apparatus using avm
JP7217090B2 (en) Information providing device and information providing method
JP5077286B2 (en) Vehicle peripheral image display device
JP5831331B2 (en) Rear side photographing device for vehicle
KR101326966B1 (en) System for Providing All-Around View for a Vehicle
JP2023161906A (en) Display control system
US11302076B2 (en) Periphery monitoring apparatus