JP2010257242A - Image data generation device - Google Patents
Image data generation device Download PDFInfo
- Publication number
- JP2010257242A JP2010257242A JP2009106762A JP2009106762A JP2010257242A JP 2010257242 A JP2010257242 A JP 2010257242A JP 2009106762 A JP2009106762 A JP 2009106762A JP 2009106762 A JP2009106762 A JP 2009106762A JP 2010257242 A JP2010257242 A JP 2010257242A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image data
- image
- imaging
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、画像データ生成装置に関し、特に車両の車室内に設けられた表示装置に画像を表示させるための画像データ生成装置に関する。 The present invention relates to an image data generation device, and more particularly to an image data generation device for displaying an image on a display device provided in a vehicle cabin.
従来、自車両の外観を表す模擬画像と、車両の周囲の撮像結果と、に基づいて、自車両を外部の仮想視点から見た俯瞰画像を自車両の車室内に設けられた表示装置に表示する技術が知られている(特許文献1参照)。 Conventionally, based on a simulated image representing the appearance of the host vehicle and an imaging result around the vehicle, an overhead image obtained by viewing the host vehicle from an external virtual viewpoint is displayed on a display device provided in the cabin of the host vehicle. The technique to do is known (refer patent document 1).
かかる表示技術においては、画像を見る運転者等に違和感を与えることなく、より多くの情報を運転者等に提供することが望まれている。 In such a display technique, it is desired to provide more information to the driver or the like without giving the driver or the like viewing the image a sense of incongruity.
本発明は、前記した要望を鑑みて創案されたものであり、画像を見る運転者等に違和感を与えることなく、より多くの情報を運転者等に提供することが可能な画像データ生成装置を提供することを課題とする。 The present invention was devised in view of the above-described demands, and provides an image data generation device capable of providing more information to a driver or the like without giving the driver or the like viewing the image a sense of incongruity. The issue is to provide.
前記課題を解決するため、本発明の画像データ生成装置は、車両に設けられた少なくとも一つのカメラの撮像結果に関する撮像データを取得する撮像データ取得部と、前記車両の画像に関する車両画像データが予め記憶される車両画像データ記憶部と、記憶された前記車両画像データと、取得された前記撮像データと、に基づいて、前記車両の外部の仮想視点から見た当該車両を含む画像に関する画像データを生成する画像データ生成部と、生成された前記画像データを表示装置へ出力する出力部と、を備え、前記画像データ生成部は、前記撮像データに基づいて、前記撮像結果が前記車両の画像内に合成されるように、前記画像データを生成することを特徴とする。 In order to solve the above-described problem, an image data generation device according to the present invention includes an imaging data acquisition unit that acquires imaging data regarding an imaging result of at least one camera provided in a vehicle, and vehicle image data regarding the image of the vehicle in advance. Based on the stored vehicle image data storage unit, the stored vehicle image data, and the acquired imaging data, image data relating to an image including the vehicle viewed from a virtual viewpoint outside the vehicle. An image data generation unit to generate, and an output unit to output the generated image data to a display device, the image data generation unit, based on the imaging data, the imaging result is within the image of the vehicle The image data is generated so as to be combined with each other.
本発明において、車両の画像は、車両の外観を表す画像であってもよく、車両の輪郭線のみを表す画像であってもよく、車両の輪郭線及び車輪の輪郭線を表す画像であってもよい。かかる構成によると、カメラの撮像結果が合成された車両の画像を表示装置に表示させ、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができる。また、カメラの撮像結果が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、より多くの情報を運転者等に提供することができる。 In the present invention, the vehicle image may be an image representing the appearance of the vehicle, may be an image representing only the contour of the vehicle, or may be an image representing the contour of the vehicle and the contour of the wheel. Also good. According to such a configuration, an image of the vehicle in which the imaging results of the camera are combined can be displayed on the display device, and a realistic image can be shown to the driver or the like, so that the uncomfortable feeling given to the driver or the like can be reduced. it can. Moreover, since the image of the vehicle in which the imaging results of the camera are combined is displayed on the display device, more information can be provided to the driver or the like without causing the driver or the like to see the image feel uncomfortable.
前記撮像データ取得部は、車室内を撮像するカメラから車室内の撮像結果に関する車室内撮像データを取得し、前記画像データ生成部は、前記車室内撮像データに基づいて、前記車室内の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する構成であってもよい。 The imaging data acquisition unit acquires vehicle interior imaging data related to the imaging result of the vehicle interior from a camera that images the vehicle interior, and the image data generation unit is configured to acquire the imaging result of the vehicle interior based on the vehicle interior imaging data. The image data may be generated so that the image data is synthesized in the vehicle image.
かかる構成によると、車室内の画像が合成された車両の画像を表示装置に表示させ、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができる。また、車室内の撮像結果が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、車室内の情報を運転者等に提供することができる。また、車両周辺の状況と車室内の状況とを同時に表示することができるため、表示装置を見る運転者等の視点の移動を少なくすることができる。すなわち、運手者は、振り返ったり、ルームミラーを見ずに、表示装置を見るだけで、車両周辺の状況と車室内の状況とを同時に確認することができるようになる。 According to such a configuration, an image of the vehicle in which the images in the passenger compartment are combined can be displayed on the display device, and a realistic image can be shown to the driver or the like, so that the uncomfortable feeling given to the driver or the like can be reduced. it can. Further, since the image of the vehicle in which the imaging results in the passenger compartment are combined is displayed on the display device, information on the passenger compartment can be provided to the driver or the like without causing the driver or the like who sees the image to feel uncomfortable. Moreover, since the situation around the vehicle and the situation in the passenger compartment can be displayed at the same time, the movement of the viewpoint of the driver or the like who views the display device can be reduced. That is, the operator can check the situation around the vehicle and the situation in the passenger compartment at the same time by simply looking at the display device without looking back or looking at the room mirror.
また、前記撮像データ取得部は、前記車両の周囲を撮像するカメラから前記車両の周囲の撮像結果に関する車両周囲撮像データを取得し、前記車両の周囲の撮像結果が前記車両の画像に映り込む映り込み位置が予め記憶される映り込み位置記憶部をさらに備え、前記画像データ生成部は、前記映り込み位置に基づいて、前記車両の周囲の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する構成であってもよい。 Further, the imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle, and the imaging results around the vehicle are reflected in the image of the vehicle The image data generation unit further includes a reflection position storage unit in which a reflection position is stored in advance, and the image data generation unit is configured to synthesize an imaging result around the vehicle in the image of the vehicle based on the reflection position. The image data may be generated.
かかる構成によると、車両の周囲の撮像結果が映り込みとして合成された車両の画像を表示装置に表示させ、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができる。また、車両の周囲の撮像結果が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、車両の周囲の情報を運転者等に提供することができる。また、仮想視点からは見えない画像を車両への映り込みとして間接的に表示することができるため、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置を見る運転者等へ提供することができる。 According to such a configuration, it is possible to display on the display device a vehicle image synthesized as a result of imaging of the surroundings of the vehicle and to show a realistic image to the driver etc. Can be reduced. In addition, since the image of the vehicle in which the imaging results around the vehicle are combined is displayed on the display device, it is possible to provide information on the surroundings of the vehicle to the driver and the like without giving the driver an uncomfortable feeling. it can. In addition, images that cannot be seen from the virtual viewpoint can be indirectly displayed as a reflection on the vehicle, so driving without seeing any discomfort in the image from the virtual viewpoint to view the display device Can be provided.
また、前記撮像データ取得部は、前記車両の周囲を撮像するカメラから前記車両の周囲の撮像結果に関する車両周囲撮像データを取得し、取得された前記車両周囲撮像データが記憶される車両周囲撮像データ記憶部をさらに備え、前記画像データ生成部は、記憶された前記車両周囲撮像データに基づいて前記車両の下方の画像に関する車両下方画像データを生成し、生成された前記車両下方画像データに基づいて、前記車両の下方の画像が前記車両の画像内に合成されるように、前記画像データを生成する構成であってもよい。 In addition, the imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle, and vehicle surrounding imaging data in which the acquired vehicle surrounding imaging data is stored A storage unit, wherein the image data generation unit generates vehicle lower image data relating to an image below the vehicle based on the stored vehicle surrounding imaging data, and based on the generated vehicle lower image data The image data may be generated so that an image below the vehicle is combined with the image of the vehicle.
かかる構成によると、車両の下方の画像が合成された車両の画像を表示装置に表示させるので、画像を見る運転者等に違和感を与えることなく、車両の下方の情報を運転者等に提供することができる。また、例えば半透明化された車両の画像に車両の下方の画像が合成された車両の画像を表示装置に表示させて運転者等に見せることができるので、仮想視点からは見えない車両の下方の状況(道路標示等)を表示することができ、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置の利用者(運転者等)へ提供することができる。 According to such a configuration, since the vehicle image in which the image below the vehicle is combined is displayed on the display device, the information below the vehicle is provided to the driver or the like without giving the driver an uncomfortable feeling. be able to. Further, for example, a vehicle image in which an image below the vehicle is combined with a translucent vehicle image can be displayed on a display device and shown to a driver or the like. The situation (road marking etc.) can be displayed, and more surrounding situations can be provided to the display device user (driver etc.) without making the image from the virtual viewpoint feel uncomfortable.
本発明によれば、自車両の画像内にカメラの撮像結果を合成し、現実感のある画像を運転者等に見せることができるので、運転者等に与える違和感を低減することができ、また、より多くの情報を運転者等に提供することが可能となる。 According to the present invention, it is possible to synthesize the imaging results of the camera in the image of the own vehicle and to show a realistic image to the driver or the like, so that the uncomfortable feeling given to the driver or the like can be reduced. Thus, it becomes possible to provide more information to the driver or the like.
以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate. Similar parts are denoted by the same reference numerals, and redundant description is omitted.
<第一の実施形態>
まず、本発明の第一の実施形態に係る画像データ表示システムについて、図1〜図3を参照して説明する。図1は、本発明の第一の実施形態に係る画像表示システムが適用される車両の外観図であり、(a)は側面図、(b)は平面図である。図2は、本発明の第一の実施形態に係る画像データ生成装置を示すブロック図である。図3(a)は、従来の画像表示システムによって表示される画像例であり、図3(b)は、本発明の第一の実施形態に係る画像表示システムによって表示される画像例である。
<First embodiment>
First, an image data display system according to a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is an external view of a vehicle to which an image display system according to a first embodiment of the present invention is applied, (a) is a side view, and (b) is a plan view. FIG. 2 is a block diagram showing the image data generation apparatus according to the first embodiment of the present invention. FIG. 3A is an example of an image displayed by a conventional image display system, and FIG. 3B is an example of an image displayed by the image display system according to the first embodiment of the present invention.
図1に示すように、本発明の第一の実施形態に係る画像表示システム1Aは、車両Vの前方を撮像する前カメラ11、車両Vの左方を撮像する左カメラ12、車両Vの右方を撮像する右カメラ13、及び、車両Vの後方を撮像する後カメラ14を備えるとともに、車両Vの車室内を撮像する車室内カメラ15を備える。一例として、前カメラ11は車両Vの前部バンパに設けられ、左カメラ12は車両Vの左ドアミラーに設けられ、右カメラ13は車両Vの右ドアミラーに設けられ、後カメラ14は車両Vの後部バンパに設けられている。また、車室内カメラ15は、車室内の前部(例えば、リアビューミラー付近、フロントマップランプ付近、ダッシュボード上など)に設けられ、運転者等の乗員を前方から撮像することができる。また、車室内全体を撮像領域としてカバーするために、車室内カメラ15として複数のカメラを設置する構成であってもよい。前カメラ11、左カメラ12、右カメラ13、後カメラ14及び後記する上カメラ16としては、広角カメラ等が好適に使用可能である。各カメラ11,12,13,14,15の撮像結果は、デジタルの撮像データとして画像データ生成装置30Aに出力される。
As shown in FIG. 1, the image display system 1A according to the first embodiment of the present invention includes a
図2に示すように、本発明の第一の実施形態に係る画像表示システム1Aは、表示装置20と、画像データ生成装置30Aと、を備える。表示装置20は、車両Vの車室内の前部に設けられ、運転者等の乗員に画像を表示することができる。かかる表示装置20としては、カーナビゲーションシステムのディスプレイ、フロントガラスへのヘッドアップディスプレイ等、運転席に着席した運転者が表示画像を見ることができる各種装置が好適に使用可能である。
As shown in FIG. 2, the image display system 1A according to the first embodiment of the present invention includes a
画像データ生成装置30Aは、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read-Only Memory)、入出力回路等から構成されており、機能ブロックとして、撮像データ取得部31と、車両画像データ記憶部32と、画像データ生成部33Aと、画像データ出力部34と、を備える。
The image
撮像データ取得部31は、前カメラ11、左カメラ12、右カメラ13、後カメラ14及び車室内カメラ15の撮像結果に関する撮像データを取得する。取得された撮像データは、画像データ生成部33Aに出力される。
The imaging
車両画像データ記憶部32には、車両Vの外観の画像、すなわち車両画像に関する車両画像データが予め記憶されている。 The vehicle image data storage unit 32 stores an image of the appearance of the vehicle V, that is, vehicle image data related to the vehicle image in advance.
画像データ生成部33Aは、車両画像データ記憶部32に記憶された車両画像データと、撮像データ取得部31によって取得された撮像データと、に基づいて、車両Vの外部の仮想視点から見た当該車両Vを含む画像に関する画像データを生成する。本実施形態において、画像データ生成部33Aは、車室内カメラ15の撮像結果に関する車室内撮像データに基づいて、車両Vの画像に前記車室内の撮像結果が合成されるように、車両画像データを生成するものであり、車両画像データ加工部33aと、俯瞰画像データ生成部33bと、画像データ合成部33cと、を備える。
33 A of image data generation parts are the said seen from the virtual viewpoint outside the vehicle V based on the vehicle image data memorize | stored in the vehicle image data memory | storage part 32, and the imaging data acquired by the imaging
車両画像データ加工部33aは、車室内カメラ15の撮像結果に関する車室内撮像データに基づいて、車両Vの画像内(本実施形態では、車両Vのフロントガラス)に車室内の撮像結果が合成されるように、車両画像データを加工する。ここで、車両画像データ加工部33aは、必要に応じて、車室内撮像データに透明化処理を施して車室内撮像データに基づいて表示される車室内の撮像結果を半透明化したり、車室内の撮像結果を仮想視点から見える画像となるように車室内撮像データを加工する。加工された車両画像データは、画像データ合成部33cに出力される。
The vehicle image
俯瞰画像データ生成部33bは、前カメラ11、左カメラ12、右カメラ13及び後カメラ14の撮像結果に関する撮像データに基づいて、車両Vの外部の仮想視点から見た当該車両Vの周囲の俯瞰画像に関する俯瞰画像データを生成する。生成された俯瞰画像データは、画像データ合成部33cに出力される。本実施形態において、仮想視点は、車両Vの前方上方から車両Vを見下ろす視点であり、俯瞰画像データ生成部33bは、前カメラ11、左カメラ12、右カメラ13及び後カメラ14の撮像データに対して、反転、回転、拡大、縮小、変形等の処理を施すことによって俯瞰画像データを生成する。
The bird's-eye view image
画像データ合成部33cは、加工された車両画像データと、生成された俯瞰画像データと、に基づいて、車両Vの外部の仮想視点から見た当該車両Vを含む画像に関する画像データを生成する。生成された画像データは、画像データ出力部34に出力される。
Based on the processed vehicle image data and the generated overhead image data, the image
画像データ出力部34は、画像データ生成部33によって生成された画像データを表示装置20に出力する。
The image
表示装置20は、図3(b)に示すように、画像データ生成部33Aによって生成された画像データを用いて、車両Vの外部の仮想視点から見た当該車両Vを含む画像100Aを表示する。画像100Aは、前カメラ11の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる前領域101と、左カメラ12の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる左領域102と、右カメラ13の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる右領域103と、後カメラ14の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる後領域104と、車両画像データ記憶部32に記憶された車両画像データを車両画像データ加工部33aが車室内カメラ15の撮像結果に関する撮像データを用いて加工することによって得られた画像データによる車両領域105と、から構成される。すなわち、第一の実施形態に係る画像表示システム1Aは、車両Vの画像に車室内の撮像結果が合成されているので、運転者、同乗者、自車の内装等が表示されることとなり、図3(a)に示す従来例と比べて、現実感のある画像を表示することができる。また、第一の実施形態に係る画像表示システム1Aは、車両V周辺の状況と車室内の状況とを同時に表示することができるため、表示装置20の利用者(運転者等)の視点の移動を少なくすることができる。すなわち、運手者は、振り返ったり、ルームミラーを見ずに、表示装置20を見るだけで、車両V周辺の状況と車室内の状況とを同時に確認することができるようになる。
As shown in FIG. 3B, the
<第二の実施形態>
続いて、本発明の第二の実施形態に係る画像表示システムについて、第一の実施形態に係る画像表示システム1Aとの相違点を中心に、図4〜図6を参照して説明する。図4は、本発明の第二の実施形態に係る画像表示システムが適用される車両の外観図であり、(a)は側面図、(b)は平面図である。図5は、本発明の第二の実施形態に係る画像データ生成装置を示すブロック図である。図6(a)は、従来の画像表示システムによって表示される画像例であり、図6(b)は、本発明の第二の実施形態に係る画像表示システムによって表示される画像例である。
<Second Embodiment>
Next, an image display system according to a second embodiment of the present invention will be described with reference to FIGS. 4 to 6 with a focus on differences from the image display system 1A according to the first embodiment. 4A and 4B are external views of a vehicle to which the image display system according to the second embodiment of the present invention is applied. FIG. 4A is a side view and FIG. 4B is a plan view. FIG. 5 is a block diagram showing an image data generation apparatus according to the second embodiment of the present invention. FIG. 6A is an example of an image displayed by a conventional image display system, and FIG. 6B is an example of an image displayed by an image display system according to the second embodiment of the present invention.
図4に示すように、本発明の第二の実施形態に係る画像表示システム1Bは、車室内カメラ15に代えて、車両Vの上方を撮像する上カメラ16を備える。一例として、上カメラ16は車室内のルームミラー近傍に設けられ、フロントガラスを介して車両Vの上方を撮像する。上カメラ16の撮像結果は、デジタルの撮像データとして画像データ生成装置30Bに出力される。
As shown in FIG. 4, the image display system 1 </ b> B according to the second embodiment of the present invention includes an
図5に示すように、本発明の第二の実施形態に係る画像表示システム1Bは、画像データ生成装置30Aに代えて画像データ生成装置30Bを備える。画像データ生成装置30Bは、画像データ生成装置30Aの機能ブロックに加えて、映り込み位置記憶部35をさらに備える。
As shown in FIG. 5, an
映り込み位置記憶部35には、車両Vの周囲の撮像結果が車両Vの画像に映り込む映り込み位置が記憶されており、詳細には、前カメラ11、左カメラ12、右カメラ13及び上カメラ16の撮像結果の座標と、これらの座標の画素が映り込む車両Vの画像上の座標と、当該座標における映り込みにおける画素の重畳割合と、が関連付けて記憶されている。
例えば、RGBの各画素値を0〜255に階層化するものとし、車両画像データのある位置のRGB画素値が(128,128,128)であり、かかる位置に重畳される撮像データのRGB画素値が(32,160,32)であり、重畳割合が60%である場合には、かかる位置の映り込みが反映されたRGB画素値は、
(128,128,128)×40%+(32,160,32)×60%
=(70,147,70)
となる。
The reflection position storage unit 35 stores reflection positions at which the imaging results around the vehicle V are reflected in the image of the vehicle V. In detail, the
For example, it is assumed that RGB pixel values are hierarchized from 0 to 255, and the RGB pixel value at a certain position in the vehicle image data is (128, 128, 128), and the RGB pixel of the imaging data superimposed at such a position When the value is (32, 160, 32) and the superposition ratio is 60%, the RGB pixel value reflecting the reflection of the position is
(128,128,128) × 40% + (32,160,32) × 60%
= (70, 147, 70)
It becomes.
本実施形態において、車両画像データ加工部33aは、映り込み位置記憶部35に記憶された関係性を参照し、前カメラ11、左カメラ12、右カメラ13及び上カメラ16の撮像結果に関する車両周囲撮像データに基づいて、車両Vの周囲の撮像結果が車両Vの画像内に合成されるように、車両画像データを加工する。
In the present embodiment, the vehicle image
表示装置20は、図6(b)に示すように、画像データ生成部33によって生成された画像データを用いて、車両Vの外部の仮想視点から見た当該車両Vを含む画像100Bを表示する。画像100Bは、前カメラ11の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる前領域101と、左カメラ12の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる左領域102と、右カメラ13の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる右領域103と、後カメラ14の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる後領域104と、車両画像データ記憶部32に記憶された車両画像データを車両画像データ加工部33aが前カメラ11、左カメラ12、右カメラ13及び上カメラ16の撮像結果に関する撮像データを用いて加工することによって得られた画像データによる車両領域106と、から構成される。ここで、車両領域106において、車両Vのフロントグリル中央には、前カメラ11の撮像結果が映り込んでおり、車両Vのフロントグリル左右端部のそれぞれには、左カメラ12及び右カメラ13のそれぞれの撮像結果が映り込んでおり、車両Vのボンネット及びフロントガラスには、上カメラ16の撮像結果が映りこんでいる。すなわち、第二の実施形態に係る画像表示システム1Bは、車両Vの画像内に車両Vの周囲の撮像結果が映り込みとして合成されているので、図6(a)に示す従来例と比べて、より現実感のある画像を表示することができる。また、第二の実施形態に係る画像表示システム1Bは、仮想視点からは見えない画像を車両Vへの映り込みとして間接的に表示することができるため、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置20の利用者(運転者等)へ提供することができる。
As illustrated in FIG. 6B, the
<第三の実施形態>
続いて、本発明の第三の実施形態に係る画像表示システムについて、第一の実施形態に係る画像表示システム1Aとの相違点を中心に、図7及び図8を参照して説明する。図7は、本発明の第三の実施形態に係る画像データ生成装置を示すブロック図である。図8(a)は、従来の画像表示システムによって表示される画像例であり、図8(b)は、本発明の第三の実施形態に係る画像表示システムによって表示される画像例である。
<Third embodiment>
Next, an image display system according to a third embodiment of the present invention will be described with reference to FIGS. 7 and 8 with a focus on differences from the image display system 1A according to the first embodiment. FIG. 7 is a block diagram showing an image data generation apparatus according to the third embodiment of the present invention. FIG. 8A is an example of an image displayed by the conventional image display system, and FIG. 8B is an example of an image displayed by the image display system according to the third embodiment of the present invention.
図7に示すように、本発明の第三の実施形態に係る画像表示システム1Cは、車室内カメラ15を備えておらず、画像データ生成装置30Aに代えて画像データ生成装置30Cを備える。
As shown in FIG. 7, the image display system 1C according to the third embodiment of the present invention does not include the
画像データ生成装置30Cは、画像データ生成装置30Aと比較すると、車両周囲撮像データ記憶部35をさらに備えるとともに、画像データ生成部33Aに代えて画像データ生成部33Cを備える。
Compared with the image
車両周囲撮像データ記憶部35には、撮像データ取得部31によって取得された撮像データが一連の映像データとして記憶される。
The imaging data acquired by the imaging
画像データ生成部33Cは、画像データ生成部33Aの機能ブロックに加えて、車両下方画像データ生成部33dと、透明化処理部33eと、をさらに備える。
In addition to the functional blocks of the image
車両下方画像データ生成部33dは、車両周囲撮像データ記憶部35に記憶された車両周囲撮像データに基づいて、車両Vの下方の画像に関する車両下方画像データを生成する。例えば、車両下方画像データ生成部33dは、車両Vの前進中には前カメラ11の撮像結果に関する周囲撮像データに基づいて車両下方画像データを生成し、車両Vの後進中には後カメラ14の撮像結果に関する周囲撮像データに基づいて車両下方画像データを生成することができる。また、車両下方撮像データ生成部33dは、車両Vに設けられた車体の速度を検出する車体速度センサの検出結果に基づいて、過去の車両周囲撮像データの中からどれを車両下方画像データの生成に用いるかを決定することができる。また、車両下方撮像データ生成部33dは、車両Vに設けられたステアリング(ハンドル)の操舵角を検出する操舵角センサの検出結果に基づいて、過去の車両周囲撮像データにおける撮像領域と現時点の車両Vの位置との関係に応じた車両下方画像データを生成することもできる。生成された車両下方画像データは、車両画像データ加工部33aに出力される。
The vehicle lower image
透明化処理部33eは、車両画像データ記憶部32に記憶された車両画像データに透明化処理を施すことによって、車両画像データに基づいて表示される車両Vの画像の透明度を変更し、当該車両Vの画像を半透明化する。透明化処理が施された車両画像データは、車両画像データ加工部33aに出力される。
The transparency processing unit 33e performs transparency processing on the vehicle image data stored in the vehicle image data storage unit 32, thereby changing the transparency of the image of the vehicle V displayed based on the vehicle image data. Translucent V image. The vehicle image data subjected to the transparency processing is output to the vehicle image
本実施形態において、車両画像データ加工部33aは、車両下方画像データに基づいて、車両Vの下方の画像が半透明化された車両Vの画像内に合成されるように、車両画像データを加工する。ここで、一の車両画像データにおいて、車両下方画像データは、俯瞰画像データに用いられる車両周囲撮像データよりも過去に撮像されたものを用いて生成されている。
In the present embodiment, the vehicle image
表示装置20は、図8(b)に示すように、画像データ生成部33によって生成された画像データを用いて、車両Vの外部の仮想視点から見た当該車両Vを含む画像100Cを表示する。画像100Cは、前カメラ11の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる前領域101と、左カメラ12の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる左領域102と、右カメラ13の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる右領域103と、後カメラ14の撮像結果に関する撮像データを俯瞰画像データ生成部33bが処理することによって得られた画像データによる後領域104と、車両下方画像データ生成部33dが車両下方画像データを生成するとともに車両画像データ記憶部32に記憶された車両画像データに対して透明化処理部33eが透明化処理を施し、透明化処理が施された車両画像データを車両画像データ加工部33aが車両下方画像データを用いて加工することによって得られた画像データによる車両領域107と、から構成される。すなわち、第三の実施形態に係る画像表示システム1Cは、半透明化された車両Vの画像に車両Vの下方の画像が合成されているので、図8(a)に示す従来例と比べて、仮想視点からは見えない車両Vの下方の状況(道路標示等)を表示することができるため、仮想視点からの画像に違和感を感じさせることなく、より多くの周辺状況を表示装置20の利用者(運転者等)へ提供することができる。
As illustrated in FIG. 8B, the
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、第一の実施形態〜第三の実施形態の全てを組み合わせた画像データ生成装置を車両Vに備え、かかる画像データ生成装置が、ボタン、タッチパネル等といった入力装置を運転者等が操作することによる入力信号に基づいて、第一の実施形態〜第三の実施形態の画像100A〜100Cのいずれかを表示装置20に表示させる構成であってもよい。また、例えば、左カメラ12及び右カメラ13がそれぞれ車両Vの左右のドアミラーに設けられる場合には、左右のドアミラーの角度を検出するセンサを車両Vに設け、画像データ生成装置1A,1B,1Cの俯瞰画像データ生成部33bが、かかるセンサの検出結果に基づいて、左カメラ12及び右カメラ13の撮像結果の向きを補正して俯瞰画像データを生成する構成であってもよい。同様に、第二の実施形態に係る車両画像データ加工部33aが、かかるセンサの検出結果に基づいて、左カメラ12及び右カメラ13の撮像結果の映り込み位置を補正して車両画像データを加工する構成であってもよい。また、車室内カメラ15及び上カメラ16の設置位置は、前記した位置に限定されず、例えば、車室内カメラ15を車室内の後部に設け、車両Vの後進中において、車両画像データ加工部33aが、車室内カメラ15の撮像結果に関する車室内撮像データに基づいて、車両Vの画像のリアガラスに車室内カメラ15による撮像結果が合成されるように、車両画像データを加工する構成であってもよい。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, A design change is possible suitably in the range which does not deviate from the summary of this invention. For example, a vehicle V is provided with an image data generation device that combines all of the first to third embodiments, and the driver operates an input device such as a button or a touch panel. The
また、第三の実施形態に係る画像データ生成装置30Cにおいて、車両画像データ記憶部32に記憶された車両画像データが、車両Vの輪郭線のみを表すデータ、又は、車両Vの輪郭線及び車輪の輪郭線を表すデータであり、車両画像データ加工部33aが、かかる車両画像データに対応する車両画像と車両下方画像データに対応する車両下方画像とを直接合成する構成であってもよい。かかる車両画像データは、車両画像として、車両Vの輪郭線(及び車輪の輪郭線)を半透明の線として表示するとともに、車両Vの輪郭線の内部を透明として表示することができるデータである。この場合には、透明化処理部33eを省略することができるので、画像データ生成装置30Cが簡略化される。また、第三の実施形態に係る画像データ生成装置30Cにおいて、車両画像データ記憶部32に予め記憶された車両画像データが、車両Vの外観を半透明で表示するデータである場合にも、透明化処理部33eを省略することができる。
In the image
1A,1B,1C 画像表示システム
11 前カメラ
12 左カメラ
13 右カメラ
14 後カメラ
15 車室内カメラ
16 上カメラ
20 表示装置
30A,30B,30C 画像データ生成装置
31 撮像データ取得部
32 車両画像データ記憶部
33A,33C 画像データ生成部
34 画像データ出力部
1A, 1B, 1C
Claims (4)
前記車両の画像に関する車両画像データが予め記憶される車両画像データ記憶部と、
記憶された前記車両画像データと、取得された前記撮像データと、に基づいて、前記車両の外部の仮想視点から見た当該車両を含む画像に関する画像データを生成する画像データ生成部と、
生成された前記画像データを表示装置へ出力する出力部と、
を備え、
前記画像データ生成部は、前記撮像データに基づいて、前記撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする画像データ生成装置。 An imaging data acquisition unit that acquires imaging data related to an imaging result of at least one camera provided in the vehicle;
A vehicle image data storage unit in which vehicle image data relating to the image of the vehicle is stored in advance;
An image data generation unit that generates image data relating to an image including the vehicle viewed from a virtual viewpoint outside the vehicle, based on the stored vehicle image data and the acquired imaging data;
An output unit for outputting the generated image data to a display device;
With
The image data generation unit generates the image data based on the imaging data so that the imaging result is synthesized in an image of the vehicle.
前記画像データ生成部は、前記車室内撮像データに基づいて、前記車室内の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする請求項1に記載の画像データ生成装置。 The imaging data acquisition unit acquires vehicle interior imaging data related to an imaging result in the vehicle interior from a camera that images the vehicle interior;
The image data generation unit generates the image data based on the vehicle interior image data so that an imaging result in the vehicle interior is synthesized in an image of the vehicle. The image data generation device described.
前記車両の周囲の撮像結果が前記車両の画像に映り込む映り込み位置が予め記憶される映り込み位置記憶部をさらに備え、
前記画像データ生成部は、前記映り込み位置に基づいて、前記車両の周囲の撮像結果が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする請求項1に記載の画像データ生成装置。 The imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle,
A reflection position storage unit in which a reflection position at which an imaging result around the vehicle is reflected in an image of the vehicle is stored in advance;
The image data generation unit generates the image data based on the reflection position so that an imaging result around the vehicle is synthesized in an image of the vehicle. The image data generation device described.
取得された前記車両周囲撮像データが記憶される車両周囲撮像データ記憶部をさらに備え、
前記画像データ生成部は、記憶された前記車両周囲撮像データに基づいて前記車両の下方の画像に関する車両下方画像データを生成し、生成された前記車両下方画像データに基づいて、前記車両の下方の画像が前記車両の画像内に合成されるように、前記画像データを生成する
ことを特徴とする請求項1に記載の画像データ生成装置。 The imaging data acquisition unit acquires vehicle surrounding imaging data related to imaging results around the vehicle from a camera that images the surroundings of the vehicle,
A vehicle surrounding imaging data storage unit for storing the acquired vehicle surrounding imaging data;
The image data generation unit generates vehicle lower image data related to an image below the vehicle based on the stored vehicle surrounding imaging data, and based on the generated vehicle lower image data, The image data generation apparatus according to claim 1, wherein the image data is generated so that an image is synthesized in an image of the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106762A JP2010257242A (en) | 2009-04-24 | 2009-04-24 | Image data generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106762A JP2010257242A (en) | 2009-04-24 | 2009-04-24 | Image data generation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010257242A true JP2010257242A (en) | 2010-11-11 |
Family
ID=43318068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009106762A Pending JP2010257242A (en) | 2009-04-24 | 2009-04-24 | Image data generation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010257242A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013100057A (en) * | 2011-11-09 | 2013-05-23 | Aisin Seiki Co Ltd | Driving support device |
JP2013193734A (en) * | 2012-03-15 | 2013-09-30 | Mekra Lang Gmbh & Co Kg | Rear view monitor system for vehicle |
JP2014093768A (en) * | 2012-10-31 | 2014-05-19 | Hyundai Motor Company Co Ltd | Apparatus and method for controlling image on room mirror |
KR101816157B1 (en) * | 2015-11-13 | 2018-01-09 | 현대오트론 주식회사 | Apparatus for preventing the collision of vehicles using head-up display and method thereof |
CN108621938A (en) * | 2017-03-24 | 2018-10-09 | 丰田自动车株式会社 | Observation device for vehicle |
WO2019138465A1 (en) * | 2018-01-10 | 2019-07-18 | 三菱電機株式会社 | Display control device for vehicle and image display method |
JP2020166689A (en) * | 2019-03-29 | 2020-10-08 | 日産自動車株式会社 | Vehicle remote monitoring system, vehicle remote monitoring device, and vehicle remote monitoring method |
JP2021129185A (en) * | 2020-02-13 | 2021-09-02 | トヨタ自動車株式会社 | Vehicle peripheral monitoring device |
-
2009
- 2009-04-24 JP JP2009106762A patent/JP2010257242A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013100057A (en) * | 2011-11-09 | 2013-05-23 | Aisin Seiki Co Ltd | Driving support device |
JP2013193734A (en) * | 2012-03-15 | 2013-09-30 | Mekra Lang Gmbh & Co Kg | Rear view monitor system for vehicle |
JP2014093768A (en) * | 2012-10-31 | 2014-05-19 | Hyundai Motor Company Co Ltd | Apparatus and method for controlling image on room mirror |
KR101816157B1 (en) * | 2015-11-13 | 2018-01-09 | 현대오트론 주식회사 | Apparatus for preventing the collision of vehicles using head-up display and method thereof |
CN108621938B (en) * | 2017-03-24 | 2022-03-01 | 丰田自动车株式会社 | Observation device for vehicle |
CN108621938A (en) * | 2017-03-24 | 2018-10-09 | 丰田自动车株式会社 | Observation device for vehicle |
JP2018164187A (en) * | 2017-03-24 | 2018-10-18 | トヨタ自動車株式会社 | Visual recognition device for vehicle |
WO2019138465A1 (en) * | 2018-01-10 | 2019-07-18 | 三菱電機株式会社 | Display control device for vehicle and image display method |
JPWO2019138465A1 (en) * | 2018-01-10 | 2020-07-02 | 三菱電機株式会社 | Vehicle display control device and image display method |
JP2020166689A (en) * | 2019-03-29 | 2020-10-08 | 日産自動車株式会社 | Vehicle remote monitoring system, vehicle remote monitoring device, and vehicle remote monitoring method |
JP7242386B2 (en) | 2019-03-29 | 2023-03-20 | 日産自動車株式会社 | Vehicle remote monitoring system, vehicle remote monitoring device, and vehicle remote monitoring method |
JP2021129185A (en) * | 2020-02-13 | 2021-09-02 | トヨタ自動車株式会社 | Vehicle peripheral monitoring device |
JP7319593B2 (en) | 2020-02-13 | 2023-08-02 | トヨタ自動車株式会社 | Vehicle perimeter monitoring device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108621937B (en) | In-vehicle display apparatus, control method of in-vehicle display apparatus, and storage medium storing control program of in-vehicle display apparatus | |
JP2010257242A (en) | Image data generation device | |
JP6565148B2 (en) | Image display control device and image display system | |
JP4579145B2 (en) | Vehicle peripheral image display device | |
JP6877115B2 (en) | Vehicle visibility device | |
JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
JP5669791B2 (en) | Moving object peripheral image display device | |
WO2002089485A1 (en) | Method and apparatus for displaying pickup image of camera installed in vehicle | |
JP2012514558A (en) | Peripheral image generation method and apparatus | |
JP7039879B2 (en) | Display control device | |
JP6958163B2 (en) | Display control device | |
JP2010130673A (en) | Image processing apparatus, image processing method, and image processing program | |
JP2016055684A (en) | Image display control device and image display system | |
JP2022095303A (en) | Peripheral image display device, display control method | |
JP2010208359A (en) | Display device for vehicle | |
JP2023536976A (en) | Vehicle vision system and method including electronic image display for driver rearview | |
JP2017111739A (en) | Driving support apparatus and driving support method | |
JP4379148B2 (en) | Rear confirmation device | |
KR20180094717A (en) | Driving assistance apparatus using avm | |
JP7217090B2 (en) | Information providing device and information providing method | |
JP5077286B2 (en) | Vehicle peripheral image display device | |
US11302076B2 (en) | Periphery monitoring apparatus | |
JP5831331B2 (en) | Rear side photographing device for vehicle | |
KR101326966B1 (en) | System for Providing All-Around View for a Vehicle | |
JP2023161906A (en) | Display control system |