JP5320970B2 - Vehicle display device and display method - Google Patents
Vehicle display device and display method Download PDFInfo
- Publication number
- JP5320970B2 JP5320970B2 JP2008266545A JP2008266545A JP5320970B2 JP 5320970 B2 JP5320970 B2 JP 5320970B2 JP 2008266545 A JP2008266545 A JP 2008266545A JP 2008266545 A JP2008266545 A JP 2008266545A JP 5320970 B2 JP5320970 B2 JP 5320970B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- vehicle
- distance
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両用表示装置および表示方法に関する。 The present invention relates to a vehicle display device and a display method.
従来、自動車のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両側方の状況を車両ドライバが的確に把握できるようにするために、車両後方や車両側方の映像を車載カメラで撮影して、車両内部に設置したディスプレイに表示させることが提案されている。 Conventionally, in order to ensure that the vehicle driver can accurately grasp the situation behind the vehicle and the side of the vehicle with a small amount of line of sight movement while securing the field of view of the blind spot of the vehicle rearview mirror and door mirror, It has been proposed to capture a side image with an in-vehicle camera and display it on a display installed inside the vehicle.
例えば、特許文献には、車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した2台の側方カメラとを用いて、車両後方の映像と車両側方の映像とをそれぞれ撮影し、これらの映像を横方向に並べて車両内部の1つのディスプレイに表示させるようにした装置が記載されている。
ところで、この種の車両用表示装置では、車両後方および車両側方のできるだけ広い領域の映像を表示できるようにすることが望まれる。しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、このディスプレイに車両後方および車両側方の広い領域の映像を並べて表示するには、その分、表示する映像サイズを小さくする必要がある。このため、例えば、車両後方の映像として後続車両を映した映像をディスプレイ上で表示したときに、この後続車両が、ルームミラーで確認する場合と比べて小さく表示され、車両ドライバがこの後続車両との距離感を正しく認識できずに実際よりも遠くに存在するものと誤って認識してしまう場合がある。 By the way, in this type of vehicle display device, it is desired to be able to display an image of the widest possible region behind the vehicle and the side of the vehicle. However, the display inside the vehicle has a limited display area, and in order to display images of a wide area behind and on the side of the vehicle side by side on this display, it is necessary to reduce the size of the display image accordingly. There is. For this reason, for example, when an image showing the following vehicle is displayed on the display as an image behind the vehicle, the following vehicle is displayed smaller than the case where the vehicle is confirmed by the rearview mirror, and the vehicle driver May not be recognized correctly, and may be mistakenly recognized as being far away from the actual distance.
本発明はかかる事情に鑑みてなされたものであり、その目的は、車両後方および車両側方の比較的広い領域の映像を表示しながら、車両ドライバが正しい距離感で映像を把握できるような表示を行うことである。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a display that allows a vehicle driver to grasp the image with a sense of distance while displaying an image of a relatively wide area behind the vehicle and the side of the vehicle. Is to do.
かかる課題を解決するために、本発明は、車両の後方及び後側方を撮影した後方映像及び後側方映像のうちの、後側方映像を、消失点を含み自車両の側部近傍の映像部分である第1の映像と、当該第1の映像を除く映像部分である第2の映像とに分割する。後方映像及び第1の映像は圧縮せず、第2の映像に対して、消失点から自車両とは反対側へ向かう距離が遠い程圧縮率が大きくなるように、第2の映像が圧縮される。そして、圧縮された第2の映像と、後方映像及び第1の映像とが合成され、この映像が表示される。 In order to solve such a problem, the present invention provides a rear side image out of a rear image and a rear side image obtained by photographing the rear and rear sides of the vehicle. The video is divided into a first video that is a video portion and a second video that is a video portion excluding the first video. Without the rear image and the first image compression, to the second image, the vanishing point or et vehicle as higher compression rate far distance toward the opposite side increases, the second video compression Is done. Then, the compressed second video, the rear video and the first video are synthesized, and this video is displayed.
本発明によれば、分割した第2の映像を圧縮することで、限られた表示領域の中で、広い視界の映像を効率的に表現することができる。また、消失点から離れる程圧縮率を大きくすることで、違和感の少ない自然な映像からドライバが正しい距離感で映像を把握することができる。 According to the present invention, by compressing the divided second video, a video with a wide field of view can be efficiently expressed in a limited display area. Further, by increasing the compression rate as the distance from the vanishing point increases, the driver can grasp the video with a sense of correct distance from a natural video with less sense of discomfort.
(第1の実施形態)
図1は、本発明の第1の実施形態にかかる車両用表示装置を概略的に示す構成図である。この車両用表示装置は、車両に搭載されており、車両の周囲、具体的には、車両後方および左右側方に関する映像を表示する装置である。車両用表示装置は、複数のカメラ1〜3と、ディスプレイ4と、映像処理ユニット10とを主体に構成されている。カメラ1〜3と、ディスプレイ4とは映像処理ユニット10に接続されている。
(First embodiment)
FIG. 1 is a configuration diagram schematically illustrating a vehicle display device according to a first embodiment of the present invention. This vehicle display device is mounted on a vehicle, and is a device that displays images related to the surroundings of the vehicle, specifically, the rear and left and right sides of the vehicle. The vehicle display device is mainly configured by a plurality of cameras 1 to 3, a
各カメラ1〜3は、光学系およびイメージセンサ(例えば、CCDまたはCMOSセンサ等)を主体に構成される撮影手段であり、所定の輝度階調(例えば、256階調のグレースケール)のデジタル映像を作成する。各カメラ1〜3は、デジタル化された1フレーム分の映像を映像処理ユニット10に出力する。
Each of the cameras 1 to 3 is a photographing unit mainly composed of an optical system and an image sensor (for example, a CCD or CMOS sensor), and is a digital image having a predetermined luminance gradation (for example, a gray scale of 256 gradations). Create Each of the cameras 1 to 3 outputs the digitized video for one frame to the
リアカメラ1は、例えば、ルーフスポイラーなどの車両後部の所定位置に設置されている。このリアカメラ1は、図2で示すように、自車両Vの後方の領域B1(以下「後方撮影領域」という)を撮影する。リアカメラ1によって撮影された後方撮影領域B1を含む映像は、映像処理ユニット10に出力される。
The rear camera 1 is installed at a predetermined position at the rear of the vehicle such as a roof spoiler. As shown in FIG. 2, the rear camera 1 captures an area B1 behind the host vehicle V (hereinafter referred to as “rear imaging area”). The video including the rear shooting area B <b> 1 shot by the rear camera 1 is output to the
右サイドカメラ2は、例えば、右側ドアミラーなどの車両右側部の所定位置に設置されている。この右サイドカメラ2は、図2に示すように、自車両Vの右側方から、後方撮影領域B1の一部を含む自車両Vの後方までの比較的広い領域B2(以下「右側撮影領域」という)を撮影する。右サイドカメラ2によって撮影された右側撮影領域B2を含む映像は、映像処理ユニット10に出力される。
The
左サイドカメラ3は、例えば、左側ドアミラーなどの車両左側部の所定位置に設置されている。この左サイドカメラ3は、図2に示すように、自車両Vの左側方から、後方撮影領域B1の一部を含む自車両Vの後方までの比較的広い領域B3(以下「左側撮影領域」という)を撮影する。左サイドカメラ3によって撮影された左側撮影領域B3を含む映像は、映像処理ユニット10に出力される。
The
ディスプレイ4は、車室内のインストルメントパネルに設置されており、映像処理ユニット10からの出力される映像を表示する。ディスプレイ4としては、液晶パネルやCRTなど周知の表示装置を利用することができる。ディスプレイ4は、例えば、ナビゲーション情報の表示に使用している表示装置などを流用することも可能である。
The
映像処理ユニット10としては、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。映像処理ユニット10は、各カメラ1〜3からの信号を入力として、ROMに格納された制御プログラムに従って各種の処理を行い、所定の映像をディスプレイ4に出力する。
As the
ここで、映像処理ユニット10の具体的な機能に関する説明に先立ち、映像処理ユニット10によって実行される処理の概念について説明する。映像処理ユニット10は、各カメラ1〜3から出力される映像のそれぞれを処理対象として、後述する提示映像を作成し、この提示映像をディスプレイ4に出力することにより、車両後方および左右側方の映像をディスプレイ4に表示する。映像処理ユニット10によって作成される提示映像は、後方映像、右側方映像および左側方映像で構成される。
Here, prior to description of specific functions of the
後方映像は、車両の前後軸を車両後方に伸ばした延長線を中心とした所定範囲の領域を映した映像であり、例えば、自車両Vのドライバがルームミラーにより確認できる範囲の車両後方の領域(以下「第1領域」という)の映像である。この第1領域は、リアカメラ1の撮影対象となる後方撮影領域B1の一部である。つまり、後方映像は、このリアカメラ1の撮影映像から得られる映像である。この後方映像から、自車両Vが走行している車線と同じ車線を走行する後続車両や、自車両Vよりも約20m以上後方の隣接車線を走行する後続車両などを確認することができる。 The rear image is an image showing a region in a predetermined range centered on an extension line obtained by extending the vehicle front-rear axis toward the rear of the vehicle. For example, a region behind the vehicle in a range that can be confirmed by a rearview mirror by the driver of the host vehicle V (Hereinafter referred to as “first region”). This first area is a part of the rear photographing area B1 to be photographed by the rear camera 1. That is, the rear image is an image obtained from the image captured by the rear camera 1. From the rear image, it is possible to confirm a succeeding vehicle that travels in the same lane as the lane in which the host vehicle V is traveling, a succeeding vehicle that travels in an adjacent lane about 20 m or more behind the host vehicle V, and the like.
右側方映像は、後方映像に隣接した右隣りの領域を映した映像であり、少なくとも自車両Vのドライバが右側ドアミラーにより確認できる範囲の車両後方および右側方を含む領域(以下「第2領域」という)の映像である。第2領域は、右サイドカメラ2の撮影対象となる右側撮影領域B2の一部である。つまり、右側方映像は、右サイドカメラ2の撮影映像から得られる映像である。右側方映像から、自車両Vが走行している車線の右隣りの隣接車線上を自車両Vに比較的近い位置で走行している後続車両を確認することができる。
The right side image is an image showing a right adjacent area adjacent to the rear image, and includes an area including at least the rear and right sides of the vehicle in a range that can be confirmed by the driver of the host vehicle V with the right door mirror (hereinafter, “second area”). This is a video of The second area is a part of the right-side shooting area B2 to be shot by the
左側方映像は、後方映像に隣接した左隣りの領域を映した映像であり、少なくとも自車両Vのドライバが左側ドアミラーにより確認できる範囲の車両左後方および左側方を含む領域(以下「第3領域」という)の映像である。第3領域は、左サイドカメラ3の撮影対象となる左側撮影領域B3の一部である。つまり、左側方映像は、左サイドカメラ3の撮影映像から得られる映像である。この左側方映像から、自車両Vが走行している車線の左隣りの隣接車線上を自車両Vに比較的近い位置で走行している後続車両を確認することができる。
The left side image is an image showing a left adjacent region adjacent to the rear image, and includes at least a region including the left rear side and the left side of the vehicle in a range that can be confirmed by the driver of the host vehicle V with the left door mirror (hereinafter referred to as “third region”). ")". The third area is a part of the left shooting area B3 that is the shooting target of the
図3は、ディスプレイ4の表示領域の一例を示す図である。自車両Vの2m程度後方を後続車両が走行している場合、自車両Vのドライバがルームミラーにより車両後方の様子を確認すると、ルームミラーのミラー反射像では、後続車両が比較的大きなサイズで確認される。このルームミラーのミラー反射像はドライバが普段から見慣れており、このミラー反射像の中の後続車両のサイズから、ドライバは後続車両までのおおよその距離を感覚的に認識できる。一方、車両後方および車両左右側方の広い領域を、ディスプレイ4の表示領域のサイズに合わせて自車両Vの後部に設置した車載カメラで広角映像として撮影し、これをディスプレイ4に表示した場合、その広角映像の中では後続車両が小さなサイズで確認される。そのため、自車両Vのドライバが普段から見慣れているルームミラーで後続車両を確認した場合と比べて映像中の後続車両V1が小さくなりすぎるために、ドライバがこの後続車両との距離感を正しく認識できずに、実際よりも遠くに存在するものと誤って認識してしまう。
FIG. 3 is a diagram illustrating an example of the display area of the
そこで、映像処理ユニット10は、ルームミラーで確認される自車両Vの後方を範囲とする後方映像については、ルームミラーによるミラー反射像に近い映像表現でディスプレイに表示する。具体的には、後方映像をミラー反射像に対応した映像サイズに変換する。そして、図3に示すように、ディスプレイ4の横方向中央に比較的広い範囲の表示領域D1(以下「中央表示領域」という)を設定し、このディスプレイ4の中央表示領域D1に、映像サイズを変換した後方映像を表示する。ここで、ミラー反射像に対応した映像サイズとは、必ずしもミラー反射像と一致した大きさの映像サイズを意味するものではなく、ミラー反射像から得られる距離感覚に近い距離感覚が得られる程度の映像サイズであればよい。
Therefore, the
また、ディスプレイ4の限られた表示領域の中で後方映像のほかに右側方映像と左側方映像とを表示する。そのため、右側方映像と左側方映像については、圧縮した映像として、ディスプレイの中央表示領域D1の外側、具体的には、その右側に位置する右側表示領域D2と、その左側に位置する右側表示領域D3とに表示する。本実施形態の特徴の一つは、右側方映像および左側方映像に関する圧縮処理にあり、その詳細については後述する。
Further, in the limited display area of the
再び図1を参照するに、映像処理ユニット10は、これを機能的に捉えた場合、映像入力部11と、第1映像変換部12と、第2映像変換部13と、映像合成・出力部14とで構成されている。
Referring to FIG. 1 again, when the
映像入力部11は、各カメラ1〜3で撮影された映像をそれぞれ入力する機能を担っており、RAMにより構成される3つの入力映像フレームメモリ21〜23を備えている。入力映像フレームメモリ21は、リアカメラ1に対応したフレームメモリ、入力映像フレームメモリ22は右サイドカメラ2に対応したフレームメモリ、入力映像フレームメモリ23は左サイドカメラ3に対応したフレームメモリである。入力映像フレームメモリ21〜23は、対応するカメラ1〜3から出力される1フレーム分の映像(デジタル映像)を記憶可能な容量を有する。リアカメラ1、右サイドカメラ2、左サイドカメラ3によって撮影された映像は、フレーム毎に、入力映像フレームメモリ21〜23に各々格納される。
The
第1映像変換部12は、リアカメラ1で撮影された後方撮影領域B1の映像から後方映像となる映像部分を切り出して、これをドライバがルームミラーで視認する車両後方のミラー反射像に対応する映像サイズに変換する。第1映像変換部12は、演算部24と、後方映像フレームメモリ25とを備えている。
The first
第1映像変換部12の演算部24は、映像入力部11の入力映像フレームメモリ21に格納されたリアカメラ1の撮影映像のピクセルデータを、定義テーブルに従って後方映像フレームメモリ25の各ピクセルに再配置することで、リアカメラ1の撮影映像から後方映像を生成する。ここで、後方映像はリアカメラ1の撮影映像の一部を切り出した映像であるため、車両ドライバが自車両Vのルームミラーで視認する車両後方のミラー反射像に比べて、映像サイズが小さくなっている場合が多い。この場合、リアカメラ1の撮影映像から切り出した映像は、ルームミラーによるミラー反射像に対応した映像サイズにまで拡大される。
The
リアカメラ1の撮影映像と、後方映像との関係は定義テーブルに記載されている。定義テーブルは、後方映像フレームメモリ25に格納する各ピクセルが、入力映像フレームメモリ21の座標系(カメラ座標系)のどの場所に対応するかの対応関係を規定している。ここで、後方映像フレームメモリ25の各ピクセルが対応する入力映像フレームメモリ21の座標系での場所は必ずしも整数値ではなく、映像サイズを拡大する場合にはピクセルとピクセルの間である実数値をとる場合がある。この場合は、例えばニアレストネイバ法やバイリニア法、バイキュービック法などの既知の映像補間方法によりピクセルの補間を行う。
The relationship between the captured video of the rear camera 1 and the rear video is described in the definition table. The definition table defines a correspondence relationship in which location in the coordinate system (camera coordinate system) of the input
第2映像変換部13は、右サイドカメラ2で撮影された右側撮影領域B2の映像から右側方映像となる映像部分を切り出すとともに、左サイドカメラ3で撮影された左側撮影領域B3の映像から左側方映像となる映像部分を切り出す。そして、第2映像変換部13は、これら切り出した右側方映像および左側方映像を圧縮した映像に変換する。第2映像変換部13は、右側方映像に対応した演算部26と右側方映像フレームメモリ27、左側方映像に対応した演算部28と左側方映像フレームメモリ29を備えている。
The second
右側方映像に対応した演算部26は、映像入力部11の入力映像フレームメモリ22に格納された右サイドカメラ2の撮影映像のピクセルデータを、定義テーブルに従って右側方映像フレームメモリ27の各ピクセルに再配置する。これにより、演算部26は、右サイドカメラ2の撮影映像から右側方映像を生成するとともに、生成した本来の右側方映像よりも圧縮した右側方映像を生成する。この映像の圧縮は、右側方映像フレームメモリ27の各ピクセルと入力映像フレームメモリ22の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。
The
左側方映像に対応した演算部28は、映像入力部11の入力映像フレームメモリ23に格納された左サイドカメラ3の撮影映像のピクセルデータを、定義テーブルに従って左側方映像フレームメモリ29の各ピクセルに再配置する。これにより、演算部28は、左サイドカメラ3の撮影映像から左側方映像を生成するとともに、生成した本来の左側方映像よりも圧縮した左側方映像を生成する。この映像の圧縮は、左側方映像フレームメモリ29の各ピクセルと入力映像フレームメモリ23の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。
The
映像合成・出力部14は、第1映像変換部12で生成された後方映像と、第2映像変換部13で生成された右側方映像および左側方映像とを合成し、1つの表示用映像としてディスプレイ4に出力する。映像合成・出力部14は、演算部30と、出力映像フレームメモリ31とを備えている。
The video composition /
映像合成・出力部14の演算部30は、後方映像フレームメモリ25に格納された後方映像のピクセルデータと、右側方映像フレームメモリ27に格納された圧縮された右側方映像のピクセルデータと、左側方映像フレームメモリ29に格納された圧縮された左側方映像のピクセルデータとを、映像合成定義テーブルに従って出力映像フレームメモリ31に再配置する。これにより、映像合成・出力部14は、後方映像と、圧縮された右側方映像と、圧縮された左側方映像とを合成した1つの映像である提示映像を生成する。映像合成定義テーブルは、ディスプレイ4の表示領域のレイアウト、すなわち、中央表示領域D1、右側表示領域D2および左側表示領域D3に対応する出力映像フレームメモリ31の各ピクセルが、後方映像フレームメモリ25、右側方映像フレームメモリ27、左側方映像フレームメモリ29のどのフレームメモリのどの場所に対応するかの対応関係を規定している。この映像合成定義テーブルに従ったピクセルの再配置により、後方映像の左右両側に、圧縮された右側方映像と、圧縮された左側方映像とが並んだ提示映像が生成され、出力映像フレームメモリ31に格納される。
The
映像合成・出力部14の出力映像フレームメモリ31に格納された提示映像の映像データは、ディスプレイ4に随時出力される。これにより、ディスプレイ4には、提示映像が表示される。つまり、ディスプレイ4の中央表示領域D1には、後方映像がルームミラーのミラー反射像に対応する映像サイズで表示され、横方向の両端側に位置する左右の表示領域D2,D3には、右側方映像と左側方映像とがそれぞれ圧縮された映像として表示される。
The video data of the presentation video stored in the output
ここで、ディスプレイに表示する映像をルームミラーや左右のドアミラーのミラー反射像に合わせた映像表現とする場合は、車載カメラの撮影映像を左右反転して使用する。つまり、ルームミラーや左右のドアミラーのミラー反射像は、車載カメラの撮影方向で見た場合(ドライバが車両後方を振り返って見た場合に相当)と比べると、左右反転した映像となる。したがって、車載カメラで撮影された映像を左右反転してミラー反射像に合わせ、ディスプレイの中央表示領域D1に後方映像、中央表示領域D1よりも右側に位置する右側表示領域D2に右側方映像、中央表示領域D1よりも左側に位置する左側表示領域D3に左側方映像をそれぞれ表示する。なお、ディスプレイに表示する映像を車載カメラの撮影方向に合わせた映像表現とする場合には、車載カメラで撮影された映像を左右反転せずに、右側方映像を左側の左側表示領域D3に表示し、左側方映像を右側の右側表示領域D2に表示すればよい。 Here, when the image displayed on the display is expressed as an image that matches the mirror reflection image of the room mirror or the left and right door mirrors, the image captured by the in-vehicle camera is reversed left and right. That is, the mirror reflection images of the room mirror and the left and right door mirrors are images that are reversed left and right as compared to the case of viewing in the shooting direction of the in-vehicle camera (corresponding to the case where the driver looks back from the vehicle). Therefore, the image captured by the in-vehicle camera is reversed left and right to match the mirror reflection image, the rear image is displayed in the center display region D1 of the display, the right image is displayed in the right display region D2 located on the right side of the center display region D1, and the center Left side images are respectively displayed in the left display area D3 located on the left side of the display area D1. In addition, when the video displayed on the display is expressed as a video that matches the shooting direction of the in-vehicle camera, the right-side video is displayed in the left display area D3 on the left side without flipping the video shot by the in-vehicle camera. Then, the left side image may be displayed in the right side display area D2.
以下、本実施形態の特徴の一つである、第2映像変換部13によって実行される右側方映像と左側方映像とに対する映像の圧縮手法について説明する。ここで、図4は、第2映像変換部13による圧縮処理の処理内容を概念的に説明するフローチャートである。右側方映像および左側方映像に関する映像の圧縮では、演算部26,28が定義テーブルに従って各ピクセルデータを再配置することにより一義的に映像を圧縮するものであるが、この定義テーブルに従った処理は、これを概念的に捉えた場合、以下に示す各処理を内包するものである。なお、本実施形態では、右側方映像に関する処理について説明するが、左側方映像についても同様に圧縮処理が行われる。
Hereinafter, a video compression method for the right side video and the left side video executed by the second
まず、ステップ1(S1)において、第2映像変換部13は、右側方映像を読み込む。右サイドカメラ2による右側撮影領域B2が、第2領域と対応している場合には、右サイドカメラ2によって撮影された映像が右側方映像として読み込まれる。一方、右サイドカメラ2による右側撮影領域B2が、第2領域よりも広い場合には、第2領域に対応する映像部分を切り出した上で、当該映像部分が右側方映像として読み込まれる。
First, in step 1 (S1), the second
図5は、映像の分割処理を示す説明図であり、分割処理の対象となる右側方映像PRを示している。同図において、隣接車線には、オートバイなどの二輪車がボックス状態で模式的に描かれている。ステップ2(S2)において、第2映像変換部13は、右側方映像PRを処理対象として、第1の映像PR1と、第2の映像PR2とに分割する。ここで、第1の映像PR1は、右側方映像PRのうちの消失点を含む所定領域に対応する映像部分であり、第2の映像PR2は、右側方映像PRから第1の映像PR1を除いた映像部分である。右側方映像PRにおいて消失点がどこに存在するかは、右サイドカメラ2の位置によって決まる。そのため、右サイドカメラ2の位置から特定される消失点の位置をベースに、右側方映像PRを第1の映像PR1と第2の映像PR2とに分割する分割位置が予め設定されている。本実施形態では、右側方映像PRを予め設定された分割位置において縦方向に切断することにより、第1の映像PR1と第2の映像PR2とに分割する。
FIG. 5 is an explanatory diagram showing video division processing, and shows a right-side video PR that is a target of division processing. In the figure, two-wheeled vehicles such as motorcycles are schematically illustrated in a box state in adjacent lanes. In step 2 (S2), the second
ステップ3(S3)において、第2映像変換部13は、分割された一対の映像部分のうち、消失点を含まない映像である第2の映像PR2を処理対象として、この第2の映像PR2を横方向(水平方向)に圧縮する圧縮処理を行う。図6は、横方向への映像圧縮の概念を説明する説明図であり、図7は、横方向に圧縮された第2の映像PR2を模式的に示す説明図である。横方向に圧縮された圧縮後の第2の映像PR2を撮影することができる仮想的なカメラ(以下「仮想カメラ」という)を考えると、この仮想カメラと、第2の映像PR2(右側方映像PR)を撮影する右サイドカメラ2とは、次に述べるような関係を具備している。
In Step 3 (S3), the second
ここで、x軸、y軸およびz軸からなる三次元空間において、仮想カメラおよび右サイドカメラ2は、その撮像面(すなわち、第2の映像PR2)が、横方向(水平方向)をx軸、縦方向(垂直方向)をy軸とするxz平面によって規定され、光学中心がy軸と平行に設定されている。また、仮想カメラのz軸方向の撮像面の幅と、右サイドカメラ2のz軸方向の撮像面の幅とは互いに対応しているとともに、撮像面における消失点Psの位置が互いに対応する関係となっている。
Here, in the three-dimensional space composed of the x axis, the y axis, and the z axis, the virtual camera and the
映像の横方向の圧縮は、xy平面で捉えることができる。rxyは、仮想カメラの撮像面において、消失点Psから任意の点Ptまでの距離(xy平面での距離)である。Wiは、仮想カメラの撮像幅、具体的には、仮想カメラの撮像面において、消失点Psから撮像面の端部までの距離(xy平面での距離)である。一方、rcxyは、右サイドカメラ2の撮像面において、消失点Psから任意の点までの距離(xy平面での距離)である。
The horizontal compression of the video can be captured on the xy plane. rxy is a distance from the vanishing point Ps to an arbitrary point Pt (distance on the xy plane) on the imaging surface of the virtual camera. Wi is the imaging width of the virtual camera, specifically, the distance from the vanishing point Ps to the end of the imaging surface (distance on the xy plane) on the imaging surface of the virtual camera. On the other hand, rcxy is a distance (distance on the xy plane) from the vanishing point Ps to an arbitrary point on the imaging surface of the
仮想カメラの撮像面上のある点rxyにおけるピクセルデータ(具体的には、z軸方向に並ぶピクセルデータ群)は、図6(a)に示す曲線rxyによって定義される。具体的には、曲線rxyに基づいて、仮想カメラの撮像面において点rxyに入射する光の入射角θxyが特定される。つぎに、特定された入射角θxyに基づいて、この入射角θxyで入射する光が、実際の右サイドカメラ2の撮像面上のどの点rcxyに入射するかが計算される。右サイドカメラ2において、入射角θxyと撮像面上の点rcxyとの対応関係は、例えば、fθレンズモデルなどを考慮することにより、定義することができる。そして、右サイドカメラ2において、入射角θxyに対応する撮像面上の点rcxyのピクセルデータ(具体的には、z軸方向に並ぶピクセルデータ群)が抽出され、このピクセルデータが、仮想カメラの撮像面上の点rxyにおけるピクセルデータとして決定される。ここで、仮想カメラを定義する曲線rxyは、以下に示す関係を満たす。
Pixel data at a certain point rxy on the imaging surface of the virtual camera (specifically, a group of pixel data arranged in the z-axis direction) is defined by a curve rxy shown in FIG. Specifically, the incident angle θxy of the light incident on the point rxy on the imaging surface of the virtual camera is specified based on the curve rxy. Next, based on the specified incident angle θxy, it is calculated to which point rcxy on the imaging surface of the actual
(数式1)
rxy = Wi−Of/tanθxy×C1+C2
ここで、Ofは、仮想カメラに入射角θxyで入射する実空間上の像Taと、仮想カメラの光学中心との間の距離(xy平面での距離)である。また、C1は、所定の定数であり、映像に関する総体的な圧縮率を設定するパラメータである。すなわち、このC1を大きな値に設定すれば、映像に関する総体的な圧縮率が大きくなり、このC1を小さな値に設定すれば、映像に関する総体的な圧縮率が小さくなる。C1は、実験やシミュレーションを通じて、その最適値が予め設定されている。また、C2は、所定の定数であり、映像の圧縮を開始する圧縮開始点であり、この圧縮開始点は、消失点Psからの距離(xy平面での距離)rthによって示される。本実施形態において、圧縮開始点rthは、第1の映像PR1と、第2の映像PR2との分割点に設定されている。
(Formula 1)
rxy = Wi-Of / tan θxy × C1 + C2
Here, Of is a distance (distance on the xy plane) between the image Ta in the real space that enters the virtual camera at an incident angle θxy and the optical center of the virtual camera. C1 is a predetermined constant, and is a parameter for setting an overall compression rate related to video. That is, if this C1 is set to a large value, the overall compression rate for video will increase, and if this C1 is set to a small value, the overall compression rate for video will decrease. The optimum value of C1 is set in advance through experiments and simulations. C2 is a predetermined constant and is a compression start point at which video compression starts. This compression start point is indicated by a distance (distance on the xy plane) rth from the vanishing point Ps. In the present embodiment, the compression start point rth is set as a division point between the first video PR1 and the second video PR2.
図6および数式1から分かるように、消失点から離れるほど、直線fθと曲線rxyとの乖離が大きくなる。すなわち、仮想カメラによって撮影される映像、すなわち、圧縮後の第2の映像PR2は、実際の右サイドカメラ2の映像(具体的には、圧縮前の第2の映像)を比較した場合、消失点から離れるほど、その圧縮率が大きく設定される傾向を有している。また、同数式の右辺の第2項により、自車両からの距離が近い程、第2の映像における映像上の横方向距離hと、実空間上の距離Diとが比例するように、横方向の圧縮率が設定される。 As can be seen from FIG. 6 and Equation 1, the distance between the straight line fθ and the curve rxy increases as the distance from the vanishing point increases. That is, the video shot by the virtual camera, that is, the second video PR2 after compression is lost when the actual video of the right side camera 2 (specifically, the second video before compression) is compared. The further away from the point, the higher the compression rate tends to be set. Further, according to the second term on the right side of the formula, the lateral distance h on the video in the second video is proportional to the distance Di in the real space as the distance from the host vehicle is shorter. Is set.
ステップ4(S4)において、第2映像変換部13は、横方向に圧縮された第2の映像PR2を処理対象として、縦方向への圧縮処理を行う。ここで、図8は、第2の映像PR2の縦方向の圧縮結果を示す説明図である。具体的には、第2映像変換部13は、上述したxy平面における消失点からの距離rxyの点において、そのz方向に並ぶピクセルデータ群を対象として、距離rxyにおける横方向の圧縮率に応じて、z方向(縦方向)への圧縮を行う。同図に示すように、縦方向の圧縮は、xy平面における消失点からの距離rxyが離れるほど、縦方向(z方向)の圧縮率が強くなる傾向を有している。
In step 4 (S4), the second
ステップ6(S6)において、第2映像変換部13は、横方向および縦方向に圧縮が行われた第2の映像PR2と、第1の映像PR1とを合成する。図9は、第1の映像PR1および第2の映像PR2の合成結果を示す説明図である。
In step 6 (S6), the second
図10は、切り出しおよび拡大された映像の説明図である。ステップ7(S7)において、第2映像変換部13は、合成された映像を対象として、必要な映像部分を切り出すとともに、この切り出された映像部分を対象として、ディスプレイ4の右側表示領域D2に対応する映像サイズへと拡大する。
FIG. 10 is an explanatory diagram of a cut and enlarged video. In Step 7 (S7), the second
このように本実施形態の車両用表示装置は、右サイドカメラ2から出力される右側方映像PRを分割することにより、消失点を含む第1の映像PR1と、この第1の映像PR1を除く第2の映像PR2とを出力する。そして、第2の映像PR2を処理対象として、消失点からの距離が遠い程、圧縮率が大きくなるように第2の映像PR2が圧縮される。圧縮された第2の映像PR2と、分割された他方の映像である第1の映像PR1とが合成され、この合成された映像である提示映像がディスプレイ4に表示される。なお、本実施形態では、車両用表示装置は、左サイドカメラ3から出力される左側方映像についても同様の処理を行う。
As described above, the vehicle display device according to the present embodiment divides the right side image PR output from the
かかる構成によれば、分割した第2の映像を圧縮することにより、ディスプレイ4の限られた表示領域の中で、広い視界の映像を効率的に表現することができる。また、消失点から離れる程圧縮率を大きくすることで、違和感の少ない自然な映像を表示することができる。そのため、ドライバが正しい距離感で映像を把握することができる。
According to this configuration, by compressing the divided second video, a video with a wide field of view can be efficiently expressed in the limited display area of the
図11,12は、ディスプレイ4に表示される後方映像PB、右側方映像PRおよび左側方映像PLを示す説明図である。なお、図11では、右側方映像PRおよび左側方映像PLは、横方向の圧縮処理のみが行われた状態を示しており、図12では、右側方映像PRおよび左側方映像PLは、横方向および縦方向の圧縮処理が行われた状態を示している。本実施形態によれば、ディスプレイ4の横方向中央に位置する比較的広い中央表示領域D1に、ルームミラーのミラー反射像に対応した映像サイズで後方映像PBが表示され、中央表示領域D1の外側に位置する左右の表示領域D2,D3に右側方映像PRと左側方映像PLとが圧縮した映像として表示される。そのため、ディスプレイ4の限られた表示領域の中で自車両Vの後方および側方の広い範囲の映像を効率よく表示することができるとともに、自車両Vの後方の後方映像PBに関しては、自車両Vのドライバが正しい距離感で映像を把握できるように表示することができる。
11 and 12 are explanatory diagrams showing the rear video PB, the right side video PR, and the left side video PL displayed on the
また、右サイドカメラ2や左サイドカメラ3による広角映像において、道路わきの物体や接近してくる後続車両は、自車両に近い位置では、ディスプレイ4の表示領域上を速く移動する傾向を有し、自車両から離れている位置では、ディスプレイ4の表示領域上を遅く移動する傾向を有している。そのため、映像上の一連の移動において不自然なフローが発生し、映像に対してドライバが違和感があったり、接近車両との距離の判断が難しかったりする。しかしながら、本実施形態によれば、第2の映像PR2における横方向の距離が消失点から離れる程、横方向の圧縮率が大きくされる。これにより、ディスプレイ4に表示される映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。
Further, in wide-angle images by the
ここで、隣接車線の中央をある特定の寸法の物体(例えば、二輪車)が接近してくると仮定する。この場合、二輪車の映像上の先端と後端のx座標値は、幾何学的な関係から、図13の破線で示す関係となる。ここで、細い破線は、二輪車の先端に対応し、太い破線は、二輪車の後端に対応する。また、図14の破線は、二輪車の先端と後端のx座標値の差から、表示領域上の二輪車の幅を示している。同図から分かるように、実距離がLth(例えば、5m)を下回ると、二輪車の表示領域上の幅が急激に大きくなっている。 Here, it is assumed that an object of a certain size (for example, a two-wheeled vehicle) approaches the center of the adjacent lane. In this case, the x-coordinate values of the front end and the rear end on the image of the two-wheeled vehicle have a relationship indicated by a broken line in FIG. Here, the thin broken line corresponds to the front end of the motorcycle, and the thick broken line corresponds to the rear end of the motorcycle. Further, the broken line in FIG. 14 indicates the width of the two-wheeled vehicle on the display area from the difference between the x-coordinate values of the front and rear ends of the two-wheeled vehicle. As can be seen from the figure, when the actual distance falls below Lth (for example, 5 m), the width on the display area of the two-wheeled vehicle suddenly increases.
そこで、本実施形態によれば、自車両からの距離が近い程、第2の映像PR2における映像上の横方向距離hと、実空間上の距離Diとが比例するように、横方向の圧縮率が設定される。このような関係性を考慮することにより、二輪車の映像上の先端と後端のx座標値は、幾何学的な関係から、図13の実線で示す関係となる。ここで、細い実線は、二輪車の先端に対応し、太い実線は、二輪車の後端に対応する。また、図14の実線は、二輪車の先端と後端のx座標値の差から、表示領域上の二輪車の幅を示している。このように、物体が自車両の近く、例えば、5mよりも近くにある場合は、対象物の幅が一定のサイズを保っている。これにより、自車両に近い物体でも一定の速度で表示領域上を動くことになるため、違和感が軽減される。また、接近車との距離や相対速度の判断がしやすくなる。さらに、隣接車線において直近を走行する後続車両も、この後続車両の後を走行する後続車両も同程度の大きさで表示することができる。これにより、限られたディスプレイ4の表示領域においても後続車の視認性を距離に関係なく実現することができる。
Therefore, according to the present embodiment, as the distance from the host vehicle is shorter, the lateral compression is performed so that the lateral distance h on the video in the second video PR2 is proportional to the distance Di in the real space. A rate is set. By taking such a relationship into consideration, the x-coordinate values of the front and rear ends on the image of the two-wheeled vehicle become a relationship indicated by a solid line in FIG. Here, the thin solid line corresponds to the front end of the motorcycle, and the thick solid line corresponds to the rear end of the motorcycle. Further, the solid line in FIG. 14 indicates the width of the two-wheeled vehicle on the display area from the difference between the x-coordinate values of the front and rear ends of the two-wheeled vehicle. As described above, when the object is close to the host vehicle, for example, closer than 5 m, the width of the object is kept constant. As a result, even an object close to the host vehicle moves on the display area at a constant speed, which reduces the sense of discomfort. In addition, it is easy to determine the distance to the approaching vehicle and the relative speed. Furthermore, it is possible to display the succeeding vehicle that travels most recently in the adjacent lane and the succeeding vehicle that travels behind this succeeding vehicle in the same size. Thereby, even in the limited display area of the
また、図12に示すように、本実施形態によれば、第2の映像PR2における横方向の距離が消失点から離れる程、縦方向の圧縮率が大きくされる。横方向の圧縮により、道路上の白線などに縦方向の歪みが生じるが、縦方向へ圧縮を行うことにより、映像上の歪みを補正することができる。これにより、映像に感じる違和感を低減することができる。 Also, as shown in FIG. 12, according to the present embodiment, the vertical compression rate is increased as the horizontal distance in the second video PR2 increases from the vanishing point. Due to the compression in the horizontal direction, a vertical distortion occurs in the white line on the road. However, the distortion in the video can be corrected by performing the compression in the vertical direction. Thereby, the uncomfortable feeling felt in the video can be reduced.
なお、本実施形態では、後方映像の拡大率、および、圧縮処理後の右側方映像および左側方映像の拡大率は、一定に設定されている。しかしながら、この拡大率は、自車両の走行速度に応じて変更してもよい。例えば、自車両の走行速度が速い程、切り出した映像部分に対する拡大率を大きく設定するといった如くである。高速走行のシーンでは、市街地走行のシーンと比較して、ドライバが自然と大きな車間距離を設定する。そのため、拡大率を一定に設定した場合には、高速走行シーンで、後続車両が小さく映し出され、後続車両までの距離判断を誤ってしまう可能性がある。しかしながら、このように走行速度に応じて、拡大率を変更することにより、後続車両を適切なサイズで表示することができるので、後続車両に対する注意喚起を有効に促すことができるとともに、距離感の判断を誤ってしまうといった事態を抑制することができる。 In the present embodiment, the enlargement ratio of the rear video and the enlargement ratio of the right side video and the left side video after compression processing are set to be constant. However, this enlargement ratio may be changed according to the traveling speed of the host vehicle. For example, the higher the traveling speed of the host vehicle, the larger the enlargement ratio for the cut out video portion. In high-speed driving scenes, the driver naturally sets a large inter-vehicle distance compared to urban driving scenes. For this reason, when the enlargement ratio is set to be constant, the following vehicle is projected to be small in a high-speed traveling scene, and the distance to the following vehicle may be erroneously determined. However, since the subsequent vehicle can be displayed in an appropriate size by changing the enlargement ratio in accordance with the traveling speed in this way, it is possible to effectively urge the subsequent vehicle to be alerted, and to have a sense of distance. It is possible to suppress a situation in which a judgment is mistaken.
(第2の実施形態)
図15は、第2実施形態にかかる車両用表示装置を概略的に示す構成図である。本実施形態にかかる車両用表示装置では、自車両Vの後部に設置された単一の車載カメラ(広角リアカメラ)41により車両後方および車両左右側方の映像を撮影する。また、表示用の映像を生成する映像処理ユニット10は、映像入力部11に、入力映像フレームメモリ21,22,23に代えて、広角リアカメラ41に対応した入力映像フレームメモリ42が設けられている。また、映像処理ユニット10は、第1映像変換部12および第2映像変換部13に代えて、広角映像変換部15が設けられている。
(Second Embodiment)
FIG. 15 is a configuration diagram schematically showing a vehicle display device according to a second embodiment. In the vehicle display device according to the present embodiment, a single vehicle-mounted camera (wide-angle rear camera) 41 installed at the rear part of the host vehicle V captures images of the vehicle rear side and the left and right sides of the vehicle. In addition, the
広角リアカメラ41は、光学系およびイメージセンサ(例えば、CCDまたはCMOSセンサ等)を主体に構成される撮影手段であり、所定の輝度階調(例えば、256階調のグレースケール)のデジタル映像を作成する。広角リアカメラ41は、デジタル化された1フレーム分の映像を映像処理ユニット10に出力する。広角リアカメラ41は、例えば、ルーフスポイラーなどの車両後部の所定位置に設置されている。この広角リアカメラ41は、図16で示すように、自車両Vの後方および左右側方の広い領域C1(以下「広角撮影領域」という)の広角映像を撮影する。上述した後方映像の映像範囲となる第1領域と、右側方映像および左側方映像の映像範囲となる第2および第3領域は、この広角リアカメラ41の撮影対象となる広角撮影領域C1の一部である。つまり、後方映像、右側方映像および左側方映像を含む広角後方映像は、この広角リアカメラ41の撮影映像からその一部を切り出すことで得られる映像である。この広角リアカメラ41で撮影された映像は、フレーム単位で、映像入力部11に設けられた入力映像フレームメモリ42に格納される。
The wide-angle
一方、映像処理ユニット10において、広角映像変換部15は、広角リアカメラ41で撮影された広角撮影領域C1の映像から広角後方映像となる領域を切り出すとともに、この切り出された映像を圧縮した映像に変換する。広角映像変換部15は、演算部43と、広角映像フレームメモリ44とを備えている。
On the other hand, in the
演算部43は、映像入力部11の入力映像フレームメモリ42に格納された広角リアカメラ41の撮影映像のピクセルデータを、定義テーブルに従って広角映像フレームメモリ44の各ピクセルに再配置する。これにより、演算部43は、広角リアカメラ41の撮影映像から広角後方映像を生成するとともに、圧縮した広角後方映像を生成する。この映像の圧縮は、広角映像フレームメモリ44の各ピクセルと入力映像フレームメモリ42の座標系での場所の対応関係を規定した定義テーブルに従ってピクセルデータの間引きを行うことで実現される。
The
映像合成・出力部14は、第1実施形態で説明した映像合成・出力部14と同様に、演算部30と出力映像フレームメモリ31とを備え、広角映像変換部15で生成された、圧縮された広角後方映像を、1つの提示映像としてディスプレイ4に出力する。これにより、ディスプレイ4には、広角後方映像が提示映像として表示される。
Similar to the video composition /
図17は、広角映像変換部15による映像の圧縮手法について説明する説明図である。以下、本実施形態の特徴の一つである、広角映像変換部15によって実行される広角後方映像に対する映像の圧縮手法について説明する。広角後方映像に関する映像の圧縮では、演算部43が定義テーブルに従って各ピクセルデータを再配置することにより一義的に映像を圧縮するものであるが、この定義テーブルに従った処理は、以下に示す各ステップの処理を内包するものである。なお、本実施形態では、右側方映像に関する処理について説明するが、左側方映像についても同様に圧縮処理が行われる。
FIG. 17 is an explanatory diagram for explaining a video compression method performed by the wide-angle
まず、第1の実施形態に示すステップ1の処理と同様に、広角映像変換部15は、図17において一点鎖線で示される広角後方映像PBWを読み込む。
First, similarly to the processing in step 1 shown in the first embodiment, the wide-angle
つぎに、第1の実施形態に示すステップ2の処理と同様に、広角映像変換部15は、広角後方映像PBWを処理対象として、第1の映像PB1と、第2の映像PB2とに分割する。ここで、第1の映像PB1は、広角後方映像PBWのうち、消失点を含む所定領域に対応する映像部分であり、第2の映像PB2は、広角後方映像PBWから第1の映像PB1を除いた映像部分である。広角後方映像PBWにおいて消失点がどこに存在するかは、広角リアカメラ41の位置によって決まる。そのため、広角リアカメラ41の位置から特定される消失点の位置をベースに、広角後方映像PBWを第1の映像PB1と第2の映像PB2とに分割する分割位置が予め設定されている。本実施形態では、広角後方映像PBWを予め設定された分割位置において矩形状に切断することにより、第1の映像PB1と第2の映像PB2とに分割する。
Next, similarly to the process of
そして、第1の実施形態に示すステップ3の処理と同様に、広角映像変換部15は、分割された一対の映像部分のうち、消失点を含まない映像である第2の映像PB2を処理対象として、横方向への圧縮処理を行う。具体的には、広角映像変換部15は、xy平面における距離が消失点から離れるほど、その圧縮が強くなるように映像の圧縮を行う。なお、映像の圧縮概念については、第1の実施形態と同様であり、ここでの説明は省略する。
Then, similarly to the processing of
また、第1の実施形態に示すステップ4の処理と同様に、広角映像変換部15は、横方向に圧縮された第2の映像PR2を処理対象として、縦方向への圧縮処理を行う。具体的には、広角映像変換部15は、yz平面における距離が消失点から離れるほど、その圧縮が強くなるように、映像の圧縮を行う。なお、映像の圧縮概念については、横方向の圧縮処理と同様であり、ここでの説明は省略する。
Similarly to the process of
つぎに、第2映像変換部13は、横方向および縦方向に圧縮が行われた第2の映像PR2と、第1の映像PR1とを合成する。最後に、第2映像変換部13は、合成された映像を対象として、必要な映像部分を切り出すとともに、この切り出された映像部分を対象として、ディスプレイ4の表示領域に対応する映像サイズへと拡大する。これにより、図18に示すように、広角後方映像がディスプレイ4に表示される。このとき、第1の映像PR1において映し出される後続車両が、ルームミラーによるミラー反射像に対応した映像サイズにまで拡大されることが好ましい。
Next, the second
このように本実施形態によれば、分割した第2の映像を圧縮することにより、ディスプレイ4の限られた表示領域の中で、広い視界の映像を効率的に表現することができる。また、消失点から離れる程圧縮率を大きくすることで、違和感の少ない自然な映像を表示することができる。
Thus, according to the present embodiment, by compressing the divided second video, a video with a wide field of view can be efficiently expressed in the limited display area of the
また、本実施形態によれば、第2の映像PB2における横方向の距離が消失点から離れる程、横方向の圧縮率が大きくされる。これにより、ディスプレイ4に表示される映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。
Further, according to the present embodiment, the lateral compression rate is increased as the lateral distance in the second video PB2 is further away from the vanishing point. Thereby, since the effect | action that the flow on the image | video displayed on the
さらに、本実施形態によれば、第2の映像PB2における縦方向の距離が消失点から離れる程、横方向の圧縮率が大きくされる。これにより、ディスプレイ4に表示される映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。これにより、車両の直近の映像についても、映像上のフローが一定となるような作用を得ることができるので、煩わしさや映像酔いといったユーザが感じる違和感を低減することができる。また、縦方向へ圧縮を行うことにより、映像上の歪みを補正することができる。これにより、道路上の白線などに縦方向の歪みを補正することができるので、映像に生じる違和感を低減することができる。
Furthermore, according to the present embodiment, the horizontal compression rate is increased as the distance in the vertical direction in the second video PB2 increases from the vanishing point. Thereby, since the effect | action that the flow on the image | video displayed on the
なお、本実施形態であっても、合成後の映像についての拡大率は、自車両の走行速度に応じて変更してもよい。 Even in the present embodiment, the enlargement ratio for the combined video may be changed according to the traveling speed of the host vehicle.
1…リアカメラ
2…右サイドカメラ
3…左サイドカメラ
4…ディスプレイ
10…映像処理ユニット
11…映像入力部
12…第1映像変換部
13…第2映像変換部
14…映像合成・出力部
15…広角映像変換部
21…入力映像フレームメモリ
22…入力映像フレームメモリ
23…入力映像フレームメモリ
24…演算部
25…後方映像フレームメモリ
26…演算部
27…右側方映像フレームメモリ
28…演算部
29…左側方映像フレームメモリ
30…演算部
31…出力映像フレームメモリ
41…広角リアカメラ
42…入力映像フレームメモリ
43…演算部
44…広角映像フレームメモリ
DESCRIPTION OF SYMBOLS 1 ...
Claims (9)
前記撮影手段から出力される後側方の映像を分割することにより、消失点を含み自車両の側部近傍の映像部分である第1の映像と、当該第1の映像を除く映像部分である第2の映像と、を出力する分割手段と、
前記後方映像及び前記第1の映像を圧縮せず、前記第2の映像を、前記消失点から自車両とは反対側へ向かう距離が遠い程圧縮率が大きくなるように圧縮する圧縮手段と、
前記圧縮手段によって圧縮された第2の映像と、前記後方映像及び前記第1の映像とを合成する合成手段と、
前記合成手段により合成された映像を表示する表示手段と
を有することを特徴とする車両用表示装置。 Photographing means for photographing the rear and rear sides of the host vehicle and outputting the images of the rear and rear sides ;
By dividing the side of the image after the output from the imaging unit, a first image of the vanishing point is a video portion of the side near the vehicle seen including, in the image portion except the first image A dividing means for outputting a second video;
Compression means for compressing the second video without compressing the rear video and the first video so that the compression rate increases as the distance from the vanishing point toward the side opposite to the host vehicle increases .
Synthesizing means for synthesizing the second video compressed by the compression means, the rear video and the first video;
And a display means for displaying the image synthesized by the synthesizing means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266545A JP5320970B2 (en) | 2008-10-15 | 2008-10-15 | Vehicle display device and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266545A JP5320970B2 (en) | 2008-10-15 | 2008-10-15 | Vehicle display device and display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010095086A JP2010095086A (en) | 2010-04-30 |
JP5320970B2 true JP5320970B2 (en) | 2013-10-23 |
Family
ID=42257081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008266545A Active JP5320970B2 (en) | 2008-10-15 | 2008-10-15 | Vehicle display device and display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5320970B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7035685B2 (en) | 2018-03-23 | 2022-03-15 | カシオ計算機株式会社 | Electronic devices, time adjustment methods for electronic devices, and programs |
JP7198619B2 (en) | 2017-09-28 | 2023-01-04 | 株式会社Lixil | gas recovery device |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012010002A (en) * | 2010-06-23 | 2012-01-12 | Fujitsu General Ltd | Driving support apparatus |
CN103282236B (en) | 2011-03-18 | 2014-04-23 | 丰田自动车株式会社 | Vehicle periphery monitoring device |
JP5562311B2 (en) * | 2011-10-11 | 2014-07-30 | 本田技研工業株式会社 | Vehicle driving support device |
JP5669791B2 (en) * | 2012-08-07 | 2015-02-18 | 本田技研工業株式会社 | Moving object peripheral image display device |
JP5999043B2 (en) * | 2013-07-26 | 2016-09-28 | 株式会社デンソー | Vehicle periphery monitoring device and program |
JP6323018B2 (en) * | 2014-01-17 | 2018-05-16 | 株式会社デンソー | Driving assistance device |
JP6446925B2 (en) | 2014-09-05 | 2019-01-09 | アイシン精機株式会社 | Image display control device and image display system |
WO2016042713A1 (en) * | 2014-09-17 | 2016-03-24 | パナソニックIpマネジメント株式会社 | Electronic mirror device |
KR102370242B1 (en) * | 2015-08-13 | 2022-03-04 | 에스엘 주식회사 | Apparatus and method for monitoring environment |
KR101994616B1 (en) * | 2015-08-13 | 2019-09-30 | 에스엘 주식회사 | Apparatus and method for monitoring environment |
JP6401733B2 (en) * | 2016-04-15 | 2018-10-10 | 本田技研工業株式会社 | Image display device |
JP2017215447A (en) * | 2016-05-31 | 2017-12-07 | パナソニックIpマネジメント株式会社 | Display control device and display control method |
JP6555240B2 (en) * | 2016-10-25 | 2019-08-07 | トヨタ自動車株式会社 | Vehicle shooting display device and vehicle shooting display program |
CN107972583B (en) | 2016-10-25 | 2021-06-25 | 丰田自动车株式会社 | Imaging display device for vehicle and recording medium |
JP6649914B2 (en) | 2017-04-20 | 2020-02-19 | 株式会社Subaru | Image display device |
JP7141817B2 (en) | 2017-07-24 | 2022-09-26 | ラピスセミコンダクタ株式会社 | Image processing device |
JP2019036926A (en) * | 2017-08-21 | 2019-03-07 | 株式会社東海理化電機製作所 | Visual recognition device for vehicle |
JP6958147B2 (en) | 2017-09-07 | 2021-11-02 | トヨタ自動車株式会社 | Image display device |
JP6393387B1 (en) * | 2017-10-17 | 2018-09-19 | 株式会社コロプラ | Programs, computers, and methods for providing a virtual experience |
KR102479492B1 (en) | 2018-01-08 | 2022-12-20 | 삼성전자주식회사 | Electronic apparatus and method for providing image regarding surroundings of vehicle |
JP7188727B2 (en) | 2018-02-20 | 2022-12-13 | 株式会社東海理化電機製作所 | Visual recognition device for vehicles |
WO2020079831A1 (en) * | 2018-10-19 | 2020-04-23 | 三菱電機株式会社 | Rear image processing device and rear image display method |
JP7159801B2 (en) * | 2018-11-15 | 2022-10-25 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
JP7345106B2 (en) * | 2019-03-29 | 2023-09-15 | パナソニックIpマネジメント株式会社 | Visibility support image generation device and image conversion program |
JP2021093628A (en) * | 2019-12-10 | 2021-06-17 | トヨタ自動車株式会社 | Vehicle peripheral display device |
JP6856149B2 (en) * | 2020-02-03 | 2021-04-07 | 株式会社Jvcケンウッド | Vehicle display control device, vehicle display system, vehicle display control method and program |
CN116918320A (en) * | 2021-02-18 | 2023-10-20 | 松下知识产权经营株式会社 | Display control device and display control method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257482A (en) * | 1997-03-13 | 1998-09-25 | Nissan Motor Co Ltd | Vehicle surrounding condition display device |
JP2004194169A (en) * | 2002-12-13 | 2004-07-08 | Auto Network Gijutsu Kenkyusho:Kk | Device and method for visual assistance |
JP2004312259A (en) * | 2003-04-04 | 2004-11-04 | Auto Network Gijutsu Kenkyusho:Kk | Display system for on-vehicle camera |
-
2008
- 2008-10-15 JP JP2008266545A patent/JP5320970B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7198619B2 (en) | 2017-09-28 | 2023-01-04 | 株式会社Lixil | gas recovery device |
JP7035685B2 (en) | 2018-03-23 | 2022-03-15 | カシオ計算機株式会社 | Electronic devices, time adjustment methods for electronic devices, and programs |
Also Published As
Publication number | Publication date |
---|---|
JP2010095086A (en) | 2010-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5320970B2 (en) | Vehicle display device and display method | |
JP5194679B2 (en) | Vehicle periphery monitoring device and video display method | |
JP5321711B2 (en) | Vehicle periphery monitoring device and video display method | |
JP4642723B2 (en) | Image generating apparatus and image generating method | |
JP4924896B2 (en) | Vehicle periphery monitoring device | |
JP4257356B2 (en) | Image generating apparatus and image generating method | |
JP4786076B2 (en) | Driving support display device | |
WO2012096058A1 (en) | Image generating device | |
KR20010112433A (en) | Image processing device and monitoring system | |
JP5669791B2 (en) | Moving object peripheral image display device | |
WO2003075573A1 (en) | Image display controller | |
JP5516998B2 (en) | Image generation device | |
JP6958163B2 (en) | Display control device | |
KR102135857B1 (en) | Image display apparatus | |
JP2010130647A (en) | Vehicle periphery checking system | |
JP2016168877A (en) | Visual recognition device for vehicle | |
JP2013118508A (en) | Image processing apparatus and image processing method | |
JP2007237785A (en) | On-vehicle information presentation system | |
KR20100081964A (en) | Around image generating method and apparatus | |
JP5262515B2 (en) | Vehicle display device and display method | |
JP2019102936A (en) | Display device, electronic mirror, control method of display device, and display control program | |
JP7280006B2 (en) | Image processing device, image processing method and image processing program | |
US20190166358A1 (en) | Display device, electronic mirror and method for controlling display device | |
JP4682664B2 (en) | Perimeter monitoring system | |
JP2012116400A (en) | Corner pole projection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130326 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5320970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |