JP2004289386A - Image display method, image display apparatus, and image processing apparatus - Google Patents
Image display method, image display apparatus, and image processing apparatus Download PDFInfo
- Publication number
- JP2004289386A JP2004289386A JP2003077684A JP2003077684A JP2004289386A JP 2004289386 A JP2004289386 A JP 2004289386A JP 2003077684 A JP2003077684 A JP 2003077684A JP 2003077684 A JP2003077684 A JP 2003077684A JP 2004289386 A JP2004289386 A JP 2004289386A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- depression
- bird
- elevation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、複数のカメラの撮影画像に基づいて死角の少ない合成画像を生成する画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置に関する。
【0002】
【従来の技術】
カメラの撮影画像又はこれに基づく画像をモニタに表示する画像表示装置として、車両のトランクやナンバープレート(ライセンスプレート)付近に設置されたカメラにより撮影した車両後方の画像を車室内のモニタに表示する駐車アシストシステムが知られている。このような装置では、カメラは俯角を持つように斜め下方に向けて設置されることが通常であり、車両に対して地面を含む下方の領域を主な視野とし、車両の後進時に運転者が後方の障害物を確認することができるようになっている。ところが、このように車両後方を斜め下向きに撮影してモニタ表示する装置では、車両と障害物との距離感や車両と障害物との位置関係の把握が容易ではなく、改善が望まれていた。
【0003】
一方、特許文献1に記載されているように、複数のカメラによる撮影を行い撮影画像の視点を車両の真上から見下ろすように変換してモニタに表示する俯瞰画像表示システムも存在する。この装置によれば、障害物の形状や障害物との距離感、位置関係が判り易いため、咄嗟の場合における運転者の直感的な認識に大変有利である。
【0004】
ところで、実際の俯瞰画像表示システムでは、構造上の問題等から上記特許文献1に記載されているように車両の最上部にカメラを取り付けるということはほとんどなく、バックアイカメラと称される後方監視用カメラの撮影映像を用いて俯瞰画像(撮影領域を上方から見下ろしたときの画像)を得ることが少なくない。具体的には、図8に示すように、車両1のトランクリッド等にカメラ(このように実在するカメラを実カメラともいう。)2を設置して撮影領域S1を撮影し、この撮影領域S1の上方で上空2〜3mにあると想定した仮想カメラ(実在しないカメラ)3であたかも撮影したかのような俯瞰画像をその実カメラ2の撮影画像に基づいて生成することにより、障害物の形状や大きさ、距離感や位置関係等が運転者に直感的に伝達される。
【0005】
【特許文献1】
特開昭58−110334号公報
【0006】
【発明が解決しようとする課題】
しかしながら、仮想カメラ3で撮影したかのような俯瞰画像は上述のように実カメラ2の撮影画像に基づくもので、撮影領域S1に含まれない情報については俯瞰画像に現れないので、仮想カメラ3が実在する場合の撮影領域S2に対して斜線で示す部分が死角となる。
【0007】
すなわち、多くの場合、障害物は地上にあり、地面から上方に伸延する形で存在するので、障害物は車両1が後進するに従って徐々に撮影領域S1に入り、このとき運転者がそれを認識して衝突を回避することは可能である。ところが、壁からの突出物や樹木の枝等のように直接地面上にない空間障害物が存在する場合には、その障害物が上記斜線で示す空間的な死角にあるまま車両1と衝突してしまうおそれや、撮影領域S1に入ったとしてもそれが突然であって運転者が回避する間なく車両1と衝突してしまうおそれがあり、モニタ表示による安全性をより一層高めるためには死角を減少させる必要がある。
【0008】
この死角は、図9に示すように(あるいは特許文献1にあるように)車両4の最も高い位置に実カメラ5を設置すればほぼ解消するが(実カメラ5の撮影領域S3に含まれず、かつ、その上方に想定する仮想カメラ6の撮影領域S4に含まれる領域が死角となるが、当該領域のほとんどは車両4の上方となるため実質的に問題とならない。)、既述のように車両最上部にカメラを設置するには構造上の困難(物理的な困難)が伴うほか、カメラの高さと同一の高さに障害物が存在したときにそれが撮影されずカメラと障害物との衝突を回避することができない可能性も残存する。
【0009】
本発明は、上記の事情に鑑みて為されたもので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができる画像表示方法及び画像表示装置と、この画像表示装置に用いられる画像処理装置を提供することを課題としている。
【0010】
【課題を解決するための手段】
上記課題を解決するため、請求項1に係る発明は、俯角を持つように設置された俯角カメラにより所定の領域を撮影する俯角カメラ撮影ステップと、仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、前記合成画像を表示手段に表示する表示ステップとを含む画像表示方法を特徴とする。
【0011】
請求項2に係る発明は、請求項1に記載の画像表示方法において、前記合成画像生成ステップにおいて、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする。
【0012】
請求項3に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラと、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、前記合成画像を表示する表示手段とを有する画像表示装置を特徴とする。
【0013】
請求項4に係る発明は、請求項3に記載の画像表示装置において、前記画像処理手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする。
【0014】
請求項5に係る発明は、俯角を持つように設置されて所定の領域を撮影する俯角カメラの撮影画像をデコードする第一のデコード手段と、該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、前記合成画像をエンコードするエンコード手段とを有する画像処理装置を特徴とする。
【0015】
請求項6に係る発明は、請求項5に記載の画像処理装置において、前記画像合成手段が、前記俯瞰画像及び前記逆俯瞰画像のいずれか一方を左右反転させて他方とともに半透明化して重ね合わせることにより、前記合成画像を生成することを特徴とする。
【0016】
本発明によれば、俯角カメラの撮影画像に基づいて、俯角カメラの撮影領域を上方から見たときの俯瞰画像が生成され、俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像に基づいて、仰角カメラの撮影領域を下方から見たときの逆俯瞰画像が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像が表示手段に表示されるので、俯瞰カメラでは死角となるその撮影領域の上方空間における情報を仰角カメラにより捉えて合成画像に反映させ、表示手段に表示させることができる。よって、死角が減少又は解消して空間的な障害物をも表示可能となる。
【0017】
また、俯角カメラ及び仰角カメラは車両最上部等の取り付けにくい位置に設置する必要がないので、カメラの設置容易性も確保することができる。
【0018】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【0019】
図1は、本実施の形態に係る画像表示装置(2系統2カメラ画像処理システム:2つのカメラと2つの入力系統を有する画像処理システム)の概略構成を示す。この画像表示装置7は、俯角カメラ8と、仰角カメラ9と、表示手段としてのモニタ10と、画像処理装置としての信号処理装置11とを備えている。
【0020】
俯角カメラ8は、図2に示すように、車両12の後部に俯角θ1を持つように設置され、車両12の後方の地面Gを含む撮影領域S5を撮影する。仰角カメラ9は、図3に示すように、車両12の後部で俯角カメラ8の近傍(ここでは下方)に仰角θ2を持つように設置され、車両12の後方空間で上空2〜3mにおける仮想平面Vを含む撮影領域S6を撮影する。撮影領域S6は撮影領域S5の上方に位置し、撮影領域S6及び撮影領域S5は平面視したときに少なくとも一部が重なり合うようになっている。
【0021】
モニタ10は液晶であってもCRTであってもよく、車両12の車室内のインストルメントパネル等に設けられている。モニタ10は後述のようにカメラ8,9の撮影に基づいて車両12の後方の画像を写し出すが、カメラ8,9等に対する専用品である必要はなく、ナビゲーション装置等のモニタを兼用してもよい。
【0022】
信号処理装置11は、俯角カメラ8に接続された入力系統13と、仰角カメラ9に接続された入力系統14とを備え、入力系統13は第一のデコード手段としてのデコーダ部15及び第一の記憶手段としての画像メモリ16からなり、入力系統14は第二のデコード手段としてのデコーダ部17及び第二の記憶手段としての画像メモリ18からなる。
【0023】
また、信号処理部11は、画像変換手段としての画像処理部19及び画像処理メモリ20と、エンコード手段としてのエンコーダ部21と、これらを統合制御する制御部22と、制御部22が参照するデータROM23,24,25とを備える。
【0024】
カメラ8,9により撮影が行われ(ステップ1(図4においてS.1と記載。以下同様))、各カメラの撮影画像の画像信号がデコーダ部15,17に入力されると、制御部22はその画像信号から同期信号を分離する。制御部22はさらにデコーダ部15,17に入力された画像信号をRGB信号にデコードするとともにA/D変換し(ステップ2)、これにより得られるデジタルRGBの画像情報を画像メモリ16,18に記憶させてジッター(データ遅れ)を吸収する(ステップ3)。
【0025】
つぎに、制御部22は、データROM23を参照しながら画像処理部19により画像メモリ16に記憶された画像を画像処理し、撮影領域S5の画像情報に基づいて撮影領域S5を真上から見下ろしたような俯瞰画像を生成する(ステップ4)。また、制御部22は、データROM24を参照しながら画像処理部19により画像メモリ18に記憶された画像を画像処理し、撮影領域S6の画像情報に基づいて撮影領域S6を真下から見上げたような逆俯瞰画像を生成する(ステップ5)。そして、その俯瞰画像及び逆俯瞰画像をデータROM25を参照しながら画像処理部19により合成し、生成された合成画像を画像処理メモリ20に記憶させる(ステップ6)。
【0026】
続いて、制御部22は、画像処理メモリ20に記憶された合成画像の画像信号を画像処理部19からエンコーダ部21に出力させてD/A変換するとともにエンコードし(ステップ7)、エンコーダ部21からモニタ10にアナログ信号が出力されて合成画像がモニタ10に表示される(ステップ8)。
【0027】
例えば図2及び図3に示したように、車両12の後方に障害物26が存在し、この障害物26が地面Gに立設された丸棒状の鉛直材27と、鉛直材27から車両12の側に突出して空間障害物となっている丸棒状の水平材28とからなる場合を想定すると、俯角カメラ8の撮影領域S5には地面G及び鉛直材27の下端部27aが入り、図5に模式的に示すように撮影領域S5を真上から見下ろすように視点変換した俯瞰画像29には下端部27aの像27a’が含まれる。一方、仰角カメラ9の撮影領域S6には、車両12の後方空間において地面Gに平行な仮想平面V及び水平材28の先端部28aが入り、撮影領域S6を真下から見上げるように視点変換した逆俯瞰画像30には先端部28aの像28a’が含まれる。
【0028】
図6に示すように、ここでは制御部22は俯瞰画像29を透明度50%で半透明化した画像31と、逆俯瞰画像30を左右反転させて透明度50%で半透明化した画像32とを重ね合わせ、合成画像33を生成する。これにより、図7に示すように車両12の後方上空に想定したカメラ34であたかも撮影したかのような合成画像33がモニタ10に表示され、車両12の運転者は空間障害物である水平材28をモニタ10で確認することができる。
【0029】
この実施の形態に係る画像表示装置7では、俯角カメラ8の撮影画像に基づいて、俯角カメラ8の撮影領域S5を上方から見たときの俯瞰画像29(及び画像31。以下これらのいずれも「俯瞰画像」という。)が生成され、俯角カメラ8の撮影領域S5の上方を撮影する仰角カメラ9の撮影画像に基づいて、仰角カメラ9の撮影領域S6を下方から見たときの逆俯瞰画像30(画像32。以下これらのいずれも「逆俯瞰画像」という。)が生成され、俯瞰画像及び逆俯瞰画像が合成されて生成された合成画像33がモニタ10に表示されるので、俯瞰カメラ8では死角となるその撮影領域S5の上方空間における情報(例えば水平材28)を仰角カメラ9により捉えてモニタ表示させることができる。
【0030】
すなわち、これまでは俯角カメラの設置位置よりも高い位置にある障害物は原理的にモニタ表示することができなかったが、本実施の形態では俯角カメラ8の設置位置よりも上方にある障害物が仰角カメラ9の撮影画像から作成される逆俯瞰画像(仰角図、蛙瞰図)により判明するので、これと俯角カメラ8による俯瞰画像(俯瞰図)とを重ね合わせて1枚のモニタ表示画像(合成画像)を生成することにより、本来必要となる空間情報をより多く持った視点変換画像をモニタ表示することができる。換言すれば、カメラが車両に設置される場合、これまではカメラが車両最上部になければ少なくともカメラ設置位置から車両最上部までの間が死角になる一方、その間にある空間障害物は車両との衝突の可能性があるので運転者は必ず目視でそれを回避しなければならなかったが、本実施の形態では仰角カメラがカメラの設置高さ以上の範囲をも捉えるので、たとえカメラが車両最上部になくても車高までの空間情報を運転者がモニタ上で確認することが可能で安全性、信頼性のより一層の向上が図られる。
【0031】
また、このようにカメラを車両最上部等の取り付けにくい位置に設置する必要がないので、本実施の形態ではカメラの設置容易性も確保される。
【0032】
なお、本発明は上述した形態に限られるものではなく、例えば3個以上のカメラを用いて合成画像を生成しても、又は画像処理時にデータROMを参照する代わりにCPUによる演算を行うようにしてもよい。あるいは、俯瞰画像29や逆俯瞰画像30を半透明化する際の透明度を50%とせず、例えば俯瞰画像を主(低透明度)として逆俯瞰画像を従(高透明度)とするような重み付けの変化を適宜与えてもかまわない。
【0033】
【発明の効果】
本発明は、以上説明したように構成したので、カメラの設置の容易性を確保しつつも、死角を減少させ又は解消することにより空間的な障害物をも表示することができるという効果を奏する。
【図面の簡単な説明】
【図1】発明の実施の形態に係る画像表示装置の概略構成を示すブロック図である。
【図2】俯角カメラの設置位置及び撮影領域を示す説明図である。
【図3】仰角カメラの設置位置及び撮影領域を示す説明図である。
【図4】画像表示装置における撮影からモニタ表示までの処理を示す流れ図である。
【図5】俯瞰画像及び逆俯瞰画像を模式的に示す説明図である。
【図6】俯瞰画像及び逆俯瞰画像の合成を示す説明図である。
【図7】仮想カメラと俯瞰画像及び逆俯瞰画像とを示す説明図である。
【図8】従来の車載カメラの設置例を示す説明図である。
【図9】従来の車載カメラの他の設置例を示す説明図である。
【符号の説明】
7 画像表示装置
8 俯角カメラ
9 仰角カメラ
10 モニタ(表示手段)
11 信号処理装置(画像処理手段、画像処理装置)
12 車両[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image display method and an image display device that generate a composite image with a small blind spot based on images captured by a plurality of cameras, and an image processing device used in the image display device.
[0002]
[Prior art]
2. Description of the Related Art As an image display device that displays an image captured by a camera or an image based on the image on a monitor, an image behind the vehicle captured by a camera installed near a trunk or a license plate (license plate) of the vehicle is displayed on a monitor in a vehicle compartment. Parking assist systems are known. In such a device, the camera is usually installed obliquely downward so as to have a depression angle, and the area of view below the vehicle including the ground is the main field of view. The obstacle behind can be checked. However, with such a device that captures an image of the rear of the vehicle obliquely downward and displays it on a monitor, it is not easy to grasp the sense of distance between the vehicle and the obstacle and the positional relationship between the vehicle and the obstacle, and improvements have been desired. .
[0003]
On the other hand, as described in
[0004]
By the way, in an actual overhead image display system, a camera is hardly attached to the uppermost part of the vehicle as described in
[0005]
[Patent Document 1]
JP-A-58-110334
[Problems to be solved by the invention]
However, overhead image as if shot by a
[0007]
That is, in many cases, the obstacles on the ground, since in the form which extends upwardly from the ground, the obstacle enters gradually imaging area S 1 in accordance with the
[0008]
The blind spot is not included in the imaging area S 3 of the will be almost completely eliminated if installed
[0009]
The present invention has been made in view of the above circumstances, and an image that can display a spatial obstacle by reducing or eliminating a blind spot while securing the ease of installation of a camera. An object of the present invention is to provide a display method, an image display device, and an image processing device used for the image display device.
[0010]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to
[0011]
According to a second aspect of the present invention, in the image display method according to the first aspect, in the composite image generating step, one of the bird's-eye view image and the inverted bird's-eye view image is reversed left and right to be translucent with the other and overlapped. The combined image is generated by combining them.
[0012]
The invention according to
[0013]
According to a fourth aspect of the present invention, in the image display device according to the third aspect, the image processing unit inverts one of the bird's-eye view image and the inverted bird's-eye view image to the left and right and makes the other translucent and overlaps with the other. Thus, the composite image is generated.
[0014]
According to a fifth aspect of the present invention, there is provided first decoding means for decoding an image taken by a depression camera which is installed to have a depression angle and shoots a predetermined area, and stores an image decoded by the first decoding means. First storage means for decoding an image captured by an elevation camera, which is installed to have an elevation angle and captures an image above the imaging area of the depression camera, and decoding by the second decoding means. A second storage means for storing the obtained image, and, based on the image stored in the first storage means, to generate a bird's-eye view image when the imaging area of the depression angle camera is viewed from above, Image conversion means for generating an inverted bird's-eye view image when the shooting area of the elevation camera is viewed from below based on the image stored in the storage means, and combining the bird's-eye view image and the reverse bird's-eye view image An image synthesizing means for generating a composite image Te, and wherein the image processing apparatus having an encoding means for encoding the composite image.
[0015]
According to a sixth aspect of the present invention, in the image processing apparatus according to the fifth aspect, the image synthesizing unit inverts one of the overhead view image and the inverted overhead view image left and right and makes the other translucent and overlaps with the other. Thus, the composite image is generated.
[0016]
According to the present invention, a bird's-eye view image when the photographing region of the depression camera is viewed from above is generated based on the photographed image of the depression camera, and based on the photographed image of the elevation camera photographing the photographing region of the depression camera. Therefore, an inverted bird's-eye view image when the shooting area of the elevation camera is viewed from below is generated, and a combined image generated by combining the bird's-eye view image and the reverse bird's-eye view image is displayed on the display means. The information in the space above the photographing area can be captured by the elevation camera, reflected on the composite image, and displayed on the display means. Therefore, the blind spot can be reduced or eliminated, and a spatial obstacle can be displayed.
[0017]
Further, since it is not necessary to install the depression angle camera and the elevation angle camera in a difficult-to-install position such as the top of the vehicle, it is possible to ensure the ease of installation of the cameras.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to the drawings.
[0019]
FIG. 1 shows a schematic configuration of an image display device (two-system two-camera image processing system: an image processing system having two cameras and two input systems) according to the present embodiment. The
[0020]
[0021]
The
[0022]
The
[0023]
Further, the
[0024]
Photographing is performed by the
[0025]
Next, the
[0026]
Subsequently, the
[0027]
For example, as shown in FIGS. 2 and 3, there is an
[0028]
As shown in FIG. 6, here, the
[0029]
In the
[0030]
That is, in the past, an obstacle located at a position higher than the installation position of the depression camera could not be displayed on the monitor in principle. However, in the present embodiment, an obstacle located above the installation position of the
[0031]
In addition, since the camera does not need to be installed at a difficult-to-install position such as the top of the vehicle, the present embodiment also ensures the ease of installation of the camera.
[0032]
Note that the present invention is not limited to the above-described embodiment. For example, even if a composite image is generated using three or more cameras, or a calculation by a CPU is performed instead of referring to a data ROM at the time of image processing. You may. Alternatively, instead of setting the transparency when the
[0033]
【The invention's effect】
ADVANTAGE OF THE INVENTION Since this invention was comprised as demonstrated above, there exists an effect that a spatial obstacle can also be displayed by reducing or eliminating a blind spot, ensuring the ease of installation of a camera. .
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an image display device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing an installation position and a shooting area of a depression angle camera.
FIG. 3 is an explanatory diagram showing an installation position and a photographing area of an elevation camera.
FIG. 4 is a flowchart showing processing from shooting to display on a monitor in the image display device.
FIG. 5 is an explanatory diagram schematically showing an overhead image and a reverse overhead image.
FIG. 6 is an explanatory diagram showing synthesis of a bird's-eye view image and a reverse bird's-eye view image.
FIG. 7 is an explanatory diagram showing a virtual camera, a bird's-eye view image, and a reverse bird's-eye view image.
FIG. 8 is an explanatory diagram showing an installation example of a conventional vehicle-mounted camera.
FIG. 9 is an explanatory view showing another installation example of a conventional vehicle-mounted camera.
[Explanation of symbols]
7
11 signal processing device (image processing means, image processing device)
12 vehicles
Claims (6)
仰角を持つように設置された仰角カメラにより前記俯角カメラの撮影領域の上方を撮影する仰角カメラ撮影ステップと、
前記俯角カメラによる撮影画像に基づいて、前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成する俯瞰画像生成ステップと、
前記仰角カメラによる撮影画像に基づいて、前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する逆俯瞰画像生成ステップと、
前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する合成画像生成ステップと、
前記合成画像を表示手段に表示する表示ステップとを含むことを特徴とする画像表示方法。A depression camera photographing step of photographing a predetermined area by a depression camera installed to have a depression angle,
An elevation camera photographing step of photographing above the photography area of the depression angle camera by an elevation camera installed to have an elevation angle,
A bird's-eye view image generation step of generating a bird's-eye view image when the shooting area of the depression angle camera is viewed from above, based on an image captured by the depression angle camera,
A reverse bird's-eye view image generation step of generating a reverse bird's-eye view image when the photographing area of the elevation camera is viewed from below, based on the image captured by the elevation camera,
A composite image generating step of generating a composite image by combining the overhead image and the reverse overhead image;
Displaying the combined image on a display means.
仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラと、
前記俯角カメラによる撮影画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記仰角カメラによる撮影画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成し、前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像処理手段と、
前記合成画像を表示する表示手段とを有することを特徴とする画像表示装置。A depression camera that is installed to have a depression angle and shoots a predetermined area,
An elevation camera that is installed to have an elevation angle and shoots above the imaging area of the depression angle camera,
When an overhead view image of the shooting area of the depression camera is viewed from above based on the image captured by the depression camera, and when the shooting area of the elevation camera is viewed from below based on the image captured by the elevation camera Image processing means for generating a reverse bird's-eye image of the above, and combining the bird's-eye image and the reverse bird's-eye image to generate a composite image,
Display means for displaying the composite image.
該第一のデコード手段によりデコードされた画像を記憶する第一の記憶手段と、
仰角を持つように設置されて前記俯角カメラの撮影領域の上方を撮影する仰角カメラの撮影画像をデコードする第二のデコード手段と、
該第二のデコード手段によりデコードされた画像を記憶する第二の記憶手段と、
前記第一の記憶手段に記憶された画像に基づいて前記俯角カメラの撮影領域を上方から見たときの俯瞰画像を生成するとともに、前記第二の記憶手段に記憶された画像に基づいて前記仰角カメラの撮影領域を下方から見たときの逆俯瞰画像を生成する画像変換手段と、
前記俯瞰画像及び前記逆俯瞰画像を合成して合成画像を生成する画像合成手段と、
前記合成画像をエンコードするエンコード手段とを有することを特徴とする画像処理装置。First decoding means for decoding a captured image of a depression camera that is installed to have a depression angle and captures a predetermined area,
First storage means for storing an image decoded by the first decoding means,
Second decoding means for decoding a captured image of the elevation camera that is installed to have an elevation angle and captures an image of the imaging area of the depression camera,
Second storage means for storing an image decoded by the second decoding means,
A bird's-eye view image of the photographing area of the depression angle camera when viewed from above is generated based on the image stored in the first storage means, and the elevation angle is calculated based on the image stored in the second storage means. Image conversion means for generating an inverted bird's-eye view image when the shooting area of the camera is viewed from below,
Image synthesis means for generating a synthesized image by synthesizing the overhead image and the inverted overhead image,
An image processing apparatus comprising: an encoding unit that encodes the composite image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003077684A JP4256702B2 (en) | 2003-03-20 | 2003-03-20 | Image display method, image display apparatus, and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003077684A JP4256702B2 (en) | 2003-03-20 | 2003-03-20 | Image display method, image display apparatus, and image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004289386A true JP2004289386A (en) | 2004-10-14 |
JP4256702B2 JP4256702B2 (en) | 2009-04-22 |
Family
ID=33292374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003077684A Expired - Fee Related JP4256702B2 (en) | 2003-03-20 | 2003-03-20 | Image display method, image display apparatus, and image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4256702B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006327498A (en) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | Parking support method and parking support device |
JP2007025947A (en) * | 2005-07-14 | 2007-02-01 | Mazda Motor Corp | Vehicle traveling support device |
JP2007038749A (en) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | Vehicle periphery monitoring device and vehicle periphery monitoring method |
JP2009093332A (en) * | 2007-10-05 | 2009-04-30 | Nissan Motor Co Ltd | Vehicle peripheral image processor and vehicle peripheral circumstance presentation method |
JP2010193198A (en) * | 2009-02-18 | 2010-09-02 | Aisin Seiki Co Ltd | Object bottom end position detection device and object bottom end position detection program |
WO2013046593A1 (en) | 2011-09-30 | 2013-04-04 | パナソニック株式会社 | Birds-eye-view image generation device, birds-eye-view image generation method, and birds-eye-view image generation program |
JP2013538393A (en) * | 2010-07-23 | 2013-10-10 | マイクロソフト コーポレーション | 3D layering of map metadata |
US9273979B2 (en) | 2011-05-23 | 2016-03-01 | Microsoft Technology Licensing, Llc | Adjustable destination icon in a map navigation tool |
JP2016212501A (en) * | 2015-04-30 | 2016-12-15 | 三菱電機株式会社 | Image generation device for movable body, and navigation device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000007373A1 (en) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying image |
JP2000135949A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Situation confirming device and moving body mounted with situation confirming device |
JP2002330428A (en) * | 2001-05-07 | 2002-11-15 | Matsushita Electric Ind Co Ltd | Image display control method for on-vehicle camera and device therefor |
JP2002359838A (en) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Device for supporting driving |
JP2002359839A (en) * | 2001-03-29 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Method and device for displaying image of rearview camera |
-
2003
- 2003-03-20 JP JP2003077684A patent/JP4256702B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000007373A1 (en) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying image |
JP2000135949A (en) * | 1998-10-30 | 2000-05-16 | Sony Corp | Situation confirming device and moving body mounted with situation confirming device |
JP2002359838A (en) * | 2001-03-28 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Device for supporting driving |
JP2002359839A (en) * | 2001-03-29 | 2002-12-13 | Matsushita Electric Ind Co Ltd | Method and device for displaying image of rearview camera |
JP2002330428A (en) * | 2001-05-07 | 2002-11-15 | Matsushita Electric Ind Co Ltd | Image display control method for on-vehicle camera and device therefor |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006327498A (en) * | 2005-05-27 | 2006-12-07 | Aisin Aw Co Ltd | Parking support method and parking support device |
JP4696691B2 (en) * | 2005-05-27 | 2011-06-08 | アイシン・エィ・ダブリュ株式会社 | Parking support method and parking support device |
JP2007025947A (en) * | 2005-07-14 | 2007-02-01 | Mazda Motor Corp | Vehicle traveling support device |
JP4539472B2 (en) * | 2005-07-14 | 2010-09-08 | マツダ株式会社 | Vehicle travel support device |
JP2007038749A (en) * | 2005-08-01 | 2007-02-15 | Nissan Motor Co Ltd | Vehicle periphery monitoring device and vehicle periphery monitoring method |
JP2009093332A (en) * | 2007-10-05 | 2009-04-30 | Nissan Motor Co Ltd | Vehicle peripheral image processor and vehicle peripheral circumstance presentation method |
JP2010193198A (en) * | 2009-02-18 | 2010-09-02 | Aisin Seiki Co Ltd | Object bottom end position detection device and object bottom end position detection program |
JP2013538393A (en) * | 2010-07-23 | 2013-10-10 | マイクロソフト コーポレーション | 3D layering of map metadata |
US9273979B2 (en) | 2011-05-23 | 2016-03-01 | Microsoft Technology Licensing, Llc | Adjustable destination icon in a map navigation tool |
WO2013046593A1 (en) | 2011-09-30 | 2013-04-04 | パナソニック株式会社 | Birds-eye-view image generation device, birds-eye-view image generation method, and birds-eye-view image generation program |
JP2016212501A (en) * | 2015-04-30 | 2016-12-15 | 三菱電機株式会社 | Image generation device for movable body, and navigation device |
Also Published As
Publication number | Publication date |
---|---|
JP4256702B2 (en) | 2009-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1916846B1 (en) | Device and method for monitoring vehicle surroundings | |
KR101766077B1 (en) | System and Method for Providing Vehicle Around View | |
JP3916958B2 (en) | Vehicle rear monitoring system and monitoring device | |
JP5099451B2 (en) | Vehicle periphery confirmation device | |
US9050931B2 (en) | Vehicle periphery monitoring system | |
JP5444338B2 (en) | Vehicle perimeter monitoring device | |
KR100481248B1 (en) | Picture synthesizing apparatus for presenting circumferencial images to driver, and display apparatus, warning apparatus and position recognition apparatus using it | |
JP5209578B2 (en) | Image display device for vehicle | |
JP2005311868A (en) | Vehicle periphery visually recognizing apparatus | |
KR20040000303A (en) | Method and apparatus for displaying pickup image of camera installed in vehicle | |
JP4606322B2 (en) | Vehicle driving support device | |
CN107852483B (en) | Device and method for prompting auxiliary image to driver | |
US20060187238A1 (en) | Vehicle-periphery viewing apparatus | |
JP2009524171A (en) | How to combine multiple images into a bird's eye view image | |
JP2010166196A (en) | Vehicle periphery monitoring device | |
JP2016119526A (en) | Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method | |
JP2007041791A (en) | Bird's-eye image display system and bird's-eye image display method | |
JP2011049735A (en) | Vehicle periphery image providing device | |
JP2013207637A (en) | Image processing apparatus and method, and computer program | |
JP3943363B2 (en) | Parking assistance device | |
JP2004289386A (en) | Image display method, image display apparatus, and image processing apparatus | |
JP2006254318A (en) | Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method | |
JP5271186B2 (en) | Image display device for vehicle | |
JP2011015353A (en) | Image display device for vehicle | |
JP2003346189A (en) | Image display device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090130 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |