JP2008083786A - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
JP2008083786A
JP2008083786A JP2006260425A JP2006260425A JP2008083786A JP 2008083786 A JP2008083786 A JP 2008083786A JP 2006260425 A JP2006260425 A JP 2006260425A JP 2006260425 A JP2006260425 A JP 2006260425A JP 2008083786 A JP2008083786 A JP 2008083786A
Authority
JP
Japan
Prior art keywords
virtual
camera
image
plane
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006260425A
Other languages
English (en)
Other versions
JP4257356B2 (ja
Inventor
Hirotaka Iwano
博隆 岩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
HCX Corp
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Hitachi Ltd
HCX Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Hitachi Ltd, HCX Corp filed Critical Clarion Co Ltd
Priority to JP2006260425A priority Critical patent/JP4257356B2/ja
Priority to US11/902,951 priority patent/US8368687B2/en
Publication of JP2008083786A publication Critical patent/JP2008083786A/ja
Application granted granted Critical
Publication of JP4257356B2 publication Critical patent/JP4257356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供すること。
【解決手段】視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実カメラ１と、地面上に設定した近景用スクリーン７１と、所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７を設定する手段と、前記実カメラ１より高い位置に仮想カメラ８を設定する手段と、単独のカメラ映像データの各画素位置と、仮想立体投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する手段と、座標変換にしたがって仮想カメラ８の仮想撮像面上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体投影面７を見たときのモニタ画像データを生成する手段と、を備えた。
【選択図】図２

Description

本発明は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置および画像生成方法に関する。
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
特開２００５−２３６４９３号公報 特許第３２８６３０６号公報
しかしながら、上記特許文献１に記載された運転支援装置にあっては、１視点映像の場合、俯瞰映像を表示させるため、近景のみの表示となり、多視点映像の場合、カメラ映像を表示させるため、遠景のみの表示となり、車両の周囲状況を的確に認識するには選択操作を要する、という問題があった。
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
また、上記特許文献２に記載された画像生成装置にあっては、数台のカメラで撮影しているエリアの全体の様子を一枚に合成した画像にて表示しようとするものであるため、合成画像に連続性を持たせるには、複数のカメラ画像から特徴点を抽出する特徴点抽出手段と、複数個の特徴点を用いて表示画面の較正を行うキャリブレーション手段と、を設ける必要があり、モニタ画像データを生成するための演算処理が複雑になってしまう。
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
本発明は、上記問題に着目してなされたもので、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供することを目的とする。
上記目的を達成するため、本発明では、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、
前記仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
前記実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手段と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手段と、
前記座標変換にしたがって仮想カメラの仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、
を備えたことを特徴とする。
よって、本発明の画像生成装置にあっては、仮想立体投影面設定手段において、仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面が設定される。また、仮想カメラ設定手段において、実撮像面に投影される画像によりカメラ映像データを取得する実カメラより高い位置に仮想カメラが設定される。そして、座標変換手段において、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換され、モニタ画像データ生成手段において、座標変換にしたがって仮想カメラの仮想撮像面上にカメラ映像データの各画素が移され、仮想カメラから仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データが生成される。
このように、座標変換により実カメラにより取得した単独のカメラ映像データからモニタ画像データを生成するものであるため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
さらに、仮想カメラから仮想立体投影面の近景用スクリーンを見たときに仮想撮像面に投影される画像は近景を上から眺めた俯瞰画像となり、仮想カメラから仮想立体投影面の遠景用スクリーンを見たときに仮想撮像面に投影される画像は中景乃至遠景（地平線上の映像も含む）を斜め上方から眺めたパース画像となる。しかも、仮想立体投影面の近景用スクリーンと遠景用スクリーンとは一体に連接されているため、近景の俯瞰表示データと遠景のパース表示データにずれが生じることが全く無く、生成されるモニタ画像データはシームレスに接合したものとなる。
そして、このモニタ画像データにより得られるモニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景乃至遠景のパース画像とを合成した画像となり、この合成画像をモニタ画面に表示することができる。このため、俯瞰画像とカメラ画像の選択操作や分割されたモニタ画面上で目線を移す等を要することなく、１つのモニタ画面にて周囲状況を的確に認識することができる。
この結果、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる。
以下、本発明の画像生成装置および画像生成方法を実現する最良の形態を、図面に示す実施例１に基づいて説明する。
まず、構成を説明する。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図、図２は実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
実施例１における画像生成装置は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する装置であり、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、仮想カメラ位置調整操作ノブ４と、スクリーン角度調整操作ノブ５と、撮像面角度調整操作ノブ６と、を備えている。
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
このリアカメラ１の光軸側には、図１及び図２に示すように、仮想投影面として、地面上に設定した近景用スクリーン７１と、該近景用スクリーン７１のリアカメラ１から遠い側に連接すると共に所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７が設定される（仮想立体投影面設定手段）。
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される（仮想カメラ設定手段）。
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、前記近景用スクリーン７１に平行な近景用撮像面９１と、該近景用撮像面９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９が設定される（仮想立体撮像面設定手段）。
前記画像処理コントローラ２は、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
前記デコーダ間変換部２１は、リアカメラ１に接続されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。
なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用い、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想立体投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
前記ＲＯＭ２３は、仮想立体撮像面９上での一つの画素位置を指定し、仮想立体投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想立体投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換される（座標変換手段）。
また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め（図１２(a)参照）、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系としている。
なお、マッピングテーブルとしては、仮想カメラ８の位置（ａ，ｂ）と、スクリーン傾斜角度αと、撮像面傾斜角度βと、に応じて、所定の位置間隔毎や角度間隔毎に複数のマッピングテーブルが記憶設定されていて、細かな位置設定や角度設定に対しては、例えば、補間法を用いて対応するようにしている。
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、マッピングテーブルを用いて座標変換処理を行う例であるが、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するような例である場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。
なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
前記モニタ３は、車室内のインストルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、近景の俯瞰表示と中景乃至遠景のパース表示（地平線上の映像も含む）との合成画像を表示する。
前記仮想カメラ位置調整操作ノブ４は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ノブ４では、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
前記スクリーン角度調整操作ノブ５は、運転者等による外部からの設定操作により遠景用スクリーン７２の近景用スクリーン７１に対する上向き傾斜角度αを任意に設定（例えば、30°〜90°の角度範囲）するためのスクリーン角度調整操作手段である。
前記撮像面角度調整操作ノブ６は、運転者等による外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定（例えば、30°〜90°の角度範囲）するための撮像面角度調整操作手段である。
実施例１の画像生成装置は、仮想カメラ８，仮想立体投影面７及び仮想立体撮像面９を用いた視点変換手法により、モニタ画像データを生成するものである。
発明のポイントは、
1.仮想投影面（スクリーン）を立体化して視点変換を行い、近景の俯瞰表示と中景乃至遠景のパース表示（地平線上の映像も含む）とをシームレスに接合する。
2.仮想カメラ８の撮像面の立体化と連携させることで映像デザインを調整し、俯瞰表示と歪み補正したパース表示の合成表示を見やすくする。
ことにある。
このために、仮想立体投影面７を導入し、地平線より上にある映像も仮想立体投影面７により視点変換を行うことで上記1.を達成する。
しかも、仮想立体投影面７の形状と仮想立体撮像面９の形状を連動させることで、俯瞰映像デザインの自由度を向上させて上記2.を達成する。
実施例１の詳細は、後述する「仮想立体スクリーンを用いた視点変換手法」に譲り、要点のみここに示す。
図２に示す実施例１の模式図で、実カメラ映像が近景用スクリーン７１及び遠景用スクリーン７２の仮想立体投影面７（スクリーン）に射影され、その映像を仮想カメラ８の仮想立体撮像面９で撮影している構成である。この構成により、遠景用スクリーン７２に地平線より上方の映像まで投影するという視点変換ができるようになる。
この実施例１に示す発明の特徴は、仮想立体投影面７と仮想立体撮像面９を連動、或いは独立に設定することにより、視点変換の自由度を向上させることができる点にある。以下に例を示す。
［仮想立体投影面７と仮想立体撮像面９が互いに平行の場合］
・リアカメラ１の撮像面とも平行な場合
このとき仮想立体投影面７及び仮想立体撮像面９では、リアカメラ１と同じ映像が投影される（レンズ歪みの効果は除く）ため、最終的に得られる映像は近景の俯瞰映像と中景乃至遠景の実カメラ映像とが連続的に接合されて表示される。
・リアカメラ１の撮像面と非平行な場合
このときは、近景の俯瞰映像はそのままで、リアカメラ１が上向き或いは下向きに回転したような映像が表示される。例えば、遠景用スクリーン７２が近景用スクリーン７１に対し垂直になった場合（α＝90°）、リアカメラ１が水平に設置されたような映像に変形されて表示される。そして、遠景用スクリーン７２が近景用スクリーン７１に対し垂直角度より大きくなった場合（α＜90°）、リアカメラ１が水平より下向きに設置されたような映像に変形されて表示される。
すなわち、中景乃至遠景については、任意の角度で実カメラを取り付けたのと同じ効果によりパース映像を得ることができ、なおかつ、近景については、パース映像との連続性を持つ俯瞰映像が表示される。
［仮想立体投影面７と仮想立体撮像面９とを互いに独立に設定した場合］
・仮想立体投影面７の２つの面がなす角度を変更する場合
仮想立体投影面７と仮想立体撮像面９の２つの面がなす角度α，βを一定の角度（例えば、α＝45°、β＝45°）に設定した場合には、図３(a)に示すように、画面の下部に近景の俯瞰映像を表示し、画面の上部に中景乃至遠景のパース映像を表示し、俯瞰映像とパース映像をシームレスに合成した平行設置映像にて表示される。
これに対し、図３(b)と図３(c)は、仮想立体撮像面９の２つの面がなす角度βを一定の角度に保ったまま、仮想立体投影面７の２つの面がなす角度αを変更した場合の２通りの視点変換例を示す。
図３(b)は、仮想立体投影面７の角度αを、図３(a)の場合よりも深くした場合の視点変換例であり、図３(c)は、仮想立体投影面７の角度αを、図３(a)の場合よりも浅くして水平に近い状態にした場合の視点変換例である。
角度が深い図３(b)の場合、遠景部がより小さく表示され遠近感が強く表示されるデザインである。一方、角度が浅い図３(c)場合は、折れ角の小さい「ついたて（仮想立体投影面７）」を斜め上から眺めたイメージであり、立体感を感じさせるデザインになる。いずれの場合も、仮想立体投影面７と仮想立体撮像面９が互いに平行である場合の平行設置映像に、パースを与える効果がある。
・仮想立体撮像面９の２つの面がなす角度を変更する場合
仮想立体投影面７と仮想立体撮像面９の２つの面がなす角度α，βを一定の角度に設定した図３(a)に対し、図３(d)と図３(e)は、仮想立体投影面７の２つの面がなす角度αを一定の角度に保ったまま、仮想立体撮像面９の２つの面がなす角度βを変更した場合の２通りの視点変換例を示す。
図３(d)は、仮想立体撮像面９の角度βを、図３(a)の場合よりも深くした場合の視点変換例であり、図３(e)は、仮想立体撮像面９の角度βを、図３(a)の場合よりも浅くして水平に近い状態にした場合の視点変換例である。
角度が深い図３(d)の場合、遠景部がより小さく表示され遠近感が強く表示されるデザインである。一方、角度が浅い図３(e)場合は、「ついたて（仮想立体投影面７）」を斜め上から見下ろしたイメージであり、立体感を感じさせるデザインになる。いずれの場合も、仮想立体投影面７と仮想立体撮像面９が互いに平行である場合の平行設置映像に、パースを与える効果がある。
上記のように、実施例１にあっては、近景の俯瞰映像と中景乃至遠景（地平線以上の映像を含む）のパース映像とをシームレスに表示することが可能になる。また、その表示について仮想立体投影面７及び仮想立体撮像面９の角度α，βを制御することにより、デザインの自由度を与えることができるようになる。
具体的には、中景乃至遠景映像について、
・実カメラの取り付けあおり角度を任意に変更する効果
・パース付与による遠近感の補正効果
を制御することができる。
次に、「仮想立体スクリーンを用いた視点変換手法（二平面モデルの場合）」について説明する。
１．背景および目的
車載周囲モニタとして、リアカメラ映像の俯瞰図表示と通常カメラ表示を同時表示させたいという要求は開発当初より存在し、商品化やデモンストレーションに際しては２画面表示により対応してきた。散発的には１画面表示手法について外部要求はあったものの、本当に見やすいのか、という疑問もあり本格的な検討は後回しにしてきた。
現在の「新たな見せ方」検討では、上記要求がそのまま検討課題に含まれる。加えて地面以外の地平線上の映像を視点変換で見せるなど、従来の視点変換技術では対応できない内容を含むことになる。そこで、これら要求に一括して当たれるように、視点変換アルゴリズムそのものを一新し、拡張性の高い手法を新たに考案することとした。以下に記述する仮想立体スクリーン手法はその一つの結果である。
この手法の特徴は、従来地面上に設定していた仮想スクリーンを、任意の３次元形状を持つ立体的な仮想スクリーンにするところにある。従来手法に比べ概念的にはスクリーン形状の違いだけであり、分かり易い拡張である。しかしながら、実現するアルゴリズムは全く異なる内容になっている。これまでは特定平面であることを前提として、全画素に同じマトリックスを作用させる簡素なアルゴリズムだったのに対し、任意形状のスクリーンに対応するには一画素毎に変換式が変わる可能性があり、その都度、対応点を求めることになるためである。
以下の記述は、この手法を整理し公開することを第一の目的とする。なお、立体スクリーン形状については任意性が高く、本記述ではひとつの事例のみを示しているが、対応点計算に必要な基本式群を整理し示しており、その他のスクリーン形状への応用も期待できる。以下の記述の第二の目的は、視点変換の実装に必要な座標変換群を総合的にレビューし、個別の技術を整理／提示することである。この種の情報は周辺技術的な内容であるため、これまで文書化されておらず、プログラムコードに埋め込まれた形で残っているだけである。しかし、それなりに複雑な手続きになっているため、視点変換の原理がわかっても実装上の障壁が高くなっている。記述の後半では必要な座標変換群を提示している。
２．立体スクリーン概論
立体スクリーンによる視点変換の考え方を図４(a)に示す。図４(a)の矢印で示したのが概念上での光の流れである。リアカメラで撮影されて映像を外部のスクリーンへ投影し、そのスクリーン上の映像を仮想CCDで撮影している。この図で仮想CCD画素とリアカメラCCD画素の対応を求めることが視点変換の基本である。もし、実体と同じ形状をした立体スクリーンを用意できれば、まさに仮想位置から実体を撮影したのと同じ映像を撮影できるはずである。もっとも、リアカメラCCDから見て死角部分の映像は失われたままではある。
図４(a)で示す立体スクリーンは２平面で構成された形状であり、仮想スクリーンとして地面を選択した場合には全く自由度がないのに比べ、かなり自由度が高いものとなる。代わりに、全てのスクリーン形状についてここで定式化するのは困難である。以下、図４(a)と同じ二平面スクリーンの例を記述することで、その基本的な考え方と構成手法を示している。
加えて、図４(b),(c)に示したように、仮想CCD も立体化する場合があることを考慮している。この仮想立体CCDの概念は、もともとは立体スクリーンにより生じるパースを除去するのが主目的である。図４(b)は地面に平行な仮想平面CCD上での映像例であり、スクリーンの立体領域ではパースがついて表示されている。それを取り除くには、この領域だけ立体スクリーンに平行なCCDを用いて映像を作成する必要があり、図のような立体CCDを導入するに至っている。図４(c)には仮想立体CCDの場合の見え方を示す。
立体スクリーンにより生じるパースの問題だけに限ればそのほかにも解決手法はあると思われるが、全体を一つの概念で扱うためにこの概念を導入した。図中の仮想立体CCD形状は立体スクリーンの単なるミニチュアであり、その点ではあえてCCDとしての概念を持ち出さなくても良いかもしれないが、積極的に図４(c)のような効果を得たい場合には、異なるCCD形状を用いる必要がある。こうした多様性をひとつの概念で扱うために、この記述では仮想スクリーンと仮想CCDを独立した概念として定義している。
３．変換手順
変換手順は、図４(a)の矢印の逆順である。即ち、仮想立体CCD面上の一点を指定し、立体スクリーン上での対応点、リアカメラCCD上での対応点の順番で求める。これは、出力画像の全画素分の対応点を求めるためである。なお、CCD面の座標系について、画像処理を考える場合にはエンコーダ／デコーダなどによってデジタル化した後の座標系で考えるのが実践的であるが、一方で機種依存性が出てしまい応用が効きにくい表現になる。そのため本記述では一般的な座標系を用いて一連の変換手順を示している。特定機種への対応については、次章でPICASSOについて対応例を示している。
３.１ 世界座標系の定義
本記述で用いる世界座標系は、３次元グラフィックス系でよく用いられる図５(a)の座標系を使う。これは、地面をスクリーンとする座標系（図５(b)）とはｙ軸とｚ軸が入れ替わっているので、継続的して作業する場合には注意が必要である。
３.２ 仮想CCD面の決定
仮想立体CCD面の定義について、最初に述べたように複数の平面CCDによる構成を示す。平面CCD内の画素位置表示にはいくつかの手法があるが、ここではuvベクトルを用いて表現する。図６(a)がその実施例である。
光学的には図中のカメラ位置より後方にある仮想立体CCDが本来のCCD面であるが、処理のしやすさなどを考慮し、本記述ではカメラ位置を中心に回転した前面仮想立体CCD面上で論じる。そのため、uvベクトルの基底{ｅｕ,ｅｖ}もその面上で定義する。また複数平面があれば、当然平面毎にuv基底ベクトルは設定され、今回の例では{ｅｕ１,ｅｖ１}と{ｅｕ２,ｅｖ２}としている。なお、これら基底ベクトルは世界座標系で定義されるベクトルである。
これらを用いて、CCDi 面上の画素位置は、
Figure 2008083786
で与えられる。Ｏｕｖは世界座標系で表される原点位置を表す位置ベクトルである。モニタ表示の(x,y)座標と(u,v)座標との相互変換は、２次元映像から２次元映像への変換であり、設計者に任される。一つの実施例は次節で示す。
具体的にCCD面の法線ベクトルπｉ＝(ｌｉ，ｍｉ，ｎｉ)が与えられたときの{ｅｕｉ,ｅｖｉ}の決め方の一例を以下に示す。束縛条件として、
・{ｅｕｉ,ｅｖｉ}は直交系、
・ｅｕｉはｙ成分を持たない（ｕ方向は地面に対して水平）、
を設定する。直交系という条件は以下の全ての議論では暗黙の条件となる。これら条件から、
Figure 2008083786
の条件式がえられ、これらを解くと、
Figure 2008083786
という（非ユニット）基底ベクトルが得られる。「ｕ方向が地面に対して水平」という条件をはずす場合には、各基底ベクトルを光軸周りにα度回転させると考え、
Figure 2008083786
になる。この場合、ｅｕｉは当然ｙ成分を持つようになる。なお、ｙ＝constである。平面を指定する場合は、上式に従うとｅｕｉ＝０（不定）になるため、別途xz平面内で適切に決定する。これら基底ベクトルを規格化する場合にはその次元を世界座標系に合わせておくと、後での処理に混乱が少ない。
３.３ 視線ベクトルの決定とスクリーン上の対応点
ある画素についてuvベクトル表現が決定されると、図７(a)に示すようにカメラ位置からの視線ベクトルが決まり、この視線ベクトルが指す立体スクリーン上の点が決まる。この点を求めるのは直線と平面の交点を求める作業であり特に難しくはないが、定式化は表現方式によりに変わってくる。以下に示すのはベクトル表現を用いた場合の一例である。
図７(b)より解くべき方程式は以下の２つである。
Figure 2008083786
これらを解くと交点は、
Figure 2008083786
と与えられる。
３.４ 立体CCD と立体スクリーンの与え方
仮想立体CCDの形状により図４(b)或いは図４(c)ようにモニタ上での見え方が変わる。どちらの表現を選択するかは場合によるが、図４(c)の設定例を図８に示す。この図で、立体CCDと立体スクリーンは平行に設置されている。このとき、立体スクリーンに映し出される映像はどのようなものか、また、角度を調整することでなにが変わるのか、というのが問題となる。
答えは、「仮想」リアカメラCCDで撮影したかのような映像が映し出される、である。この仮想リアカメラCCDは、
・リアカメラと同じ位置、
・立体スクリーンと平行、
という特徴を持ち、結果としてリアカメラの首振り角度を変えたのと同じ映像が得られる。従って、図８の立体CCDにより生成される映像は、
・指定した角度のカメラ映像として遠方映像を表示、
・近景は俯瞰映像、
・俯瞰映像と遠景映像の連続的接続、
という特徴をもつ。ただし、この効果を得るには図８に示すように、立体面の交線２つと仮想カメラ位置が、横から見て直線上に並ぶ必要がある。言い換えれば下記の３つのパラメータ、
・仮想カメラ位置
・立体CCD位置／形状
・立体スクリーン位置／形状
を全く独立に指定することはできない。２つを決めれば、もう一つは自動的に決定される。
３.５ 立体スクリーンからリアカメラCCDへの射影
上記(12)式により、立体スクリーン上の一点が指示された。次の問題は図９に示すように、リアカメラCCD上の対応点を求めることであり、具体的には直線（視線）とCCD平面との交点を求めることである。結局は平面と直線の交点を求める問題であり、３.２節の場合に比べCCDとスクリーンの立場が入れ替わっただけで、原理的には全く同じである。しかし、最終的に求めたい交点の表現が、３次元位置ベクトル形式ではなくCCD表面上の(u,v)座標系という点が異なっている。そのため、図９にあるようにCCD表面を{ｅｕ,ｅｖ}を用いて表現する。この記号は３.１節と同じであるが、今回はリアカメラCCD表面上で定義される。
リアカメラCCD上での基底ベクトルの決定についてはいくつかの方法があるが、現実のリアカメラに合わせ込む必要があるため、合わせ込み調整が可能な手順が望ましい。ここでは以下に２つの方法を示す。ただしいずれの方法もレンズ歪み等の光学的効果は全て除かれて、リアカメラをピンホールカメラとして扱えることが前提である。
３.５.１ リアカメラ{ｅｕ,ｅｖ}の決定
ここではまず{ｅｕ,ｅｖ}の決定について、カメラ視線を指定する方法と、既に実施されてきた回転行列で指定する２つの方法を示す。
３.５.１.１ 視線指定による決定
この手法で用いるパラメータは、
・カメラの光軸方向ベクトル（即ちCCDの法線ベクトルπ＝(ｌ，ｍ，ｎ) ）、
・カメラの光軸周りの回転角度α、
の２つである。「カメラの光軸方向ベクトル」は、カメラの向いている視線の方向ベクトルでもあり、またCCDの法線ベクトルでもある。この値と、
・カメラ位置と焦点距離、
によりCCD面を世界座標系で固定できる。このとき残る自由度は光軸回転のため、水平方向からの回転角度を角度αとすると、３.１節と全く同じであり、
Figure 2008083786
となる。このとき、{ｅｕ,ｅｖ}の原点は光軸位置とCCD面の交点である。なお、上式に焦点距離が陽に含まれていないのは、規格化されていないためである。例えば、画角と焦点距離から画素サイズを決定するため、{ｅｕ,ｅｖ}をその大きさに規格化することで、(u,v)値をそのまま画素値にする表現も可能である。
３.５.１.２ 回転行列による決定
既に実装してきた手法として、図１０に示すように真下を向いたカメラをｅｗ軸−＞ｅｖ軸−＞ｅｕ軸の順に回転処理し、カメラ姿勢を指定する方法がある。ここでｅｕは画面の横軸、ｅｖは画面の縦軸で、それらの原点は画面中心（光軸）に対応している。これらの回転角度から最終の{ｅｕ,ｅｖ}を求められれば、従来手法の継続性の観点から有用である。その計算過程はそれなりに複雑であり、以下にその結果だけを示す。
Figure 2008083786
ここでの回転軸と角度の対応は次の通りである。
φ：ｅｗ軸回転、（第１回転）
ψ：ｅｖ軸回転、（第２回転）
θ：ｅｕ軸回転、（第３回転）
３.５.２ リアカメラCCDへの射影
図９のCCDベクトルは、上記結果により定められた{ｅｕ,ｅｖ}を用いて、
Figure 2008083786
と表現できる。このとき、３.２節で求めた交点CP（図７(b)）に対応する(u,v)値を求めたい。上式と、
Figure 2008083786
を連立させることで(u,v)を求める。なお、ＯｕｖはCCD面上の原点を世界座標系で表現した３次元位置ベクトルである。結果だけを記すと、
Figure 2008083786
となる。なお、Ｐｒｅａｒはリアカメラ位置で、演算子×は３次元ベクトルの外積を意味している。これで得られる(u,v)値と実際のカメラ映像との対応はカメラシステムの画像座標に依存するため、一般的に記述できない。そこで次章では、特定の機種を用いた場合の変換例を示す。
３.６ 立体スクリーン法まとめ
本章では立体スクリーンを用いた視点変換手法の原理とその基本式を視点変換処理の流れに沿って紹介した。本手法では、従来手法では不可能であった「俯瞰映像と地平線上の映像の同時表示」が可能になり、表現の自由度は増している。しかしその分自由度が高く、俯瞰データ作成に際しては、より一層の理解が求められることになる。
また、計算時間も増えると思われる。テクニカルには出来るだけ実装を簡素にし、高速演算する工夫はできると思われるが、従来手法との原理的差異、すなわち全画素一括処理と一画素毎の個別処理の違いにより、演算処理量が格段に増え、一層マイコン動作が難しい処理になる可能性がある。結果として、マイコンによるセルフキャリブレーションへの応用は一層困難な作業になると思われる。
４. 実カメラ映像と対応
本章で述べる相互変換処理の全体像を図１１に示す。この一連の処理では、ピンホールカメラを前提とした前節の変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図１１内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。前節で示したのは、この中の「視点変換」に関わる内容だけである。本章ではそれ以外の変換処理について詳述する。なお、本記述では、
カメラ：CC-445（クラリオン製）、
デコーダ：PCCAP（I/O データ製）、
を用いた場合の実施例を示している。
４.１ デコーダ間変換
この変換は、ビデオキャプチャカードPCCAP(I/O データ製)のデコーダ性能とPICASSO のデコーダ性能とを互換させる変換である。PCCAPは歪み補正技術を構築するときに用いたハードウエアであり、この座標系で補正係数が決定されているため、当面避けて通れない。最も簡便な変換は、縦横とも解像度比分だけ倍数をかけて、座標値を対応させることである。ただし、これは近似的な対応であり、まず間違いなくズレが生じる。
PCCAPのデコーダとPICASSOのデコーダでは、NTSC信号からの映像切り出し領域が異なるためである。これまでの経験で、数％程度の位置ズレは常識的に存在する。データが全てそろっていれば、
・デコーダ性能表を比較して割り出す、
・同じカメラ映像をデコーダで同時に取得して比較する、
という手段があるが、残念ながら、
・PCCAP及びPICASSOともにデコーダの性能表は出ていない、
・PICASSOのデジタル映像データは外部に直接取り出せない、
のため現在ともに不可能である。現在用いている対策は複雑な手順となるが、PICASSO出力系のエンコーダ性能と併せて三つの相互変換について連立方程式を解くようにして決定する手法を考案している。このときPICASSOのスーパーインポーズ機能を併用して、内部の座標系を外部から計測できるように工夫している。
現在判明している変換式は、唯一PICASSO 開発途中に評価ボード（外部デコーダ）を用いて調整した結果だけである。
４.２ ｙ軸変換
これは原点を上下にする変換処理である。歪み補正技術構築時に原点を下にとる座標系を用いている。単純にｙ軸方向の画素数により変換するだけである。
４.３ 歪み補正変換
現有の歪み補正処理技術は、PCCAP(I/O データ製)でキャプチャした歪み補正前後のビットマップ画像（解像度640×480）について無次元の画素空間で処理する技術である。この変換処理の原理は、図１２(b)に示すように、各画素の光軸位置からの距離を変えるだけである。変換量は図１２(a)のグラフに示すような高次の単調増加関数で表され、あらかじめ実験的に定める。なお、経験上クラリオン製カメラでは同じロットでも光軸位置が数％程度ふらついている。これだけふらつきがあると、歪率の高い画像周縁部の映像処理に影響が現れるため、周縁部はできるだけは変換しない方がよい。
４.４ ピンホールカメラ変換
前節の歪み補正映像は無次元の処理であり、得られた映像を世界座標系の仮想CCD面上の映像に対応させるために、物理量を導入する。図１３はそのときの考え方を図示している。図中の歪み補正前後の映像は、前節と同じ解像度 640×480の画像としているが、それに対応するカメラモデルは異なっている様子が図１３の模式図で示されている。
図１３(a)に示す広角カメラの模式図では、光軸位置が画像中心にない。少なくともこれまで弊社のカメラで実験してきた限りでは、合致していた例はない。図中の光軸上の「カメラ位置」がCCD面からの焦点距離を表しレンズ位置に対応する。この図では、斜めの入射光がカメラ（レンズ）位置で屈折してCCD面上で結像し、その結果歪み映像が生じる様子を図示している。
一方、図１３(b)に示すピンホールカメラの模式図は異なっている。広角カメラ模式図に比べCCDの物理サイズは大きめに描かれ、焦点距離は短くなっている。また入射光は屈折せず直線的にCCD面上で結像しているように描かれている。この模式図を見ると、例えばCCD面のサイズ（或いはピクセルサイズ）をより大きく設定しても、焦点距離を同じ割合で長く設定すれば、同じ解像度で同じ映像を取得できることが理解される。すなわち特別な事情がない限り比率を保持しておけば、ピンホールカメラのスケール設定は自由である。この模式図から対応点計算に必要なカメラ定数は以下の値となる。
・仮想CCD面上での光軸位置、
・仮想CCDの焦点距離 f、
・仮想CCDのピクセルサイズ (Wx Wy)、
光軸位置については、考え易さの観点から図中では画像の中心（319.5,239.5）に設定しているが、そもそも仮想的なピンホールカメラであり、どこを中心にするかは自由である。また後の２つの項目については先述べたように、絶対値そのものはあまり重要ではない。
これら仮想CCDの設定値を使うと、世界座標系への変換処理は図１４に示す関係から、
Figure 2008083786
(Wx Wy)：仮想CCDのピクセルサイズ（通常はWx＝Wy）、
Ｏｃ：仮想CCD の光学中心（任意、通常は画面中央）、
とすることで変換する。なお、３.２節で述べたように基底ベクトル{ｅｕ,ｅｖ}は世界座標系の単位長さに規格化されているのが通常であり、その場合に(Wx Wy)は仮想CCDのピクセルサイズとしての意味を持つ。もし基底ベクトルが世界座標系で規格化されていなければ、この値はピクセルサイズではなく比例係数である。
さらに車載リアカメラについては、多くの場合、
Figure 2008083786
という左右反転処理が必要である。一般にリアカメラ映像は左右反転映像が出力されているためで、CC-445の場合にも同様である。
４.５ 視点変換
これは第３章で論じた内容でありここでは詳述しない。
４.６ エンコーダ変換
出力画像のデザインに関わる内容であり一般式は提示できないが、例えば一定スケールで単純に画像中央に表示する場合は、
Figure 2008083786
α：スケール定数、
SC：出力画像系の中心（図１１ではSC＝(179.5, 119.5)）、
で与えられる。注意するのは、リアカメラ映像を出力する場合、運転者視点用に左右反転が求められることがあり、その場合には４.４節で指摘したように左右反転処理を行う。そのときは上記処理前に、
Figure 2008083786
とするか、処理後に左右反転処理が必要である。後者の処理の場合、左右非対称な光学軸を設定して絵作りしている場合には注意が必要である。
なお、エンコーダ性能とモニタ性能の組み合わせ次第で、必ずしもエンコーダ座標系の中心点が出力モニタ上の中心点ではないため、上式SCで調整する場合が多い。
５．まとめ
本記述では、
・立体スクリーン／立体CCD概念、
・二平面モデルによる視点変換手法の原理、
・座標変換群の全体像、
・各変換処理の概念及び手法、
について示した。本記述で全ての変換式を提示しており、示した手続きに従えばマッピングテーブルを作成できるはずである。
次に、効果を説明する。
実施例１の画像生成装置および画像生成方法にあっては、下記に列挙する効果を得ることができる。
(1) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、前記仮想投影面として、地面上に設定した近景用スクリーン７１と、該近景用スクリーン７１の実カメラから遠い側に連接すると共に所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７を設定する仮想立体投影面設定手段と、前記実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手段と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する座標変換手段と、前記座標変換にしたがって仮想カメラ８の仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成装置を提供することができる。
(2) 前記仮想カメラ８の仮想撮像面として、前記近景用スクリーン７１に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手段を設け、前記座標変換手段は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換し、前記モニタ画像データ生成手段は、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するため、仮想立体投影面７により生じるパースを除去することができると共に、仮想立体投影面７と仮想立体撮像面９を連動、或いは独立に設定することにより、視点変換の自由度を向上させることができる。
(3) 前記座標変換手段は、仮想立体撮像面９上での一つの画素位置を指定し、仮想立体投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成するため、例えば、実カメラの撮像面上での一つの画素位置を指定して最終的に仮想立体撮像面９上での対応点を決める場合には、俯瞰画像への変換により拡大・縮小が生じ、全画素分の対応点を求めることができない場合があるのに対し、出力画像となる仮想立体撮像面９の全画素分の対応点を求めることができる。
(4) 歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系とするため、変換量関係特性を用いた簡単な歪み補正変換により、カメラレンズによる映像の歪みが補正され、ピンホールカメラでの撮像画面のように、直線的に描かれる遠景のパース画像を得ることができる。
(5) 前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できるため、モニタ画面の下部に表示される近景の俯瞰画像と上部に表示される遠景のパース画像とのバランスが適切になるように調整することができる。
(6) 前記仮想立体投影面設定手段は、外部からの設定操作により遠景用スクリーン７２の近景用スクリーン７１に対する上向き傾斜角度αを任意に設定できるため、遠景のパース画像として、遠近感が強く表示されるデザインや立体感を強く感じさせるデザインにすることができる等、モニタ画面のデザイン自由度を高めることができる。
(7) 前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定できるため、遠景のパース画像として、遠近感が強く表示されるデザインや立体感を強く感じさせるデザインにすることができる等、モニタ画面のデザイン自由度を高めることができる。
(8) 前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラ１であるため、下部に表示される近景の俯瞰画像と上部に表示される中景乃至遠景のパース画像の合成画像により、距離感や遠近感を含めて車両の後方周囲状況を的確にモニタ表示し、運転支援の実効を図ることができる。
(9) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、前記仮想投影面として、地面上に設定した近景用スクリーン７１と、該近景用スクリーン７１の実カメラから遠い側に連接すると共に所定の上向き傾斜角度αを持って設定した遠景用スクリーン７２と、を有する仮想立体投影面７を設定する仮想立体投影面設定手順と、実撮像面に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手順と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、前記座標変換にしたがって仮想カメラ８の仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成方法を提供することができる。
(10) 前記仮想カメラ８の仮想撮像面として、前記近景用スクリーン７１に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手順を設け、前記座標変換手順は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換し、前記モニタ画像データ生成手順は、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想立体投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するため、仮想立体投影面７により生じるパースを除去することができると共に、仮想立体投影面７と仮想立体撮像面９を連動、或いは独立に設定することにより、視点変換の自由度を向上させることができる。
以上、本発明の画像生成装置および画像生成方法を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
実施例１では、仮想投影面を仮想立体投影面とし、かつ、仮想撮像面を仮想立体撮像面とする好適な例を示したが、仮想撮像面は平面による撮像面とし、仮想投影面のみを仮想立体投影面とするものであっても良い。要するに、仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手段を有するものであれば、実施例１には限られることはない。
実施例１では、リアカメラを１台のみ設置し、１台のリアカメラにより取得した単独のカメラ映像データの各画素位置を座標変換してモニタ画像データを生成する例を示した。これは、本発明が、実カメラからの単独のカメラ映像データを用いることを特徴とし、この点を明瞭にする意味で、実施例１では車載カメラを１台にする例を示したものである。よって、実施例１の記載は、車載カメラの台数を１台に限定するものではなく、１台の実カメラと１台または複数台の補助カメラを設置しても良い。例えば、俯瞰映像において、実カメラであるリアカメラCCDから見て死角部分（両端部分）の映像が失われることがあるが、この場合、他の車載カメラ（補助カメラ）からの映像を利用し、死角部分の映像を補完するようにしても良い。
実施例１では、モニタ表示画像として、近景の俯瞰表示画像と中景乃至遠景のパース表示画像とがシームレスに接合された画像とする例を示したが、例えば、近景の俯瞰表示画像と中景乃至遠景のパース表示画像との間に仕切り線を設定したモニタ表示画像としても良い。すなわち、本発明は、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成するものであり、モニタ画像データに基づいて作成されるモニタ表示画像についてまで接合という条件を規定するものではない。例えば、視認性やデザイン性等を考慮して予め作成された仕切り線や枠組み等を施すベース画像に、生成したモニタ画像データに基づく俯瞰画像とパース画像を組み込み、両画像の合成画像をモニタへの表示画像とするようにしても良い。
実施例１では、車両に搭載されるリアカメラへの適用例を示したが、車両に搭載されるサイドカメラやフロントカメラへも適用できるし、また、車両以外に、店舗等に設置される監視カメラへも適用でき、監視カメラへ適用した場合には、カメラの設置台数やモニタの設置台数を大幅に減らすことができるというメリットを持つ。
実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図である。 実施例１の画像生成装置において仮想立体投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。 実施例１の画像生成装置において実カメラ映像からの視点変換のバリエーションを示す映像模式図である。 立体スクリーンと立体CCDによる視点変換の概略を示す図で、(a)は二平面モデルによる視点変換（投影）の全体図、(b)は仮想平面CCDの場合の見え方、(c)が仮想立体CCDの場合の見え方を示す。 世界座標系の比較を示す図で、(a)は今回の世界座標系、(b)は地面をスクリーンとする世界座標系を示す。 仮想立体CCDの概略を示す図で、(a)は仮想立体CCDの斜視図、(b)はモニタ表示例を示す。 仮想スクリーンと視線ベクトルの関係を示す図で、(a)は視線ベクトルの定義、(b)は仮想スクリーンの定義と交点の位置を示す。 仮想スクリーンと視線ベクトルの関係を示す全体図である。 リアカメラCCD周りの各種定義を示す図である。 リアカメラCCD周りの記号の定義を示す図で、(a)は初期状態、(b)最終状態を示す。 各種座標変換の相互作用を示す図である。 歪み補正に用いられる関数例を示す図で、(a)は変換量の関数例、(b)光軸からの距離による相互変換を示す。 歪み処理前後の画像と座標系の関係を示す図で、(a)は広角カメラ模式図、(b)はピンホールカメラ模式図を示す。 仮想CCD画素(x,y)と世界座標系(u,v)の相関を示す図で、(a)は仮想CCD画素上に世界座標系を示し、(b)は無次元量と実空間量の相互変換を示す。
符号の説明
１ リアカメラ（実カメラ）
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ 仮想カメラ位置調整操作ノブ
５ スクリーン角度調整操作ノブ
６ 撮像面角度調整操作ノブ
７ 仮想立体投影面
７１ 近景用スクリーン
７２ 遠景用スクリーン
８ 仮想カメラ
９ 仮想立体撮像面
９１ 近景用撮像面
９２ 遠景用撮像面
ａ，ｂ 仮想カメラ８の位置
α スクリーン傾斜角度
β 撮像面傾斜角度

Claims (10)

  1. 仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
    実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、
    前記仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手段と、
    前記実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手段と、
    前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手段と、
    前記座標変換にしたがって仮想カメラの仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、
    を備えたことを特徴とする画像生成装置。
  2. 請求項１に記載された画像生成装置において、
    前記仮想カメラの仮想撮像面として、前記近景用スクリーンに平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手段を設け、
    前記座標変換手段は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換し、
    前記モニタ画像データ生成手段は、座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成することを特徴とする画像生成装置。
  3. 請求項１または請求項２に記載された画像生成装置において、
    前記座標変換手段は、仮想撮像面上または仮想立体撮像面上での一つの画素位置を指定し、仮想立体投影面上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成することを特徴とする画像生成装置。
  4. 請求項３に記載された画像生成装置において、
    歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、
    前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想撮像面または仮想立体撮像面の座標系とすることを特徴とする画像生成装置。
  5. 請求項１乃至請求項４の何れか１項に記載された画像生成装置において、
    前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できることを特徴とする画像生成装置。
  6. 請求項１乃至請求項５の何れか１項に記載された画像生成装置において、
    前記仮想立体投影面設定手段は、外部からの設定操作により遠景用スクリーンの近景用スクリーンに対する上向き傾斜角度を任意に設定できることを特徴とする画像生成装置。
  7. 請求項２乃至請求項６の何れか１項に記載された画像生成装置において、
    前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面の近景用撮像面に対する下向き傾斜角度を任意に設定できることを特徴とする画像生成装置。
  8. 請求項１乃至請求項７の何れか１項に記載された画像生成装置において、
    前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラであることを特徴とする画像生成装置。
  9. 仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、
    前記仮想投影面として、地面上に設定した近景用スクリーンと、該近景用スクリーンの実カメラから遠い側に連接すると共に所定の上向き傾斜角度を持って設定した遠景用スクリーンと、を有する仮想立体投影面を設定する仮想立体投影面設定手順と、
    実撮像面に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラを設定する仮想カメラ設定手順と、
    前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立体投影面を介した仮想カメラの仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、
    前記座標変換にしたがって仮想カメラの仮想撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、
    を備えたことを特徴とする画像生成方法。
  10. 請求項９に記載された画像生成方法において、
    前記仮想カメラの仮想撮像面として、前記近景用スクリーンに平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有する仮想立体撮像面を設定する仮想立体撮像面設定手順を設け、
    前記座標変換手順は、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想立投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換し、
    前記モニタ画像データ生成手順は、座標変換にしたがって仮想カメラの仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想立体投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成することを特徴とする画像生成方法。
JP2006260425A 2006-09-26 2006-09-26 画像生成装置および画像生成方法 Active JP4257356B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006260425A JP4257356B2 (ja) 2006-09-26 2006-09-26 画像生成装置および画像生成方法
US11/902,951 US8368687B2 (en) 2006-09-26 2007-09-26 Image generating apparatus and image generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006260425A JP4257356B2 (ja) 2006-09-26 2006-09-26 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
JP2008083786A true JP2008083786A (ja) 2008-04-10
JP4257356B2 JP4257356B2 (ja) 2009-04-22

Family

ID=39354646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006260425A Active JP4257356B2 (ja) 2006-09-26 2006-09-26 画像生成装置および画像生成方法

Country Status (2)

Country Link
US (1) US8368687B2 (ja)
JP (1) JP4257356B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2105753A1 (en) 2008-03-27 2009-09-30 Hitachi Ltd. Assembled battery total voltage detection circuit
JP2010109483A (ja) * 2008-10-28 2010-05-13 Honda Motor Co Ltd 車両周辺表示方法
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
WO2011125137A1 (ja) * 2010-04-08 2011-10-13 パナソニック株式会社 運転支援表示装置
WO2011129274A1 (ja) * 2010-04-12 2011-10-20 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP2011227613A (ja) * 2010-04-16 2011-11-10 Canon Inc 画像処理装置および方法
US8446471B2 (en) 2009-12-31 2013-05-21 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
CN103802725A (zh) * 2012-11-06 2014-05-21 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP2018042205A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2019529242A (ja) * 2016-09-14 2019-10-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両の車両周辺のバックミラー光景の提供方法
JP2020114018A (ja) * 2020-04-06 2020-07-27 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
US11044421B2 (en) 2017-01-20 2021-06-22 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4862774B2 (ja) * 2006-12-20 2012-01-25 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
JP5102795B2 (ja) * 2009-03-13 2012-12-19 パナソニック株式会社 運転支援表示装置
WO2010108499A2 (en) * 2009-03-22 2010-09-30 Algreatly Cherif Atia 3d navigation method and system
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
KR101067814B1 (ko) * 2009-09-30 2011-09-27 주식회사 팬택 이동통신단말기 및 이의 터치 인터페이스 제공 방법
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
CN102933428B (zh) * 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置
JP5263355B2 (ja) * 2010-09-22 2013-08-14 株式会社ニコン 画像表示装置及び撮像装置
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
US9316828B2 (en) * 2012-08-22 2016-04-19 Honda Motor Co., Ltd. Three-dimensional vehicle backup camera display system and method
KR102001659B1 (ko) * 2012-11-19 2019-07-19 한국전자통신연구원 차량용 카메라 캘리브레이션 장치 및 방법
CN104691415B (zh) * 2013-12-07 2017-02-01 惠州市德赛西威汽车电子股份有限公司 全景泊车辅助装置
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置
CN107161080B (zh) * 2017-04-28 2020-07-07 惠州华阳通用电子有限公司 一种车机启动过程中倒车轨迹线实现方法
US10618471B2 (en) 2017-11-30 2020-04-14 Robert Bosch Gmbh Virtual camera panning and tilting
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法
US10928508B2 (en) * 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
FR3098620B1 (fr) * 2019-07-12 2021-06-11 Psa Automobiles Sa Procédé de génération d’une représentation visuelle de l’environnement de conduite d’un véhicule
WO2021232294A1 (zh) * 2020-05-20 2021-11-25 京东方科技集团股份有限公司 笔迹绘制方法、装置、电子设备、介质和程序产品
US11119313B1 (en) * 2020-07-31 2021-09-14 Varjo Technologies Oy Imaging systems and methods for expanding field of view of captured images

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03286306A (ja) 1990-04-03 1991-12-17 Mitsubishi Electric Corp 数値制御装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
CN1480903A (zh) * 1996-08-29 2004-03-10 ������������ʽ���� 特征信息赋予、物体抽取和立体模型生成方法及其装置
EP2259220A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Method and apparatus for displaying image
US7710451B2 (en) * 1999-12-13 2010-05-04 The Trustees Of Columbia University In The City Of New York Rectified catadioptric stereo sensors
JP3269056B2 (ja) * 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
JP3483143B2 (ja) * 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
JP4021685B2 (ja) * 2002-03-04 2007-12-12 松下電器産業株式会社 画像合成変換装置
JP4004871B2 (ja) 2002-06-27 2007-11-07 クラリオン株式会社 車両周囲画像表示方法、その車両周囲画像表示方法に用いられる信号処理装置、及びその信号処理装置を搭載した車両周囲監視装置
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
JP2005062992A (ja) * 2003-08-08 2005-03-10 Nissan Motor Co Ltd 画像生成装置および画角変換手法並びに画角変換プログラム
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
JP4457690B2 (ja) 2004-02-18 2010-04-28 日産自動車株式会社 運転支援装置
JP4764624B2 (ja) * 2004-12-07 2011-09-07 株式会社 日立ディスプレイズ 立体視表示装置及び立体視用画像生成方法
JP4489610B2 (ja) * 2005-01-28 2010-06-23 株式会社 日立ディスプレイズ 立体視可能な表示装置および方法
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4715334B2 (ja) * 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法
FR2893173B1 (fr) * 2005-11-10 2008-01-18 Valeo Vision Sa Procede d'evaluation, par un vehicule automobile, des caracteristiques d'un element frontal.

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2105753A1 (en) 2008-03-27 2009-09-30 Hitachi Ltd. Assembled battery total voltage detection circuit
JP2010109483A (ja) * 2008-10-28 2010-05-13 Honda Motor Co Ltd 車両周辺表示方法
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
US8446471B2 (en) 2009-12-31 2013-05-21 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
WO2011125137A1 (ja) * 2010-04-08 2011-10-13 パナソニック株式会社 運転支援表示装置
JP2011221760A (ja) * 2010-04-08 2011-11-04 Panasonic Corp 運転支援表示装置
US8363103B2 (en) 2010-04-08 2013-01-29 Panasonic Corporation Drive assist display apparatus
WO2011129274A1 (ja) * 2010-04-12 2011-10-20 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP2011223411A (ja) * 2010-04-12 2011-11-04 Sumitomo Heavy Ind Ltd 画像生成装置及び操作支援システム
US9233643B2 (en) 2010-04-12 2016-01-12 Sumitomo Heavy Industries, Ltd. Image generation device and operation support system
JP2011227613A (ja) * 2010-04-16 2011-11-10 Canon Inc 画像処理装置および方法
US9115482B2 (en) 2012-03-29 2015-08-25 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
US9598836B2 (en) 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
CN103802725A (zh) * 2012-11-06 2014-05-21 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
CN103802725B (zh) * 2012-11-06 2016-03-09 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
JP2018042205A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2019529242A (ja) * 2016-09-14 2019-10-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両の車両周辺のバックミラー光景の提供方法
US11356618B2 (en) 2017-01-20 2022-06-07 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US11044421B2 (en) 2017-01-20 2021-06-22 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US12041375B2 (en) 2017-01-20 2024-07-16 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
US11800045B2 (en) 2017-01-20 2023-10-24 Kabushiki Kaisha Toshiba Image synthesis device for electronic mirror and method thereof
JP2020114018A (ja) * 2020-04-06 2020-07-27 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP7348323B2 (ja) 2020-04-06 2023-09-20 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP2022048281A (ja) * 2020-04-06 2022-03-25 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP7027476B2 (ja) 2020-04-06 2022-03-01 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法

Also Published As

Publication number Publication date
JP4257356B2 (ja) 2009-04-22
US20080129756A1 (en) 2008-06-05
US8368687B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP4642723B2 (ja) 画像生成装置および画像生成方法
TWI574224B (zh) An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus
EP2820593B1 (en) Method and system for adaptive perspective correction of ultra wide-angle lens images
JP4927512B2 (ja) 画像生成装置
KR101385914B1 (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
WO2011129276A1 (ja) 画像生成装置及び操作支援システム
KR101407806B1 (ko) 화상생성장치 및 조작지원 시스템
CN103839227B (zh) 鱼眼图像校正方法和装置
JP2012147149A (ja) 画像生成装置
JP2007109166A (ja) 運転支援システム
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
CN102792686B (zh) 图像生成装置及操作支持系统
JP2007052304A (ja) 映像表示システム
CN110651295B (zh) 图像处理设备、图像处理方法和程序
JP2008048345A (ja) 画像処理装置並びに視界支援装置及び方法
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018030526A (ja) 車両用視認装置及び車両用視認画像表示方法
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP2016213759A (ja) 後方モニタ
US12080075B2 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
JP2010178018A (ja) 車両の周辺を画像表示するための装置
JP2007104537A (ja) 車両用死角映像表示装置
JP6136747B2 (ja) ２次元３次元表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071130

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4257356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250