JP2003256874A - 画像合成変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 実カメラの撮像画像を仮想視点から見た画像
に変換するマッピングテーブルを、少ない演算量で簡単
に作成可能とする。 【解決手段】 実画像を撮像する撮像手段１０と、予め
計算された仮想カメラの画素位置に対応する投影モデル
上の３次元位置を記録した座標記録手段３２と、仮想カ
メラと撮像手段１０との間の位置関係を求める手段と、
前記位置関係の情報と座標記録手段３２に記録されてい
る前記３次元位置の情報とから前記実画像を前記仮想カ
メラから見た画像に変換するマッピングテーブルを作成
し記録する手段２０、３１と、前記マッピングテーブル
を使用して実画像をマッピングする手段４０とを備え
る。前記位置関係を求める手段は、撮像手段１０の設置
位置が予め定められている場合には前記設置位置から位
置関係を予測してカメラパラメータとしてマッピングテ
ーブルを作成する手段２０に入力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実カメラで撮影し
た画像を仮想カメラで撮影した変換画像にリアルタイム
に合成する画像合成変換装置に関する。

【０００２】

【従来の技術】複数の実カメラで撮影した画像を合成、
変換する従来の画像合成変換装置として、例えば、国際
公開番号ＷＯ００／６４１７５に記載されている装置が
ある。これを図１０を用いて説明する。

【０００３】この従来の画像合成変換装置は、撮像手段
１１０と、画像処理部１２０とを備えて構成される。撮
像手段１１０は、複数のカメラ１１１、１１２と、各カ
メラ１１１、１１２に対応するフレームメモリ１１３、
１１４とから構成され、各カメラ１１１、１１２から入
力される画像は対応するフレームメモリ１１３、１１４
に書き込まれる。

【０００４】画像処理部１２０は、画像合成手段１２１
と、マッピングテーブル参照手段１２２と、映像信号生
成手段１２３とから構成される。マッピングテーブル参
照手段１２２は、出力画素の位置座標と入力画像の画素
位置との対応を示す変換アドレス（マッピングテーブ
ル）を格納した変換アドレスメモリ１３１と、そのとき
の各入力画素の必要度が記録される必要度メモリ１３２
を備える。

【０００５】画像合成手段１２１は、マッピングテーブ
ル参照手段１２２に記録されている変換アドレス（マッ
ピングテーブル）に基づき、フレームメモリ１１３、１
１４内の各画素のデータを、指定された必要度に応じて
加算することにより出力画素のデータを生成する。映像
信号生成手段１２３は、画像合成手段１２１により生成
された出力画素のデータを映像信号として出力する。
尚、以上の処理は、例えば、入力画像信号等の適切な同
期信号に基づいて実行される。

【０００６】画像合成手段１２１は、マッピングテーブ
ル参照手段１２２に従って、２つの異なるカメラ１１
１、１１２から入力される画像を合成したり、画素位置
を変更したりして出力画像を生成することで、異なる複
数のカメラからの入力画像を滑らかに合成したり、仮想
視点からの映像へと変換したりすることをリアルタイム
に実現する様になっている。しかし、リアルタイムに画
像合成を行うには、画像合成に使用するマッピングテー
ブルが予めマッピングテーブル参照手段１２２に記録さ
れていることが必要である。

【０００７】次に、マッピングテーブルの作成手順を説
明する。マッピングテーブルを作成するためには、仮想
視点（仮想カメラの設置位置）から見た合成画像の各画
素に対応する各カメラ画像の画素の座標を決める必要が
ある。この対応を決める手順は、仮想視点からの合成画
像の各画素に対応する世界座標上での点の位置を求める
段階と、求めた世界座標上での点の位置の実カメラ上で
対応する画素の座標を求める段階の２段階に分けられ
る。

【０００８】尚、最終的にマッピングテーブルに記録さ
れる関係は、仮想視点の合成画像の各画素と各カメラ画
像（実画像）の画素との関係だけであり、マッピングテ
ーブルを作成する手順は、上記の世界座標上の点を経由
する方式に限定されるものではないが、この世界座標上
の点を経由するマッピングテーブルは、合成画像の実世
界での座標である世界座標系での意味付けが明確になる
ため、周囲の状況を実際の距離、位置関係と対応付けや
すい合成画像を生成する点で優れている。

【０００９】仮想カメラの画素位置［ｍｉ］＝（ｘｉ，
ｙｉ）と仮想カメラのカメラ座標［Ｐｉ］＝（Ｘｉ，Ｙ
ｉ，Ｚｉ）とは、次の関係にある。

【００１０】 ｘｉ＝Ｘｉ／Ｚｉ（ただし、Ｚｉは０でない） ｙｉ＝Ｙｉ／Ｚｉ（ただし、Ｚｉは０でない） 仮想カメラのカメラ座標［Ｐｉ］から、世界座標［Ｐ
ｗ］へは、３次元の回転［Ｒｉ］、及び、並進［Ｔｉ］
によって次のように変換される。

【００１１】［Ｐｗ］＝［Ｒｉ］［Ｐｉ］＋［Ｔｉ］ 同様に、世界座標［Ｐｗ］から実カメラのカメラ座標
［Ｐｒ］へは、３次元の回転［Ｒｒ］、及び、並進［Ｔ
ｒ］によって次のように変換される。

【００１２】［Ｐｒ］＝［Ｒｒ］［Ｐｗ］＋［Ｔｒ］ この仮想カメラのカメラ座標系から世界座標系への変
換、ならびに、世界座標系から実カメラのカメラ座標系
への変換を模式的に図１１に示す。即ち、仮想カメラの
カメラ座標系Ｃで表される画像Ｍと、実カメラのカメラ
座標系Ｃ’で表される画像Ｍ’とは、画像世界座標系Ｏ
を介して対応付けられる。

【００１３】また、実カメラのカメラ座標［Ｐｒ］＝
（Ｖxe，Ｖye，Ｖze）から、実カメラの投影面上の２次
元座標［Ｍｒ］＝（ｘｒ，ｙｒ）へは、透視投影変換に
より焦点距離ｆｖを用いて次のように変換される。

【００１４】ｘｒ＝（ｆｖ／Ｖze）・Ｖxe ｙｒ＝（ｆｖ／Ｖze）・Ｖye これを、画素の単位に変換し、実カメラに即したレンズ
歪みを考慮して位置を補正した位置が、実カメラでの画
素の位置となる。レンズ歪みの補正には、レンズ中心か
らの距離と補正量との関係を記録したテーブルを利用し
たり、数学的な歪みモデルにより近似するなどの方式が
ある。

【００１５】このとき、世界座標系に存在する物体の３
次元形状が未知であるため、仮想カメラの画素位置［ｍ
ｉ］から仮想カメラのカメラ座標［Ｐｉ］への変換の
際、［Ｐｉ］の倍率λ（λは０以外の実数）が不定とな
る。つまり、図１２において、直線ｌ上の点、例えば、
点Ｋ、点Ｑは全て同じ画素位置Ｘ（ｘｉ，ｙｉ）に投影
される。このため、仮想視点から見える対象物の形状に
適当な投影モデルを仮定することにより、直線ｌ上の一
点を決定する。つまり、投影モデルと直線ｌとの交点を
求め世界座標上の点とする。

【００１６】尚、投影モデルとしては、例えば、世界座
標系のＺｗ＝０の平面などが考えられる。このように適
当な投影モデルを設定することで、上記の手順により仮
想視点の合成画像上の各画素［Ｐｉ］と、実カメラ画像
上の画素［Ｐｒ］との対応関係が計算可能となる。

【００１７】これらの対応関係の算出には、投影モデル
上の点の座標計算や、カメラ座標と世界座標との変換、
さらに、カメラ数が多い場合は、投影モデル上の座標が
どのカメラに映っているかの計算等、膨大な量の演算が
必要となる。

【００１８】

【発明が解決しようとする課題】監視を目的とした監視
カメラ、運転支援を目的とした車載カメラ等が広く普及
するにつれて、より広い視野を持つ映像への要求が高ま
っている。このため、魚眼レンズに代表されるような超
広角レンズを用いた単独のカメラを使用した映像や、複
数のカメラで撮影した映像を合成、変換することで、あ
たかも１台のカメラで撮影したかのような映像の提供が
求められてきている。また、これら、広い視野を持つ映
像から必要な領域のみを抽出、変形して表示したり、仮
想的に設定したカメラからの映像に擬似的に変換して表
示したりするといった用途も見られるようになってきて
いる。

【００１９】このような画像の合成、変換を、上述した
従来技術を適用して行うには、上述したように膨大な演
算量が必要となる。このため、リアルタイムで演算する
には、多大な演算パワーを持つ演算装置が必要となり、
実用的ではない。従って、予め演算を実行して入力画像
と出力画像との対応関係をマッピングテーブルとして記
録しておき、このマッピングテーブルを参照しながらリ
アルタイムで画像を合成、変換する方式が主流となって
いる。

【００２０】マッピングテーブルは、実際のカメラの設
置位置に依存するため、予め算出したマッピングテーブ
ルを使用するには、マッピングテーブルの算出時に使用
したカメラの設置位置と寸分違わずに実際のカメラを設
置する必要がある。しかし、これは、あまり実用的とは
いえない。また、たとえ、寸分違わずにカメラを設置し
たとしても、使用している最中に何らかの要因によって
カメラの設置位置がずれてしまった場合は、カメラを完
全に元の設置位置に戻さなければならず、これも実用的
ではない。

【００２１】このように、実際のカメラの設置位置を物
理的に調整することは実用的でないため、カメラ設置後
にマッピングテーブルを算出するのが好ましいといえ
る。しかし、マッピングテーブルを画像合成変換装置内
部で算出する場合、膨大な演算を実施できる高性能な演
算装置が必要となる。しかしながら、マッピングテーブ
ルを算出してしまった後は、高性能な演算装置は、普段
使用することがないため、これも実用的でないといえ
る。

【００２２】また、外部の高性能演算装置でマッピング
テーブルを算出する場合、算出したマッピングテーブル
を外部から画像合成装置内部へ転送する必要がある。例
えば、画像合成、変換装置が車両等の機器内部に設置さ
れた場合、マッピングテーブルを転送するために普段使
用することのない専用インタフェースを機器の外部に設
置することは実用的でない。

【００２３】このため、予め設定されている外部インタ
フェースを持つ機器との兼用が予想される。この場合で
も、マッピングテーブルは（画素数）×（１画素あたり
のマップデータの容量）分のデータ転送が必要となり、
高速な転送環境が必要となる。現在、車両用のデータ転
送が可能なインタフェースとしてＣＡＮ ＢＵＳがある
が、これは制御データの転送を想定したものであり、マ
ッピングテーブルのような大きなデータを転送すること
を想定したものではなく、これも実用的とは言いがた
い。

【００２４】本発明の目的は、高性能な演算装置を必要
とせずにカメラ設置後にマッピングテーブルを算出する
ことを可能とし、汎用性が高く、かつ、安価で、メンテ
ナンスの容易な画像合成変換装置を提供することにあ
る。

【００２５】

【課題を解決するための手段】上記目的を達成する本発
明の画像合成変換装置は、実画像を撮像する撮像手段か
ら入力される画像を所定の仮想視点からみた仮想画像に
変換して出力する画像変換装置であって、前記実画像上
の画素と前記仮想画像上の画素とをそれぞれ所定の投影
モデル上の点に対応付けて記録し、かつ前記仮想画像上
の画素と前記投影モデル上の点との対応を記録した第１
の記憶手段及び前記仮想画像上の画素と前記実画像上の
画素との対応を記録した第２の記憶手段と、前記撮像手
段と前記仮想視点との位置関係を入力する入力手段と、
前記第１の記憶手段の内容と前記位置関係とに応じて前
記第２の記憶手段の記録内容を書き換える演算手段とを
備えたことを特徴とする。

【００２６】この構成により、能力の高い演算装置を内
蔵することなく、撮像手段の設置後にマッピングテーブ
ルを算出でき、安価な構成により画像合成、変換を行う
ことが可能となる。

【００２７】好適には、前記前記入力手段に替えて、前
記撮像手段の設置位置が予め定められている場合に前記
設置位置から前記位置関係を予測して求める手段を備え
たことを特徴とし、また、前記入力手段に替えて、前記
投影モデル上の点に対する前記撮像手段の相対位置を校
正データとして求め、前記校正データに基づいて前記位
置関係を予測して求める手段を備えたことを特徴とし、
更にまた、前記入力手段に替えて、外部の校正手段によ
り求められた校正データを用いて前記仮想カメラと前記
撮像手段との位置関係を求めることを特徴とする。

【００２８】これにより、画像合成変換装置の設置し易
さが向上し、また、何らかの要因により撮像手段の取付
位置がずれた場合でも、外部の高性能な演算装置を必要
とせずに、マッピングテーブルを作り直すことができ、
メンテナンスが容易となる。更に、校正手段を内蔵する
と、全ての処理を内部処理で完了することができ、撮像
手段の取り付け後の処理を、全て画像合成変換装置単体
で実施可能となる。

【００２９】更に好適には、前記第１の記憶手段は、前
記投影モデル上の点の集合データを予測符号化により圧
縮した形式で記録する記録手段と、前記記録手段により
圧縮して記録されている前記集合データを伸張して元の
形式に戻す伸張手段とを備えたことを特徴とする。この
構成により、必要なメモリ容量を低減でき、且つ、少な
い演算によりデータを伸張することができる。

【００３０】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて、図面を参照して説明する。

【００３１】（第１の実施の形態）図１は、本発明の第
１の実施の形態に係る画像合成変換装置のブロック図で
ある。この画像合成変換装置は、撮像手段１０と、演算
手段２０と、マッピングテーブル参照手段３０と、画像
合成手段４０と、画像出力手段５０とを備えて構成され
る。

【００３２】撮像手段１０は、実画像を撮影するカメラ
１１と、カメラ１１で撮像した映像を記録するフレーム
メモリ１３とを備える。撮像手段１０が備えるカメラは
複数台であってもよく、この実施形態の撮像手段１０は
カメラ１１及びフレームメモリ１３の他に、カメラ１２
とフレームメモリ１４を備える。

【００３３】演算手段２０は、別途入力されるカメラパ
ラメータと、マッピングテーブル参照手段３０により参
照して得られる予め計算された仮想カメラの画素位置に
対応する投影モデル上の３次元位置とから、出力画像の
生成に必要とする入力画像の画素位置を算出する。算出
した結果は、マッピングテーブルとしてマッピングテー
ブル参照手段３０へ記録する。

【００３４】マッピングテーブル参照手段３０は、マッ
ピングテーブルを記録するマッピングテーブル記録手段
３１と、後述するように予め計算された仮想カメラの画
素位置に対応する投影モデル上の３次元位置を記録した
３次元座標記録手段３２とを備える。本実施形態では、
この３次元座標記録手段３２に記録されている投影モデ
ル上の３次元位置のデータと実カメラの設置位置とから
マッピングテーブルを算出し、算出したマッピングテー
ブルをマッピングテーブル記録手段３１に記録する様に
なっている。

【００３５】画像合成手段４０は、マッピングテーブル
参照手段３０を参照して出力画像の画素に対応する入力
画像を撮像手段１０から読み出して、出力画像の画素を
生成する。また、画像出力手段５０は、画像合成手段４
０で生成された画素から出力画像を生成して出力する。

【００３６】次に、上述した画像合成換装置の動作を説
明する。仮想視点の位置が固定であっても、画像合成手
段４０が使用するマッピングテーブルは、撮像手段１０
の設置位置に依存する。このため、撮像手段１０を設置
した後、システムを最初に使う段階で、マッピングテー
ブルを作成する必要がある。以下では、まず最初に、マ
ッピングテーブル作成の手順を説明する。

【００３７】３次元座標記録手段３２には、予め計算さ
れた仮想カメラの画素位置に対応する投影モデル上の３
次元位置が記録されている。投影モデルは、透視変換に
よる不定性を除去するために設定するモデルであり、例
えば、平面や円筒面等で規定できる。

【００３８】図２は、投影モデルとして平面Ａ、平面Ｂ
の２つの平面を設定した例を示す図である。図２の場
合、例えば、出力画像の画素Ｒ１の位置（ｕ１，ｖ１）
に対応する３次元位置として、平面Ａ上の点Ｒ１Ａの座
標（ｘ１ａ，ｙ１ａ，ｚ１ａ）が３次元座標記録手段３
２に記録され、出力画像の画素Ｒ２の位置（ｕ２，ｖ
２）に対応する３次元位置として、平面Ｂ上の点Ｒ２Ｂ
の座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が３次元座標記録手
段３２に記録されている。

【００３９】これらの３次元座標の点は、視線ベクトル
を表す直線と投影モデル面との交点として算出されるた
め、投影モデルが曲面等の多次元の多項式で定義される
場合は、３次元座標を求める演算量は多大なものとな
る。また、図２から明らかなように、投影モデルが複数
の平面や曲面で定義される場合、仮想カメラの画像上の
画素に対応する投影モデル上の候補点が複数存在するた
め、これら複数の候補点も全て視線ベクトルを表す直線
と投影モデル面との交点として算出され、候補点の数だ
け交点を求める演算も必要となる。

【００４０】即ち、図２では、点Ｒ１に対応する候補点
として、平面Ａ上に投影された点Ｒ１Ａと、平面Ｂに投
影された点Ｒ１Ｂとが存在し、これら２つの候補点の中
から、仮想カメラに距離的に近い側の点である点Ｒ１Ａ
を対応点としている。同様に、点Ｒ２に対応する候補点
として、平面Ａに投影された点Ｒ２Ａと、平面Ｂに投影
された点Ｒ２Ｂとが存在し、対応点としては、仮想カメ
ラに距離的に近い側の点である点Ｒ２Ｂを選択してい
る。

【００４１】ここで、複数の候補点の中からどの点を対
応点として選択するかは、モデルの定義に依存する。こ
のような、複数の候補点の中から、１つの候補点へと絞
り込む際にも、例えば、距離計算などの演算が必要とな
る。尚、候補点の算出は、従来例と同様な手順により求
める。

【００４２】図２では、実カメラが１台の場合を示した
が、図３に示す様に、実カメラが複数台の場合も、各々
のカメラに対して同様な処理を適用し、仮想カメラの画
像上の画素に対応する各カメラ上の点を算出する。

【００４３】図３では、仮想カメラ上の３つの画素に対
応する投影モデル面上の点をＲ３ａ、Ｒ３ｂ、Ｒ３ｃと
して示している。３次元座標記録手段３２には、仮想カ
メラ上の各画素に対応する投影モデル上の対応点の３次
元位置としてＲ３ａ、Ｒ３ｂ、Ｒ３ｃの座標が記録され
る。

【００４４】ここで、仮想カメラと実カメラとの位置関
係が予め一定の精度で予測可能な場合、投影モデル上の
対応点がいずれのカメラに対応点を持つかを計算するこ
とが可能である。例えば、監視カメラや車載カメラ等
は、監視対象等を撮像できる位置としてその設置場所が
限られてしまうのが普通であるため、仮想カメラと実カ
メラとの位置関係は予測可能であり、予測した実カメラ
の位置データを、カメラパラメータとして演算手段２０
に入力し、３次元座標記録手段３２の記録データを用い
てマッピングテーブルを作成することができる。

【００４５】また、仮想カメラ上の画素に対応する投影
モデル上の対応点に対する実カメラの画素位置は、周知
の校正手段によって容易に計測することができるため、
この計測データを取り込めば、仮想カメラと実カメラと
の位置関係を設定することができる。尚、後述する第３
の実施の形態として、校正手段を内蔵する例を説明す
る。

【００４６】図３では、点Ｒ３ａは実カメラ１１の画像
上のみに対応点を持ち、点Ｒ３ｃは実際のカメラ１２の
画像上のみに対応点を持つ。また、点Ｒ３ｂは、カメラ
１１ならびにカメラ１２の何れの画像上にも対応点を持
つ。

【００４７】このような状況においては、カメラ１２に
対して点Ｒ３ａの対応点を求めたり、カメラ１１に対し
て点Ｒ３ｃの対応点を求める演算を実施することは無駄
である。従って、例えば、３次元座標記録手段３２に、
仮想カメラの画像上の画素に対応する３次元座標ととも
に、画面上に対応する画素が存在するカメラの識別符号
を記録することで、全く対応する画素の存在する可能性
のない実カメラに対しては、無用な演算を実施しないよ
うにして、マッピングテーブルの作成に要する演算量を
低減することができる。

【００４８】また、カメラの識別符号に加えて、複数の
カメラの画素から出力画像の画素を算出する際に必要と
なる各カメラの必要度も予め算出することができるた
め、必要度も同時に記録することが可能である。これに
より、必要度の演算も省略できる。各カメラの必要度
は、例えば、投影モデル面上の３次元位置から、各実カ
メラまでの距離の逆数の比を正規化するなどして求める
ことができる。必要度の意味については、画像合成手段
４０の動作説明において説明する。

【００４９】このように、本実施形態の画像合成変換装
置では、仮想カメラ上の画素に対応する投影モデル上の
対応点の３次元位置を予め算出して３次元座標記録手段
３２に記録しておくことにより、演算手段２０は、３次
元座標記録手段３２に記録されている３次元位置を求め
るために必要とする膨大な量の演算を実施する必要がな
くなり、実カメラの設置位置がずれた場合にも３次元座
標記録手段３２のデータを使用して、高速に、新たな実
カメラ設置位置に対応したマッピングテーブルを算出す
ることが可能となる。

【００５０】演算手段２０は、３次元座標記録手段３２
を参照して得られる仮想カメラの画素位置に対応する３
次元座標と、別途入力される実カメラのカメラパラメー
タとを基に、仮想カメラの画素位置に対応する実カメラ
上の画素位置を算出する。図２の場合、前述したよう
に、３次元座標記録手段３２には、例えば、出力画像の
画素Ｒ１の位置（ｕ１，ｖ１）に対応する３次元位置と
して、平面Ａの点Ｒ１Ａの座標（ｘ１ａ，ｙ１ａ，ｚ１
ａ）が、出力画像の画素Ｒ２の位置（ｕ２，ｖ２）に対
応する３次元位置として、平面Ｂ上の点Ｒ２Ｂの座標
（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）が記録されている。

【００５１】透視変換によりこれらの点が実カメラ上に
投影される点を計算すると、点Ｒ１Ａは点Ｉ１（Ｕ１，
Ｖ１）に、点Ｒ２Ｂは点Ｉ２（Ｕ２，Ｖ２）にそれぞれ
投影される。演算手段２０は、この結果から、マッピン
グテーブルを作成し、マッピングテーブル記録手段３１
へ格納する。

【００５２】複数の実カメラが存在し、仮想カメラと実
カメラとの位置関係が予め一定の精度で予測可能で、か
つ、３次元座標記録手段３２に仮想カメラの画像上の画
素に対応する３次元座標と共に、画面上に対応する画素
が存在するカメラの識別符号が記録されている場合、演
算手段２０は、識別符号が記録されているカメラに対し
てのみ、対応する画素位置を計算する。

【００５３】マッピングテーブル記録手段３１は、演算
手段２０で計算された仮想カメラ上の画素と実カメラ上
の画素との対応関係を示すマッピングテーブルを記録す
る。図９は、このマッピングテーブルの説明図である。
マッピングテーブル記録手段３１は、仮想カメラの画素
座標位置（ｕ，ｖ）と投影モデル上の座標（ｘ，ｙ，
ｚ）との関係を記憶した第１の記憶手段を備え、演算手
段２０は、投影モデル上の座標と実カメラの画素座標位
置（Ｕ，Ｖ）との関係をこの第１の記憶手段の記憶内容
に基づき算出し、仮想カメラの画素座標位置（ｕ，ｖ）
と実カメラの画素座標位置（Ｕ，Ｖ）との関係を作成し
てこれを第２の記憶手段にマッピングテーブルとして記
憶する。このマッピングテーブルには、必要に応じて、
実カメラの識別子（図９中に“Ｃ１”として例示）と、
複数のカメラが対応する場合の各カメラの必要度とが記
録される。

【００５４】次に、上述したようにして演算手段２０が
３次元座標記録手段３２の記録データを用いてマッピン
グテーブルを作成し、マッピングテーブル記録手段３１
に記録した後の動作を説明する。

【００５５】撮像手段１０では、カメラ１１とカメラ１
２とにより撮像した画像をそれぞれフレームメモリ１
３、１４へ記録する。マッピングテーブル参照手段３０
は、マッピングテーブル記録手段３１に記録されている
マッピングテーブルを参照して、画像合成手段４０が生
成する出力画像の画素位置を、その画素に対応する入力
画像の画素位置へと変換する。出力画像の１つの画素位
置が、入力画像の複数の画素位置に対応する場合は、そ
れらの画素の必要度もマッピングテーブルから読み出
す。

【００５６】画像合成手段４０では、マッピングテーブ
ル参照手段３０を参照し、生成する出力画像の画素に対
応する入力画像の画素を撮像手段１０から読み出す。出
力画像の画素が１つの入力画像の画素のみに対応する場
合は、入力画素の値を画像出力手段５０へと出力する。
また、対応する画素が存在しない場合は、予め定めた値
を画像出力手段５０へと出力する。

【００５７】出力画像の１つの画素位置が、入力画像の
複数の画素位置に対応する場合は、入力画像の画素位置
と同時に参照した各画素の必要度に応じて、それらの画
素値を合成する。単純には、必要度の逆比に応じて加算
し、出力画像の画素値とする。画像出力手段５０は、画
像合成手段４０で生成された出力画像の画素から出力画
像を生成し、出力する。

【００５８】このように、本実施形態の画像合成変換装
置では、マッピングテーブル作成処理において予め３次
元座標記録手段に記録されているデータを利用するた
め、３次元位置を求めるために必要な膨大な量の演算を
マッピングテーブル作成時に実施する必要がなくなり、
透視投影変換と歪み補正演算のみを実施するだけで済
む。

【００５９】このため、演算手段２０が高性能な演算能
力を持たない場合であっても、撮像手段１０の設置後に
マッピングテーブルを高速に生成することが可能とな
る。これにより、汎用性が高く、かつ、安価で、メンテ
ナンスの容易な画像合成変換装置を得ることが可能とな
る。

【００６０】（第２の実施の形態）図４は、本発明の第
２の実施の形態に係る画像合成変換装置で用いる３次元
座標記録手段のブロック図である。この実施形態の画像
合成変換装置の全体構成とその動作については、第１の
実施の形態と同様であるのでその図示及び説明は省略
し、図４に示す第２の実施の形態に係る特徴部分につい
てのみ説明する。

【００６１】図４に示す３次元座標記録手段３２は、予
め計算された仮想カメラの画素位置に対応する投影モデ
ル上の３次元位置をデータ圧縮した形式で記録する記録
手段３４と、記録手段３４にデータ圧縮された形式で記
録されている３次元位置を伸張して元のデータに復元す
る伸張手段３３とから構成される。

【００６２】斯かる構成の３次元座標記録手段３２に対
して、以下、その動作を説明する。記録手段３４は、予
め計算された仮想カメラの画素位置に対応する投影モデ
ル上の３次元位置を、予測符号化によりデータ圧縮した
形式で記録する。投影モデルは、一般に平面や、曲面等
の滑らかな面の集まりとして定義され、３次元位置はこ
の投影モデル面と仮想カメラの視線を表す直線との交点
として表され、仮想カメラの画面上の画素は規則正しく
並んでいる。

【００６３】従って、３次元位置も投影モデル面上を比
較的規則正しく変化することになる。このため、予測符
号化により効率の良いデータ圧縮が可能となる。例え
ば、図５に示すように、３次元位置の各成分を１つ前と
の差分を予測値とし、予測値と３次元位置の各成分との
差分（予測誤差）を圧縮データとするなどの簡単な圧縮
方法により高い圧縮率を達成できる。図５は一次元を例
示するものであるが、容易に３次元に拡張可能である。
また、予測符号化は、予測値と予測誤差との加算によっ
て元のデータを復元できるため、伸張に要する演算量は
限られたものとなり、高速に伸張処理ができる。

【００６４】伸張手段３３は、記録手段３４に圧縮され
た形式で記録された３次元位置のデータを伸張して元の
データに復元する。このとき、先に示したように、予測
符号化を伸張する伸張手段３３には、高い演算能力が必
要とされない。

【００６５】このように、上記の構成にすることで、本
実施形態では、高い演算能力を必要とせず、且つ、少な
いメモリ容量でマッピングテーブルを作成するためのデ
ータを記録できるという利点がある。このことは、画像
合成変換装置を使用中に何らかの要因によって、マッピ
ングテーブルを作り直す必要が生じた際に備えて、マッ
ピングテーブルを作成した後も、仮想カメラの画素位置
に対応する投影モデル上の３次元位置のデータを保持し
続ける時にも有利となる。

【００６６】（第３の実施の形態）図６は、本発明の第
３の実施の形態に係る画像合成変換装置のブロック図で
ある。この実施形態に係る画像合成変換装置は、撮像手
段１０と、演算手段２０と、マッピングテーブル参照手
段３０と、画像合成手段４０と、画像出力手段５０と、
校正手段６０とを備えて構成される。マッピングテーブ
ル参照手段３０の構成は、第１の実施の形態または第２
の実施の形態に係る画像合成変換装置と同様である。

【００６７】校正手段６０は、撮像手段１０で撮影され
た画面内の既知の世界座標上のポイントと、画面上の画
素位置とを対応付けることで、撮像手段１０の校正デー
タを生成し、カメラパラメータとして演算手段２０に出
力する。

【００６８】演算手段２０は、校正手段６０で算出され
たカメラパラメータと、マッピングテーブル参照手段３
０により参照して得られる予め計算された仮想カメラの
画素位置に対応する投影モデル上の３次元位置とから、
出力画像の生成に必要とする入力画像の画素位置を算出
する。算出した結果は、マッピングテーブルとしてマッ
ピングテーブル参照手段３０へ記録する。

【００６９】画像合成手段４０は、マッピングテーブル
参照手段３０を参照して出力画像の画素に対応する入力
画像を撮像手段１０から読み出して出力画像の画素を生
成し、画像出力手段５０は、画像合成手段４０で生成さ
れた画素から出力画像を生成して出力する。

【００７０】上述した構成の画像合成換装置の基本的動
作は、第１の実施の形態と同様であるのでその説明は省
略し、第１の実施形態に比べて異なる校正手段６０の動
作についてのみ説明する。

【００７１】図７は、校正手段６０のブロック構成図で
ある。この校正手段６０は、例えば、入力画像に位置合
わせのためのマークを重畳するマーク重畳手段６３と、
マークが重畳された画像を表示するモニタ６４と、マー
クの表示位置を指示するコントローラ６１と、マークの
位置と、既知の世界座標上のポイントの座標とからカメ
ラパラメータを算出する校正演算手段６２とから構成さ
れる。

【００７２】図８は、図７のモニタ６４の表示画面遷移
例を示す図である。モニタ６４には、マーク重畳手段６
３により位置合わせ用のマークＡ、Ｂが入力画像に重畳
表示される。位置合わせ用のマークＡ、Ｂの表示位置
は、コントローラ６１により制御され、コントローラ６
１からは、表示位置がマーク重畳手段６３へと通知され
る。図示する例では、複数の位置合わせ用マークＡ、Ｂ
が存在するため、マークＡ、Ｂの夫々の番号も同時に通
知される。

【００７３】入力画像内には、世界座標上の座標が既知
である位置合わせ用ターゲットＣが写してある。このと
き、図８の位置合わせ前のモニタ表示（上段）の様に、
マークＡ、ＢとターゲットＣとがずれて表示された場
合、コントローラ６１の操作により位置合わせ用マーク
Ａ、Ｂの表示位置を移動して位置あわせ用ターゲットＣ
の所定のポイントと一致させ、図８の下段に示すモニタ
表示の状態とする。

【００７４】図８の下段に示す状態において、コントロ
ーラ６１から校正演算手段６２へと、マーク合わせが終
了したことを通知するとともに、そのときのマークＡ、
Ｂの表示位置も通知する。校正演算手段６２では、コン
トローラ６１から通知されるマークＡ、Ｂの位置と、世
界座標上の既知の座標との対応関係から、入力画像を撮
像した撮像手段１０の校正を実施し、その結果得られる
カメラパラメータを演算手段２０に出力する。

【００７５】なお、図８の例では、位置合わせに必要な
点数を２点としたが、この位置合わせに必要な点数は、
撮像手段１０の校正で求める必要のある変数の個数に依
存する。

【００７６】以上のように、本実施形態によれば、撮像
手段の設置後の処理を全て画像合成変換装置単体で実施
することが可能となる。これにより、撮像手段の設置位
置が制限されることがなくなり、撮像手段の設置が容易
となる。また、何らかの要因により撮像手段の取り付け
位置がずれた場合でも、外部の高性能演算装置を必要と
せずに、マッピングテーブルを作り直すことができるた
め、メンテナンスのし易さも向上する。

【００７７】

【発明の効果】本発明によれば、能力の高い演算装置を
内蔵することなく、撮像手段の設置後にマッピングテー
ブルを算出できるため、安価な構成により画像合成、変
換を実現可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像合成変換
装置のブロック図

【図２】本発明の第１の実施の形態に係る画像合成変換
装置で用いる投影モデルによる視点変換説明図

【図３】本発明の第１の実施の形態に係る画像合成変換
装置で用いるマッピングテーブルにおける仮想カメラと
実カメラとの対応説明図

【図４】本発明の第２の実施の形態に係る画像合成変換
装置で用いる３次元座標記録手段のブロック図

【図５】本発明の第２の実施の形態に係る画像合成変換
装置で用いる予測符号化の説明図

【図６】本発明の第３の実施の形態に係る画像合成変換
装置のブロック図

【図７】本発明の第３の実施の形態に係る画像合成変換
装置で用いる校正手段のブロック図

【図８】本発明の第３の実施の形態に係る画像合成変換
装置で用いる校正手段のモニタ表示例を示す図

【図９】本発明の第１の実施の形態に係る画像合成変換
装置で用いるマッピングテーブル説明図

【図１０】従来の画像合成装置のブロック図

【図１１】従来の仮想カメラのカメラ座標、実カメラの
カメラ座標、世界座標の関係図

【図１２】従来の透視投影の説明図

【符号の説明】

１０ 撮像手段 １１、１２ カメラ １３、１４ フレームメモリ ２０ 演算手段 ３０ マッピングテーブル参照手段 ３１ マッピングテーブル記録手段 ３２ ３次元座標記録手段 ３３ 伸張手段 ３４ 圧縮手段 ４０ 画像合成手段 ５０ 画像出力手段 ６０ 校正手段 ６１ コントローラ ６２ 校正演算手段 ６３ マーク重畳手段 ６４ モニタ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA07 AA09 BA10 CA07 DA07 EA10 EA13 EA19 FA02 5B057 AA16 AA19 BA02 BA24 CA12 CA16 CB12 CB16 CD11 CD14 CE10 CG03 CH07 DA07 DB02 DC33 DC36 5C054 CC05 EG00 FD03 HA00

Claims (5)

【特許請求の範囲】
1. 【請求項１】 実画像を撮像する撮像手段から入力され
   る画像を所定の仮想視点からみた仮想画像に変換して出
   力する画像変換装置であって、前記実画像上の画素と前
   記仮想画像上の画素とをそれぞれ所定の投影モデル上の
   点に対応付けて記録し、かつ前記仮想画像上の画素と前
   記投影モデル上の点との対応を記録した第１の記憶手段
   及び前記仮想画像上の画素と前記実画像上の画素との対
   応を記録した第２の記憶手段と、前記撮像手段と前記仮
   想視点との位置関係を入力する入力手段と、前記第１の
   記憶手段の内容と前記位置関係とに応じて前記第２の記
   憶手段の記録内容を書き換える演算手段とを備えたこと
   を特徴とする画像変換装置。
2. 【請求項２】 前記入力手段に替えて、前記撮像手段の
   設置位置が予め定められている場合に前記設置位置から
   前記位置関係を予測して求める手段を備えたことを特徴
   とする請求項１に記載の画像変換装置。
3. 【請求項３】 前記入力手段に替えて、前記投影モデル
   上の点に対する前記撮像手段の相対位置を校正データと
   して求め、前記校正データに基づいて前記位置関係を予
   測して求める手段を備えたことを特徴とする請求項１に
   記載の画像変換装置。
4. 【請求項４】 前記入力手段に替えて、外部の校正手段
   により求められた校正データを用いて前記仮想カメラと
   前記撮像手段との位置関係を求めることを特徴とする請
   求項１に記載の画像変換装置。
5. 【請求項５】 前記第１の記憶手段は、前記投影モデル
   上の点の集合データを予測符号化により圧縮した形式で
   記録する記録手段と、前記記録手段により圧縮して記録
   されている前記集合データを伸張して元の形式に戻す伸
   張手段とを備えたことを特徴とする請求項１乃至請求項
   ４のいずれかに記載の画像変換装置。