JP2002135765A - カメラキャリブレーション指示装置及びカメラキャリブレーション装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来のカメラキャリブレーション装置は、
カメラの温度環境の変化にて対して対処できていない。 【解決手段】 少なくとも一台のカメラ１０１と、温度
を測定する温度センサ１１０と、温度センサ１１０が測
定した温度に基づいて、カメラ特性を示すカメラパラメ
ータを決定するキャリブレーション手段１０２と、カメ
ラパラメータを格納するカメラパラメータテーブル１０
３と、温度の変化に応じて変化するカメラパラメータの
変化量を格納した温度補正テーブル１１１とを有し、キ
ャリブレーション手段１０２は、温度の変化に応じて、
温度補正テーブル１１１を参照して、カメラパラメータ
を変更するカメラキャリブレーション装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば店舗におけ
るモニター装置、あるいは車両運転の際の安全確認の補
助としての車両周囲モニター装置等に用いられるカメラ
キャリブレーション指示装置及びカメラキャリブレーシ
ョン装置に関するものである。

【０００２】

【従来の技術】従来の一般的な監視カメラ装置は、店舗
などにおいて、監視対象となる部分を１台もしくは数台
のカメラで撮影し、その画像をモニタ画面に表示する構
成が一般的である。この際、例えば数台のカメラが設置
してあれば、通常モニタ画面も前記カメラ台数分だけ準
備するが、モニタ画面の台数がカメラの台数分だけ準備
できない場合は、分割装置等を用いて、前記数台のカメ
ラ画像を１枚分の画像に統合して表示させる、もしく
は、カメラ画像を順次切り替えるなどの方法が取られ
る。しかし、これら従来の装置では、それぞれのカメラ
からの画像を監視するには、独立に表示されている画像
の連続性を管理者が考慮する必要があるなどの問題があ
った。

【０００３】この問題を解決する方法として、複数台カ
メラからの画像が端の部分で重なるように設置し、複数
台カメラからの画像を、前記重なり部分を重ねることに
よって一枚に統合した画像を表示することで、前記連続
性の問題を解決した監視装置としては、例えば特開平１
０−１６４５６６号公報などがある。

【０００４】また、監視装置の別の応用例として、車両
に設置した場合がある。その従来例としては次のような
ものがある。つまり、車両の周囲を監視するカメラを設
置し、前記カメラで獲得した画像を運転席近くに設置し
たモニターテレビに表示させる監視装置である。例えば
車両後方のように、運転者が目視もしくはミラーで見る
ことが出来ない場所を、前記カメラで撮影し前記モニタ
ーテレビで表示させる装置が知られている。特に、大型
トラック、ワンボックスワゴンなど、目視およびミラー
で確認できる視野が狭い車両には多数使用されている。

【０００５】図７０は、監視カメラを車両に設置した場
合の従来例を示したものである。図７０の例では、分割
アダプタを介して、車体に取付けられた４つの監視カメ
ラ（Ｃ１〜Ｃ４）からの画像を一枚の画像に合成し、該
画像をモニタテレビで分割表示 （Ｄ１〜Ｄ４）する方
法である。特に後部カメラからの画像に関しては、画像
に撮っている物体の位置関係をミラーで見たときと同じ
様にするため、左右反転した画像を表示するなどの工夫
がされている。さらにカメラの画角の制限のため見るこ
とが出来ない場所については、運転者の手動操作によっ
て各々のカメラを回転させ、所望の場所の画像を得るこ
とを可能としている。なお、上記に示した監視装置とし
ては、例えば特開平５−３１００７８号公報に開示の装
置などがある。

【０００６】しかしながら上記の例のような従来の監視
装置については、各々のカメラから入力された画像を、
互いに無関係に表示するので、カメラが撮影している空
間全体の様子を、それぞれの画像を見ながら管理者が一
度に把握することは困難である。

【０００７】一方それぞれのカメラ画像を一枚に統合す
る場合も、カメラに撮影されている物体が空間内のどの
位置に存在するかを計算するものではないので、例えば
管理者が状況に応じて所望の視点からの統合画像を見た
いという要求があった場合に、対処できない。

【０００８】車両に設置された監視装置についても同様
の問題が生じる。すなわち上記の例のように従来の監視
装置については、各々のカメラから入力された画像を、
互いに無関係に表示させるものである。従って例えば車
両を駐車スペースに入れようとする場合の補助として前
記表示された画像を用いる際にも、前記画像は見えない
場所を見るだけの役割しか果たさない。つまり運転者
は、従来の目視およびミラーを使った場合と比べて見え
ない場所が少なくなっただけにすぎない。

【０００９】なお、視野が狭い点を解決するための方法
としては、広角レンズを用いる事が一般的である。広角
レンズからの画像ではある特定部分の詳細はつかめない
が、逆に広角レンズを用いる事で視野が広まり、車両の
周囲の全体的な状況を把握し易くなる。

【００１０】しかしながら、通常のレンズを広角レンズ
に置き換えるのみでは、結局、カメラからの画像は、車
体にカメラが設置されている場所に依存し、カメラが設
置されていない場所からの仮想的な画像を見ることはで
きない。すなわち、広角レンズ設置したカメラを用いて
得られる効果は、カメラの台数が減るという点のみであ
る。

【００１１】さらに、別の従来例として、特開平３−９
９９５２号公報に開示されている装置がある。図７１
は、その従来の車両周囲監視装置の実施の形態を示した
ブロック図である。画像変換部2202 に入力されたカメ
ラ１〜Ｎ2201 からの画像が、変換により他の座標に変
換され、画像表示部2203 で１枚の画像に合成される。
そして運転席に設置されたＴＶモニタ2204に表示する。
画像表示部では、ギア位置、車速、ウインカ動作に応じ
た信号により、自車表示位置を画面の中心よりずらすな
どし、見ようとする車両周囲環境領域を広くとるように
するなどの工夫も可能である。

【００１２】また、これをさらに発展させた他の従来例
が特開平７−１８６８３３号公報に開示されている。こ
の例では、周囲の状況を運転者に提示する際に、路面部
分とそれ以外の部分を予め区別し、路面部分は座標変換
によって車両中心上方に下向きに視点を置いたときに観
測される画像に変換し、また路面外部分は、前記変換画
像にカメラからの映像をそのまま適切な場所で適切な大
きさに変更して重ねあわせ表示する。これにより車両の
周囲の障害物の状況、特に車両後方から接近する他の車
両などを正確に知らせるものである。

【００１３】

【発明が解決しようとする課題】しかしながら、上記別
の従来の車両周囲監視装置においては、走行中にカメラ
が動いてしまい、合成画像にずれが生じるという問題が
あるが、それを解決する従来例としては、例えば特開平
５−３１００７８号公報に開示されている方法がある。
該方法では、カメラの向きを変更する機構を備えること
により、運転者が合成画面を見ながら、手で所望の向き
にカメラを動かす方法である。しかし、この場合の問題
は、向きを変更する機構をカメラの台数と同じ数だけ取
付ける必要があり、コストが高くなる点である。

【００１４】本発明は、かかる課題を解決するものであ
り、前記合成のために必要な、カメラの取り付け位置、
取り付け角度などのカメラパラメータを容易に求め、さ
らには、前記カメラパラメータが、走行時の振動や温度
などによってずれたときに、それを検知し修正する装置
を提供する。

【００１５】

【課題を解決するための手段】本発明は、 カメラのキ
ャリブレーションを行った日時又は走行距離を記録する
補正履歴記録手段と、前記補正履歴記録手段を参照し、
前回のキャリブレーションの日時から一定以上の日時が
経過したとき、又は、前回のキャリブレーションから一
定以上の距離を走行したとき、運転者にカメラキャリブ
レーションを実施するよう指示するカメラ補正指示手段
とを備え、カメラキャリブレーションの必要性を適切に
指示することを特徴とするカメラキャリブレーション指
示装置である。

【００１６】また、本発明は、少なくとも一台のカメラ
と、温度を測定する温度センサと、前記温度センサが測
定した温度に基づいて、カメラ特性を示すカメラパラメ
ータを決定するキャリブレーション手段と、を備えたこ
とを特徴とするカメラキャリブレーション装置である。

【００１７】また、本発明は、前記カメラパラメータを
格納するカメラパラメータテーブルと、温度の変化に応
じて変化する前記カメラパラメータの変化量を格納した
温度補正テーブルとを有し、前記キャリブレーション手
段が、温度の変化に応じて、前記温度補正テーブルを参
照して、前記カメラパラメータを変更することを特徴と
するカメラキャリブレーション装置である。

【００１８】また、本発明は、少なくとも一台のカメラ
と、前記カメラが位置づけられた３次元空間における座
標値が既知の複数個の特徴点を、前記カメラの視野内に
生成する特徴点生成手段と、前記複数個の特徴点を抽出
する特徴点抽出手段と、前記抽出された複数個の特徴点
を用いて、前記カメラの特性を表すカメラパラメータを
計算するキャリブレーション手段とを備えたことを特徴
とするカメラキャリブレーション装置である。

【００１９】また、本発明は、前記特徴点生成手段が、
前記カメラの視野内に、前記特徴点としてのパターン光
を照射する機能を有することを特徴とするカメラキャリ
ブレーション装置である。

【００２０】

【発明の実施の形態】以下、図を用いて本発明の一実施
の形態を説明する。なお本実施の形態においては、車両
の周囲を監視するカメラを設置し、前記カメラで獲得し
た画像を運転席近くに設置したモニターテレビに表示さ
せる画像生成装置を対象として説明する。

【００２１】図１は本実施の形態の一例を示したブロッ
ク図である。

【００２２】本実施の形態は、構成例として、監視対象
領域の状況を把握するために取付けられた複数台のカメ
ラ101 、前記カメラの特性を示すカメラパラメータを格
納しておくカメラパラメータテーブル103 、カメラパラ
メータに基づいて、前記カメラからの入力画像を３次元
空間の空間モデルにマッピングした空間データを作成す
る空間再構成手段104 、空間再構成手段104 にて作成さ
れた空間データを一時的に格納する空間データバッファ
105 、空間データを参照して、任意の視点から見た画像
を作成する視点変換手段106 、視点変換手段106 にて変
換された画像を表示する表示手段107からなる。

【００２３】図２は本実施の形態の一例を示したブロッ
ク図である。

【００２４】図２の例では、図１に示した画像生成装置
に対して、さらに、カメラの取り付け位置、カメラの取
り付け角度、カメラのレンズ歪み補正値、カメラのレン
ズの焦点距離などといった、前記カメラ特性を表すカメ
ラパラメータを、入力もしくは計算によって得るキャリ
ブレーション手段102 、前記カメラの視野内に３次元座
標の同定が可能な複数個の点を生成する特徴点生成手段
109 とそれらの特徴点を抽出する特徴点抽出手段108と
を付加し、各々のにカメラについて、その特性を示 す
カメラパラメータを容易に得ることを可能としている。

【００２５】特徴点生成手段109 および特徴点抽出手段
108の振る舞いによってカメラパラメータを得るための
方法についての詳細は後述する。

【００２６】図３は本実施の形態の一例を示したブロッ
ク図である。図３の例では、図１に示した画像生成装置
に対して、更に温度センサ110、温度補 正テーブル111
を設置することにより、気温上昇・下降にともなって微
妙に変化するレンズ歪みを補正し、レンズを常に最適に
保つことが可能となる。キャリブレーション手段102に
おいて温度によるレンズ歪みの補正を行う方法について
の詳細は後述する。

【００２７】図４は本実施の形態の一例を示したブロッ
ク図である。図４は車両への応用例としての画像生成装
置の構成例で、図１に示した画像生成装置に対して、さ
らに車両の移動方向を検出する移動方向検出手段112
と、車両の単位時間における移動距離を検出する移動距
離検出手段113 と、車両の移動方向および移動距離を用
いて、前記空間データバッファ105 に格納された空間デ
ータを変換する空間データ変換手段114 とを付加してい
る。

【００２８】これらの手段を用いることにより、現在見
えていない場所について、以前に見えており、かつ、そ
の見えていた画像が空間データとして空間データバッフ
ァ105 に格納されていれば、その空間データを本実施の
形態を構成する空間データ変換手段114 で変換すること
によって補うことができる。補うための方法についての
詳細は後述する。

【００２９】図５は本実施の形態の車両への応用例とし
ての画像生成装置で、その構成例を示したブロック図で
ある。

【００３０】図５の画像生成装置の例では、図１に示し
た画像生成装置に対して、さらにカメラのキャリブレー
ションが必要な状況を検知した場合に、運転者にカメラ
キャリブレーションの指示を行うカメラ補正指示手段11
6 と、カメラキャリブレーションを行った日時および走
行距離を記録する補正履歴記録手段115 を付加してい
る。これらの手段を用いることにより、カメラの特性を
示すカメラパラメータの補正、すなわちカメラキャリブ
レーションを実施しなければならない状況を検知し、そ
の旨を運転者に提示する。

【００３１】図６は、図１〜図５を統合した画像生成装
置を示したブロック図であり、図１から図５の画像生成
装置を一つにまとめた場合の構成例で、それぞれの構成
で得られる効果を統合して利用することが可能である。
本実施の形態の最後で、本図６の構成例を用いて、本実
施の形態による画像生成装置の動作例を示す。

【００３２】次に、上記装置を構成する各構成要素につ
いての詳細を説明する。

【００３３】カメラは、車両の周囲の状況など、監視す
べき空間の画像を撮り込むテレビカメラである。このカ
メラは、大きな視野を得ることができるよう、通常、画
角が大きいものを使うのが良い。図７は、車両へのカメ
ラの取り付け例を示した概念図である。

【００３４】図７では、車両の屋根に、車両から周囲を
見渡すようにカメラが６台設置されている例を示してい
る。図７の例のように、車両への取り付け位置として
は、車体屋根と側面もしくは屋根と後面の境界部分にす
ると、視野が広くなりカメラの台数も少数で済む。

【００３５】本実施の形態によるキャリブレーション手
段102 は、カメラキャリブレーションを行う。カメラキ
ャリブレーションとは、３次元実世界に配置されたカメ
ラについての、その３次元実世界における、カメラの取
り付け位置、カメラの取り付け角度、カメラのレンズ歪
み補正値、カメラのレンズの焦点距離などといった、前
記カメラ特性を表すカメラパラメータを決定、補正する
ことである。

【００３６】本実施の形態によるカメラパラメータテー
ブル103 は、キャリブレーション手段102 (処理の詳細
は後述)によって得られたカメラパラメータを格納する
テーブルである。

【００３７】まず該カメラパラメータテーブル103 の詳
細な説明の準備として、３次元空間座標系を定義する。
前出の図７は、車両にカメラを設置した様子を示した概
念図であるが、図７において車両を中心とする３次元空
間座標系を示している。図７の例では３次元空間座標系
の例として、 ・車両の後面直下にある後面に平行な路面上の直線をＸ
軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ
軸 とする３次元空間座標系を定義し、また本座標系におい
てカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ として、該α、βを用いて表すものとする。以下、特に
ことわりがない限り、３次元空間座標系もしくはワール
ド座標系もしくは単に３次元空間は、本定義による３次
元空間座標系を指すものとする。

【００３８】図９は、カメラパラメータテーブル103 に
格納されているデータを表形式で示したものである。図
９に記載されている内容は、テーブルの左側の列から順
に以下の通りで、下記のごとく本テーブルでは、２列目
から９列目までの項目がカメラパラメータの例を示して
いる。

【００３９】１列目：図７の車載カメラの番号 ２列目：３次元空間座標系におけるカメラ位置のＸ座標 ３列目：３次元空間座標系におけるカメラ位置のＹ座標 ４列目：３次元空間座標系におけるカメラ位置のＺ座標 ５列目：カメラの向きのうちＹ−Ｚ平面に対してなす角
度α ６列目：カメラの向きのうちＸ−Ｚ平面に対してなす角
度β ７列目：３次元空間座標系におけるカメラの焦点距離 ８列目：レンズの半径方向の歪み係数κ１ ９列目：レンズの半径方向の歪み係数κ２ 例えば、図７におけるカメラ１のパラメータは図９のカ
メラパラメータテーブル103 の２行目に記載されてお
り、その内容は、カメラ１は、座標(x1、y1、０)の位置
にあり、向きはＹ−Ｚ平面に対して４５度、Ｘ−Ｚ平面
に対して−３０度の角度をなし、焦点距離はf1、レンズ
歪み係数κ１、κ２はともに０である、ということが分
かる。

【００４０】同様に、仮想カメラのパラメータは図９の
カメラパラメータテーブル103 の８行目に記載されてお
り、その内容は、仮想カメラとは、座標(０、y1、０)の
位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平
面に対して−２０度の角度をなし、焦点距離はf、レン
ズ歪み係数κ１、κ２はともに０である、ということが
分かる。

【００４１】この仮想カメラは、本実施の形態に導入さ
れる概念である。すなわち従来の画像生成装置では、実
際に設置されているカメラから得られた画像のみしか表
示できなかったが、本画像生成装置では、後で詳述する
空間再構成手段104 、視点変換手段106 により、仮想の
カメラを自由に設置し、その仮想カメラからの画像を計
算によって求めることが可能となる。該計算方法につい
ても後で詳述する。

【００４２】本実施の形態によるキャリブレーション手
段102 は、カメラキャリブレーションを行う。それはす
なわち前記カメラパラメータを決定することであり、そ
の決定方法としては、例えばキーボードやマウスなどの
入力装置によって全てのデータを人手で直接入力する方
法、キャリブレーションデータのいくつかを計算によっ
て求める方法などがある。

【００４３】カメラパラメータとは、ある基準の座標系
におけるカメラの取り付け位置およびカメラの取り付け
角度、カメラのレンズ歪み補正値、カメラのレンズの焦
点距離などといった、前記カメラ特性を表すパラメータ
である。カメラで撮影した画像の特徴点と、前記特徴点
の前記基準座標系内での位置との対応関係が取れている
点の組が多数分かっていれば、前記パラメータを計算に
よって近似的に求めることが可能となる。つまり、カメ
ラパラメータを計算によって求める場合、カメラで撮影
した画像の点と、その点の３次元空間座標系内での位置
との対応関係が取れている点の組が、複数個必要とな
る。その組が最低いくつ必要であるかは、どのような計
算方法を用いるかに依存する。例えば図９の例で用いた
カメラパラメータを計算によって求める方法に関して
は、文献「松山、久野、井宮、"コンピュータビジョ
ン：技術評論と将来展望"、新技術コミュニケーション
ズ、pp.37-53、１９９８年６月」に開示されている。こ
の他にもカメラパラメータを求める技術が、前記文献に
多数開示されているので、ここでは該技術に関する説明
は省略する。

【００４４】しかし、いずれの方法でカメラパラメータ
の計算をする場合においても、前記対応関係の組をどの
ようにして見つけるかが問題となる。本実施の形態で
は、前記対応関係の取れた点の組を自動で作成し、その
組を用いて計算によっていくつかのカメラパラメータを
求める方法について開示していおり、該方法については
後述する。

【００４５】また、前記レンズ歪み係数を用いてカメラ
入力画像に対してレンズ歪み補正を行う場合、通常、多
くの計算が必要になり、実時間処理には向かない。

【００４６】そこで、レンズの歪みの変化は、激しい温
度変化がない限りは起こらないと仮定し、歪み補正前の
画像と、歪み補正後の画像で、それぞれの画素の座標値
の対応関係をあらかじめ計算しておく。そして前記計算
結果をテーブルやマトリクスなどのデータ形式でメモリ
内に保持し、それを用いて歪み補正を行うなどの方法
が、高速な補正処理として有効である。

【００４７】温度などによってレンズ歪みがどのように
変化するかが予め分かっていれば、そのデータは本実施
の形態による温度補正テーブル111 などの形式で持って
おき、気温の上昇や下降によってレンズ歪みに変化が生
じた場合に、キャリブレーション手段102 によって前記
テーブルのデータを参照して補正する。

【００４８】図１０は本実施の形態による温度補正テー
ブル111 の例を表形式で示した図である。図１０に示す
ように、温度補正テーブル111 は、温度に応じて変化す
る前記カメラパラメータの変化量をデータとして格納す
るもので、本例では、温度によって、 ・レンズの焦点距離 (テーブル２列目) ・レンズ歪み係数κ１(テーブル３列目) ・レンズ歪み係数κ２(テーブル４列目) が変わる度合いのデータを格納した場合を示しており、
テーブルの示す具体的な内容は以下の通りである。

【００４９】o 温度が０度以下のとき(テーブル２行目) ・現在のレンズの焦点距離にdf1を加える。 ・現在のレンズ歪み係数にκ11を加える。 ・現在のレンズ歪み係数にκ21を加える。

【００５０】o 温度が４０度以上のとき(テーブル３行
目) ・現在のレンズの焦点距離にdf2を加える。 ・現在のレンズ歪み係数にκ12を加える。 ・現在のレンズ歪み係数にκ22を加える。

【００５１】本実施の形態の一例のキャリブレーション
手段102では、各カメラ毎に温度センサ110 の温度値を
逐次観測し、必要に応じてカメラパラメータテーブル10
3 の内容を更新する。

【００５２】図２３は、キャリブレーション手段102 に
おいて、温度によってカメラパラメータテーブル103 の
更新処理を行う手順をフローチャートの形式で示したも
ので、図２３を用いてその詳細を説明する。

【００５３】但し、本例では図３に示したごとく、カメ
ラ１台について、それに１台の温度センサ110 が対にな
って付随しており、温度センサ110 で検知した温度が、
カメラのレンズ温度とほぼ等しいということを仮定す
る。

【００５４】１．(1301)未チェックの温度センサ110 を
一つ選択し、温度値を取得する。

【００５５】２．(1302)前記温度値がカメラパラメータ
補正を必要とするかどうかを確かめる。

【００５６】図２３の例では、補正が必要な温度は、０
度以下もしくは４０度以上である。

【００５７】３．(1303)もし補正が必要なら、温度補正
テーブル111 からカメラパラメータ補正値を取得し、該
温度センサ110 に付随するカメラのカメラパラメータを
更新した結果を、カメラパラメータテーブル103 に書き
込む。(1304)補正の必要がない場合は、レンズの焦点距
離、歪み係数κ１、歪み係数κ２をすべて初期設定値に
戻した結果を、カメラパラメータテーブル103 に書き込
む。

【００５８】４．(1305)全ての温度センサ110 につい
て、上記１から３までの処理を終了していれば、カメラ
パラメータテーブル103 更新処理を終了する。まだ未チ
ェックの温度センサ110 があれば、該温度センサ110 に
ついて、上記１から３までの処理を実行する。

【００５９】図１１は、図１０の例の温度補正テーブル
111 を用いて書き換えられたカメラパラメータテーブル
103 の例である。図１１の例では、カメラ１、カメラ２
のみが、ある時点に直射日光を受けるなどして４０度以
上の温度となり、それ以外は０度から４０度未満の温度
値を保っている場合を示している。図１１のカメラパラ
メータテーブル103 から分かる通り、カメラ１およびカ
メラ２のカメラパラメータが、温度が４０度以上の場合
の温度補正処理によって、 ・レンズの焦点距離は df1 増加 ・レンズ歪み係数κ１は κ12 増加 ・レンズ歪み係数κ２２ κ22 増加 していることが分かる。なお、前述の仮想カメラに関し
ては、温度によって焦点距離やレンズ歪みが変化しない
理想的なレンズとすることが可能であるので、本補正処
理の対象外とする。

【００６０】また本例では、設置されるカメラのレンズ
がすべて同じ温度補正特性を持つものと仮定した場合を
示しているが、実際には異なる特性を持つレンズが取付
けられている場合もある。そのような場合は、カメラご
とに独立してテーブルを持っておき、温度補正対象とな
るカメラに応じてテーブルを使い分ければ良い。

【００６１】前記カメラのレンズの材料としては、ガラ
スの他にプラスチックを用いることも出来るが、プラス
チックは温度変化に対して変形が激しいのが通常であ
る。しかし、上述したような補正により対応することが
できる。

【００６２】本実施の形態による空間再構成手段104
は、キャリブレーション手段102 によって計算されたカ
メラパラメータに基づいて、前記カメラからの入力画像
を構成する各々の画素を３次元空間の点に対応づけた空
間データを作成する。すなわち、空間再構成手段104 で
は、カメラから撮影された画像に含まれる各々の物体
が、３次元空間のどこに存在するかを計算し、その計算
結果としての空間データを空間データバッファ105 に格
納する。

【００６３】なお、前記カメラからの入力画像を構成す
るそれぞれの画素のすべてを利用して空間データを構成
する必要はない。たとえば入力画像に水平線により上に
位置する領域が写っている場合は、その水平線より上の
領域に含まれる画素を路面にマッピングする必要はな
い。あるいは車体を写している画素をマッピングする必
要もない。また、入力画像が高解像度な場合などは、数
画素毎に飛ばして空間データにマッピングすることによ
り処理を高速化することも考えられる。

【００６４】さて、カメラで撮影された画像を構成する
各々の画素の位置は、一般的にＣＣＤ画像面を含むＵ−
Ｖ平面上の座標として表される。従って、入力画像を構
成する各々の画素をワールド座標系の点に対応づけるた
めには、カメラで撮影された画像の存在するＵ−Ｖ平面
の点をワールド座標系内の点に対応づける計算式を求め
れば良い。

【００６５】図８は、カメラで撮影された画像を含む平
面(以下、視平面)に設定したＵ−Ｖ座標系の点と、３次
元空間座標系の点との対応づけの関係の例を表した概念
図である。図８の例に従うと該対応づけは以下の手順で
行われる。

【００６６】１．視平面が Ｚ＝ｆ(カメラの焦点距離)
で、該平面上にあるカメラ画像の中心をＺ軸が通るよう
な座標系を設定する。これを視平面座標系と呼ぶ(Ｏeを
原点とする)。

【００６７】２．図８における点Ｐeの視平面座標系で
の座標をＰe(Ｘe,Ｙe,Ｚe)とし、その点が視平面に投影
されたときのの点(この点がカメラ撮影画像の一画素に
対応する)の座標をＰv(u,v)とすると、ＰeとＰvの関係
は、カメラの焦点距離ｆを用いて、式(1)式(2)のように
表すことが出来る。

【００６８】

【式１】

【００６９】

【式２】

【００７０】前記２つの式により、視平面上に投影され
た画像の各々の画素について、視平面座標系における座
標を決めることができる。

【００７１】３．視平面座標系とワールド座標系の位置
関係および向き関係を求める。ここでワールド座標系を
中心にして、視平面座標系が空間的に以下のような関係
にあるとする。

【００７２】・視平面座標系原点Ｏeからワールド座標
系原点Ｏwへのベクトルを(ｔx,ｔy,ｔz)とする。つまり
２つの座標系の位置的なずれは、(ｔx,ｔy,ｔz)だけ平
行移動することによって無くなる。

【００７３】・視平面座標系とワールド座標系の向きの
関係は、図７の例における車両を中心とした座標系(ワ
ールド座標系に対応)と、車載カメラ(視平面座標系に対
応)と同じ関係になるようにすると、視平面座標系は、
「ワールド座標系Ｙ−Ｚ平面に対してなす角度がα」 「ワールド座標系Ｘ−Ｚ平面に対してなす角度がβ」と
することができる。但し、ここではカメラのレンズの光
軸周りの回転はないものと仮定している。この場合、あ
る点をワールド座標系でＰw(Ｘw,Ｙw,Ｚw)で表し、ま
た、視平面座標系Ｐe(Ｘe,Ｙe,Ｚe)で表すとすると、Ｐ
e(Ｘe,Ｙe,Ｚe)、Ｐw(Ｘw,Ｙw,Ｚw)、(ｔx,ｔy,ｔz)、
α、β の間には式(3)の関係が成り立つ。

【００７４】

【式３】

【００７５】以上で、視平面上での画素Ｐv(u,v)と、ワ
ールド座標系での座標Ｐw(Ｘw,Ｙw,Ｚw)を式(1)式(2)式
(3)によって対応づけることが出来た。

【００７６】前記３つの式において未知の変数は、「ｔ
x,ｔy,ｔz,α,β,ｆ」の６つであるので、視平面上での
画素Ｐv(u,v)と、ワールド座標系での座標Ｐw(Ｘw,Ｙw,
Ｚw)の対応関係が既知の点の組が最低２組あれば、上記
の未知変数は求められる。

【００７７】しかしながら、対応関係が既知である組の
それぞれの座標の計測には位置ずれを含むことが多く、
計算結果には誤差が生じる場合がほとんどである。

【００７８】そこで通常は、多数の組を計測して作った
連立方程式を最小二乗法で解くなどの方法が用いられ
る。なお、カメラの位置と向きが視平面座標系と一致す
るので、すでにカメラパラメータが求まっていれば本処
理３．を実行する必要はない。

【００７９】４．ｔx,ｔy,ｔz,α,β,f の値が求まって
いる式(1)式(2)式(3)を用いて、ワールド座標系のそれ
ぞれの点Ｐw(Ｘw,Ｙw,Ｚw)を、視平面の点Ｐv(u,v)と対
応づける。

【００８０】上記１〜４までの処理を、全てのカメラに
ついて実施すれば、独立した全てのカメラからの画像
を、同じ一つの３次元空間内の点として対応づけること
が可能となる。

【００８１】本実施の形態による空間データは、かかる
計算式によって対応づけされたデータで、図１２は、該
空間データを格納する本実施の形態による空間データバ
ッファ105 の記述例を表の形式で示したものである。空
間データバッファ105 には、カメラ画像の点と空間内の
点との対応づけデータが格納される。図１２の例では１
行目を除く各行に一つの空間データが記述されており、
それぞれの空間データを構成する情報としての各列に以
下の内容を含んでいる。

【００８２】１列目：ワールド座標系で他の点と区別す
るための番号(ここでは説明の便宜上Ａとした) ２列目：ワールド座標系での点のＸ座標 ３列目：ワールド座標系での点のＹ座標 ４列目：ワールド座標系での点のＺ座標 ５列目：前記点を含む画像が、どのカメラから撮影した
ものかを区別するフラグ ６列目：前記画像を含む視平面座標系での点のＵ座標 ７列目：前記画像を含む視平面座標系での点のＶ座標 ８列目：前記画像を含む視平面座標系での点の色のＲ成
分(例えば０〜２５５階調で量子化) ９列目：前記画像を含む視平面座標系での点の色のＧ成
分(例えば０〜２５５階調で量子化) １０列目：前記画像を含む視平面座標系での点の色のＢ
成分(例えば０〜２５５階調で量子化) １１列目：該空間データが取得された時刻 以下で空間データの記述内容を例を用いて説明するが、
ここで図１３〜図１５を説明の補助として用いる。

【００８３】図１３〜図１５は、ワールド座標系内の平
面としての路面上の特徴点と、車両に設置したカメラで
撮影した画像上での特徴点との対応関係を示す図で、図
１３は、路面上の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅと車両との
位置関係を上部からみた概念図、図１４は、図１５の車
載カメラ１で前記特徴点Ａ、Ｂ、Ｃを含む路面を撮影し
た画像を表す概念図、図１５は、図１３の車載カメラ２
で前記特徴点Ｃ、Ｄ、Ｅを含む路面を撮影した画像を表
す概念図である。そして、図１２の例の空間データバッ
ファ105 には、図１３〜図１５に記された５つの特徴点
Ａ、Ｂ、Ｃ、Ｄ、Ｅが空間データの例として記述されて
いる。

【００８４】まず、図１３、図１４における特徴点Ａに
着目する。前述の空間再構成手段104 による対応づけ処
理によって、図１３のワールド座標系上の点Ａと図１４
の視平面座標系上の点Ａが対応づけられているものとす
ると、図１２の表の３行目が図１３、図１４における特
徴点Ａに相当する空間データの例である。

【００８５】すなわちワールド座標系上の点Ａは、座標
(Ｘ3,０,Ｚ2)であり、それをカメラ１から撮影したとき
には、撮像画像上での点Ａの座標は(Ｕ1,Ｖ1)で色はＲ
ＧＢ順に(８０,８０,８０)であり、本データが作成され
た時刻は t1 である、という意味である。

【００８６】もし、ワールド座標系の点が、複数台のカ
メラから観測されたときは、それぞれを独立した空間デ
ータとして空間データバッファ105 に格納する。例え
ば、図１３〜図１５における点Ｃがその例に相当する。
点Ｃは、図１４、図１５からも明らかなように、図１３
における２台のカメラ、すなわち、カメラ１およびカメ
ラ２から観測されている。

【００８７】そして、カメラ１での観測結果をもとに作
成された空間データ、すなわち図１２の７行目の空間デ
ータは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)
を持ち、点Ｃをカメラ１から撮影したときには、撮像画
像上での点Ｃの座標は(Ｕ3,Ｖ3)で色はＲＧＢ順に(１４
０,１４０,１４０)で、本データが作成された時刻は t1
である。

【００８８】一方、カメラ２での観測結果をもとに作成
された空間データ、すなわち図１２の８行目の空間デー
タは、ワールド座標系上の点Ｃは、座標(０,０,Ｚ2)を
持ち、点Ｃをカメラ２から撮影したときには、撮像画像
上での点Ｃの座標は(Ｕ4，Ｖ4)で色はＲＧＢ順に(１５
０,１５０,１５０)で、本データが作成された時刻は t1
である。

【００８９】かくのごとく、各カメラで撮影された画像
の各々の画素がワールド座標系の点に対応づけ情報が、
空間データという形式で空間データバッファ105 に格納
される。

【００９０】本実施の形態による視点変換手段106 は、
空間再構成手段104 によって作成された空間データを参
照して、任意の視点にカメラを設置して撮影した画像を
作成する。その方法の概要は、空間再構成手段104 で行
った処理の逆の処理を行うことである。すなわち、空間
再構成手段104 によって形成されたワールド座標系の点
Ｐw(Ｘw,Ｙw,Ｚw)を、任意の視点にカメラを設置して撮
影した画像面Ｐv(u,v)に投影する変換を求めることに相
当する。

【００９１】従って、この変換を計算する式は、先に詳
述した式(1)式(2)および式(3)の逆変換に相当する式(4)
で表すことが可能である。

【００９２】

【式４】

【００９３】すなわちＰw(Ｘw,Ｙw,Ｚw)を入力し前記３
つの式によってＰv(u,v)を計算する。この計算では、カ
メラのカメラパラメータ「ｔx,ｔy,ｔz,α,β,ｆ」は任
意の所望の値を指定できる。つまりそれは所望の視点に
所望の角度でカメラを置くことができることを意味す
る。この際、前記任意視点にカメラを置いて見たときの
画像を投影する画面上で、個々の画素の色をどのように
表現するかが問題となる。

【００９４】しかしながら、本実施の形態では、３つの
場合の色の表現方法を開示している。該方法の内容を、
３つの場合に応じて以下に説明する。

【００９５】(1) 前記視点から見た３次元空間内のある
点Ｐが、ただ一つのカメラで撮影した画像と対応づけら
れている場合：この場合は、設定した視点から点Ｐを見
たときの色は、前記カメラで点Ｐを見たときの色を用い
て決める。最も単純な方法は同じ色で置き換える方法で
あるが、点Ｐを観測しているカメラと設定した視点位置
・方向との関係から計算によって求めてもよい。

【００９６】(2) 前記視点から見た３次元空間内のある
点Ｐが、複数台のカメラで撮影した画像と対応づけられ
ている場合：この場合は、設定した視点から点Ｐを見た
ときの色は、前記複数台のカメラで点Ｐを見たときの色
を用いて何らかの計算をし、得られた結果としての色で
決めるものとする。前記計算の方法としてはいくつか考
えられるが、例えば、 ・全ての色を同じ割合で混合する ・最も明度の高いもしくは低いもしくは中間の色を取得
する ・最も再度の高いもしくは低いもしくは中間の色を取得
する などの方法がある。

【００９７】(3) 前記視点から見た３次元空間内のある
点Ｐが、いずれのカメラで撮影した画像とも対応づけら
れていない場合：この場合は、設定した視点から点Ｐを
見たときの色は、点Ｐの周囲の点の色を用いて補間した
色を計算で求めるか、もしくは、物体が存在しない部分
であると識別可能な色、例えば黒に置き換えるなどすれ
ばよい。

【００９８】本実施の形態では、該視点変換手段106 に
よって、車両に設置されていない仮想のカメラからの画
像を自由に再現できることにある。

【００９９】例えば図１６〜図１９は、ワールド座標系
内の路面上の特徴点を車両に設置したカメラで撮影した
画像を用いて、適当な視点に仮想カメラを置いたときの
画像を合成した例を示した概念図で、図１６は、路面上
の特徴点Ａ、Ｂ、Ｃと車両との位置関係を上部からみた
概念図、図１７は、図１６の車載カメラ１で前記特徴点
Ａ、Ｂを含む路面を撮影した画像を表す概念図、図１８
は、図１６の車載カメラ２で前記特徴点Ｂ、Ｃを含む路
面を撮影した画像を表す概念図、図１９は、図１６の車
載カメラ１および車載カメラ２で撮影した画像を用い、
本実施の形態による視点変換手段106 によって仮想カメ
ラから見た画像を合成した様子を表す概念図である。

【０１００】また図２０は、前記仮想カメラの設置場所
の例として、車両のほぼ中心の上方にカメラを下向きに
設置した場合を示した概念図である。この例のごとく仮
想カメラを設置した場合、仮想カメラで撮影された画像
は車両の周囲の様子を表すものとなる。あくまで、前記
合成画像を構成する画像は、車載カメラによって撮影さ
れたものであるので、図７に示されたような配置の車載
カメラ周囲を撮影した場合、どのカメラ画像にも車体の
屋根が含まれていない。

【０１０１】しかしながら、前記車体の屋根のように、
存在場所や形状、色に関する情報の分かっている物体に
ついては、予めそれらの情報をシステムに蓄積してお
き、それらの情報を必要に応じて用いれば、より違和感
の少ない画像を合成することが可能となる。

【０１０２】なお、図２１（ａ）は仮想カメラを車の前
方斜め上方に配置し、そこから車を見る例を示す斜視図
である。このように、仮想カメラは真上に限らず、斜め
から車を見るようにすることもできる。図２１（ｂ）は
その図２１（ａ）を利用して作成した画像の合成図であ
る。斜め上方から見た感じが現れている。

【０１０３】本実施の形態による空間データ変換手段11
4 は、画像生成装置を車両に適用する場合に必要となる
手段である。

【０１０４】一般的に車載カメラは、より良い視野を得
るために通常車体上部に設置されていることが多い。と
ころが車体の形状が、例えば車体外部に向って凸面なカ
ーブを形成しているような場合では、このような車体上
部に位置するカメラで撮影した画像は、車体のすぐ周囲
の路面部分は死角になる場合がほとんどである。

【０１０５】この問題を解決する単純な方法は、車体下
部にもカメラを設置することであるが、カメラを追加す
ることによって余分なコストが必要となる。本実施の形
態による前記空間データ変換手段114 は車体下部などに
カメラを追加せずに前記問題を解決する。もっともその
解決には、車が移動することが前提である。

【０１０６】図２４は、空間データ変換手段114 におけ
る処理の手順をフローチャートの形式で示したもの、図
２５は、空間データ変換手段114 の説明の補助に用いる
概念図である。図２５は、ある一定時間の間に車両が移
動したとき、前記一定時間の開始時刻(以下t1)と終了時
刻(以下t2)における車両の位置、および向きの関係を示
している。図２４および図２５を用いてカメラから死角
となる部分の画像を合成する手順を説明する。

【０１０７】１．(1401) ある一定時間における車両の
移動距離を検出する。本例では移動距離は、時刻t1 と
時刻t2 のそれぞれの時刻における車両位置の間の直線
距離で定義する。すなわち図２５におけるＯ1とＯ2の距
離ということになる。

【０１０８】説明の都合上、図２５に記載のように、移
動距離をＯ1からＯ2へのベクトルを(t'x,0, t'z)で表
す。移動距離の検出方法としては、例えばタイヤの回転
数などによって計測する方法が用いられる。

【０１０９】２．(1402) 前記一定時間における車両の
移動方向を検出する。本例では移動方向を、時刻t1にお
ける車両の向きに対して時刻t2における車両の向きがど
れだけ変化したかの変化量として定義する。説明の都合
上、図２５に記載のように、向きの変化量をＺ1軸とＺ2
軸とのなす角度Θで表す。移動方向の検出方法として
は、例えばハンドルの回転角度などによって計測する方
法が用いられる。

【０１１０】３．(1403) 時刻t1から時刻t2に至る間の
車両の移動距離および移動方向を用いて、ｔ1において
取得した空間データをｔ2における空間データに変換す
る式(５)を作成する。但し式(５)では時刻t1 から時刻t
2に至る間の車両移動においては、完全に垂直成分の変
化がないもの、つまり路面が平坦であることを仮定して
いる。

【０１１１】

【式５】

【０１１２】式(５)において、x1, y1, z1 は、時刻t1
において車体を中心にしたＸ1-Ｙ1-Ｚ1ワールド座標系
(原点Ｏ1)におけるある点の座標で、x2, y2, z2 は、前
記点の時刻t2において車体を中心にしたＸ2-Ｙ2-Ｚ2ワ
ールド座標系(原点Ｏ2)における座標を表す。つまり x
1, y1, z1 を式(５)の右辺に代入して計算した結果が x
2, y2, z2 となる。

【０１１３】４．(1404)式(５)を用いて、時刻t1におい
て合成した空間データを、時刻t2における空間データに
変換する。作成した後の空間データについては、どのカ
メラから見たかについての情報は必要ないので、図１２
の表において、５から７列目のデータは空白にしておい
てよい。すなわち、時刻t1 における空間データのう
ち、上記計算で書き換えられるのは図１２の表において
１から４列目のみで、８から１１列目のデータはそのま
ま利用する。

【０１１４】ここで問題となるのは、かくのごとく現在
時間の空間データに過去の空間データを加えていくと、
限りある空間データバッファ105 のオーバーフローがい
つかは生じることである。この問題に対して本実施の形
態による空間データバッファ105 では、各空間データは
該データの作成時刻の情報を持っているので、現在時刻
から溯って一定時間以上過去のデータは消去するように
すれば良い。

【０１１５】本実施の形態による特徴点生成手段109
は、カメラの視野内に３次元座標の同定が可能な複数個
の点を生成する。そして、本実施の形態による特徴点抽
出手段108は、前記 生成された特徴点を抽出する。図２
２は、特徴点生成手段109 、特徴点および特徴点抽出手
段108の実施の形態を示す概念図である。

【０１１６】図２２(a)は、特徴点生成手段109 として
のパターン光照射装置を車体側面上部に取付けた実施の
形態で、本例では、ワールド座標系内の平面としての車
両の周囲の路面に、長方形のパターンを格子状に照射す
る場合を示している。

【０１１７】図２２(b)は、該パターン光照射装置を車
体上部に数箇所取り付けて、路面にパターン光を照射し
た状態を車両上部から見た例である。

【０１１８】図２２(c)はかくのごとく方法で路面に照
射された長方形のパターン光をカメラから撮影した様子
を示した例である。特徴点は、パターン光照射で作成さ
れた長方形の角や中心などの特徴を表すいくつかの点を
用いれば良い。

【０１１９】図２２(c)では、PI-1 から PI-8 が特徴点
の例である。前記特徴点はワールド座標系における座標
が既知であると設定することが可能である。またこれら
の特徴点は、視平面座標系での座標位置も既知で、ワー
ルド座標系と視平面座標系での対応関係が取れている。
従って前述の式(1)式(2)および式(3)を用いれば、本実
施の形態によるキャリブレーション手段102 によってカ
メラパラメータ ｔx,ｔy,ｔz,α,β,f を計算すること
が可能となる。

【０１２０】本実施の形態による補正指示手段は、画像
生成装置を車両に適用する場合に必要となる手段で、該
補正指示手段では、カメラのキャリブレーションが必要
な状況を検知し、キャリブレーションが必要である場合
に、運転者にカメラキャリブレーションを指示する。ま
た本実施の形態による補正履歴記録手段115 では、キャ
リブレーションが必要な状況を検知するために必要なデ
ータとして、カメラキャリブレーションを行った日時お
よび走行距離を記録する。

【０１２１】図２６は、補正履歴の記録を確認し、必要
に応じて補正指示を出す処理の手順をフローチャートの
形式で示したものである。

【０１２２】１．(1601)前回カメラのキャリブレーショ
ンを行った日時から、現在までの経過時間までを計算す
る。

【０１２３】２．(1602)あらかじめ設定しておいた所定
の時間に対して、前記経過時間の方が大きければ、(160
5)カメラ補正指示手段116 にてカメラキャリブレーショ
ンを実施するように運転者に指示し、処理を終了する。
但し、前記指示によって運転者がカメラキャリブレーシ
ョンを実施したら、補正履歴の記録を更新しておく。前
記所定の時間に対して、前記経過時間の方が小さけれ
ば、次の処理３に進む。

【０１２４】３．(1603)前回カメラのキャリブレーショ
ンを行った時から現在までの総走行距離を計算する。

【０１２５】４．(1604)あらかじめ設定しておいた所定
の距離に対して、前記走行距離の方が大きければ、(160
5)カメラ補正指示手段116 にてカメラキャリブレーショ
ンを実施するように運転者に指示し、処理を終了する。
但し、前記指示によって運転者がカメラキャリブレーシ
ョンを実施したら、補正履歴の記録を更新しておく。前
記所定の距離に対して、前記走行距離の方が小さけれ
ば、カメラキャリブレーションに関する指示は、運転者
に出さず、処理を終了する。

【０１２６】以上、本実施の形態による画像生成装置を
構成するそれぞれの手段の実施の形態を説明した。次
に、本実施の形態による画像生成装置の全体の処理の流
れについて説明する。

【０１２７】図２７は、本画像生成装置を車両に適用し
た場合の全体の処理の流れをフローチャートの形式で示
したものである。なお画像生成装置の構成例としては図
６の構成を想定する。

【０１２８】１．(1701) 本装置を正常に動作させるた
めに、必要であれば最初にカメラキャリブレーションを
実施し、補正履歴の記録を更新しておく。カメラキャリ
ブレーションでは、カメラーパラメータを人手で入力す
るか、または本実施の形態による特徴点生成手段109 で
特徴点を車体周囲に生成し、前記特徴点を特徴点抽出手
段108 にて抽出した結果を用いてキャリブレーション手
段102 にてカメラパラメータを計算しても良い。

【０１２９】２．(1702) 各カメラ毎に温度センサ110
の温度値を逐次観測し、必要に応じてカメラパラメータ
テーブル103 の内容を更新する。

【０１３０】３．(1703) 補正履歴の記録を確認し、必
要に応じて補正指示を出す。もし補正が行われたら、補
正履歴の記録を更新する。

【０１３１】４．(1704) すでに空間データが空間デー
タバッファ105 に蓄積されていれば、空間データ変換手
段114 にて、車両の移動距離、移動方向に応じて前記空
間データを変換する。空間データバッファ105 が空白で
あれば、本処理は省略する。

【０１３２】５．(1705) 車載カメラで車両周囲の画像
を撮影する。

【０１３３】６．(1706) 空間再構成手段104 によって
５．で撮影された画像を構成する各々の画素をワールド
座標系の点に対応づけた空間データを作成する。３の空
間データ変換手段114 で変換された空間データで、ワー
ルド座標系での座標が一致する空間データがすでに存在
している場合は、前記変換された空間データは破棄す
る。つまりワールド座標系におけるある点の空間データ
は、カメラから一番最近に撮影されたデータのみを保持
し、それより過去のデータ、もしくは時間がある程度経
過したデータは消去するようにする。

【０１３４】７．(1707) ６．の空間再構成手段104 に
よって作成された空間データを参照して、所望の視点に
カメラを設置して撮影した画像を作成する。この場合、
視点位置は、合成画像が運転補助に適したものである場
所に固定していることが望ましく、例えば図２０〜２１
の例のように車体上方で車両周囲が見渡せるカメラ位置
などが良い。

【０１３５】８．(1708) ７．の処理で合成された画像
を表示する。

【０１３６】９．(1709) 上記２．〜８．の処理を必要
がなくなるまで繰り返す。例えば運転者が車両を駐車ス
ペースに入れようとしている時は、前記２．〜８．の処
理を繰り返し、駐車が完了すれば本処理を終了すればよ
い。

【０１３７】さて、車の周囲の障害物などの物体のワー
ルド座標系の３次元位置が、正確に計測できれば、その
物体に合わせて空間モデルを生成すればよいが、現実的
には通常は、無理である。

【０１３８】つまり、画像生成装置などのように簡易性
を要求されるシステムでは、すべての物体の３次元位置
・形状を正確に求めることは困難であり、また、運転の
補助としての画像を合成するという観点では、任意の仮
想視点における画像を正確無比に再現しなければならな
いというわけではなく、運転者に分かり易い画像であれ
ば、多少クオリティが落ちても大きな問題にはなりにく
い。

【０１３９】そこで本実施の形態では、物体の３次元情
報は失われるものの、高速に画像を合成でき、かつ合成
した画像のクオリティをある程度保つことが可能な、入
力画像を構成する各々の画素と３次元空間の点の対応づ
け方法を開示する。

【０１４０】該方法は、キャリブレーション手段102 に
よって取り付け位置、取り付け角度が既に知られている
カメラから得られた画像を、３次元空間の一部をなす平
面の例として路面に投影するものである。すなわち、画
像に含まれる各々の物体は、すべて３次元空間座標系
(以下ワールド座標系と呼ぶこともある)のＸ−Ｚ平面に
貼り付いており、Ｙ軸方向成分を持つ物体が存在しない
と仮定し、視平面上の画像をワールド座標系の路面に投
影する。

【０１４１】この場合、本装置のこれまでの実施の形態
の説明内容に対して変更する部分は、空間再構成手段10
4 で用いる式(３)を式(６)に置き換え、また、視点変換
手段106 で用いる式(４)を式(７)に置き換えるだけでよ
い。

【０１４２】

【式６】

【０１４３】

【式７】

【０１４４】また、本実施の形態ではカメラを車両に取
り付け、車両周囲を監視する装置について説明をした
が、限られた台数のカメラからの画像を用いて任意の視
点からの画像を合成するという本技術は、車載カメラに
限定するものではない。

【０１４５】例えば、店舗などにおいて多数の監視カメ
ラを設置しておき、それらのカメラ画像を用いて、真上
から見た画像を合成することなども可能であり、幅広い
用途が期待できる。

【０１４６】なお、上述したキャリブレーション手段を
遠隔地にある管理センターにおいておき、通信手段によっ
て、それを利用する方法も可能である。

【０１４７】本実施の形態はそのような遠隔地にその機
能の一部を実現しておくことももちろん可能である。

【０１４８】あるいはさらに、キャリブレーションを行
った結果のデータをフロッピー（登録商標）、ＤＶＤ等
を利用して運んで利用することも、本発明の実施の形態
である。

【０１４９】また、マッピングされた空間データを格納
するバッファなどは、そのまま空間データを処理する場
合は特に必要ない。

【０１５０】なお、通常は、仮想視点は管理者や運転者
などの人手によって指定するのではなく、監視や運転の
補助として役立つ画像が得られる視点位置のうちの一つ
を選び、そこからの画像を表示させるようしておく。そ
れによって仮想視点位置の移動操作をしなくてもよいた
め、利用者の作業負担のさらなる軽減が期待できる。

【０１５１】以上のように本実施の形態によれば、限ら
れた台数のカメラからの画像を用いて任意の視点からの
画像が合成できる。

【０１５２】本実施の形態では、各々のカメラについ
て、その特性を示すカメラパラメータを容易に得ること
が可能となる。もし、例えば激しい悪路を走行したこと
によってカメラの位置などが若干ずれた場合でも、本発
明により、カメラの位置の補正は容易に可能となる。

【０１５３】本実施の形態では、温度センサ、温度補正
テーブルを設置することにより、気温上昇・下降にとも
なって微妙に変化するレンズ歪みを補正し、レンズを常
に最適に保つことが可能となる。例えば、温度上昇によ
って微妙に膨張したレンズに対しては、その膨張によっ
て変わるレンズ歪み係数を最適に制御する補正値を温度
補正テーブルから得て、それに基づいてレンズ歪みパラ
メータを変更すればよい。かかる方法によって、本発明
ではどのような気温でも歪みのない画像を得ることが可
能となる。

【０１５４】本実施の形態では、カメラから死角となる
部分の画像を見る方法を提供する。例えば、カメラが車
体の上部に取付けてあり、前記カメラの取り付け位置下
方の車体の形状が車体外部に向って凸面である場合、カ
メラ直下の画像を見ることは物理的に不可能である。し
かし、本発明では、車両の移動方向および移動距離によ
って、以前に取得した画像を現在の位置から見た画像に
変換することが可能である。

【０１５５】本実施の形態では、カメラの特性を示すカ
メラパラメータの補正、すなわちカメラキャリブレーシ
ョンを実施しなければならない状況を検知し、その旨を
運転者に提示することが可能である。これにより運転者
がカメラパラメータの補正を長期間し忘れることを防ぐ
効果が得られる。

【０１５６】次に、別の実施の形態を説明する。 図２
８，図２９は、本実施の形態の一例を示す。

【０１５７】図２８（ａ）に示すように、本実施の形態
は、基本構成の一例として、車両周囲の状況を把握する
ために取付けられた複数台のカメラ101A、前記カメラの
特性を示すカメラパラメータを格納しておくカメラパラ
メータテーブル102A 、車両を基準とした座標系に空間
モデルを作成する空間モデル作成手段 103A、前記カメ
ラより入力された画像を前記空間モデルにマッピングす
るマッピング手段104A、視点を設定し、前記視点から見
た一枚の画像を、前記マッピング手段104Aにて作成され
たデータから合成する視点変換手段105A、前記視点変換
手段105Aにて変換された画像を表示する表示手段106Aか
らなる構成を有する。

【０１５８】図２８(b)は本実施の形態の構成例を示し
たブロック図である。図２８(b)の例では、図２８(a)に
示した画像生成装置に対して、さらに、車両周囲の状況
として、少なくとも車両周囲に存在する障害物までの距
離を計測する障害物検知手段108A を付加した構成とな
っている。

【０１５９】次に、本実施の形態を構成する各構成要素
についての詳細を説明する。

【０１６０】カメラは、車両の周囲の状況など、監視す
べき空間の画像を撮り込むテレビカメラである。その詳
細は、上記図７で詳しく説明した。

【０１６１】本実施の形態によるカメラパラメータテー
ブル102Aは、カメラパラメータを格納するテーブルであ
る（上述したカメラパラメータテーブル103と同様であ
る）。

【０１６２】カメラパラメータテーブル102Aに格納され
ているデータは上述した図９と同じである。

【０１６３】本実施の形態では、視点変換手段105Aで設
定した所望の視点に仮想のカメラを設置したと仮定し、
その仮想カメラからの画像を計算によって求めることが
可能である。該計算方法については後で詳述する。

【０１６４】また、前記レンズ歪み係数を用いてカメラ
入力画像に対してレンズ歪み補正を行う場合、通常、多
くの計算が必要になり、実時間処理には向かない。

【０１６５】そこで、レンズ歪みは、画像合成時に問題
が生じるほどの変化は起こらないと仮定し、歪み補正前
の画像と、歪み補正後の画像で、それぞれの画素の座標
値の対応関係を予め計算しておく。そして前記計算結果
をテーブルやマトリクスなどのデータ形式でメモリ内に
保持し、それを用いて歪み補正を行うなどの方法が、高
速な補正処理として有効である。

【０１６６】本実施の形態による空間モデル作成手段 1
03Aは、たとえば、車両を基準とした座標系に空間モデ
ルを作成する。空間モデルとは、後述するマッピング手
段104Aにおいて、カメラからの画像を３次元空間座標系
にマッピングする平面もしくは曲面もしくは平面および
曲面からなるモデルである。図２９(a)〜(c)は、本実施
の形態による空間モデルを鳥瞰図的に示した概念図で、
それぞれ、図２９(a)および図２９(d)は平面のみで構成
された空間モデルの例、図２９(b)は曲面のみで構成さ
れた空間モデルの例、図２９(c)は平面および曲面で構
成された空間モデルの例、を表している。

【０１６７】図２９(a)の空間モデルでは以下に説明す
るように５つの平面からなる空間モデルを示している。 平面１：路面（すなわち車両のタイヤに接している）と
しての平面 平面２：車両の前方に立てられた路面（平面１）に垂直
な平面 平面３：車両の進行方向に向って左側方に立てられた路
面(平面１)に垂直な平面 平面４：車両の後方に立てられた路面（平面１）に垂直
な平面 平面５：車両の進行方向に向って右側方に立てられた路
面(平面１)に垂直な平面 本空間モデルにおいては、平面２〜５は隙間なく立てら
れ、車載カメラから撮影された画像は、該平面１〜平面
５のいずれかにマッピングされる。また平面２〜５につ
いては車両からどの程度の距離が必要か、またどの程度
の高さが必要かは、車載カメラの画角や設置場所に応じ
て決めれば良い。

【０１６８】図２９(b)のモデルでは、お椀型をした曲
面を空間モデルに用いている。

【０１６９】車両は、お椀型に形成された空間モデルに
おいてお椀の底に当たる部分に設置され、車載カメラか
ら撮影された画像は、お椀の内側の面にマッピングされ
る。お椀型のモデルとしては、球や、放物線の回転体、
懸垂線の回転体などが考えることが、いずれにしろ空間
モデルを少数の数式で表すことが出来れば、マッピング
の計算は高速で行うことが可能となる。

【０１７０】図２９(ｃ)のモデルでは、以下で説明する
平面と曲面を組み合わせて構成された空間モデルを示し
ている。

【０１７１】平面：路面（すなわち車両のタイヤに接し
ている）としての平面 曲面：車両を取り囲むように前記平面上に置かれた円柱
状又は楕円柱状の壁 本空間モデルにおいて、曲面をどういう形状にするか、
また車両からどの程度の距離をおいて設置するかは、車
載カメラの画角や設置場所に応じて決めれば良い。

【０１７２】かくの例のごとく、車両の周囲に、車両を
囲い込むごとく壁を立てた空間モデルは、次に示す効果
が得られる。すなわち、画像中の物体がすべて道路面上
にあるものと仮定して、カメラ画像を路面上にマッピン
グすると、路面から上方に高さ成分を持つ物体に関して
は、大きくゆがんでしまうという問題があった。これに
対し、本実施の形態によって導入された空間モデルで
は、まず路面に垂直もしくはほぼ垂直な平面もしくは曲
面によって車両を囲い込む。これらの面を車両から離れ
過ぎないように設定すれば、高さ成分を持つ物体がこれ
らの面にマッピングされるため、歪みを小さくすること
が可能となる。しかもマッピングした際の歪みが小さい
ため、２台のカメラ画像の接合部でのずれも少なくなる
ことが期待できる。

【０１７３】本実施の形態によるマッピング手段 104A
は、カメラパラメータに基づいて、車載カメラからの入
力画像を構成する各々の画素を、本実施の形態による空
間モデル作成手段103によって作成された空間モデルに
マッピングする。すなわち、車載カメラから撮影された
各々の画像を空間モデルに透視投影する。

【０１７４】図３０は、画像を含む平面(以下、視平面
という)に設定したＵ−Ｖ座標系の点の座標を、ワール
ド座標系の点の座標に変換することにより、車載カメラ
画像を空間モデルを構成する面にマッピングする説明の
補助として使用する図である。

【０１７５】マッピングの説明をする前に、まず視平面
座標をワールド座標へ変換する方法について説明する。
該変換は下記の手順で行われる。

【０１７６】１．視平面が Ｚ＝ｆ(カメラの焦点距離)
で、該平面上にあるカメラ画像の中心をＺ軸が通るよう
な座標系を設定する。

【０１７７】これを視平面座標系と呼ぶ(Ｏeを原点とす
る)。

【０１７８】２．図３０における点Ｐv(u,v)(この点が
カメラ撮影画像の一画素に対応する)の視平面座標系で
の座標をＰe(Ｘe,Ｙe,Ｚe)とすると、ＰeとＰvの関係
は、カメラの焦点距離ｆを用いて、式(1)式(2)のように
表すことが出来る（但し、この場合はＺe＝ｆとな
る）。

【０１７９】前記２つの式により、視平面上に投影され
た画像の各々の画素について、視平面座標系における座
標を決めることができる。

【０１８０】３．視平面座標系とワールド座標系とを対
応づける計算式を求める。ここでワールド座標系を中心
にして、視平面座標系が空間的に以下のような関係にあ
るとする。

【０１８１】・視平面座標系原点Ｏeからワールド座標
系原点Ｏwへのベクトルを(ｔx,ｔy,ｔz)とする。つまり
２つの座標系の位置的なずれは、(ｔx,ｔy,ｔz)だけ平
行移動することによって無くなる。

【０１８２】なお、ワールド座標系におけるカメラ位置
が既知であれば、該位置の座標の符号を反転すれば(ｔ
x,ｔy,ｔz)は容易に求まる。

【０１８３】・視平面座標系のそれぞれの軸の向きをワ
ールド座標系にぴったり合わせるための回転行列を

【０１８４】

【式０】

【０１８５】とする。該回転行列は、カメラパラメータ
テーブル102Aのうち、向きを表すパラメータによって、
Ｘ，Ｙ，Ｚの各軸まわりの回転行列を求め、それらを合
成することによって容易に求めることが可能である。

【０１８６】さて、ある点をワールド座標系でＰw(Ｘw,
Ｙw,Ｚw)で表し、また、視平面座標系Ｐe(Ｘe,Ｙe,Ｚe)
で表すとすると、Ｐe(Ｘe,Ｙe,Ｚe)、Ｐw(Ｘw,Ｙw,Ｚ
w)、(ｔx,ｔy,ｔz)、前記回転行列の間には式(8)の関係
が成り立つ。これら式(1)式(2)式(8)を用いることによ
り、視平面上での画素Ｐv(u,v)を、ワールド座標系での
座標Ｐw(Ｘw,Ｙw,Ｚw)に変換することが出来る。

【０１８７】

【式１】

【０１８８】

【式２】

【０１８９】

【式８】

【０１９０】

【式９】

【０１９１】さて、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表される。入力画像を構成する各々の画素
を前記空間モデルにマッピングするためには、入力画像
の全ての画素について、以下の手順で処理を行えばよ
い。図３１は該マッピングの手順をフローチャートの形
式で示したもので、以下、図３１に従ってマッピングの
処理内容を説明する。

【０１９２】１．カメラ画像の映っている視平面に設定
したＵ−Ｖ座標系の座標として表される前記画素を、ワ
ールド座標系における座標に変換する。変換には、例え
ば直前に示した式(1)式(2)式(8)を用いれば良い。

【０１９３】２．カメラ視点の座標Ｏeを端点とし、前
記画素Ｐw（＝Ｐe）の座標を通る半直線と前記空間モデ
ルを形成する面との交点Ｐs(Ｘs,Ｙs,Ｚs)を求める。

【０１９４】３．該交点Ｐsに、前記画素の色をマッピ
ングする。すでに他のカメラ画像からの色が点Ｐsにマ
ッピングされている場合、点Ｐsの色を決める方法とし
ては例えば以下のような方法を用いれば良い。

【０１９５】・すでにマッピングされている色とマッピ
ングしようとする色を同じ割合で混合する。

【０１９６】・すでにマッピングされている色とマッピ
ングしようとする色のうち、明度の高いもしくは低いも
しくは中間の色を用いる。 ・すでにマッピングされている色とマッピングしようと
する色のうち、彩度の高いもしくは低いもしくは中間の
色を用いる。上記１〜３までの処理を、全てのカメラに
ついて実施すれば、独立した全てのカメラからの画像
を、同じ一つの３次元空間内の空間モデル上にマッピン
グすることができる。本実施の形態による視点変換手段
105 は、車載カメラの画像がマッピング手段104 によ
って空間モデルにマッピングされた結果を、任意の視点
に設置したカメラから撮影した画像として合成する。そ
の方法の概要は、マッピング手段 104で行った処理の逆
の処理を行うことである。

【０１９７】すなわち、マッピングされた画像を構成す
る点Ｐs(Ｘs,Ｙs,Ｚs)を、任意の視点にカメラを設置し
て撮影した画像面Ｐv(u,v)に投影する変換を求めること
に相当する。

【０１９８】従って、この変換を計算する式は、先に詳
述した式(1)式(2)および式(9)（式(8)の逆変換に相当す
る）で表すことが可能である。

【０１９９】すなわち、Ｐs(Ｘs,Ｙs,Ｚs)を入力し前記
３つの式によってＰv(u,v)を計算する。この計算では、
カメラのカメラパラメータは任意の所望の値を指定でき
る。つまりそれは所望の視点に所望の角度でカメラを置
くことができることを意味する。

【０２００】ところで、視点変換手段１０５Aにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デルの点に、色がマッピングされていない場合も考えら
れる。その場合は、物体が存在しない部分であると識別
可能な色、例えば黒に置き換えるなどすればよい。

【０２０１】さて、図２９(a)〜(c)の例では、車両を面
で完全に囲い込む空間モデルを示したが、実際には車両
の全周囲を障害物が取り囲む場合は少なく、自車の周囲
に多くて数台の車両が存在する程度が普通である。係る
状況を鑑みると、自車の周囲を完全に囲い込む空間モデ
ルを導入する代わりに、必要に応じて、すなわち、自車
の周囲に障害物が存在している状態が分かれば、その場
合にのみ前記障害物の前に、それをマッピングするつい
たてのような面を作成すればよい。

【０２０２】図２９(ｄ)は、該ついたて面を導入した空
間モデルの一例を鳥瞰図的に示した概念図で、図２９
(ｄ)の空間モデルでは、路面平面と、路面上に車両の左
後方及び右後方にそれぞれ一つづつ、ついたてとしての
平面を立てた空間モデルを示した概念図である。該つい
たて面は、車両に対して予め決められた場所に立ててお
くことももちろん可能であるが、前述のごとく、車両の
周囲に面から上方に高さ成分を持つ障害物が発見された
場合にのみ、ついたて面を立てるようにしても良い。そ
の際に、どの位置にどの向きについたて面を立てるかを
決める必要があるが、その一例として障害物の検知結果
に従ってついたて面を設置する方法を次に示す。

【０２０３】係るついたて面設置の処理を実行するため
に、本実施の形態による障害物検知手段 108 は、車両
周囲の状況として、少なくとも車両周囲に存在する障害
物までの距離を距離センサ 107Aを用いて計測する。

【０２０４】距離センサ 107Aとしては様々なものがあ
るが、車載用としては、レーザー光、超音波、ステレオ
光学系、カメラのフォーカス（目標物体にフォーカスを
合わせた時の焦点距離から、カメラと前記物体までの距
離を計算する）などを使用することが可能である。該距
離センサ107A、レーザー光、超音波などを用いる場合で
は、車両の周囲に多数取付けるのが望ましい。一方、ス
テレオ光学系やカメラのフォーカスを用いる場合は、車
載カメラに併設してもよいが、車載カメラの一部をその
まま利用するとコストを安価にすることが可能となる。

【０２０５】次に該障害物検知手段 108Aの処理結果に
基づいて、ついたて面を含む空間モデルを作成する方法
の一例を示す。図３２は障害物センサを用いて車両と該
車両の周囲に存在する障害物との距離に基づいて、３次
元空間内についたて面を立てる方法を示す概念図であ
る。本例では、車載の各々のカメラに該障害物検知セン
サが併設されており、該障害物センサはカメラの視線と
同じ方向を向き、該方向に存在する障害物との距離を計
測するものとする。また図３２において使用しているパ
ラメータは以下の通りである。

【０２０６】(px0,py0,pz0)：距離センサ 107 １の路面
平面上での座標 (dx,dy,dz) ：距離センサ 107 １のセンシングの向きを
示す方向ベクトル dc ：距離センサ 107 １と障害物との路面平面上での距
離 (px1,py1,pz1)：(px0,py0,pz0)から(dx,dy,dz)の方向に
距離dcだけ移動した点以下、図３２に従って空間モデル
を作成する手順を説明する。

【０２０７】１．障害物との距離dcを計測し、その距離
が予め設定されている所定の距離より近いかどうかを調
べる。前記所定の距離より離れていれば何もしない。

【０２０８】２．もし所定の距離内であれば、以下の手
順でついたて平面を求める。

【０２０９】２-１．予め分かっている距離センサ107A
の座標値から(px0,py0,pz0)を求める。

【０２１０】２-２．予め分かっている距離センサ 107A
の向き(dx,dy,dz)と、障害物までの距離dcから、(px1,p
y1,pz1)を求める。

【０２１１】２-３．法線ベクトル(dx,dy,dz)を持ち、
点(px1,py1,pz1)を通る平面（式(15)）を、ついたて面
とする。 dx(x-px1) + dy(y-py1) + dz(z-pz1) = 0 式(15) ３．前記ついたて面は、必要がなくななれば取り除く。

【０２１２】４．全ての距離センサ 107 について、上
記１から３までの処理を終了していれば、空間モデル作
成処理を終了する。まだ未チェックの距離センサ 107A
があれば、該距離センサ 107Aについて、上記１から３
までの処理を実行する。

【０２１３】図３２では、カメラ１、２から入力された
画像が、それぞれ空間モデルを構成するついたてとして
の平面１、平面２にマッピングされている様子が示され
ている。マッピングに際して、ついたて面の幅の値をい
くらにするかが合成画像のクオリティを決める重要な要
素の一つとなる。障害物としてもっとも一般的なのは他
の車両なので、例えば自車と他の車両との距離がついた
て面を作成する距離になったとき、前記他の車両の２／
３以上がついたて面にマッピングされるように幅を設定
するという方針で、ついたての幅を決めるなどすればよ
い。

【０２１４】また、ついたて面を作成するかどうかを決
める条件としての、自車から障害物までの距離は、経験
的に 50cm〜1m の値を設定すると良い。また、ついたて
面を取り除く場合の条件としては、以下に列挙するよう
な方法を、単独で、もしくは組み合わせて用いれば良
い。

【０２１５】・障害物との距離が所定の距離より遠ざか
った場合 ・運転者が、なんらかの方法で該画像生成装置を初期化
した場合 以上、本実施の形態による画像生成装置を構成するそれ
ぞれの手段の実施の形態を説明した。次に、本実施の形
態による画像生成装置の全体の処理の流れについて説明
する。図３３は、本実施の形態による画像生成装置の全
体の処理の流れをフローチャートの形式で示したもので
ある。なお画像生成装置の構成例としては図２８(b)の
構成を想定する。

【０２１６】１．(901) 本装置を正常に動作させるため
に、車載カメラのそれぞれについて、正しいカメラーパ
ラメータをカメラパラメータテーブル102Aに入力してお
く。

【０２１７】２．(902) 車載カメラで車両周囲の画像を
撮影する。

【０２１８】３．(903) 障害物検知手段 108Aにて、距
離センサ107Aで車両周囲に存在する障害物までの距離を
計測する。

【０２１９】４．(904) 空間モデル作成手段103Aにて、
空間モデルを作成する。

【０２２０】５．(905) マッピング手段104Aにて、車載
カメラからの画像を、空間モデルにマッピングする。

【０２２１】６．(906) 空間モデルにマッピングされた
画像を参照して、運転者が設定した視点から見た画像を
合成する。

【０２２２】７．(907) ６．の処理で合成された画像を
表示する。

【０２２３】８．(908) 上記２．〜７．の処理を必要が
なくなるまで繰り返す。例えば運転者が車両を駐車スペ
ースに入れようとしている時は、前記２．〜７．の処理
を繰り返し、駐車が完了すれば本処理を終了すればよ
い。

【０２２４】以上のように、本実施の形態では限られた
台数のカメラからの画像を用いて任意の視点からの画像
が合成する。その合成の際に、従来使用されてきた路面
平面一つだけの空間モデル以外の空間のモデルを導入
し、この空間モデルを用いることにより、高さをもつ物
体も歪みを少なくして空間にマッピングされる。従っ
て、高さをもつ物体が２台のカメラ画像に映っている場
合、それぞれの画像を空間モデルにマッピングしたとき
の前記物体の重なりのずれは、平面モデルに比べて大き
く改善され、視点変換して合成した画像のクオリティが
向上し、運転者は、前記合成画像によって周囲の状況が
よりいっそう認識しやすくなり、適確な運転操作を行え
ることが期待できる。

【０２２５】なお、これまでの説明は、車両周囲の状況
を車両から検知し、車両を基準とした座標系で説明して
きたが、たとえば、駐車場等に設置のセンサが駐車場の
状況を検知し、駐車場を基準とした座標系での周囲状況
と、車両の駐車場における位置関係を、車両に通知する
ことにより、これまで述べた処理を実施することが可能
である。

【０２２６】以下、別の実施の形態を説明する。なお、
本実施の形態においては、車両の周囲を監視するカメラ
を設置し、前記カメラで獲得した画像を運転席近くに設
置したモニターテレビに表示させる監視装置を対象とし
て説明する。

【０２２７】図３４（ａ）は本実施の形態の監視装置の
基本構成例を示したブロック図である。

【０２２８】本実施の形態による車両周囲監視装置は、
基本構成として、車両周囲の状況を把握するために取付
けられた複数台のカメラ１０１B、前記カメラの特性を
示すカメラパラメータを格納しておくカメラパラメータ
テーブル１０２B、車両周囲の状況として、例えば白線
や路面に描かれた矢印、文字、また横断歩道など、路面
上の特徴を検知する路面特徴検出手段１０３B、たとえ
ば車両を基準とした座標系を設定し、該座標系に、前記
路面特徴検出手段１０３Bの処理結果に応じた空間モデ
ルを作成する空間モデル作成手段１０４B、前記カメラ
より入力された画像を前記空間モデルにマッピングする
マッピング手段１０５B、視点を設定し、前記視点から
見た一枚の画像を、マッピング手段１０５Bにて作成さ
れたデータから合成する視点変換手段１０６B、視点変
換手段１０６Bにて変換された画像を表示する表示手段
１０７Bからなる構成を有する。

【０２２９】図３４（ｂ）は、図３４（ａ）に示した監
視装置に対して、さらに、車両の移動方向を検出する移
動方向検出手段１０９B、および車両の単位時間におけ
る移動距離を検出する移動距離検出手段１０８Bでの処
理結果を用いて、前記路面上の特徴の現在位置を計算
し、計算した車両の現在位置にもとづいて、前記空間モ
デルを逐次修正することを特徴とする。

【０２３０】図３４（ｃ）は、図３４（ｂ）に示した監
視装置に対して、さらに、表示手段１０７Bにおいて路
面特徴検出手段１０３Bにおける処理結果を表示しつつ
前記処理結果を修正する特徴修正手段１１０Bを備えた
構成を有することにより、処理の実行中に路面上の特徴
がずれた場合に、該ずれを修正することが可能となる。

【０２３１】次に、本実施の形態を構成する各構成要素
についての詳細を説明する。

【０２３２】カメラは、車両の周囲の状況など、監視す
べき空間の画像を撮り込むテレビカメラである。このカ
メラは、大きな視野を得ることができるよう、通常、画
角が大きいものを使うのが良い。車両へのカメラの取り
付け例は、図７で説明したとおりである。

【０２３３】カメラパラメータテーブル１０２Bは、カ
メラパラメータを格納するテーブルである。その内容は
上述したとおりである。

【０２３４】カメラパラメータテーブル１０２Bに格納
されているデータは表形式で示されるが、それは図９に
示すものである。

【０２３５】同様に、仮想カメラのパラメータは図９の
カメラパラメータテーブル１０２の８行目に記載されて
おり、その内容は、仮想カメラとは、座標（０、ｙ１、
０）の位置にあり、向きはＹ−Ｚ平面に対して０度、Ｘ
−Ｚ平面に対して−２０度の角度をなし、焦点距離は
ｆ、レンズ歪み係数κ１、κ２はともに０である、とい
うことが分かる。

【０２３６】本実施の形態では、視点変換手段１０６B
で設定した所望の視点に仮想のカメラを設置したと仮定
し、その仮想カメラからの画像を計算によって求めるこ
とが可能である。該計算方法については後で詳述する。

【０２３７】また、前記レンズ歪み係数を用いてカメラ
入力画像に対してレンズ歪み補正を行う場合、通常、多
くの計算が必要になり、実時間処理には向かない。

【０２３８】そこで、レンズ歪みは、画像合成時に問題
が生じるほどの変化は起こらないと仮定し、歪み補正前
の画像と、歪み補正後の画像で、それぞれの画素の座標
値の対応関係を予め計算しておく。そして前記計算結果
をテーブルやマトリクスなどのデータ形式でメモリ内に
保持し、それを用いて歪み補正を行うなどの方法が、高
速な補正処理として有効である。

【０２３９】空間モデル作成手段１０４Bは、車両を基
準とした座標系を設定し、この座標系に、路面特徴検出
手段１０３Bの処理結果に応じた空間モデルを作成す
る。

【０２４０】図３５（ａ），（ｂ）は、本実施の形態に
よる空間モデルを示した概念図である。

【０２４１】本図では、路面上の特徴として、駐車場に
引いてある駐車スペースを示す白線の端点もしくは白線
同士が交わって出来る角を検知し、それらの点を基準に
して図に示すような５つの平面を用いて空間モデルを構
成している様子を示しており、図３５（ａ）は該空間モ
デルを鳥瞰図的に示した概念図、図３５（ｂ）は図３５
（ａ）において、車両の上方から下向きに透視投影され
た図である。図３５（ｂ）の例では、路面上の特徴の例
として、特徴点１〜４までを示している。以下、路面上
の特徴もしくは特徴点は、これら４つの特徴点を示すも
のとする。

【０２４２】但し、４つのいずれかを指すときは「特徴
点１」というように番号を付けて指定する。そして本実
施の形態では、該５つの平面をそれぞれ以下のように決
めている（ここでは、左右は車両の後ろ向き方向に対し
て決めている）。 平面１：路面（すなわち車両のタイヤに接している）と
しての平面 平面２：左端が平面２に接し平面１に垂直な平面 平面３：特徴点１と特徴点２を結ぶ線分に沿っており、
平面１に垂直な平面 平面４：特徴点２と特徴点３を結ぶ線分に沿っており、
平面１に垂直な平面 平面５：特徴点３と特徴点４を結ぶ線分に沿っており、
平面１に垂直な平面 平面６：右端が平面５に接し平面１に垂直な平面 さて、空間モデル作成手段１０４Bにおいて、３次元空
間にこれらの平面（但し路面と一致する平面１を除く）
を作成するにあたっては、前記特徴点を検出する必要が
ある。路面特徴検出手段１０３Bは、係る路面上の特徴
を抽出するものである。

【０２４３】図３６（ａ）〜（ｄ）は、路面特徴検出手
段１０３Bで特徴点を抽出する処理の例を説明するため
の図、図３７は特徴点の抽出処理の流れを示すフローチ
ャートであり、以下、これらの図を用いて、路面特徴検
出手段１０３Bでの処理手順を説明する。

【０２４４】処理７０１： 車載カメラのいずれかから
駐車スペースを示す白線を含む画像を撮影する。図３６
（ａ）は、該撮影された画像を示している。

【０２４５】以下の２つの処理を行い、特徴点の位置を
推定する。

【０２４６】処理７０２： 車載カメラから撮影された
画像を適当なしきい値で２値化し、それを横方向および
縦方向に走査し、走査ラインにおける白線に対応する画
素の数を頻度とするヒストグラムを、縦方向、横方向の
それぞれについて得る。該ヒストグラムの結果から特徴
点の存在する位置を推定する。図３６（ｂ）はその処理
例を示したもので、 ・縦方向に走査して得られたヒストグラムから、特徴点
のＹ座標を推定 ・横方向に走査して得られたヒストグラムから、特徴点
のＸ座標を推定 している様子を示している。

【０２４７】処理７０３： 車載カメラから撮影された
画像にエッジ抽出処理を行い、続いて前記エッジ処理結
果にさらに直線抽出処理を実施し、得られた直線の交点
もしくは端点を特徴点として推定する。図３６（ｃ）
は、その処理例を示したもので、エッジ抽出としては、
例えばゾーベルオペレータ、直線抽出としては例えばハ
フ変換などを用いれば良い。

【０２４８】処理７０４： 上記処理７０２、処理７０
３で得られた特徴点の推定値を用いて特徴点を決定す
る。特徴点の決定の仕方としては、例えば、処理７０
２、処理７０３のそれぞれの方法で得られた特徴点の中
間点を取るなどすればよい。尚、処理７０２、処理７０
３はいずれを先に実行しても同じ結果が得られる。

【０２４９】処理７０５： カメラ画像から得られた特
徴点の３次元座標系における座標を求める。この座標か
ら、前記空間モデルを構成する平面を求めることが可能
となる。マッピング手段１０５Bは、カメラパラメータ
に基づいて、車載カメラからの入力画像を構成する各々
の画素を、空間モデル作成手段１０４Bによって作成さ
れた空間モデルにマッピングする。すなわち、車載カメ
ラから撮影された各々の画像を空間モデルに透視投影す
る。

【０２５０】図３０は、画像を含む平面に設定したＵ−
Ｖ座標系の点の座標を、ワールド座標系の点の座標に変
換することにより、車載カメラ画像を空間モデルを構成
する面にマッピングする説明の補助として使用する図で
ある。この詳細については、すでに説明した。

【０２５１】なお、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表されるが、その詳細は既に図３１におい
て説明した。

【０２５２】視点変換手段１０６Bは、車載カメラの画
像がマッピング手段１０５Bによって空間モデルにマッ
ピングされた結果を、任意の視点に設置したカメラから
撮影した画像として合成する。その方法の概要は、上述
した視点変換手段１０５Aに関して説明した。

【０２５３】ところで、視点変換手段１０６Bにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デルの点に、色がマッピングされていない場合も考えら
れる。その場合は、物体が存在しない部分であると識別
可能な色、例えば黒に置き換えるなどすればよい。

【０２５４】さて、路面特徴検出手段１０３Bによって
検出された特徴点の位置は、車両の動きとともに変化す
る。空間モデルは特徴点の３次元座標を基に作成される
ので、車両の動きによって特徴点の位置が変化する毎に
空間モデルを作り直す必要がある。すなわち車両が移動
している間は常に、直前に説明した手法などで特徴点の
位置を求める必要があるが、画像から特徴点を求める処
理は一般的に計算量が多いため、コストが高くつく。こ
れを回避するための方法として、車両の動く速さと向き
をつねに計測し、その計測結果を用いて特徴点の座標を
計算すればよい。

【０２５５】本実施の形態の車両周囲監視装置は、係る
処理を実行するために、車両の移動方向を検出する移動
方向検出手段１０９Bと、車両の単位時間における移動
距離を検出する移動距離検出手段１０８Bを備え、移動
方向検出手段１０９Bおよび移動距離検出手段１０８Bで
の処理結果を用いて、前記路面上の特徴の現在位置を計
算する。

【０２５６】図３８は、本実施の形態の車両周囲監視装
置において、車両の動きにともなって特徴点の位置計算
を行う処理の手順を示すフローチャート、図３９は、前
記処理の説明の補助に用いる概念図である。

【０２５７】図３９は、ある一定時間の間に車両が移動
したとき、前記一定時間の開始時刻（以下ｔ１）と終了
時刻（以下ｔ２）における車両の位置、および向きの関
係を示している。図３８および図３９を用いて前記処理
の手順を説明する。

【０２５８】処理９０１： ある一定時間における車両
の移動距離を検出する。本実施の形態では、移動距離
は、時刻ｔ１と時刻ｔ２のそれぞれの時刻における車両
位置の間の直線距離で定義する。すなわち、図３９にお
けるＯ１とＯ２の距離ということになる。

【０２５９】説明の都合上、図３９に記載のように、移
動距離をＯ１からＯ２へのベクトルを（ｔ'ｘ，０，
ｔ'ｚ）で表す。移動距離の検出方法としては、例えば
タイヤの回転数などによって計測する方法が用いられ
る。

【０２６０】処理９０２： 前記一定時間における車両
の移動方向を検出する。本実施の形態では移動方向を、
時刻ｔ１における車両の向きに対して時刻ｔ２における
車両の向きがどれだけ変化したかの変化量として定義す
る。

【０２６１】説明の都合上、図３９に記載のように、向
きの変化量をＺ１軸とＺ２軸とのなす角度Θで表す。移
動方向の検出方法としては、例えばハンドルの回転角度
などによって計測する方法が用いられる。

【０２６２】処理９０３： 時刻ｔ１から時刻ｔ２に至
る間の車両の移動距離および移動方向を用いて、ｔ１に
おいて取得した特徴点の座標をｔ２における特徴点の座
標に変換する上記式（５）を作成する。

【０２６３】但し、式（５）では時刻ｔ１から時刻ｔ２
に至る間の車両移動においては、完全に垂直成分の変化
がないもの、つまり路面が平坦であることを仮定してい
る。

【０２６４】式（５）において、ｘ１，ｙ１，ｚ１は、
時刻ｔ１において車体を中心にしたＸ１−Ｙ１−Ｚ１ワ
ールド座標系（原点Ｏ１）におけるある点の座標で、ｘ
２，ｙ２，ｚ２は、前記点の時刻ｔ２において車体を中
心にしたＸ２−Ｙ２−Ｚ２ワールド座標系（原点Ｏ２）
における座標を表す。つまり、ｘ１，ｙ１，ｚ１を式
（５）の右辺に代入して計算した結果がｘ２，ｙ２，ｚ
２となる。

【０２６５】処理９０４： 式（５）を用いて、時刻ｔ
１において合成した特徴点の座標を時刻ｔ２における特
徴点の座標に変換する。

【０２６６】車両の移動方向と移動距離が誤差なく計測
できれば、移動方向検出手段１０９と移動距離検出手段
と特徴位置計算手段を導入し、直前で説明した計算方法
によって、常に特徴点の正確な座標を得ることができ
る。しかしながら、車両の移動方向と移動距離を誤差な
く計測することは現実的に不可能であるため、特徴点の
位置を必要に応じて修正する必要が生じる。

【０２６７】特徴修正手段１１０Bは、表示手段１０７B
において路面特徴検出手段１０３Bにおける処理結果を
表示しつつ、車両の乗員が特徴の修正を指示し、その指
示に従って路面の特徴位置を修正する。

【０２６８】図４０は、特徴修正処理を表示手段１０７
Bに表示している様子を示した概念図であり、また、図
４１は、特徴修正処理における処理の流れを示すフロー
チャートである。以下、これらの図を用いて、特徴修正
手段１１０Bでの処理手順を説明する。

【０２６９】処理１２０１：表示手段１０７Bにて、現
在の特徴点の位置を表示する。図４０の例では車載カメ
ラから撮影された各々の画像と空間モデルとをスーパー
インポーズし、それを上方から下向きに透視投影した画
像を表示している様子を示している。

【０２７０】処理１２０２：位置のずれている特徴点を
指定する。図４０の例では特徴点２および特徴点４がず
れている特徴点で、これらを指定する。指定にあたって
は、例えば表示装置にタッチパネルが装着されている場
合は指で表示画面を触れることによって容易に場所の指
定が可能である。

【０２７１】処理１２０３：前記ずれた特徴点の正しい
場所を指定する。正しい特徴点の場所はどういう場所で
あるかは、予め操作する人に知らせておく。

【０２７２】処理１２０４：修正すべき特徴点が残って
いれば、上記処理１２０１〜１２０３を引き続き繰り返
し、なければ特徴点の修正処理を終了する。

【０２７３】以上、本実施の形態による車両周囲監視装
置を構成するそれぞれの手段の実施の形態を説明した。
次に、本実施の形態による車両周囲監視装置の全体の処
理の流れについて説明する。図４２は、本実施の形態に
よる車両周囲監視装置の全体の処理の流れを示すフロー
チャートである。なお、車両周囲監視装置の構成例とし
ては図３４（ｃ）の構成に基づく。

【０２７４】処理１３０１： 本装置を正常に動作させ
るために、車載カメラのそれぞれについて、正しいカメ
ラーパラメータをカメラパラメータテーブル１０２Bに
入力しておく。

【０２７５】処理１３０２： 車載カメラで撮影した画
像から路面上の特徴点を抽出する。

【０２７６】処理１３０３： 抽出した特徴点の画像内
の座標とカメラパラメータから該特徴点の３次元座標を
計算する。但し、車両周囲監視装置処理が実行中なら
ば、車両の移動方向および移動距離を検出した結果を用
いて、特徴点の座標の現在位置を計算する。

【０２７７】処理１３０４： 車載カメラで車両周囲の
画像を撮影する。

【０２７８】処理１３０５： 空間モデル作成手段１０
４Bによって処理４で撮影された画像を内に空間モデル
作成する。

【０２７９】処理１３０６： マッピング手段１０５B
にて、車載カメラからの画像を、空間モデルにマッピン
グする。

【０２８０】処理１３０７： 空間モデルにマッピング
された画像を参照して、運転者が設定した視点から見た
画像を合成する。

【０２８１】処理１３０８： 処理１３０７で合成され
た画像を表示する。

【０２８２】処理１３０９： 表示画像において、特徴
点の位置がずれているかどうかを確認する。

【０２８３】処理１３１０： もしずれていれば特徴点
修正の割り込みを入れ、特徴点の修正処理を行う。特徴
点の修正の必要がなければ、処理１３０３に戻り、処理
を繰り返す。例えば運転者が車両を駐車スペースに入れ
ようとしている時は、前記処理１３０２〜１３０８を繰
り返し、駐車が完了すれば本処理を終了すればよい。

【０２８４】なお、本実施の形態における車両の周囲の
状況としては、上述した路面の特徴だけでなく、たとえ
ば駐車車両の状態等があげられる。その場合はその駐車
車両の状態に応じた空間モデルが生成される。

【０２８５】以上のように、本実施の形態では限られた
台数のカメラからの画像を用いて任意の視点からの画像
が合成する。その合成の際に、単なる平面のモデルでは
なく、カメラ画像から得られた路面上の特徴を利用して
作成された汎用的な空間のモデルを導入している。平面
を用いた方法では、高さ成分がカメラ視線方向の奥行き
成分に変換されてしまうため、路面から上方に高さ成分
を持つ物体は、路面に投影すると大きく歪むことが問題
であったが、本実施の形態の空間モデルを用いることに
より、高さをもつ物体も歪みを少なくして空間にマッピ
ングされる。従って、高さをもつ物体が２台のカメラ画
像に映っている場合、それぞれの画像を空間モデルにマ
ッピングしたときの前記物体の重なりのずれは、平面モ
デルに比べて大きく改善され、視点変換して合成した画
像のクオリティが向上し、運転者は、前記合成画像によ
って周囲の状況がより一層認識しやすくなり、適確な運
転操作を行えることが期待できる。また、前記空間モデ
ルは単純な構成を有しているため、装置のコストを低く
押さえることも可能となる。

【０２８６】次に別の本実施の形態の画像生成装置を説
明する。

【０２８７】以下、図を用いて本実施の形態を説明す
る。図４３は本実施の形態に係る画像生成装置の構成例
を示したブロック図である。

【０２８８】本実施の形態の画像生成装置は、基本構成
として、車両周囲の状況を把握するために取付けられた
複数台のカメラ１０１C、カメラ１０１Cの特性を示すカ
メラパラメータを格納しておくカメラパラメータテーブ
ル１０２C、車両の周囲の状況をモデル化した空間モデ
ル１０３Cにカメラ１０１Cより入力された画像をマッピ
ングするマッピング手段１０４C、所望の仮想視点から
見た一枚の画像を、マッピング手段１０４Cにて作成さ
れたデータから合成する視点変換手段１０５C、カメラ
１０１Cのパラメータを、各々のカメラで独立して修正
するカメラパラメータ修正手段１０６C、視点変換手段
１０５Cにて変換された画像を表示する表示手段１０７C
からなる構成を有する。

【０２８９】次に、本実施の形態を構成する各構成要素
についての詳細を説明する。

【０２９０】カメラ１０１Cは、車両の周囲の状況な
ど、監視すべき空間の画像を撮り込むテレビカメラであ
る。図４４（ａ）は、車両へ３台のカメラを取り付けた
例を示した概念図であるが、図４４（ａ）の例のよう
に、車両への取り付け位置としては、車体屋根と側面も
しくは屋根と後面の境界部分にし、できるだけ画角が大
きいものを使うようにすると、視野が広くなりカメラの
台数も少数で済む。また左右のドアミラー部に後方を向
いたカメラを設置し、それらのカメラからの画像を車内
に設置したモニタに表示することによりドアミラーの機
能を果たすため、車両からドアミラーを除去することが
可能となり、デザイン的にも空力的にも優れた車を設計
することが可能となる。

【０２９１】カメラパラメータテーブル１０２Cは、カ
メラパラメータを格納するテーブルである。その詳細に
ついては上述したとおりである。

【０２９２】さて、まず該カメラパラメータテーブル１
０２Cの詳細な説明の準備として、車両を基準とした３
次元空間座標系を定義する。図４５は車両を中心とする
３次元空間座標系を示した概念図である。図４５の例で
は３次元空間座標系の例として、 ・車両の後面直下にある後面に平行な路面上の直線をＸ
軸 ・車両の後面中央に路面から垂直に伸びる軸をＹ軸 ・車両の後面中央を通り後面に垂直な路面上の直線をＺ
軸 とする３次元空間座標系を定義する。

【０２９３】また、本座標系においてカメラの向きは、 ・Ｙ−Ｚ平面に対してなす角度をα ・Ｘ−Ｚ平面に対してなす角度をβ ・上記α、βの角度で回転した後の、カメラの光軸の周
りの回転角度をγ として、該α、β、γを用いて表すものとする。以下、
特に断る場合を除いて、３次元空間座標系もしくはワー
ルド座標系もしくは単に３次元空間は、本定義による３
次元空間座標系を指すものとする。

【０２９４】図４６は、カメラパラメータテーブル１０
２Cに格納されているデータを表形式で示したものであ
る。図４６に記載されている内容は、テーブルの左側の
列から順に以下の通りで、下記のごとく本テーブルで
は、２列目から９列目までの項目がカメラパラメータの
例を示している。 ・１列目：図４５の車載カメラの番号 ・２列目：３次元空間座標系におけるカメラ位置のＸ座
標 ・３列目：３次元空間座標系におけるカメラ位置のＹ座
標 ・４列目：３次元空間座標系におけるカメラ位置のＺ座
標 ・５列目：カメラの向きのうちＹ−Ｚ平面に対してなす
角度α ・６列目：カメラの向きのうちＸ−Ｚ平面に対してなす
角度β ・７列目：カメラの光軸の周りの回転角度γ ・８列目：３次元空間座標系におけるカメラの焦点距離 ・９列目：レンズの半径方向の歪み係数κ１ ・１０列目：レンズの半径方向の歪み係数κ２ 例えば、図４５におけるカメラ１のパラメータは図４６
のカメラパラメータテーブル１０２Cの第２行目に記載
されており、その内容は、カメラ１は、座標（０、ｙ
１、０）の位置にあり、向きはＹ−Ｚ平面に対して０
度、Ｘ−Ｚ平面に対して−３０度の角度をなし、光軸周
りの回転はなく、焦点距離はｆ１、レンズ歪み係数κ
１、κ２はともに０である、ということが記されてい
る。

【０２９５】本実施の形態では、視点変換手段１０５C
（後で詳細を説明）によって、車載カメラから撮影した
画像を所望の仮想視点から見た画像に変換することが可
能である。仮想視点から見た画像とは、具体的には所望
の場所に好きな向きに仮にカメラを置いた場合に見える
はずの画像のことである。従って仮想視点の視点パラメ
ータは、前述のカメラパラメータと同じものを用いて表
すことが可能である。この際、仮想のカメラでは、レン
ズの歪みは考慮する必要がないので、レンズ歪み係数κ
１、κ２はいずれも０とすることができる。

【０２９６】図４７は、視点パラメータテーブル102Cに
格納されているデータを表形式で示したものである。図
４７に記載されている内容は、テーブルの左側の列から
順に、２列目から９列目までの項目が視点パラメータの
例を示している。その内容は、仮想視点が、座標（０、
０、ｚ２）の位置にあり、向きはＹ−Ｚ平面に対して０
度、Ｘ−Ｚ平面に対して−９０度の角度をなし、光軸周
りの回転はなく、焦点距離はｆ２、レンズ歪み係数κ
１、κ２はともに０である、ということが記されてい
る。

【０２９７】マッピング手段１０４Cは、カメラパラメ
ータに基づいて、車載カメラからの入力画像を構成する
各々の画素を空間モデル１０３Cにマッピングする。す
なわち、車載カメラから撮影された各々の画像を空間モ
デル１０３Cに透視投影する。

【０２９８】ここで空間モデル１０３Cとは、マッピン
グ手段１０４Cにおいて、カメラからの画像を３次元空
間座標系にマッピングする立体モデルを指し、例えば、
平面もしくは曲面もしくは平面および曲面からなるモデ
ルが使用される。本実施の形態では、説明を容易にする
ために、最も単純な空間モデル１０３Cの一例として路
面としての平面モデルを用い、車載カメラからの画像
を、該平面モデルにマッピングする方法を説明する。

【０２９９】尚、実用に際しては該単純なモデルでは、
高さ成分を持つ物体の歪みが大きくなるなどの問題が生
じるため、平面をいくつか組み合わせた空間モデル、平
面と曲面を組み合わせた空間モデルなどを用いるとよ
い。さらには、車両の周囲の障害物の正確な立体モデル
を実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。

【０３００】さて、マッピング手段１０４Cにおけるマ
ッピング処理の説明をする前に、まず視平面座標をワー
ルド座標へ変換する方法について説明する。図４８は、
画像を含む平面（以下、視平面）に設定したＵ−Ｖ座標
系の点の座標を、ワールド座標系の点の座標に変換する
ことにより、車載カメラ画像を空間モデル１０３Cを構
成する面にマッピングする説明の補助として使用する図
である。該変換は下記の手順で行われる。

【０３０１】手順１：視平面が Ｚ＝ｆ（カメラの焦点
距離）で、該平面上にあるカメラ画像の中心をＺ軸が通
るような座標系を設定する。これを視平面座標系と呼ぶ
（Ｏｅを原点とする）。

【０３０２】手順２：図７における点Ｐｖ（ｕ，ｖ）
（この点がカメラ撮影画像の一画素に対応する）の視平
面座標系での座標をＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）とする
と、ＰｅとＰｖの関係は、カメラの焦点距離ｆを用い
て、上記式（１）式（２）のように表すことが出来る
（但し、この場合はＺｅ＝ｆとなる）。

【０３０３】前記２つの式により、視平面上に投影され
た画像の各々の画素について、視平面座標系における座
標を決めることができる。

【０３０４】手順３：視平面座標系とワールド座標系と
を対応づける計算式を求める。

【０３０５】ここで、ワールド座標系を中心にして、視
平面座標系が空間的に以下のような関係にあるとする。
・視平面座標系原点Ｏｅからワールド座標系原点Ｏｗへ
のベクトルを（ｔｘ，ｔｙ，ｔｚ）とする。

【０３０６】つまり、２つの座標系の位置的なずれは、
視平面座標系を（ｔｘ，ｔｙ，ｔｚ）だけ平行移動する
ことによって無くなる。尚、ワールド座標系におけるカ
メラ位置が既知であれば、該位置の座標の符号を反転す
れば（ｔｘ，ｔｙ，ｔｚ）は容易に求まる。 ・視平面座標系のそれぞれの軸の向きをワールド座標系
に合わせるための回転行列を上記式（１）とする。

【０３０７】該回転行列は、カメラパラメータテーブル
１０２Cのうち、向きおよびカメラの光軸周りの回転を
表すパラメータ（α、β、γ）によって、Ｘ，Ｙ，Ｚの
各軸まわりの回転行列を求め、それらを合成することに
よって容易に求めることができる。さて、ある点をワー
ルド座標系でＰｗ（Ｘｗ，Ｙｗ，Ｚｗ）で表し、また、
視平面座標系Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）で表すとする
と、Ｐｅ（Ｘｅ，Ｙｅ，Ｚｅ）、Ｐｗ（Ｘｗ，Ｙｗ，Ｚ
ｗ）、（ｔｘ，ｔｙ，ｔｚ）、前記回転行列の間には式
（８）の関係が成り立つ。

【０３０８】これらの式（１）式（２）式（８）を用い
ることにより、視平面上での画素Ｐｖ（ｕ，ｖ）を、ワ
ールド座標系での座標Ｐｗ（Ｘｗ，Ｙｗ，Ｚｗ）に変換
することが出来る。

【０３０９】さて、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表されるが、その詳細は既に図３１におい
て説明した。

【０３１０】なお、図４８では空間モデル１０３Cを形
成する面としてＸ−Ｚ平面を用いた場合の例を示してい
る。

【０３１１】視点変換手段１０５Cは、車載カメラの画
像がマッピング手段１０４Cによって空間モデル１０３C
にマッピングされた結果を、任意の仮想視点に設置した
カメラから撮影した画像に合成する。その方法の概要
は、上記視点変換手段１０５Ａに関して説明した。

【０３１２】ところで、視点変換手段１０５Cにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デル１０３Cの点に、色がマッピングされていない場合
も考えられる。その場合は、 ・物体が存在しない部分であると識別可能な色、例えば
黒に置き換える ・当該点の色を、色がマッピングされている周囲の点か
ら、補間、補外などによって求めるなどすればよい。

【０３１３】カメラパラメータ修正手段１０６Cは、カ
メラのパラメータを、各々のカメラで独立して修正す
る。

【０３１４】図４９は、カメラパラメータ修正手段１０
６Cによってカメラパラメータを修正するための操作部
の構成例を示した概念図である。

【０３１５】本実施の形態では、 ・修正の対象となるカメラを選択する、カメラ選択ボタ
ン９０１C ・カメラの光軸方向に前後の移動をするズームボタン９
０４C（前向き、後向き）・カメラの光軸方向に垂直に
カメラを平行移動する平行移動ボタン９０２C（上下左
右）・カメラの向きの変更と、カメラの光軸周りの回転
を修正するジョイスティック９０３C から構成され、
（ａ）ズームボタン９０４C、平行移動ボタン９０２Cの
操作、カメラの３次元空間位置を、（ｂ）ジョイスティ
ック９０３Cによって、カメラの回転角度を、それぞれ
変更することができ、上記（ａ）、（ｂ）の操作によっ
て、それぞれ当該カメラパラメータの以下の情報が修正
される。

【０３１６】（ａ）３次元空間座標系におけるカメラ位
置のＸ、Ｙ、Ｚ座標 （ｂ）カメラの向きのうちＹ−Ｚ平面に対してなす角度
α カメラの向きのうちＸ−Ｚ平面に対してなす角度β カメラの光軸の周りの回転角度γ 修正された結果は、即座に式（８）に反映する。すなわ
ち、式（８）において、式０に示す回転行列が、新たな
カメラ角度を用いて再度計算されるとともに（ｔｘ，ｔ
ｙ，ｔｚ）を、新たなカメラ位置の座標で置き換える。
さすれば、変更後の式（８）を用いることによって修正
操作の結果としての画像が合成され、操作者は、自身の
修正の操作が正しいかどうかを一目で確認することが可
能である。

【０３１７】ところで、ジョイスティック９０３Cの操
作について、操作としては、 （１）ジョイスティック９０３Cの軸を上下左右に動か
す、いわゆるカメラの光軸の向きの調整に相当する操作 （２）ジョイスティック９０３Cの軸自身を回転させ
る、いわゆるカメラの光軸周りの回転の調整に相当する
操作 の２通りは少なくとも必要不可欠である。

【０３１８】これらのジョイスティック９０３Cの操作
のうち、（１）については、ジョイスティック９０３C
の軸とカメラの光軸があたかも一致しているように、操
作内容とその結果の画面が表示できれば、操作者はカメ
ラの向きを直感的に把握し易い。

【０３１９】そのためには、ジョイスティック９０３C
の操作によって傾けられた軸の向きと同じようにカメラ
の光軸を設定するのではなく、ジョイスティック９０３
Cの軸を動かした向きとは反対の方向に同じだけカメラ
の向きを動かし、その状態での向きを変更されたカメラ
の向きとしてカメラパラメータテーブル１０２Cに書き
込めばよい。

【０３２０】また、かかる修正をあたかもバックミラー
を修正しているかのように行うためには、実際にカメラ
が置いてある場所でカメラの向いている方向の画像を見
ながら行うのが望ましい。そのために、本修正処理を行
う際には、表示のために設置する仮想視点は、修正しよ
うとするカメラの修正前の位置および向きと一致させる
ことが望ましい。そのようにすれば、修正によってカメ
ラの向きや位置が変わっていく様子が一目で把握でき、
また修正が完了すれば、完了前の仮想視点位置に戻せば
よい。

【０３２１】図５０は本実施の形態にかかる画像生成装
置の関連する技術の構成例を示したブロック図である。

【０３２２】ここでは、図４３の構成に対して、さら
に、カメラ入力画像と合成画像との間の画素の対応づけ
関係を保持するマッピングテーブル１０８Cを備えてい
る。

【０３２３】図５１は、マッピングテーブル１０８Cを
表形式で示した概念図である。テーブルは、表示手段１
０７Cにて表示する画面の画素数分のセルから構成され
ている。すなわち、 ・表示画面の横画素数がテーブルの列数 ・表示画面の縦画素数がテーブルの行数 になるように、テーブルが構成される。そして、それぞ
れのセルは、 ・カメラ番号 ・前記カメラで撮影された画像の画素座標 をデータとして持つ。例えば図５１の左上のセルは表示
画面での左上、すなわち（０、０）の部分を示してお
り、マッピング手段１０４Cは、前記セルに格納されて
いるデータ内容（１、１０、１０）から、「１番カメラ
で撮影された画像の画素（１０、１０）のデータを、表
示画面（０、０）に表示する」という処理を行う。

【０３２４】ところで、マッピングテーブル１０８Cを
作成するためには、カメラ入力画像と合成画像との間の
画素の対応づけを計算する必要があるが、この計算は、
マッピング手段１０４Cおよび視点変換手段１０５Cによ
って容易に計算できる。より具体的には、全てのカメラ
について以下の１〜２の処理を行えば良い。 １．カメラを一つ決め、そのカメラ番号をＣｎとする。 ２．該カメラ画像を構成する全ての画素に対して以下の
２．１〜２．３の処理を実施する。

【０３２５】２．１ マッピング手段１０４Cにより該
画素（座標を座標１とする）を空間モデル１０３Cにマ
ッピングする。

【０３２６】２．２ 視点変換手段１０５Cにより、
２．１でマッピングされた画素を仮想視点から見たとき
の視平面での座標（座標２とする）を求める。

【０３２７】２．３ マッピングテーブル１０８Cの座
標２に対応するセルに、（Ｃｎ、座標１）を組にしたデ
ータを書き込む。但し、それぞれのカメラ画像の表示領
域が決められていれば、座標２がＣｎの表示領域である
場合にのみ、データを書き込むようにする。

【０３２８】マッピングテーブル１０８Cが作成されて
いる場合は、表示手段１０７Cは、マッピング手段１０
４Cおよび視点変換手段１０５Cでの処理結果を用いて、
合成画像を表示するのではなく、該テーブルを用いて、
カメラ画像を表示画像に直接置き換えるようにする。こ
れにより複数カメラ画像の合成処理の高速化が可能とな
る。

【０３２９】以上、本実施の形態による画像生成装置を
構成するそれぞれの手段の実施の形態を説明した。最後
に、本実施の形態による装置における修正処理の流れを
説明する。

【０３３０】図５２は、カメラパラメータの修正処理の
流れを示すフローチャート、図５３及び図５４は、カメ
ラパラメータの修正処理の説明の補助に使用する概念図
で、図５３(ａ)，(ｂ)は、カメラパラメータ修正時の表
示画面を、図５４(ａ)，(ｂ)は、カメラパラメータ修正
時以外（すなわち通常時）の表示画面を示す。

【０３３１】処理１２０１：カメラ選択ボタン９０１C
などで修正対象となるカメラを選択する。その際には画
面上には、図５４（ａ）のごとく、合成画像がずれてい
る様子が表示されている。

【０３３２】処理１２０２：仮想視点を、選択されたカ
メラの位置・向きにあわせて変更し、画像を合成する。
仮想視点が変更されると、画面は図５３（ａ）のごと
く、選択されたカメラの視点位置からの画像が表示さ
れ、該視点位置からのカメラのずれの様子が把握できる
ようになる。

【０３３３】処理１２０３：ズームボタン９０４C、平
行移動ボタン９０２C、ジョイスティック９０３Cを用い
て、カメラの３次元空間位置とカメラの向きを修正す
る。該修正処理中は、仮想視点は固定したままにする。
修正がうまくできれば、画面は、図５３（ｂ）のごと
く、ずれのない様子が表示される。

【０３３４】処理１２０４：当該カメラの修正が終了す
ると、修正後のカメラパラメータをカメラパラメータテ
ーブル１０２Cに書き込む。

【０３３５】処理１２０５：他に修正の必要があるカメ
ラがあれば、続いて前記カメラを選択し、上記処理１２
０１〜１２０４を繰り返す。無ければ次の処理１２０６
に進む。

【０３３６】処理１２０６：処理１２０２で変更された
仮想視点を、該カメラ修正処理前の仮想視点に戻し、画
像を合成する。その合成の結果、画面は、図５３（ｂ）
のごとく、ずれのない画像が表示されており、その確認
でもってカメラパラメータ修正処理を終了する。

【０３３７】なお、図５３，図５４の概念図に示したご
とく、各々の車載カメラからの画像を接合する部分にお
いては、該接合部分に、見た目に違和感を与えない程度
のマーカ（例えば線）などを印しておくと、どのカメラ
の画像がどこに表示されているかが分かり易くなる。

【０３３８】以上のように、本実施の形態によれば、限
られた台数のカメラからの画像を用いて任意の仮想視点
からの画像を合成する。車両走行中の振動などにより、
カメラの位置、向きがずれた場合、従来では、前記ずれ
を修正することが困難であったが、本実施の形態では、
視点を修正するカメラパラメータ修正手段によって、あ
たかもバックミラーを調整するかの如く、運転者は、自
身で表示画像を都度確認しながら、ずれの生じたカメラ
の画像のみに対して、視点の位置の移動、向きの変更な
どによって最適の画像を得る。

【０３３９】従って、運転者は例え合成画像の一部にず
れが生じた場合でも、その調整のために多大な費用と手
間を要することなく、容易にずれの修正を行うことが可
能となる。

【０３４０】しかも本実施の形態では、運転者の視点修
正操作中は、視点変換手段によって、仮想視点を、修正
しようとする車載カメラの位置に切り替えて画像を合成
するため、車載カメラの向き・位置修正を、バックミラ
ーを修正するかのごとく行うことが可能である。

【０３４１】また、本実施の形態では、実際のカメラの
向きを調整するのではなく、仮想に設けた視点の向き、
位置などのカメラパラメータを修正するので、カメラの
向きを変更する機構が必要でなくなり、装置のコストを
低価格に押さえることが可能となる。

【０３４２】図５５は別の実施の形態を示すブロック図
であり、図４３と同じ手段には同じ番号を付して説明を
省略する。新しい点は、カメラの特性を示すカメラパラ
メータを修正する際にガイドとなるガイドデータを格納
するガイドデータ記憶手段１１０Cを有する点である。
このガイドデータは画像合成手段１０９Cによって、入
力画像と重畳され、表示手段１０７Cによって表示され
る。このガイドデータは任意の生成方法で生成できる
が、たとえば次に説明するような方法で生成し、利用す
る。

【０３４３】図５６は、図５５の構成に加えて、車両の
所定場所に点光源を発生させる特徴発生手段１１１C
と、その特徴を抽出できる特徴抽出手段１１２Cをさら
に備え、その特徴抽出結果を上記ガイドデータとして、
記憶手段１１０Cに格納できるようになっている。

【０３４４】たとえば、図５７は点光源を特徴とするも
のであり、車両の前方にいくつかのランプ１１３Cを取
り付けている(a)。このランプ１１３Cが特徴発生手段１
１１Cに対応する。さらに、車両の前側に取り付けられ
たカメラ１，２(f)からその車体の前部を撮影した画像
を示す(b,c)。特徴抽出手段１１２Cはその画像から、光
っている特徴を画像処理して抽出する（d,e）。

【０３４５】図５８(a),(b),(c),(d),(e)は、特徴とし
て、車体の一部の線分を取り上げた例を示す。つまり、
車体の右後ろの隅部の線分を画像処理して取り出してい
る。

【０３４６】これらの点光源や、線分は車が移動しても
いつもそのカメラに対して位置関係が不変である。そこ
で、カメラの方向等が振動によって変化した場合、この
不変の特徴を利用して、カメラのパラメータを修正でき
るものである。その具体的やり方を次に説明する。

【０３４７】図５９において、黒丸は本来の点光源のあ
るべき画像を示す。白丸はカメラがずれた場合の撮影し
た点光源を示す。そこで、(a)のように、ずれた状態の
画像が得られる。そこで、上述したようにしてジョイス
ティック９０３Cを利用してパラメータを修正して一致
させる(b,c)。これによって、簡単にキャリブレーショ
ンを行うことができる。

【０３４８】図６０の(a,b,c,)は、上述して線分を利用
してキャリブレーションを実行した例を示している。

【０３４９】なお、上記特徴の発生は、パターン光を照
射する等、他の方法でももちろん発生できる。

【０３５０】次に、別の一実施の形態を説明する。

【０３５１】図６１は本実施の形態の画像生成装置の構
成例を示したブロック図である。

【０３５２】本実施の形態の画像生成装置は、基本構成
として、車両周囲の状況を把握するために取付けられた
複数台のカメラ１０１D、カメラ１０１Dの特性を示すカ
メラパラメータを格納しておくカメラパラメータテーブ
ル１０２D、車両の周囲の状況をモデル化した空間モデ
ル１０３Dにカメラ１０１Dより入力された画像をマッピ
ングするマッピング手段１０４D、少なくとも位置、向
きを含む視点パラメータを格納する視点パラメータテー
ブル１０８D、所望の仮想視点から見た一枚の画像を、
マッピング手段１０４Dにて作成されたデータから合成
する視点変換手段１０５D、前記仮想視点のパラメータ
を修正する視点パラメータ修正手段１０６D、視点変換
手段１０５Dにて変換された画像を接合して表示する表
示手段１０７Dを備えた構成を有する。

【０３５３】次に、本実施の形態を構成する各構成要素
についての詳細を説明する。

【０３５４】カメラ１０１Dは、車両の周囲の状況な
ど、監視すべき空間の画像を撮り込むテレビカメラであ
る。このカメラは図４４に示したように車両に取り付け
られる。

【０３５５】カメラパラメータテーブル１０２Dは、カ
メラパラメータを格納するテーブルである。カメラパラ
メータについては、上述したとおりである。

【０３５６】さて、まずカメラパラメータテーブル１０
２Dの詳細な説明の準備として、車両を基準とした３次
元空間座標系を定義する。それは図４５で説明した通り
である。

【０３５７】カメラパラメータテーブル１０２Dに格納
されているデータは、図４６のものと同じである。

【０３５８】本実施の形態では、視点変換手段１０５D
（後で詳細を説明）によって、車載カメラから撮影した
画像を所望の仮想視点から見た画像に変換することが可
能である。仮想視点から見た画像とは、具体的には所望
の場所に好きな向きに仮にカメラを置いた場合に見える
はずの画像のことである。従って仮想視点の視点パラメ
ータは、前述のカメラパラメータと同じものを用いて表
すことが可能である。

【０３５９】図６２は、視点パラメータテーブル１０８
Dに格納されているデータを表形式で示したものであ
る。図６２では、視点パラメータはそれぞれ３つずつ格
納されているが、３つのそれぞれが、それぞれ３台の車
載カメラと一対一に対応づけられている。

【０３６０】例えば、カメラ１で撮影された画像は、仮
想視点１から見た画像へと視点変換され、カメラ２で撮
影された画像は、仮想視点２から見た画像へと視点変換
される。

【０３６１】このようにカメラ１台ごとに仮想視点を設
定すれば、もしカメラの位置ずれなどによって、表示画
面上で他のカメラの画像と該カメラからの画像との接合
部分がずれた場合に、ずれたカメラ画像を見ている仮想
視点のパラメータのみを変更することによって、直感的
にずれを修正することが可能となる。修正方法の詳細は
後の視点パラメータ修正手段の説明において説明する。

【０３６２】さて、図６２に記載されている内容は、２
列目から９列目までの項目が視点パラメータの具体例を
示しており、テーブルの左側の列から順に次の通りであ
る。

【０３６３】すなわち、図６２の２行目を例にとると、
仮想視点１とは、座標（０、０、ｚ２）の位置にあり、
向きはＹ−Ｚ平面に対して０度、Ｘ−Ｚ平面に対して−
９０度の角度をなし、視線の中心軸周りの回転はなく、
焦点距離はｆ２、レンズ歪み係数κ１、κ２はともに０
である、ということが記されている。

【０３６４】マッピング手段１０４Dは、カメラパラメ
ータに基づいて、車載カメラからの入力画像を構成する
各々の画素を空間モデル１０３Dにマッピングする。す
なわち、車載カメラから撮影された各々の画像を空間モ
デル１０３Dに透視投影する。

【０３６５】ここで空間モデル１０３Dとは、マッピン
グ手段１０４Dにおいて、カメラからの画像を３次元空
間座標系にマッピングする立体モデルを指し、例えば、
平面もしくは曲面もしくは平面および曲面からなるモデ
ルが使用される。本実施の形態では、説明を容易にする
ために、最も単純な空間モデル１０３Dの一例として路
面としての平面モデルを用い、車載カメラからの画像
を、該平面モデルにマッピングする方法を説明する。

【０３６６】尚、実用に際しては該単純なモデルでは、
高さ成分を持つ物体の歪みが大きくなるなどの問題が生
じるため、平面をいくつか組み合わせた空間モデル、平
面と曲面を組み合わせた空間モデルなどを用いるとよ
い。さらには、車両の周囲の障害物の正確な立体モデル
を実時間で計測することが可能であれば、該立体モデル
を用いると、さらに高精度な合成画像が得られる。

【０３６７】さて、マッピング手段１０４Dにおけるマ
ッピング処理の説明をする前に、まず視平面座標をワー
ルド座標へ変換する方法について説明する必要がある
が、それはすでに、図４８に関して説明したのと同様で
ある。

【０３６８】さて、車載カメラで撮影された画像を構成
する各々の画素の位置は、一般的に画像面を含む平面上
の座標として表されるが、その詳細は既に'２３３の図
７において説明した。

【０３６９】視点変換手段１０５Dは、車載カメラの画
像がマッピング手段１０４Dによって空間モデル１０３D
にマッピングされた結果を、任意の仮想視点に設置した
カメラから撮影した画像に合成する。その方法の概要
は、視点変換手段１０５Aに関して説明した。

【０３７０】ところで、視点変換手段１０５Dにおい
て、前記任意視点にカメラを置いて見たときの画像を合
成する際に、前記合成画像のある画素に対応する空間モ
デル１０３Dの点に、色がマッピングされていない場合
も考えられる。その場合については、すでに説明した。

【０３７１】図６３は、マッピング手段１０４Dによっ
て車載カメラからの入力画像を構成する各々の画素を空
間モデル１０３Dとしての平面にマッピングし、該平面
にマッピングされた結果を、仮想視点に設置したカメラ
から撮影した画像に合成する様子を示した概念図であ
る。

【０３７２】視点パラメータ修正手段１０６Dは、それ
ぞれのカメラ毎に設けられている仮想視点のパラメータ
を、それぞれ独立して修正できる。

【０３７３】図６４は、視点パラメータ修正手段１０６
Dによって仮想視点パラメータを修正するための操作部
の構成例を示したものである。本実施の形態では、 ・修正の対象となる仮想視点を選択する、視点選択ボタ
ン１００１ ・仮想視点からの視線の中心軸上を前後に移動する、ズ
ームボタン１００４（前向き、後向き） ・仮想視点からの視線方向に垂直に視点位置を平行移動
する平行移動ボタン１００２（画像面に対して上下左右
の動き） ・仮想視点からの視線方向の変更と、仮想視点からの視
線方向周りの回転を修正するジョイスティック１００３
Dから構成され、（ａ）ズームボタン１００４D、平行移
動ボタン１００２Dの操作によって、仮想視点の３次元
空間位置を、（ｂ）ジョイスティック１００３Dによっ
て、仮想視点からの視線方向を、それぞれ変更すること
ができ、上記（ａ）、（ｂ）の操作によって、それぞれ
当該仮想視点パラメータの以下の情報が修正され、視点
パラメータテーブル１０８に上書きされる。 （ａ）３次元空間座標系における仮想視点位置のＸ、
Ｙ、Ｚ座標 （ｂ）仮想視点からの視線方向のうちＹ−Ｚ平面に対し
てなす角度α 仮想視点からの視線方向のうちＸ−Ｚ平面に対してなす
角度β 仮想視点からの視線の中心軸の周りの回転角度γ 同時に、修正された結果は、即座に式（８）に反映す
る。すなわち、式（８）において、式０に示す回転行列
が、新たな視線方向を用いて再度計算されるとともに
（ｔｘ，ｔｙ，ｔｚ）を、新たな仮想視点位置の座標で
置き換える。

【０３７４】その結果、変更後の式（８）を用いること
によって修正操作の結果としての画像が合成され、操作
者は該合成画像を見ることにより、自身の修正の操作が
正しいかどうかを一目で確認することが可能である。

【０３７５】ところで、仮想視点のパラメータ修正の操
作のうち、仮想視点の向き・位置・回転の操作を変更す
る操作は、操作の内容と操作結果画像の振る舞いが一致
している方が、操作者にとって直感的に分かりやすい。
そのためには、パラメータ修正の操作のうちの次の操
作、すなわち、 （１）ジョイスティック１００３Dの軸を上下左右に動
かす、いわゆるカメラの光軸の向きの調整に相当する操
作 （２）ジョイスティック１００３Dの軸自身を回転させ
る、いわゆるカメラの光軸周りの回転の調整に相当する
操作 （３）平行移動ボタン１００２Dの操作によって、仮想
視点からの視線方向に垂直に視点位置を平行移動する操
作の３通りの操作は、本実施の形態に記載のごとく、仮
想視点の向き・位置・回転の操作を変更する操作方向
と、実際の視点パラメータの変更方向の関係を、互いに
逆方向とする。

【０３７６】すなわち、例えばジョイスティック１００
３Dを例に挙げると、ジョイスティック１００３Dの操作
によって傾けられた軸の向きと同じように視線の中心軸
を設定するのではなく、ジョイスティック１００３Dの
軸を動かした向きとは反対の方向に同じだけ視線方向を
動かし、動かした後の状態を変更された視線方向として
視線パラメータテーブル１０２Dに書き込めばよい。例
えば、ジョイスティック１００３Dを右に１０度傾けた
とすると、その時の視点パラメータ値は、視線方向が現
在の視線に対して左に１０度傾いた値とする。同様に、
ジョイスティック１００３Dを時計回りに５度回転させ
たとすると、その時の視点パラメータ値は、視線の中心
軸周りの回転角度を、反時計回りに５度回転させた値と
する。平行移動ボタン１００４Dの操作についても同様
である。

【０３７７】図６５は本実施の形態の画像生成装置に関
連のある技術の構成例を示したブロック図である。

【０３７８】ここでは、図６１の構成に対して、さら
に、カメラ入力画像と合成画像との間の画素の対応づけ
関係を保持するマッピングテーブル１０９Dを備えてい
る。

【０３７９】このマッピングテーブル１０９Dを表形式
で示した概念図は、図５１と同じ内容であるので詳細は
省略する。テーブルは、表示手段１０７Dにて表示する
画面の画素数分のセルから構成されている。

【０３８０】このような画像生成装置では、視点パラメ
ータ修正手段によって、視点パラメータが修正された
ら、カメラ入力画像と合成画像との間の画素の対応づけ
関係のうち、該修正によって変更の生じる部分を、上記
手順に従って再度計算し書き換えればよい。

【０３８１】マッピングテーブル１０９Dが作成されて
いる場合は、表示手段１０７Dは、マッピング手段１０
４Dおよび視点変換手段１０５Dでの処理結果を用いて、
合成画像を表示するのではなく、該テーブルを用いて、
カメラ画像を表示画像に直接置き換えるようにする。こ
れにより複数カメラ画像の合成処理の高速化が可能とな
る。

【０３８２】さらに、前記視点パラメータ修正手段によ
って、仮想視点の位置、向きなどが変更された場合の、
他のマッピングテーブルの高速な修正方法を示す。

【０３８３】図６６（ａ）は本実施の形態の画像生成装
置に関連する技術の構成例を示したブロック図、（ｂ）
は視点パラメータ修正前の車載カメラ合成画像例を示す
概念図、（ｃ）は視点パラメータ修正後の車載カメラ合
成画像例を示す概念図である。

【０３８４】本画像生成装置では、先の装置に、さら
に、視点パラメータ修正手段での処理によって変更され
た視点パラメータを用いて、前記マッピングテーブルを
再計算するマッピングテーブル修正手段１１０D、マッ
ピングテーブル修正手段１１０Dの処理途中のデータを
一時的に格納するバッファ１１１Dを備えた構成とな
る。

【０３８５】このマッピングテーブル修正手段１１０D
により、視点パラメータの修正結果を式（８）に反映さ
せて、この式（８）の複雑な計算をすることなく、上記
マッピングテーブルの内容を変更することが可能であ
る。以下で該マッピングテーブルの変更方法を手順を追
って説明する。

【０３８６】尚、図６７（ａ）〜（ｃ）は、該マッピン
グテーブルの変更方法の説明の補助に使用する概念図で
あり、灰色で示されている平行四辺形は仮想視点修正前
の画像面、白色で示されている平行四辺形は仮想視点修
正後の画像面を表している。また、仮想視点パラメータ
を修正するための操作部の構成が図６４のようであると
する。 処理１．：マッピングテーブルの変更結果を一時的に格
納するバッファ１１１Dを予め設けておく。 処理２．：視点パラメータ修正手段によって、平行移
動、方向、回転、ズームのいずれかの視点パラメータ修
正情報を得、この情報内容に応じて以下の４つのいずれ
かの処理により、仮想視点修正前の表示座標（ｕ，ｖ）
と修正後の表示座標（ｕ'，ｖ'）の対応関係のデータ
（以下、テーブル変換データ）を計算し、バッファ１１
１Dに書き込む。

【０３８７】（１）平行移動ボタン操作 平行移動の場合、図６７（ａ）に示すように、平行移動
ボタンによって移動前と移動後の画素単位での移動距離
（ｄｕ，ｄｖ）を獲得し、式（１０）によって、変更前
の座標Ｐ１と変更後の座標Ｐ１'の関係を求め、上記関
係をバッファ１１１Dに書き込む。

【０３８８】

【式１０】

【０３８９】（２）ジョイスティックによる方向修正操
作 仮想視点からの視線方向の場合、図６７（ｂ）に示すよ
うに、変更前と変更後の角度の変位分（θ，φ）を獲得
し、式（１１）および式（１２）によって、変更前の座
標Ｐ２と変更後の座標Ｐ２'の関係を求め、上記関係を
バッファ１１１Dに書き込む。

【０３９０】

【式１１】

【０３９１】

【式１２】

【０３９２】（３）ジョイスティックによる回転操作 仮想視点からの視線方向周りの回転を修正する場合、図
６７（ｃ）に示すように、変更前と変更後の回転角度ρ
を獲得し、式（１３）によって、変更前の座標Ｐ３と変
更後の座標Ｐ３'の関係を求め、上記関係をバッファ１
１１Dに書き込む。

【０３９３】

【式１３】

【０３９４】（４）ズームボタン操作 ズーム（倍率）を修正する場合、ズームボタンによって
変更前に対する変更後の倍率ｋを獲得し、式（１４）に
よって、変更前の座標Ｐ４と変更後の座標Ｐ４'の関係
を求め、上記関係をバッファ１１１Dに書き込む。

【０３９５】

【式１４】

【０３９６】処理３．：バッファ１１１Dを参照しマッ
ピングテーブルを変更する。上記処理２．によって、マ
ッピングテーブルの各セルの座標１の変更内容が、例え
ば以下のようなテーブル変換データとして、バッファ１
１１Dに書き込まれている。

【０３９７】（修正前の座標：Ｐ、修正後の座標：
Ｐ'）該データを参照し、マッピングテーブルのすべて
のセルについて、下記の（ａ）（ｂ）の条件を満たせ
ば、該セルの修正前の座標１：Ｐを、前記テーブル変換
データの修正後の座標Ｐ'に変更する。 （ａ）セルのカメラ番号が修正対象となった仮想視点に
対応する車載カメラ番号と一致する。 （ｂ）セルの修正前の座標１：Ｐが、前記テーブル変換
データの左側の項の座標と一致する。

【０３９８】なお、カメラ番号が修正対象となった仮想
視点に対応する車載カメラ番号と一致するが、座標１の
修正の行われなかったセルは、修正された仮想視点から
見たときの視野範囲外になっていると考えられるため、
表示手段における表示エリア外の座標値を書き込む。ま
たその場合は、表示手段では、表示できない座標値が入
力されたら視野外を示す色として、例えば黒を表示する
などとすればよい。

【０３９９】以上、本実施の形態による画像生成装置を
構成するそれぞれの手段の実施の形態を説明した。最後
に、本実施の形態による画像生成装置における修正処理
の流れを図を用いて説明する。

【０４００】図６８は、本実施の形態の画像生成装置に
おける視点パラメータの修正処理の流れを示すフローチ
ャート、図６９（ａ）〜（ｃ）は、視点パラメータの修
正処理の説明の補助に使用する概念図である。 １．（処理１５０１）視点選択ボタン１００１Dなどで
修正対象となる仮想視点を選択する。その際には画面上
には、図６９（ａ）のごとく、合成画像がずれている様
子が表示されている。 ２．（処理１５０２）本実施の形態の請求項５８に記載
のごとく、修正中の仮想視点を仮の仮想視点（例えば修
正前の視点）に置き換え固定する。 ３．（処理１５０３）ズームボタン１００４D、平行移
動ボタン１００２D、ジョイスティック１００３Dを用い
て、仮想視点の３次元空間位置と、視線の向きを修正す
る。修正処理中は、上記２の処理によって視点が固定さ
れているため、あたかも視点部分においたカメラを手で
調整しているかのごとく、視点修正の作業を行うことが
できる。修正がうまくできれば、例えば図６９（ｂ）の
画面を経て、図６９（ｃ）のごとく、ずれのない様子が
表示される。 ４．（処理１５０４）当該仮想視点の修正が終了する
と、修正後の視点パラメータを視点パラメータテーブル
１０８に書き込む。 ５．（処理１５０５）他に修正の必要があるカメラがあ
れば、続いて前記カメラを選択し、上記処理１５０１〜
１５０４を繰り返す。無ければ次の処理１５０６に進
む。 ６．（処理１５０６）仮想視点の仮の仮想視点に固定す
る状態を解除する。その合成結果、画面は、図６９
（ｃ）のごとく、ずれのない画像が表示されており、そ
の確認でもって視点パラメータ修正処理を終了する。

【０４０１】尚、図６９（ａ）〜（ｃ）の概念図に示し
たごとく、各々の車載カメラからの画像を接合する部分
においては、本実施の形態（請求項５９の一例）のよう
に、該接合部分に、見た目に違和感を与えない程度のマ
ーカ（例えば点線）などを印しておくと、どのカメラの
画像がどこに表示されているかが分かり易くなる。

【０４０２】以上のように、本実施の形態では限られた
台数のカメラからの画像を用いて任意の仮想視点からの
画像を合成する。車両走行中の振動などにより、カメラ
の位置、向きがずれた場合、従来では、カメラそのもの
の微調整によってずれを元通りにするという方法をとっ
ていたため、前記ずれた画像を他の画像に合せ込む作業
が困難であった。しかし本実施の形態では、仮想視点と
いう概念を導入し、該仮想視点から見た画像を見なが
ら、視点パラメータ修正手段によって、ずれの生じた画
像のみを、あたかも仮想視点においたカメラを調整する
かのごとく、修正することができる。その際、視点の位
置の移動、向きの変更後の状態を、都度画像としてフィ
ードバックするため、修正作業者は、表示画像を都度確
認しながら最適の画像を得ることができるため、従来に
比べて、画像のずれの合せ込み作業が格段に容易になる
し、微少なずれであれば、大規模な装置を用いてのカメ
ラパラメータの再調整も必要ではなくなる。

【０４０３】また、本実施の形態では、実際のカメラの
向きを調整するのではなく、仮想に設けた視点の向き、
位置などのパラメータを修正するので、カメラの向きを
変更する機構が必要でなくなり、装置のコストを低価格
に押さえることが可能となる。

【０４０４】

【発明の効果】本発明のキャリブレーション装置は、車
両周囲監視、店舗内監視等のカメラ分野に応用でき、カ
メラの方向がずれた場合、画像上容易に修正できるとい
う長所を有する。

【図面の簡単な説明】

【図１】本発明の一実施の形態の構成例を示したブロッ
ク図

【図２】本実施の形態を組み合わせた装置の構成例を示
したブロック図

【図３】本実施の形態の構成例を示したブロック図

【図４】本実施の形態の構成例を示したブロック図

【図５】本実施の形態の構成例を示したブロック図

【図６】図１〜図５を統合した画像生成装置を示したブ
ロック図

【図７】車両へのカメラの取り付け例を示した概念図

【図８】カメラで撮影された画像を含む平面に設定した
Ｕ−Ｖ座標系の点と、３次元空間座標系の点との対応づ
けの関係を表した概念図

【図９】カメラパラメータテーブル103に格納されてい
るデータを表形式で示した図

【図１０】温度補正テーブル111 の例を表形式で示した
図

【図１１】度補正テーブルを用いて書き換えられたカメ
ラパラメータテーブル103 の例を表形式で示した図

【図１２】空間データを格納する空間データバッファ10
5 の記述例を表の形式で示した図

【図１３】路面上の特徴点と車両との位置関係を上部か
らみた概念図

【図１４】図１３の車載カメラ１で前記特徴点を含む路
面を撮影した画像を表す概念図

【図１５】図１３の車載カメラ２で前記特徴点を含む路
面を撮影した画像を表す概念図

【図１６】路面上の特徴点Ａ，Ｂ，Ｃと車両との位置関
係を上部から見た概念図

【図１７】図１６の車載カメラ１で前記特徴点Ａ，Ｂを
含む路面を撮影した画像を表す概念図

【図１８】図１６の車載カメラ２で前記特徴点Ｂ，Ｃを
含む路面を撮影した画像を表す概念図

【図１９】図１６の車載カメラ１および車載カメラ２で
撮影した画像を用い、本実施の形態による視点変換手段
１０６によって仮想カメラから見た画像を合成した様子
を表す概念図

【図２０】仮想カメラの設置場所の例として、車両のほ
ぼ中心の上方にカメラを下向きに設置した場合を示した
概念図

【図２１】（ａ）仮想カメラの設置場所の例として、車
両のほぼ前方斜め上方にカメラを車の方へ向けて設置し
た場合を示した概念図（ｂ）上記（ａ）の場合の合成画
像の例を示す概念図

【図２２】（ａ）特徴点生成手段１０９としてのパター
ン光照射装置を車体側面上部に取付けた様子を示す概念
図 （ｂ）パターン光照射装置を車体上部に数箇所取り付け
て、路面にパターン光を照射した状態を車両上部から見
た様子を示す概念図 （ｃ）路面に照射された長方形のパターン光をカメラか
ら撮影した様子を示す概念図

【図２３】キャリブレーション手段102 において、温度
によってカメラパラメータテーブル103 の更新処理を行
う手順を示すフローチャート

【図２４】空間データ変換手段114 における処理の手順
を示すフローチャート

【図２５】空間データ変換手段114 の説明の補助に用い
る概念図

【図２６】補正履歴の記録を確認し、必要に応じて補正
指示を出す処理の手順を示すフローチャート

【図２７】本実施の形態の処理の流れを示すフローチャ
ート

【図２８】（ａ）本実施の形態の一例を示したブロック
図 （ｂ）本実施の形態の一例を示したブロック図

【図２９】（ａ）〜（ｄ）空間モデルを鳥瞰図的に示し
た概念図

【図３０】カメラで撮影された画像を含む平面に設定し
たＵ−Ｖ座標系の点と、３次元空間座標系の点との対応
づけの関係を表した概念図

【図３１】マッピング手段１０４Aにおけるマッピング
処理の手順を示すフローチャート

【図３２】車両と該車両の周囲に存在する障害物との距
離に基づいて、３次元空間内についたて面を立てる方法
を示す概念図

【図３３】本実施の形態の処理の流れを示すフローチャ
ート

【図３４】（ａ）本実施の形態の車両周囲監視装置の構
成例を示したブロック図 （ｂ）本実施の形態の車両周囲監視装置の構成例を示し
たブロック図 （ｃ）本実施の形態の車両周囲監視装置の構成例を示し
たブロック図

【図３５】（ａ）本実施の形態による空間モデルを鳥瞰
図的に示した概念図 （ｂ）本実施の形態による空間モデルを車両の上方から
下向きに透視投影した概念図

【図３６】（ａ）〜（ｄ）本実施の形態による路面特徴
検出手段１０３Bで特徴点を抽出する処理の例を示す図

【図３７】特徴点の抽出処理の流れを示すフローチャー
ト

【図３８】本実施の形態の車両周囲監視装置において、
車両の動きにともなって特徴点の位置計算を行う処理の
手順を示すフローチャート

【図３９】特徴位置計算手段における処理を示す図

【図４０】特徴修正処理を表示手段１０７Bに表示して
いる様子を示した概念図

【図４１】特徴修正処理における処理の流れを示すフロ
ーチャート

【図４２】本実施の形態による車両周囲監視装置の処理
の流れを示すフローチャート

【図４３】本実施の形態の構成例を示したブロック図

【図４４】（ａ）車両への車載カメラの設置例を示した
概念図 （ｂ）それぞれの車載カメラ画像のモニタへの表示領域
を示した概念図

【図４５】車両を中心とする３次元空間座標系を示した
概念図

【図４６】カメラパラメータテーブル１０２Cに格納さ
れているデータを表形式で示した図

【図４７】視点パラメータテーブルに格納されているデ
ータを表形式で示した図

【図４８】カメラで撮影された画像を含む平面に設定し
たＵ−Ｖ座標系の点と、３次元空間座標系の点との対応
づけの関係を表した概念図

【図４９】カメラパラメータ修正手段１０６Cによって
カメラパラメータを修正するための操作部の構成例を示
した概念図

【図５０】本実施の形態に関連する技術の一構成例を示
したブロック図

【図５１】マッピングテーブル１０８Cを表形式で示し
た概念図

【図５２】カメラパラメータの修正処理の流れを示すフ
ローチャート

【図５３】（ａ），（ｂ）カメラパラメータ修正時の表
示画面例を示す概念図

【図５４】（ａ），（ｂ）カメラパラメータ修正時以外
（すなわち通常時）の表示画面を示す概念図

【図５５】本実施の形態の構成例を示したブロック図

【図５６】本実施の形態の構成例を示したブロック図

【図５７】点光源を用いてガイドデータを生成する場合
を示す概念図

【図５８】車体の線分を用いてガイドデータを生成する
場合を示す概念図

【図５９】点光源を用いたガイドデータを利用してキャ
リブレーションを行う様子を示す概念図

【図６０】線分を用いたガイドデータを利用してキャリ
ブレーションを行う様子を示す概念図

【図６１】本実施の形態の構成例を示したブロック図

【図６２】視点パラメータテーブル１０８Dに格納され
ているデータを表形式で示した図

【図６３】車載カメラからの画像を仮想視点からの画像
に変換する様子を示した概念図

【図６４】視点パラメータ修正手段１０６Dによって視
点パラメータを修正するための操作部の構成例を示した
概念図

【図６５】本実施の形態に関連する技術の一構成例を示
したブロック図

【図６６】（ａ）本実施の形態に関連する技術の一構成
例を示したブロック図 （ｂ）視点パラメータ修正前の車載カメラ合成画像例を
示す概念図 （ｃ）視点パラメータ修正後の車載カメラ合成画像例を
示す概念図

【図６７】（ａ）〜（ｃ）マッピングテーブル１０９D
の変更方法を示す概念図

【図６８】視点パラメータの修正処理の流れを示すフロ
ーチャート

【図６９】（ａ）〜（ｃ）視点パラメータの修正処理を
示す概念図

【図７０】従来の画像生成装置の構成例を示したブロッ
ク図

【図７１】従来の車両周囲監視装置の構成例を示したブ
ロック図

【符号の説明】

１０１ カメラ １０２ キャリブレーション手段 １０３ カメラパラメータテーブル １０４ 空間再構成手段 １０５ 空間データバッファ １０６ 視点変換手段 １０７ 表示手段 １０８ 特徴点抽出手段 １０９ 特徴点生成手段 １１０ 温度センサ １１１ 温度補正テーブル １１２ 移動方向検出手段 １１３ 移動距離検出手段 １１４ 空間データ変換手段 １１５ 補正履歴記録手段 １１６ カメラ補正指示手段 １０１A カメラ １０２A カメラパラメータテーブル １０３A 空間モデル作成手段 １０４A マッピング手段 １０５A 視点変換手段 １０６A 表示手段 １０７A 距離センサ １０８A 障害物検知手段 １０１B カメラ １０２B カメラパラメータテーブル １０３B 路面特徴検出手段 １０４B 空間モデル作成手段 １０５B マッピング手段 １０６B 視点変換手段 １０７B 表示手段 １０８B 移動距離検出手段 １０９B 移動方向検出手段 １１０B 特徴修正手段 １０１C カメラ １０２C カメラパラメータテーブル １０３C 空間モデル １０４C マッピング手段 １０５C 視点変換手段 １０６C カメラパラメータ修正手段 １０７C 表示手段 １０８C マッピングテーブル ９０１C カメラ選択ボタン ９０２C 平行移動ボタン ９０３C ジョイスティック ９０４C ズームボタン １０１D カメラ １０２D カメラパラメータテーブル １０３D 空間モデル １０４D マッピング手段 １０５D 視点変換手段 １０６D 視点パラメータ修正手段 １０７D 表示手段 １０８D 視点パラメータテーブル １０９D マッピングテーブル １１０D マッピングテーブル修正手段 １１１D バッファ １００１D カメラ選択ボタン １００２D 平行移動ボタン １００３D ジョイスティック １００４D ズームボタン

【手続補正書】

【提出日】平成１３年８月２３日（２００１．８．２
３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００５９

【補正方法】変更

【補正内容】

【００５９】図１１は、図１０の例の温度補正テーブル
111 を用いて書き換えられたカメラパラメータテーブル
103 の例である。図１１の例では、カメラ１、カメラ２
のみが、ある時点に直射日光を受けるなどして４０度以
上の温度となり、それ以外は０度から４０度未満の温度
値を保っている場合を示している。図１１のカメラパラ
メータテーブル103 から分かる通り、カメラ１およびカ
メラ２のカメラパラメータが、温度が４０度以上の場合
の温度補正処理によって、 ・レンズの焦点距離は df1 増加 ・レンズ歪み係数κ１は κ12 増加 ・レンズ歪み係数κ２は κ22 増加 していることが分かる。なお、前述の仮想カメラに関し
ては、温度によって焦点距離やレンズ歪みが変化しない
理想的なレンズとすることが可能であるので、本補正処
理の対象外とする。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０２１１

【補正方法】変更

【補正内容】

【０２１１】２-３．法線ベクトル(dx,dy,dz)を持ち、
点(px1,py1,pz1)を通る平面（式(15)）を、ついたて面
とする。

【式１５】 dx(x-px1) + dy(y-py1) + dz(z-pz1) = 0 ３．前記ついたて面は、必要がなくななれば取り除く。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 特願平10−317407 (32)優先日 平成10年11月９日(1998．11．9) (33)優先権主張国 日本（ＪＰ） (31)優先権主張番号 特願平10−324701 (32)優先日 平成10年11月16日(1998．11．16) (33)優先権主張国 日本（ＪＰ） (72)発明者 登 一生 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA16 BA11 BA23 CE08 5C054 AA01 AA05 CA04 CC02 CF01 CG05 EA01 EA05 FA09 FE11 FE28 HA18 HA30

Claims (5)

【特許請求の範囲】
1. 【請求項１】 カメラのキャリブレーションを行った日
   時又は走行距離を記録する補正履歴記録手段と、前記補
   正履歴記録手段を参照し、前回のキャリブレーションの
   日時から一定以上の日時が経過したとき、又は、前回の
   キャリブレーションから一定以上の距離を走行したと
   き、運転者にカメラキャリブレーションを実施するよう
   指示するカメラ補正指示手段とを備え、カメラキャリブ
   レーションの必要性を適切に指示することを特徴とする
   カメラキャリブレーション指示装置。
2. 【請求項２】 少なくとも一台のカメラと、温度を測定
   する温度センサと、前記温度センサが測定した温度に基
   づいて、カメラ特性を示すカメラパラメータを決定する
   キャリブレーション手段と、を備えたことを特徴とする
   カメラキャリブレーション装置。
3. 【請求項３】 前記カメラパラメータを格納するカメラ
   パラメータテーブルと、温度の変化に応じて変化する前
   記カメラパラメータの変化量を格納した温度補正テーブ
   ルとを有し、前記キャリブレーション手段は、温度の変
   化に応じて、前記温度補正テーブルを参照して、前記カ
   メラパラメータを変更することを特徴とする請求項２記
   載のカメラキャリブレーション装置。
4. 【請求項４】 少なくとも一台のカメラと、前記カメラ
   が位置づけられた３次元空間における座標値が既知の複
   数個の特徴点を、前記カメラの視野内に生成する特徴点
   生成手段と、前記複数個の特徴点を抽出する特徴点抽出
   手段と、前記抽出された複数個の特徴点を用いて、前記
   カメラの特性を表すカメラパラメータを計算するキャリ
   ブレーション手段とを備えたことを特徴とするカメラキ
   ャリブレーション装置。
5. 【請求項５】 前記特徴点生成手段は、前記カメラの視
   野内に、前記特徴点としてのパターン光を照射する機能
   を有することを特徴とする請求項４記載のカメラキャリ
   ブレーション装置。