JP2002262156A

JP2002262156A - カメラ装置、カメラシステムおよび画像処理方法

Info

Publication number: JP2002262156A
Application number: JP2001386252A
Authority: JP
Inventors: Masamichi Nakagawa; 雅通中川; Shusaku Okamoto; 修作岡本; Kazuo Nobori; 一生登; Hiroshi Ishii; 浩史石井; Atsushi Morimura; 森村　　淳
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-12-26
Filing date: 2001-12-19
Publication date: 2002-09-13

Abstract

(57)【要約】【課題】画像の計測や合成に用いられるカメラ装置に
おいて、装置特性のばらつきを抑えなくても、精度の高
い計測や合成に利用可能とする。【解決手段】カメラパラメータ記憶手段１３は、カメ
ラ装置１０Ｃ固有の特性を表すカメラパラメータを記憶
する。状態検知手段１５は、温度等のカメラ装置１０Ｃ
の状態を検知する。パラメータ出力手段１６は、状態情
報に応じたカメラパラメータを外部に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を撮影するカ
メラ装置に関するものであり、特に、精度の高い画像が
要求される用途に用いられるカメラ装置に関する技術に
属する。

【０００２】

【従来の技術】従来、カメラによって撮影した対象物の
形状や位置等を計測する技術として、コンピュータビジ
ョンと呼ばれる技術分野がある。

【０００３】例えば、位置の異なる２台のカメラによっ
て撮影された画像から、同一場所を写している画像座標
の対を求め、三角測量の原理によって、その場所の実際
の位置を求めるステレオ視の技術が知られている。

【０００４】また画像合成の分野において、複数のカメ
ラによって撮影された画像を、カメラ間の位置関係や３
次元形状のモデルを用いて変形や接合を行うことによっ
て、広視野の画像を合成したり、実際のカメラ位置とは
異なる仮想視点から見た画像を生成する技術も、すでに
知られている（国際公開公報ＷＯ００／６４１７５号参
照）。

【０００５】このような技術では、単に画像を撮影する
だけでなく、撮影する対象物と画像との対応関係を知る
必要がある。対応関係とは、具体的には、対象物とカメ
ラとの３次元空間における位置関係、３次元の対象物を
２次元の投影像に変換する透視投影、あるいは投影像か
ら画素の２次元配列の画像へのサンプリング等がある。
このような対応関係を正確に求めることが、対象物の位
置、形状を正確に計測したり、複数のカメラの画像をず
れなく接合するために必須となる。

【０００６】そして、このためには、カメラパラメータ
を正確に知らなければならない。「カメラパラメータ」
とは、カメラの特性を記述するパラメータであり、レン
ズの特性、レンズと投影面との関係、カメラの位置、姿
勢、特性等がある。

【０００７】カメラパラメータは大きく２つに分類され
る。１つは、カメラの３次元空間における位置や姿勢を
表すものであり、「外部パラメータ」と呼ばれる。もう
１つは、個々のカメラの特性を表すものであり、「内部
パラメータ」と呼ばれる。内部パラメータとしては、焦
点距離、投影中心、画素サイズ、レンズ歪みパラメータ
等がある。

【０００８】簡単には、内部パラメータは、カメラの仕
様表や設計図から求めることができ、外部パラメータに
ついては、設置場所でのカメラ位置を測ることによって
求めることができる。しかし、この場合、カメラ個体毎
の製造のばらつきによる誤差を含むことになる。

【０００９】より精密には、カメラキャリブレーション
と呼ばれる処理を行う必要がある。カメラキャリブレー
ションは、カメラを設置して、３次元位置が既知の点
（マーカ）を多く含む対象物（ターゲット）を撮影し、
各マーカの３次元座標とその投影像の画像座標との組を
数多く計測し、その組を元にカメラパラメータを推定す
ることによって行っていた。推定の方法としては、例え
ば文献１［松山他「コンピュータビジョン：技術評論と
将来展望」新技術コミュニケーションズ、ｐｐ．３７−
５３、１９９８年６月］に開示されており、ここではそ
の詳細な説明は省略する。

【００１０】

【発明が解決しようとする課題】ただし、このカメラキ
ャリブレーションでは、カメラの視野全体に映る大きな
ターゲットを世界座標系に対して正確な位置に配置しな
ければならず、装置規模が大掛かりなものになるととも
に、処理に手間がかかる。

【００１１】カメラキャリブレーションの手間やターゲ
ットの精度などは、求めるカメラパラメータの精度に比
例する。一般のカメラキャリブレーションの方法は、全
て未知のカメラパラメータを同じ精度で計算する。よっ
て、求めるカメラパラメータの中に高い精度が必要とさ
れるものがあると、カメラキャリブレーション全体がそ
れに合わせた手間のかかるものになってしまう。

【００１２】ここで、内部パラメータは、カメラや部品
の製造時に定まるものであるので、従来は、その機種の
カメラの設計データ等から、その値を求めていた。とこ
ろが、通常、設計データは、個々のカメラの特性のばら
つきを反映しておらず、その機種の平均的な値が用いら
れている。このため、個々のカメラの特性のばらつきに
起因して、上述したコンピュータビジョンの用途のよう
に精度の高い計測や合成等を行う場合には、十分な精度
が得られない場合がある。

【００１３】このような問題は、元来特性のばらつきの
少ない，工作精度が高いカメラを用いることによって解
決することができる。ところが、工作精度が高いカメラ
は、一般の映像撮影用のカメラに比べて特殊なものとな
り、製造の手間がかかり、コストが高いものになってし
まう。

【００１４】例えば、レンズとＣＣＤとの位置関係を表
す投影中心の精度を考える。投影中心のパラメータの単
位はＣＣＤの画素であるが、通常のＮＴＳＣビデオを撮
影する１／４ＣＣＤでは、１画素のサイズは０．００５
ｍｍほどである。すなわち、投影中心の誤差を１画素以
内にするためには、０．００５ｍｍ以下の工作精度が必
要となる。実際に手作業で合わせる場合、現状では、５
画素すなわち０．０２５ｍｍ程度が限界であり、またこ
の程度の精度を出すためには、熟練者による手間のかか
る作業が必要となる。

【００１５】あるいは、カメラパラメータを求めるため
のカメラキャリブレーションを、個々のカメラを使用す
る際に行ってもよいが、上述したように、全てのカメラ
パラメータを求めるカメラキャリブレーションを、個々
のカメラ全てに対して行うのは、大きな手間がかかるた
め好ましくない。

【００１６】前記の問題に鑑み、本発明は、撮影画像に
よって計測や合成を行うカメラ装置として、装置特性の
ばらつきを抑えなくても、精度の高い計測や合成に利用
可能にすることを課題とする。

【００１７】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、カメラ装置
として、画像を撮像するカメラ部と、前記カメラ部の少
なくともカメラ構造パラメータを含むカメラパラメータ
に基づくカメラ個別情報を記憶するカメラ個別情報記憶
部とを備えたものである。

【００１８】請求項１の発明によると、少なくともカメ
ラ構造パラメータについて、設計データのような平均値
ではなく、カメラ個体毎のカメラパラメータを用いて処
理を行うことができるので、個々のカメラの特性のばら
つきがたとえ大きくても、精度の高い計測や合成が可能
となる。

【００１９】請求項２の発明では、前記請求項１のカメ
ラ装置におけるカメラ個別情報は、少なくともカメラ構
造パラメータを含むカメラパラメータであるものとす
る。

【００２０】請求項３の発明では、前記請求項２のカメ
ラ装置におけるカメラ構造パラメータは、少なくとも、
前記カメラ部の投影中心を含むものである。

【００２１】請求項４の発明では、前記請求項１のカメ
ラ装置におけるカメラ個別情報は、前記カメラパラメー
タに基づき求められた合成画像の画素と前記カメラ部の
画素との対応関係を記述したマッピングテーブルである
ものとする。

【００２２】請求項５の発明では、前記請求項１のカメ
ラ装置におけるカメラ個別情報記憶部は、当該カメラ装
置の外部から、前記カメラパラメータが読み取り可能な
ように構成されているものとする。

【００２３】請求項６の発明では、前記請求項１のカメ
ラ装置は、前記カメラ部から出力された画像に、前記カ
メラ個別情報記憶部から出力されたカメラ個別情報を重
畳して出力する画像重畳手段を備えたものとする。

【００２４】請求項７の発明では、前記請求項１のカメ
ラ装置は、当該カメラ装置の状態を検知する状態検知手
段を備え、前記カメラ個別情報記憶部は、前記状態検知
手段によって検知された状態に応じたカメラ個別情報を
出力するものとする。

【００２５】請求項７の発明によると、温度やズーム等
のカメラ装置の状態に応じたカメラパラメータが出力さ
れるので、より高精度な計測や合成が可能となる。

【００２６】また、請求項８の発明が講じた解決手段
は、カメラシステムとして、画像を撮像するカメラ部
と、前記カメラ部の，少なくともカメラ構造パラメータ
を含むカメラパラメータに基づくカメラ個別情報を記憶
するカメラ個別情報記憶部と、前記カメラ部から出力さ
れた画像を、前記カメラ個別情報記憶部から出力された
カメラ個別情報を用いて処理する画像処理部とを備えた
ものである。

【００２７】また、請求項９の発明が講じた解決手段
は、画像処理部を有するカメラシステムにおいて画像を
処理する方法として、前記カメラシステムにカメラ装置
が取り付けられた際に、前記カメラ装置が記憶するカメ
ラパラメータに基づくカメラ個別情報を前記画像処理部
に入力するステップと、前記画像処理部において、前記
カメラ装置の出力画像を、前記カメラ個別情報に基づき
処理するステップとを備えたものである。

【００２８】

【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照して説明する。

【００２９】（第１の実施形態）図１は本発明の第１の
実施形態に係るカメラ装置の基本構成例を示すブロック
図である。図１に示すカメラ装置１０は、対象物からの
光を投影面に結像させる結像手段１１、結像された像を
画像に変換する撮像手段１２、結像手段１１および撮像
手段１２の特性やその相互関係、および手段１１，１２
とカメラ装置１０との相互関係などを表すカメラパラメ
ータを記憶するカメラパラメータ記憶手段１３を備えて
いる。結像手段１１はレンズ、反射鏡等によって構成さ
れ、撮像手段１２は例えばＣＣＤセンサ等の撮像素子か
ら構成される。またカメラパラメータ記憶手段１３は、
メモリ、ハードディスク等によって構成されている。結
像手段１１および撮像手段１２によってカメラ部１０ａ
が構成されており、カメラパラメータ記憶手段１３によ
ってカメラ個別情報記憶部が構成されている。

【００３０】本願明細書では、カメラパラメータ自身
や、カメラパラメータに基づき求められる，カメラの個
体毎に異なる特性を表す情報を、「カメラ個別情報」と
称する。ここでは、カメラパラメータが、カメラ個別情
報に相当する。

【００３１】画像処理装置５０はカメラ装置１０から出
力された画像およびカメラパラメータを用いて、例え
ば、画像に映った対象物までの実際の距離等を計測した
り、複数のカメラ装置からの画像を変形・合成したりす
る。そして、計測結果や合成画像を出力する。例えば、
出力された合成画像は、別途設けられたモニタに映され
る。カメラ装置１０および画像処理装置５０によって、
カメラシステム１００が構成されている。

【００３２】図２はカメラパラメータ記憶手段１３に記
憶されたカメラパラメータの一例である。図２に示すよ
うに、カメラパラメータ記憶手段１３は、カメラパラメ
ータとして、焦点距離ｆ、投影中心（ｕ０，ｖ０）、画
素サイズ（ｄｐｘ，ｄｐｙ）およびレンズ歪みパラメー
タｋを記憶している。

【００３３】ここで、カメラパラメータは、すでに述べ
た内部パラメータと外部パラメータという通常の分類の
他に、「カメラ外形」という観点からも分類することも
できる。本願明細書では、カメラパラメータを、「カメ
ラ部品パラメータ」「カメラ構造パラメータ」「カメラ
外形パラメータ」の３種類に分類する。「カメラ部品パ
ラメータ」は、画素サイズやレンズ歪みパラメータのよ
うな、カメラを構成する要素部品（ＣＣＤ，レンズ）の
特性を表すものである。「カメラ構造パラメータ」は、
カメラ外形に対するレンズの位置や向き、ＣＣＤに対す
るレンズの位置を決める投影中心、焦点距離などのよう
な、カメラの内部構造に関するものである。また「カメ
ラ外形パラメータ」は、カメラ外形の世界座標系に対す
る位置や向きを表すものである。

【００３４】すなわち、図２の例では、カメラ構造パラ
メータとして、焦点距離および投影中心が記憶され、カ
メラ部品パラメータとして、画素サイズおよびレンズ歪
みパラメータが記憶されている。

【００３５】図３はカメラと撮影対象物との関係を示す
模式図である。図３を用いて各カメラパラメータについ
て説明する。撮影対象物は、レンズ１０２によって、カ
メラ装置１０の投影面１０３に投影像として投影され
る。投影面１０３にはフィルム、ＣＣＤ等が置かれ、光
学的または電気的にサンプリングされ、２次元画像に変
換される。

【００３６】図３において、広角、望遠等を表すカメラ
パラメータである焦点距離ｆは、光軸ＬＡ上でのレンズ
中心ＣＮと投影面１０３との距離として定義される。ま
た投影中心（ｕ０，ｖ０）は、画像中で光軸ＬＡが横切
る点の座標に相当する。画素サイズ（ｄｐｘ，ｄｐｙ）
は、画像の１画素の投影面１０３上の縦横のサイズであ
り、画素から投影面の座標に変換する際に必要なカメラ
パラメータである。

【００３７】さらに、実際のレンズでは、光線が通過す
る位置に応じて屈折率が異なるため、レンズ歪みが生じ
る。例えば図４に示すように、格子状の対象物を撮影し
た場合、レンズ歪みがない場合は図４（ａ）のような画
像が得られるが、レンズ歪みがあると、図４（ｂ）のよ
うな糸巻き状や図４（ｃ）のようなたる型の歪みが生じ
る。

【００３８】レンズ歪みとしては通常、投影中心Ｏから
の距離に応じた歪みのモデルを用いることが一般的であ
る。例えば、投影面での投影中心を原点とする２次元座
標を（ｕ，ｖ）とした時、歪みのない場合の理想的な座
標（ｕ’，ｖ’）は、レンズ歪みパラメータｋを用い
て、ｕ’＝ｕ＋ｋｕ（ｕ²＋ｖ²）ｖ’＝ｖ＋ｋｖ（ｕ²＋ｖ²） …（１）として求めることができる。

【００３９】そして、「画素サイズ」はＣＣＤの素子の
サイズそのものであり、「レンズ歪みパラメータ」はレ
ンズの光学特性から一意に決まるものである。ＣＣＤや
レンズのようなカメラの要素部品は、機構的に組み立て
られるものではないため、その特性は、個々の製品にお
いてほとんどばらつかない。すなわち、図２に示すカメ
ラパラメータのうち、画素サイズやレンズ歪みパラメー
タのような「カメラ部品パラメータ」は、個々の製品で
はほとんどばらつかないといえる。

【００４０】これに対して、ＣＣＤとレンズとの位置関
係に依存する「投影中心」と「焦点距離」は、組立時の
精度によって、個々のカメラ毎にばらつきが生じる。

【００４１】すなわち、本願明細書において分類した３
種類のカメラパラメータの中で、カメラ製造の精度など
に起因して個別のカメラ毎にばらつくパラメータは、
「カメラ構造パラメータ」である。一方、「カメラ部品
パラメータ」は、カメラ毎のばらつきは小さい。また
「カメラ外形パラメータ」は、同じ個体のカメラであっ
ても、設置場所が変われば変化する。この点については
後述する。

【００４２】ところが、「カメラ構造パラメータ」は、
個体毎にばらつきはするものの、個々のカメラ固有のも
のであるので、一旦組み立てられた後はカメラ自身の構
造が変わらないために、一度精密に測定すれば、その後
変化することは通常まずあり得ない。

【００４３】本願発明は、この点に着目して、個体毎に
ばらつきのある「カメラ構造パラメータ」を、予めカメ
ラ装置のカメラパラメータ部に記憶させ、これにより、
カメラ装置の特性のばらつきを抑えなくても、精度の高
い計測や画像合成に利用可能にするものである。

【００４４】カメラ構造パラメータを含むカメラパラメ
ータは、予め精密なキャリブレーションによって求めら
れている。カメラを利用する個々の場所において、精密
なキャリブレーションを行うものとすると、非常に手間
がかかる。ところが、カメラの製造時に精密なキャリブ
レーションを行う場合は、大量の同一種類のカメラに対
して行うため、たとえ専用のキャリブレーションシステ
ムを作成したとしても、カメラ１個当たりの手間はきわ
めて小さい。

【００４５】またこの場合、カメラ毎のカメラ構造パラ
メータのばらつきが、一定の範囲に高い精度で入ってい
る必要は必ずしもない。ただし、製造後に、各部の特性
や位置関係等が変化しないように注意を払い、カメラ構
造パラメータが固定されることが必要である。しかしな
がら、製造後にカメラ構造パラメータを固定することの
方が、高い精度で製造することよりもはるかに容易であ
る。

【００４６】図５はカメラパラメータ記憶手段１３に記
憶されたカメラパラメータの他の例である。図５の例で
は、図２に示すカメラパラメータに加えて、レンズ中心
相対位置（ｄｘ，ｄｙ，ｄｚ）、光軸の方向ベクトル
（ｎ_sx，ｎ_sy，ｎ_sz）および光軸周りの回転角θｓが記
憶されている。

【００４７】上述の図３において、カメラ１０の位置を
表すカメラパラメータは、レンズ中心ＣＮの座標（Ｘ
ｃ，Ｙｃ，Ｚｃ）によって表すことができる。またカメ
ラ１０１の姿勢を表すカメラパラメータは例えば、レン
ズ中心ＣＮを通り投影面１０３に垂直な直線であるレン
ズ光軸ＬＡの方向（Ｎｘ，Ｎｙ，Ｎｚ）によって表すこ
とができる。これらの外部パラメータは、カメラ１０１
の設置状況に応じて変化するので、その都度求める必要
がある。

【００４８】この外部パラメータは、通常、カメラが設
置された装置や部屋を基準としたいわゆる世界座標系に
対する座標として表現されることが多い。しかしなが
ら、レンズはカメラの筐体の内部にあるので、その位置
や向きを直接計測することは困難である。そこで通常
は、カメラの外形について、世界座標系に対する位置や
向きを計測するとともに、カメラの設計データなどから
カメラ内部におけるレンズの位置に関する情報を得て、
両者を合わせて、世界座標系に対するレンズの位置や向
きを求めていた。

【００４９】すなわち、外部パラメータは、カメラ外形
の世界座標系に対する関係を表すパラメータと、レンズ
等のカメラ外形に対する関係を表すパラメータとに分類
することができる。そして、後者は、本願発明でいう
「カメラ構造パラメータ」に属するものとする。

【００５０】一般にカメラを３次元空間に設置する場
合、例えば、カメラを車両に設置するような場合、カメ
ラの外形を基準として位置や姿勢を決めることになる。
一方、カメラ構造パラメータであるレンズ中心や光軸方
向は、カメラの内部の組立精度等に応じて、カメラ外形
に対してカメラ毎にばらつきが生じる。

【００５１】図６はカメラ装置１０が固定されたときの
状態を示す模式図である。図６に示すように、カメラ装
置１０が３次元空間に固定されたカメラ台２１とネジ穴
２２，２３によって固定されているものとする。カメラ
内部のレンズ中心ＣＮや光軸ＬＡがカメラ装置１０の外
形に対してずれている場合、カメラ装置１０とカメラ台
２１との関係を精密に固定しても、カメラ構造パラメー
タのレンズ中心ＣＮや光軸ＬＡは３次元空間上、カメラ
毎にばらつきが生じる。

【００５２】そこで、カメラ外形の座標系として、ネジ
穴２３を原点Ｏｓとし、ネジ穴２２，２３を結ぶ直線Ｓ
ＮをＺ軸とし、カメラ外形の上下方向をＹ軸、横方向を
Ｘ軸としたＯｓ−Ｘｓ−Ｙｓ−Ｚｓ座標系を設定する。
そして、この座標系に対して、個々のカメラのレンズ中
心ＣＮの相対位置（ｄｘ，ｄｙ，ｄｚ）、光軸ＬＡの方
向ベクトル（ｎ_sx，ｎ_sy，ｎ_sz）、および光軸ＬＡ周り
の回転角θｓをカメラ構造パラメータとしてカメラ毎に
測定し、記憶する。

【００５３】これにより、カメラ装置１０を３次元空間
に精密に固定した場合、カメラ外形パラメータは固定な
ので、このカメラ外形パラメータとカメラ装置に記憶さ
れたカメラ構造パラメータとにより、外部パラメータを
精密に定めることができる。この結果、例えばカメラを
交換する等の場合、外部パラメータを再度キャリブレー
ションせずにすむことになる。

【００５４】なお、カメラパラメータは、図２や図５に
示すものに限定されるものではない。カメラパラメータ
としては、個々のカメラに応じて特性のばらつきが生じ
るものを記憶すればよい。例えば、レンズの色収差やレ
ンズ周辺の画像の輝度が減少するシェーディング歪み等
のパラメータを記憶することも可能である。また、図５
に示すカメラパラメータを全て記憶しなくてもよい。例
えば画素サイズ（ｄｐｘ，ｄｐｙ）はＣＣＤ等の種類に
よってはほぼ一定であり、カメラ毎の個体差が少ないた
め、カメラパラメータとして記憶する必要がない場合も
ある。

【００５５】また、カメラパラメータの表現方法は、図
２や図５に示す形式に限定されるものではない。例え
ば、レンズ歪みのパラメータは、式（１）では、投影中
心から距離の２乗に比例するパラメータｋによって表し
ているが、投影中心からの距離とその距離での歪み量
（ｄｕ，ｄｖ）のテーブルとして表すことも可能であ
る。このような形式によると、より細かい記述が可能に
なる。また、中心からの距離に応じて半径方向に一様に
歪みが生じない場合等には、各画像座標（ｕ，ｖ）での
歪みのない理想座標（ｕ’，ｖ’）の２次元テーブルと
して表現することも可能である。

【００５６】なお、計測や合成の処理のために必要とさ
れるカメラパラメータの精度は、その種類毎に異なる。
例えば図７を用いて、投影中心とレンズ位置とが測定精
度に対して与える影響の差について説明する。

【００５７】図７（ａ）はレンズと投影面との位置関係
がずれた場合を示す図である。ここでは、投影面が平行
に長さｄだけずれたものとする。これは、投影中心がｄ
だけ変化したことに相当する。レンズ中心０の位置には
変化がない。

【００５８】ずれる前の投影面Ｐ１の位置がＰ２に動い
たとすると、例えばレンズ中心から距離Ｌにある対象物
の大きさが、投影面Ｐ１では大きさｈ１、投影面Ｐ２で
は大きさｈ２として計算される。言い換えると、投影中
心が長さｄだけずれた値によって計算する結果、対象物
の大きさを（ｈ１−ｈ２）の誤差を含めて求めてしま
う。焦点距離をｆとすると、そのずれ量は、ｈ１−ｈ２＝（ｄ×Ｌ）／ｆ …（２）となる。

【００５９】一方、図７（ｂ）はレンズ中心の位置がず
れた場合を示す図である。レンズと投影面との位置関係
は固定のまま、カメラ全体の位置が投影面と平行に長さ
ｄだけずれたものとする。この場合、距離Ｌにある対象
物の大きさの誤差は、ｈ１−ｈ２＝ｄ …（３）となる。

【００６０】このように、同じ平行移動のずれｄに対し
て、投影中心のずれはレンズ中心のずれに比べてＬ／ｆ
倍の大きさの誤差を生む。例えば１／２インチＣＣＤに
おける焦点距離３ｍｍの広角レンズの場合、３ｍ先の対
象物に対して、３０００／３＝１０００倍の誤差を生じ
る。

【００６１】よって、レンズ中心の位置は粗い精度で求
めてもよいが、投影中心は高い精度で求めることが必要
となる。言い換えると、予め高い精度が必要となる投影
中心などが求められていれば、レンズ中心の位置は精度
の低いカメラキャリブレーションによって求めるてもか
まわない。精度の低いカメラキャリブレーションは、例
えばターゲットのマーカの個数を少なくすることによっ
て実行できるので、手間がかからない。したがって、必
要とされる精度を予め考慮した上で、それぞれの精度に
応じたキャリブレーションを行うことによって、製造コ
ストを抑えることができる。

【００６２】カメラパラメータ記憶手段１３に記憶され
たカメラパラメータは、信号線等のインターフェースに
よって、画像処理装置５０に伝えられる。カメラパラメ
ータを出力するタイミングとしては、１）電源投入やシステムリセット時２）双方向の信号線等を介して画像処理装置５０から要
求があった場合３）一定時間毎４）画像と同期したタイミング等がある。２）の画像処理手段５０からの要求があった
ときにカメラパラメータを出力する場合には、必要なカ
メラパラメータの種類を同時に要求することによって、
送信するデータ量を削減できる。

【００６３】次に、画像処理装置５０が行う、画像とカ
メラパラメータによる処理の一例について説明する。図
８は実際のカメラ装置１０とは異なる位置にある仮想視
点ＶＰから見た画像を合成する場合を示す図、図９はそ
のカメラ画像と合成画像である。車両１に設置されたカ
メラ装置１０によって撮影されたカメラ画像（図９
（ａ））を、路面ＲＳの３次元形状のモデルを用いて変
形することによって、車両１の後方上方に位置する仮想
視点ＶＰから見下ろしたような合成画像（図９（ｂ））
を合成することができる。このような合成処理は、合成
画像の各画素とカメラ画像の画素との対応関係を求め
て、合成画像の各画素の値を、これに対応するカメラ画
像の画素の値に応じて設定することによって行われる。

【００６４】合成画像の画素とカメラ画像の画素の対応
関係について、図１０を用いて詳細に説明する。図１０
において、合成画像の画素は、仮想視点のレンズ中心Ｏ
ｖから光軸方向に焦点距離ｆｖの距離にある投影面上の
点Ｐｖに対応しており、同様に実カメラの画素は、レン
ズ中心ＣＮから焦点距離ｆｃの投影面上の点Ｐｃに対応
する。

【００６５】点Ｐｖと点Ｐｃが同じ対象物を映している
とすれば、点Ｐｖと点Ｐｃの対応関係を求めることがで
きる。一般には映っている対象物の位置、形状が既知で
ないと求まらないが、例えばカメラに映っている全ての
物体が路面平面に一致していると仮定すると、この対応
関係は、仮想カメラと実カメラと路面平面との位置関係
だけで求めることができる。図９（ｂ）はそのように全
ての物体が路面平面に一致していると仮定して合成した
画像である。図１０では路面平面の点Ｐｗを介して、仮
想視点の点Ｐｖと実カメラの点Ｐｃとが対応づけられて
いる。

【００６６】路面平面の点Ｐｗ（Ｘ_w，Ｙ_w，Ｚ_w）か
ら、実カメラの投影面上の点Ｐｃ（Ｕ_c，Ｖ_c）を求め
る手順について説明する。

【００６７】実カメラの点Ｐｃはカメラ内部のレンズを
基準とした座標系で定義される。一方、レンズの座標系
は、カメラの外形を通じて点Ｐｗの定義されている世界
座標系と関連づけられる。よって点Ｐｗから点Ｐｃへの
変換は、点Ｐｗを世界座標系からカメラ外形の座標系Ｏ
ｓ−Ｘｓ−Ｙｓ−Ｚｓへの表現へ変換し、次いで、カメ
ラ外形の座標系からレンズ中心などのカメラ（内部）の
座標系の表現へ変換するという、２段階の変換となる。
カメラ外形の座標系の定義としては、図６で示したよう
な取付けのネジ穴を基準とした座標系が考えられる。

【００６８】点Ｐｗのカメラ外形の座標系で表した座標
を（ｘ_s，ｙ_s，ｚ_s）とすると、最初の変換は、

【数１】で表される。ここで、（Ｔ_xs，Ｔ_ys，Ｔ_zs）は世界座標
系における，カメラ外形の座標系の原点の位置を表して
おり、Ｒ_swはカメラ外形の座標系を世界座標系に一致さ
せる回転行列であり、カメラ外形の向きから計算でき
る。

【００６９】次に、点Ｐｗをカメラ内部の座標系で表し
たものを（ｘ_c，ｙ_c，ｚ_c）とすると、変換は、

【数２】で表される。ここで、（ｄｘ，ｄｙ，ｄｚ）は、図５に
示すレンズ中心相対位置である。また、Ｒ_csはカメラ内
部の座標系をカメラ外形の座標系に一致させる回転行列
であり、図５に示す光軸の方向ベクトル（ｎ_sx，ｎ_sy，
ｎ_sz）を用いると、

【数３】ここで、

【数４】と表される。よって、式（４），（５）によって、路面
上の点Ｐｗを世界座標系から実カメラの視点座標系で表
すことができる。

【００７０】次に、投影面上の点Ｐｃ（Ｕ_c，Ｖ_c）
は、実カメラの焦点距離ｆｃを用いて、透視投影変換に
より、

【数５】と求められる。ここで（Ｕ_c，Ｖ_c）の単位は投影面上
の実寸であるが、これを画素座標系での座標（ｕ’，
ｖ’）に変換するためには、カメラパラメータの画素サ
イズ（ｄｐｘ，ｄｐｙ）と投影中心（Ｕ０，Ｖ０）を用
いて、ｕ’＝Ｕ_c／ｄｐｘ＋Ｕ０ｖ’＝Ｖ_c／ｄｐｙ＋Ｖ０ …（８）と求められる。そして、（ｕ’，ｖ’）をレンズ歪みパ
ラメータを用いて変換することによって、実際のカメラ
の画素座標値（ｕ，ｖ）を得ることができる。

【００７１】このような変換において、図５に示したよ
うなカメラ毎に異なるカメラパラメータを用いず、固定
の値を用いたとすると、式（５）によるカメラ外形座標
からカメラ内部座標への変換や、式（８）による画素値
への変換において、カメラ毎の構成のばらつきが反映さ
れないことになる。この結果、合成画像の画素と実カメ
ラの画素の対応に、カメラ毎の構成のばらつきに起因す
る誤差が生じ、結果として合成画像に歪みが生じること
になる。

【００７２】図１１はカメラ光軸がずれた場合に生じる
合成画像の歪みを示す図である。図１１では、路面に白
黒のチェッカーボードを置き、これを実カメラによって
斜め方向から撮影した画像から、カメラ前方上空の仮想
視点から路面を真下に見下ろした合成画像を生成してい
る。図１１において、黒枠ＢＦは仮想視点の位置から計
算した格子５×５の領域を表すマーカーである。車両に
搭載したカメラの場合は、路面上の距離や方向などを知
る指標として、黒枠ＢＦのようなグラフィックスを重畳
表示することがある。このグラフィックスは仮想視点の
パラメータからだけ計算できる。実カメラのパラメータ
にずれがなければ、このグラフィックスと合成画像（図
１１ではチェッカボード）は一致する。

【００７３】同図中、（ａ）は実際に使用したカメラ個
体のカメラパラメータを合成処理に用いた場合の合成画
像である。図１１（ａ）を見ると、仮想視点を、路面に
鉛直方向で、チェッカボードの格子が画面の上下方向と
一致するように設定しているので、チェッカボードの格
子が正方形であり、かつ、整列している。

【００７４】図１１（ｂ）は光軸の方向ベクトルがＹｓ
軸周りに２度ずれていた場合の合成画像である。合成処
理に用いたカメラパラメータがカメラ個体のばらつきを
考慮していない場合、このようなずれが生じる可能性が
ある。この場合、仮想視点の位置や向きは（ａ）と同一
であるので、黒枠ＢＦの位置は画面上で変化しない。し
かしながら、参照している実カメラの座標がずれるた
め、合成画像のチェッカーボードには歪みが生じる。例
えば画面の上下方向を車の前後方向に一致させるように
仮想視点を設定しても、合成画像の前後方向は斜めとな
ってしまう。このため、車両の運転支援のために合成画
像を提示した場合などに、運転者に錯覚を起こさせる可
能性がある。

【００７５】図１１（ｃ）は光軸の方向ベクトルがＸｓ
軸周りに２度ずれていた場合の合成画像である。この場
合は、本来正方形であるべきチェッカボードが歪んだ形
になる。このため、車両の運転支援のために合成画像を
提示した場合などに、運転者に、本来平らな路面が斜め
であるかの誤った印象を与えてしまう可能性がある。

【００７６】このような合成画像の歪みは、本願発明の
ように、各カメラ装置に、カメラ個体毎のカメラパラメ
ータを記憶させ、この記憶されたカメラパラメータを合
成処理に用いることによって、容易に解消できる。

【００７７】カメラ構造パラメータの中でも、本発明に
係るカメラ装置を用いて画像合成を行う場合に、特に重
要になるのは、投影中心である。

【００７８】図１２は仮想視点からの合成を行った合成
画像である。車両後部に左右に並べて配置した２台のカ
メラのカメラ画像１，カメラ画像２を、共通の仮想視点
から見た画像に変換して、視点変換画像１，視点変換画
像２を生成する。そして、この２つの視点変換画像１，
２を重ね合わせることによって、広い視野範囲の合成画
像を生成する。この例の場合、画像中央で左右のカメラ
画像が接合されているが、白線などがずれることなく、
接合されていることが分かる。

【００７９】図１３は図１２の合成画像に対して、カメ
ラ構造パラメータの１つである投影中心がずれた場合に
画像が歪む様子を示す図である。同図中、（ａ）は正確
な投影中心の値を用いて合成した場合、（ｂ）は投影中
心が５画素ずれた場合、（ｃ）は１０画素、（ｄ）は２
０画素ずれた場合を示している。

【００８０】図１３（ｂ）を見ると、中央のカメラ画像
の接合部分で白線がわずかにずれていることが分かる。
すなわち、わずか５画素（１／４ＣＣＤで０．０２５ｍ
ｍに相当）のずれによっても、合成画像に影響が出る。
さらに、図１３（ｃ）では白線のずれがよりはっきりと
現れており、図１３（ｄ）では映っていた右上の白線が
消えるなど、非常に歪みの目立つ画像になっている。

【００８１】２０画素のずれは１／４ＣＣＤでは０．１
ｍｍのずれに相当するものであり、映像を単に映すだけ
のカメラの工作精度としては、何ら問題のない程度のも
のである。しかしながら、図１３から分かるように、そ
のカメラ画像を画像合成に利用する場合には、大きな問
題になり得る。５画素程度のずれであっても、歪みが見
えてしまう。

【００８２】このような投影中心のばらつきを工作精度
で抑えようとすると、非常に手間のかかる作業が必要に
なる。ところが、たとえ投影中心がずれていたとして
も、そのずれた投影中心の位置がカメラ毎に正確にわか
っていれば、その値を用いて、図１３（ａ）のような歪
みのない合成画像を生成することができる。すなわち、
カメラ構造パラメータの１つである投影中心を、予めカ
メラ装置に記憶させておくことによって、製造工程にお
いてさほど手間をかけることなく、歪みのない合成画像
を生成することが可能になる。

【００８３】＜マッピングテーブルの利用＞上述したよ
うに、仮想視点から見た合成画像を生成するためには、
合成画像の画素と実カメラの画素との対応関係を求める
必要がある。この対応関係を記述した２次元配列のテー
ブルを持つことによって、処理を高速化することが可能
である。このテーブルをマッピングテーブルと呼ぶ。

【００８４】マッピングテーブルには、合成画像の各画
素に対応した各要素に、対応する実カメラを示す識別番
号や、対応するカメラの画素の座標値が記述されてい
る。また、２つ以上のカメラ画像に対応する要素には、
カメラの画素の混合比などが記述される。

【００８５】以下、マッピングテーブルを用いた実施形
態について説明する。

【００８６】図１４はマッピングテーブルを用いた本実
施形態に係る構成を示すブロック図である。図１４にお
いて、図１と共通の構成要素には図１と同一の符号を付
している。マッピングテーブル生成手段５１は、仮想視
点の情報、例えば位置、向きおよび焦点距離等が与えら
れると、実カメラのカメラパラメータと、カメラ外形パ
ラメータとを用いて、仮想視点の画素と合成画像の画素
との対応関係を記述したマッピングテーブルを作成す
る。対応関係の計算は、例えば路面投影モデルを用いる
場合は、式（４）〜（８）の処理と、仮想視点の画素か
ら路面平面の座標を求める計算とを行えばよい。このマ
ッピングテーブルの作成は、仮想視点が変更された場合
か、カメラの設置位置が変わってカメラ外形パラメータ
が変化した場合に行えばよく、合成画像の１枚１枚につ
いて行う必要はない。

【００８７】なお、このカメラ外形パラメータ自身を、
画像処理装置５０またはカメラ装置１０に記憶してもよ
い。この場合、仮想視点を変えるだけなら、再度カメラ
外形パラメータを求める必要はなくなる。

【００８８】作製されたマッピングテーブルは、マッピ
ングテーブル記憶手段５２に記憶される。複数の仮想視
点を切り替えるために、複数のマッピングテーブルを記
憶してもよい。

【００８９】マッピングテーブル参照手段５３は、マッ
ピングテーブル記憶手段５２から、現在の仮想視点に対
応するマッピングテーブルを読み出す。次に、画像合成
する毎に、合成画像の各画素の値を、マッピングテーブ
ルの対応する要素に記述されたカメラ番号、および対応
する実カメラの座標値を参照して計算する。これによ
り、画像合成処理が、幾何計算を行うことなく、マッピ
ングテーブルを参照するだけで実施でき、高速処理が可
能になる。

【００９０】また、カメラ装置が、上述したような画像
合成に用いられることが明確であり、その仮想視点やカ
メラの設置位置が何種類かに限定される場合は、図１５
に示す構成が可能である。

【００９１】図１５の構成では、カメラ装置１０Ａのマ
ッピングテーブル記憶手段１８にマッピングテーブルが
記憶されており、画像処理装置５０Ａのマッピングテー
ブル参照手段５３は、カメラ装置１０Ａから読み込んだ
マッピングテーブルを参照する。マッピングテーブル記
憶手段１８によってカメラ個別情報記憶部が構成されて
おり、マッピングテーブルが、カメラ個別情報に相当す
る。

【００９２】仮想視点やカメラの位置が限定されている
場合には、カメラパラメータやカメラ外形パラメータが
数種類に限られるので、必要となるマッピングテーブル
を予め想定して生成し、カメラ装置１０Ａ自身に記憶し
ておくことが可能となる。マッピングテーブル参照手段
５３では、現在設置されているカメラの設置位置および
設定されている仮想視点の情報に基づき、対応するマッ
ピングテーブルをマッピングテーブル記憶手段１８から
読み出せばよい。

【００９３】＜カメラ製造から稼働まで＞本発明に係る
カメラ装置の製造から稼働までの手順を、図１６を参照
して、簡単に説明する。

【００９４】まず、カメラ製造工場等において、工程Ｓ
Ａ１〜ＳＡ４が実行される。工程ＳＡ１において、ＣＣ
Ｄ、レンズ、カメラ筐体などの各部品の組み立てが行わ
れる。そして工程ＳＡ２において、各部品を合わせてカ
メラを組み立て、部品間の位置関係を固定する。従来で
は、これら工程で、ＣＣＤやレンズの位置決めについて
極めて高い精度が必要であったが、本発明を適用するこ
とによって、さほど高い位置決め精度が要求されなくな
る。

【００９５】その後、工程ＳＡ３において、ターゲット
を用いたカメラキャリブレーションなどによって、カメ
ラ構造パラメータを含むカメラパラメータを測定する。
そして工程ＳＡ４において、測定したカメラパラメータ
を、カメラ装置１０のカメラパラメータ記憶手段１３に
記憶させる。

【００９６】次に、例えば自動車製造工場等において、
工程ＳＢ１〜ＳＢ５が実行される。工程ＳＢ１におい
て、例えば車両に、当該カメラ装置を設置する。工程Ｓ
Ｂ２において、設置されたカメラ装置のカメラパラメー
タ記憶手段１３に記憶されたカメラパラメータを読み込
む。工程ＳＢ３において、設置された車両や場所に対す
るカメラ外形の位置関係を表すカメラ外形パラメータ
を、キャリブレーション等により求める。次に、工程Ｓ
Ｂ４において、画像処理にこれら全てのカメラパラメー
タが反映するように設定する。その後、工程ＳＢ５にお
いて、カメラ装置を稼働し、個体毎のカメラパラメータ
が反映された計測や画像合成が行われる。

【００９７】カメラの車両等への取り付け位置が固定さ
れ、十分な精度が保証される場合は、工程ＳＢ３におい
て、固定のカメラ外形パラメータを用いるだけですみ、
キャリブレーション等の個別の処理は不要となる。この
場合、事故などでカメラの交換が必要となったとき、従
来では、カメラを取り付け直した後に再度キャリブレー
ションが必要であったが、カメラ交換後、システムリセ
ット時に、工程ＳＢ１〜ＳＢ４を自動で実行するだけ
で、キャリブレーションなどの作業なしに、カメラの稼
働が可能になる。

【００９８】（第２の実施形態）上述の第１の実施形態
では、画像処理装置５０にカメラパラメータを伝送する
ためには、信号線等のインターフェースが必要であっ
た。ところが、カメラ装置１０と画像処理装置５０とが
離れている等の場合には、その間に新たな信号線を引く
ことが困難な場合がある。本実施形態は、カメラパラメ
ータ伝送用の信号線を不要にするものである。

【００９９】図１７は本発明の第２の実施形態に係るカ
メラ装置の構成を示すブロック図である。図１７におい
て、図１と共通の構成要素には、図１と同一の符号を付
している。画像重畳手段１４は、撮像手段１２から出力
された画像に、カメラパラメータ記憶手段１３から出力
されたカメラパラメータを埋め込み、カメラパラメータ
の情報を含む画像を画像処理装置５０に出力する。カメ
ラ装置１０Ｂおよび画像処理装置５０によって、カメラ
システム１００Ｂが構成されている。

【０１００】図１８を用いてカメラパラメータの画像信
号への埋め込みについて説明する。同図中、（ａ）は撮
影手段１２から出力された画像の例であり、（ｂ）は
（ａ）の画像にカメラパラメータを埋め込んだ画像であ
る。図１８（ｂ）では、画像の一部の領域ＡＲに、白色
を“１”、黒色を“０”とした２値でコード化されたカ
メラパラメータが埋め込まれている。例えば、画像の１
走査線を９０等分の区間に分け、各区間の輝度を白また
は黒の２値で１ビットにコード化すれば、１走査線で９
０ビットの情報を付加することができる。

【０１０１】画像処理装置５０は画像信号をキャプチャ
して２次元画素配列に変換する。横幅７２０画素の配列
にキャプチャしたとすると、領域ＡＲの１区間は８画素
に対応する。ＡＤ変換時のオフセット等を考慮し、８画
素の中心の数画素を２値化することによって、カメラパ
ラメータを復元することができる。符号化等に起因して
信号の劣化がある場合は、走査線を分ける区間の個数を
減らしたり、複数の走査線を併せて利用する等によって
対応可能である。例えば、１１種類のカメラパラメータ
をそれぞれ３２ビットの浮動小数点表示で表した場合、
計３５２ビットのデータになる。したがって、４本の走
査線を用いることによって、カメラパラメータを画像に
埋め込むことができる。

【０１０２】なお、画像へのカメラパラメータの埋め込
みは、上述の方法に限定されるものではなく、例えば、
画像信号のブランキングや色信号に埋め込む方法や電子
透かしの技術を用いて画面全体に分散させる方法等も利
用可能である。また、カメラパラメータを常に画像に埋
め込んでもよいし、あるいは一定時間毎の画像に埋め込
んでもかまわない。また、カメラパラメータのデータ量
が多い場合には、カメラパラメータの値とその種類を示
す識別子との組を画像１枚毎に順次埋め込み、複数の画
像によってカメラパラメータ全体を出力するようにして
もよい。

【０１０３】このように本実施形態によると、画像にカ
メラパラメータを重畳して出力することによって、カメ
ラパラメータ伝送用の信号線を新たに設置する必要がな
くなり、すでにある画像の伝送路を用いてカメラパラメ
ータを伝送することができる。本実施形態は、カメラ装
置と画像処理装置との間に新たな信号線を増やすのが困
難な場合、例えば無線による伝送が行われている場合等
に有効である。

【０１０４】なお、図１の構成において、カメラパラメ
ータ記憶手段１３を、カメラ装置１０の外部からカメラ
パラメータが読み取り可能なように構成してもよい。例
えば、バーコードや磁気テープ等によって構成されてい
るものとすると、画像処理装置５０にバーコードや磁気
テープ読みとり手段を設けて、カメラの設置や取替等の
際にカメラパラメータを読みとることができる。これに
より、カメラパラメータ伝送用の信号線が不要になると
ともに、画像にカメラパラメータを重畳させる必要もな
い。

【０１０５】（第３の実施形態）図１９は本発明の第３
の実施形態に係るカメラ装置の構成を示すブロック図で
ある。図１９において、図１と共通の構成要素には図１
と同一の符号を付している。状態検知手段１５は、カメ
ラ装置１０Ｃの温度や絞りの状態、フォーカスの状態、
結像手段１１にズームレンズが用いられている場合はそ
のズームの状態等の、状況に応じて変化するカメラ装置
１０Ｃの状態を検知し、その状態情報を出力する。状態
情報は、個々のカメラで一定ではなく、カメラ装置１０
Ｃが置かれた状況や利用者の操作等によって変化する。
パラメータ出力手段１６はカメラパラメータ記憶手段１
３から、状態検知手段１５によって検知された状態に応
じたカメラパラメータを出力する。カメラパラメータ記
憶手段１３およびパラメータ出力手段１６によって、カ
メラ個別情報記憶部が構成されている。カメラ装置１０
Ｃおよび画像処理装置５０によって、カメラシステム１
００Ｃが構成されている。

【０１０６】カメラパラメータの値は、カメラ装置１０
Ｃの状態によって変化する場合がある。例えば、温度変
化に起因してレンズの変形が起こると、レンズ歪みパラ
メータや焦点距離、投影中心等のパラメータが変化す
る。また、ズームレンズの倍率が変化すると、焦点距離
や投影中心等が変化する。さらには、フォーカスが変化
すると、焦点距離や投影中心等が変化する。

【０１０７】そこで本実施形態では、カメラパラメータ
記憶手段１３は、各種類のカメラパラメータについて、
単一の値ではなく、カメラ装置１０Ｃの状態に応じた複
数の値を記憶している。例えば、温度５度刻みに対する
レンズ歪みパラメータｋ、焦点距離ｆ、投影中心（ｕ
０，ｖ０）等を記憶しておく。ズームレンズの倍率に関
しても、ズームレンズの稼働部分に位置に応じた、焦点
距離ｆ等の複数のカメラパラメータの組を記憶してお
く。なお、カメラ一体型のズームレンズではなく、レン
ズ取り替え式のカメラの場合は、各レンズの種類に応じ
たカメラパラメータを記憶しておく。

【０１０８】パラメータ出力手段１６は、状態検知手段
１５から出力された状態情報に応じて、カメラパラメー
タ記憶手段１３から現在の状態に合ったカメラパラメー
タを読み出し、出力する。

【０１０９】以上のように本実施形態によると、カメラ
装置１０Ｃから、その状態に応じたカメラパラメータが
出力されるので、画像処理装置５０は状態に応じた最適
のカメラパラメータを用いて処理を行うことができる。
このため、より精度の高い処理を行うことが可能とな
る。

【０１１０】なお、カメラパラメータを、補間式等のカ
メラの状態の関数として表されたものとして記憶するこ
とによって、記憶するカメラパラメータの個数を削減す
ることが可能になる。

【０１１１】また、カメラパラメータに加えて、状態情
報そのものを出力するようにしてもよい。これにより、
画像処理装置５０は、カメラ装置１０Ｃの絞りや温度等
の状態情報を後の処理において別途利用することも可能
になる。

【０１１２】（第４の実施形態）本発明の第４の実施形
態では、複数の撮像系を持つ構成について説明する。複
数の撮像系によってステレオ視による距離の計測を行っ
たり、複数のカメラの画像を合成する場合には、カメラ
相互の位置関係の精度が、計測精度や合成画像の品質に
とって重要である。この場合、複数のレンズやＣＣＤを
１つの筐体に一体化すれば、各カメラ相互の位置関係は
製造時に固定される。そしてこのとき、カメラ相互の位
置関係を表すカメラパラメータも含めて、カメラ装置に
記憶させることによって、カメラ個体の製造精度のばら
つきを考慮した高精度の計測や画像合成が可能となる。

【０１１３】図２０は本発明の第４の実施形態に係るカ
メラ装置を示す図であり、（ａ）は外形を示す模式図、
（ｂ）は内部構成を示す模式図である。図２０におい
て、レンズ３１，３２と、それぞれに対応するＣＣＤ３
３，３４とが、１つの筐体３５内部に配置され、それぞ
れの位置関係は製造時に固定される。レンズ３１および
ＣＣＤ３３から第１の撮像系が構成され、レンズ３２お
よびＣＣＤ３４から第２の撮像系が構成される。

【０１１４】ここで、カメラ外形に固定されたＯｓ−Ｘ
ｓ−Ｙｓ−Ｚｓ座標系を想定する。そして、第１および
第２の撮像系のそれぞれについて、レンズ中心の位置、
光軸の向きなどを座標系Ｏｓ−Ｘｓ−Ｙｓ−Ｚｓで表現
したものが、撮像系相互の位置関係を表すカメラパラメ
ータとなる。このパラメータと、上述した焦点距離、画
像中心、画素サイズ、レンズ歪みパラメータなどの内部
パラメータを、併せて記憶することによって、カメラ個
体のばらつきを考慮した高精度の計測や合成が可能とな
る。

【０１１５】

【発明の効果】以上のように本発明によると、カメラパ
ラメータをカメラ装置毎に記憶することによって、カメ
ラ装置をさほど高精度に製造しなくても、正確な計測や
合成が実行可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係るカメラ装置の構
成の概略を示すブロック図である。

【図２】図１のカメラ装置に記憶されたカメラパラメー
タの一例である。

【図３】カメラ装置と撮影対象物との関係を示す模式図
である。

【図４】レンズ歪みの例を示す図である。

【図５】図１のカメラ装置に記憶されたカメラパラメー
タの他の例である。

【図６】カメラ装置が固定された状態を示す模式図であ
る。

【図７】カメラパラメータが測定精度に与える影響を説
明するための模式図である。

【図８】仮想視点から見た画像を合成する場合を示す図
である。

【図９】図８の場合におけるカメラ画像と合成画像であ
る。

【図１０】合成画像の画素とカメラ画像の画素との対応
関係を説明するための図である。

【図１１】カメラ光軸のずれに起因する合成画像の歪み
を示す図である。

【図１２】合成画像の生成の一例である。

【図１３】投影中心のずれに起因する合成画像の歪みを
示す図である。

【図１４】マッピングテーブルを用いた構成を示すブロ
ック図である。

【図１５】マッピングテーブルを用いた構成を示すブロ
ック図である。

【図１６】本発明に係るカメラ装置の製造から稼働まで
の手順を示すフローチャートである。

【図１７】本発明の第２の実施形態に係るカメラ装置の
構成の概略を示すブロック図である。

【図１８】画像にカメラパラメータを埋め込む例の説明
図である。

【図１９】本発明の第３の実施形態に係るカメラ装置の
構成の概略を示すブロック図である。

【図２０】本発明の第４の実施形態に係るカメラ装置を
示す図である。

【符号の説明】

１０，１０Ａ，１０Ｂ，１０Ｃカメラ装置１０ａカメラ部１１結像手段１２撮像手段１３カメラパラメータ記憶手段（カメラ個別情報記憶
部）１４画像重畳手段１５状態検知手段１６パラメータ出力手段１８マッピングテーブル記憶手段（カメラ個別情報記
憶部）１００，１００Ｂ，１００Ｃカメラシステム

───────────────────────────────────────────────────── フロントページの続き (72)発明者登一生大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者石井浩史大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者森村淳大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C022 AA04 AB66 AC42 AC51 AC69 5C054 DA01 FD03 FE11 HA30

Claims

【特許請求の範囲】

【請求項１】画像を撮像するカメラ部と、前記カメラ部の，少なくともカメラ構造パラメータを含
むカメラパラメータに基づくカメラ個別情報を記憶する
カメラ個別情報記憶部とを備えたことを特徴とするカメ
ラ装置。
【請求項２】請求項１記載のカメラ装置において、前記カメラ個別情報は、少なくともカメラ構造パラメー
タを含むカメラパラメータであることを特徴とするカメ
ラ装置。
【請求項３】請求項２記載のカメラ装置において、前記カメラ構造パラメータは、少なくとも、前記カメラ
部の投影中心を含むことを特徴とするカメラ装置。
【請求項４】請求項１記載のカメラ装置において、前記カメラ個別情報は、前記カメラパラメータに基づき
求められた，合成画像の画素と前記カメラ部の画素との
対応関係を記述したマッピングテーブルであることを特
徴とするカメラ装置。
【請求項５】請求項１記載のカメラ装置において、前記カメラ個別情報記憶部は、当該カメラ装置の外部から、前記カメラパラメータが読
み取り可能なように構成されていることを特徴とするカ
メラ装置。
【請求項６】請求項１記載のカメラ装置において、前記カメラ部から出力された画像に、前記カメラ個別情
報記憶部から出力されたカメラ個別情報を、重畳して出
力する画像重畳手段を備えたことを特徴とするカメラ装
置。
【請求項７】請求項１記載のカメラ装置において、当該カメラ装置の状態を検知する状態検知手段を備え、前記カメラ個別情報記憶部は、前記状態検知手段によって検知された状態に応じたカメ
ラ個別情報を出力するものであることを特徴とするカメ
ラ装置。
【請求項８】画像を撮像するカメラ部と、前記カメラ部の，少なくともカメラ構造パラメータを含
むカメラパラメータに基づくカメラ個別情報を記憶する
カメラ個別情報記憶部と、前記カメラ部から出力された画像を、前記カメラ個別情
報記憶部から出力されたカメラ個別情報を用いて処理す
る画像処理部とを備えたことを特徴とするカメラシステ
ム。
【請求項９】画像処理部を有するカメラシステムにお
いて、画像を処理する方法であって、前記カメラシステムにカメラ装置が取り付けられた際
に、前記カメラ装置が記憶する，カメラパラメータに基
づくカメラ個別情報を、前記画像処理部に入力するステ
ップと、前記画像処理部において、前記カメラ装置の出力画像
を、前記カメラ個別情報に基づき、処理するステップと
を備えたことを特徴とする画像処理方法。