JP2000201296A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 撮影された被写体上の複数の被撮影領域の画
像から単一の視点で見た場合のように不自然さを感じさ
せることのない良好な広角画像を合成する。 【解決手段】 カメラ１ａ，１ｂ，１ｃの撮像素子デバ
イスと被写体１３上の複数の被撮影領域１３ａ，１３
ｂ，１３ｃとの位置関係を示す位置情報信号を発生する
位置情報発生回路５と、カメラ１ａ，１ｂ，１ｃから出
力される画像信号に対応する撮像素子デバイスの画素の
位置を特定する画面アドレスを発生するアドレス発生回
路６と、このアドレス発生回路６から出力された画面ア
ドレスを位置情報信号に基づいて合成後の広角画像のア
ドレスに変換するアドレス変換回路７とを有し、カメラ
１ａ，１ｂ，１ｃにより被写体１３上の複数の被撮影領
域１３ａ，１３ｂ，１３ｃを撮影することによって得ら
れた複数の画像から１枚の広角画像を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像装置により
撮影された被写体上の複数の被撮影領域についての画像
から１枚の広角画像を合成する画像合成装置及び画像合
成方法に関する。

【０００２】

【従来の技術】図１７は、例えば、特開平５−１８１２
１４号公報に開示された従来の広角画像撮影装置（カメ
ラ）の構成を示す図である。この装置においては、１コ
マ目の撮影で、被写体の左側の部分からの画像光Ｌ₁を
プリズム１０１及び撮影レンズ１０２を通してフィルム
１０４上に結像させる。次に、プリズム１０１を軸線１
０６を中心にして１８０°回転させて２コマ目の撮影を
行う。２コマ目の撮影では、被写体の右側の部分からの
画像光Ｌ₂をプリズム１０１及び撮影レンズ１０２を通
してフィルム１０４上に結像させる。このようにして被
写体の異なる部分の画像を合成することによって、画面
横方向に広角な画像を得ることができる。

【０００３】

【発明が解決しようとする課題】しかしながら、上記し
たようなプリズムの回転により得られた広角画像におい
ては、被写体が十分遠方にありカメラと被写体との距離
が画角によらず一定と見なすことができるとき以外の場
合、例えば、被写体が平面でカメラとの距離が近い場合
に、合成後の広角画像の左右の領域で遠近感に違いが生
じ、また、合成点付近の画像が不自然になるという問題
点があった。さらに、カメラが被写体面に対して角度を
持って設置されている場合、即ち、被写体面がカメラの
光軸に対して垂直でない場合にも、合成点付近の画像が
不自然になるという問題点があった。

【０００４】そこで、この発明は上記したような従来技
術の課題を解決するためになされるものであり、その目
的とするところは、カメラにより被写体上の複数の被撮
影領域を撮影して得られた画像から単一の視点で見た場
合と同様な不自然さを感じさせることのない良好な広角
画像を合成することができる画像合成装置及び画像合成
方法を提供することにある。

【０００５】

【課題を解決するための手段】請求項１の画像合成装置
は、１台或いは複数台の撮像手段により被写体上の複数
の被撮影領域を撮影することによって得られた複数の画
像から１枚の広角画像を合成する装置であって、上記撮
像手段と被写体上の複数の被撮影領域との位置関係を示
す位置情報信号を発生する位置情報発生手段と、上記撮
像手段から出力される画像信号に対応する上記撮像手段
の画素の位置を特定する画面アドレスを発生するアドレ
ス発生手段と、上記アドレス発生手段から出力される画
面アドレスを、上記位置情報発生手段から出力される位
置情報信号に基づいて、合成後の広角画像のアドレスに
変換するアドレス変換手段とを有することを特徴として
いる。

【０００６】また、請求項２の画像合成装置は、上記請
求項１の装置であって、上記位置情報発生手段から出力
される位置情報信号が、上記撮像手段の被写体からの高
さ及び上記撮像手段から被写体までの距離のうちのいず
れか一方を示す情報と、上記撮像手段の光軸が水平面と
なす角度を示す情報と、上記撮像手段により撮影される
被写体上の被撮影領域の数を示す情報と、上記撮像手段
と被写体の中心点とを結ぶ中央線と上記撮像手段の光軸
とのなす振れ角を示す情報とのうちいずれかを含む信号
であることを特徴としている。

【０００７】また、請求項３の画像合成装置は、上記請
求項１又は２のいずれかの装置であって、上記アドレス
変換手段が、上記アドレス発生手段から出力される画面
アドレスを、上記位置情報発生手段から出力される位置
情報信号に基づいて、被写体の被撮影領域上のアドレス
に変換する第１の演算手段を有することを特徴としてい
る。

【０００８】また、請求項４の画像合成装置は、上記請
求項３の装置であって、上記アドレス変換手段が、上記
第１の演算手段により変換された被写体の被撮影領域上
のアドレスを、被写体上の被撮影領域の全てを単一の視
点から撮影できる仮想上の撮像手段の画面アドレスに変
換する第２の演算手段を有することを特徴としている。

【０００９】また、請求項５の画像合成装置は、上記請
求項１又は２のいずれかの装置であって、上記アドレス
変換手段が、被写体上の被撮影領域の全てを単一の視点
から撮影できる仮想上の撮像手段の画面アドレスと同等
の画面アドレスを生成するように、上記アドレス発生手
段から出力される画面アドレスの縦方向のアドレスのみ
を、上記位置情報発生手段から出力される位置情報信号
に基づいて、合成後の広角画像のアドレスに変換するこ
とを特徴としている。

【００１０】また、請求項６の画像合成装置は、上記請
求項１，２，５のいずれか一つの装置であって、上記ア
ドレス変換手段が、上記アドレス発生手段から出力され
る画面アドレスの縦方向のアドレスに乗じられる演算係
数を、上記アドレス発生手段から出力される画面アドレ
スの横方向のアドレスと上記位置情報発生手段から出力
される位置情報信号とに基づいて算出する係数演算手段
と、上記係数演算手段により得られた演算係数を上記画
面アドレスの縦方向のアドレスに乗ずる乗算手段と、上
記アドレス発生手段から出力される画面アドレスの横方
向のアドレスと、上記乗算手段から出力される画面アド
レスの縦方向のアドレスと、上記位置情報発生手段から
出力される位置情報信号とに基づいて１枚の広角画像の
データを生成する合成画像アドレス生成手段とを有する
ことを特徴としている。

【００１１】また、請求項７の画像合成装置は、上記請
求項１，２，５のいずれか一つの装置であって、上記ア
ドレス変換手段が、上記アドレス発生手段から出力され
る画面アドレスを表記する座標系を設定し、この設定さ
れる座標系により表記される画面アドレスを出力する座
標変換手段と、上記座標変換手段から出力される画面ア
ドレスの縦方向のアドレスに乗じられる演算係数を、上
記座標変換手段から出力される画面アドレスの横方向の
アドレスと上記位置情報発生手段から出力される位置情
報信号とに基づいて算出する係数演算手段と、上記係数
演算手段により得られた演算係数を上記座標変換手段か
ら出力される画面アドレスの縦方向のアドレスに乗ずる
乗算手段と、上記座標変換手段から出力される画面アド
レスの横方向のアドレスと、上記乗算手段から出力され
る画面アドレスの縦方向のアドレスと、上記位置情報発
生手段から出力される位置情報信号とに基づいて１枚の
広角画像のデータを生成する合成画像アドレス生成手段
とを有することを特徴としている。

【００１２】また、請求項８の画像合成装置は、上記請
求項７の装置であって、上記撮像手段の振れ角をθと
し、θ≠０の条件で撮影が行われたときには、上記係数
演算手段が出力する演算係数をｒとし、上記撮像手段か
ら被写体までの距離をｈ₂とし、被写体の中心点に対応
する上記撮像手段上の点を通る横方向のｘ軸が被写体上
の被撮影領域の上記中心点側の境界線に対応する上記撮
像手段上の領域の境界線と交差する点を座標系の原点と
し、被写体上での画像の中心点に相当する点から上記座
標系の原点に相当する点までの横軸方向の距離をＸ_p0と
し、上記座標系における点の原点からのｘ軸方向の距離
をＸ_pとし、所定の定数をＣ_nとして、下記の式 ｒ＝{(ｈ₂cosθ＋Ｘ_p0sinθ)×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p0sinθ−Ｘ_psinθ) … により演算係数ｒを求めるとともに、θ＝０の条件で撮
影したときには、演算係数ｒを所定値に設定することを
特徴としている。

【００１３】また、請求項９の画像合成装置は、上記請
求項７の装置であって、上記撮像手段の振れ角をθと
し、θ≠０の条件で撮影したときには、上記係数演算手
段が出力する演算係数をｒ₀とし、上記撮像手段から被
写体までの距離をｈ₂とし、撮影される被写体上の被撮
影領域に対応する上記撮像手段上の領域の中心位置を座
標系の原点とし、被写体上での上記原点に対応する点か
ら横軸方向の画像の境界線に対応する点までの距離をＸ
_p0とし、上記座標系における点の原点からｘ軸方向の距
離をＸ_p′とし、所定の定数をＣ_nとしたときに、下記の
式 ｒ₀＝{(ｈ₂cosθ＋Ｘ_p0sinθ）×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p′sinθ） … により演算係数ｒ₀を求めるとともに、θ＝０の条件で
撮影したときには、演算係数ｒ₀を所定値に設定するこ
とを特徴としている。

【００１４】また、請求項１０の画像合成方法は、１台
或いは複数台の撮像手段により被写体上の複数の被撮影
領域を撮影することによって得られた複数の画像から１
枚の広角画像を合成する方法であって、（ア） 撮像手
段と被写体上の複数の被撮影領域との位置関係を示す位
置情報を設定し、（イ） 上記撮像手段から出力される
画像信号に対応する撮像手段の画素の位置を特定する画
面アドレスを発生し、（ウ） この画面アドレスを、上
記位置情報に基づいて、合成後の広角画像のアドレスに
変換することを特徴としている。

【００１５】また、請求項１１の画像合成方法は、上記
請求項１０の方法であって、上記位置情報が、撮像手段
の被写体からの高さ及び撮像手段から被写体までの距離
のうちのいずれか一方を示す情報と、撮像手段の光軸が
水平面となす角度を示す情報と、撮像手段により撮影さ
れる被写体上の被撮影領域の数を示す情報と、撮像手段
と被写体の中心点とを結ぶ中央線と撮像手段の光軸との
なす振れ角を示す情報とのうちいずれかを含むことを特
徴としている。

【００１６】また、請求項１２の画像合成方法は、上記
請求項１０又は１１のいずれかの方法であって、上記工
程（ウ）において、画面アドレスを、上記位置情報信号
に基づいて、被写体の被撮影領域上のアドレスに変換す
ることを特徴としている。

【００１７】また、請求項１３の画像合成方法は、上記
請求項１０又は１１のいずれかの方法であって、上記工
程（ウ）において、画面アドレスを、上記位置情報信号
に基づいて、被写体の被撮影領域上のアドレスに変換
し、この変換された被写体の被撮影領域上のアドレス
を、被写体上の被撮影領域の全てを単一の視点から撮影
できる仮想上の撮像手段の画面アドレスに変換すること
を特徴としている。

【００１８】また、請求項１４の画像合成方法は、上記
請求項１０又は１１のいずれかの方法であって、上記工
程（ウ）において、被写体上の被撮影領域の全てを単一
の視点から撮影できる仮想上の撮像手段の画面アドレス
と同等の画面アドレスを生成するように、画面アドレス
の縦方向のアドレスのみを、上記位置情報に基づいて、
合成後の広角画像のアドレスに変換することを特徴とし
ている。

【００１９】また、請求項１５の画像合成方法は、上記
請求項１０，１１，１４のいずれか一つの方法であっ
て、上記工程（ウ）において、画面アドレスの縦方向の
アドレスに乗じられる演算係数を、画面アドレスの横方
向のアドレスと上記位置情報とに基づいて算出し、上記
演算係数を画面アドレスの縦方向のアドレスに乗じ、画
面アドレスの横方向のアドレスと、上記演算係数を乗じ
られた画面アドレスの縦方向のアドレスと、上記位置情
報とに基づいて１枚の広角画像のデータを生成すること
を特徴としている。

【００２０】また、請求項１６の画像合成方法は、上記
請求項１０，１１，１４のいずれか一つの方法であっ
て、上記工程（ウ）において、画面アドレスを表記する
座標系を設定し、この設定される座標系で表記される画
面アドレスを出力し、上記座標系で表記される画面アド
レスの縦方向のアドレスに乗じられる演算係数を、上記
座標系で表記される画面アドレスの横方向のアドレスと
上記位置情報とに基づいて算出し、上記演算係数を上記
座標系で表記される画面アドレスの縦方向のアドレスに
乗じ、上記座標系で表記される画面アドレスの横方向の
アドレスと、上記演算係数が乗じられた画面アドレスの
縦方向のアドレスと、上記位置情報とに基づいて１枚の
広角画像のデータを生成することを特徴としている。

【００２１】また、請求項１７の画像合成方法は、上記
請求項１６の方法であって、上記工程（ウ）において、
上記撮像手段の振れ角をθとし、θ≠０の条件で撮影が
行われたときには、上記演算係数をｒとし、撮像手段か
ら被写体までの距離をｈ₂とし、被写体の中心点に対応
する撮像手段上の点を通る横方向のｘ軸が被写体上の被
撮影領域の上記中心点側の境界線に対応する撮像手段上
の領域の境界線と交差する点を座標系の原点とし、被写
体上での画像の中心点に相当する点から上記座標系の原
点に相当する点までの横軸方向の距離をＸ_p0とし、上記
座標系における点の原点からのｘ軸方向の距離をＸ_pと
し、所定の定数をＣ_nとして、下記の式 ｒ＝{(ｈ₂cosθ＋Ｘ_p0sinθ)×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p0sinθ−Ｘ_psinθ) … により演算係数ｒを求めるとともに、θ＝０の条件で撮
影したときには、演算係数ｒを所定値に設定することを
特徴としている。

【００２２】また、請求項１８の画像合成方法は、上記
請求項１６の方法であって、上記工程（ウ）において、
上記撮像手段の振れ角をθとし、θ≠０の条件で撮影し
たときには、上記演算係数をｒ₀とし、撮像手段から被
写体までの距離をｈ₂とし、撮影される被写体上の被撮
影領域に対応する撮像手段上の領域の中心位置を座標系
の原点とし、被写体上での上記原点に対応する点から横
軸方向の画像の境界線に対応する点までの距離をＸ_p0と
し、上記座標系における点の原点からｘ軸方向の距離を
Ｘ_p′とし、所定の定数をＣ_nとしたときに、下記の式 ｒ₀＝{(ｈ₂cosθ＋Ｘ_p0sinθ）×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p′sinθ） … により演算係数ｒ₀を求めるとともに、θ＝０の条件で
撮影したときには、演算係数ｒ₀を所定値に設定するこ
とを特徴としている。

【００２３】

【発明の実施の形態】以下、この発明をその実施の形態
を示す図面に基づいて具体的に説明する。

【００２４】実施の形態１ 図１は、この発明の実施の形態１による画像合成装置の
構成の一例を示すブロック図である。また、図２は、実
施の形態１における撮像装置（カメラ）と被写体（ここ
では、地平面、即ち、水平面に平行な地面である。）と
の位置関係を模式的に示す斜視図であり、図３は、実施
の形態１におけるカメラと被写体との位置関係を模式的
に示す平面図であり、図４（ａ）及び（ｂ）はそれぞ
れ、カメラの垂直画角を示す側面図及びカメラの水平画
角を示す平面図である。尚、以下の説明では、異なる方
向を向く３台のカメラにより被写体を見下ろして撮影し
て得られた３枚の画像から広角画像を合成する場合につ
いて説明するが、本発明は被写体を見下ろす場合に限定
されず、被写体を見上げて撮影する場合のように他の方
向を撮影する場合にも適用できる。

【００２５】図において、１ａ，１ｂ，及び１ｃはそれ
ぞれ、水平面１１０（図２及び図４（ａ）に示す。）に
対して等しい俯角φ（図２及び図４（ａ）に示す。）を
持つように設置されたＣＣＤ等の撮像素子デバイスを有
する第１のカメラ、第２のカメラ、及び第３のカメラで
ある。第１のカメラ１ａは、その光軸１２ａを中央線
（即ち、被写体１３上の中心点１４と第１のカメラ１ａ
の撮像素子デバイス（より厳密には、撮像素子デバイス
に画像を結像させるレンズの主点）とを結ぶ直線）に一
致させるように設置されており、被写体１３上の中央の
被撮影領域を撮影する（図３）。第２のカメラ１ｂは、
その光軸１２ｂを中央線より左側（被写体１３に向かっ
て左側）に所定の角度（振れ角）θだけ振らせるように
設置されており、被写体１３上の左側の被撮影領域を撮
影する（図３）。第３のカメラ１ｃは、その光軸１２ｃ
を中央線より右側（被写体１３に向かって右側）に所定
の角度（振れ角）θだけ振らせるように設置されてお
り、被写体１３上の右側の被撮影領域を撮影する（図
３）。

【００２６】また、図１において、２は、３台のカメラ
１ａ，１ｂ，１ｃを同期して駆動させる同期駆動回路で
あり、３ａ，３ｂ，３ｃはそれぞれ、カメラ１ａ，１
ｂ，１ｃから出力されるアナログの映像信号をディジタ
ル信号に変換するＡ／Ｄ変換器であり、４ａ，４ｂ，４
ｃはそれぞれ、ローパスフィルタ（以下「ＬＰＦ」と記
す）である。また、図１において、５は、カメラ１ａ，
１ｂ，１ｃの台数Ｎ、各カメラ１ａ，１ｂ，１ｃの振れ
角θ、及び各カメラ１ａ，１ｂ，１ｃと被写体１３上の
被撮影領域との位置関係を示す位置情報信号を発生する
カメラ位置情報発生回路である。また、図１において、
６は、カメラ１ａ，１ｂ，１ｃから出力される画像信号
に対応するカメラ１ａ，１ｂ，１ｃの撮像素子デバイス
上の画素のアドレス（以下「画面アドレス」と記す。）
を発生するアドレス発生回路であり、７は、アドレス発
生回路６から出力される撮像素子デバイス上の画面アド
レスを、位置情報発生回路５から出力される位置情報信
号に基づいて、１枚の広角画像上のアドレスに変換する
アドレス変換回路である。また、図１において、８は、
映像信号選択回路であり、９は、ランダムアクセスメモ
リ（以下「ＲＡＭ」と記す）であり、１０は、Ｄ／Ａ変
換器であり、１１は、出力端子である。

【００２７】図５は、被写体を地平面とし、水平面から
等しい俯角を持って設置されている３台のカメラのそれ
ぞれにより撮影された地平面上の被撮影領域の一例を示
す図である。また、図６は、図５に示される被写体上の
被撮影領域が各カメラの撮像素子デバイス上に結像され
る様子を示す図である。

【００２８】図５において、１３ａは、中央に設置され
た第１のカメラ１ａにより撮影された被写体１３上の被
撮影領域であり、１３ｂは、中央線から所定の振れ角θ
だけ左側に振れて設置された第２のカメラ１ｂにより撮
影された被写体１３上の被撮影領域であり、１３ｃは、
中央線から所定の振れ角θだけ右側に振れて設置された
第３のカメラ１ｃにより撮影された被撮影領域を示して
いる。また、図５において、被撮影領域１３ａ，１３
ｂ，１３ｃ中の点ａ₁，ｂ₁，ｃ₁，ｄ₁は、第１のカメラ
１ａによる被写体１３上の被撮影領域１３ａの四隅を示
し、点ａ₂，ｂ₂，ａ₁，ｂ₁は、第２のカメラ１ｂによる
被写体１３上の被撮影領域１３ｂの四隅を示し、破線ｌ
₁，ｍ₁，ｎ₁，ｌ₂，ｍ₂及び破線ｐ₁，ｑ₁，ｓ₁，ｔ₁は
被写体１３上に格子状に描かれた直線を示す。

【００２９】また、図６において、１５ａは、第１のカ
メラ１ａで撮影された被撮影領域１３ａ及びこの被撮影
領域１３ａ内の格子状の直線が第１のカメラ１ａの撮像
素子デバイス上に結像される様子を示したものであり、
１５ｂは、第２のカメラ１ｂで撮影される被撮影領域１
３ｂ及びこの被撮影領域１３ｂ内の格子状の直線が第２
のカメラ１ｂの撮像素子デバイス上に結像される様子を
示したものであり、１５ｃは、第３のカメラ１ｃで撮影
される被撮影領域１３ｃ及びこの被撮影領域１３ｃ内の
格子状の直線が第３のカメラ１ｃの撮像素子デバイス上
に結像される様子を示したものである。図５に示される
被撮影領域１３ａの四隅の点ａ₁，ｂ₁，ｃ₁，ｄ₁が、図
６に示される撮像素子デバイス上の四隅の点Ａ₁，Ｂ₁，
Ｃ₁，Ｄ₁に結像され、図５に示される被撮影領域１３ｂ
の四隅の点ａ₂，ｂ₂，ｂ₁，ａ₁が、図６に示される撮像
素子デバイス上の四隅の点Ａ₂，Ｂ₂，Ｂ₁，Ａ₁に結像さ
れ、図６のように変形されることとなる。また、図６に
おける破線Ｌ₁，Ｍ₁，Ｌ₂，Ｍ₂及び破線Ｐ₁，Ｑ₁，
Ｓ₁，Ｔ₁はそれぞれ、図５における破線ｌ₁，ｍ₁，
ｌ₂，ｍ₂及び破線ｐ₁，ｑ₁，ｓ₁，ｔ₁に対応している。

【００３０】次に、実施の形態１の画像合成装置の動作
（即ち、実施の形態１による画像合成方法）について説
明する。先ず、カメラ１ａ，１ｂ，１ｃは、同期駆動回
路２により同じ位相で駆動される。また、同期駆動回路
２は、撮像素子駆動クロック、水平同期信号、及び垂直
同期信号を出力する。カメラ１ａ，１ｂ，１ｃから出力
される映像信号はそれぞれ、Ａ／Ｄ変換器３ａ，３ｂ，
３ｃにより１画素毎のディジタル信号に変換され、以後
の処理で折り返しノイズが出ないようにＬＰＦ４ａ，４
ｂ，４ｃで帯域を制限される。

【００３１】カメラ位置情報発生回路５は、カメラ１
ａ，１ｂ，１ｃの台数Ｎ、各カメラ１ａ，１ｂ，１ｃの
振れ角θ、及び各カメラ１ａ，１ｂ，１ｃと被写体１３
上の被撮影領域１３ａ，１３ｂ，１３ｃとの位置関係等
を示す位置情報信号を発生する。カメラ位置情報発生回
路５では、例えば、使用するカメラ１ａ，１ｂ，１ｃの
台数Ｎ（＝３）、カメラ１ａ，１ｂ，１ｃの被写体１３
からの高さＨ、カメラ１ａ，１ｂ，１ｃの俯角φ、各カ
メラ１ａ，１ｂ，１ｃの振れ角θの値を設定し、これら
の値を示す信号を発生して出力する。図１に示されるよ
うに３台のカメラ１ａ，１ｂ，１ｃを使用する場合は、
カメラ位置情報発生回路５は、第１のカメラ１ａの振れ
角θ＝０とし、中央線より被写体１３に向かって左側方
向を正（＋）とし、右側方向を負（−）とし、第２のカ
メラ１ｂの振れ角θ＝＋θ₁とし、第３のカメラ１ｃの
振れ角θ＝−θ₁とし、これらの各値を示す信号を出力
する。このように、第２のカメラ１ｂと第３のカメラ１
ｃの振れ角が、左右対称であって、同じ値である場合に
は、カメラ位置情報発生回路５は、振れ角θ₁の値を示
す信号と、第２のカメラ１ｂが正方向に振れていること
を示す信号と、第３のカメラ１ｃが負方向に振れている
ことを示す信号とを出力してもよい。

【００３２】アドレス発生回路６は、カメラ１ａ，１
ｂ，１ｃの撮像素子デバイスから出力される画像信号に
対応する撮像素子デバイスの画素の位置を特定する画面
アドレス（ｘ，ｙ）を発生する。即ち、アドレス発生回
路６は、同期駆動回路２からの撮像素子駆動クロック、
水平同期信号、及び垂直同期信号、並びに、カメラ位置
情報発生回路５からの出力のうちカメラの台数を示す信
号Ｎをもとに、画面の走査順に撮像素子デバイス上の水
平方向（「横方向」又は「ｘ軸方向」とも記す。）のア
ドレスがｘとなり、垂直方向（「縦方向」又は「ｙ軸方
向」とも記す。）のアドレスがｙとなる点のアドレス
（ｘ，ｙ）と、撮像素子駆動クロック毎に第１のカメラ
１ａ、第２のカメラ１ｂ、及び第３のカメラ１ｃからの
出力である映像信号を切り換えるためのカメラ選択信号
ｆとを発生する。ここで、カメラ選択信号ｆは、例え
ば、カメラの台数が３台の場合には、第１のカメラ１ａ
からの映像信号を選択するときにはｆ＝‘０’、第２の
カメラ１ｂからの映像信号を選択するときには、ｆ＝
‘１’、第３のカメラ１ｃからの映像信号を選択すると
きにはｆ＝‘２’となる信号とする。尚、このカメラ選
択信号ｆは上記信号に限るものではなく、映像信号選択
回路８に、使用するカメラ１ａ，１ｂ，１ｃの台数に応
じて各カメラ１ａ，１ｂ，１ｃからの信号を選択し切り
換えさせる信号であれば、他の信号であってもよい。

【００３３】アドレス変換回路７は、アドレス発生回路
６から出力される画面アドレス（ｘ，ｙ）を、位置情報
発生回路５から出力されるカメラ位置情報信号に基づい
て、合成後の広角画像のアドレスに変換する。即ち、ア
ドレス変換回路７には、アドレス発生回路６から出力さ
れる撮像素子デバイス上の画面アドレス（ｘ，ｙ）とカ
メラ選択信号ｆとが入力され、また、カメラ位置情報発
生回路５からのカメラ位置情報信号も入力される。アド
レス変換回路７は、画面アドレス（ｘ，ｙ）とカメラ選
択信号ｆとカメラ位置情報信号とに基づいて、カメラ１
ａ，１ｂ，１ｃの撮像素子デバイス上の画面アドレス
（ｘ，ｙ）を合成後の広角画像のアドレスに変換して、
ＲＡＭ９に映像信号を書き込むためのアドレスを出力す
る。

【００３４】被写体１３上の被撮影領域１３ａ，１３
ｂ，１３ｃ上の１点がカメラ１ａ，１ｂ，１ｃの撮像素
子デバイス上のどの画素に結像されるかは、撮像素子デ
バイス上の点とレンズの主点を結ぶ直線が被写体１３上
の点と交わる点であるので、カメラ１ａ，１ｂ，１ｃの
被写体１３からの高さＨ（或いは距離）、カメラ１ａ，
１ｂ，１ｃの俯角φ（仰角の場合もある。）、カメラ１
ａ，１ｂ，１ｃの振れ角θ、カメラ１ａ，１ｂ，１ｃの
レンズの焦点距離、及び撮像素子デバイスの大きさから
求めることができる。したがって、アドレス変換回路７
では、予め使用する各カメラ１ａ，１ｂ，１ｃのレンズ
の焦点距離、撮像素子デバイスの大きさを設定してお
き、カメラ位置情報発生回路５からのカメラ位置情報と
してカメラの台数Ｎ（＝３）、カメラ１ａ，１ｂ，１ｃ
の被写体１３からの高さＨ、カメラ１ａ，１ｂ，１ｃの
俯角φ、各カメラ１ａ，１ｂ，１ｃの振れ角θを示す信
号とカメラ選択信号ｆが送られているので、上記の信号
に基づき各カメラ１ａ，１ｂ，１ｃの撮像素子デバイス
上の画面アドレス（ｘ，ｙ）に対応する被撮影領域１３
ａ，１３ｂ，１３ｃ上の点のアドレス（Ｘ，Ｙ）を求め
ることができる。

【００３５】図７は、図１に示されるアドレス変換回路
の構成の一例を示すブロック図である。図７に示される
ように、実施の形態１のアドレス変換回路７は、第１の
演算回路２０を有しており、この演算回路２０は、カメ
ラ位置情報発生回路５からの出力（Ｎ，θ，φ，Ｈ等）
とアドレス発生回路６からのカメラ選択信号ｆとに基づ
いて、各カメラ１ａ，１ｂ，１ｃの撮像素子デバイス上
の画面アドレス（ｘ，ｙ）に対応する被写体１３の被撮
影領域１３ａ，１３ｂ，１３ｃ上の点のアドレス（Ｘ，
Ｙ）を演算する。

【００３６】次に、実施の形態１の画像合成装置の動作
をより詳細に説明する。アドレス発生回路６からの各カ
メラ１ａ，１ｂ，１ｃの撮像素子デバイス上における画
面アドレス（ｘ，ｙ）は演算回路２０に入力される。演
算回路２０には、使用するカメラ１ａ，１ｂ，１ｃのレ
ンズの焦点距離及び撮像素子デバイスの大きさに関する
情報が設定されており、また、カメラ位置情報発生回路
５から各カメラ１ａ，１ｂ，１ｃの位置情報を示す信号
が入力され、演算回路２０は、これらの情報及びカメラ
選択信号ｆに基づいて、各カメラ１ａ，１ｂ，１ｃの撮
像素子デバイス上における画面アドレス（ｘ，ｙ）に対
応する被写体１３上の被撮影領域１３ａ，１３ｂ，１３
ｃ上の点のアドレス（Ｘ，Ｙ）を演算し、ＲＡＭ９への
映像信号の書き込みアドレスとなるデータを出力する。

【００３７】言い換えれば、演算回路２０では使用する
カメラ１ａ，１ｂ，１ｃのレンズの焦点距離、撮像素子
デバイスの大きさが予め設定され、カメラ選択信号ｆが
カメラ１ａからの映像信号を選択することを示す場合
は、カメラ位置情報発生回路５からの信号より第１のカ
メラ１ａの振れ角θ＝０であるので、第１のカメラ１ａ
の被写体１３からの高さＨ、第１のカメラ１ａの俯角φ
より、レンズの主点から、レンズの光軸が被写体１３と
交わる点までの距離ｈを、ｈ＝Ｈ／sinφから得ること
ができる。第１のカメラ１ａの撮像素子デバイス上の１
点である画面アドレス（ｘ₁，ｙ₁）に結像する被写体１
３の被撮影領域１３ａ上の点であるアドレス（Ｘ₁，
Ｙ₁）は、距離ｈとカメラ１ａの高さＨ、カメラ１ａの
俯角φ、及びレンズの焦点距離、撮像素子デバイスの大
きさに基づいて求めることができる。

【００３８】カメラ選択信号ｆが第２のカメラ１ｂから
の映像信号を選択することを示す場合は、カメラ位置情
報発生回路５からの信号による第２のカメラ１ｂの振れ
角θ＝＋θ₁であるので、第２のカメラ１ｂの被写体１
３からの高さＨ、第２のカメラ１ｂの俯角φより、上記
と同様に、レンズの主点から、レンズの光軸が被写体１
３と交わる点までの距離ｈ₂はｈ₂＝Ｈ／（sinφ・cos
θ）として得られる。第２のカメラ２ｂの撮像素子デバ
イス上の１点である画面アドレス（ｘ₂，ｙ₂）に結像す
る被写体１３の被撮影領域１３ｂ上の点であるアドレス
（Ｘ₂，Ｙ₂）は、距離ｈ₂とカメラ１ｂの高さＨ、カメ
ラ１ｂの俯角φ、及びレンズの焦点距離、撮像素子デバ
イスの大きさに基づいて求めることができる。

【００３９】カメラ選択信号ｆが第３のカメラ１ｃから
の映像信号を選択することを示す場合は、第３のカメラ
１ｃの振れ角θ＝−θ₁であるので、上記第２のカメラ
１ｂの場合と同様に、第３のカメラ２ｃの撮像素子デバ
イス上の１点である画面アドレス（ｘ₃，ｙ₃）に結像す
る被写体１３の被撮影領域１３ｃ上の点であるアドレス
（Ｘ₃，Ｙ₃）は、距離ｈ₂とカメラ１ｃの高さＨ、カメ
ラ１ｃの俯角φ、及びレンズの焦点距離、撮像素子デバ
イスの大きさに基づいて求めることができる。

【００４０】以上のように、演算回路２０は、各カメラ
１ａ，１ｂ，１ｃの撮像素子デバイス上の全画素に対応
する被写体１３の被撮影領域１３ａ，１３ｂ，１３ｃ上
の点を求め、得られたアドレス（Ｘ₁，Ｙ₁）、（Ｘ₂，
Ｙ₂）、及び（Ｘ₃，Ｙ₃）のすべて或いは一部の領域が
モニターの画面上に表示できるように、各点のアドレス
を適当な大きさに縮小して、ＲＡＭ９への映像信号の書
き込みアドレスとなるデータを求める。求められたデー
タは、演算回路２０から出力され、アドレス変換回路７
から出力される。

【００４１】一方、ＬＰＦ４ａ，４ｂ，４ｃからの出力
であるカメラ１ａ，１ｂ，１ｃからの映像信号は、映像
信号選択回路８に入力され、アドレス発生回路６からの
カメラ選択信号ｆに従って１クロック毎に、即ち、１画
素毎に交互にＲＡＭ９へと出力される。つまり、カメラ
選択信号ｆ＝‘０’の場合は第１のカメラ１ａからの映
像信号が、ｆ＝‘１’の場合は第２のカメラ１ｂからの
映像信号が、ｆ＝‘２’の場合は第３のカメラ１ｃから
の映像信号がＲＡＭ９へと出力される。

【００４２】そして、アドレス変換回路７からは、各カ
メラ１ａ，１ｂ，１ｃの撮像素子デバイス上における画
面アドレス（ｘ，ｙ）に対応する変換後のアドレス
（Ｘ，Ｙ）が出力されており、このアドレス変換回路７
からの出力は、ＲＡＭ９への書き込みアドレスとして用
いられる。このようにして映像信号選択回路８からの映
像信号はＲＡＭ９上の指定されるアドレス（Ｘ，Ｙ）、
即ち、アドレス変換回路７から出力された変換後のアド
レスに書き込まれる。ＲＡＭ９に書込まれた画像データ
は、走査順に順次読み出されＤ／Ａ変換器１０によりア
ナログ信号に変換された後、出力端子１１よりディスプ
レイやレコーダ等に出力される。したがって、アドレス
変換回路７によりカメラ位置情報発生回路５からのカメ
ラの位置情報に基づき、各カメラ１ａ，１ｂ，１ｃにお
ける撮像素子デバイス上の全画素が被写体１３の被撮影
領域１３ａ，１３ｂ，１３ｃ上の点になるようアドレス
を変換することによって、ディスプレイ等の表示装置に
は、例えば、図８に示すように、被写体１３上の格子状
の模様が、表示画像においても格子状の模様として写し
出されることとなる。尚、図８において、１８は、ディ
スプレイの枠である。また、表示装置の画面の大きさ、
形状等によっては、表示データの一部のみを切り出して
表示させてもよく、例えば、図８における破線枠１９内
の領域のみをディスプレイの枠１８の大きさに拡大して
表示させてもよい。

【００４３】以上説明したように、実施の形態１の画像
合成装置及び画像合成方法によれば、３台のカメラによ
り３枚の画像を得て画像を合成する際、カメラ位置情報
発生回路５からの出力であるカメラの台数Ｎ、カメラの
被写体からの高さＨ（或いは距離ｈ）、カメラの俯角
φ、カメラの振れ角θに基づき、アドレス変換回路７に
おいて、撮像素子デバイス上の画面アドレス（ｘ，ｙ）
に対応する被撮影領域１３ａ，１３ｂ，１３ｃ上の点の
アドレス（Ｘ，Ｙ）を求めることによって画像合成を行
っているので、被写体とカメラとの位置関係に左右され
ることなく、被写体上の複数の被撮影領域を撮影して得
られた画像を単一の視点で見た場合と同じように、不自
然さを感じさせることのない良好な広角画像を得ること
ができる。

【００４４】尚、実施の形態１においては、３台のカメ
ラにより３枚の画像を得て画像を合成し、広角画像を得
る場合の構成を示しているが、カメラの台数は３台には
限定されず、２台又は４台以上であってもよい。また、
カメラを２台とした場合には、２台のカメラの振れ角、
カメラの被写体からの高さ、カメラの俯角の値を示す信
号に基づいて画像を合成すればよい。ここで、カメラの
台数が奇数台の場合は、中央を撮影するカメラの振れ角
θを０とし、左右方向を撮影するカメラが左右対称に所
定の角度の振れ角を持つように設置すればよく、また、
カメラの台数が偶数台の場合は、各カメラが左右対称に
所定の角度の振れ角を持って設置すればよい。

【００４５】また、実施の形態１においては、カメラ位
置情報発生回路５においてカメラの台数、各カメラの振
れ角及び被写体との位置関係等のカメラ位置情報を示す
信号を発生する際に、使用するカメラの台数Ｎ、カメラ
の被写体からの高さＨ、カメラの俯角φ、各カメラの振
れ角θの値を設定し、その値を示す信号を発生して出力
しているが、カメラの被写体からの高さＨに代えて、カ
メラと被写体との距離を発生させてもよい。さらにま
た、カメラの俯角φに代えて、９０°から俯角φを差し
引いた角度（９０°−φ）、即ち、カメラの光軸と被写
体面（地平面）に対して垂直な面との角度を発生させて
もよい。

【００４６】実施の形態２ 図９は、この発明の実施の形態２による画像合成装置の
構成の一例を示すブロック図である。実施の形態２の画
像合成装置及び画像合成方法は、カメラのレンズの主点
を通る軸線を中心にして回転できる１台のカメラにより
複数方向の画像を撮影し、この撮影により得られた複数
の画像を合成する点のみが、３台の固定カメラにより複
数方向の画像を撮影し、この撮影により得られた複数の
画像を合成する実施の形態１の画像合成装置及び画像合
成方法と相違する。したがって、以下の説明において
は、実施の形態１の説明に用いた図２から図８までをも
参照する。

【００４７】図９において、３１は、レンズ及びＣＣＤ
等の撮像素子デバイスとを有するカメラであり、３２
は、カメラ３１のレンズの主点位置であり、３３は、合
成する画像の枚数Ｎ、カメラ３１の振れ角θ、及びカメ
ラ３１と被写体１３上の被撮影領域１３ａ，１３ｂ，１
３ｃとの位置関係等のカメラ位置情報を示す信号を発生
するカメラ位置情報発生回路であり、３４は、主点位置
３２を中心としてカメラ３１を回転駆動させるカメラ回
転駆動回路であり、３５は、カメラ３１の撮像素子デバ
イスを駆動する撮像素子駆動回路である。また、３６
は、カメラ３１から出力される映像信号をディジタル信
号に変換するＡ／Ｄ変換器であり、３７は、ＬＰＦであ
る。さらに、３８は、カメラ３１から出力される画像信
号に対応するカメラ３１の撮像素子デバイス上の画素の
画面アドレス（ｘ，ｙ）を発生するアドレス発生回路で
あり、３９は、アドレス発生回路３８から出力される撮
像素子デバイス上の画面アドレス（ｘ，ｙ）を、カメラ
位置情報発生回路３３から出力される位置情報信号に基
づいて、１枚の広角画像上のアドレス（Ｘ，Ｙ）に変換
するアドレス変換回路であり、４１は、Ｄ／Ａ変換器で
あり、４２は、出力端子である。

【００４８】次に、実施の形態２による画像合成装置及
び画像合成方法の動作について説明する。カメラ３１
は、カメラ回転駆動回路３４からの駆動信号によりカメ
ラ３１の底面に直交しかつレンズの主点３２を通る軸を
中心として回転駆動される。カメラ位置情報発生回路３
３は、撮影する画像の枚数（即ち、被写体１３上の被撮
影領域の数）Ｎ、カメラの振れ角θ、及びカメラ３１と
被写体１３との位置関係等のカメラ位置情報を示す信号
を発生する。即ち、画像の枚数Ｎ、カメラの被写体から
の高さＨ、カメラの俯角φ、各撮影する方向の振れ角θ
の値を設定し、その値を示す信号を発生して出力する。
例えば、実施の形態１の場合と同様に、３方向の画像か
ら広角画像を合成する場合は、カメラ位置情報発生回路
３３は、画像枚数Ｎ＝３とし、振れ角θ＝０の中心線か
ら被写体に向かって左側方向を正（＋）とし、右側方向
を負（−）とし、振れ角θ＝＋θ₁及び−θ₁であると
し、これらの各値を示す信号を出力する。

【００４９】ここで、撮影する画像が奇数枚の場合は、
中央を撮影した画像と左右方向を撮影する画像を得るこ
ととなり、振れ角θ＝０の場合と、左右対称に所定の角
度の振れ角θを持って撮影を行って画像を得る。一方、
撮影する画像が偶数枚の場合は、左右対称に所定の角度
の振れ角θを持って撮影を行い画像を得る。尚、左右の
方向を撮影する際には、振れ角θを設定し、カメラ回転
駆動回路３４によって正方向と負方向のそれぞれに角度
θだけカメラを回転させればよい。

【００５０】カメラ回転駆動回路３４は、カメラ位置情
報発生回路３３からのカメラ位置情報を示す信号のうち
カメラ３１の振れ角θ、撮影する画像の枚数Ｎに応じ
て、カメラ３１を回転駆動するとともに、カメラ３１が
所定の撮影位置にあるとき、その位置を示す位置選択信
号ｇを出力する。例えば、３枚の画像を撮影する場合、
振れ角θ＝０で光軸が中央線と一致して中央の領域を撮
影する位置では、位置選択信号ｇ＝‘０’として、中央
線から所定の角度θ₁の振れ角で左側に振れて左側の被
撮影領域を撮影する位置では位置選択信号ｇ＝‘１’と
し、振れ角θ₁で右側に振れて右側の被撮影領域を撮影
する位置では位置選択信号ｇ＝‘２’とする。尚、この
位置選択信号ｇは上記信号に限るものではなく、撮影す
る位置に応じて撮影位置を判別し選択できる信号であれ
ば、他の信号であってもよい。

【００５１】したがって、カメラ３１が、上記実施の形
態１の場合と同様の俯角φ及び高さＨを持って設置され
ている場合には、振れ角θ＝０で中央を撮影する被撮影
領域は図５に示される領域１３ａとなり、カメラ回転駆
動回路３４により中央より左へ振れ角θ₁回転して撮影
する左側の被撮影領域は図５に示される領域１３ｂとな
り、中央より右へ振れ角θ₁回転して撮影する右側の被
撮影領域は図５に示される領域１３ｃとなる。これらの
被撮影領域１３ａ，１３ｂ，１３ｃは、上記実施の形態
１の場合と同様に、図６に示されるように、撮像素子デ
バイス上に結像される。尚、実施の形態２においては、
カメラ３１の回転駆動によりカメラ３１の光軸が被写体
13上の被撮影領域１３ａ，１３ｂ，１３ｃ内に描く軌跡
は直線となる。

【００５２】カメラ３１の撮像素子デバイスは撮像素子
駆動回路３５により駆動され、映像信号を出力する。ま
た、撮像素子駆動回路３５は、撮像素子駆動クロック、
水平同期信号、及び垂直同期信号を出力する。カメラ３
１から出力された映像信号は、Ａ／Ｄ変換器３６により
１画素毎のディジタル信号に変換され、以後の処理で折
り返しノイズが出ないようにＬＰＦ３７で帯域を制限さ
れる。

【００５３】アドレス発生回路３８は、撮像素子駆動回
路３５からの撮像素子駆動クロック、水平同期信号、及
び垂直同期信号に基づいて、画面の走査順に撮像素子デ
バイス上の水平方向のアドレスｘ、垂直方向のアドレス
ｙとなる点の画面アドレス（ｘ，ｙ）を発生する。アド
レス変換回路３９は、アドレス発生回路３８から出力さ
れた撮像素子デバイス上の画面アドレス（ｘ，ｙ）、カ
メラ位置情報発生回路３３から出力されたカメラ位置情
報を示す信号、及びカメラ回転駆動回路３４からの位置
選択信号ｇに基づいて、カメラ３１の撮像素子デバイス
上の画面アドレス（ｘ，ｙ）を合成後の広角画像のアド
レス（Ｘ，Ｙ）に変換して、ＲＡＭ４０に映像信号を書
き込むためのアドレスを出力する。

【００５４】ここで、アドレス変換回路３９での動作に
おいて、カメラ３１の撮像素子デバイス上の１点（ｘ，
ｙ）に結像する被写体の被撮影領域上の点（Ｘ，Ｙ）
は、実施の形態１の場合と同様に求めることができる。
例えば、カメラ位置情報発生回路３３からはカメラ位置
情報を示す信号として、カメラの被写体からの高さＨ、
カメラの俯角φ、画像枚数Ｎ、振れ角θを示す信号が送
られ来るので、カメラ回転駆動回路３４からのカメラ３
１の撮影位置を示す位置選択信号ｇを撮影する方向の選
択信号として、実施の形態１における図７のアドレス変
換回路７と同様の動作によって、撮像素子デバイス上の
画面アドレス（ｘ，ｙ）を変換して、ＲＡＭ４０に映像
信号を書き込むための合成画像のアドレス（Ｘ，Ｙ）を
出力することができる。

【００５５】アドレス変換回路３９からは、それぞれの
撮影方向で撮影した画像の画面アドレスに対応するデー
タが出力されており、このアドレス変換回路４０からの
出力はＲＡＭ４０への書き込みアドレスとして用いられ
る。具体的に言えば、ＬＰＦ３７から出力される映像信
号は、アドレス変換回路４０からの出力に基づいて指定
されたＲＡＭ４０上のアドレスに書き込まれる。ＲＡＭ
４０からは、画像データが、走査順に順次読み出され、
Ｄ／Ａ変換器４１でアナログ信号に変換された後、出力
端子４２よりディスプレイやレコーダ等に出力される。
したがって、アドレス変換回路３９によりカメラ位置情
報発生回路３３からのカメラの位置情報に基づき、各カ
メラにおける撮像素子デバイス上の全画素を被撮影領域
上の点になるようアドレスを変換することで、ディスプ
レイ等の表示装置には、上記実施の形態１の場合と同様
に、例えば、図５に示されるような被写体１３上の格子
状の模様がそのまま格子状の模様として表示される。
尚、図５は表示装置における表示の一例であり、表示装
置の画面の大きさ、形状等により表示データの一部を切
り出して表示してもよい。

【００５６】以上説明したように、実施の形態２の画像
合成装置及び画像合成方法によれば、１台のカメラによ
り３枚の画像を得て画像を合成する際、カメラ位置情報
発生回路３３からの出力であるカメラの台数Ｎ、カメラ
の被写体からの高さＨ（或いは距離ｈ）、カメラの俯角
φ、カメラの振れ角θに基づき、アドレス変換回路３９
において、撮像素子デバイス上の画面アドレス（ｘ，
ｙ）に対応する被撮影領域１３ａ，１３ｂ，１３ｃ上の
点のアドレス（Ｘ，Ｙ）を求めることによって画像合成
を行っているので、被写体とカメラとの位置関係に左右
されることなく、被写体上の複数の被撮影領域を撮影し
て得られた画像を単一の視点で見た場合と同じように、
不自然さを感じさせることのない良好な広角画像を得る
ことができる。

【００５７】尚、実施の形態２においては、１台のカメ
ラにより３枚の画像を得て画像を合成し、広角画像を得
る場合の構成を示しているが、撮影する画像の枚数は、
３枚には限定されず、２枚又は４枚以上であってもよ
い。また、撮影枚数を２枚とした場合には、それぞれの
振れ角、カメラの被写体からの高さ、カメラの俯角の値
を示す信号に基づいて画像を合成すればよい。ここで、
カメラの台数が奇数台の場合は、中央を撮影するカメラ
の振れ角θは０であり、左右方向を撮影するカメラが左
右対称に所定の角度の振れ角を持って設置され、カメラ
の台数が偶数台の場合は、各カメラが左右対称に所定の
角度の振れ角を持って設置されることとなる。

【００５８】また、実施の形態２においては、カメラ位
置情報発生回路３３においてカメラの台数、各カメラの
振れ角及び被写体との位置関係等のカメラ位置情報を示
す信号を発生する際に、使用するカメラの台数Ｎ、カメ
ラの被写体からの高さＨ、カメラの俯角φ、各カメラの
振れ角θの値を設定し、その値を示す信号を発生して出
力しているが、カメラの被写体からの高さＨに代えて、
カメラと被写体との距離を発生させてもよい。さらにま
た、カメラの俯角φに代えて、９０°から俯角φを差し
引いた角度（９０°−φ）、即ち、カメラの光軸と被写
体面（地平面）に対して垂直な面とのなす角度を発生さ
せてもよい。

【００５９】尚、実施の形態２において、上記以外の点
は、上記実施の形態１と同一である。

【００６０】実施の形態３ 図１０は、この発明の実施の実施３による画像合成装置
のアドレス変換回路の構成を示すブロック図である。実
施の形態３の画像合成装置は、実施の形態１におけるア
ドレス変換回路７（図１）又は実施の形態２におけるア
ドレス変換回路３９（図９）を、図１０に示されるアド
レス変換回路２２に置き換えたものである。従って、実
施の形態３の説明においては、図１から図９までをも参
照する。

【００６１】図１０に示されるように、実施の形態３の
アドレス変換回路２２は、実施の形態１又は２における
アドレス変換回路７又は３９における第１の演算回路と
同一の構成を有する第１の演算回路２０と、この第１の
演算回路２０の出力に第２の演算を施す第２の演算回路
２１とを有する。

【００６２】次に、図１に示す画像合成装置のアドレス
変換装置７を図１０のアドレス変換回路２２に置き換え
た場合の動作を説明する。アドレス発生回路６からの各
カメラの撮像素子デバイス上の画面アドレス（ｘ，ｙ）
は、第１の演算回路２０へ入力される。第１の演算回路
２０においては、使用する各カメラのレンズの焦点距
離、撮像素子デバイスの大きさが設定されており、ま
た、カメラ位置情報発生回路５からの各カメラの位置情
報を示す信号が送られ、この信号により示される値を用
いて、カメラ選択信号ｆに基づき、各カメラの撮像素子
デバイス上における画面アドレス（ｘ，ｙ）を、被写体
１３の被撮影領域上の点（Ｘ，Ｙ）に変換する。この動
作は、図４に示される演算回路２０の動作と同じであ
る。

【００６３】ここで、撮影を行う各カメラの水平画角を
α度、垂直画角をβ度とすると、実施の形態１の場合と
同様に、中央と左右方向における３枚の画像を合成して
得られる画像は、垂直画角はそのままとし、水平画角が
おおよそ３α度である横長画像となる。例えば、水平画
角３α度、垂直画角β度で歪みを持たないレンズを使用
した仮想カメラを、実施の形態１におけるカメラと同一
の高さ及び俯角で、中央（振れ角θ＝０）に向けて設置
した場合には、図１１に示されるような被写体上の領域
を撮影することとなり、図１２に示されるようにカメラ
の撮像素子デバイス上に結像される。

【００６４】図１１において、破線ｌ₁，ｍ₁，ｎ₁，
ｌ₂，ｍ₂及び破線ｑ₁，ｓ₁は、実施の形態１における図
５の場合と同様に、被写体１３上に格子状に描かれた直
線である。また、図１２において、破線ｌ₁′，ｍ₁′，
ｎ₁′，ｌ₂′，ｍ₂′及び破線ｑ₁′，ｓ₁′は、図１１
における破線ｌ₁，ｍ₁，ｎ₁，ｌ₂，ｍ₂及び破線ｑ₁，ｓ
₁がそれぞれ、被写体１３上の複数の被撮影領域１３
ａ，１３ｂ，１３ｃの全てを単一の視点から撮影できる
単一の仮想カメラの撮像素子デバイス上に結像したもの
である。この仮想カメラの撮像素子デバイス上の１点
（ｕ，ｖ）に結像する図１１の被撮影領域上の点（Ｕ，
Ｖ）は、実施の形態１の場合と同様に、撮像素子デバイ
ス上の点とレンズの主点を結ぶ直線が被写体１３と交わ
る点であるので、カメラの被写体１３からの高さ（或い
は距離）、カメラの俯角、カメラの振れ角及びレンズの
焦点距離、撮像素子デバイスの大きさから求めることが
できる。

【００６５】したがって、第２の演算回路２１において
は、図５に示される被撮影領域１３ａ，１３ｂ，１３ｃ
に対し、格子状の直線が一致するように仮想カメラの被
撮影領域（図１１）を設定し、第１の演算回路２０で得
られる被撮影領域１３ａ，１３ｂ，１３ｃ上の点（Ｘ，
Ｙ）に対応する水平画角３α度の仮想カメラで撮影され
る領域上の座標（Ｕ，Ｖ）を求め、この座標（Ｕ，Ｖ）
を１対１に対応する仮想カメラの撮像素子デバイス上の
アドレス（ｕ，ｖ）へと変換する。言い換えれば、第２
の演算回路２１では第１の演算回路２０からの出力であ
る被撮影領域１３ａ，１３ｂ，１３ｃ上の点（Ｘ，Ｙ）
を示すアドレスが入力され、また、カメラ位置情報発生
回路５からのカメラの位置情報が入力されているので、
これらに基づき、被撮影領域１３ａ，１３ｂ，１３ｃ上
の点（Ｘ，Ｙ）に対応する水平画角３α度の仮想カメラ
での撮像素子デバイス上の座標（ｕ，ｖ）を演算し出力
する。

【００６６】例えば、カメラ選択信号ｆが中央を撮影す
るカメラ（図１の第１のカメラ１ａ）からの映像信号を
選択することを示す場合は、第１の演算回路２０では撮
像素子デバイス上の１点（ｘ₁，ｙ₁）に結像する被写体
１３の被撮影領域１３ａ上の点（Ｘ₁，Ｙ₁）が求められ
る。そして、第２の演算回路２１においては、カメラ位
置情報発生回路３３からの信号により、カメラの被写体
１３からの高さＨ、カメラの俯角φ、画像枚数Ｎ＝３で
あるので、被撮影領域１３ａ上の点（Ｘ₁，Ｙ₁）に対応
する水平画角３α度（＝Ｎ×α度）の仮想カメラが被写
体からの高さＨ、カメラの俯角φで中央線上の方向を撮
影した場合の被撮影領域１３ａ上のアドレス（Ｕ₁，
Ｖ₁）を求めて、この座標（Ｕ₁，Ｖ₁）を仮想カメラの
撮像素子デバイス上のアドレス（ｕ₁，ｖ₁）へと変換す
る。尚、他の方向を撮影する場合も同様の方法で変換す
ることができ、被撮影領域上の点（Ｘ，Ｙ）に対応する
水平画角３α度の仮想カメラの撮像素子デバイス上のア
ドレス（ｕ，ｖ）を求めることができる。

【００６７】よって、アドレス変換回路７からは、それ
ぞれの撮影方向で撮影した画像の画面アドレスに対し
て、水平画角３α度の仮想カメラを、その光軸が中央線
と一致するように設置して、中央の領域を撮影する場合
の撮像素子デバイス上のアドレス（ｕ，ｖ）が出力され
ており、このアドレス変換回路７からの出力により各カ
メラからの映像信号をＲＡＭ上の指定されるアドレスに
書き込む。したがって、ディスプレイ等の表示装置に
は、例えば、図１２に示すような被写体１３上の格子状
の模様が横方向には修正され、奥行き方向の遠近感は残
したまま写し出されることとなる。尚、図１２は表示装
置での表示の一例であり、表示装置の画面の大きさ、形
状等により表示データの一部を切り出して表示してもよ
く、例えば、図１２における破線２５内の領域のみを表
示してもよい。

【００６８】以上説明したように、実施の形態３の画像
合成装置及び画像合成方法によれば、３枚の画像を得て
画像を合成する際、カメラの台数Ｎ、カメラの被写体か
らの高さＨ（或いは距離ｈ）、カメラの俯角φ、カメラ
の振れ角θに基づき、アドレス変換回路２２において、
撮像素子デバイス上の画面アドレス（ｘ，ｙ）に対応す
る被撮影領域１３ａ，１３ｂ，１３ｃ上の点のアドレス
（Ｘ，Ｙ）を求め、さらに、奥行き方向の遠近感は残し
たまま横方向に変換したアドレス（ｕ，ｖ）を用いて画
像を合成するので、被写体とカメラとの位置関係に左右
されることなく、被写体上の複数の被撮影領域を撮影し
て得られた画像を単一の視点で見た場合と同じように、
不自然さを感じさせることのない、かつ、遠近感を感じ
させることができる良好な広角画像を得ることができ
る。

【００６９】尚、実施の形態３においては、３台のカメ
ラからの画像を合成して広角画像を得る場合について説
明したが、本発明はこのような態様に限定されず、カメ
ラの台数、カメラの被写体からの高さ、カメラの俯角、
各方向での振れ角の値を示す信号が出力されており、そ
れぞれの位置における画像の画面上のアドレスを変換
し、この変換したアドレスにより各画像から合成画像を
生成する構成を採用すれば、他の構成を採用してもよ
い。また、２台のカメラから画像を得る場合は、画像枚
数Ｎ＝２とし、水平画角２αの仮想カメラを想定して変
換を行い、画像を合成すればよい。また、実施の形態２
における図６に示す画像合成装置におけるように、１台
の撮像装置から３枚の画像を得て画像を合成してもよ
い。

【００７０】また、実施の形態３においては、カメラ位
置情報発生回路５においてカメラの台数、各カメラの振
れ角及び被写体との位置関係等のカメラ位置情報を示す
信号を発生する際に、使用するカメラの台数Ｎ、カメラ
の被写体からの高さＨ、カメラの俯角φ、各カメラの振
れ角θの値を設定し、その値を示す信号を発生して出力
しているが、カメラの被写体からの高さＨに代えて、カ
メラと被写体との距離を発生させてもよい。さらにま
た、カメラの俯角φに代えて、９０°から俯角φを差し
引いた角度（９０°−φ）、即ち、カメラの光軸と被写
体面（地平面）に対して垂直な面とのなす角度を発生さ
せてもよい。

【００７１】さらに、実施の形態３においては、アドレ
ス変換回路２２における第２の演算回路２１による演算
を水平画角３α度の仮想カメラを同一の高さ及び俯角で
設置し、中央を撮影した場合の撮影素子デバイス上のア
ドレスに変換するように構成したが、第２の演算回路２
１による演算の際に、他の方向から撮影した場合や、カ
メラの被写体の高さを変化させた場合、水平画角を他の
値とした場合等のように、被撮影領域上の点（Ｘ，Ｙ）
を変換してもよく、領域上の点を単一方向で１台の仮想
カメラにより撮影した場合のアドレスに変換できれば、
上記説明とは異なる演算を採用してもよい。

【００７２】尚、実施の形態３において、上記以外の点
は、上記実施の形態１又は２と同一である。

【００７３】実施の形態４ 図１３は、この発明の実施の形態４による画像合成装置
のアドレス変換回路の構成の一例を示すブロック図であ
る。実施の形態４は、アドレス変換回路の構成のみが、
上記実施の形態１又は２の画像合成装置と相違する。実
施の形態４の画像合成装置は、実施の形態１におけるア
ドレス変換回路７（図１）又は実施の形態２におけるア
ドレス変換回路３９（図９）を、図１３に示されるアド
レス変換回路２３に置き換えたものである。以下の説明
においては、図１におけるアドレス変換回路７を、図１
３に示される実施の形態４のアドレス変換回路に置き換
えた場合について説明する。また、説明においては、実
施の形態１の説明に用いた図１から図８までをも参照す
る。

【００７４】図１３に示されるように、実施の形態４の
アドレス変換回路２３は、アドレス発生回路６から出力
される画面アドレスを表記する所定の座標系に変換し
て、この設定された座標系により表記される画面アドレ
ス（ｘ_p，ｙ_p）を出力する座標変換回路５０と、この座
標変換回路５０から出力される画面アドレス（ｘ_p，
ｙ_p）の縦方向のアドレスｙ_pに乗じられる演算係数ｋ_y
を座標変換回路５０から出力される画面アドレスの横方
向のアドレスｘ_pとカメラ位置情報発生回路５から出力
される位置情報信号とに基づいて算出する係数演算回路
５１と、この係数演算回路５１により得られた演算係数
ｋ_yを座標変換回路５０から出力される画面アドレス
（ｘ_p，ｙ_p）の縦方向のアドレスｙ_pに乗ずる乗算回路
５２と、座標変換回路５０から出力される画面アドレス
（ｘ_p，ｙ_p）の横方向のアドレスｘ_pと乗算回路５２か
ら出力される画面アドレス（ｘ_p，ｙ_p′）の縦方向のア
ドレスｙ_p′とカメラ位置情報発生回路５から出力され
る位置情報信号とに基づいて１枚の広角画像のデータを
生成する合成画像アドレス生成回路５３とを有する。

【００７５】次に、動作を説明する。アドレス発生回路
６から出力された各カメラの撮像素子デバイス上の画面
アドレス（ｘ，ｙ）は、座標変換回路５０に入力され
る。座標変換回路５０には、カメラ位置情報発生回路５
から、カメラの位置情報を示す信号とカメラ選択信号ｆ
も入力されている。座標変換回路５０は、各画像におけ
る画面アドレス（ｘ，ｙ）の座標変換を行い、その変換
したアドレス（ｘ_p，ｙ_p）を出力するとともに、変換し
たアドレス（ｘ_p，ｙ_p）の合成画像に対する位置情報ｔ
を生成し出力する。

【００７６】実施の形態１の場合と同様に３台のカメラ
から中央と左右方向における３枚の画像を得る場合は、
各カメラの撮像素子デバイス上における画像は、図６の
１５ａ，１５ｂ，１５ｃのようになる。座標変換回路５
０は、図６の領域１５ａ，１５ｂ，１５ｃを、例えば、
図１４（ａ）、（ｂ）、（ｃ）の座標系で表記されるア
ドレス（ｘ_p，ｙ_p）に座標変換する。図１４（ｂ）及び
（ｃ）に示されるように、左側と右側に振れ角を持つ画
像においては、合成画像の中心から見て左右対称のアド
レスとなるように変換する。即ち、カメラ選択信号ｆが
中央を撮影する第１のカメラ１ａからの出力信号である
ことを示す場合は図１４（ａ）に示すように領域１５ａ
の中心を原点にする座標系に座標変換する。この場合
は、カメラ位置情報発生回路５からの信号により振れ角
θ＝０であるので、例えば、水平方向のアドレス
（ｘ_p）は、撮像素子デバイスの横方向の中心線（即
ち、図１４（ａ）に示されるｙ_p軸）において、０とし
て、中心線からの横方向への変位量で表される。尚、中
心線より右側では＋、左側では−の値となるように変換
する。また、垂直方向のアドレス（ｙ_p）は、撮像素子
デバイスの縦方向の中心線（即ち、図１４（ａ）に示さ
れるｘ_p軸）において、０として、中心線からの縦方向
への変位量で表される。尚、中心線より上側では＋、下
側では−の値となるように変換する。

【００７７】カメラ選択信号ｆが左側を撮影する第２の
カメラ１ｂからの出力信号であることを示す場合は、図
１４（ｂ）に示すように座標変換する。この場合は、カ
メラ位置情報発生回路５からの信号により、振れ角θ＝
＋θ₁であるので、水平方向のアドレス（ｘ_p）は、画像
の右端（即ち、図１４（ｂ）に示されるｙ_p軸）が０と
なり左方向にアドレスが大きく、＋の値になるよう変換
する。また、垂直方向のアドレス（ｙ_p）は、撮像素子
デバイスの縦方向の中心線（即ち、図１４（ｂ）に示さ
れるｘ_p軸）を０とし、中心線からの縦方向への変位量
で表され、中心より上側では＋、下側では−の値となる
ように変換する。

【００７８】一方、カメラ選択信号ｆが右側を撮影する
第３のカメラ１ｂからの出力信号であることを示す場合
は、図１４（ｃ）に示すように座標変換する。この場合
は、カメラ位置情報発生回路５からの信号により、振れ
角θ＝−θ₁であるので、水平方向のアドレス（ｘ_p）
は、画像の左端（即ち、図１４（ｃ）に示されるｙ
_p軸）が０となり右方向にアドレスが大きく、＋の値に
なるよう変換する。また、垂直方向のアドレス（ｙ_p）
は、上記の場合と同様、撮像素子デバイスの縦方向の中
心線（即ち、図１４（ｃ）に示されるｘ_p軸）を０と
し、中心線からの縦方向への変位量で表され、中心より
上側では＋、下側では−の値となるように変換する。図
１４（ｂ）及び（ｃ）では、合成画像の中心方向から見
て左右対称のアドレスとなっている。

【００７９】また、座標変換回路５０においては、各カ
メラからの画像に対応する合成画像の位置情報ｔを生成
し出力する。例えば、位置情報ｔは、カメラ選択信号ｆ
が中央の領域を撮影する第１のカメラ１ａからの出力信
号を示し、振れ角θ＝０であれば、合成画像の中央の位
置を示すようにｔ＝０、左側を撮影する第２のカメラ１
ｂからの出力信号を示し、振れ角θ＝＋θ₁であれば、
合成画像に対して左側の位置を示すようにｔ＝＋１，右
側を撮影する第３のカメラ１ｃからの出力信号示し、振
れ角θ＝−θ₁であれば、合成画像に対して右側の位置
を示すようにｔ＝−１とする。尚、位置情報ｔは上記の
信号に限らず、合成する際に各カメラによる画像がどの
領域を撮影しているかを示す位置情報であればよい。

【００８０】座標変換回路５０から出力される水平方向
のアドレスｘ_pは、係数演算回路５１及び合成画像アド
レス生成回路５３へと送られ、垂直方向のアドレスｙ_p
は乗算回路５２へと送られる。係数演算回路５１では、
カメラ位置情報発生回路５からのカメラの位置情報を示
す信号とカメラ選択信号ｆも入力されており、入力され
る水平方向アドレスｘ_pとカメラ位置情報発生回路５か
らのカメラの位置情報で示される値に基づいて演算し、
乗算回路５２において垂直方向のアドレスｙ_pと乗算を
行うための演算係数ｋ_yを求める。

【００８１】乗算回路５２では、係数演算回路５１にお
いて得られた演算係数ｋ_yと座標変換回路５０から出力
される垂直方向アドレスｙ_pの乗算を行い、合成画像の
アドレスを得るための垂直方向のアドレスｙ_p′を求め
出力する。

【００８２】ここで、係数演算回路５１により、乗算回
路５２において垂直方向のアドレスｙ_pと乗算を行うた
めの演算係数ｋ_yを求める演算の一例を説明する。

【００８３】３台のカメラにより撮影する場合、撮影さ
れる画像は図６の１５ａ，１５ｂ，１５ｃのようになる
が、中央を撮影した振れ角θ＝０の第１のカメラ１ａに
よる画像１５ａは、視点を中央部にして合成画像と同一
の画角で撮影した場合の仮想画像と同様となり、左右の
方向を撮影した振れ角θ₁の第２のカメラ１ｂ及び第３
のカメラ１ｃによる画像１５ｂ及び１５ｃは、視点を中
央部にした場合の仮想画像と奥行き方向の状態はほぼ同
じである。よって、振れ角θ＝０で中央部を撮影する第
１のカメラ１ａによる画像はそのままで、左右方向を撮
影する第２，第３のカメラ１ｂ及び１ｃによる画像に対
しては、画像の縦方向のみに係数を乗算することにより
水平方向（ｘ）に対し垂直方向（ｙ）の比率が同じとな
るようにして、横方向の平行線を再現することができ
る。このとき、左側を撮影した画像においては、右端
（図１４（ｂ）の原点（０，０）を含む端部）を基準と
し、右側を撮影した画像においては、左端（図１４
（ｃ）の原点（０，０）を含む端部）を基準として、各
左右の撮影画像の端部と、これに繋がる中央を撮影した
画像の両端とにおいて、縦方向の比率が同一になるよう
にする。

【００８４】つまり、係数演算回路５１において、カメ
ラ選択信号ｆが左側を撮影する第２のカメラ１ｂからの
出力信号であることを示す場合、カメラ位置情報発生回
路５からの信号より振れ角θ＝＋θ₁であり、カメラ選
択信号ｆが右側を撮影する第３のカメラ１ｃからの出力
信号であることを示す場合、カメラ位置情報発生回路５
からの信号より振れ角θ＝−θ₁であるので、左側又は
右側に振れ角を持つ画像に対して横方向の非平行な直線
（図１４（ｂ）及び（ｃ）において原点に近づくほど間
隔を広げる複数の破線）を平行線に戻すため、カメラの
横方向の傾斜のみを考慮し、入力される水平方向のアド
レスｘ_pとカメラ位置情報発生回路５からの信号による
カメラの被写体からの高さＨ、カメラの俯角φ、振れ角
θの値より演算係数ｋ_yを演算する。尚、カメラ選択信
号ｆが中央を撮影する第１のカメラ１ａからの出力信号
であることを示す場合は、カメラ位置情報発生回路５か
らの信号より振れ角θ＝０であるので、例えば、垂直方
向のアドレスｙ_pを変換しないようにｋ_y＝１を出力す
る。

【００８５】カメラの振れ角をθとし、θ≠０の条件で
撮影が行われたときには、係数演算回路５１が出力する
演算係数をｒとし、撮像素子デバイス（厳密に言えば、
レンズの主点）から被写体１３までの距離をｈ₂とし、
距離ｈ₂にある被写体１３の撮影画像の中心点に対応す
る点から図１４（ｂ）及び（ｃ）の座標系の原点に相当
する点までの距離をＸ_p0とし、これらの座標系における
点の原点からのｘ軸方向の距離をＸ_pとし、所定の定数
をＣ_nとして、下記の式 ｒ＝{(ｈ₂cosθ＋Ｘ_p0sinθ)×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p0sinθ−Ｘ_psinθ) … により演算係数ｒを求める。また、θ＝０の条件で撮影
したときには、演算係数ｒを所定値に設定する。

【００８６】ここで、ｈ₂，Ｘ_p及びＸ_p0はカメラの被写
体からの高さ、カメラの俯角、カメラの振れ角及びレン
ズの焦点距離、撮像素子デバイスの大きさから求めるこ
とができる。よって、演算係数ｒは、係数演算回路５１
で使用するカメラのレンズの焦点距離、撮像素子デバイ
スの大きさを設定しておき、カメラ位置情報発生回路５
からの信号におけるカメラの被写体からの高さＨ、カメ
ラの俯角φ、振れ角θを示す信号により演算できる。そ
して、上記得られた演算係数ｒより、演算係数ｋ_y＝ｒ
として、ｋ_yを出力する。例えば、振れ角θ＝０の第１
のカメラ１ａにおける画像に対してはｋ_y＝１としてい
るので、式の定数Ｃ_n＝１とすれば、ｘ_p＝０でｋ_y＝
１となり、各左右の撮影画像と中央を撮影した画像の両
端での縦方向の比率を同一とし、水平方向（ｘ）に対し
垂直方向（ｙ）の比率が同じとなるようにして、横方向
の平行線を再現できる。

【００８７】尚、定数Ｃ_nは、画像の枚数により合成す
る際に隣接する画像の端部における縦方向の比率を同一
にするよう決められる。また、式による圧縮率ｒを求
める演算は、その一例であり、左側又は右側に振れ角を
持つ画像に対して横方向の放射線状の直線を平行線に戻
すように、入力される水平方向のアドレスｘ_pとカメラ
位置情報発生回路５からの信号によるカメラの被写体か
らの高さＨ、カメラの俯角φ、振れ角θより演算係数ｋ
_yを求めるのであれば、他の演算式を採用してもよい。

【００８８】係数演算回路５１において得られた演算係
数ｋ_yは、乗算回路５２へと送られ、乗算回路５２で
は、座標変換回路５０から出力される垂直方向アドレス
ｙ_pとｋ_yとの乗算を行い、演算係数ｋ_yにより変換され
た垂直方向のアドレスｙ_p′＝ｋ_y×ｙ_pを出力する。

【００８９】合成画像アドレス生成回路５３には、座標
変換回路５０からの変換した水平方向アドレスｘ_pと乗
算回路５２からの出力である変換された垂直方向のアド
レスｙ_p′が入力され、各画像における変換後のアドレ
ス（ｘ_p，ｙ_p′）を合成画像でのアドレスへと対応さ
せ、合成画像のすべて或いは一部の領域が一画面上に表
示できるように適当な大きさに縮小し、ＲＡＭ９への映
像信号の書き込みアドレスとなるデータを生成し出力す
る。

【００９０】つまり、合成画像アドレス生成回路５３へ
は、座標変換回路５０からの位置情報ｔとカメラ位置情
報発生回路５からの信号も入力されており、カメラ位置
情報発生回路５からの信号から画像枚数Ｎ＝３であるの
で、ｔ＝０では中央の領域を撮影する第１のカメラ１ａ
からの出力信号として、入力アドレス（ｘ_p，ｙ_p′）は
合成画像の中心を入力アドレスの（０，０）と一致する
ように対応させて合成画像のアドレスへ変換する。ｔ＝
＋１では左側を撮影する第２のカメラ１ｂからの出力信
号として、合成画像の左側の位置の画像に対応するよう
に、入力アドレス（ｘ_p，ｙ_p′）を合成画像のアドレス
に変換する。同様に、ｔ＝−１では、右側を撮影する第
３のカメラ１ｃからの出力信号として、合成画像の右側
の位置の画像に対応するようにアドレスを変換する。よ
って、ディスプレイ等の表示装置には、例えば、図１５
に示されるような被写体上の格子状の模様が奥行き方向
の遠近感を残したまま写し出される。尚、図１５におい
て、５４は、ディスプレイの枠である。また、図１５
は、表示装置における表示の一例を示すに過ぎず、表示
装置の画面の大きさ、形状等により表示データの一部を
切り出して表示してもよく、例えば、図１５における破
線枠５５内の領域のみを表示させてもよい。

【００９１】以上説明したように、実施の形態４の画像
合成装置及び画像合成方法によれば、カメラの台数Ｎ、
カメラの被写体からの高さＨ（或いは距離ｈ）、カメラ
の俯角φ、カメラの振れ角θに基づき、アドレス変換回
路においては、撮像素子デバイス上の画面アドレスに対
応する被撮影領域１３ａ，１３ｂ，１３ｃ上の点のアド
レスを求めているので、被写体とカメラとの位置関係に
左右されることなく、被写体上の複数の被撮影領域を撮
影して得られた画像を単一の視点で見た場合と同じよう
に、不自然さを感じさせることのない良好な広角画像を
得ることができる。

【００９２】尚、実施の形態４において、上記以外の点
は、上記実施の形態１又は２と同一である。

【００９３】実施の形態５ 上記実施の形態４においては、座標変換回路５０におい
て画面アドレスを図１４に示される座標系に変換し、係
数演算回路５１において式より求めた圧縮率ｒにより
演算係数ｋ_yを求めるように構成しているが、実施の形
態５においては、他の座標変換を行っている。実施の形
態５においては、左側又は右側に振れ角を持つ画像に対
して横方向の非平行な直線（図１６（ｂ）及び（ｃ）に
おいて、原点に近づくほど間隔を広げる複数の破線）を
平行線に戻すように、入力される水平方向のアドレスｘ
_pとカメラ位置情報発生回路５からの信号によるカメラ
の被写体からの高さＨ、カメラの俯角φ、振れ角θより
演算係数ｋ_yを得ることもできる。尚、実施の形態５の
画像合成装置の構成は、アドレス変換回路２３の係数演
算回路５１の処理内容を除いて、実施の形態４の装置の
構成と同一である。従って、実施の形態５の説明におい
ては、図１から図８まで、及び図１３をも参照する。

【００９４】例えば、座標変換回路５０は、アドレス発
生回路６が発生した、カメラの撮像素子デバイス上の画
面アドレス（ｘ，ｙ）を、図１６（ａ）、（ｂ）、
（ｃ）に示されるアドレス（ｘ_p，ｙ_p）に座標変換す
る。図１６において、各画像で垂直方向のアドレス（ｙ
_p）は、撮像素子デバイスの縦方向の中心線（即ち、図
１６（ａ）に示されるｘ_p軸）を０とし、中心線からの
縦方向への変位量で表され、中心より上側では＋、下側
では−の値となるように変換する。水平方向のアドレス
（ｘ_p）は、左右の方向に振れ角を持つ画像に対して
は、合成画像の中心から見て左右対称のアドレスとなる
ように変換する。つまり、中央を撮影する第１のカメラ
１ａからの出力信号である場合は、図１４（ａ）と同様
に変換し、左側を撮影する第２のカメラ１ｂからの出力
信号である場合は、水平方向のアドレス（ｘ_p）は、撮
像素子デバイスの横方向の中心線（即ち、図１４（ｂ）
に示されるｙ_p軸）を０とし、中心線からの横方向への
変位量で表され、中心より右側では＋、左側では−の値
となるように変換する。一方、右側を撮影する第３のカ
メラ１ｂからの出力信号である場合は、撮像素子デバイ
スの横方向の中心線（即ち、図１４（ｃ）に示されるｙ
_p軸）を０とし、中心線からの横方向への変位量で表さ
れ、中心より左側では＋、右側では−の値となるように
変換する。

【００９５】カメラの振れ角をθとし、θ≠０の条件で
撮影が行われたときには、係数演算回路５１が出力する
演算係数をｒ₀とし、撮像素子デバイス（厳密に言え
ば、レンズの主点）から被写体１３までの距離をｈ₂と
し、距離ｈ₂にある被写体１３の撮影画像の中心点に対
応する点から横軸方向の画像端に相当する点までの距離
をＸ_p0とし、座標系における点の原点までのｘ軸方向の
距離をＸ_p′とし、所定の定数をＣ_nとしたときに、下記
の式 ｒ₀＝{(ｈ₂cosθ＋Ｘ_p0sinθ）×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p′sinθ） … により演算係数ｒ₀を求める。また、θ＝０の条件で撮
影したときには、演算係数ｒ₀を所定値に設定すること
を特徴としている。

【００９６】また、ｈ₂，Ｘ_p0及びＸ_p′は、実施の形態
４の場合と同様に、カメラの被写体からの高さ、カメラ
の俯角、カメラの振れ角及びレンズの焦点距離、撮像素
子デバイスの大きさから求めることができる。よって、
演算係数ｒ₀はカメラ位置情報発生回路５からの信号に
おけるカメラの被写体からの高さＨ、カメラの俯角φ、
振れ角θを示す信号により演算でき、演算係数ｒ₀よ
り、演算係数ｋ_y＝ｒ₀として、ｋ_yを得ることができ
る。尚、式による演算は、実施の形態４における式
による演算と基準点の取り方を変更した場合に相当し、
画像内では同様の係数となり、得られる画像も図１５の
ような合成画像となる。

【００９７】さらに、上記実施の形態４及び５において
は、カメラの被写体からの高さ、カメラの俯角、カメラ
の振れ角を用いて演算係数ｋ_yを求めているが、撮影素
子上での水平方向のアドレスＸ_pに相当する点と光軸と
の距離は、レンズの焦点距離、撮像素子デバイスの大き
さから求められる画角に基づき得られるので、カメラの
振れ角のみを用いて演算係数ｋ_yを得ることもできる。

【００９８】例えば、式については、カメラのレンズ
の焦点距離、撮像素子デバイスの大きさから求められる
画角２α₁として、アドレスＸ_pでの光軸となす角度α′
とすれば、下記の式のように変形でき、 ｒ＝{(cosθ＋tanα₁sinθ)×Ｃ_n}／(cosθ＋tanα′sinθ) … 角度α′はアドレスＸ_pとレンズの焦点距離、撮像素子
デバイスの大きさから求められる。また、式について
も、同様に変形できる。

【００９９】尚、実施の形態５において、上記以外の点
は、上記実施の形態４と同一である。

【０１００】

【発明の効果】以上説明したように、請求項１から１８
までのいずれかの発明によれば、撮像手段と被写体との
位置関係を示す位置情報に基づいて合成画像のアドレス
を生成しているので、撮像手段と被写体との位置関係に
左右されることなく、単一の視点で見た場合のように不
自然さを感じさせることのない良好な広角画像を合成す
ることができるという効果が得られる。

【０１０１】また、請求項４又は１３の発明によれば、
アドレス変換手段において変換された被写体の被撮影領
域上のアドレスを、被写体上の被撮影領域の全てを単一
の視点から撮影できる仮想上の撮像手段の画面アドレス
に変換しているので、立体感を感じさせることのできる
広角画像を合成することができるという効果が得られ
る。

【０１０２】また、請求項８又は１７の発明によれば、
式を用いて合成画像の縦方向のアドレスを変換すると
いう簡単な方法により、単一の視点で見た場合のように
不自然さを感じさせることのない良好な広角画像を合成
することができるという効果が得られる。

【０１０３】また、請求項９又は１８の発明によれば、
式を用いて合成画像の縦方向のアドレスを変換すると
う簡単な方法により、単一の視点で見た場合のように不
自然さを感じさせることのない良好な広角画像を合成す
ることができるという効果が得られる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像合成装置
の構成の一例を示すブロック図である。

【図２】 実施の形態１におけるカメラと被写体との位
置関係を模式的に示す斜視図である。

【図３】 実施の形態１におけるカメラと被写体との位
置関係を模式的に示す平面図である。

【図４】 （ａ）及び（ｂ）はそれぞれ、カメラの垂直
画角を示す側面図及びカメラの水平画角を示す平面図で
ある。

【図５】 実施の形態１において被写体を地平面とし、
水平面から等しい俯角を持って設置されている３台のカ
メラのそれぞれにより撮影される地平面上の被撮影領域
の一例を示す図である。

【図６】 図５に示される被撮影領域が各カメラの撮像
素子デバイス上に結像される様子を示す図である。

【図７】 実施の形態１におけるアドレス変換回路の構
成の一例を示すブロック図である。

【図８】 実施の形態１の画像合成装置又は画像合成方
法を用いて表示装置に表示される画像（格子模様）の一
例を示す図である。

【図９】 この発明の実施の形態２による画像合成装置
の構成の一例を示すブロック図である。

【図１０】 この発明の実施の実施３による画像合成装
置のアドレス変換回路の構成を示すブロック図である。

【図１１】 実施の形態３において被写体を地平面と
し、水平画角が３α度の仮想カメラで撮影される被写体
上の領域を示す図である。

【図１２】 図１１に示される被撮影領域が各カメラの
撮像素子デバイス上に結像される様子を示す図である。

【図１３】 この発明の実施の形態４の画像合成装置の
アドレス変換回路の構成の一例を示すブロック図であ
る。

【図１４】 （ａ）、（ｂ）、（ｃ）は、この発明の実
施の形態４の座標変換回路により変換された画面アドレ
スを表記する座標系を示す説明図である。

【図１５】 実施の形態４の画像合成装置におけるアド
レス変換回路による変換の一例を説明するための図であ
る。

【図１６】 （ａ）、（ｂ）、（ｃ）は、この発明の実
施の形態５の座標変換回路により変換された画面アドレ
スを表記する座標系を示す説明図である。

【図１７】 従来の広角画像撮影装置の構成を示す図で
ある。

【符号の説明】

１ａ，１ｂ，１ｃ，３１ 撮像装置、 ２ 同期駆動回
路、 ５，３３ カメラ位置情報発生回路、 ６，３８
アドレス発生回路、 ７，２２，２３，３９アドレス
変換回路、 ９，４０ ＲＡＭ、 ２０，２１ 演算回
路、 ３２レンズの主点、 ３４ カメラ回転駆動回
路、 ３５ 撮像素子駆動回路、 ５０ 座標変換回
路、 ５１ 係数演算回路、 ５２ 乗算回路、 ５３
合成画像アドレス生成回路。

Claims (18)

【特許請求の範囲】
1. 【請求項１】 １台或いは複数台の撮像手段により被写
   体上の複数の被撮影領域を撮影することによって得られ
   た複数の画像から１枚の広角画像を合成する画像合成装
   置において、 上記撮像手段と被写体上の複数の被撮影領域との位置関
   係を示す位置情報信号を発生する位置情報発生手段と、 上記撮像手段から出力される画像信号に対応する上記撮
   像手段の画素の位置を特定する画面アドレスを発生する
   アドレス発生手段と、 上記アドレス発生手段から出力される画面アドレスを、
   上記位置情報発生手段から出力される位置情報信号に基
   づいて、合成後の広角画像のアドレスに変換するアドレ
   ス変換手段とを有することを特徴とする画像合成装置。
2. 【請求項２】 上記位置情報発生手段から出力される位
   置情報信号が、 上記撮像手段の被写体からの高さ及び上記撮像手段から
   被写体までの距離のうちのいずれか一方を示す情報と、 上記撮像手段の光軸が水平面となす角度を示す情報と、 上記撮像手段により撮影される被写体上の被撮影領域の
   数を示す情報と、 上記撮像手段と被写体の中心点とを結ぶ中央線と上記撮
   像手段の光軸とのなす振れ角を示す情報とのうちいずれ
   かを含む信号であることを特徴とする請求項１記載の画
   像合成装置。
3. 【請求項３】 上記アドレス変換手段が、上記アドレス
   発生手段から出力される画面アドレスを、上記位置情報
   発生手段から出力される位置情報信号に基づいて、被写
   体の被撮影領域上のアドレスに変換する第１の演算手段
   を有することを特徴とする請求項１又は２のいずれかに
   記載の画像合成装置。
4. 【請求項４】 上記アドレス変換手段が、上記第１の演
   算手段により変換された被写体の被撮影領域上のアドレ
   スを、被写体上の被撮影領域の全てを単一の視点から撮
   影できる仮想上の撮像手段の画面アドレスに変換する第
   ２の演算手段を有することを特徴とする請求項３記載の
   画像合成装置。
5. 【請求項５】 上記アドレス変換手段が、被写体上の被
   撮影領域の全てを単一の視点から撮影できる仮想上の撮
   像手段の画面アドレスと同等の画面アドレスを生成する
   ように、上記アドレス発生手段から出力される画面アド
   レスの縦方向のアドレスのみを、上記位置情報発生手段
   から出力される位置情報信号に基づいて、合成後の広角
   画像のアドレスに変換することを特徴とする請求項１又
   は２のいずれかに記載の画像合成装置。
6. 【請求項６】 上記アドレス変換手段が、 上記アドレス発生手段から出力される画面アドレスの縦
   方向のアドレスに乗じられる演算係数を、上記アドレス
   発生手段から出力される画面アドレスの横方向のアドレ
   スと上記位置情報発生手段から出力される位置情報信号
   とに基づいて算出する係数演算手段と、 上記係数演算手段により得られた演算係数を上記画面ア
   ドレスの縦方向のアドレスに乗ずる乗算手段と、 上記アドレス発生手段から出力される画面アドレスの横
   方向のアドレスと、上記乗算手段から出力される画面ア
   ドレスの縦方向のアドレスと、上記位置情報発生手段か
   ら出力される位置情報信号とに基づいて１枚の広角画像
   のデータを生成する合成画像アドレス生成手段とを有す
   ることを特徴とする請求項１，２，５のいずれか一つに
   記載の画像合成装置。
7. 【請求項７】 上記アドレス変換手段が、 上記アドレス発生手段から出力される画面アドレスを表
   記する座標系を設定し、この設定される座標系により表
   記される画面アドレスを出力する座標変換手段と、 上記座標変換手段から出力される画面アドレスの縦方向
   のアドレスに乗じられる演算係数を、上記座標変換手段
   から出力される画面アドレスの横方向のアドレスと上記
   位置情報発生手段から出力される位置情報信号とに基づ
   いて算出する係数演算手段と、 上記係数演算手段により得られた演算係数を上記座標変
   換手段から出力される画面アドレスの縦方向のアドレス
   に乗ずる乗算手段と、 上記座標変換手段から出力される画面アドレスの横方向
   のアドレスと、上記乗算手段から出力される画面アドレ
   スの縦方向のアドレスと、上記位置情報発生手段から出
   力される位置情報信号とに基づいて１枚の広角画像のデ
   ータを生成する合成画像アドレス生成手段とを有するこ
   とを特徴とする請求項１，２，５のいずれか一つに記載
   の画像合成装置。
8. 【請求項８】 上記撮像手段の振れ角をθとし、 θ≠０の条件で撮影が行われたときには、上記係数演算
   手段が出力する演算係数をｒとし、上記撮像手段から被
   写体までの距離をｈ₂とし、被写体の中心点に対応する
   上記撮像手段上の点を通る横方向のｘ軸が被写体上の被
   撮影領域の上記中心点側の境界線に対応する上記撮像手
   段上の領域の境界線と交差する点を座標系の原点とし、
   被写体上での画像の中心点に相当する点から上記座標系
   の原点に相当する点までの横軸方向の距離をＸ_p0とし、
   上記座標系における点の原点からのｘ軸方向の距離をＸ
   _pとし、所定の定数をＣ_nとして、下記の式 ｒ＝{(ｈ₂cosθ＋Ｘ_p0sinθ)×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p0sinθ−Ｘ_psinθ) … により演算係数ｒを求めるとともに、 θ＝０の条件で撮影したときには、演算係数ｒを所定値
   に設定することを特徴とする請求項７記載の画像合成装
   置。
9. 【請求項９】 上記撮像手段の振れ角をθとし、 θ≠０の条件で撮影したときには、上記係数演算手段が
   出力する演算係数をｒ ₀とし、上記撮像手段から被写体
   までの距離をｈ₂とし、撮影される被写体上の被撮影領
   域に対応する上記撮像手段上の領域の中心位置を座標系
   の原点とし、被写体上での上記原点に対応する点から横
   軸方向の画像の境界線に対応する点までの距離をＸ_p0と
   し、上記座標系における点の原点からｘ軸方向の距離を
   Ｘ_p′とし、所定の定数をＣ_nとしたときに、下記の式 ｒ₀＝{(ｈ₂cosθ＋Ｘ_p0sinθ）×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p′sinθ） … により演算係数ｒ₀を求めるとともに、 θ＝０の条件で撮影したときには、演算係数ｒ₀を所定
   値に設定することを特徴とする請求項７記載の画像合成
   装置。
10. 【請求項１０】 １台或いは複数台の撮像手段により被
    写体上の複数の被撮影領域を撮影することによって得ら
    れた複数の画像から１枚の広角画像を合成する画像合成
    方法において、（ア） 撮像手段と被写体上の複数の被
    撮影領域との位置関係を示す位置情報を設定し、（イ）
    撮像手段から出力される画像信号に対応する撮像手段
    の画素の位置を特定する画面アドレスを発生し、（ウ）
    この画面アドレスを、上記位置情報に基づいて、合成
    後の広角画像のアドレスに変換することを特徴とする画
    像合成方法。
11. 【請求項１１】 上記位置情報が、 撮像手段の被写体からの高さ及び撮像手段から被写体ま
    での距離のうちのいずれか一方を示す情報と、 撮像手段の光軸が水平面となす角度を示す情報と、 撮像手段により撮影される被写体上の被撮影領域の数を
    示す情報と、 撮像手段と被写体の中心点とを結ぶ中央線と撮像手段の
    光軸とのなす振れ角を示す情報とのうちいずれかを含む
    ことを特徴とする請求項１０記載の画像合成方法。
12. 【請求項１２】 上記工程（ウ）において、画面アドレ
    スを、上記位置情報に基づいて、被写体の被撮影領域上
    のアドレスに変換することを特徴とする請求項１０又は
    １１のいずれかに記載の画像合成方法。
13. 【請求項１３】 上記工程（ウ）において、画面アドレ
    スを、上記位置情報に基づいて、被写体の被撮影領域上
    のアドレスに変換し、この変換された被写体の被撮影領
    域上のアドレスを、被写体上の被撮影領域の全てを単一
    の視点から撮影できる仮想上の撮像手段の画面アドレス
    に変換することを特徴とする請求項１０又は１１のいず
    れかに記載の画像合成方法。
14. 【請求項１４】 上記工程（ウ）において、被写体上の
    被撮影領域の全てを単一の視点から撮影できる仮想上の
    撮像手段の画面アドレスと同等の画面アドレスを生成す
    るように、画面アドレスの縦方向のアドレスのみを、上
    記位置情報に基づいて、合成後の広角画像のアドレスに
    変換することを特徴とする請求項１０又は１１のいずれ
    かに記載の画像合成方法。
15. 【請求項１５】 上記工程（ウ）において、 画面アドレスの縦方向のアドレスに乗じられる演算係数
    を、画面アドレスの横方向のアドレスと上記位置情報と
    に基づいて算出し、 上記演算係数を画面アドレスの縦方向のアドレスに乗
    じ、 画面アドレスの横方向のアドレスと、上記演算係数を乗
    じられた画面アドレスの縦方向のアドレスと、上記位置
    情報とに基づいて１枚の広角画像のデータを生成するこ
    とを特徴とする請求項１０，１１，１４のいずれか一つ
    に記載の画像合成方法。
16. 【請求項１６】 上記工程（ウ）において、 画面アドレスを表記する座標系を設定し、この設定され
    た座標系で表記される画面アドレスを出力し、 上記座標系で表記される画面アドレスの縦方向のアドレ
    スに乗じられる演算係数を、上記座標系で表記される画
    面アドレスの横方向のアドレスと上記位置情報とに基づ
    いて算出し、 上記演算係数を上記座標系で表記される画面アドレスの
    縦方向のアドレスに乗じ、 上記座標系で表記される画面アドレスの横方向のアドレ
    スと、上記演算係数が乗じられた画面アドレスの縦方向
    のアドレスと、上記位置情報とに基づいて１枚の広角画
    像のデータを生成することを特徴とする請求項１０，１
    １，１４のいずれか一つに記載の画像合成方法。
17. 【請求項１７】 上記工程（ウ）において、 上記撮像手段の振れ角をθとし、 θ≠０の条件で撮影が行われたときには、上記演算係数
    をｒとし、撮像手段から被写体までの距離をｈ₂とし、
    被写体の中心点に対応する撮像手段上の点を通る横方向
    のｘ軸が被写体上の被撮影領域の上記中心点側の境界線
    に対応する撮像手段上の領域の境界線と交差する点を座
    標系の原点とし、被写体上での画像の中心点に相当する
    点から上記座標系の原点に相当する点までの横軸方向の
    距離をＸ _p0とし、上記座標系における点の原点からのｘ
    軸方向の距離をＸ_pとし、所定の定数をＣ_nとして、下記
    の式 ｒ＝{(ｈ₂cosθ＋Ｘ_p0sinθ)×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p0sinθ−Ｘ_psinθ) … により演算係数ｒを求めるとともに、 θ＝０の条件で撮影したときには、演算係数ｒを所定値
    に設定することを特徴とする請求項１６記載の画像合成
    方法。
18. 【請求項１８】 上記工程（ウ）において、 上記撮像手段の振れ角をθとし、 θ≠０の条件で撮影したときには、上記演算係数をｒ₀
    とし、撮像手段から被写体までの距離をｈ₂とし、撮影
    される被写体上の被撮影領域に対応する撮像手段上の領
    域の中心位置を座標系の原点とし、被写体上での上記原
    点に対応する点から横軸方向の画像の境界線に対応する
    点までの距離をＸ_p0とし、上記座標系における点の原点
    からｘ軸方向の距離をＸ_p′とし、所定の定数をＣ_nとし
    たときに、下記の式 ｒ₀＝{(ｈ₂cosθ＋Ｘ_p0sinθ）×Ｃ_n}／(ｈ₂cosθ＋Ｘ_p′sinθ） … により演算係数ｒ₀を求めるとともに、 θ＝０の条件で撮影したときには、演算係数ｒ₀を所定
    値に設定することを特徴とする請求項１６記載の画像合
    成方法。