JP2010134617A - パノラマ撮像装置 - Google Patents

Abstract

【課題】簡単な構成で、被写体の位置に関わらず高解像度のパノラマ画像を得ることが出来るパノラマ撮像装置を提供する。
【解決手段】パノラマ撮像レンズ２１を有し、パノラマ撮像レンズ２１に入射して形成された画像をとらえる撮像素子３２と、パノラマ撮像レンズ２１と撮像素子３２との間に配置された撮像光学系であるズームレンズ３４を備える。ズームレンズ３４により撮影した複数の画像を処理する画像処理手段を備える。画像処理手段は、同一の被写体を複数の焦点距離で撮影し、広角のパノラマ画像のうち解像度が相対的に劣る部分の部分画像を除去する。ズームレンズ３４の焦点距離を長くして撮影したパノラマ画像のうち、除去した部分画像に対応する部分を、広角のパノラマ画像の残余の部分に合成する。
【選択図】図１

Description

この発明は、パノラマ撮影可能なレンズを用いて周囲の監視等を行うパノラマ撮像装置に関する。

従来、パノラマ撮影可能な光学系として、特許文献１に開示されているように、レンズの周囲３６０°の視界を一度に撮影できるパノラマ撮像レンズがある。このパノラマ撮像レンズ１は、図７に示すように、光学ガラス等の光透過性の素材により、レンズの中心である光軸回りに回転対称に形成されている。そして、パノラマ撮像レンズ１は、３６０°全周から光が入射する環状の光入射面２と、この光入射面２と隣接し略対向するようにして環状に形成され、レンズ１内へ光を反射する第一反射面３と、光入射面２の環内の中央部に設けられ第一反射面３からの反射光を第一反射面３の環の内側部分に向けて反射する第二反射面４を備えている。第一反射面３の環内中央部には、第二反射面４と対向する位置に第二反射面４からの光を透過する光出射面５が形成されている。

光入射面２は側方に膨らんだ凸レンズ状に形成され、その中心側の第二反射面４は凹面状に形成され、レンズ1の内面側が凹面鏡状の反射面となっている。また、光入射面２に隣接した第一反射面３も、側方に膨らんだ凸面状に形状され、レンズ１の内面側が第二反射面４の方向を向いた環状の凹面鏡の反射面となっている。光出射面５は、適宜凹面や凸面または平面状に形成されている。

このパノラマ撮像レンズ１を用いたパノラマ撮像装置は、図７に示すように、パノラマ撮像レンズ１とその光軸上に設けられた結像用のリレーレンズ６とを保持したレンズホルダ７、及び図示しないケース等から成るパノラマレンズユニット８と、このパノラマレンズユニット８が取り付けられるビデオカメラ１０から成る。撮像装置１０は、像を捉える対物レンズ１１と、その結像位置に設けられたＣＣＤ等の撮像素子１２、その他図示しない必要な制御部等から成る。そして、パノラマ撮像レンズ１により捉えられた３６０°のパノラマ風景１３は、撮像装置１０の撮像素子１２に環状の画像１４として結像し、電気信号に変換されて、液晶やＣＲＴ等の各種モニタ装置１５に映し出される。画像１４は、環状であり極座標系の画像であるので、最終的には図示しないコンピュータにより直交座標系に座標変換されて、展開パノラマ画像として表示される。
特開２００３−１６７１９３号公報

上記特許文献１に開示されたパノラマ撮像装置による画像１４は、直交座標系の画像にした場合、環状の画像１４の中央部分が相対的に引き伸ばされることになり、中央部分の解像度が低いものとなる。即ち、光入射面２に入射する光のうち、図７において上方からの入射光ほど解像度が落ちるという問題があった。

この発明は、上記背景技術に鑑みてなされたもので、簡単な構成で、被写体の位置に関わらず高解像度のパノラマ画像を得ることが出来るパノラマ撮像装置を提供することを目的とする。

この発明は、光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から側方の光が入射可能に形成された広角レンズを有し、前記広角レンズに入射して形成された画像をとらえる撮像素子と、前記広角レンズと前記撮像素子との間に配置され前記広角レンズに入射した光を前記撮像素子に結像させる撮像光学系を有したパノラマ撮像装置であって、前記撮像光学系は、複数の焦点距離を設定可能な光学系から成り、前記撮像光学系により撮影した複数の画像を処理する画像処理手段を備え、前記画像処理手段は、前記撮像光学系により同一の被写体を複数の焦点距離で撮影し、焦点距離の短い方の前記撮像光学系の撮影画像のうち解像度が相対的に劣る部分の部分画像を、焦点距離の長い方の前記撮像光学系により撮影した撮影画像のうちの、前記部分画像に対応する画像部分に置き換えて前記複数の撮影画像の部分同士を合成する処理を行うパノラマ撮像装置である。

前記広角レンズは、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から側方の光が入射可能に膨らんで凸レンズ状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とを備えたパノラマ撮像レンズである。

前記撮像光学系はズームレンズから成り、前記ズームレンズは焦点距離を変える駆動装置を備え、所定の焦点距離で被写体を撮影するように前記駆動装置を制御する撮影制御手段と、前記撮像素子により撮影した複数の撮影画像を記憶する記憶装置を有する。

前記画像処理手段は、前記部分画像を合成する際に前記各部分画像同士の繋ぎ目を目立たなくするマッチングを行うマッチング手段を備える。前記マッチングは、前記撮像素子により撮影した複数の撮影画像の置き換える部分同士の画像データのヒストグラムを求め、置換する部分画像を置換される画像部分のヒストグラムにマッチングさせるものである。

この発明のパノラマ撮像装置によれば、簡単な装置で３６０°の広い範囲の監視や検査、その他被写体の追跡を、撮像素子の画素数を増やすことなく高解像度で行うことが出来る。

以下この発明の実施の形態について図面に基づいて説明する。図１はこの発明の一実施形態を示すもので、この実施形態のパノラマ撮像装置２０は、光学ガラスやレンズ用の透明樹脂等で形成され、レンズ中心の光軸回りに回転対称に形成されたパノラマ撮像レンズ２１を有する。パノラマ撮像レンズ２１は、３６０°の視界を一度に撮像できるように３６０°全周から側方の光が入射する環状の光入射面２２を備えている。光入射面２２は、側方に膨らんだ凸レンズ状に形成されている。さらに、パノラマ撮像レンズ２１は、この光入射面２２に対して所定の間隔を隔てて、光入射面２２から入射した光をパノラマ撮像レンズ２１内へ反射する環状の第一反射面２３を有する。環状の光入射面２２の環内中央部には、第一反射面２３からの反射光を、第一反射面２３の環の内側部分に向けて反射する第二反射面２４が設けられている。第一反射面２３は外側に膨らんだ凸面状に形状され、第一反射面２３のパノラマ撮像レンズ２１内面側が、第二反射面２４の方向を向いた環状の凹面鏡の反射面となっている。第二反射面２４は、凹面状に形成されパノラマ撮像レンズ２１の内面側が凸面鏡状の反射面となっている。そして、環状の第一反射面２３の環内中央部には、第二反射面２４と対向する位置に、第二反射面２４からの光を透過する光出射面２５が形成されている。

光入射面２２、第一光反射面２３、及び第二光反射面２４の各表面形状は、光入射面２２から入射した３６０°のパノラマ画像が、光出射面２５を経て得られるように、球面または所定の式で設定される非球面形状に形成されている。光出射面２５は、光学系に合わせて凹面、凸面または平面状に形成される。

パノラマ撮像レンズ２１は、その光軸上に設けられた結像用のリレーレンズ２６とともにレンズホルダ２７により保持され、パノラマレンズユニット２８を構成している。パノラマレンズユニット２８は、ビデオカメラ３０に取り付けられている。ビデオカメラ３０には、パノラマ撮像レンズ２１の光入射面２２へ入射したパノラマ風景３３からの光を撮影するＣＣＤ等の撮像素子３２を備えている。さらに、ビデオカメラ３０には、ズームレンズ３４が着脱自在に取り付けられ、ズームレンズ３４の焦点距離を調節することにより、パノラマ撮像レンズ２１に入射する被写体であるパノラマ風景３３を任意の倍率にズームアップすることが出来る。撮像素子３２により撮影されたパノラマ風景３３は、同心円状の環状パノラマ画像３６として結像し、ビデオカメラ３０のモニタ３８等に映し出される。

次に、この実施形態のパノラマ撮像装置２０に撮像された画像の処理について説明する。以下の処理は、例えばコンピュータにより行われるもので、所定のソフトウェアにより処理される。先ず、パノラマ撮像レンズ２１により撮影された環状パノラマ画像３６を、通常の四角形の展開パノラマ画像に変換する処理について説明する。この処理は、既存の処理方法であり、図２に示すように、環状パノラマ画像３６を所定位置で切り開いて展開し、引き伸ばされた部分について、画素補完を行い展開パノラマ画像とするものである。ここでは、図３に示すように、画像解析処理ｓ１１を行い環状パノラマ画像３６の仰角に対する画角解像度を求める。この関係は、パノラマ撮像レンズ２１を垂直方向に上向きに配置した場合、例えばパノラマ撮像レンズ２１においては図４に示すような曲線で、仰角が大きくなるに従い画角解像度は低くなる。この関係を基にして、極座標系で表される環状パノラマ画像３６を直交座標系の展開パノラマ画像４０に座標変換する処理を行う（ｓ１２）。このとき、座標変換による展開によって直交座標系の展開パノラマ画像４０について、展開されて画像情報が少ない部分については、画素補完する処理を行い、きめ細かな画像を形成する（ｓ１３）。画素補完は公知の方法により、近接する画素からその補完位置の画像情報を演算して補完する等の処理を行う。

さらに、この実施形態では、画像の解像度を上げるため、以下に説明する画像合成処理を行う（ｓ１４）。画像合成処理には、パノラマ撮像レンズ２１による環状パノラマ画像３６の特性を利用する。即ち、環状パノラマ画像３６は、図５に示すように、例えば焦点距離１０ｍｍで撮像した広角パノラマ画像３６ａと、焦点距離２３ｍｍで撮像した拡大パノラマ画像３６ｂを比較すると、広角パノラマ画像３６ａの中心に近い部分の画像は、図４に示すレンズ特性により、小さく解像度が低いが、焦点距離２３ｍｍで撮像した拡大パノラマ画像３６ｂは、中心部の画像が拡大されており、相対的に解像度が高くなっている。即ち、環状パノラマ画像３６のうちの中心部に位置する、より仰角の大きい部分の被写体について、光学的にズームアップすることにより、図４に示すレンズ特性から、同じ被写体の解像度を上げることが出来る。

そこで、この実施形態では、図３に示すように、ズームレンズ３４により広角で撮像した広角パノラマ画像３６ａと、所定の拡大率でズームアップした拡大パノラマ画像３６ｂを所定の短時間に撮像する。好ましくは、動画画像の１フレーム分である１／３０秒間に２枚撮影すると良いが、これにとらわれず、通常のビデオ撮影による２フレーム分の撮影画像を用いて以下の処理を行っても良く、撮影枚数を３枚以上にしても良い。

この後、上述のように画像解析して座標変換を行い、画素補完して展開パノラマ画像４０を形成する。次に、広角パノラマ画像３６ａによる解像度の低い部分の展開パノラマ画像４０の画像部分を決めるとともに、ズームアップした拡大パノラマ画像３６ｂのうち、広角パノラマ画像３６ａに対して解像度の高い画像部分、即ち、ズームアップすることにより、撮像素子３２のより周辺側で撮影された仰角の大きい被写体エリアの展開パノラマ画像４０の対応部分を抜き出す。そして、広角パノラマ画像３６ａによる解像度の低い部分の展開パノラマ画像４０の対応部分と置き換える。

この作業は、例えば図５、図６に示すように、焦点距離１０ｍｍで撮像した広角パノラマ画像３６ａと、焦点距離２３ｍｍで撮像した拡大パノラマ画像３６ｂのうち、広角パノラマ画像３６ａの展開パノラマ画像４０ａの中央部分（図面上方）を、拡大パノラマ画像３６ｂの展開パノラマ画像４０ｂの対応部分と部分的に置き換えて合成する。これにより、図６（ａ）に示すような解像度の画像が、図６（ｂ）に示すように、より解像度の高い画像に置き換えられる。この画像合成に際しては、最小二乗法により接続する位置を合わせて、誤差が最小となるようにして、画像同士をつなぐ。

さらに、画像のつなぎ目が目立たないように、展開パノラマ画像４０ａ，４０ｂの、置き換える部分同士の画像データのヒストグラムを求め、両画像のヒストグラムが一致するようにマッチング処理を行う。このマッチングは、拡大された展開パノラマ画像４０ｂの光の三原色ＲＧＢについて、置き換えられる部分の広角の展開パノラマ画像４０ａのＲＧＢ各色のヒストグラムに一致させる。

以上の画像合成処理を行い、高画質パノラマ画像４２を得る。なお、このパノラマ撮像装置２０は、ズームレンズ３４の焦点距離を変える図示しない駆動装置や、所定の焦点距離で被写体を撮影するように前記駆動装置を制御する撮影制御装置が設けられ、撮像素子３２により撮影した複数の撮影画像を記憶する図示しない記憶装置等も備えている。

この実施形態のパノラマ撮像装置によれば、撮像素子３２の画素数を上げることなく、光学的に拡大した画像を利用して、高解像の展開パノラマ画像を得ることが出来、パノラマ撮影による監視や追跡において、より正確な処理が可能となる。また、合成画像のつなぎ目も目立たず、自然な画像を得ることが出来る。

なお、この発明のパノラマ撮像装置は上記実施形態に限定されるものではなく、合成する画像の枚数を適宜設定可能なものであり、撮像光学系も、ズームレンズの他、段階的に焦点距離を切り替え可能な光学系でも良い。画像合成の方法も適宜選択することが出来る。

この発明の一実施形態のパノラマ撮像装置の概略構成図である。 この実施形態のパノラマ撮像装置によりパノラマ撮影した環状パノラマ画像と、それを座標変換して展開した展開パノラマ画像である。 この実施形態のパノラマ撮像による処理を示す機能ブロック図である。 この実施形態のパノラマ撮像レンズの光学特性を示すグラフである。 この実施形態のパノラマ撮像装置により撮像した環状の広角パノラマ画像（ａ）と拡大パノラマ画像（ｂ）である。 この実施形態のパノラマ撮像装置により撮像した環状の広角パノラマ画像の展開パノラマ画像と、環状の拡大パノラマ画像の展開パノラマ画像である。 従来のパノラマ撮像装置の概略構成図である。

符号の説明

２０ パノラマ撮像装置
２１ パノラマ撮像レンズ
２２ 光入射面
２３ 第一反射面
２４ 第二反射面
２５ 光出射面
２８ パノラマレンズユニット
３０ ビデオカメラ
３２ 撮像素子
３３ パノラマ風景
３４ ズームレンズ
３６ 環状パノラマ画像
３８ モニタ
４０ 展開パノラマ画像

Claims (5)

1. 光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から側方の光が入射可能に形成された広角レンズを有し、前記広角レンズに入射して形成された画像をとらえる撮像素子と、前記広角レンズと前記撮像素子との間に配置され前記広角レンズに入射した光を前記撮像素子に結像させる撮像光学系を有したパノラマ撮像装置において、
   前記撮像光学系は、複数の焦点距離を設定可能な光学系から成り、
   前記撮像光学系により撮影した複数の画像を処理する画像処理手段を備え、
   前記画像処理手段は、前記撮像光学系により同一の被写体を複数の焦点距離で撮影し、焦点距離の短い方の前記撮像光学系による撮影画像のうち解像度が相対的に劣る部分の部分画像を、焦点距離の長い方の前記撮像光学系により撮影した撮影画像のうちの、前記部分画像に対応する画像部分に置き換えて前記複数の撮影画像の部分同士を合成することを特徴とするパノラマ撮像装置。
2. 光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、３６０°全周から側方の光が入射可能に膨らんで凸レンズ状に形成された環状の光入射面と、この光入射面と互いに対向するように環状に形成され外方に膨らんだ形状に形成されこのレンズ内へ光を反射するように凹面鏡状に形成された第一反射面と、前記光入射面の環内の中央部に設けられ前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面と、前記第一反射面の環内中央部に位置し前記第二反射面と対向して前記第二反射面からの光を透過する光出射面とを備えたパノラマ撮像レンズを有し、前記パノラマ撮像レンズに入射して形成された画像をとらえる撮像素子と、前記パノラマ撮像レンズと前記撮像素子との間に配置され前記パノラマ撮像レンズに入射した光を前記撮像素子に結像させる撮像光学系を有したパノラマ撮像装置において、
   前記撮像光学系は、複数の焦点距離を設定可能な光学系から成り、
   前記撮像光学系により撮影した複数の画像を処理する画像処理手段を備え、
   前記画像処理手段は、前記撮像光学系により同一の被写体を複数の焦点距離で撮影し、焦点距離の短い方の前記撮像光学系による撮影画像のうち解像度が相対的に劣る部分の部分画像を、焦点距離の長い方の前記撮像光学系により撮影した撮影画像のうちの、前記部分画像に対応する画像部分に置き換えて前記複数の撮影画像の部分同士を合成することを特徴とするパノラマ撮像装置。
3. 前記撮像光学系はズームレンズから成り、前記ズームレンズは焦点距離を変える駆動装置を備え、所定の焦点距離で被写体を撮影するように前記駆動装置を制御する撮影制御手段と、前記撮像素子により撮影した複数の撮影画像を記憶する記憶装置を有した請求項１または２記載のパノラマ撮像装置。
4. 前記画像処理手段は、前記部分画像を合成する際に前記各部分画像同士の繋ぎ目を目立たなくするマッチングを行うマッチング手段を備えた請求項１または２記載のパノラマ撮像装置。
5. 前記マッチングは、前記撮像素子により撮影した複数の撮影画像の置き換える部分同士の画像データのヒストグラムを求め、置換する部分画像を置換される画像部分のヒストグラムにマッチングさせるものである請求項４記載のパノラマ撮像装置。