JP2019168967A - 撮像装置、画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】中心射影像への幾何変換処理において、直線再現性と、画像周辺部における誤差拡大の抑制と、のバランスをとることにより、得られる画像の品質を高める。【解決手段】魚眼レンズを用いて撮像を行う。入力画像のうち光軸中心からの距離が設定距離より小さい領域が中心射影となり、設定距離より大きい領域が立体射影となるように、入力画像に対して幾何変換を行うことにより、入力画像をパノラマ画像に変換する。設定距離は、魚眼レンズの歪み補正の精度に基づいて定められる。【選択図】図１

Description

本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関し、特に魚眼画像をパノラマ画像に変換する幾何変換処理に関する。

全方位監視カメラは、魚眼レンズを用いることにより、全周囲画像の撮影が可能な監視カメラである。一般に、魚眼レンズは、立体射影方式、等距離射影方式、等立体角射影方式、又は正射影方式等に従って被写体像を撮像素子上に結像させる。これらの方式で得られた被写体像は、通常の中心射影方式とは異なり被写体と相似形とならない。したがって、魚眼レンズを用いて得られた画像から一部を切り出し、ユーザに見やすい中心射影像に変換して出力することが行われている。このような変換によれば、被写体が有する直線成分の、出力画像での再現性を高くすることができる。

一方で、中心射影像の特徴として、画像の端部に写っている被写体に、径方向と周方向の倍率の不一致から生じる倍率歪みが生じることが知られている。特許文献１は、高い直線再現性を維持しながら倍率歪みを抑える補正方法が提案されている。

国際公開第２００７／１２９４４６号

全周囲画像の端部に近い領域を中心射影像に変換すると、被写体と相似形ではない像が生じること、及び像の流れが目立つことが見出された。本発明者は、これは、撮像画像に対してはレンズの歪みを補償する補正処理が行われるものの、その補正精度に依存する誤差が生じることが理由であると考えた。特に、全周囲画像の端部に近い領域は、中心射影像に変換するとより大きく拡大されるため、この誤差が拡大されて視認されやすくなるものと考えた。このようなカメラは監視カメラにおいて顕著となることが見出された。本発明者は、その理由として、監視カメラにおいては、ドームの劣化等による歪率の変化、又は夜間ＩＲ照射時の歪率の変化等のために、レンズの歪みを補償する処理の精度が安定しないことが理由であると考えた。

本発明は、中心射影像への幾何変換処理において、直線再現性と、画像周辺部における誤差拡大の抑制と、のバランスをとることにより、得られる画像の品質を高めることを目的とする。

本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。すなわち、
魚眼レンズを用いて撮像を行う撮像手段と、
前記撮像手段からの入力画像のうち光軸中心からの距離が設定距離より小さい領域が中心射影となり、前記設定距離より大きい領域が立体射影となるように、前記入力画像に対して幾何変換を行うことにより、前記入力画像をパノラマ画像に変換する画像変換手段と、を備え、
前記設定距離は、前記魚眼レンズの歪み補正の精度に基づいて定められる。

中心射影像への幾何変換処理において、直線再現性と、画像周辺部における誤差拡大の抑制と、のバランスをとることにより、得られる画像の品質を高めることができる。

実施形態１に係る撮像装置のブロック図。 一実施形態に係る重み関数を説明する図。 実施形態２の処理を説明する図。 実施形態２における誤差率の決定手順を示すフローチャート。 実施形態２で用いられる輝度値のプロファイルを説明する図。 実施形態３に係る撮像装置のブロック図。 実施形態３に係る設定距離を定める手順を示すフローチャート。 一実施形態に係る処理を説明する図。 一実施形態に係る処理を説明する図。 実施形態１に係る処理手順を示すフローチャート。 一実施形態に係るコンピュータの構成を示すブロック図。

以下、本発明の実施形態について図面に基づいて説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
図１は、実施形態１に係る撮像装置の構成の一例を示すブロック図である。撮像装置１００は、魚眼画像をパノラマ画像に変換して出力することができる。ここで、魚眼画像とは、魚眼レンズを用いて撮像された画像のことをいう。魚眼画像の撮影方式は特に限定されない。例えば、魚眼画像上の被写体像は、正射影像、立体射影像、等距離射影像、又は等立体角射影像でありうる。また、パノラマ画像とは、魚眼画像の少なくとも一部を、被写体像の形状が被写体と相似な形状に近づくように補正した画像のことを指す。例えば、パノラマ画像とは、魚眼画像の一部を、中心射影像に近づくように幾何変換した画像でありうる。

撮像装置１００は、撮像部１０１、精度検出部１０２、及び画像変換部１０３を備える。撮像部１０１は、画像を撮像することにより入力画像を生成する。撮像部１０１は、生成した入力画像を精度検出部１０２と画像変換部１０３に出力する。本実施形態において、撮像部１０１は魚眼レンズを有し、魚眼画像を撮像できる。また、撮像部１０１は、全周囲画像を生成することができる。本実施形態において、撮像部１０１が有する魚眼レンズは立体射影方式のレンズである。

図８（Ａ）に示すように、立体射影にて被写体ＰＱが射影平面Ｌに射影されると、立体射影像上で被写体ＰＱの像はＰ’Ｑ’’’となる。一方、図８（Ａ）の例では、レンズが有する歪みのために、立体射影方式で得られた実際の入力画像において、被写体ＰＱの像はＰ’’Ｑ’’となっている。

より具体的には、図８（Ａ）において光軸は直線ＰＯであり、射影平面Ｌの中央にある。従って、入力画像中の光軸中心は、図８（Ｂ）に示すように座標（ｘ_ｃ，ｙ_ｃ）の点Ｐ’となる。一方で、立体射影像における光軸中心は、図８（Ｃ）に示すように座標（ｘ’_ｃ，ｙ’_ｃ）の点Ｐ’’になる。

このように、図８（Ｂ）に示す入力画像上の点Ｑ’’’（ｘ，ｙ）は、図８（Ｃ）に示す立体射影像上の点Ｑ’’（ｘ’，ｙ’）に対応する。図８（Ｂ）に示す入力画像上の直線Ｑ’’’Ｐ’の長さがｒであり、図８（Ｃ）に示す立体射影像上の直線Ｑ’’Ｐ’’の長さがｒ’である。

ここで、ある被写体の入力画像上の点であるＱ’’’（ｘ，ｙ）と、この被写体の立体射影像上の点Ｑ’’（ｘ’，ｙ’）とは、レンズ歪み率Ｄ_ｒを用いて以下のように表すことができる。

ここで、一般的にＤ_ｒはｒに依存している。Ｄ_ｒは、被写体がレンズの光軸上にある場合（ｒ＝０）において最もよい値が得られ（Ｄ_０〜０）、被写体がレンズの光軸中心から離れていくと大きくなる傾向にある。

精度検出部１０２は、撮像部１０１が用いるレンズの歪み補正の精度を判定する。本実施形態において、精度検出部１０２は、歪み補正処理によって補償できない誤差を示す、歪み率の最大差分を取得する。例えば、精度検出部１０２は、レンズの歪み補正の精度として、多項式により近似されるレンズの歪み率と、レンズの歪み率の測定値と、の間の差分を取得することができる。

一例として、精度検出部１０２は、歪み補正処理で用いられる像高の補正率を取得することができる。後述するように、本実施形態において画像変換部１０３は、レンズの歪み率を近似的に示す多項式関数である歪み率関数Ｄ（ｒ）を用いて歪み補正処理を行う。また、精度検出部１０２は、実際のレンズ歪み率を示す情報である上記のレンズ歪み率Ｄ_ｒを取得することができる。このレンズ歪み率Ｄ_ｒは、例えば、撮像部１０１が測定チャートを撮影することにより得られた画像に基づいて算出することができる。レンズ歪み率Ｄ_ｒは、任意のタイミングで取得又は測定することができる。例えば、監視カメラにドームを取り付けた後、監視カメラをハウジングに収めた後、又は定期的に、レンズ歪み率Ｄ_ｒを測定することができる。取得されたレンズ歪み率Ｄ_ｒは、撮像装置１００が備えるメモリ（不図示）に格納することができる。

一般的に、歪み率関数Ｄ（ｒ）は、ｒの多項式として、例えば５次多項式として表すことができる。歪み率関数Ｄ（ｒ）の一例を以下に示す。

この場合、歪み率の最大差分は、Ｄ_ｒ−Ｄ（ｒ）と表すことができ、精度検出部１０２はこのように表される最大差分を取得することができる。また、精度検出部１０２は、歪みの最大差分Δｒを取得することができる。例えば、精度検出部１０２は、式Δｒ＝ｒ×（Ｄ_ｒ−Ｄ（ｒ））に従って歪みの最大差分Δｒを取得することができる。ここで、歪み率の最大差分は、光軸中心からの距離がｒである入力画像上の点に関し、歪み補正後の光軸中心からの距離について予想される最大の誤差率を表す。

画像変換部１０３は、入力画像に対して被写体像の形状を被写体と相似な形状に近づける補正を行う。例えば、画像変換部１０３は、撮像部１０１から取得した入力画像をパノラマ画像に展開することができる。例えば、画像変換部１０３は、以下の手順に従って幾何変換処理を行うことにより、パノラマ画像を生成することができる。以下、この処理について、図１０を参照して説明する。まずステップＳ１０１０において、画像変換部１０３は撮像部１０１から入力画像を取得する。

＜手順１：ステップＳ１０２０＞
画像変換部１０３は、入力画像中の変換する点（ｘ_０，ｙ_０）から光軸中心の点（ｘ_ｃ，ｙ_ｃ）までの距離ｒ_０を求める。例えば、画像変換部１０３は、式（３）に従って距離ｒ_０を求めることができる。図８（Ｂ）において、変換する点がＲである場合、求められる距離ｒ_０は線ＲＰ’の長さである。

＜手順２：ステップＳ１０３０＞
画像変換部１０３は、距離ｒ_０に対応する歪み率Ｄ（ｒ_０）を取得する。画像変換部１０３は、例えば、得られた距離ｒ_０を歪み率関数Ｄ（ｒ）に代入することにより、歪み率Ｄ（ｒ_０）を求めることができる。

＜手順３：ステップＳ１０４０＞
画像変換部１０３は、入力画像に対して、歪み率Ｄ（ｒ_０）を参照して、撮像部１０１が用いるレンズの歪み補正を行う。例えば、画像変換部１０３は、立体射影像上における、変換する点に対応する点と、光軸中心の点と、の間の距離ｒ_０’を求める。例えば、画像変換部１０３は、式（４）に従って、歪み率Ｄ（ｒ_０）を用いて距離ｒ_０’を求めることができる。

なお、ここで行う処理はレンズの歪み補正には限られず、その他の種類の補正処理を行ってもよい。例えば、所定の射影方式（例えば等距離射影）で得られた入力画像を、立体射影に変換する処理をここで行ってもよい。この場合には、精度検出部１０２は、レンズの歪み補正の精度の代わりに、補正処理の後に残る誤差を判定することができ、この誤差を用いて画像変換部１０３は後述するように設定距離ｒ_ｔｈを定めることができる。

＜手順４：ステップＳ１０５０＞
手順４〜５により、画像変換部１０３は、入力画像に対して被写体像の形状を被写体と相似な形状に近づける補正を行う。例えば、画像変換部１０３は、立体射影方式で得られた入力画像をパノラマ画像に画像変換することができる。ここで、画像変換部１０３は、補正の強さが入力画像の中心部よりも入力画像の周辺部の方が弱くなるように、補正を行う。手順４では、画像変換部１０３は、幾何変換のための補正係数を取得する。一例として、画像変換部１０３は、以下の変換関数Ｈ（ｒ）を用いて画像変換を行うことができる。

ここで、ｒは、入力画像上での処理対象点と光軸に対応する点との間の距離である。

また、ｒ_ｔｈ及びβは、中心射影に変換する変換関数Ｚ（ｒ）と立体射影に変換する変換関数Ｋ（ｒ）との重みを決定するパラメータである。すなわち、式（５）において、Ｚ（ｒ）の重みは１／（１＋ｅ^{β（ｒ−ｒｔｈ）}）であり、Ｋ（ｒ）の重みは１／（１＋ｅ^{−β（ｒ−ｒｔｈ）}）である。

ｒ_ｔｈ及びβについて、図２を参照して説明する。図２（Ａ）〜（Ｃ）は、それぞれ、縦軸がＺ（ｒ）及びＫ（ｒ）の重みを表し、横軸が光軸中心の点からの距離ｒを表す、グラフである。図２（Ａ）、図２（Ｂ）、及び図２（Ｃ）は、それぞれ、βが０．０５、０．０１、及び０．００５である場合を表す。また、図２（Ａ）〜（Ｃ）において、ｒ_ｔｈは０．５である。さらに、図２（Ａ）〜（Ｃ）において、細線はＺ（ｒ）の重みを、太線はＫ（ｒ）の重みを、それぞれ表す。

図２（Ａ）〜（Ｃ）から分かるように、βは切り替わりの急峻さを表し、βが大きくなるにつれて切り替わりが急になる。このように、βはＺ（ｒ）とＫ（ｒ）の双方に有効な重みが設定される領域の大きさを定める。

図２（Ｄ）（Ｅ）は、それぞれ、βが０．０１である場合を表す。また、図２（Ｄ）及び図２（Ｅ）は、ｒ_ｔｈがそれぞれ０．２及び０．８である場合を表す。図２（Ａ）〜（Ｅ）からわかるように、ｒ_ｔｈは境界を表し、Ｚ（ｒ）とＫ（ｒ）の重みが０．５である場合の距離ｒがｒ_ｔｈである。ｒ_ｔｈ＝０．５の場合には、ｒが０．５より大きくなるとＺ（ｒ）よりもＫ（ｒ）が大きくなる。

ここで、Ｚ（ｒ）及びＫ（ｒ）は、像高補正係数を示す。Ｚ（ｒ）は立体射影から中心射影への変換関数である。Ｚ（ｒ）に従って像高を補正することは立体射影から中心射影へ変換すること、すなわち入力画像に対して被写体像の形状を被写体と相似な形状にする補正を行うことに相当する。また、Ｋ（ｒ）はｒに依存しない定数であり、ｒ＝ｒ_ｔｈにおける立体射影から中心射影への像高補正係数である。したがって、Ｋ（ｒ）は立体射影から立体射影への変換関数であり、Ｋ（ｒ）に従って像高を補正することは立体射影を維持することに相当する。このように、一実施形態において、画像変換部１０３は、画像を立体射影に変換する変換関数Ｚ（ｒ）と中心射影に変換する変換関数Ｋ（ｒ）とが合成された変換関数に従う幾何変換を行う。Ｚ（ｒ）及びＫ（ｒ）は以下の式で表すことができる。

ここで、αはパノラマ画像へ変換する際の拡大率であり、ｆはレンズの焦点距離である。

上記の通り、入力画像の中心部（光軸中心の点からの距離が所定値よりも小さい領域）においては、Ｚ（ｒ）の重みがより大きく、入力画像に対して被写体像の形状を被写体と相似な形状に近づける補正がより強くなる。一方、入力画像の周辺部（光軸中心の点からの距離が所定値よりも大きい領域）においては、Ｚ（ｒ）の重みがより小さく、入力画像に対して被写体像の形状を被写体と相似な形状に近づける補正がより弱くなる。

上記のとおり、光軸中心の点からの距離がｒ_ｔｈよりも小さい領域は、Ｚ（ｒ）の重みがＫ（ｒ）の重みより大きくなる。パノラマ画像上のこの領域に対応する部分にある被写体像は、完全な中心射影像ではないものの、幾何変換により得られる被写体像は中心射影像に近くなる。したがって、本明細書ではこの領域に対する幾何変換のことを総称して中心射影への変換と呼ぶこととする。また、光軸中心の点からの距離がｒ_ｔｈよりも大きい領域は、Ｚ（ｒ）の重みがＫ（ｒ）の重みより小さくなる。パノラマ画像上のこの領域に対応する部分にある被写体像は、完全な立体射影像ではないものの、幾何変換により得られる被写体像は立体射影像に近くなる。したがって、本明細書ではこの領域に対する幾何変換のことを総称して立体射影への変換と呼ぶこととする。以上のとおり、本実施形態においては、入力画像のうち光軸中心からの距離が設定距離より小さい領域が中心射影となり、設定距離より大きい領域が立体射影となるように、入力画像に対して幾何変換が行われる。

一実施形態において、光軸中心の点からの距離が大きくなると、像高補正係数は一定値に収束する。例えば、式（５）を用いる場合、光軸中心の点からの距離が大きくなると、Ｈ（ｒ）の値は次第にＫ（ｒ）に収束する。また、一実施形態において、光軸中心の点からの距離が大きくなると、像高補正係数は連続して変化する。すなわち、光軸中心の点からの距離ｒと像高補正係数Ｈ（ｒ）との関係を示す関数は、連続な関数である。このような構成によれば、幾何変換後の画像にノイズが発生しにくくなり、幾何変換後の画像に対して被写体検出処理を行う場合に検出精度を向上できる。

以下、ｒ_ｔｈの決定方法の一例について説明する。設定距離ｒ_ｔｈは、撮像部１０１が用いるレンズの歪み補正の精度に基づいて定めることができる。もっとも、画像変換部１０３は、補正の前後を問わず、入力画像の歪み量に基づいて設定距離ｒ_ｔｈを定めてもよい。本実施形態においては、撮像部１０１が用いるレンズの歪み補正の精度に基づいて精度検出部１０２が判定した最大差分Δｒに基づいて、画像変換部１０３はｒ_ｔｈを定める。例えば、精度検出部１０２から取得した最大差分がΔｒである場合、中心射影画像上での最大誤差Δは式（８）に従って求めることができる。

最大差分Δｒと最大誤差Δの幾何学的な関係について図９を参照して説明する。図９は、中心射影方式と立体射影方式のそれぞれで射影平面Ｌに射影された被写体ＰＱを表す模式図である。被写体ＰＱは、中心射影方式で射影平面Ｌに射影されると、像高Ｐ’Ｑ’を持つ像となる。また、被写体ＰＱは、立体射影方式で射影平面Ｌに射影されると、像高Ｐ’Ｑ’’を持つ像となる。一方、上記の通り、立体射影方式で得られた入力画像においてＱ’の位置は歪みに起因して変化する。すなわち、歪み補正を行っても残る最大差分Δｒを考慮すると、被写体上の点Ｑは、入力画像上では点Ｑ’’からΔｒだけ離れた点Ｑ’’’に写り、被写体ＰＱの像高はＰ’Ｑ’’’となるかもしれない。ここで、入力画像を中心射影画像に変換すると、入力画像上の点Ｑ’’’は中心射影画像上の点Ｑ’’’’に変換され、すなわち中心射影画像上での被写体ＰＱの像高はＰＱ’’’’となる。したがって、中心射影画像上での最大誤差Δは、線分Ｑ’’’’Ｑ’の長さである。

ここで、中心射影画像上での許容誤差をΔ_ｔｈとする。このΔ_ｔｈは、予め決めておくことができる。ｒ_ｔｈは、最大誤差Δが許容誤差Δ_ｔｈとなるときのｒの値であり、式（９）に従って求めることができる。

＜手順５：ステップＳ１０６０＞
画像変換部１０３は、入力画像中の変換する点（ｘ_０、ｙ_０）に対応するパノラマ画像上の点の座標値（ｘ_１、ｙ_１）を決定する。ここで画像変換部１０３は、立体射影像上の像高ｇ（ｒ_０）及びこれに対応する中心射影像（パノラマ画像）上の像高（Ｈ（ｇ（ｒ_０））を用いることができる。関数ｇ（）は上記の歪み補正関数である。例えば、画像変換部１０３は、式（１０）及び式（１１）に従ってパノラマ画像上の点の座標値を決定することができる。

＜手順６：ステップＳ１０７０＞
画像変換部１０３は、入力画像の全画素に対して、上記＜手順１＞から＜手順５＞までの処理を行うことにより対応するパノラマ画像の画素の座標値を判定する。そして、入力画像の画素に対応するパノラマ画像の画素の画素値を、対応する入力画像の画素の画素値に設定する。画像変換部１０３は、対応する入力画像の画素がないパノラマ画像の画素については、周囲の画素の画素値を用いた補間処理により画素値を決定することができる。

そして、ステップＳ１０７０において画像変換部１０３は、得られたパノラマ画像を出力することができる。本実施形態によれば、レンズ歪みに起因する誤差が一定の水準に抑えられたパノラマ画像を得ることができる。一実施形態において、撮像装置１００又は外部の画像処理装置は、パノラマ画像に対して物体検出処理等の画像解析処理を行うことができる。本実施形態によれば、レンズ歪みに起因する誤差を抑えたことにより、画像解析の精度を向上させることができる。

［実施形態２］
図３、図４を参照しながら、実施形態２に係る撮像装置を説明する。図３は、立体射影方式の魚眼レンズを用いて撮影された画像３００を示す。図３において、点３０２は光軸に対応する点を示す。また、実線３０４で示される円の外側は被写体が写っていない領域であり、黒色である。さらに、点線３０３で示される円の内側は、レンズの設計値に従う被写体領域である。点線３０１は、光軸に対応する点３０２から、画像３００の外縁を定める２辺の交点までを結ぶ直線である。

監視カメラは、一般的には工場にて光軸に対応する点の位置と可視範囲とが設定範囲内となるように調整してから出荷される。しかしながら、監視カメラを使用する前には、ユーザの用途に応じて、監視カメラにドームを取り付ける又は監視カメラをハウジングに収めるなどの作業が行われることが多い。これらの作業のために、図３に示されるように、点線３０３で示される設計値に従う可視範囲と、実線３０４で示される実際の可視範囲とが、ずれていることがある。このような状況において、中心射影画像（パノラマ画像）への射影変換を行うと、パノラマ画像上での歪み補正に起因する誤差がより大きくなってしまう可能性がある。

本実施形態では、図１に示す精度検出部１０２が、入力画像内での可視範囲を判定し、可視範囲の設計値からのずれを示す精度情報を画像変換部に出力することにより、パノラマ画像上の誤差を低減する。例えば、精度検出部１０２は、入力画像の輝度値分布から、入力画像内での可視範囲を表す円の半径を推定することができる。

図４は、実施形態２に係る撮像装置１００の精度検出部１０２が、撮像装置１００の制度を判定する手順の一例を示すフローチャートである。本実施形態において、精度検出部１０２は、入力画像上での可視円径を判定する。可視円径と可視円径の設計値との比率を用いて設定距離ｒ_ｔｈを定める。撮像装置１００は、こうして得られた設定距離ｒ_ｔｈを用いて、図１０のフローチャートに従って幾何変換を行うことができる。

ステップＳ４０１において精度検出部１０２は、入力画像である魚眼画像上で、光軸に対応する点から外側に向かう直線を設定する。本実施形態において精度検出部１０２は、この点から最も遠い撮像範囲外の領域を通る直線を決定する。例えば、精度検出部１０２は、入力画像の外縁を定める２辺が交わる点と、光軸に対応する点と、を結ぶ直線（点線３０１）を決定することができる。図３のように入力画像の外縁が同じ長さの辺により規定されている場合、精度検出部１０２は、残りの３交点のいずれかと光軸対応点とを結ぶ直線を決定してもよい。一方で、センサの位置が調整された又は光軸に対応する点の位置が補正された場合などには、精度検出部１０２はこの調整値を考慮して直線を選択することができる。

ステップＳ４０２において精度検出部１０２は、直線上の各画素の輝度値を用いてプロファイルを作成する。図５はプロファイルの一例を示す。このプロファイルには、横軸に画素位置、縦軸に画素の輝度値がプロットされている。画素位置を示す横軸の値は、光軸に対応する点から離れた画素ほど大きい。すなわち、光軸に対応する点の座標値は０であり、この点から最も遠い撮像範囲外の点（例えば入力画像の外縁を定める２辺が交わる点）の座標値は最も大きい（例えば２３００）。

ステップＳ４０３において精度検出部１０２は、ステップＳ４０２で作成したプロファイルを不図示のバッファに格納する。ステップＳ４０４において精度検出部１０２は、バッファに格納されている過去のＮフレームのプロファイルを用いて、各画素位置について輝度値の平均及び分散を計算する。そして、精度検出部１０２は、輝度値の評価値を示す数値列を生成する。この数値列が含む番号ｘの数値は、座標値ｘに対応する画素の平均及び分散が所定の閾値を下回る場合には１であり、そうでない場合は０である。

ステップＳ４０５において精度検出部１０２は、ステップＳ４０４で作成した数値列から、例えばローパスフィルタ処理を用いて、ノイズを除去する。ローパスフィルタとしては、ＦＩＲ又はＩＩＲ等のデジタルフィルタを用いることができる。ステップＳ４０６において、精度検出部１０２は、直線上の不可視領域を判定する。例えば、精度検出部１０２は、不可視領域の最も内側の画素を特定することができる。ここで、特定された画素から、最大の座標値を有する画素までは、全て評価値が１である。さらに、精度検出部１０２は、光軸に対応する点から、不可視領域の最も内側の画素までの距離を、入力画像上の可視円径として求めることができる。

ステップＳ４０７において精度検出部１０２は、式（１２）に従い、可視円径と可視円系の設計値との比率を用いて誤差率Ｄ_Ｒを判定する。

上式において、ｒは可視円径であり、ｒ’は可視円径の設計値である。

こうして得られた誤差率Ｄ_Ｒは、実施形態１で示したレンズ歪み率Ｄ_ｒの代わりに用いることができる。本実施形態によれば、測定チャートを用いなくても、最大差分Δｒ及び許容誤差Δ_ｔｈを決定でき、さらに設定距離ｒ_ｔｈを設定できる。このため、撮像装置１００の劣化（例えばドームの劣化等）による誤差の抑制を、容易に実現できる。

［実施形態３］
図６及び図７を参照しながら、実施形態３に係る撮像装置の構成例を示す。図６は、実施形態３に係る撮像装置の構成の一例を示すブロック図である。撮像装置６００は、撮像部６０１、精度検出部６０２、画像変換部６０３、モード判別部６０４、及びＩＲ照明部６０５を有している。撮像装置６００は、周囲が暗いと判断された場合にはＩＲ（赤外線）撮影を行うことにより、撮像される入力画像の質を保つことができる。

撮像部６０１は、実施形態１に係る撮像部１０１と同様であるが、ＩＲカットフィルタ及びその挿抜機構を備えている。精度検出部６０２は、実施形態１に係る精度検出部１０２と同様であり、説明は省略する。画像変換部６０３は、撮像部６０１から取得した入力画像をパノラマ画像に変換する。画像変換部６０３は、実施形態１に係る画像変換部１０３と同様の処理を行うが、さらにモード判別部６０４から取得したモード情報に応じて画像変換の処理を変更する。

モード判別部６０４は、ＩＲ撮影を行うか否かを判定する。本実施形態では、ＩＲ照明を行いながら撮影を行うＩＲ撮影モードと、ＩＲ照明を行わずに撮影を行う可視光撮影もう度とが用いられる。モード判別部６０４は、被写体環境の照度に基づいてこの判定を行うことができる。また、モード判別部６０４は、判定結果に応じてＩＲ照明を行うか又は行わないように撮像部６０１及びＩＲ照明部６０５を制御することができる。例えば、モード判別部６０４は、被写体環境の照度を検出し、ＩＲ照明が必要な夜間か又はＩＲ照明が必要のない昼間かを判断することができる。モード判別部６０４は、照度センサを使用することで照度を判定してもよいし、撮像部６０１から取得した入力画像を用いて照度を判定してもよい。ＩＲ照明を行う場合、例えばモード判別部６０４が周囲は暗いと判断した場合、ＩＲ照明部６０５はＩＲを照射し、撮像部６０１は光学系からＩＲカットフィルタを取り除く。また、ＩＲ撮影を行なわない場合、ＩＲ照明部６０５はＩＲを照射せず、撮像部６０１は光学系にＩＲカットフィルタを挿入する。さらに、モード判別部６０４は、ＩＲ照明を行っているか否かを示すモード情報を画像変換部６０３に提供することができる。

図７は、本実施形態において画像変換部６０３が行う手順の一例を示すフローチャートである。本実施形態において、ＩＲ撮影時には、設定範囲ｒ_ｔｈはＩＲ照射半径以下となる。本実施形態において、画像変換部６０３は、モード判別部６０４から取得したモード情報及び精度検出部６０２から取得した最大差分情報を用いて、撮像部６０１から取得した入力画像からパノラマ画像を生成する。

ステップＳ７０１において画像変換部６０３は、精度検出部６０２から取得した最大差分Δｒを用いて、式（９）に従ってΔｒ_ｔｈを求める。ステップＳ７０２において画像変換部６０３は、モード判別部６０４から取得したモード情報より、ＩＲ照明している状態かどうか判断する。ＩＲ照明している場合、処理はステップＳ７０３へ進み、していない場合、処理はステップＳ７０５へ進む。

ステップＳ７０３において画像変換部６０３は、ＩＲ照射半径と、Ｓ７０１において求めたｒ_ｔｈとを比較する。ＩＲ照射半径がｒ_ｔｈより小さい場合、処理はＳ７０４に進み、その他の場合、処理はＳ７０５に進む。ＩＲ照射半径を示す情報は、撮像装置６００が予め保持することができる。ステップＳ７０４において、画像変換部６０３は、ｒ_ｔｈの値をＩＲ照明の照射半径に設定する。

ステップＳ７０５において、画像変換部６０３は、図１０のフローチャートに従って、パノラマ画像を生成する。

本実施形態によれば、ＩＲ照明時において、ＩＲ照射半径がｒ_ｔｈより小さい場合、ＩＲ照明領域に関して立体射影から中心射影への変換が行われる。このため、計算量を削減することができ、ノイズの増加に伴って後処理の計算量を増やすことが可能となる。

（その他の実施形態）
本発明の一実施形態に係る情報処理装置は、画像変換部１０３又は６０３を有する。一方、本発明の一実施形態に係る情報処理装置は、撮像部１０１を有さなくてもよい。このような実施形態において、画像変換部１０３又は６０３は、魚眼レンズを用いて撮像された入力画像を撮像装置から取得することができる。また、本発明の一実施形態に係る情報処理装置又は上述の撮像装置は、精度検出部１０２を有さなくてもよい。このような実施形態において、画像変換部１０３又は６０３は、最大差分Δｒ、許容誤差Δ_ｔｈ、又は可視円径ｒのようなパラメータを、メモリ（不図示）から取得することができる。また、これらのパラメータは、撮像部１０１又はその他の魚眼レンズを有する撮像装置によって得られた魚眼画像に基づいて、処理装置（不図示）により決定され、情報処理装置又は撮像装置が有するメモリ（不図示）に格納されてもよい。

また、画像変換部１０３又は６０３が、上記の方法に従って幾何変換を行う必要はない。例えば、画像変換部１０３又は６０３は、ルックアップテーブルを参照して幾何変換を行ってもよい。例えば、光軸中心の点までの距離ｒ_０に対して、式（１０）及び式（１１）に示すＨ（ｇ（ｒ_０））／ｇ（ｒ_０）を与えるルックアップテーブルを用いることができる。また、変換する点の座標（ｘ_０，ｙ_０）に対して、式（１０）及び式（１１）に従って（ｘ_１，ｙ_１）を与えるルックアップテーブルを用いることもできる。この場合、画像変換部１０３，６０３、精度検出部１０２，６０２、又は処理装置（不図示）により、任意のタイミングでルックアップテーブルが更新されてもよい。この場合には、実施形態１〜３で説明したように、最大差分Δｒ、許容誤差Δ_ｔｈ、又は可視円径ｒのようなパラメータを用いて、最新のレンズの歪み補正の精度を反映するようにルックアップテーブルを更新することができる。

また、設定距離ｒ_ｔｈの設定方法は、上述の方法には限定されない。例えば、画像変換部１０３，６０３は、入力画像の光軸中心から設定距離に位置する被写体について、中心射影上でのレンズの歪み補正誤差が、立体射影上での最大のレンズの歪み補正誤差を超えないように、設定距離を設定することができる。ここで、中心射影上でのレンズの歪み補正誤差は、例えば、式（６）に示される、立体射影から中心射影への像高補正係数を示すＺ（ｒ）と、歪み率の最大差分Δｒと、に基づいて決定できる。また、立体射影上での最大のレンズの歪み補正誤差は、入力画像の端部における歪み率の最大差分Δｒ_ｍａｘでありうる。この場合、ｒ_ｔｈは、例えばΔｒ×Ｚ（ｒ）×（ｒ_ｔｈ／２ｆ）が、Δｒ_ｍａｘを超えないように決定できる。一例として、ｒ_ｔｈは、Δｒ×Ｚ（ｒ）×（ｒ_ｔｈ／２ｆ）＝Δｒ_ｍａｘとなるように決定できる。このような方法によれば、幾何変換後の画像において誤差を十分に小さくすることができる。

一実施形態において、設定距離ｒ_ｔｈは、可視光撮影時とＩＲ撮影時で異なる。一般に、可視光撮影時とＩＲ撮影時ではレンズの歪み率が異なる。従って、上記の歪み率関数Ｄ（ｒ）の値、及び最大差分Δｒ等のパラメータは、可視光撮影時とＩＲ撮影時で異なるかもしれない。そこで、画像変換部１０３は、可視光撮影時の設定距離ｒ_ｔｈと、ＩＲ撮影時の設定距離ｒ_ｔｈとを、それぞれ決定することができる。この場合、画像変換部１０３は、可視光撮影を行っているか否か、又はＩＲ撮影を行っているか否かに応じて、異なる設定距離ｒ_ｔｈを用いるように、幾何変換処理を切り替えることができる。

上述の実施形態においては、画像変換部１０３，６０３、精度検出部１０２、及びモード判別部６０４のような各処理部は、専用のハードウェアによって実現される。しかしながら、一部又は全部の処理部が、コンピュータにより実現されてもよい。図１１はこのようなコンピュータの基本構成の一例を示す図である。図１１においてプロセッサ１１１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１１２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１１３０は、例えばハードディスク又はＣＤ−ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１１３０が格納している、各部の機能を実現するプログラムが、メモリ１１２０へと読み出される。そして、プロセッサ１１１０が、メモリ１１２０上のプログラムに従って動作することにより、各部の機能が実現される。

図９において、入力インタフェース１１４０は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース１１５０は外部の装置へと情報を出力するためのインタフェースである。バス１１６０は、上述の各部を接続し、データのやりとりを可能とする。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：撮像部、１０２：精度検出部、１０３：画像変換部

Claims (14)

1. 魚眼レンズを用いて撮像を行う撮像手段と、
   前記撮像手段からの入力画像のうち光軸中心からの距離が設定距離より小さい領域が中心射影となり、前記設定距離より大きい領域が立体射影となるように、前記入力画像に対して幾何変換を行うことにより、前記入力画像をパノラマ画像に変換する画像変換手段と、を備え、
   前記設定距離は、前記魚眼レンズの歪み補正の精度に基づいて定められることを特徴とする、撮像装置。
2. 前記魚眼レンズは立体射影方式のレンズであることを特徴とする、請求項１に記載の撮像装置。
3. 前記画像変換手段は、画像を立体射影に変換する変換関数と中心射影に変換する変換関数とが合成された変換関数に従う前記幾何変換を行うことを特徴とする、請求項１又は２に記載の撮像装置。
4. 前記合成された変換関数は、以下のＨ（ｒ）で表され、
   

   

   ここで、ｒは前記入力画像上での処理対象点と光軸に対応する点との間の距離、Ｚ（ｒ）は前記中心射影に変換する変換関数、Ｋ（ｒ）は前記立体射影に変換する変換関数、ｒ_ｔｈは前記設定距離、及びβは前記立体射影に変換する変換関数と前記中心射影に変換する変換関数との重みを決定するパラメータであることを特徴とする、請求項３に記載の撮像装置。
5. 前記魚眼レンズの歪み補正の精度を判定する精度検出部をさらに備えることを特徴とする、請求項１から４のいずれか１項に記載の撮像装置。
6. 前記精度検出部は、前記入力画像上での可視円径を判定し、
   前記画像変換手段は、前記可視円径と可視円径の設計値との比率を用いて前記設定距離を定めることを特徴とする、請求項５に記載の撮像装置。
7. 前記画像変換手段は、前記入力画像の光軸中心から前記設定距離に位置する被写体についての中心射影上での魚眼レンズの歪み補正誤差が、前記立体射影上での最大の魚眼レンズの歪み補正誤差を超えないように、前記設定距離を設定することを特徴とする、請求項５又は６に記載の撮像装置。
8. 前記設定距離は、可視光撮影時とＩＲ撮影時で異なることを特徴とする、請求項１から７のいずれか１項に記載の撮像装置。
9. 前記ＩＲ撮影時の前記設定距離はＩＲ照射半径以下であることを特徴とする、請求項８に記載の撮像装置。
10. 前記魚眼レンズの歪み補正の精度は、多項式により近似される魚眼レンズの歪み率と、魚眼レンズの歪み率の測定値と、の間の差分により表されることを特徴とする、請求項１から９のいずれか１項に記載の撮像装置。
11. 前記画像変換手段は、ルックアップテーブルを参照して前記幾何変換を行うことを特徴とする、請求項１から１０のいずれか１項に記載の撮像装置。
12. 魚眼レンズを用いて撮像された入力画像を取得し、前記入力画像に対して被写体像の形状を被写体と相似な形状に近づける補正を行う画像変換手段を備え、
    前記補正の強さは、前記入力画像の中心部よりも前記入力画像の周辺部の方が弱いことを特徴とする、画像処理装置。
13. 撮像装置が行う画像処理方法であって、
    魚眼レンズを用いて入力画像を撮像する工程と、
    前記入力画像のうち光軸中心からの距離が設定距離より小さい領域が中心射影となり、前記設定距離より大きい領域が立体射影となるように、前記入力画像に対して幾何変換を行うことにより、前記入力画像をパノラマ画像に変換する工程と、を有し、
    前記設定距離は、前記魚眼レンズの歪み補正の精度に基づいて定められることを特徴とする、画像処理方法。
14. コンピュータを、請求項１乃至１１の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images