JP2014165866A - 画像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 歪み補正画像作成の中心点をある点からある点へと変更するとき、どのように視線方向が移動したのかを分かりやすく表示する技術を提供すること。
【解決手段】 透視投影画像作成の中心点をある点からある点へと変更するときに、その経路及び経路上の補間点を適切に選択する。これら補間点を辿るように順々に歪み補正画像を作成し、ユーザに提示することで、歪み補正画像が空間上のどのような経路を辿ったのかをユーザが瞬時に理解することができる。
【選択図】 図２

Description

本発明は、歪み補正画像作成の中心点をある点からある点へと変更するときに、その経路及び経路上の補間点を適切に選択する画像処理技術に関するものである。

魚眼レンズや全方位ミラー等の広画角を有する広範囲撮像装置を用いて、通常の画角の撮像装置に比べて広い範囲を一度に撮像する方式が知られている。これら広範囲撮像装置で撮像した画像の中から動体を検出し、その動体の切り出し領域を自動的に決定して追尾する技術が特許文献１及び２に開示されている。これらの特許文献では、撮像装置に起因する歪みを補正することにより、動体から歪みを取り除くことを行っている。

広範囲撮像装置として魚眼レンズを用いる場合は、画像の歪みの補正方法として透視投影展開がよく用いられる。透視投影展開では、魚眼レンズの中心からある視線方向の先に平面を想定し、広範囲画像をその平面に投影して、透視投影画像を得る。広範囲画像上の点を一点指定すると、その点を中心にして透視投影画像を作成できる。

また、メカニカルパン・チルト・ズームカメラと同じように、電子パン・チルト・ズーム中の画像（途中画像）を補間し、提供する電子パン・チルト・ズーム技術が存在する。（特許文献３）

特開２００８−０４８４４３号公報 特開２００２−０６４８１２号公報 特開２００７−１６６５８３号公報

広範囲撮像装置を用いると、撮像装置を中心とした広範囲の画像を得ることができ、監視等の用途に使用することができる。しかし、広範囲画像そのものは画像の歪みが大きく、人間の閲覧には適さない。そのため、ユーザがマウス等の入力装置を用いて広範囲撮像画像上のある場所を選択すると、その場所及びその周辺を含むような歪み補正画像を作成してユーザに提供するような装置が考えられる。

このような装置が提供するＧＵＩの例を図１に示す。このＧＵＩでは、左側に広範囲画像１０２が配置されている。マウス等の入力装置を用いて、図中の点Ｓ（１０４）を選択すると、点Ｓ（１０４）を中心として透視投影画像を作成し、歪み補正画像１０３として表示する。この装置は、まるで、ユーザが撮像装置の中心に存在し、広範囲撮像装置からのある視線方向の先にある様子を切り取って閲覧しているかのような体験をユーザに提供することができる。

この瞬間に、図１中の点Ｅ（１０５）をクリックしたとする。すると、クリックされた時点の次の画像フレームから作成される歪み補正画像は、点Ｅ（１０５）を中心として作成したものに急に切り替わる。点Ｓ（１０４）と点Ｅ（１０５）が離れている場合、クリックの前後で提供される歪み補正画像は実世界上で遠く離れた地点を切り取った画像である。そのため、ユーザは、歪み補正画像同士の関係性を理解できず、どのように視線方向が移動したのかを瞬時に理解することができない、という課題があった。

本発明は上記の課題を解決するためになされたものであり、歪み補正画像作成の中心点をある点からある点へと変更するときに、その変更の関係性を違和感なく提示することを可能にする画像処理技術を提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
所定角度以上の範囲を撮像が可能な広範囲撮像部を有する画像処理装置であって、
前記広範囲撮像部で撮像した広範囲画像から切り出した部分画像に含まれる歪みを幾何変換により補正することで、歪み補正画像を作成する補正手段と、
前記広範囲画像に設定した画像座標系の座標と前記広範囲撮像部をモデル化することで定義される仮想座標系の仮想座標との間で座標変換を行う変換手段と、
前記画像座標系において、現在の前記歪み補正画像を作成する上での基準点の第１の座標と、次の前記歪み補正画像を作成する上での目標点である、前記第１の座標とは異なる第２の座標が選択された場合、前記第１の座標及び前記第２の座標それぞれに対応する、前記変換手段によって得られる前記仮想座標系における第１の仮想座標と第２の仮想座標とを結ぶ仮想経路を決定する決定手段と、
前記仮想経路から１つ以上の点を選択して、前記第１の仮想座標と前記第２の仮想座標との間を補間する補間点を選択する選択手段と、
前記第１の仮想座標における前記歪み補正画像の表示から前記第２の仮想座標における前記歪み補正画像の表示へ切り替える場合に、前記第１の仮想座標から前記第２の仮想座標への前記仮想経路において前記選択手段で選択された補間点を辿るように、各補間点を基準として作成した前記歪み補正画像を順々に入れ替えて表示制御する表示手段と
を備える。

本発明によれば、歪み補正画像作成の中心点をある点からある点へと変更するときに、その変更の関係性を違和感なく提示することを可能にする。

システムのＧＵＩ例を示す図。 撮像システムの機能構成例を示すブロック図である。 画像座標系の例を示す図である。 撮像素子座標系の例を示す図である。 広範囲撮像部として鉛直上向きに設置した魚眼レンズを用いた場合のモデルを示す図である。 パンチルト座標系における最短経路の例を示す図である。 補間点の例を示す図である。 画像座標系における補間点群の例を示す図である。 撮像システムの動作のフローチャートである。 撮像システムの機能構成例を示すブロック図である。 画像座標系における表示禁止領域を示す図である。 パンチルト座標系における表示禁止領域を示す図である。 パンチルト座標系における最短経路の例を示す図である。 広範囲撮像部として鉛直下向きに設置した魚眼レンズを用いた場合のモデルを示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
まず、実施形態１の画像処理装置を適用した撮像システムの機能構成例について、図２のブロック図を用いて説明する。

広範囲撮像部２０１は、例えば、魚眼レンズを用いることで、広角範囲（所定角度以上の範囲）を一度に撮影することを可能にしたカメラである。尚、広範囲撮像部２０１は、カメラと、回転双曲面形状のミラーとを組み合わせた装置であってもよい。ミラーには、回転放物面または円錐の形状の全方位ミラーを利用してもよい。さらに、広範囲撮像部２０１は、複数の撮像装置からの画像を合成するような装置であってもよい。つまり、広範囲撮像部２０１は、一度に周辺の画像（動画像）を入力できるものであれば、いかなる構成を有していてもよい。但し、広範囲撮像部２０１により得られる撮像画像は、幾何的な歪みを含むので、歪み補正処理が必要になる。

画像取込部２０２は、広範囲撮像部２０１より撮像した画像フレーム（広範囲画像）を順次出力する。

パンチルト座標・画像座標変換部２０３は、広範囲画像上に設定した座標系（画像座標系）上の任意の点Ｐに対応する、パンチルト座標系上の点Ｐ”を計算する。また、逆に、パンチルト座標・画像座標変換部２０３は、パンチルト座標系上の任意の点Ｐ”に対応する、画像座標系上の点Ｐを計算する。ここで、パンチルト座標系とは、広範囲撮像部２０１をモデル化することで定義することができる座標系（仮想座標系）である。

以下では、広範囲撮像部２０１として魚眼レンズを用い、魚眼レンズを鉛直上向きに設置した場合を例にとり、座標系の定義方法と、座標の変換方法を説明する。

画像座標系は、図３のように、広範囲画像３０１の左上を原点とし、右方向にＸ軸３０２、下方向にＹ軸３０３をとって定義する。画像座標系での点Ｐ３０４の座標は、Ｐ（Ｘ，Ｙ）という形式で表される。Ｘ、Ｙは、画像のピクセル数に対応し、整数値をとる。また、点Ｃ（３０５）は、視野円の中心であり、その座標は（Ｃ_X，Ｃ_Y）である。

また、広範囲画像３０１の横ピクセル数をＸ_MAX、縦ピクセル数をＹ_MAXとすると、Ｘ、Ｙの取り得る値は、それぞれ
０≦Ｘ≦Ｘ_MAX−１
０≦Ｙ≦Ｙ_MAX−１
となる。

この広範囲画像は、実際には、カメラである広範囲撮像部２０１の撮像素子上に入射した光線によって結ばれたものである。そこで、広範囲画像３０１を撮像素子４０１上に対応付けしたものを図４に示す。ここで、図３の中の点Ｃ（３０５）は、図４の中の点Ｃ’（４０５）に対応する。撮像素子座標系を、点Ｃ’（４０５）を原点とし、右方向にｘ軸４０２、上方向にｙ軸４０３をとって定義する。単位は実世界上の長さに相当する。

ここで、撮像素子４０１の横幅をｄ_x、撮像素子の縦幅をｄ_yと定義する。ともに単位は実世界上の長さである。この場合、画像座標系上の点Ｐ（Ｘ，Ｙ）に対応する、撮像素子座標上の点Ｐ’（ｘ，ｙ）の座標は以下の式で得られる。

ｘ ＝ （Ｘ−Ｃ_X）×ｄ_x/Ｘ_MAX
ｙ ＝ −（Ｙ−Ｃ_Y）×ｄ_y/Ｙ_MAX
ここで、点Ｐ’（ｘ，ｙ）は直交座標系で表現しているが、極座標系でＰ’（ｒ，φ）と表現することもできる。ここで、ｒ及びφは
ｒ ＝ ｓｑｒｔ（ｘ²＋ｙ²）
ｓｉｎφ＝ｘ／ｒ
ｃｏｓφ＝ｙ／ｒ
を満足する。ここで、ｓｑｒｔは平方根を表す。また、ｒは像高とよばれる値である。直交座標系での表現Ｐ’（ｘ，ｙ）と極座標系での表現Ｐ’（ｒ，φ）は互いに変換可能である（但しｒ≠０とする）。

図５は、広範囲撮像部２０１の光学系である魚眼レンズをモデル化したものである。ここでは、撮像される被写体は、半球面５０１上に存在するとする。光学系の中心は点Ｃ”（５０４）に相当する。

撮像素子座標系上の点Ｐ’（ｒ，φ）に対応する光線は、入射光５０２で表される。入射光５０２は、点Ｃ”（５０４）を含むＸＹ平面上で見ると、Ｘ軸に対して角度φ（方位角）だけ傾いた角度で光学系に入射する。そして、その光学系を介して焦点距離ｆだけ離れた撮像素子面中の像点Ｐ’（ｒ，φ）に像を結ぶ。

ここで、入射光とＺ軸とのなす角をθ、焦点距離をｆ、射影方式を表す関数をＰ（θ）とすると、
ｒ＝ｆ×Ｐ（θ）
と表せることが分かっている。Ｐ（θ）は光学系によって異なる。例えば、正射影方式では、
Ｐ（θ）＝ｆ×ｓｉｎ（θ）
となる。

また、等距離射影方式では、
Ｐ（θ）＝ｆ×θ
となる。

また、等立体角射影方式では、
Ｐ（θ）＝２ｆ×ｓｉｎ（θ／２）
となる。

また、立体射影方式では、
Ｐ（θ）＝２ｆ×ｔａｎ（θ／２）
となる。これらのことから、Ｐの逆関数Ｐ^-1を用いて、
θ＝Ｐ^-1（ｒ／ｆ）
により、θを計算することができる。

φとθの範囲は、
０≦φ＜２π
０＜θ≦π／２
と限定できる。

このφを横軸に、θを縦軸にとって定義される座標系（φ，θ）を、パンチルト座標系と定義する。以上の計算より、画像座標系上の点Ｐ（Ｘ，Ｙ）を、パンチルト座標系上の点Ｐ”（φ，θ）（例えば、点５０７）へと変換できる。

逆に、パンチルト座標系上の点Ｐ”（φ，θ）に対応する画像座標系上の点Ｐ（Ｘ，Ｙ）の計算は、上記の計算を逆にたどることにより実現可能である。

図２の説明に戻る。

画像座標目標点選択部２０４は、画像座標系での目標点を１点取得する。将来、この目標点を中心（基準点）として歪み補正を行うことになる。図１の例では、点Ｓ（１０４）が現在の歪み補正の中心（基準点）となっている点に相当する。また、点Ｅ（１０５）が目標点に相当する。以下では、現在の歪み補正の中心となっている基準点（第１の座標）を点Ｓ、目標点（第２の座標）を点Ｅと呼ぶこととする。画像座標目標点選択部２０４は、点Ｓと点Ｅの画像座標系における座標値をパンチルト経路決定部２０５へ渡す。

目標点は、マウス等の入力装置を用いてユーザにより明示的に選択することが可能である。また、広範囲画像に対して動体検知機能を実行し、何らかの動きのあった箇所を自動的に目標点として選択する構成としてもよい。この他にも、任意の人為的または機械的な方法で注目点を決定し、それを目標点として選択してよい。

パンチルト経路決定部２０５は、画像座標系における開始点Ｓ（Ｘ_S，Ｙ_S）と目標点Ｅ（Ｘ_E，Ｙ_E）の座標を受け取り、これらに対応するパンチルト座標系（仮想座標系）の第１の仮想座標である点Ｓ”（φ_S，θ_S）と第２の仮想座標である点Ｅ”（φ_E，θ_E）を計算する。この座標の変換は、パンチルト座標・画像座標変換部２０３により行う。次に、点Ｓ”と点Ｅ”を結ぶパンチルト上（仮想経路上）の経路（例えば、最短の経路）であるパンチルト経路（仮想経路）を決定する。パンチルト経路は、パンチルト座標系の上で決定する。パンチルト経路の決定方法は、点Ｓと点Ｅの位置関係により変化する。

（ｉ）｜φ_S−φ_E｜≦πの場合
パンチルト経路は、点Ｓ”から点Ｅ”へ引いた線分となる。例として、図６（ａ）に、点Ｓ”（６０１）から点Ｅ”（６０２）へ引いた線分であるパンチルト経路６０３を示す。

（ｉｉ）｜φ_S−φ_E｜＞πの場合
この場合、そのまま点Ｓ”から点Ｅ”へ直線を引くと、経路は最短ではなくなってしまう。そこで、計算を簡単にするため、φ_Sとφ_Eのうち、πより小さい方（ただ一つ存在するはず）に、所定値（例えば、２π）を加える。そして、点Ｓ”から点Ｅ”へ引いた線分がパンチルト経路となる。例として、図６（ｂ）に、点Ｓ”（７０１）から点Ｅ”（７０２）へ引いた線分であるパンチルト経路７０３を示す。

以上では、例として、点Ｓ”と点Ｅ”間の最も近い経路（最短経路）をパンチルト経路とする構成としているが、常に、φ角を増加させる方向もしくは減少させる方向に固定するようにパンチルト経路を決定する構成としても構わない。また、パンチルト経路は直線でなくても構わない。つまり、どのようなパンチルト経路を決定するかについては特に限定するものではない。

補間点選択部２０６は、パンチルト経路決定部２０５からパンチルト経路を受け取る。次に、パンチルト経路上の任意の点を１つ以上選択して補間点とする。例外として、点Ｓ”と点Ｅ”が十分近い（点Ｓ”と点Ｅ”の距離が所定値以下である）場合には、補間点の個数は０個でもよい。

補間点の選択方法にはいくつかの方法をとることができる。図６（ａ）のパンチルト経路６０３を例にとり、補間点の選択方法を説明する。尚、補間点の選択方法はこれらの方法に限るものではない。以下では、ｎを２以上の自然数とする。

（ｉ）パンチルト経路を、各区間の長さが等しくなるようにｎ等分する方法（例として、図７（ａ）では、補間点群８０１）
（ｉｉ）パンチルト経路を、点Ｓ”に近い区間ほど長く、点Ｅ”に近い区間ほど短くなるようにｎ分割する方法（例として、図７（ｂ）では、補間点群９０１）
（ｉｉｉ）パンチルト経路を、点Ｓ”に近い区間ほど短く、点Ｅ”に近い区間ほど長くなるようにｎ分割する方法（例として、図７（ｃ）では、補間点群１００１）
（ｉｖ）パンチルト経路を、点Ｓ”または点Ｅ”のいずれかに近い区間の内、点Ｓ”または点Ｅ”のいずれかに近くなるほど短く、経路の中間点に近い区間ほど長くなるようにｎ分割する方法（例として、図７（ｄ）では、補間点群１１０１）
例えば、上記（ｉ）の方法を用いて、点Ｓ”（φ_S，θ_S）と点Ｅ”（φ_E，θ_E）の間のパンチルト経路を８等分するように補間点を選択することを考える。この場合、補間点は７点必要となる。i（１≦i≦７）番目の補間点の座標Ｐ_i”（φ_i，θ_i）は、
Ｐ_i”（φ_i，θ_i）
＝ （（φ_S＋（φ_E−φ_S）／８＊ｉ，θ_S＋（θ_E−θ_S）／８＊ｉ））
として与えられる。

次に、これら補間点群Ｐ_i”（φ_i，θ_i）それぞれに対応する、画像座標系上の補間点群Ｐ_i（Ｘ_i，Ｙ_i）を計算する。この座標の変換は、パンチルト座標・画像座標変換部２０３により行う。例として、これらの処理により得られた補間点群を、図８の補間点群１２０１にマッピングして示す。

補間点選択部２０６は、画像座標目標点選択部２０４により目標点が設定された後、新しい画像フレームが画像取込部２０２から１枚提供されるのに対応して、補間点Ｐ₁（Ｘ₁，Ｙ₁）の座標を、展開点として出力する。次の画像フレームが提供されるのに対応してＰ₂（Ｘ₂，Ｙ₂）を出力する。このように、新しい画像フレームが提供されるたびに、補間点群Ｐ_i（Ｘ_i，Ｙ_i）の座標を順々に出力する。すべての補間点の座標を出力し終わった次の画像フレームではＥ（Ｘ_E，Ｙ_E）を出力する。これ以降、新たな目標点が画像座標目標点選択部２０４により選択されない限り、継続してＥ（Ｘ_E，Ｙ_E）を出力する。

歪み補正部２０７は、画像取込部２０２から広範囲画像を受け取る。また、補間点選択部２０６から画像座標上の展開点の座標Ｐ（Ｘ，Ｙ）を受け取る。そして、この展開点を中心として、広範囲画像から部分画像を切り出し、その部分画像に含まれる歪みを補正した画像（歪み補正画像）を幾何変換により作成する。歪み補正の方法は、透視投影画像を作成する方法であっても、パノラマ画像の一部を作成する方法であってもよく、特に限定するものではない。

以下に、歪み補正部２０７が、画像座標上の展開点Ｐ（Ｘ，Ｙ）を中心として歪み補正画像を作成する例を、図５を使って説明する。但し、歪み補正画像として透視投影画像を作成するとする。

まず、前述の方法により、画像座標上の展開点の座標Ｐ（Ｘ，Ｙ）に対応する入射光５０２を取得する。この入射光５０２に対して垂直になる平面上に矩形をとり、それを透視投影平面５０５と呼ぶ。透視投影平面５０５の上方向は、Ｚ軸の単位ベクトルを透視投影平面５０５に射影して得られる上向きベクトル５０６と同じ向きにとる。

次に、透視投影平面５０５を格子状に分割し、各格子の代表座標を計算する。この格子の一つ一つが透視投影画像の画素に対応する。次に、各格子の代表座標のそれぞれについて、代表座標と点Ｃ”（５０４）とを結ぶ線分を引き、この線分と半球面５０１との交点Ｐ”（φ_in，θ_in）を取得する。さらに、この交点に対応する画像座標系上の点Ｐ_in（Ｘ_in，Ｙ_in）を、パンチルト座標・画像座標変換部２０３により計算する。この対応関係によって、透視投影画像を広範囲画像で補間できる。補間には、ニアレストネイバー、バイリニア補間、バイキュービック補間等の任意の方法を用いることができる。

例として、図１の点Ｓ（１０４）を展開点として作成した歪み補正画像に対応する広範囲画像上の領域を、図８の領域１２０２として示す。また、図１の点Ｅ（１０５）を展開点として作成した歪み補正画像に対応する広範囲画像上の領域を、図８の領域１２０３として示す。

結果表示部２０８は、ＣＲＴや液晶画面等の表示装置により構成されている。結果表示部２０８は、画像取込部２０２から出力された広範囲画像、歪み補正部２０７により生成された歪み補正画像等を表示することができる。どの情報を取得してどのような表示を行うのかについては特に限定するものではない。例えば、広範囲画像と歪み補正画像を横に並べて配置し、表示してもよい。もちろん、表示内容を切り替えるようにしてもよい。

次に、全方位画像上のある点Ｅが目標点として選択されたときの各部の動作について、図９のフローチャートを用いて説明する。尚、前提として、点Ｅが目標点として選択される直前には、全方位画像上の点Ｓを元に歪み補正画像が作成されているものとする。

ステップＳ１３０１では、画像座標目標点選択部２０４により、歪み補正画像を作成する目標となる画像座標系上の点Ｅ（目標点）を選択する。

ステップＳ１３０２では、パンチルト経路決定部２０５により、現在の歪み補正画像の作成の元となっている点Ｓと、ステップＳ１３０１により選択された点Ｅの２点を用いて、パンチルト経路を作成する。パンチルト経路はパンチルト座標上に作成される。

ステップＳ１３０３では、補間点選択部２０６により、パンチルト経路上の補間点を作成する。

ステップＳ１３０４では、歪み補正部２０７により、補間点選択部２０６により作成された補間点のすべてが、すでに補間点選択部２０６により出力済みであるかどうかを調べる。すべて出力済みである場合（ステップＳ１３０４でＹＥＳ）、ステップＳ１３０７へ進む。すべて出力済みでない場合（ステップＳ１３０４でＮＯ）、ステップＳ１３０５へ進む。

ステップＳ１３０５では、歪み補正部２０７により、補間点選択部２０６により出力された補間点を、歪み補正画像の展開点として設定する。

ステップＳ１３０６では、歪み補正部２０７により、ステップＳ１３０５により設定された展開点を中心として、歪み補正画像を作成する。その後、作成した画像は、結果表示部２０８により表示される。

ステップＳ１３０７では、歪み補正部２０７により、目標点Ｅを、歪み補正画像の展開点として設定する。

ステップＳ１３０８では、歪み補正部２０７により、ステップＳ１３０７により設定された展開点を中心として、歪み補正画像を作成する。その後、作成した画像は結果表示部２０８により表示される。

以上説明したように、実施形態１によれば、透視投影画像作成の中心点をある点からある点へと変更するときに、その経路及び経路上の補間点を適切に選択することができる。これら補間点を辿るように順々に歪み補正画像を作成し、ユーザに提示することで、まるで人間の視線方向が移動するように、歪み補正画像が順々に入れ替わるように表示制御する。これにより、歪み補正画像が空間上のどのような経路を辿ったのか（変化の遷移）をユーザが違和感なく理解することができる。

＜実施形態２＞
実施形態２の画像処理装置を適用した撮像システムの機能構成例について、図１０のブロック図を用いて説明する。図１０の構成は、実施形態１の図２の構成に表示禁止領域設定部１４０１を加えたこと以外は、図２の構成と同様である。そのため、以下では、実施形態１と同じ部分については説明を省略し、実施形態１と異なる点のみについて説明する。

表示禁止領域設定部１４０１は、結果表示部２０８にて表示することを禁止する領域（表示禁止領域）を設定する。表示禁止領域は、例えば、プライバシーの侵害を防ぐ等の目的により設定される。図１１に、表示禁止領域１５０１の例を示す。表示禁止領域は、ＧＵＩや設定ファイルを使ってユーザが設定することができる。表示禁止領域は、画像座標系にて設定しても、パンチルト座標系にて設定してもよい。どちらの座標系で領域を設定しても、パンチルト座標・画像座標変換部２０３により互いに変換可能である。具体的には、この変換は、一方の座標系における表示禁止領域の外周上の点に対する、もう一方の座標系における対応点を、パンチルト座標・画像座標変換部２０３により計算することで実現できる。

画像取込部２０２は、表示禁止領域設定部１４０１から、設定された表示禁止領域を受け取る。画像取込部２０２は、広範囲撮像部２０１により得られる画像の内、表示禁止領域に該当する領域に、黒塗りやモザイク等の画像処理を行う。

パンチルト経路決定部２０５は、表示禁止領域設定部１４０１から、設定された表示禁止領域を受け取る。受け取った表示禁止領域が、画像座標系に基づいて設定されたものである場合は、パンチルト座標における対応領域に変換する。そして、表示禁止領域を加味してパンチルト経路を決定する。以下、パンチルト経路の決定方法を具体的に説明する。

表示禁止領域の例として、図１１の表示禁止領域１５０１を考える。この表示禁止領域１５０１に対応するパンチルト座標上での領域を求めると、図１２の表示禁止領域１６０１となる。この場合、表示禁止領域１６０１を避けて経路を設定するために、点Ｓ”のφ座標に便宜的に２πを加える（図１３）。そして、点Ｓ”（１７０１）と点Ｅ”（１７０２）を結ぶ線分を、パンチルト経路１７０２として決定することができる。

尚、表示禁止領域を避けて点Ｓ”と点Ｅ”とを結ぶことが不可能な場合は、表示禁止領域の存在を無視してパンチルト経路を設定するか、なるべく通過する表示禁止領域の長さが短くなるようにパンチルト経路を設定する。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、プライバシーの侵害を防ぐ等の目的により表示禁止領域を設定した上で、歪み補正画像の表示を制御することができる。

＜実施形態３＞
実施形態３では、広範囲撮像部２０１として魚眼レンズを用い、魚眼レンズを鉛直下向きに設置した場合について説明する。その他の構成及びフローチャートは実施形態１と同様である。そのため、以下では、実施形態１と同じ部分については説明を省略し、実施形態１と異なる点のみについて説明する。

図１４は、広範囲撮像部２０１の持つ光学系である魚眼レンズをモデル化したものである。図５とほぼ同じであるが、魚眼レンズの設置向きを反映して、半球面１８０１の向きがＸＹ平面に対し反転している。また、θを、入射光と、Ｚ軸の負の方向との間の角と定義する。この場合、透視投影平面１８０２に対して、上向きベクトル１８０３が得られる。

透視投影平面の作成方法は、実施形態１で説明する方法と同様である。但し、θの定義方法が異なるため、作成される透視投影平面の上向き方向が、実施形態１とは反対になる。このように、広範囲撮像装置の向きにより、歪み補正画像の作成方法を変更する。

以上説明したように、実施形態３によれば、魚眼レンズの設置方向を変更（例えば、鉛直上向きから鉛直下向きへ変更）した場合でも、実施形態１と同様の効果を得ることができる。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 所定角度以上の範囲を撮像が可能な広範囲撮像部を有する画像処理装置であって、
   前記広範囲撮像部で撮像した広範囲画像から切り出した部分画像に含まれる歪みを幾何変換により補正することで、歪み補正画像を作成する補正手段と、
   前記広範囲画像に設定した画像座標系の座標と前記広範囲撮像部をモデル化することで定義される仮想座標系の仮想座標との間で座標変換を行う変換手段と、
   前記画像座標系において、現在の前記歪み補正画像を作成する上での基準点の第１の座標と、次の前記歪み補正画像を作成する上での目標点である、前記第１の座標とは異なる第２の座標が選択された場合、前記第１の座標及び前記第２の座標それぞれに対応する、前記変換手段によって得られる前記仮想座標系における第１の仮想座標と第２の仮想座標とを結ぶ仮想経路を決定する決定手段と、
   前記仮想経路から１つ以上の点を選択して、前記第１の仮想座標と前記第２の仮想座標との間を補間する補間点を選択する選択手段と、
   前記第１の仮想座標における前記歪み補正画像の表示から前記第２の仮想座標における前記歪み補正画像の表示へ切り替える場合に、前記第１の仮想座標から前記第２の仮想座標への前記仮想経路において前記選択手段で選択された補間点を辿るように、各補間点を基準として作成した前記歪み補正画像を順々に入れ替えて表示制御する表示手段と
   を備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記広範囲撮像部の設置方向に応じて、前記歪み補正画像の作成方法を変更する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第１の仮想座標と前記第２の仮想座標を最短の経路で結ぶ仮想経路を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示手段で表示することを禁止する表示禁止領域を設定する設定手段を更に備え、
   前記決定手段は、前記第１の仮想座標と前記第２の仮想座標を結ぶ最短の経路上に、前記表示禁止領域が設定されていた場合、該表示禁止領域を避けるような経路の前記仮想経路を決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記選択手段は、前記仮想経路上の１つ以上の任意の点を選択する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 所定角度以上の範囲を撮像が可能な広範囲撮像部を有する画像処理装置の制御方法であって、
   前記広範囲撮像部で撮像した広範囲画像から切り出した部分画像に含まれる歪みを幾何変換により補正することで、歪み補正画像を作成する補正工程と、
   広範囲画像に設定した画像座標系において、現在の前記歪み補正画像を作成する上での基準点の第１の座標と、次の前記歪み補正画像を作成する上での目標点である、前記第１の座標とは異なる第２の座標が選択された場合、前記第１の座標及び前記第２の座標それぞれに対応する、前記広範囲撮像部をモデル化することで定義される仮想座標系における第１の仮想座標と第２の仮想座標とを結ぶ仮想経路を決定する決定工程と、
   前記仮想経路から１つ以上の点を選択して、前記第１の仮想座標と前記第２の仮想座標との間を補間する補間点を選択する選択工程と、
   前記第１の仮想座標における前記歪み補正画像の表示から前記第２の仮想座標における前記歪み補正画像の表示へ切り替える場合に、前記第１の仮想座標から前記第２の仮想座標への前記仮想経路において前記選択工程で選択された補間点を辿るように、各補間点を基準として作成した前記歪み補正画像を順々に入れ替えて表示制御する表示工程と
   を備えることを特徴とする画像処理装置の制御方法。
7. 所定角度以上の範囲を撮像が可能な広範囲撮像部を有する画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
   前記コンピュータを、
   前記広範囲撮像部で撮像した広範囲画像から切り出した部分画像に含まれる歪みを幾何変換により補正することで、歪み補正画像を作成する補正手段と、
   前記広範囲画像に設定した画像座標系の座標と前記広範囲撮像部をモデル化することで定義される仮想座標系の仮想座標との間で座標変換を行う変換手段と、
   前記画像座標系において、現在の前記歪み補正画像を作成する上での基準点の第１の座標と、次の前記歪み補正画像を作成する上での目標点である、前記第１の座標とは異なる第２の座標が選択された場合、前記第１の座標及び前記第２の座標それぞれに対応する、前記変換手段によって得られる前記仮想座標系における第１の仮想座標と第２の仮想座標とを結ぶ仮想経路を決定する決定手段と、
   前記仮想経路から１つ以上の点を選択して、前記第１の仮想座標と前記第２の仮想座標との間を補間する補間点を選択する選択手段と、
   前記第１の仮想座標における前記歪み補正画像の表示から前記第２の仮想座標における前記歪み補正画像の表示へ切り替える場合に、前記第１の仮想座標から前記第２の仮想座標への前記仮想経路において前記選択手段で選択された補間点を辿るように、各補間点を基準として作成した前記歪み補正画像を順々に入れ替えて表示制御する表示手段と
   して機能させることを特徴とするプログラム。

Images