JP2008028778A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】広角撮像光学系を用いて撮像された広視野の原画像を処理する場合において、ユーザにとって便利で使いやすい画像処理装置、画像処理方法及びそのプログラムを提供すること。
【解決手段】制御部が展開画像１０２からズーム画像１０３の出力に切り替えてこのズーム画像１０３を表示部により表示させる。ズーム画像１０３が出力されている状態で、ユーザにより、入力機器を介してボタン等が押され、その状態が所定の時間続くと、つまり、制御部がその入力情報を所定の時間継続して取得した場合、展開画像１０２ａの出力に切り替える。制御部は、展開画像１０２ａの出力に切り替えた後、さらにボタンによる入力情報を継続して取得した場合、その展開画像１０２ａ中で、カーソル１６ａを移動させたり、カーソル１６ａの大きさを変化させたりするような画像を出力する。
【選択図】図３

Description

本発明は、広角撮像光学系を用いて撮像された広視野の原画像を処理する画像処理装置、画像処理方法及びそのプログラムに関する。

従来から、３６０°全周囲レンズを用いて撮像された環状の画像が、パノラマ画像に展開処理され、さらに、その展開処理された画像が１８０°の画像２枚に分かれて出力される、といった技術がある（例えば、非特許文献１参照。）。

http://www.sony.co.jp/Products/SC-HP/new_tec/camera360/index.html

上記非特許文献１の技術を応用することにより、ユーザにとってさらに使いやすいインターフェースを提供することが重要な課題となっている。

以上のような事情に鑑み、本発明の目的は、広角撮像光学系を用いて撮像された広視野の原画像を処理する場合において、ユーザにとって便利で使いやすい画像処理装置、画像処理方法及びそのプログラムを提供することにある。

上記目的を達成するため、本発明に係る画像処理装置は、広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を出力する第１の出力手段と、少なくとも前記展開画像内の前記選択領域の画像を、選択領域画像として出力する第２の出力手段と、所定の条件に応じて前記展開画像の出力と前記選択領域画像の出力とを切り替える切り替え手段とを具備する。

本発明では、ユーザは展開画像内で選択された選択領域画像を見ることができ、しかも、その展開画像の出力と選択領域画像の出力とが切り替えられるので、ユーザにとって便利で使いやすい画像処理装置が実現される。

「広角撮像光学系」とは、広角レンズを用いて撮像する光学系、または、広角レンズを用いずに曲面ミラー等の反射を利用して撮像する光学系である。

「原画像」は、歪が含まれた画像である。「展開画像」とは、その歪が、完全にまたは所定のレベルまで補正された画像であり、人間にとってある程度違和感のない見やすい画像をいう。

「所定の条件」とは、例えば、ユーザが入力機器を操作したときに当該入力機器から出力される情報を画像処理装置が取得したこと、または、上記入力機器以外の他の機器やセンサ等から出力される情報を画像処理装置が取得したこと等が挙げられる。あるいは、これらのような取得される情報が何もなくても、単に所定の時間が経過したときも含まれる。

本発明において、画像処理装置は、当該画像処理装置の外部からの入力情報を取得する取得手段をさらに具備し、前記切り替え手段は、前記第２の出力手段により前記選択領域画像が出力されている途中で、前記取得手段により前記入力情報を取得した場合に、前記選択領域画像の出力から前記展開画像の出力に切り替える。外部からの入力情報とは、例えば、上記したようにユーザが入力機器を操作したときに当該入力機器から出力される信号の情報や、外部機器やセンサから出力される信号の情報等が挙げられるが、これに限られない。「取得した場合」とは、取得した直後でもよいし、取得してから所定の時間が経過した後でもよいし、または、次の発明のように入力情報の取得動作が所定の時間継続した場合であってもよい。

本発明において、前記切り替え手段は、前記取得手段による前記入力情報の取得動作が所定の時間継続した場合に、前記選択領域画像の出力から前記展開画像の出力に切り替える。本発明では、特に、ユーザが入力機器により操作するときに有効となる。例えば、入力情報の取得が所定の時間継続しない場合は、選択領域画像が出力されるので、その場合、ユーザはその選択領域画像上で、当該選択領域画像の位置を少しずつ変更して、当該選択領域を観察することもできる。

展開画像の出力から前記選択領域画像の出力に切り替えられるときも同様に、前記切り替え手段は、前記第２の出力手段により前記展開画像が出力されている途中で、前記取得手段による前記入力情報の取得がなくなった場合、前記展開画像の出力から前記選択領域画像の出力に切り替える。「取得がなくなった場合」とは、取得がなくなった直後でもよいし、または、次の発明のように取得がなくなってから所定の時間が経過した後でもよい。前記切り替え手段は、前記取得手段による前記入力情報の取得がなくってから所定の時間が経過した後、前記展開画像の出力から前記選択領域画像の出力に切り替える。

本発明において、前記入力情報は、入力機器を介して入力される操作入力情報である。特に、本発明のように、外部からの入力情報が、ユーザが用いる入力機器からの操作出力信号である場合、ユーザにとって、入力機器に対する直感的な操作入力により、選択領域画像出力と展開画像出力とが切り替えられる。

本発明において、上記のように、前記切り替え手段が、前記第２の出力手段により前記選択領域画像が出力されている途中で、前記取得手段により前記入力情報を取得した場合に、前記選択領域画像の出力から前記展開画像の出力に切り替える場合、画像処理装置は、前記操作入力情報が前記展開画像上での前記強調領域の変化情報である場合、前記変化情報に応じて前記選択領域を更新する更新手段をさらに具備する。本発明では、強調領域の変化情報が取得された場合に、選択領域画像の出力から展開画像の出力に切り替えられ、その展開画像上での強調領域の変化情報に応じて選択領域が更新される。すなわち、強調領域が変化する場合に、ユーザは展開画像上で強調領域がどこに位置しているのかを把握することができる。

「強調領域の変化情報」とは、強調領域の展開画像上での縦、横、または斜めの直線方向、または、直線方向に限らず曲線方向の位置変化の情報が考えられる。あるいは、展開画像上である一点（強調領域内外を問わない一点）を中心として強調領域が回転するときの位置変化の情報も含まれる。さらに、強調領域の範囲の変化（大きさや形状の変化）の情報も含まれる。

本発明において、前記広角撮像光学系は、環状の画像を得るＰＡＬを有する場合、特に効果的である。

本発明において、前記第２の出力手段は、前記全周囲レンズで得られる前記環状の画像の前記展開画像内で前記強調領域により選択される選択領域画像と、前記展開画像内で前記選択領域画像以外の画像である非選択領域画像とが、一画面の画像データとして合成された合成画像を出力する。これにより、ユーザにとって選択領域画像がより見やすくなる。特に、前記第２の出力手段は、前記選択領域画像及び前記非選択領域画像のうちいずれか一方の画像が前記全周囲に沿った周方向で反転処理された画像を、前記合成画像として出力することにより、画像処理装置が応用される環境に応じて、ユーザにとってより使いやすくなり、利便性が向上する。

本発明において、前記合成画像内の前記選択領域画像は、所定の大きさに固定された強調領域により選択される画像である。

本発明において、前記第２の出力手段は、前記選択領域画像及び前記非選択領域画像のうち少なくとも一方の画像内で選択される第２の選択領域が強調された第２の強調領域を含む画像を、前記合成画像として出力する。この場合、画像処理装置は、展開画像内から選択された選択領域画像内でさらに第２の選択領域で選択された画像（例えば、第２の選択領域画像という）を出力する第３の出力手段を備えていてもよい。

本発明の他の観点に係る画像処理装置は、広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を処理する画像処理装置であって、前記強調領域のうち前記展開画像内で任意の大きさに変形する第１の強調領域により選択される第１の選択領域画像を出力する第１の出力手段と、前記強調領域のうち前記展開画像内で所定の大きさに固定された第２の強調領域により選択される第２の選択領域画像と、前記展開画像内で前記第２の選択領域画像以外の画像である非選択領域画像とが、一画面の画像データとして合成された合成画像を出力する第２の出力手段と、所定の条件に応じて前記第１の選択領域画像の出力と前記合成画像の出力とを切り替える切り替え手段とを具備する。

本発明では、第１の選択領域画像と、第２の選択領域画像及び非選択領域画像との合成画像とが出力可能であり、所定の条件に応じて両画像が切り替えられるので、ユーザにとっての利便性が向上する。「所定の条件」とは、上記した「所定の条件」と同様の趣旨である。

本発明に係る画像処理方法は、広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を出力するステップと、少なくとも前記展開画像内の前記選択領域の画像を、選択領域画像として出力するステップと、所定の条件に応じて前記展開画像の出力と前記選択領域画像の出力とを切り替えるステップとを具備する。

本発明に係るプログラムは、コンピュータに、広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を出力するステップと、少なくとも前記展開画像内の前記選択領域の画像を、選択領域画像として出力するステップと、所定の条件に応じて前記展開画像の出力と前記選択領域画像の出力とを切り替えるステップとを実行させる。

以上のように、本発明によれば、広角撮像光学系を用いて撮像された広視野の原画像を処理する場合において、ユーザにとって便利で使いやすい画像処理装置等を実現することができる。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。

画像処理システム１０は、例えば広角レンズ１及びセンサ３を有する撮像部１５、画像処理部５、入力機器９、表示部７を備えている。広角レンズ１として、本実施の形態では、例えばＰＡＬ（Panoramic Annular Lens）（環状の３６０°全周囲画像が得られるレンズ）が用いられる。広角レンズ１はこれに限られず、魚眼レンズ等が用いられてもよい。また、撮像部１５の撮像光学系として、例えば環状の画像が得られる双曲面ミラー、円錐面ミラー、または半球面ミラー等の曲面ミラーの反射を利用して撮像する光学系が用いられてもよい。あるいは、画角が１８０°程度の魚眼レンズが２つ用いられることにより、全方位（球空間（３６０°））の視野で撮像することもできる。

センサ３は、光を電気信号に変換するセンサ、例えばＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等が用いられる。入力機器９は、人間が操作できる機器であれば何でもよい。例えばマウス、キーボード、スイッチ機器、タッチセンサ、ゲーム機器のコントローラ、ユーザが把持可能なスティック状の操作機器等が挙げられる。表示部７は、その生成された画像を表示するディスプレイ機器である。

本実施の形態で用いられるカメラは、撮像部１５及び画像処理部５が一体となったカメラが考えられる。しかし、撮像部１５と画像処理部５が別体であってもよい。本実施の形態でいう「画像」とは、静止画も含まれるが、現実には、動画として処理されることが多い。

図２は、画像処理部５の機能の構成を示すブロック図である。図３は、画像処理部５で画像処理されて表示部７で表示される各種の画像を示す図である。

画像処理部５は、歪補正部８、表示モード設定部６及び制御部２を有する。歪補正部８は、制御部２の制御の下、撮像部１５により得られる広視野の原画像（以下、単に原画像という。）１０１（図３参照）に含まれる歪（歪曲収差）を補正する。広角レンズ１で撮像された画像は歪が発生しているので、歪補正部８により歪が補正されて展開処理され、展開画像１０２が生成される。展開画像１０２は、その歪が、完全にまたは所定のレベルまで補正された画像であり、人間にとってある程度違和感のない見やすい画像である。

制御部２は、主に、撮像部１５から得られる原画像１０１の情報１１を基に、歪補正部８の歪補正処理を制御し、図３に示したように表示部７に表示させる各種の画像データ１３を生成する。また、図３において、制御部２は、例えば展開画像１０２上で選択された領域が強調された強調領域１６を含む展開画像１０２ａや１０２ｂを生成する。強調領域１６による領域の選択は、上記入力機器９から入力された入力情報１２に応じて制御部２が行う。具体的には、制御部２は、入力情報１２に応じて展開画像１０２ａまたは１０２ｂ内における選択領域の位置を算出し、強調領域１６を展開画像１０２上に重ねた展開画像１０２ａまたは１０２ｂを生成する。

上記入力機器９から入力される入力情報１２とは、展開画像１０２中で選択された領域（強調領域１６）の変化に関する情報（以下、変化情報という。）である。具体的には、変化情報には、例えば強調領域１６の展開画像上での縦、横、または斜めの直線方向の位置変化の情報がある。図３に示すように、強調領域１６は例えば枠状のカーソルで構成される。しかし、強調領域は、このようなカーソルに限られず、展開画像１０２中で強調領域１６以外の部分とは色を変えて表示されるような形態であってもよい。すなわち、強調領域は、ユーザが原画像を見てその強調された領域が他の領域と識別できるような形態であればよい。強調領域１６の形態は、ユーザによるカスタマイズにより変更可能に構成されていてもよい。ユーザは、入力機器９を用いて、カーソル１６により展開画像１０２中の所望の領域（カーソル１６で囲まれる範囲）を選択し、制御部２はその範囲を選択領域として種々の処理を行う。

展開画像１０２中の選択領域は、ユーザが選択するといった形態に限られない。例えば、展開画像１０２中の予め設定された領域が選択される形態も考えられる。その場合のカーソル１６による選択領域の変化情報は、予め図示しないＲＯＭや、外部の記憶装置等に格納されていればよい。このように予め選択領域が設定されている場合に限らず、展開画像１０２内のある特定の領域が自動認識される場合に、その自動認識された「特定の領域」が「選択領域」として処理される形態も考えられる。あるいは、図示しない様々なセンサによって、展開画像１０２内で検出された部分の画像領域が「選択領域」として処理される形態もある。その場合、センサとは、例えば光センサ、温度センサ、圧力センサ、音センサ、湿度センサ、振動センサ、ガスセンサ、その他様々なセンサが挙げられる。

画像処理部５は、例えばＣＰＵ（Central Processing unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のハードウェア、ＲＯＭ等に格納されたソフトウェア、あるいはファームウェア等で構成される。歪補正部８は、ソフトウェアにより構成されてもよいし、例えば制御部２の一部を構成するＦＰＧＡ（Field Programmable Gate Array）、あるいはＤＳＰ（Digital Signal Processor）等に歪補正の機能を持たせることも可能である。制御部２は、例えば上記のＣＰＵ、ＦＰＧＡ、あるいはＤＳＰ等で構成され、他にもビデオエンコーダ、サウンドエンコーダ、上記入力情報１２を取得するためのインターフェース、または上記表示部７へ画像データを出力するためのインターフェース等を備えてもよい。また、ＦＰＧＡとＤＳＰが両方用いられ、両者が処理を分担するようにしてもよい。

表示モード設定部６では、制御部２の制御の下、表示部７に表示される画像の表示方法が設定される。すなわち、制御部２の制御に応じて、表示モード設定部６は、各種の画像１０１、１０２、１０２ａ、１０２ｂ、１０３〜１０５を切り替える。図４に示すように、表示モードには、原画像１０１（図３参照）が表示部７に表示されるモード５１（原画像表示モード）、原画像が展開された展開画像１０２（１０２ａまたは１０２ｂ）が表示されるモード５２（パノラマ画像表示モード）、展開画像内のカーソル１６により選択された選択領域が切り出されて表示される選択領域画像表示モード５３がある。選択領域画像表示モード５３には、ズーム画像１０３、ハーフワイド画像１０４、ハーフワイドフリップ画像１０５の表示がある。これらの画像の詳しい説明については後述する。

制御部２は、図３に示した各種の画像１０１、１０２、１０２ａ、１０２ｂ、１０３〜１０５を所定の条件に応じて切り替えて、これらの画像のうち１つを表示部７に出力する。また制御部２は、特に、パノラマ画像表示モード５２による展開画像１０２（１０２ａまたは１０２ｂ）と、選択領域画像表示モード５３による選択領域画像（１０３〜１０５）とを所定の条件下で切り替えて表示部７に出力する。

図５は、上記撮像部１５の構成を示す断面図である。本実施の形態では、撮像部１５の広角レンズ１は、上述したようにＰＡＬのような全周囲の視野の画像を取得できるレンズが用いられる。図示するように、レンズ１の表面の光入射面４３を鉛直上方向に向けることにより、その鉛直方向を軸として、その軸の周りの３６０°の画像が得られる。レンズ１の上部中央にはミラー面８３が設けられ、さらに、レンズ１の上下方向（鉛直方向）のほぼ半分を仕切る破線４５より下部には環状のミラー面８４が設けられている。入射面４３からレンズ１に入射した光は、下側に設けられた環状のミラー面８４及び上部中央のミラー面８３により反射されて出射面４４から出射し、リレーレンズ４６を介して上記センサ３に入射する。このレンズ１の画角（例えば仰角α、俯角β）は、適宜設定可能である。

なお、ＰＡＬの場合、上記ミラー面８３による死角が発生するが、魚眼レンズの場合、上記ミラー面８３による死角がない状態で撮像することが可能となる。

歪補正部８が行うレンズ１（ＰＡＬ）の歪補正処理の手法としては、各種の公知の手法が用いられればよい。例えば、原画像の中心点から径方向に放射状に延びる直線上の径位置Ｒと、パノラマ展開画像上の鉛直方向の高さ位置Ｙとの関係式Ｙ＝ｆ（Ｒ）を用いる方法がある。この場合、その関係式や、そのＹとＲの対応テーブルが図示しないＲＯＭやその他のメモリ等に保存されていればよい。

広角レンズ１を搭載したカメラの設置態様については、例えば、図５に示したように、光の入射面４３が上方に向けられるように設置する態様のほか、当該入射面が下方に向けられるように設置する態様も考えられる。これにより、屋内の天井や屋外の上空から見下ろすような視界が得られる。図３で示した形態では、例えば屋内の部屋のほぼ中央に、入射面４３が上方に向くようにカメラが設置された形態を示しており、この場合、カメラは床面、台、机に置かれて設置される。これにより、その部屋の壁際にあるテレビ、カーテン、ソファー、犬が撮像される。

広角レンズ１が、例えばほぼ半球状の視野を得ることができる魚眼レンズである場合、例えば図６（Ａ）〜（Ｂ）に示すような半球状の視野が得られるようなカメラの設置態様が考えられる。例えば図６（Ａ）は、上半分（現実の３次元空間で上方向）の視野を示す。図６（Ｂ）は、下半分（現実の３次元空間で下方向）の視野を示す。図６（Ｃ）は、横半分の視野を示す。図６（Ｃ）の例では、地面に垂直な壁等から水平方向あるいは横方向を見る場合が想定される。

以上のようなＰＡＬや魚眼レンズ等の設置態様に限られず、斜め上方向、斜め下方向の視野を撮像するようにカメラが設置されてもよい。

図７は、ユーザが入力機器９を用いてカーソル１６を操作する際に表示されるＧＵＩ（Graphical User Interface）の一例を示している。図７に示す操作入力画面１８は、図３に示した各種の画像１０１、１０２、１０２ａ、１０２ｂ、１０３〜１０５のうち１つと合成されて一画面として表示部７に表示されればよい。あるいは、操作入力画面１８と、各画像とは別々の表示部に表示されるようにしてもよい。操作入力画面１８には、方向ボタン群２１や、拡大ボタン２２ａ及び縮小ボタン２２ｂが設けられている。方向ボタン群２１には、例えば中央の「選択」ボタン２１ａの周りに、「North」ボタンや「SE(South East)」ボタン等の方角ボタン２１ｂがある。

なお、図７に示したＧＵＩは単なる例であり、これに限定されないことは言うまでもない。

以上のように構成された画像処理部５の動作を説明する。ここでは、ユーザは図７に示した操作入力画面１８等を見ながら操作する例を挙げて説明する。

図３を参照して、まず、画像１０１、１０２、１０３、１０４、１０５を順次切り替える動作について説明する。図８は、その動作を示すフローチャートである。

例えば画像処理部５に電源が投入された初期状態において、制御部２は原画像１０１を表示部７に出力しているとする（ステップ８０１）。ユーザにより入力機器９を介して操作入力画面１８の「選択」ボタン２１ａが押されると（ステップ８０２のＹＥＳ）、制御部２は、その入力情報１２を取得し、それに応じて歪補正部８により歪補正処理させて展開画像１０２を生成し、表示モード設定部６により原画像１０１の出力からその展開画像１０２の出力に切り替える（ステップ８０３）。

制御部２は、原画像１０１を出力しているときにも、その原画像１０１の歪補正処理して展開画像１０２を生成しておき、生成した展開画像１０２を、例えば制御部２内のメモリに一時記憶しておくようにしてもよい。その場合、制御部２は、操作入力画面１８の「選択」ボタン２１ａによる入力情報１２に応じて、原画像１０１の出力から、そのメモリに一時記憶された展開画像１０２の出力に切り替える（ステップ８０２、８０３）。

そして、さらにユーザにより「選択」ボタン２１ａが押されると、その入力情報１２を取得し、制御部２はズーム画像１０３に切り替える。同様にして、制御部２は、入力情報１２の取得に応じて、ハーフワイド画像１０４、ハーフワイドフリップ画像１０５の出力に順次切り替える。

なお、画像処理部５に電源が投入されて最初に出力される画像は、原画像１０１ではなく、展開画像１０２やその他の画像１０３、１０４等であってもよい。各画像の切り替えの順序は、上記したように画像１０１→１０２→１０３→１０４→１０５に限られず、適宜設定可能である。画像出力の切り替えは、「選択」ボタン２１ａに限られず、他のボタン２１ｂ等であってもよい。

ズーム画像１０３は、展開画像１０２ａにおいてカーソル１６（以下、カーソル１６ａとする。）で選択された選択領域画像が一画面として生成された画像である。例えば、ステップ８０３において最初にズーム画像１０３を出力する場合、展開画像１０２ａ内で所定の位置に配置され、かつ、所定の大きさに設定されたカーソル１６ａで選択された選択領域画像が出力される。「所定の位置」とは、本実施の形態では、図９（Ａ）及び（Ｄ）に示すように、そのカーソル１６ａ内での中央の縦線が、展開画像１０２ａ中の中央線Ｃにほぼ一致するようなカーソル１６ａの初期位置である。かかる初期位置は、このような中央位置に限られず、設計により適宜設定可能であり、あるいは、ユーザによるカスタマイズが可能に構成されていてもよい。「所定の大きさ」も同様に、設計により適宜設定可能であるか、あるいは、ユーザによるカスタマイズが可能に構成されていてもよい。また、展開画像１０２ａが出力された時点で、制御部２は、カーソル１６ａによる選択領域画像（つまりズーム画像１０３）を生成して、メモリに一時記憶しておくようにしてもよい。

原画像１０１の出力から、展開画像１０２の出力に切り替わったときに、制御部２は、その展開画像１０２中に既にカーソル１６ａの画像（枠自体の画像）を生成しておくようにしてもよい。つまり制御部２は、原画像１０１の出力からの上記ステップ８０３の切り替え動作により、カーソル１６を含まない展開画像１０２の出力ではなく、カーソル１６ａを含む展開画像１０２ａを出力することも可能である。また、例えばユーザによる入力操作により、カーソル１６の表示のない展開画像１０２か、カーソル１６（１６ａ）が表示される展開画像１０２ａかが、この図８に示す動作において選択可能にされていてもよい。

ハーフワイド画像１０４は、展開画像１０２ｂにおいてカーソル１６（以下、カーソル１６ｂとする。）で選択された選択領域画像１０４ａと、当該選択領域画像以外の画像である非選択領域画像１０４ｂが一画面として生成された画像である。制御部２は、展開画像１０２ｂ中では、所定の大きさに固定されたカーソル１６ｂを生成する。この場合、カーソル１６ａの初期位置としては、図９（Ａ）及び（Ｂ）に示すように、そのカーソル１６ｂ内での中央の縦線が、展開画像１０２ｂ中の中央線Ｃにほぼ一致するような位置に設定されている。また、この場合の「所定の大きさ」とは、広角レンズ（ＰＡＬ）１による全周囲３６０°の視野のうち１８０°の視野分に相当するカーソル１６ｂの大きさである。このカーソル１６ｂの大きさは、１８０°の視野分に限らず、１２０°でもよいし、９０°でもよいし、あるいはそれ以下でもよい。その場合、ハーフワイド画像１０４の代わりとして、制御部２は、その分割数に応じた画像を縦方向に並べて一画面として出力する。例えば、１２０°の場合、３分割の画像、９０°の場合４分割の画像である。

ハーフワイドフリップ画像１０５は、上記ハーフワイド画像１０４とほぼ同様であるが、その下半分の画像１０５ｂ（展開画像１０２ｂにおいてカーソル１６ｂによる選択領域画像以外の非選択領域画像）が左右反転されている画像である。このハーフワイドフリップ画像１０５は、例えば、撮像部１５を搭載するカメラが自動車等の車両に搭載される場合に有効である。今、図１０（Ａ）に示すように、自動車１３０の進行方向（前方）を矢印Ｅとし、進行方向に対して左半分の視野がカーソル１６ｂ（図１０（Ｂ）参照）による選択領域画像により選択されるように、例えばカメラが自動車のダッシュボード上に設置されているとする。カメラの設置箇所は、ルームミラー付近、またはルーフ等に設置されてもよい。左前方に物体Ａ、左後方に物体Ｂ、右前方に物体Ｃ、右後方に物体Ｄが撮像されているとする。この場合、図１０（Ｂ）に示すように、上記ハーフワイド画像１０４のままでは、その動画の画像１０４上で、風景が流れる方向が上下画像１０４ａと１０４ｂとが逆になりユーザにとって見づらい。この点ハーフワイドフリップ画像１０５では、上下の画像１０５ａ及び１０５ｂの風景が同じ方向に流れ、ユーザは見やすくなるといった効果がある。

あるいは、自動車におけるカメラの設置態様として、カーソル１６ｂによる選択領域画像１０４ａまたは１０５ａが、上記では左半分であったが、自動車の進行方向の前半分となるように設置されてもよい。そうすると、後ろ半分の非選択領域画像１０４ｂ（または１０５ｂはルームミラーに映し出されるような画像となる。

以上、入力情報１１として、ユーザによる入力機器９の操作によって発生するものに限らず、例えば、制御部２は、原画像１０１が出力されてから所定時間経過後に順次画像１０１、１０２、１０３、１０４、１０５を一定の時間間隔で切り替えるようにしてもよい。

次に、図３を参照して、ズーム画像１０３の出力と展開画像１０２ａの出力の切り替え動作について説明する。図１１は、その動作を示すフローチャートである。

図３を参照して、上記ステップ８０３において、制御部２が展開画像１０２からズーム画像１０３の出力に切り替えてこのズーム画像１０３を表示部７により表示させる（ステップ１１０１）。ズーム画像１０３が出力されている状態で、ユーザにより、ボタン２１ｂ、２２ａ等（「East」、「West」、「North」、「South」、「拡大」または「縮小」ボタン）が押され、その状態が所定の時間続くと、つまり、制御部２がその入力情報１２を所定の時間継続して取得した場合（ステップ１１０２のＹＥＳ）、展開画像１０２ａの出力に切り替える（ステップ１１０３）。この所定の時間は、例えば０．５〜１．０秒に設定されるが、これに限られず、適宜設定可能である。これは、いわゆるボタンの「長押し」である。

制御部２は、展開画像１０２ａの出力に切り替えた後、さらにボタン２１ｂによる入力情報１２を、ステップ１１０２から継続して取得した場合、その展開画像１０２ａ中で、カーソル１６ａを移動させる（ステップ１１０４）。すなわち、ここでは、ステップ１１０２からの継続するボタン２１ｂ等の「長押し」によって、制御部２は、展開画像１０２ａ上でカーソル１６ａを左右方向に移動させてスクロールさせたり、展開画像１０２ａでカーソルを１６ａの大きさを変化させたりするような画像を出力する。例えば「East」または「West」ボタンは、選択領域画像の左右スクロールに対応し、「拡大」ボタン２２ａまたは「縮小」ボタン２２ｂは、選択領域画像のズームイン及びズームアウトに対応する。最初の状態では、カーソル１６ａの大きさは最大になっていればよい。この場合、少なくとも１回、制御部２がカーソル１６ａを縮小させた場合、ユーザにより「North」または「South」ボタンが押されることにより、制御部２は、その入力情報１２に応じて展開画像１０２ａ上でカーソル１６ａを上下方向（縦方向）に移動させることができる。

制御部２は、その入力情報１２によるカーソル１６ａのそのような位置の変化や大きさの変化の情報（以下、変化情報という）を算出し、これに応じて選択領域画像であるズーム画像１０３を生成し、これを出力はしないがメモリに一時記憶させてもよい。つまり、制御部２は、そのカーソル１６ａの位置や大きさの情報の変化（変化情報）に応じて選択領域画像を更新してメモリに記憶しておくようにしてもよい。

なお、制御部２は、上記したように縦、横の直線方向のほか、斜めの直線方向にもカーソル１６ａを移動させる構成としてもよいし、または、直線方向に限らず曲線方向に移動できる構成としてもよい。あるいは、図１２に示すように、展開画像１０２ａ上である一点Ｏを中心としてカーソル１６ａを回転できる構成としてもよい。この場合、点Ｏは、カーソル１６ａの中心位置でもよいし、そうでなくてもよい。カーソル１６ａが回転させると、制御部２は、その変化情報に応じてそのカーソル１６ａで選択される選択領域画像を更新する。制御部２は、例えばこの展開画像１０２ａの出力からズーム画像１０３に切り替えると、ズーム画像１０３では、回転する選択領域画像を出力する。

ユーザがボタン２１ｂを押すことを解除した場合、つまりボタン２１ｂが押されることの入力情報１２の取得がなくなった場合（ステップ１１０５のＮＯ）、制御部２は、ズーム画像１０３の出力に切り替えてこれを表示させる（ステップ１１０１）。この場合、制御部２は、そのボタン２１ｂが押されることの入力情報１２を取得しなくなった場合、そのことをトリガーとして、そのときのカーソル１６ａの位置情報に応じて選択領域画像を更新し、ズーム画像１０３を出力する。あるいは、上記したように、メモリに一時的に記憶された更新された最新の選択領域画像をそのメモリから出力させるようにしてもよい。

一方、制御部２は、そのボタン２１ｂによる入力情報１２の取得が所定の時間継続しないで、例えば０．３秒程度で解除された場合（ステップ１１０２のＮＯ）、その０．３秒の間に移動する分の、展開画像１０２ａでのカーソル１６ａによる選択領域画像を、ズーム画像１０３として出力して表示させる。つまり、その場合、ユーザはボタン２１ｂを１回、または複数回小刻みに押すことで、そのズーム画像１０３上で、当該ズーム画像１０３の位置を少しずつ変更して、当該選択領域を観察することが可能となる。

ステップ１１０２において、所定の時間が０秒に設定されていてもよい。すなわち、ボタン２１ｂが押されることの入力情報１２の取得が継続しない場合であっても、ボタン２１ｂが押されたことに応じて、制御部２は展開画像１０２ａを出力して表示させるようにすることもできる。また、ステップ１１０５のＮＯの場合に、ボタン２１ｂを押すことの入力情報１２の取得がなくなってから、所定の時間が経過したときにステップ１１０１に戻るようにしてもよい。

また、上記では、ステップ１１０３の後、ステップ１１０２から継続してボタン２１ｂによる入力情報１２を取得する場合に、ステップ１１０４が実行された。しかし、ステップ１１０３において一旦当該入力情報１２が停止してから再度入力情報１２を取得した場合でも、制御部２は、展開画像１０２ａ上でカーソル１６ａを移動させるような画像を生成してもよい。

次に、ハーフワイド画像１０４の出力と展開画像１０２ｂの出力の切り替え動作について説明する。図１３はその動作を示すフローチャートである。

この動作では、展開画像１０２ｂのカーソル１６ａの大きさが固定されていること以外については、基本的に図１１で説明した動作と同様である。例えば、図８に示したステップ８０３において、制御部２がズーム画像１０３の出力からハーフワイド画像１０４の出力に切り替えてこのハーフワイド画像１０４を表示部７により表示させる（ステップ１３０１）。ハーフワイド画像１０４が出力されている状態で、ユーザにより、例えば「East」、「West」、「North」または「South」ボタン２１ｂが押された場合（ステップ１３０２のＹＥＳ）、制御部２は、展開画像１０２ｂの出力に切り替える（ステップ１３０３）。この場合、図１１のステップ１１０２で示したように、所定時間の入力情報の取得が継続された場合に、展開画像１０２ｂの出力に切り替えられるようにしてもよい。そして、展開画像１０２ｂが出力されている状態で、ユーザにより、再度「East」、「West」、「North」または「South」ボタン２１ｂが押された場合（ステップ１３０４のＹＥＳ）、制御部２は、この展開画像１０２ｂ上でカーソル１６ｂを移動させる（ステップ１３０５）。また、制御部２は、そのカーソル１６ａの位置変化の情報に応じて、選択領域画像を更新する。

ステップ１３０３から、所定時間経過しても、ユーザによる入力操作がない場合、つまり、制御部２が入力情報１２を何も取得しなかった場合（ステップ１３０４のＮＯ）、制御部２は、上記更新された選択領域画像を上半分の画像１０４ａとして、かつ、それ以外の非選択領域画像を下半分の画像１０４ｂとして、これを一画面の画像データとして合成されたハーフワイド画像１０４を出力する（ステップ１３０１）。

ハーフワイドフリップ画像１０５の出力と展開画像１０２ｂの出力の切り替え動作について、図１３で説明した内容と同様であるのでその説明を省略する。

以上のように、本実施の形態に係る画像処理システム１０では、ユーザは、展開画像１０２（１０２ａまたは１０２ｂ）内で選択された選択領域画像を見ることができ、しかも、その展開画像１０２の出力と選択領域画像１０３（または１０４、１０５）の出力とが適宜切り替えられるので、ユーザにとって便利で使いやすい画像処理システム１０が実現される。

本実施の形態では、カーソル１６の変化情報が取得された場合に、選択領域画像の出力から展開画像１０２（１０２ａまたは１０２ｂ）の出力に切り替えられ、その展開画像上でのカーソル１６の変化情報に応じて選択領域が更新される。すなわち、カーソル１６する場合に、ユーザは展開画像１０２上でカーソル１６がどこに位置しているのかを把握することができる。

本実施の形態のハーフワイド画像１０４、または、ハーフワイドフリップ画像１０５において、制御部２は、図１４に示すようにさらに別の強調領域（カーソル）１６ｃを生成してもよい。また、制御部２は、このカーソル１６ｃを縦、横、斜め方向等に移動させ、そのカーソル１６ｃにより選択された選択領域画像を新たな別の画像として生成するようにしてもよい。その場合、制御部２は、ハーフワイド画像１０４の出力と、その新たな別の画像の出力とを切り替えることができるようにすればよい。

図１５は、本発明の他の実施の形態に係る画像処理システムの構成を示すブロック図である。これ以降の説明では、図１に示した画像処理システム１０が備えるデバイスや機能等について同様のものは説明を簡略または省略し、異なる点を中心に説明する。

画像処理システム２０は、図１の画像処理システム１０にさらに記憶装置２８を加えた構成を有している。この記憶装置２８は、例えば画像処理部５で生成された各種の画像データを記憶する装置である。記憶装置２８に用いられる記憶媒体としては、光ディスク、磁気ディスク、半導体メモリ、誘電体メモリ、テープ状の記憶媒体等、データを記憶できる媒体なら何でもよい。

例えば記憶装置２８は、原画像１０１を記憶しておく場合、画像処理部５は、入力機器９からの入力情報に応じて、記憶装置２８からユーザが望む画像データを抽出して、表示部７に表示させることが可能となる。具体的には、ユーザの入力情報に応じて、画像処理部５が、記憶装置２８に記憶された過去の原画像１０１中からカーソル１６により領域選択して表示部７に表示させる、という形態が考えられる。あるいは、ユーザによらず、画像処理部５は、記憶装置２８に記憶された過去の原画像１０１中から、予め設定された選択領域の画像を歪補正して表示部７に表示させる形態も考えられる。

その場合のより具体的な例として、次のような形態も考えられる。例えばユーザが、撮像部１５からリアルタイムで得られる原画像１０１中から領域選択して、リアルタイムでその展開画像１０２及び選択領域画像１０３〜１０５を見るなり、記憶装置２８に記憶しておくなりする。そして、ユーザは、その後、記憶された展開画像１０２を見ながら、上記リアルタイム時に選択した領域とは別の領域を選択してその選択領域画像１０３〜１０５を見たりすることも可能である。

あるいは、画像処理部５は、記憶装置２８に展開画像１０２を記憶させないで、選択領域画像１０３〜１０５のみを記憶させておくようにすることもできる。この場合、ユーザは、その選択領域画像１０３〜１０５を後で見ることができる。もちろん、展開画像１０２及び選択領域画像１０３〜１０５のみを記憶しておくようにしてもよい。

あるいは、画像処理部５は、図１６に示すフローのように処理することもできる。画像処理部５は、撮像部１５からリアルタイムで原画像１０１から展開画像１０２を取得し（ステップ１６０１）、かつ、記憶装置２８に記憶された過去の展開画像１０２または過去の選択領域画像１０３〜１０５を取得する（ステップ１６０２）。画像処理部５は、取得したリアルタイムの展開画像１０２と、過去の展開画像１０２または過去の選択領域画像１０３（または１０４、１０５）とを一画面の画像データとして両者を合成する処理を行い（ステップ１６０３）、合成された画像データを表示部７に出力することができる（ステップ１６０４）。あるいは、画像処理部５は、取得したリアルタイムの展開画像１０２と、過去の展開画像１０２または過去の選択領域画像１０３（または１０４、１０５）とを別々の表示部にそれぞれ表示してもよい。なお、ステップ１６０１と１６０２とが逆の順である形態も考えられる。

あるいは、画像処理部５は、展開画像１０２からリアルタイムで選択された選択領域画像１０３〜１０５（この選択領域画像１０３〜１０５は、リアルタイムの展開画像１０２からリアルタイムで生成される画像でもよいし、記憶装置２８に記憶された過去の展開画像１０２からリアルタイムで生成される画像でもよい。）と、過去に生成された選択領域画像１０３〜１０５とを両方出力する形態が考えられる。具体的には、図１７に示すように、画像処理部５は、撮像部１５からリアルタイムで原画像１０１を取得して展開画像１０２を生成するか、または、記憶装置２８から過去の原画像１０１を取得して展開画像１０２を取得する（ステップ１７０１）。画像処理部５は、ステップ１７０１で取得した上記展開画像１０２から選択領域画像を生成する（ステップ１７０２）。画像処理部５は、記憶装置２８に記憶された過去に生成された選択領域画像１０３〜１０５を取得する（ステップ１７０３）。画像処理部５は、ステップ１７０２で生成した選択領域画像１０３〜１０５と、ステップ１７０３で取得した過去の選択領域画像１０３〜１０５とを一画面の画像データとして合成処理し（ステップ１７０４）、これを選択領域表示画像として表示部７に出力する（ステップ１７０５）。なお、ステップ１７０１と１７０２とが逆の順である形態も考えられるし、ステップ１７０２と１７０３とが逆の順である形態も考えられる。

図１７に示す処理の場合、さらに、画像処理部５は、ステップ１７０２で生成された選択領域画像（以下、リアルタイム選択領域画像という。）と、ステップ１７０３の過去の選択領域画像とが、人間が表示部上で区別できるような態様で出力することもできる。具体的には、画像処理部５が、例えばリアルタイム選択領域画像及び過去の選択領域画像中のうち少なくとも一方に識別子を付した画像を生成するとか、両画像を囲む枠を生成してその枠の色を変えた画像を生成する等が考えられる。

なお、記憶装置２８に記憶された画像データが動画なら、記憶装置２８の記憶容量に応じて、ある一定容量分の動画データを記憶し、最も古い画像フレームから順次、自動的に消去されるようにしてもよい。

記憶装置２８を用いた形態として、さらに以下のような形態も考えられる。例えば、ある任意の時に、ユーザが、リアルタイムの展開画像１０２内、または記憶装置２８に記憶された過去の展開画像１０２内で領域選択し、画像処理部５は、その入力情報に応じて記憶装置２８にその選択された領域の位置情報のみを記憶しておく。このとき、カーソル１６が移動した場合は、画像処理部５は、そのカーソル１６の軌跡、つまり位置情報の軌跡を記憶装置２８に記憶しておけばよい。具体的には、図１８を参照して、画像処理部５は、撮像部１５からリアルタイムの原画像から取得される展開画像１０２内、または、記憶装置２８に記憶された展開画像１０２内で領域選択されるときの入力情報を取得する（ステップ１８０１）。画像処理部５は、入力情報に応じてその選択領域の位置情報（あるいは上記変化情報）を算出、または複数の位置情報を軌跡情報として算出する（ステップ１８０２）。画像処理部５は、算出した位置情報または軌跡情報を記憶装置２８に記憶する（ステップ１８０３）。

このような形態は、例えばある場所のうち、所定の範囲の画像や、ある範囲の軌跡による画像が必要な場合に有効である。例えば、撮像部１５がセキュリティ用の定点監視カメラに搭載される場合、展開画像１０２の中から、ある所定の範囲の画像や、ある範囲の軌跡の画像が必要になることが考えられる。その場合に、展開画像１０２中の予め定められた範囲、あるいは予め定められた範囲の軌跡に、カーソル１６が常に設定されていれば、ユーザが、その範囲やその範囲の軌跡の選択領域表示画像を常に表示部７で表示画像として監視することができる。このような形態では、例えば記憶装置２８に所定範囲の「軌跡」の選択領域画像が記憶される場合、カーソル１６の連続的な動きの始点から終点までの動きが自動的に周期的に繰り返されるようにすればよい。そして、その周期ごとの選択画像が記憶装置２８に記憶されればよい。なお、もちろん、本形態はセキュリティ用に限られるわけではない。

図１９は、本発明のさらに別の実施の形態に係る画像処理システムの構成を示すブロック図である。この画像処理システム３０は、上述の撮像部１５がなく、記憶装置３８を備えている。記憶装置３８には、例えば上述のような原画像１０１や展開画像１０２が予め記憶されている。このような構成によれば、画像処理部５が原画像１０１や展開画像１０２の情報１１１を読み出し、その展開画像１０２から領域選択を行うことができる。

そのほか、画像処理システム３０では、画像処理部５が、予め記憶装置３８に記憶された展開画像１０２から選択領域画像１０３〜１０５を生成し、その展開画像１０２と選択領域画像１０３〜１０５とを対応付けて記憶装置３８に記憶しておくことも可能である。あるいは、画像処理部５は、その予め記憶された展開画像１０２と、その展開画像１０２から領域選択したときのカーソル１６の位置情報とを対応付けて記憶装置３８に記憶しておくことも可能である。

本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。 画像処理部の機能の構成を示すブロック図である。 画像処理部で画像処理されて表示部で表示される各種の画像を示す図である。 表示モードの内容を説明するための図である。 撮像部の構成を示す断面図である。 広角レンズが、例えばほぼ半球状の視野を得ることができる魚眼レンズである場合の、カメラの設置態様に応じた当該魚眼レンズにより得られる視野をそれぞれ示す図である。 ユーザが入力機器を用いてカーソルを操作する際に表示されるＧＵＩの一例を示す図である。 原画像、展開画像及び選択領域画像を順次切り替える動作を示すフローチャートである。 展開画像及び選択領域画像のそれぞれの中央線に沿って揃えた図である。 カメラが自動車に設置される場合における画像処理を説明するための図である。 ズーム画像の出力と展開画像の出力の切り替え動作を示すフローチャートである。 展開画像上であるカーソルを回転させる形態を示す図である。 ハーフワイド画像の出力と展開画像の出力の切り替え動作を示すフローチャートである。 ハーフワイド画像またはハーフワイドフリップ画像中に、さらに別のカーソルを生成する形態を示す図である。 本発明の他の実施の形態に係る画像処理システムの構成を示すブロック図である。 図１５で示した画像処理システムが行う処理の一例を示すフローチャートである。 図１５で示した画像処理システムが行う処理の他の例を示すフローチャートである。 図１５で示した画像処理システムが行う処理のさらに別の例を示すフローチャートである。 本発明のさらに別の実施の形態に係る画像処理システムの構成を示すブロック図である。

符号の説明

１…広角レンズ
２…制御部
５…画像処理部
６…表示モード設定部
１０、２０、３０…画像処理システム
１２…入力情報
１３…画像データ
１５…撮像部
１６…強調領域（カーソル）
５１…原画像表示モード
５２…パノラマ画像表示モード
５３…選択領域画像表示モード
１０１…原画像
１０２、１０２ａ、１０２ｂ…展開画像
１０３〜１０５…選択領域画像
１０４ｂ、１０５ｂ…非選択領域画像

Claims (17)

1. 広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を出力する第１の出力手段と、
   少なくとも前記展開画像内の前記選択領域の画像を、選択領域画像として出力する第２の出力手段と、
   所定の条件に応じて前記展開画像の出力と前記選択領域画像の出力とを切り替える切り替え手段と
   を具備することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   当該画像処理装置の外部からの入力情報を取得する取得手段をさらに具備し、
   前記切り替え手段は、前記第２の出力手段により前記選択領域画像が出力されている途中で、前記取得手段により前記入力情報を取得した場合に、前記選択領域画像の出力から前記展開画像の出力に切り替えることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記切り替え手段は、前記取得手段による前記入力情報の取得動作が所定の時間継続した場合に、前記選択領域画像の出力から前記展開画像の出力に切り替えることを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記切り替え手段は、前記第２の出力手段により前記展開画像が出力されている途中で、前記取得手段による前記入力情報の取得がなくなった場合、前記展開画像の出力から前記選択領域画像の出力に切り替えることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記切り替え手段は、前記取得手段による前記入力情報の取得がなくってから所定の時間が経過した後、前記展開画像の出力から前記選択領域画像の出力に切り替えることを特徴とする画像処理装置。
6. 請求項２に記載の画像処理装置であって、
   前記入力情報は、入力機器を介して入力される操作入力情報であることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記操作入力情報が前記展開画像上での前記強調領域の変化情報である場合、前記変化情報に応じて前記選択領域を更新する更新手段をさらに具備することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記更新手段は、前記強調領域の横の直線方向での位置変化に応じて前記選択領域を更新することを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置であって、
   前記更新手段は、前記強調領域の大きさの変化に応じて前記選択領域を更新することを特徴とする画像処理装置。
10. 請求項１に記載の画像処理装置であって、
    前記広角撮像光学系は、環状の画像を得るＰＡＬを有することを特徴とする画像処理装置。
11. 請求項１に記載の画像処理装置であって、
    前記第２の出力手段は、前記全周囲レンズで得られる前記環状の画像の前記展開画像内で前記強調領域により選択される選択領域画像と、前記展開画像内で前記選択領域画像以外の画像である非選択領域画像とが、一画面の画像データとして合成された合成画像を出力することを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置であって、
    前記第２の出力手段は、前記選択領域画像及び前記非選択領域画像のうちいずれか一方の画像が前記全周囲に沿った周方向で反転処理された画像を、前記合成画像として出力することを特徴とする画像処理装置。
13. 請求項１１に記載の画像処理装置であって、
    前記合成画像内の前記選択領域画像は、所定の大きさに固定された強調領域により選択される画像であることを特徴とする画像処理装置。
14. 請求項１１に記載の画像処理装置であって、
    前記第２の出力手段は、前記選択領域画像及び前記非選択領域画像のうち少なくとも一方の画像内で選択される第２の選択領域が強調された第２の強調領域を含む画像を、前記合成画像として出力することを特徴とする画像処理装置。
15. 広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を処理する画像処理装置であって、
    前記強調領域のうち前記展開画像内で任意の大きさに変形する第１の強調領域により選択される第１の選択領域画像を出力する第１の出力手段と、
    前記強調領域のうち前記展開画像内で所定の大きさに固定された第２の強調領域により選択される第２の選択領域画像と、前記展開画像内で前記第２の選択領域画像以外の画像である非選択領域画像とが、一画面の画像データとして合成された合成画像を出力する第２の出力手段と、
    所定の条件に応じて前記第１の選択領域画像の出力と前記合成画像の出力とを切り替える切り替え手段と
    を具備することを特徴とする画像処理装置。
16. 広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を出力するステップと、
    少なくとも前記展開画像内の前記選択領域の画像を、選択領域画像として出力するステップと、
    所定の条件に応じて前記展開画像の出力と前記選択領域画像の出力とを切り替えるステップと
    を具備することを特徴とする画像処理方法。
17. コンピュータに、
    広角撮像光学系を用いて撮像された原画像が展開された画像内で選択される選択領域が強調された強調領域を含む展開画像を出力するステップと、
    少なくとも前記展開画像内の前記選択領域の画像を、選択領域画像として出力するステップと、
    所定の条件に応じて前記展開画像の出力と前記選択領域画像の出力とを切り替えるステップと
    を実行させるプログラム。