JP2017208658A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】全方位画像上の領域を簡単に指定できるようなユーザインタフェースを提供する。【解決手段】魚眼レンズを有する撮像手段による撮影により得られた撮影画像における処理対象の指定指示を受け付ける受付部と、前記撮影画像を、実空間に対応する形状の画像に補正するデワープ部と、前記指定指示に係る前記撮影画像上の指定位置に基づいて、前記補正手段による補正により矩形の領域になる前記撮影画像中の対応領域を特定する特定部とを有する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、ネットワークに接続された複数の撮像装置を備えたカメラシステムが知られている。カメラシステムは、公共の建物や場所、銀行、スーパ等の店舗、ダム、基地、飛行場等の立入り禁止区域等への侵入者あるいは侵入物体（以下侵入物体と称す）を監視する目的でも数多く用いられている。その中で、魚眼カメラによる全方位画像の撮影が可能な魚眼カメラは、全方位を監視するために、３６０°の画像を処理し一度に画像表示する機能を有している。

魚眼カメラにより撮影された全方位画像を用いたＧＵＩ機能としては、全方位画像の一部を矩形画像に切り出し、その切り出した矩形画像をプレビュー表示するものがある。さらに、全方位画像の切り出し枠を表示する機能もある。特許文献１には、矩形の全方位画像上のプレビュー枠のマウス操作に応じて、パン、チルト、ズーム制御を行う技術が開示されている。特許文献２には、円形の全方位画像のクリックによるカメラ制御の技術が開示されている。

特許第３３１５５５４号公報 特許第５４６４２９０号公報

しかしながら、魚眼カメラにより得られた全方位画像は実空間の座標から歪んだ画像である。このため、上述のように、全方位画像から矩形画像を切り出して、プレビュー表示する場合には、全方位画像の座標を実空間の座標に変換するような補正を行うことが望まれる。つまり、全方位画像を実空間に対応する形状の画像に補正する必要がある。これに対応し、プレビュー表示時に矩形領域となるような全方位画像上の領域は、曲線を含んだ複雑な形状になってしまう。このため、プレビュー表示を希望する矩形領域に対応する全方位画像内の領域をユーザが指定するのが難しいという問題があった。

また、全方位画像の全体を一旦矩形画像に補正し、補正後の矩形画像においてプレビュー表示を希望する領域をユーザが選択することも考えられる。しかしながら、全方位画像の全領域の画像展開が必要となるため、帯域圧迫やメモリ消費の問題が生じてしまう。

本発明はこのような問題点に鑑みなされたもので、全方位画像上の領域を簡単に指定できるようなユーザインタフェースを提供することを目的とする。

そこで、本発明は、画像処理装置であって、魚眼レンズを有する撮影手段による撮影により得られた撮影画像における処理対象を指定する指定指示を受け付ける受付手段と、前記撮影画像を、実空間に対応する形状の画像に補正する補正手段と、前記指定指示に係る撮影画像上の指定位置に基づいて、前記補正手段による補正により矩形の領域になる撮影画像中の対応領域を特定する特定手段とを有する。

本発明によれば、全方位画像上の領域を簡単に指定できるようなユーザインタフェースを提供することができる。

カメラシステムを示す図である。 カメラ装置のハードウェア構成を示す図である。 カメラ装置のソフトウェア構成を示す図である。 全方位画像とプレビュー領域に表示される画像との関係の説明図である。 ビューワ装置による画像処理を示すフローチャートである。 Ｓ５０２〜Ｓ５０５の処理の説明図である。 切出領域特定処理を示すフローチャートである。 第２の実施形態に係る切出領域を示す図である。 第２の実施形態に係る切出領域特定処理を示すフローチャートである。 第３の実施形態に係る切出領域を示す図である。 第３の実施形態に係る切出領域特定処理を示すフローチャートである。 第４の実施形態に係る切出領域を示す図である。 第４の実施形態に係る切出領域特定処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態に係るカメラシステムを示す図である。カメラシステムは、カメラ装置１００と、ビューワ装置１１０と、を有している。カメラ装置１００とビューワ装置１１０はネットワーク１２０を介して接続されている。カメラ装置１００は、魚眼レンズを有し、全方位画像を撮影する。カメラ装置１００は、図１に示すように、例えば天井に設置され、カメラ装置１００の下を通る人物や背景等を撮影する。なお、カメラ装置１００の撮影範囲は必ずしも全方位（３６０°）に限定されるものではなく、これより少ない所定角度範囲であってもよい。

ビューワ装置１１０は、表示部１４０を有する。ビューワ装置１１０は、カメラ装置１００により得られた全方位画像に対し、画像処理を施す画像処理装置の一例である。ビューワ装置１１０は、カメラ装置１００により得られた全方位画像や、全方位画像に対し画像処理を施した画像等を表示する。

本実施形態においては、表示部１４０には、全面領域１５０と、プレビュー領域１６０と、が設けられている。全面領域１５０には、円形状の全方位画像１５１と、無効画像１５２と、が表示されている。無効画像１５２は、黒色などの画像データで埋められた画像である。全方位画像１５１上には、プレビュー領域１６０に表示する画像の領域を指定するためのマウスのポインタ１７０と、ポインタ１７０で指定された領域を示す指定枠１７１とが表示される。ユーザによる操作に応じてポインタ１７０が移動し、ポインタ１７０の移動に応じて、指定枠１７１の位置や大きさを変更することができる。

図２（ａ）は、カメラ装置１００のハードウェア構成を示す図である。カメラ装置１００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、通信部２０４と、撮影ユニット２０５と、を有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。通信部２０４は、ネットワークを介してビューワ装置１１０等の外部装置との通信処理を行う。なお、カメラ装置１００の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

撮影ユニット２０５は、魚眼レンズによる３６０°の全方位画像を撮影する。撮影ユニット２０５は、パン、チルト、ズーム制御が可能である。ビューワ装置１１０からネットワーク１２０を介してパン、チルト、ズームいずれかのカメラ制御用のコマンドが送られると、通信部２０４が受信し、撮影ユニット２０５の制御部２０６にコマンドを渡す。制御部２０６は、カメラ制御用のコマンドに対応するパン、チルト制御を行い、ズーム制御用のコマンドはズームレンズ２０７に送出される。

ズームレンズ２０７は、入射光を結像するための光学レンズを備え、光を撮像素子２０８に集光させると共に、ズーム制御用のコマンドに応じたズーム処理を行う。ズームレンズ２０７を通して撮像素子２０８で受光した撮像画像は、撮像部２０９にて、現像処理が行われる。撮像素子２０８は、光に応じて画像電気信号に変換する素子であり、ＣＣＤセンサやＣＭＯＳセンサがあげられる。撮像部２０９では、撮像画像を受けて、現像処理を施す画像処理が実施される。

図２（ｂ）は、ビューワ装置１１０のハードウェア構成を示す図である。ビューワ装置１１０は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、通信部２１４と、ＨＤＤ２１５と、表示部１４０と、入力部２１６と、を有している。ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３及び通信部２１４は、それぞれＣＰＵ２０１、ＲＯＭ２０２と、ＲＡＭ２０３及び通信部２０４と同様である。ＨＤＤ２１５は、データや各種プログラムを記憶する。なお、ビューワ装置１１０の機能や処理は、ＣＰＵ２１１がＲＯＭ２１２やＨＤＤ２１５に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

表示部１４０は、各種情報を表示する。入力部２１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。表示部１４０に表示される指定枠１７１の位置や大きさに応じて、ＣＰＵ２１１はカメラコマンドを生成する。このカメラコマンドは、通信部２１４からネットワーク１２０を介してカメラ装置１００に送信される。

図３（ａ）は、カメラ装置１００のソフトウェア構成を示す図である。カメラ装置１００は、デワープ部３０１と、圧縮部３０２と、を有している。デワープ部３０１は、撮影ユニット２０５により撮影された撮影画像である全方位画像に対し、デワープ処理を行う。ここで、デワープ処理とは、座標系変換と切出し処理を含む。圧縮部３０２は、全方位画像、又は全方位画像のデワープ処理後の画像を圧縮する。圧縮後のデータは、通信部２０４によりビューワ装置１１０等の外部装置に送信される。

図３（ｂ）は、ビューワ装置１１０のソフトウェア構成を示す図である。ビューワ装置１１０は、伸長部３１１と、表示処理部３１２と、受付部３１３と、特定部３１４と、デワープ部３１５と、を有している。伸長部３１１は、カメラ装置１００から受信した、圧縮されたデータを伸長する。表示処理部３１２は、伸長部３１１の処理により得られた全方位画像等を表示部１４０に表示するよう制御する。受付部３１３は、入力部２１６を介してユーザにより入力された各種指示を受け付ける。受付部３１３は例えば、全方位画像が表示部１４０に表示された状態において、ユーザがマウス操作により、プレビュー表示を希望するオブジェクトや点を指定すると、マウス操作に応じた位置やオブジェクトの指定指示と共に、プレビュー表示指示を受け付ける。特定部３１４は、指定指示に基づいて、プレビュー領域１６０への表示対象となる領域を全方位画像において特定する。デワープ部３１５は、特定部３１４において特定された領域に対し、デワープ処理を施す。

図４は、全方位画像とプレビュー領域１６０に表示される画像との関係の説明図である。図４（ａ）に示すように、全方位画像４００に、オブジェクト４０１が表示されている。全方位画像４００は、魚眼レンズにより撮影された画像であるため、その座標系は、実空間の座標系から歪んだものとなっている。図４（ａ）に示すように、全方位画像４００においては、中心０から同心円状に区切られた座標系を形成している。デワープ部３１５は、デワープ処理において、全方位画像４００の座標系に基づいて、全方位画像４００から平面上の画像であるデワープ画像を生成することができる。ここで、デワープ画像は、実空間の座標系に対応する画像である。すなわち、デワープ部３１５が行うデワープ処理は、魚眼レンズを有する撮影ユニットにより撮影された撮影画像としての全方位画像を、実空間の座標に対応する画像に補正する補正処理の一例である。

本実施形態においては、ビューワ装置１１０は、全方位画像４００のうち所定の領域に対し、デワープ処理を施すことにより、デワープ画像を生成し、これを表示部１４０に表示する。但し、上述のように、全方位画像４００とデワープ画像とでは座標系が異なるため、矩形形状のデワープ画像を得るための全方位画像４００の形状は矩形にはならない。

矩形形状のデワープ画像に変換されるような、全方位画像４００の領域４１０は、図４（ａ）に示す点Ｏを中心とした扇形ＯＢＤから扇形ＯＡＣを除いた領域となる。すなわち、領域４１０は、点Ｏを中心する円弧ＡＣと、円弧ＢＤと、線分ＡＢと、線分ＣＤと、を境界とする領域である。ここで、円弧ＡＣは、中心Ｏからの長さが指定指示に係るオブジェクト４０１の位置までの長さに比べて短い長さの円の弧である。また、円弧ＢＤは、中心Ｏからの長さが指定指示に係るオブジェクト４０１の位置までの長さに比べて短い長さの円の弧である。また、線分ＡＢ及び線分ＣＤは、それぞれ指定指示に係るオブジェクト４０１の位置を挟む２本の直線上の線分である。以下、領域４１０の形状（ＡＢＣＤの領域の形状）を便宜的に、扇形状と称することとする。図４（ｂ）に示すデワープ画像４２０は、図４（ａ）の対応領域ＡＢＣＤに対応する画像である。このように、扇形状の領域が矩形形状のデワープ画像に補正（座標変換）される。

図５は、ビューワ装置１１０による画像処理を示すフローチャートである。Ｓ５００において、ビューワ装置１１０の表示処理部３１２は、全面領域１５０に全方位画像１５１を表示するよう制御する。ここで、全方位画像１５１は、通信部２１４がカメラ装置１００から受信したものである。次に、Ｓ５０１において、受付部３１３は、表示部１４０への表示対象、すなわちデワープ処理の処理対象を指定する指定指示を受け付ける。受付部３１３は、ユーザが、マウス操作に応じて全方位画像１５１上に表示されたポインタ１７０を移動させると、ポインタ１７０に対応する全方位画像１５１上（撮影画像上）の位置を処理対象として指定する指定指示と共に、プレビュー表示指示を受け付ける。なお指定指示に係る処理対象は、ポインタ１７０の位置に対応する全方位画像１５１上の１点の位置であるものとする。

また、他の例としては、ポインタ１７０の位置に対応する全方位画像１５１上の１点がオブジェクト上の点である場合には、指定指示に係る処理対象は、このオブジェクト全体であってもよい。

次に、Ｓ５０２において、特定部３１４は、指定指示に示される指定位置に基づいて、全方位画像中（撮影画像中）の切出領域を特定する。ここで、切出領域は、デワープ処理により矩形の領域に変換される対応領域の一例である。次に、Ｓ５０３において、表示処理部３１２は、Ｓ５０３により特定された切出領域を全方位画像１５１上に重ねて表示する。このように、特定部３１４が、指定位置に基づいて、矩形形状のデワープ画像に対応する切出領域を自動的に特定するので、ユーザは、指定位置を指定するだけでよく、切出領域の指定を行わなくてよい。

次に、Ｓ５０４において、受付部３１３は、切出領域の変更指示を受け付けたか否かを確認する。変更指示を受け付けた場合には（Ｓ５０４でＹｅｓ）、処理をＳ５０５へ進める。受付部３１３は、変更指示を受け付けず、表示中の切出領域を選択する選択指示を受け付けた場合には（Ｓ５０４でＮｏ）、処理をＳ５０６へ進める。

Ｓ５０５において、特定部３１４は、変更指示に係る指定位置に基づいて、切出領域を変更する。Ｓ５０５における処理は、Ｓ５０２における処理と同様である。特定部３１４は、Ｓ５０５の処理の後、処理をＳ５０３へ進める。この場合、Ｓ５０３において、表示処理部３１２は、変更後の切出領域を、全方位画像１５１上に重ねて表示する。なお、このとき、表示処理部３１２は、変更前の切出領域を変更後の切出領域と区別可能に表示してもよく、また他の例としては、変更前の切出領域の表示は停止してもよい。

Ｓ５０６において、デワープ部３１５は、切出領域を処理対象としてデワープ処理を行う。次に、Ｓ５０７において、表示処理部３１２は、デワープ処理により得られた矩形の形状のデワープ画像を表示するよう制御し、表示部１４０は、デワープ画像を表示する。次に、Ｓ５０８において、受付部３１３は、位置が変更された指定指示を受け付けたか否かを確認する。受付部３１３は、指定指示を受け付けた場合には（Ｓ５０８でＹｅｓ）、処理をＳ５０２へ進める。受付部３１３は、指定指示を受け付けなかった場合には（Ｓ５０８でＮｏ）、処理を終了する。

図６は、Ｓ５０２〜Ｓ５０５の処理の説明図である。ユーザは、オブジェクト４０１を表示部１４０への表示対象としたい場合には、図６（ａ）に示すように、オブジェクト４０１上の１点をポインタ１７０で指定する。これに対し、Ｓ５０１において、受付部３１３は、ポインタ１７０で指定された位置を指定位置とする指定指示を受け付ける。これに対し、Ｓ５０２において、特定部３１４は、指定位置に示されるオブジェクト４０１を含む、扇形状の切出領域を特定する。

本実施形態においては、特定部３１４は、オブジェクト４０１を包含する扇形状の領域のうち面積が最小となるものを切出領域の初期値として特定する。これにより、例えば、図６（ｂ）に示す領域６０１が切出領域として特定される。そして、変更指示を受け付けた場合には変更指示に従い、切出領域の位置やサイズを変更する。例えば、ユーザが、ポインタ１７０の操作により切出領域の枠を移動させた場合には、特定部３１４は、切出領域の位置を変更する。また、ユーザが切出領域のサイズを大きくするような操作を行った場合には、特定部３１４は、切出領域を、領域６０１から、領域６０１と同じく指定位置を基準とし、円周方向、半径方向に広がった領域６０２、６０３に変更する。

なお、図６（ｂ）においては説明の便宜上、領域６０１、６０２、６０３のみを表示したが、変更後の切出領域の位置やサイズは、実施形態に限定されるものではない。例えば、特定部３１４は、切出領域の境界線である２つの円弧を円の中心Ｏに近付けたり、遠ざけたりする操作に応じて、切出領域を変更してもよい。また、特定部３１４は、切出領域の境界線である線分を指定位置に近付けたり遠ざけたりすることにより、切出領域を変更してもよい。

図７は、図５を参照しつつ説明した切出領域特定処理における詳細な処理を示すフローチャートである。Ｓ７００において、特定部３１４は、指定指示に係る位置を特定する。次に、Ｓ７０１において、特定部３１４は、指定指示に係る指定位置に表示されたオブジェクトが含まれるポインタ１７０から所定の距離範囲にある座標値を算出する。ここで、ポインタ１７０から距離範囲の判断は、予め設定されたポインタ１７０からの距離情報を持つか、ポインタ１７０が示すオブジェクトの形状を判断するなどの方法により行われる。

次に、Ｓ７０２において、特定部３１４は、Ｓ７０１において算出した座標値が、全方位画像の同心円状の扇形を形成する座標軸上の座標か否かを確認することにより、切出領域として設定可能か否かを判断する。特定部３１４は、Ｓ７０１において算出した座標値が、座標軸上の座標である場合に、所定の距離範囲を切出領域として設定可能と判断する。

特定部３１４は、切出領域として設定可能と判断した場合には（Ｓ７０２でＹｅｓ）、処理をＳ７０３へ進める。特定部３１４は、切出領域として設定できないと判断した場合には（Ｓ７０２でＮｏ）、処理をＳ７０４へ進める。Ｓ７０３において、特定部３１４は、Ｓ７０１において特定した距離範囲を切出領域として特定する。一方、Ｓ７０４においては、特定部３１４は、Ｓ７０１において算出された座標値から最短の位置にある扇形状の領域を切出領域として特定する。なお、切出領域特定処理は、指定位置に基づいて、デワープ処理により矩形の補正画像となるような、撮影画像としての全方位画像中の対応領域を特定する特定処理の一例である。

以上のように、ビューワ装置１１０は、矩形形状のデワープ画像に変換されるような、全方位画像上の領域（切出領域）をデワープ処理前に表示する。したがって、ユーザが、全方位画像上の領域を確認することにより、所望の領域が処理対象（表示部１４０への表示対象）として指定されているか否かを確認することができる。また、デワープ画像の矩形形状のデワープ画像になるような全方位画像上の領域は、ユーザが指定した指定位置に基づいて自動的に特定される。したがって、ユーザがデワープ画像の矩形形状のデワープ画像になるような全方位画像上の領域を指定する必要がなく、ユーザ操作を簡略化させることができる。このように、ビューワ装置１１０は、全方位画像上の領域を簡単に指定できるようなユーザインタフェースを提供することができる。

なお、本実施形態においては、入力部２１６としてマウスを使用したポインタ指定の操作を前提とした処理について説明したが、ユーザ操作は、実施形態に限定されるものではなく、例えばタッチパネルへのタッチ操作等であってもよい。

（第２の実施形態）
次に、第２の実施形態に係るカメラシステムについて説明する。第２の実施形態に係るカメラシステムにおいては、ビューワ装置１１０は、指定位置に応じて、縦横比の異なる２つのデワープ画像に対応する、２つの切出領域を特定する。図８は、第２の実施形態に係るビューワ装置１１０が特定する切出領域を示す図である。図８（ａ）に示す切出領域８００は、デワープ処理によりデワープ画像８０１に変換される。一方、図８（ｂ）に示す切出領域８１０は、デワープ処理によりデワープ画像８１１に変換される。デワープ画像８０１は、縦辺の長さが横辺の長さに比べて長い縦画像であり、デワープ画像８１１は、横辺の長さが縦辺の長さに比べて長い横画像である。

切出領域８００は、全方位画像４００の座標軸上の点ＡＢＣＤを境界点とする扇形状の領域である。切出領域８１０は、全方位画像４００の座標軸上の点Ａ'Ｂ'Ｃ'Ｄ'を境界点とする扇形状の領域である。切出領域８００、８１０は、いずれも指定位置を基準としつつ、扇形状の領域の隣接辺の比が異なる領域である。ここで、隣接辺の一方は、弧状の辺であり、他方の辺は直線状の辺である。なお、デワープ画像における縦横比は、弧状の辺と直線状の辺の比に対応する。切出領域８００、８１０は、面積が同等の扇形状の領域である。なお、詳細は割愛するが、切出領域８００と、切出領域８１０の面積が同等とは、切出領域８００と、切出領域８１０の面積差が特定範囲以内であることを意味する。

本実施形態に係るビューワ装置１１０の特定部３１４は、デワープ画像８０１、８１１のように縦横比の異なる２つのデワープ画像それぞれに対応する２つの切出領域を特定する。そして、表示処理部３１２は、２つの切出領域を表示部１４０に表示する。ユーザは、２つの切出領域から所望の切出領域を選択することができる。

図９は、第２の実施形態に係るカメラ装置１００による切出領域特定処理における詳細な処理を示すフローチャートである。Ｓ９００、Ｓ９０１の処理は、図７を参照しつつ説明したＳ７００、Ｓ７０１の処理と同様である。Ｓ９０１の処理の後、特定部３１４は、処理をＳ９０２へ進める。Ｓ９０２において、特定部３１４は、Ｓ９０１において算出した座標値に基づいて、切出領域の辺の比を算出する。上述のように、Ｓ９０２においては、辺の比が複数算出される。特定部３１４は、例えば、デワープ画像において、縦の辺が長くなるような縦画像における縦横の辺の比に対応するような全方位画像上での辺の比を特定する。特定部３１４はさらに、デワープ画像において横の辺が長くなるような横画像における縦横の辺の比に対応するような全方向画像上での辺の比を特定する。特定部３１４は、Ｓ９０２の処理の後、Ｓ９０３へ処理を進める。

Ｓ９０３において、特定部３１４は、Ｓ９０１において算出した座標値が、Ｓ９０２において特定された辺の比を満たす全方位画像の同心円状の扇形を形成する座標軸上の座標か否かを確認することにより、切出領域として設定可能か否かを判断する。特定部３１４は、Ｓ９０１において算出した座標値が、Ｓ９０２において特定された辺の比に対応する座標軸上の座標である場合に、所定の距離範囲を切出領域として設定可能と判断する。Ｓ９０３において、特定部３１４は、切出領域として設定可能と判断した場合には（Ｓ９０３でＹｅｓ）、処理をＳ９０４へ進める。特定部３１４は、切出領域として設定できないと判断した場合には（Ｓ９０３でＮｏ）、処理をＳ９０５へ進める。

Ｓ９０４、Ｓ９０５の処理は、図７を参照しつつ説明した、Ｓ７０３、Ｓ７０４の処理と同様である。特定部３１４は、Ｓ９０４の処理の後、処理をＳ９０６へ進める。特定部３１４はまた、Ｓ９０５の処理の後、処理をＳ９０６へ進める。Ｓ９０６において、特定部３１４は、Ｓ９０２において特定された複数の辺の比それぞれに対し、Ｓ９０３〜Ｓ９０５の処理を行ったか否かを確認する。特定部３１４は、すべての辺の比に対し処理済みの場合には（Ｓ９０６でＹｅｓ）、切出領域特定処理を終了する。特定部３１４は、未処理の辺の比が存在する場合には（Ｓ９０６でＮｏ）、処理をＳ９０３へ進める。

このように、本実施形態においては、特定部３１４は、切出領域特定処理（Ｓ５０２）において、複数の切出領域を特定する。そして、Ｓ５０３において、表示処理部３１２は、Ｓ５０２において特定された複数の切出領域を表示するよう制御する。また、本実施形態においては、受付部３１３は、選択指示を受け付けた場合に、選択指示に係る切出領域を処理対象として、Ｓ５０６以降の処理を行う。なお、第２の実施形態に係るカメラシステムのこれ以外の構成及び処理は、第１の実施形態に係るカメラシステムの構成及び処理と同様である。

以上のように、第２の実施形態に係るビューワ装置１１０は、隣接する辺の比の異なる複数の切出領域をデワープ処理前に表示する。したがって、ユーザは、所望の辺の比の領域を選択することができる。

（第３の実施形態）
次に、第３の実施形態に係るカメラシステムについて説明する。第３の実施形態に係るカメラシステムにおいては、ビューワ装置１１０は、ユーザによる複数点の指定に応じて、切出領域を特定する。図１０は、第３の実施形態に係るビューワ装置１１０が特定する切出領域を示す図である。ユーザは、ユーザ操作により、全方位画像１０００上の位置を複数指定する。図１０においては、マウスのポインタ１０１１、１０１２の２点が指定された場合を示しているが、３点以上の点が指定されてもよい。特定部３１４は、ポインタ１０１１、１０１２に対応する２点を指定位置とし、指定位置から一定距離離れた座標軸で形成される扇形状の領域１１２０を切出領域として特定する。

図１１は、第３の実施形態に係るカメラ装置１００による切出領域特定処理における詳細な処理を示すフローチャートである。Ｓ１１００において、特定部３１４は、ユーザ操作に応じた指定位置を特定する。本処理は、図７を参照しつつ説明したＳ７００の処理と同様である。次に、Ｓ１１０１において、特定部３１４は、ユーザ操作に応じた複数の指定位置すべてを特定したか否かを確認する。特定部３１４は、すべての指定位置を特定した場合には（Ｓ１１０１でＹｅｓ）、処理をＳ１１０２へ進める。特定部３１４は、特定していない指定位置が存在する場合には（Ｓ１１０１でＮｏ）、処理をＳ１１００へ進める。

Ｓ１１０２において、特定部３１４は、Ｓ１１００において特定されたすべての指定位置を含む扇形状の領域を特定する。以下、Ｓ１１０３、Ｓ１１０４、Ｓ１１０５の処理は、それぞれＳ７０２、Ｓ７０３、Ｓ７０４の処理と同様である。但し、Ｓ１１０３〜Ｓ１１０５における処理対象は、距離範囲ではなく、Ｓ１１０２において特定された領域である。なお、第３の実施形態に係るカメラシステムのこれ以外の構成及び処理は、他の実施形態に係るカメラシステムの構成及び処理と同様である。

以上のように、第３の実施形態に係るビューワ装置１１０は、ユーザにより指定された複数点を参照するので、よりユーザの希望に沿った切出領域を特定することができる。

（第４の実施形態）
次に、第４の実施形態に係るカメラシステムについて説明する。第４の実施形態に係るカメラシステムにおいては、ビューワ装置１１０は、線分を指定するユーザ操作に応じて、切出領域を特定する。図１２は、第４の実施形態に係るビューワ装置１１０が特定する切出領域を示す図である。ユーザは、マウスのポインタで線を描くようにして線分を指定する。図１２（ａ）は、ユーザにより、全方位画像１２００上に１点の折れ線１２１０が指定された例を示す図である。図１２（ｂ）は、ユーザにより２点での折れ線１２３０が指定された例を示す図である。なお、線の形状は実施形態に限定されるものではなく、曲線、直線、円や楕円等であってもよい。

第４の実施形態のビューワ装置１１０の場合には、特定部３１４は、折れ線上の位置を指定位置とし、各指定位置に基づいて、折れ線を含む扇形状の領域を特定する。図１２（ａ）の例では、特定部３１４は、折れ線１２１０に対し、折れ線１２１０を含む領域１２２０を切出領域として特定する。図１２（ｂ）の例では、特定部３１４は、折れ線１２３０に対し、折れ線１２３０を含む領域１２４０を切出領域として特定する。

図１３は、第４の実施形態に係るカメラ装置１００による切出領域特定処理における詳細な処理を示すフローチャートである。Ｓ１３００において、特定部３１４は、ユーザ操作により描画された折れ線を形成する複数の指定位置を特定する。次に、Ｓ１３０１において、特定部３１４は、折れ線を形成する複数の指定位置すべてを含む領域を特定し、その後処理をＳ１３０２へ進める。Ｓ１３０２、Ｓ１３０３、Ｓ１３０４の処理は、それぞれＳ７０２、Ｓ７０３、Ｓ７０４の処理と同様である。但し、Ｓ１３０２〜Ｓ１３０４における処理対象は、距離範囲ではなく、Ｓ１３０１において特定された領域である。なお、第４の実施形態に係るカメラシステムのこれ以外の構成及び処理は、他の実施形態に係るカメラシステムの構成及び処理と同様である。

以上のように、第４の実施形態に係るビューワ装置１１０は、ユーザにより指定された折れ線を参照するので、よりユーザの希望に沿った切出領域を特定することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ装置
１１０ ビューワ装置
３１２ 表示処理部
３１４ 特定部

Claims (13)

1. 魚眼レンズを有する撮影手段による撮影により得られた撮影画像における処理対象を指定する指定指示を受け付ける受付手段と、
   前記撮影画像を、実空間に対応する形状の画像に補正する補正手段と、
   前記指定指示に係る撮影画像上の指定位置に基づいて、前記補正手段による補正により矩形の領域になる撮影画像中の対応領域を特定する特定手段と
   を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記特定手段により特定された前記対応領域を補正することにより、矩形の補正画像を得ることを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段により特定された前記対応領域を表示する表示手段をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正手段は、前記表示手段に表示された前記対応領域に対する選択指示を受け付けた場合に、前記選択指示に係る前記対応領域の補正を行い、
   前記表示手段は、前記補正により得られた前記矩形の補正画像を表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記特定手段は、前記指定位置を含む領域を、前記対応領域として特定することを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。
6. 前記特定手段は、前記撮影画像の中心からの長さが、前記中心から前記指定位置までの長さに比べて短い第１の長さの第１の円の弧と、前記撮影画像の中心からの長さが、前記中心から前記指定位置までの長さに比べて長い第２の長さの第２の円の弧と、の間の領域を、前記対応領域として特定することを特徴とする請求項５に記載の画像処理装置。
7. 前記特定手段は、前記撮影画像の中心を通り、前記指定位置を挟む２本の直線を境界とする領域を、前記対応領域として特定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記特定手段は、前記補正手段により、縦横比の異なる複数の矩形の領域に補正される、複数の対応領域を特定することを特徴とする請求項１乃至７何れか１項に記載の画像処理装置。
9. 前記受付手段は、前記撮影画像上の１点を指定する操作が行われた場合に、前記操作が行われた位置を指定する前記指定指示を受け付けることを特徴とする請求項１乃至８何れか１項に記載の画像処理装置。
10. 前記受付手段は、前記撮影画像上の複数の位置を指定する操作が行われた場合に、前記操作が行われた複数の位置を指定する前記指定指示を受け付け、
    前記特定手段は、前記指定指示に係る複数の位置に基づいて、前記対応領域を特定することを特徴とする請求項１乃至９何れか１項に記載の画像処理装置。
11. 前記受付手段は、前記撮影画像上の線分を指定する操作が行われた場合に、前記操作に係る線分を指定する前記指定指示を受け付け、
    前記特定手段は、前記指定指示に係る線分の位置に基づいて、前記対応領域を特定することを特徴とする請求項１乃至１０何れか１項に記載の画像処理装置。
12. 画像処理装置が実行する画像処理方法であって、
    魚眼レンズを有する撮影手段による撮影により得られた撮影画像における処理対象を指定する指定指示を受け付ける受付ステップと、
    前記撮影画像を、実空間に対応する形状の画像に補正する補正ステップと、
    前記指定指示に係る撮影画像上の指定位置に基づいて、前記補正ステップでの補正により矩形の領域になる撮影画像中の対応領域を特定する特定ステップと
    を含むことを特徴とする画像処理方法。
13. コンピュータを、
    魚眼レンズを有する撮影手段による撮影により得られた撮影画像における処理対象を指定する指定指示を受け付ける受付手段と、
    前記撮影画像を、実空間に対応する形状の画像に補正する補正手段と、
    前記指定指示に係る撮影画像上の指定位置に基づいて、前記補正手段による補正により矩形の領域になる撮影画像中の対応領域を特定する特定手段と
    して機能させるためのプログラム。

Images