JP2013239986A - 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】 容易に特定被写体の切出し画像を得るための補助情報を生成する撮影画像表示システムを提供する。
【解決手段】 撮影画像を取得する撮影画像取得部１１と、撮影画像から所定の条件を満たす特定被写体を検出する人物検出部１２と、影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する切出し歪み画像生成部１４と、人物検出部１２にて、撮影画像中の切出し範囲以外で特定被写体が検出されたときに、切出し範囲を特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成部１５と、生成された補助情報と切出し画像を含む表示画像を生成する合成部１７と、表示画像を表示する表示部１８とを備えている。
【選択図】 図１

Description

本発明は、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する撮影画像表示システム、及びそれに用いる補助情報生成装置、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する撮影画像表示方法、及びそれに用いる補助情報生成方法、並びにコンピュータプログラムに関するものである。

従来、撮影された動画像又は連続した静止画像を表示する撮影画像表示システムでは、広範囲の被写体の撮影が行なわれることがある。そして、モニタを用いてこの撮影画像を見る場合には、広範囲の撮影画像の一部範囲が切り出されて表示されることがある。

例えば、パノラマ画像のように横長の画像を撮影するシステムの場合には、モニタのアスペクト比に合わせるために、パノラマ画像の左右部分を除く一部が切り出されて、モニタに表示される。また、魚眼レンズを用いて全周囲画像を撮影するシステムの場合には、全周囲画像には歪が生じているので、全周囲画像の一部が切り出され、その切出し部分に対して歪を除去する補正（以下、「歪補正」という）が行なわれて、モニタに表示される。

このように、広範囲を撮影した画像から一部範囲を切り出して（必要に応じて歪補正をして）表示する撮影画像表示システムにおいて、撮影画像中の切出し範囲の位置を移動させることは、そのような切出し範囲の画角を有する通常のカメラをパン、チルトさせる操作に相当し、切出し範囲の大きさを変更することは、通常のカメラのズーム操作に相当する。よって、切出し範囲の移動や大きさの変更は、電子ＰＴＺ（パン・チルト・ズーム）とも呼ばれる。以下、切出し範囲について、パン、チルト、ズームというときには、この電子ＰＬＺを言うものとする。

撮影画像からの一部範囲の切出し、及び切出し範囲の電子ＰＴＺを行なうことで、広範囲の画像を撮影する場合にも、任意の一部範囲の画像をモニタで確認できる。

なお、本発明に関連する先行技術として、以下の先行技術文献がある。

特開２００５−１３４９７１号公報

しかしながら、上記の従来の撮影画像表示システムでは、広範囲の撮影画像中の一部分のみを切り出してモニタに表示している場合には、撮影画像中の他の部分をモニタで確認することができない。よって、例えば、撮影画像表示システムを監視用途に用いる場合に、モニタに表示されている切出し範囲以外のところで、異常が発生した場合にも、ユーザは、その異常発生に気づかず、又は気づいたとしてもどのように切出し範囲を移動させると異常発生したところに切出し範囲を合わせられるかがわからないことがある。

図１１は、そのような状況の例を説明する図である。この例では、撮影によって全周囲画像１０１が得られており、その一部範囲である切出し範囲１０２が切出されて、歪補正をされることで、モニタに切出し歪補正画像１０４が表示画像として表示されている。ユーザは、この表示画像１０４をモニタで見ている。このときに、全周囲画像中の切出し範囲１０２以外の位置１０３で人物が検出された場合に、切出し歪補正画像である表示画像１０４を見ているユーザは、その人物検出に気がつかず、又は気づいたとしても、切出し歪補正画像である表示画像１０４のみを見ているユーザは、切出し範囲１０２をどの方向に移動させればよいかわからない。

本発明は、上記の問題に鑑みてなされたものであり、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する撮影画像表示システムにおいて、容易に特定被写体の切出し画像を得ることのできる補助情報生成装置及びそれを含む撮影画像表示システムを提供することを目的とする。

上記の課題を解決するために、本発明の補助情報生成装置は、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成するための前記切出し範囲の情報、及び前記撮影画像から所定の条件を満たす特定被写体を検出した結果を取得して、前記撮影画像中の前記切出し範囲以外の部分で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する。

この構成によれば、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができる。

上記の補助情報生成装置は、前記撮影画像の複数の一部範囲を切り出して複数の前記切出し画像を生成するための複数の前記切出し範囲の情報を取得して、前記複数の切出し画像のうちの、前記特定被写体が検出された位置までの移動距離が最も近い切出し画像について、前記補助情報を生成してよい。

この構成によれば、複数の切出し画像が生成される場合に、移動距離の最も短い切出し画像を補助情報によって移動させて特定被写体が映った切出し画像を得ることができる。

上記の補助情報生成装置は、前記複数の切出し画像のうちの、前記特定被写体が検出された位置までの直線的な移動距離が最も近い切出し画像について、前記補助情報を生成してよい。

この構成によれば、複数の切出し画像が生成される場合において、切出し範囲をパン方向とチルト方向に同時に移動できるときに、移動距離の最も短い切出し画像を補助情報によって移動させて特定被写体が映った切出し画像を得ることができる。

上記の補助情報生成装置は、前記複数の切出し画像のうちの、前記特定被写体が検出された位置までパン方向及びチルト方向の移動をそれぞれ別々にしたときの移動距離が最も近い切出し画像について、前記補助情報を生成してよい。

この構成によれば、複数の切出し画像が生成される場合において、切出し範囲をパン方向とチルト方向に同時に移動できないときに、移動距離の最も短い切出し画像を補助情報によって移動させて特定被写体が映った切出し画像を得ることができる。

上記の補助情報生成装置において、前記補助情報は、移動の対象となる切出し画像の切出し範囲の移動方向を示し、該切出し画像ともに表示されるマークであってよい。

この構成によれば、ユーザは、表示されるマークに従って切出し範囲を移動させることで、特定被写体が映った切出し画像を得ることができる。

上記の補助情報生成装置において、前記補助情報は、移動の対象となる切出し画像を自動で前記特定被写体が検出された位置に向けて移動させるためのコマンドを起動するためのコマンド起動アイコンであってよい。

この構成によれば、ユーザは、コマンド起動アイコンを用いてコマンドを起動することで、自動で切出し範囲を移動させて、特定被写体が映った切出し画像を得ることができる。

本発明の別の態様は、撮影画像表示システムであって、この撮影画像表示システムは、撮影画像を取得する撮影画像取得部と、前記撮影画像から所定の条件を満たす特定被写体を検出する検出部と、前記撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する切出し画像生成部と、前記検出部にて、前記撮影画像中の前記切出し範囲以外で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成部と、生成された前記補助情報と前記切出し画像を含む表示画像を生成する合成部と、前記表示画像を表示する表示部とを備えた構成を有している。

この構成によっても、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができる。

上記の撮影画像表示システムにおいて、前記撮影画像は、全周囲画像であってよく、前記切出し画像生成部は、撮影画像の一部範囲を切出し範囲として切出し、かつ歪補正をして、前記切出し画像として切出し歪補正画像を生成してよい。

この構成によれば、撮影画像が歪を有する全周囲画像であっても、歪のない切出し画像を得ることができる。

本発明のさらに別の態様は、補助情報生成方法であって、この補助情報生成方法は、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成するための前記切出し範囲の情報、及び前記撮影画像から所定の条件を満たす特定被写体を検出した結果を取得して、前記撮影画像中の前記切出し範囲以外の部分で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する。

この構成によっても、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができる。

本発明のさらに別の態様は、撮影画像表示方法であって、この撮影画像表示方法は、撮影画像を取得する撮影画像取得ステップと、前記撮影画像から所定の条件を満たす特定被写体を検出する検出ステップと、前記撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する切出し画像生成ステップと、前記検出部にて、前記撮影画像中の前記切出し範囲以外で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成ステップと、生成された前記補助情報と前記切出し画像を含む表示画像を生成する合成ステップと、前記表示画像を表示する表示ステップとを含む。

この構成によっても、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができる。

本発明のさらに別の態様は、コンピュータプログラムであって、このコンピュータプログラムは、コンピュータを、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成するための前記切出し範囲の情報、及び前記撮影画像から所定の条件を満たす特定被写体を検出した結果を取得して、前記撮影画像中の前記切出し範囲以外の部分で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成装置として機能させる。

この構成によっても、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができる。

本発明によれば、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができる。

本発明の第１の実施の形態における撮影画像表示システムの構成を示すブロック図 本発明の第１の実施の形態における補助情報を説明するための図 本発明の第１の実施の形態における表示画像を生成する処理のフロー図 本発明の第１の実施の形態の変形例における撮影画像表示システムの構成を示すブロック図 本発明の第１の実施の形態の変形例における補助情報を説明するための図 本発明の第２の実施の形態における撮影画像表示システムの構成を示すブロック図 本発明の第２の実施の形態における表示画像を説明するための図 本発明の第２の実施の形態における補助情報を説明するための図 （ａ）本発明の第２の実施の形態における移動距離（パン・チルト同時変更）を説明するための図 （ｂ）本発明の第２の実施の形態における移動距離（パン・チルト個別変更）を説明するための図 （ｃ）本発明の第２の実施の形態における移動距離（パン・チルト個別変更）を説明するための図 本発明の第２の実施の形態における表示画像を生成する処理のフロー図 従来の撮影画像表示システムの問題の例を説明する図

以下、本発明の実施の形態の画像再生システムについて、図面を参照しながら説明する。以下では、本発明の撮影画像表示システムが監視用途に用いられる例を説明する。また、以下の説明では、水平画角が１８０度の魚眼レンズを用いた撮影によって、撮影画像として円形の全周囲画像が得られ、かつ、切出し画像として、全周囲画像の一部を切出した上で歪補正を行い、切出し歪補正画像が生成されるシステムについて説明する。但し、本発明の撮影画像表示システムはこれに限らず、例えば、横長のパノラマ画像が撮影によって得られ、そこから横方向の一部を切り出して切出し画像とする場合等にも本発明を適用できる。

（第１の実施の形態）
図１は、本発明の第１の実施の形態における撮影画像表示システムの構成を示すブロック図である。本発明の第１の実施の形態の撮影画像表示システムは、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成し、それを表示するシステムである。図１に示すように、撮影画像表示システム１０は、撮影画像取得部１１、人物検出部１２、切出し範囲指定部１３、切出し歪補正部１４、補助情報生成部１５、操作部１６、合成部１７、及び表示部１８を備えている。撮影画像取得部１１は、図示しないカメラで撮影された撮影画像を取得する。なお、撮影画像取得部１１自体が撮影を行なうことで撮影画像を取得してもよい。

この撮影画像表示システム１０を構成する要素のうちの、少なくとも補助情報生成部１５を含む要素によって補助情報生成装置が構成される。この補助情報生成装置は、コンピュータが所定のコンピュータプログラムを実行することで実現される。補助情報生成装置は、例えば、撮影画像取得部１１、人物検出部１２、切出し範囲指定部１３、切出し歪補正部１４、補助情報生成部１５、操作部１６、及び合成部１７によって構成されてよい。また、切出し範囲指定部１３、補助情報生成部１５、操作部１６によって補助情報生成装置が構成されてよく、補助情報生成部１５のみによって補助情報生成装置が構成されてもよい。これらの場合に、撮影画像取得部１１はそれ自体で撮影を行なうことによって撮影画像を取得するカメラであってよく、人物検出部１２及び切出し歪補正部１４等は、カメラに備えられていてよい。また、撮影画像表示システム１０がモニタを備えた１台のコンピュータによって構成される場合には、撮影画像表示システム１０が補助情報生成装置としても機能する。

撮影画像取得部１１は、上述のように、カメラから撮影画像を受け付けることで、又はそれ自体が撮影を行なうことで、撮影画像を取得する。本実施の形態では、上述のように、撮影画像取得部１１が取得する撮影画像は、魚眼レンズを用いて撮影された全周囲画像である。撮影画像取得部１１は、取得した撮影画像を人物検出部１２及び切出し歪補正部１４に提供する。

操作部１６は、ユーザが切出し範囲を指定するための操作を行なう手段であり、パーソナルコンピュータを用いて実現される場合には、マウスとユーザインターフェースによって実現される。なお、操作部１６は、ジョイスティックとボタン等を備えたコントローラによって構成されてもよい。

切出し範囲指定部１３は、操作部１６に対してされたユーザの操作に基づいて、撮影画像中の切出し範囲を指定する。切出し範囲は、撮影画像における切出し範囲の中心の位置及び切出し範囲の大きさのパラメータ（以下、「切出しパラメータ」という）として指定される。切出し範囲の形状は、切出しパラメータに基づいて、切出し歪補正部１４にて生成される切出し歪補正画像が正立した所定のアスペクト比の矩形画像となるように、切出し範囲指定部１３によって自動的に決定される。切出し範囲指定部１３は、切出しパラメータを切出し歪補正部１４及び補助情報生成部１５に提供する。

切出し歪補正部１４は、撮影画像取得部１１より提供された撮影画像である全周囲画像から、切出し範囲指定部１３より提供された切出しパラメータに従った切出し範囲を切り出して、それに歪補正をして、歪の除去された矩形の切出し歪補正画像を生成する。生成された切出し歪補正画像は、合成部１７に提供される。

人物検出部１２は、撮影画像取得部１１より提供された撮影画像の全範囲を対象として、特定の条件を満たす被写体（以下、「特定被写体」という）を検出する。本実施の形態では、人物検出部１２は、撮影画像中の動体を検出する。即ち、人物検出部１２は、現在のフレームの撮影画像を過去のフレームの撮影画像と比較して、差分が所定の閾値以上となる位置に、動体である人物がいると判断してそれを検出する。人物検出部１２は、人物を検出した場合に、その検出された撮影画像中の位置の情報を検出結果として補助情報生成部１５に提供する。

なお、人物検出部１２は、過去のフレームを用いずに、現在のフレームのみで、パターンマッチング等の技術によって画像中の特定の被写体を検出してもよい。また、人物検出部１２は、本発明の検出部に相当するが、本発明の検出部は、人物以外の特定被写体を検出するものであってよい。

補助情報生成部１５は、切出し範囲指定部１３より切出しパラメータを取得し、人物検出部１２より特定被写体を検出した結果として、撮影画像における検出位置の情報を取得する。補助情報生成部１５は、撮影画像における、切出しパラメータが示す切出し範囲以外位置において、特定被写体が検出されているか否かを判断する。補助情報生成部１５は、撮影画像における、切出しパラメータが示す切出し範囲以外位置において、特定被写体が検出されている場合には、切出し範囲を特定被写体の検出位置に向けて移動させるための補助情報を生成する。

図２は、本発明の第１の実施の形態における補助情報を説明するための図である。撮影画像取得部１１によって取得された全周囲画像２１内に、切出し範囲指定部１３によって切出し範囲２２が設定されており、切出し歪補正部１４は、この切出し範囲について切出し歪補正画像を生成し、それが表示画像２４とされる。人物検出部１２は、全周囲画像２１の全範囲について人物の検出を行う。図２の例では、切出し範囲２２の右下の領域の位置２３で人物が検出されている。

このとき、補助情報生成部１５は、切出し範囲指定部１３から取得した切出しパラメータに基づいて切出し範囲２２の位置を求めるとともに、人物検出部１２から人物検出位置２３の情報を取得して、人物検出位置２３が切出し範囲２２の右下にあると判断して、補助情報として右下向きの矢印のマークを生成する。生成された補助情報は、合成部１７に提供される。また、切出し歪補正部１４は、切出しパラメータに基づいて生成した切出し歪補正画像を合成部１７に提供する。

合成部１７は、補助情報生成部１５より取得した補助情報と、切出し歪補正部１４より取得した切出し歪補正画像２４とを用いて、図２に示すように、補助情報である右下向きの矢印の移動指示マーク２５を切出し歪補正画像２４の右下に重畳し、かつ、「この方向に人物が検出されました」という移動指示メッセージを付加して、表示画像２７を生成する。

合成部１７は、生成した表示画像２７を表示部１８に提供し、表示部１８は、これを表示する。この表示部１８に表示された表示画像を見たユーザは、操作部１６を操作して切出し範囲を右下に移動させることで検出された人物が映った切出し歪補正画像２４を表示させて見ることができる。

なお、補助情報生成部１５は、ユーザが操作部１６を操作して切出し範囲を変更している間にも、常にそのように変更された切出し範囲２２と人物検出位置２３との関係から、切出し範囲２２を人物検出位置２３まで移動させるための移動方向を示す矢印の移動指示マーク２５を生成して、合成部１７は生成された矢印の移動指示マーク２５を切出し歪補正画像２４に重畳する。よって、矢印の示す方向は、ユーザが切出し範囲２２を移動させている間に変更されることがある。

図３は、本発明の第１の実施の形態における表示画像を生成する処理のフロー図である。まず、撮影画像取得部１１にて、撮影画像である全周囲画像を取得する（ステップＳ３１）。次に、切出し歪補正部１４は、操作部１６に対する操作に応じて切出し範囲指定部１３４にて指定された切出しパラメータを受け付けて（ステップＳ３１）、切出し歪補正画像を生成する（ステップＳ３３）。

人物検出部１２は、全周囲画像に対して人物検出を実行する（ステップＳ３４）。そして、補助情報生成部１５は、人物検出部１２から取得した人物検出位置の情報と切出し範囲指定部１３から取得した切出し範囲の位置の情報とに基づいて切出し範囲に対する人物検出位置の方向を算出し（ステップＳ３５）、補助情報として、算出された方向を示す矢印の移動指示マーク２５を生成する（ステップＳ３６）。合成部１７は、補助情報生成部１５にて生成された補助情報である矢印の移動指示マーク２５と切出し歪補正部１４にて生成された切出し歪補正画像２４とを合成して、切出し歪補正画像２４に矢印の移動指示マーク２５が重畳された表示画像２７を生成する（ステップＳ３７）。

以上のように、本実施の形態の撮影画像表示システム１０によれば、撮影画像取得部１１が撮影画像である全周囲画像２１を取得し、人物検出部１２が全周囲画像２１から所定の条件を満たす特定被写体として、人物を検出し、切出し歪補正部１４が全周囲画像２１の一部範囲を切出し範囲２２として切り出して歪補正を行うことで切出し歪補正画像２４を生成し、補助情報生成部１５が人物検出部１２にて全周囲画像２１中の切出し範囲２２以外で人物が検出されたときに、切出し範囲２２を人物検出位置２３に向けて移動させるための補助情報として矢印の移動指示マーク２５を生成し、合成部１７が生成された矢印の移動指示マーク２５を切出し歪補正画像２４に重畳した表示画像２７を生成し、表示部１８がその表示画像２７を表示するので、ユーザは、矢印の移動指示マーク２５に従って操作部１６を操作して切出し範囲２２を移動させることができ、人物が映った切出し歪補正画像２４を容易に得ることができる。

（第１の実施の形態の変形例）
次に、上記の第１の実施の形態の変形例を説明する。図４は、本発明の第１の実施の形態の変形例における撮影画像表示システムの構成を示すブロック図である。図４において、図１の撮影画像表示システム１０と同一の構成については、同一の符号を付して、説明を省略する。上記の撮影画像表示システム１０では、補助情報として、切出し範囲から人物検出位置に向けた矢印の移動指示マークが生成されて、切出し歪補正画像に重畳されたが、変形例の撮影画像表示システム２０では、補助情報として、切出し範囲を自動で人物検出位置に向けて移動させるコマンドを起動するためのコマンド起動アイコンが生成され、このコマンド起動アイコンが表示画像に含められる。

図５は、本発明の第１の実施の形態の変形例における補助情報を説明するための図である。補助情報生成部１５は、上記と同様に、切出し範囲指定部１３から取得した切出しパラメータに基づいて切出し範囲２２の位置を求めて、人物検出部１２から人物検出位置２３の情報を取得して、人物検出位置２３が切出し範囲２２の右下にあると判断して、補助情報として、右下向きの矢印の移動指示マーク２５を生成するとともに、切出し範囲２２を右下に自動で移動させるコマンドを起動するためのコマンド起動アイコン２８を生成する。

合成部１７は、補助情報生成部１５より取得した補助情報と、切出し歪補正部１４より取得した切出し歪補正画像２４とを用いて、図２に示すように、補助情報である右下向きの矢印の移動指示マーク２５を切出し歪補正画像２４の右下に重畳し、「この方向に人物が検出されました」という移動指示メッセージ２６を付加するとともに、コマンド起動アイコン２８を含む表示画像２７を生成する。

撮影画像表示システム２０では、操作部１６は、補助情報生成部１５に接続されている。ユーザは、表示画像２７に含まれるコマンド起動アイコン２８をクリックすると、操作部１６からその旨の信号が補助情報生成部１５に与えられ、補助情報生成部１５はこの信号に基づいてコマンドを起動させる。コマンドが起動されると、補助情報生成部１５から切出し範囲を変更するための指示情報が切出し範囲指定部１３に与えられ、切出し範囲指定部１３は、この指示情報に基づいて切出しパラメータを生成する。

切出し位置指定部１３で生成された切出しパラメータは、切出し歪補正部１４及び補助情報生成１５に提供される。切出し歪補正部１４は、切出し歪補正パラメータに従って切出し歪補正画像を生成し、補助情報生成部１５は、切出しパラメータと人物検出位置の情報に基づいて、人物検出位置の方向を示す矢印の移動指示マークを生成する。なお、コマンドが起動されて切出し範囲が自動で人物検出位置まで移動されている間は、補助情報生成部１５は、補助情報として矢印の移動指示マークのみを生成し、コマンドは生成しない。このとき、表示画像では、自動移動中であることを示すために、コマンド起動アイコン２８はクリック不可能な状態で点滅する。

この変形例によっても、撮影画像取得部１１が撮影画像である全周囲画像２１を取得し、人物検出部１２が全周囲画像２１から所定の条件を満たす特定被写体として、人物を検出し、切出し歪補正部１４が全周囲画像２１の一部範囲を切出し範囲２２として切り出して歪補正を行うことで切出し歪補正画像２４を生成し、補助情報生成部１５が人物検出部１２にて全周囲画像２１中の切出し範囲２２以外で人物が検出されたときに、切出し範囲２２を人物検出位置２３に向けて切出し範囲２２を自動で移動させるための補助情報としてコマンド起動アイコン２８を生成し、合成部１７が生成されたコマンド起動アイコン２８を含む表示画像２７を生成し、表示部１８がその表示画像２７を表示し、コマンド起動アイコン２８がクリックされたときに、補助情報生成部１５がコマンドを起動して切出し範囲２２の移動を指示する指示情報を生成して切出し範囲指定部１３に提供し、切出し範囲指定部１３は、この指示情報に基づいて切出しパラメータを生成するので、ユーザは、コマンド起動アイコン２８をクリックするだけで自動で切出し範囲２２を移動させることができ、人物が映った切出し歪補正画像２４を容易に得ることができる。

なお、ユーザは、コマンド起動アイコン２８に関わらず、上記の第１の実施の形態と同様にして矢印の移動指示マーク２５に従って操作部１６を操作して、手動で切出し範囲２２を移動させることも可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。図６は、本発明の第１の実施の形態の変形例における撮影画像表示システムの構成を示すブロック図である。図６において、図１の撮影画像表示システム１０と同一の構成については、同一の符号を付して、説明を省略する。本実施の形態の撮影画像表示システム３０は、撮影画像である全周囲画像から複数の切出し範囲を切り出してそれぞれ歪補正をすることで、複数の切出し歪補正画像を生成して、それらを並べて表示する。

図７は、本発明の第２の実施の形態における表示画像を説明するための図である。切出し範囲指定部１３は、撮影画像である全周囲画像３１に対して４つの切出し範囲３２１〜３２４を指定して、４個の切出しパラメータを切出し歪補正部１４及び補助情報生成部１５に提供する。切出し歪補正部１４は、切出し範囲３２１〜３２４のそれぞれについて切出し歪補正画像３４１〜３４４を生成して、それらを上下左右に並べて４つの切出し歪補正画像を含む表示画像３４を生成する。

図８は、本発明の第２の実施の形態における補助情報を説明するための図である。人物検出部１２は、第１の実施の形態と同様にして、全周囲画像から人物を検出して、人物検出位置の情報を補助情報生成部１５に提供する。補助情報生成部１５は、切出し範囲指定部１３から取得した４つの切出しパラメータから切出し範囲３２１〜３２４を求めて、人物検出位置３３までの移動距離が最も近い切出し範囲を求める。

図９は、本発明の第２の実施の形態における移動距離を説明するための図であり、図９（ａ）は、パン・チルトを同時に変更できる場合、即ち、切出し範囲を斜め方向に移動できる場合、図９（ｂ）及び図９（ｃ）は、パン・チルトを同時に変更することができず、パン・チルトを個別に変更しなければならない場合を示している。

図９（ａ）に示すように、いま、仮に２つの切出し範囲の中心位置がそれぞれ位置４２及び位置４３にあり、人物検出位置が位置４１にあるとすると、切出し範囲を斜め方向も含めて直線的に移動できる場合には、切出し範囲の位置４２、４３と人物検出位置４１との間の移動距離は、それぞれ直線距離である距離４２１、４３１となり、距離４２１のほうが距離４３１より短いので、位置４２にある切出し範囲のほうが、位置４３にある切出し範囲よりも、人物検出位置４１への移動距離が近いことになる。よって、この場合には、補助情報生成部１５は、人物検出位置４１までの移動距離が最も近い切出し範囲として、位置４２にある切出し範囲を選択する。

次に、パン・チルトを個別に変更する場合には、図９（ｂ）に示すように、位置４２からチルト方向（全周囲画像の半径方向）に移動する距離は距離４２２であり、パン方向（全周囲画像の周方向）に移動する距離は距離４２３となる。一方、位置４３からはチルト方向への移動は必要なくパン方向の移動のみで人物検出位置４１に到達する。このときの、チルト方向への移動距離は距離４３２となる。

直線距離では上述のように位置４２のほうが位置４３よりも人物検出位置４１に近かったが、図９（ｂ）と図９（ｃ）とを比較して明らかなように、パン・チルトを個別に変更する場合には、位置４２から人物検出位置４１への移動距離（距離４２２＋距離４２３）よりも、位置４３から人物検出位置４１への移動距離（距離４３２）のほうが短くなる。よって、この場合には、補助情報生成部１５は、人物検出位置４１までの移動距離が最も近い切出し範囲として、位置４３にある切出し範囲を選択する。

図８の例では、補助情報生成部１５は、切出し歪補正画像３４１を移動距離の最も近い切出し歪補正画像として選択し、その選択した切出し歪補正画像３４１から人物検出位置までの移動方向である右下方向を示す矢印の移動指示マーク３５を生成する。補助情報生成部１５は、複数の切出し歪補正画像３４１〜３４４のうちのいずれを選択したかを示す情報と生成した矢印の移動指示マークを補助情報として合成部１７に提供する。

合成部１７は、切出し歪補正部１４から複数の切出し歪補正画像３４１〜３４４が並べられた画像を取得し、補助情報生成部１５から複数の切出し歪補正画像３４１〜３４４のうちのいずれを選択したかを示す情報と生成した矢印の移動指示マーク３５を含む補助情報を取得し、それらを用いて選択された切出し歪補正画像３４１に矢印の移動指示マーク３５を重畳した表示画像３４を生成する。生成された表示画像３４は表示部１８に提供されて、表示部１８にて表示される。

ユーザは、複数の切出し歪補正画像３４１〜３４４のうちの、矢印の移動指示マーク３５が付された切出し歪補正画像３４１の切出し範囲を矢印の移動指示マーク３５の示す方向に従って移動させることで、その切出し歪補正画像３４１に検出された人物を映すことができる。

複数の切出し歪補正画像３４１〜３４４のうちの選択された切出し歪補正画像３４１に矢印の移動指示マーク３５が付された表示画像３４が表示部１８にて表示されたときに、ユーザは、矢印の移動指示マーク３５が付されていない他の切出し歪補正画像を選択してその切出し範囲を移動させることで検出された人物をその切出し歪補正画像に移すこともできる。この場合には、図８の右下に示すように、ユーザは、操作部１６を操作することにより、切出し範囲を移動させたい切出し歪補正画像にポインタ３６を合わせてクリックすることで、切出し範囲を移動させたい切出し歪補正画像を選択する。図８の例では、切出し歪補正画像３４４が選択されている。

他の切出し歪補正画像が選択されると、操作部１６は、いずれの切出し歪補正画像が選択されたかを示す情報を補助情報生成部１５に提供する。補助情報生成部１５は、選択された切出し歪補正画像の切出し位置から人物検出位置への移動方向を求めて、それを示す矢印の移動指示マーク３５を生成する。補助情報生成部１５は、いずれの切出し歪補正画像が選択されたかを示す情報と、矢印の移動指示マーク３５を補助情報として生成して、合成部１７に提供する。合成部１７は、補助情報生成部１５より取得した補助情報に基づいて、選択された切出し歪補正画像に矢印の移動指示マークを重畳させて表示画像３４を生成する。

図１０は、本発明の第２の実施の形態における表示画像を生成する処理のフロー図である。まず、撮影画像取得部１１にて、撮影画像である全周囲画像を取得する（ステップＳ１０１）。次に、切出し歪補正部１４は、操作部１６に対する操作に応じて切出し範囲指定部１３４にて指定された複数の切出しパラメータを受け付けて（ステップＳ１０２）、複数の切出し歪補正画像を生成する（ステップＳ１０３）。

人物検出部１２は、全周囲画像に対して人物検出を実行する（ステップＳ１０４）。そして、補助情報生成部１５は、人物検出部１２から取得した人物検出位置４１の情報と切出し範囲指定部１３から取得した複数の切出し範囲の位置の情報とに基づいて、人物検出位置４１までの移動距離が最も近い切出し範囲を選択する（ステップＳ１０５）。さらに、補助情報生成部１５は、選択した切出し範囲に対する人物検出位置の４１方向を算出し（ステップＳ１０６）、補助情報として、いずれの切出し歪補正画像を選択したかを示す情報、及び算出された方向を示す矢印の移動指示マーク３５を生成する（ステップＳ１０７）。合成部１７は、補助情報生成部１５にて生成された補助情報である矢印の移動指示マーク３５を、切出し歪補正部１４にて生成された複数の切出し歪補正画像のうちの選択された切出し歪補正画像と合成して、選択された切出し歪補正画像に矢印の移動指示マーク３５が重畳された表示画像３４を生成する（ステップＳ１０８）。

以上のように、本実施の形態の撮影画像表示システム３０によれば、撮影画像取得部１１が撮影画像である全周囲画像２１を取得し、人物検出部１２が全周囲画像２１から所定の条件を満たす特定被写体として、人物を検出し、切出し歪補正部１４が全周囲画像２１の複数の一部範囲を切出し範囲３２１〜３２４として切り出して歪補正を行うことで複数の切出し歪補正画像３４１〜３４４を生成し、補助情報生成部１５が人物検出部１２にて全周囲画像２１中の切出し範囲２２以外で人物が検出されたときに、複数の切出し範囲３２１〜３２４のうちの、人物検出位置３３までの移動距離が最も近い切出し範囲を選択して、その選択した切出し範囲を人物検出位置３３に向けて移動させるための補助情報として矢印の移動指示マーク２５を生成し、合成部１７が生成された矢印の移動指示マーク２５を選択された切出し歪補正画像に重畳した表示画像３４を生成し、表示部１８がその表示画像３４を表示するので、ユーザは、複数の切出し歪補正画像３４１〜３４４が同時に表示される場合にも、矢印の移動指示マーク２５に従って移動距離の最も近い切出し歪補正画像について、操作部１６を操作して切出し範囲を移動させることができ、人物が映った切出し歪補正画像を容易に得ることができる。

また、人物検出位置への移動距離の最も近い切出し歪補正画像をパン・チルトさせたくない場合には、他の切出し歪補正画像を選択して、それを移動させることもできる。このとき、ユーザが他の切出し歪補正画像を選択すると、補助情報生成部１５は、その選択された切出し歪補正画像の切出し範囲について、人物検出位置まで移動するための移動方向を示す補助情報を生成する。

なお、第２の実施の形態においても、第１の実施の形態の変形例と同様の変形を行うことができる。即ち、補助情報生成部１５は、補助情報として、人物検出位置までの移動距離が最も近い切出し歪補正画像を自動で人物検出位置まで移動させるコマンドを生成することができ、また、他の切出し歪補正画像がユーザによって選択された場合には、当該選択された切出し歪補正画像の切出し範囲を自動で人物検出位置まで移動させるコマンドを生成してよい。この場合、補助情報生成部１５は、第１の実施例の変形例と同様にコマンド起動アイコンを生成し、このコマンド起動アイコンがクリックされたときに自動の切出し範囲の移動を実行する。

上記の第１及び第２の実施の形態では、撮影画像として歪を有する全周囲画像が撮影される例を説明したが、撮影画像として、歪を有しない画像が撮影されてもよい。この場合には、切出し歪補正部１５は、切出し範囲の切出しを行って切出し画像を生成するのみでよい。本発明の「切出し画像」とは、このような歪補正を伴わないもの及び上記の実施の形態のように歪補正を伴うものを含み、本発明の「切出し画像生成部」は、歪補正を伴わない切出し画像を生成するもの及び歪補正を伴う切出し歪補正画像を生成するものを含む。

また、上記の実施の形態では、補助情報生成部１５は、補助情報として、移動方向を示す矢印の移動指示マークが生成されて切出し歪補正画像に重畳されたが、補助情報はこれに限られず、三角形の移動指示マークであってもよく、また、補助情報は切出し歪補正画像に重畳されなくてもよい。

本発明は、補助情報によって切出し範囲を移動させることができ、容易に特定被写体が映った切出し画像を得ることができるという効果を有し、撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する撮影画像表示システム、及びそれに用いる補助情報生成装置等として有用である。

１０、２０、３０ 撮影画像表示システム
１１ 撮影画像取得部
１２ 人物検出部
１３ 切出し範囲指定部
１４ 切出し歪補正部
１５ 補助情報生成部
１６ 操作部
１７ 合成部
１８ 表示部
２１ 全周囲画像
２２ 切出し範囲
２３ 人物検出位置
２４ 切出し歪補正画像
２５ 移動指示マーク
２６ 移動指示メッセージ
２７ 表示画像
２８ コマンド起動アイコン
３１ 全周囲画像
３２１〜３２４ 切出し範囲
３３ 人物検出位置
３４ 表示画像
３４１〜３４４ 切出し歪補正画像
３５ 移動指示マーク
３６ ポインタ
４１ 人物検出位置
４２ 切出し範囲の位置
４３ 切出し範囲の位置
１０１ 全周囲画像
１０２ 切出し範囲
１０３ 人物検出位置
１０４ 表示画像（切出し歪補正画像）

Claims (11)

1. 撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成するための前記切出し範囲の情報、及び前記撮影画像から所定の条件を満たす特定被写体を検出した結果を取得して、前記撮影画像中の前記切出し範囲以外の部分で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成することを特徴とする補助情報生成装置。
2. 前記撮影画像の複数の一部範囲を切り出して複数の前記切出し画像を生成するための複数の前記切出し範囲の情報を取得して、前記複数の切出し画像のうちの、前記特定被写体が検出された位置までの移動距離が最も近い切出し画像について、前記補助情報を生成することを特徴とする請求項１に記載の補助情報生成装置。
3. 前記複数の切出し画像のうちの、前記特定被写体が検出された位置までの直線的な移動距離が最も近い切出し画像について、前記補助情報を生成することを特徴とする請求項２に記載の補助情報生成装置。
4. 前記複数の切出し画像のうちの、前記特定被写体が検出された位置までパン方向及びチルト方向の移動をそれぞれ別々にしたときの移動距離が最も近い切出し画像について、前記補助情報を生成することを特徴とする請求項２に記載の補助情報生成装置。
5. 前記補助情報は、移動の対象となる切出し画像の切出し範囲の移動方向を示し、該切出し画像ともに表示されるマークであることを特徴とする請求項１ないし４のいずれかに記載の補助情報生成装置。
6. 前記補助情報は、移動の対象となる切出し画像を自動で前記特定被写体が検出された位置に向けて移動させるためのコマンドを起動するためのコマンド起動アイコンであることを特徴とする請求項１ないし４のいずれかに記載の補助情報生成装置。
7. 撮影画像を取得する撮影画像取得部と、
   前記撮影画像から所定の条件を満たす特定被写体を検出する検出部と、
   前記撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する切出し画像生成部と、
   前記検出部にて、前記撮影画像中の前記切出し範囲以外で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成部と、
   生成された前記補助情報と前記切出し画像を含む表示画像を生成する合成部と、
   前記表示画像を表示する表示部と、
   を備えたことを特徴とする撮影画像表示システム。
8. 前記撮影画像は、全周囲画像であり、
   前記切出し画像生成部は、撮影画像の一部範囲を切出し範囲として切出し、かつ歪補正をして、前記切出し画像として切出し歪補正画像を生成することを特徴とする請求項７に記載の撮影画像表示システム。
9. 撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成するための前記切出し範囲の情報、及び前記撮影画像から所定の条件を満たす特定被写体を検出した結果を取得して、前記撮影画像中の前記切出し範囲以外の部分で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成することを特徴とする補助情報生成方法。
10. 撮影画像を取得する撮影画像取得ステップと、
    前記撮影画像から所定の条件を満たす特定被写体を検出する検出ステップと、
    前記撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成する切出し画像生成ステップと、
    前記検出部にて、前記撮影画像中の前記切出し範囲以外で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成ステップと、
    生成された前記補助情報と前記切出し画像を含む表示画像を生成する合成ステップと、
    前記表示画像を表示する表示ステップと、
    を含むことを特徴とする撮影画像表示方法。
11. コンピュータを
    撮影画像の一部範囲を切出し範囲として切り出して切出し画像を生成するための前記切出し範囲の情報、及び前記撮影画像から所定の条件を満たす特定被写体を検出した結果を取得して、前記撮影画像中の前記切出し範囲以外の部分で前記特定被写体が検出されたときに、前記切出し範囲を前記特定被写体が検出された位置に向けて移動させるための補助情報を生成する補助情報生成装置
    として機能させるためのコンピュータプログラム。

Images