JP2018107583A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ある画像と、その画像の一部に対応する画像との位置関係をユーザが直感的に把握可能とすることを目的とする。
【解決手段】撮像手段により撮像された画像データに係る画像を表示手段に表示させる情報処理装置であって、撮像手段により撮像された画像の一部に対応する部分画像に対応する位置を示す第１のオブジェクトを画像上に重畳表示させる第１の表示制御手段と、画像における部分画像の位置を移動させることができる方向を示す第２のオブジェクトを画像上に重畳表示させる第２の表示制御手段と、を有する。
【選択図】図７

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、ネットワークカメラ市場が拡大する中で、様々な種類のネットワークカメラが製造されている。その１つに、魚眼レンズを装着し、周囲３６０度を死角なく見渡すことができる、全方位ネットワークカメラ（以下、全方位カメラ）がある。
全方位カメラにて撮像された映像は、歪みが大きく、そのままでは監視用途には向いていない。そのため、視界全てを表示する「魚眼映像」と、その一部を切り出した上でデワープして通常のカメラのように歪みを少なく表示する「切り出し映像」とを並べて表示する使い方が一般的である。
しかし、並べて表示した場合、切り出し映像と魚眼映像との位置関係がわかりづらいという問題があった。
この様な問題を解決するために、特許文献１のように、切り出し映像が魚眼映像のどの部分を切り出しているのかを表示する技術がある。

特開２０１６−６３３９７号公報

監視担当者は監視対象物が移動した場合に、切り出し位置をパン・チルト操作して監視対象物を追いかける。このとき、全方位カメラを天井に設置している場合は、切り出し映像に対してパン操作をすると、魚眼映像上では現在の切り出し位置と魚眼中心を半径とした円周上を移動するような動きとなる。また、チルト操作をすると、現在位置と魚眼中心とを結んだ直線上を移動する。
このように、ある画像と、その画像の一部に対応する画像との位置関係が直感的にわかりづらいという課題があった。

本発明は、魚眼レンズを有する撮像部により撮像された画像データと前記画像データの切り出し画像データとを表示部に表示する情報処理装置であって、前記切り出し画像データの中心位置を示す第１のオブジェクトを前記画像データ上に重畳表示する第１の表示手段と、前記切り出し画像データの切り出し位置を所定の方向に移動させることができる範囲を示す第２のオブジェクトを前記画像データ上に重畳表示する第２の表示手段と、を有する。

本発明によれば、ある画像と、その画像の一部に対応する画像との位置関係をユーザが直感的に把握可能とすることができる。

情報処理システムのシステム構成の一例を示す図である。 カメラサーバのハードウェア構成の一例を示す図である。 ビューワクライアントのハードウェア構成の一例を示す図である。 カメラサーバのソフトウェア構成等の一例を示す図である。 実施形態１の切り出し映像の移動方向を示すマーク等の一例を示す図である。 ビューワクライアントのソフトウェア構成等の一例を示す図である。 実施形態１のＧＵＩの一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 実施形態２のＧＵＩの一例を示す図である。 実施形態３のＧＵＩの一例を示す図である。 実施形態３の情報処理の一例を示すフローチャートである。 実施形態４のＧＵＩの一例を示す図である。 画像データ上に表示するチルト補助線の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、各実施形態では、一例として魚眼レンズを用いて撮像された魚眼画像とそこから切り出された画像（部分画像）とを例に説明するが、各実施形態は、撮像方向をパン方向及びチルト方向に変更可能なＰＴＺ（パン、チルト、ズーム）カメラにも適用可能である。その場合は、パン方向及びチルト方向に撮像方向を変化させて撮像可能な最大の範囲を示すパノラマ画像を魚眼画像に置き換えればよい。また、現在撮像している画像を切出し画像（部分画像）に置き換えればよい。また、ＰＴ駆動できない固定カメラの撮像画像と、そこから切り出した画像にも適用可能である。

＜実施形態１＞
図１は、情報処理システムのシステム構成の一例を示す図である。
情報処理システム１００は、カメラサーバ１１０と、ビューワクライアント１２０と、ネットワーク１３０とを有して構成されている。カメラサーバ１１０、ビューワクライアント１２０は、情報処理装置の一例である。
カメラサーバ１１０は、カメラ（ネットワークカメラ）により撮像された画像の画像データを、ネットワーク１３０を介して配信する。
ビューワクライアント１２０は、カメラサーバ１１０にアクセスしてカメラの設定を変更し、カメラでの撮像の結果得られた画像データを処理し、又は、蓄積された画像データ等を処理して、処理後の画像データに基づく画像の表示を行う。
図１に示す情報処理システム１００には、クライアントとして、ビューワクライアント１２０のみを示している。しかし、情報処理システム１００は、ビューワクライアント１２０以外に、カメラサーバ１１０にアクセスして画像データの受信や蓄積を行う他のクライアントを含んでいてもよい。
ネットワーク１３０は、カメラサーバ１１０とビューワクライアント１２０とを通信可能に接続するものであり、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。本実施形態において、ネットワーク１３０は、カメラサーバ１１０とビューワクライアント１２０との間の通信が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク１３０としては、インターネットからＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）まで適用することができる。

図２は、カメラサーバ１１０のハードウェア構成の一例を示す図である。
カメラサーバ１１０は、その内部に内部バス２０１を有する。そして、カメラサーバ１１０は、内部バス２０１に接続された、ＣＰＵ２００、１次記憶装置２１０、２次記憶装置２２０、及び、各種のインターフェース（Ｉ／Ｆ）２３０〜２５０を有している。より具体的には、カメラサーバ１１０は、各種のＩ／Ｆとして、画像キャプチャＩ／Ｆ２３０、入出力Ｉ／Ｆ２４０及び、ネットワークＩ／Ｆ２５０を有する。更に、カメラサーバ１１０は、画像キャプチャＩ／Ｆ２３０に接続されたカメラ２３１、及び、入出力Ｉ／Ｆ２４０に接続された入出力機器（Ｉ／Ｏ機器）２４１を有している。カメラ２３１は、魚眼レンズを有する撮像部の一例である。カメラ２３１は魚眼レンズを介して集光した光に基づく画像データを生成する。
ＣＰＵ２００は、カメラサーバ１１０における動作を統括的に制御するものである。
１次記憶装置２１０は、例えば、ＲＡＭに代表される書き込み可能な高速の記憶装置である。この１次記憶装置２１０は、例えば、ＯＳ（オペレーティングシステム）のプログラムや各種のプログラム及び各種のデータ等がロードされる。また、１次記憶装置２１０は、ＣＰＵ２００がＯＳのプログラムや各種のプログラム等を実行する際の作業領域としても使用される。

２次記憶装置２２０は、例えば、ＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性の記憶装置である。この２次記憶装置２２０は、ＯＳのプログラムや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。
画像キャプチャＩ／Ｆ２３０は、接続されているカメラ２３１で撮像された画像の画像データを所定のフォーマットに変換・圧縮して、例えば、２次記憶装置２２０（１次記憶装置２１０であってもよい）に転送する。カメラ２３１は、撮像画角やズーム位置が可変に構成された撮像部である。
入出力Ｉ／Ｆ２４０は、接続されているＩ／Ｏ機器２４１を介して、外部からの信号・割り込みを受け付けたり、外部への信号の出力を行ったりする。
ネットワークＩ／Ｆ２５０は、カメラサーバ１１０をネットワーク１３０に接続するためのインターフェースであり、ネットワーク１３０を介して、ビューワクライアント１２０等との通信を担う。
ＣＰＵ２００が２次記憶装置２２０に記憶され、１次記憶装置２１０に読み出されたＯＳのプログラムや各種のプログラムを実行することによって、カメラサーバ１１０の機能が実現される。

図３は、ビューワクライアント１２０のハードウェア構成の一例を示す図である。
ビューワクライアント１２０は、その内部に内部バス３０１を有する。そして、ビューワクライアント１２０は、内部バス３０１に接続された、ＣＰＵ３００、１次記憶装置３１０、２次記憶装置３２０、ユーザ入出力Ｉ／Ｆ３３０、及び、ネットワークＩ／Ｆ３４０を有している。更に、ビューワクライアント１２０は、ユーザ入出力Ｉ／Ｆ３３０に接続された入出力機器（Ｉ／Ｏ機器）３３１を有している。
ＣＰＵ３００は、ビューワクライアント１２０における動作を統括的に制御するものである。
１次記憶装置３１０は、例えば、ＲＡＭに代表される書き込み可能な高速の記憶装置である。この１次記憶装置３１０は、例えば、ＯＳのプログラムや各種のプログラム及び各種のデータ等がロードされる。また、１次記憶装置３１０は、ＣＰＵ３００がＯＳのプログラムや各種のプログラム等を実行する際の作業領域としても使用される。

２次記憶装置３２０は、例えば、ＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性の記憶装置である。この２次記憶装置３２０は、ＯＳのプログラムや各種のプログラム及び各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用される。
ユーザ入出力Ｉ／Ｆ３３０は、接続されているＩ／Ｏ機器３３１を介してユーザとの入出力を司るものである。Ｉ／Ｏ機器３３１は、例えば、キーボード、マウスから構成される入出力機器である。
ネットワークＩ／Ｆ３４０は、ネットワーク１３０と接続するためのインターフェースであり、ネットワーク１３０を介して、カメラサーバ１１０等との通信を担う。
表示装置３５０は、カメラサーバ１１０で撮像された撮像画像データに基づく画像を表示するディスプレイ等の画像表示機器である。表示装置３５０は、表示部の一例である。
ＣＰＵ３００が２次記憶装置３２０に記憶され、１次記憶装置３１０に読み出されたＯＳのプログラムや各種のプログラムを実行することによって、ビューワクライアント１２０の機能、後述する図８、図１１のフローチャートの処理が実現される。

図４は、カメラサーバ１１０のソフトウェア構成及び２次記憶装置２２０に記憶されるデータ等の一例を示す図である。より具体的には、図４（ａ）では、カメラサーバ１１０のプログラムをＣＰＵ２００が実行することによって実現されるソフトウェア構成を示している。図４（ｂ）では、カメラサーバ１１０の２次記憶装置２２０に記憶される各種のデータ等を示している。
１次記憶装置２１０には、ＯＳ４００、画像撮像部４１０、切り出し画像生成部４２０、及び、表示制御部４３０のプログラムがロードされＣＰＵ２００によって実行される。但し、切り出し画像生成部４２０、及び、表示制御部４３０のプログラムは、必ずしも、カメラサーバ１１０の１次記憶装置２１０に存在する必要はない。例えば、切り出し画像生成部４２０、及び、表示制御部４３０に相当する部のプログラムは、後述するように、ビューワクライアント１２０の１次記憶装置３１０に存在し、ビューワクライアント１２０のＣＰＵ３００によって実行されてもよい。

ＯＳ４００は、カメラサーバ１１０の全体を制御する。ここで、各部（４００〜４３０）のプログラムの１次記憶装置２１０における位置（番地）や大きさは、ＯＳ４００が管理する。
画像撮像部４１０は、カメラ２３１における画像の撮像の処理を行うと共に、受信したイベントに基づいてカメラ２３１で撮像された画像の処理を行う。
例えば、画像撮像部４１０は、カメラ２３１から画像キャプチャ終了イベントを受信すると、カメラ２３１で撮像された画像の画像データを画像キャプチャＩ／Ｆ２３０を介して取得する処理を行う。そして、画像撮像部４１０は、取得した画像データを所定のフォーマットに変換・圧縮して、これを画像データ４４０として２次記憶装置２２０に記憶して保存（蓄積）する処理を行う。また、画像撮像部４１０は、ネットワーク１３０を介して外部装置であるビューワクライアント１２０から配送要求イベントを受信すると、２次記憶装置２２０に保存されている画像データ４４０をビューワクライアント１２０へ配送する処理を行う。このように、画像撮像部４１０は、画像データ４４０を管理等するためのイベントを受信することで、カメラサーバ１１０のカメラ２３１による画像（画像データ）の撮像からネットワーク１３０を介した画像データの配信等に至るまでの処理を行う。
切り出し画像生成部４２０は、２次記憶装置２２０に保存されている画像データ４４０を用いて、切り出し画像データ４５０を作成する処理を行う。この際、切り出し画像生成部４２０は、切り出し位置データ４６０を基に、魚眼映像上のどの位置を切り出すのかを決定し、歪みの少ない画像を作成する。つまり、魚眼レンズを介さないで撮像された画像と同じような見た目になるよう歪みを補正する。このような処理はデワープ処理と呼ばれている。切り出し画像生成部４２０は、ネットワーク１３０を介して外部装置であるビューワクライアント１２０から配送要求イベントを受信する。すると、切り出し画像生成部４２０は、２次記憶装置２２０に保存されている切り出し画像データ４５０をビューワクライアント１２０へ配送する処理を行う。また、切り出し画像生成部４２０は、外部装置であるビューワクライアント１２０から、切り出し位置を変更するような要求イベントを受信すると、イベント情報を基に切り出し位置データ４６０を更新する。そして、切り出し画像生成部４２０は、更新した切り出し位置データ４６０を基に、切り出し画像データ４５０を生成する。このように、切り出し画像生成部４２０は、切り出し画像データ４５０を管理等するためのイベントを受信する。このことで、切り出し画像生成部４２０は、画像データ４４０から切り出し画像データを生成する処理から、ネットワーク１３０を介した切り出し画像データ４５０の配信等に至るまでの処理を行う。

表示制御部４３０は、外部装置であるビューワクライアント１２０からの要求に応じて、画像データ４４０に対して切り出し位置データ４６０を基に、現在の切り出し位置と、前記切り出し位置が移動する方向を示すマークを重畳表示する。
図４（ｂ）に示すように、カメラサーバ１１０の２次記憶装置２２０には、画像データ４４０、切り出し画像データ４５０、及び、切り出し位置データ４６０が保存される。但し、画像データ４４０、切り出し画像データ４５０、切り出し位置データ４６０は、必ずしも、カメラサーバ１１０の２次記憶装置２２０に存在する必要はない。例えば、画像データ４４０、切り出し画像データ４５０、切り出し位置データ４６０に想到するデータは、後述するように、ビューワクライアント１２０の２次記憶装置３２０に存在してもよい。
画像データ４４０は、カメラ２３１で撮像されて、画像撮像部４１０で処理された画像データである。画像データ４４０は、魚眼レンズを有する撮像部により撮像された画像データの一例である。
切り出し画像データ４５０は、切り出し画像生成部４２０による処理で作成された画像データである。切り出し画像データ４５０は、魚眼レンズを有する撮像部により撮像された画像データの切り出し画像データの一例である。
切り出し位置データ４６０は、切り出し画像の中心の位置の座標である。切り出し位置データ４６０に保存される情報については、後述する図５にて説明する。

図５（ａ）は、全方位カメラで撮像した魚眼映像を画像データ４４０とした場合の、画像データ４４０に重畳される切り出し映像の移動方向を示すマーク等の表示例である。なお、画像データ４４０は、全方位カメラで撮像した魚眼映像そのものでなくてもよく、全方位カメラで撮像した魚眼映像を模式的に示した図であってもよい。表示制御部４３０は、切り出し位置データ４６０を基に、切り出し中心５１０を画像データ４４０上に重畳表示する。切り出し中心５１０は、切り出し画像データの中心位置を示す第１のオブジェクトの一例である。次に、表示制御部４３０は、切り出し映像の水平／垂直方向を示す線（それぞれ、パン補助線５２０、チルト補助線５３０とする）を切り出し位置が移動する方向を示すマークとして重畳表示する。パン補助線５２０及び／又はチルト補助線５３０は、切り出し画像データの切り出し位置を所定の方向に移動させることができる範囲を示す第２のオブジェクトの一例である。このとき、切り出し映像の水平方向を示すパン補助線は、中心が画像データ４４０の中心で、半径が画像データ４４０の中心から切り出し位置の中心までの距離の円として描画される。また、切り出し映像の垂直方向を示すチルト補助線は、画像データ４４０の中心と切り出し位置の中心を通る線分として描画される。以下に示す各実施形態では、パン補助線５２０及びチルト補助線５３０の双方を重畳表示するものとして説明を行うが、何れか一方だけを重畳表示してもよい。
図５（ｂ）に、前述した、切り出し位置データ４６０に保存される情報の一例を示す。例えば、画像データ４４０が全方位カメラで撮像した魚眼映像である場合、切り出し位置データ４６０には、画像データ４４０の中心座標５４０と切り出し中心５１０との距離５５０が保存される。また、切り出し位置データ４６０には、画像データの中心座標５４０と画像データ４４０の水平線上の１点とを結んだ基準線５６０、画像データの中心座標５４０と切り出し中心５１０とを結んだ線分の角度５７０が保存される。

図６は、ビューワクライアント１２０のソフトウェア構成及び２次記憶装置３２０に記憶されるデータ等の一例を示す図である。より具体的には、図６（ａ）に、ビューワクライアント１２０のプログラムをＣＰＵ３００が実行することによって実現されるソフトウェア構成を示している。図６（ｂ）では、ビューワクライアント１２０の２次記憶装置３２０に記憶される各種のデータ等を示している。
１次記憶装置３１０には、ＯＳ６００、ビューワ部６１０のプログラムがロードされる。また、１次記憶装置３１０には、必要に応じて、カメラサーバ１１０の切り出し画像生成部４２０、表示制御部４３０のプログラムに替えて、切り出し画像生成部６２０、表示制御部６３０のプログラムがロードされる。各プログラムは、ＣＰＵ３００によって実行される。
ＯＳ６００は、ビューワクライアント１２０の全体を制御する。ここで、各部（６１０〜６３０）のプログラムの１次記憶装置３１０における位置（番地）や大きさは、ＯＳ６００が管理する。

ビューワ部６１０は、カメラサーバ１１０で撮像された撮像画像データに基づく画像、切り出し画像、及び、切り出し映像が移動する方向を示すマークを表示する処理を行う。
ビューワ部６１０は、表示装置３５０にユーザインターフェースを表示するためのユーザインターフェース機能を備えている。このユーザインターフェース機能によるユーザインターフェースの表示により、カメラサーバ１１０からの動画像の表示や静止画像の表示、ユーザ操作による動画像の表示や静止画像の表示、蓄積画像の表示、が行われる。また、ユーザインターフェース機能によるユーザインターフェースの表示により、切り出し画像の表示、切り出し映像が移動する方向を示すマークの表示等が行われる。ユーザインターフェースとしては、例えば、ＣＵＩやＧＵＩ、或いはＷｅｂアプリケーション等がある。また、ＣＵＩやＧＵＩ、或いはＷｅｂアプリケーションのインターフェースは、例えば、カメラサーバ１１０の表示制御部４３０によって提供される。
図６（ａ）の切り出し画像生成部６２０、表示制御部６３０は、それぞれ、図４（ａ）の切り出し画像生成部４２０、表示制御部４３０と同様である。
図６（ｂ）に示すように２次記憶装置３２０には必要に応じてカメラサーバ１１０の２次記憶装置３１０の切り出し画像データ４５０及び切り出し位置データ４６０に替えて、それぞれ、切り出し画像データ６５０及び切り出し位置データ６６０が保存されてもよい。
図６（ｂ）の切り出し画像データ６５０及び切り出し位置データ６６０は、それぞれ、図４（ｂ）の切り出し画像データ４５０及び切り出し位置データ４６０と同様のものである。例えば、切り出し画像データ６５０は、切り出し画像生成部６２０の処理により作成されたものであり、切り出し位置データ６６０は、切り出し画像生成部６２０を使用して生成されたものである。画像データ６４０も画像データ４４０と同様のものである。

図７は、ビューワ部６１０が表示装置３５０に表示する、実施形態１のＧＵＩの一例を示す図である。図７のＧＵＩの表示は、例えば、表示制御部６３０によって実行される。
画像データ表示部７００には、カメラサーバ１１０から取得した、画像データ４４０が表示される。このとき、画像データ表示部７００上の画像データ４４０には、切り出し位置の中心５１０、パン補助線５２０、及び、チルト補助線５３０が重畳表示される。
切り出し映像表示部７１０には、カメラサーバ１１０から取得した、切り出し画像データ４５０が表示される。
チルトスライダー７２０は、現在の切り出し位置のチルトの値を表す。チルトつまみ７２１を、マウス等に代表されるＩ／Ｏ機器３３１を用いて移動させることで、切り出し位置のチルトの値が変更される。つまり、チルトの値が変更されると、切り出し画像生成部６２０は、デワープ処理（歪み補正）を行った後の画像における垂直方向（チルト方向）に切出し位置を変更する。このように、本実施形態においては、ＰＴＺカメラのように撮像方向を実際にチルト方向に動かす場合だけではなく、デワープ処理を行った後の画像の垂直方向に切出し位置を変更することもチルト方向に動かすと称するものとする。
パンスライダー７３０は、現在の切り出し位置のパンの値を表す。パンつまみ７３１を、マウス等に代表されるＩ／Ｏ機器３３１を用いて移動させることで、切り出し位置のパンの値が変更される。つまり、パンの値が変更されると、切り出し画像生成部６２０は、デワープ処理（歪み補正）を行った後の画像における水平方向（パン方向）に切出し位置を変更する。このように、本実施形態においては、ＰＴＺカメラのように撮像方向を実際にパン方向に動かす場合だけではなく、デワープ処理を行った後の画像の水平方向に切出し位置を変更することもパン方向に動かすと称するものとする。

図８は、実施形態１の情報処理の一例を示すフローチャートである。図８に示すフローチャートの処理は、例えば、ビューワ部６１０から、カメラサーバ１１０の切り出し画像生成部４２０、及び、表示制御部４３０を呼び出して実行することによって行われる。
但し、上述したように、切り出し画像生成部４２０、及び、表示制御部４３０の代わりに、ビューワクライアント１２０上の、切り出し画像生成部６２０、及び、表示制御部６３０で処理を行う形態も、適用することができる。以下、説明の簡略化のため、ビューワクライアント１２０上の、切り出し画像生成部６２０、及び、表示制御部６３０が処理を行うものとして説明を行う。
Ｓ８０１にて、ビューワ部６１０は、ネットワーク１３０を介して、画像撮像部４１０へ撮像開始のイベントを発する。イベントを受信した画像撮像部４１０は、画像キャプチャＩ／Ｆ２３０を通して、カメラ２３１から画像データ４４０を取得し、ネットワーク１３０を介してビューワ部６１０へ送信する。次に、ビューワ部６１０は、画像データ表示部７００へ、受信した画像データ４４０を表示する。
続いて、Ｓ８０２にて、切り出し画像生成部６２０は、切り出し位置データ６６０を読み込み、切り出し位置データ６６０の情報を基に、切り出し画像データ６５０を生成する。ここで、生成した切り出し画像データ６５０は、１次記憶装置３１０に保存され、ビューワ部６１０が、切り出し映像表示部７１０に表示する。
続いて、Ｓ８０３にて、表示制御部６３０は、切り出し位置データ６６０を基に、画像データ表示部７００上に現在の切り出し位置の中心５１０を重畳する。
続いて、Ｓ８０４にて、表示制御部６３０は、切り出し位置データ６６０を基に、切り出し位置の中心が移動する方向を示すマークを重畳表示する。本実施形態においては、図５にある、パン補助線５２０、及び、チルト補助線５３０が切り出し位置の中心が、移動する方向を示すマークに相当する。
続いて、Ｓ８０５にて、ビューワ部６１０は、映像取得を継続するかどうかを判定する。ビューワ部６１０は、映像取得を継続すると判定した場合（Ｓ８０５においてｎｏ）、Ｓ８０１へ進み、映像取得を終了すると判定した場合（Ｓ８０５においてｙｅｓ）、図８の処理を終了する。
本実施形態の情報処理により、画像データ４４０上に、切り出し画像データ４５０の移動方向を示すマーク（本実施形態の例では、パン補助線５２０、及び、チルト補助線５３０）を重畳し、画像データ表示部７００に表示することができる。その結果、現在の切り出し位置の中心５１０が、ユーザの操作によって、画像データ４４０上のどちらに移動するのかが、直感的にわかるようになる。

＜実施形態２＞
本実施形態では、画像データ表示部７００上のパン補助線５２０、チルト補助線５３０、及び、チルトスライダー７２０、パンスライダー７３０の表示形態について説明する。
本実施形態では、パン補助線５２０とチルト補助線５３０とが、それぞれ異なる色や形で示され、これに連動してパンスライダー７３０とチルトスライダー７２０との色や形が決定される。ここで、形とは、例えば、波線、点線等である。
図９は、ビューワ部６１０が表示装置３５０に表示する、実施形態２のＧＵＩの一例を示す図である。
図９では、チルト補助線５３０とチルトスライダー７２０とを、共に点線で表示している。これにより、画像データ４４０上に重畳表示されている、２つの補助線のうち、どちらが対応するチルト（又はパン）補助線であるのかがユーザに直感的にわかるようになっている。図９に示されるように、パンスライダー７３０とチルトスライダー７２０とは、切り出し映像表示部７１０の近傍に表示されている。ここで、近傍とは、例えば、切り出し映像表示部７１０から所定範囲内のことである。

＜実施形態３＞
本実施形態では、切り出し位置が複数個ある場合について説明する。
図１０は、ビューワ部６１０が表示装置３５０に表示する、実施形態３のＧＵＩの一例を示す図である。図１０の例は、切り出し位置が４箇所あり、そのうちパン補助線５２０、チルト補助線５３０を表示するフラグ（補助線表示フラグ）を持つ切り出し位置が、切り出し位置の中心５１０のみの場合に、ビューワ部６１０が表示するＧＵＩの例である。図１０は、切り出し画像データが複数存在する場合のＧＵＩの一例となっている。
切り出し画像表示部１０４０、１０５０、１０６０、及び、１０７０には、それぞれ切り出し位置の中心５１０、１０１０、１０２０、及び、１０３０が対応する。
このとき、切り出し位置データ６６０には、切り出し中心の位置の座標を示す半径、角度に加えて、画像データ４４０上に補助線を描画するかどうかを示すフラグが、切り出し中心位置ごとに保存される。例えば、ユーザが、Ｉ／Ｏ機器３３１を操作し、切り出し画像表示部１０４０を選択した場合、切り出し画像表示部１０４０の切り出し位置データには、画像データ４４０上に補助線を描画するかどうかを示すフラグが保存される。同様に、ユーザが、Ｉ／Ｏ機器３３１を操作し、切り出し画像表示部１０５０を選択した場合、切り出し画像表示部１０４０の切り出し位置データのフラグは削除され、切り出し画像表示部１０５０の切り出し位置データにフラグが保存される。

図１１は、実施形態３の情報処理の一例を示すフローチャートである。図１１に示すフローチャートは、例えば、ビューワ部６１０から、カメラサーバ１１０の切り出し画像生成部４２０、及び、表示制御部４３０を呼び出して実行することによって行われる。
但し、切り出し画像生成部４２０、及び、表示制御部４３０の代わりに、ビューワクライアント１２０上の、切り出し画像生成部６２０、及び、表示制御部４３０で処理を行う形態も、適用することができる。
本実施形態において、本フローチャートの処理は、切り出し位置データ６６０に保存されている複数の切り出し位置ごとに、それぞれ行われる。
図１１における、Ｓ８０１、Ｓ８０３、Ｓ８０４、及び、Ｓ８０５の処理は、図８における、各処理と同等の処理である。
Ｓ８０２にて、切り出し画像データ６５０が生成され、ビューワ部６１０が、切り出し映像表示部７１０に表示したあとに、Ｓ１１０１に進む。
Ｓ１１０１にて、ビューワ部６１０は、現在の切り出し位置に対応する、補助線を描画するかどうかのフラグがあるか否かを判定する。ビューワ部６１０は、フラグがある場合（Ｓ１１０１においてｙｅｓ）、Ｓ８０３へ進み、フラグがない場合（Ｓ１１０１においてｎｏ）、Ｓ８０５へ進む。
本実施形態により、複数個の切り出し位置がある場合でも、それぞれに対応する補助線をフラグに応じて重畳表示することで、各切り出し位置の中心５１０、１０１０、１０２０、及び、１０３０がどちらの方向に動くのかがユーザが直感的にわかるようになる。
ここで、図１０の例では、各切り出し画像データの中心位置を示すマークがそれぞれ画像データ上（画像上）に重畳表示されている例を示している。しかし、例えば、表示制御部４３０は、フラグが設定されている切り出し画像データの中心位置を示すマークは黒色で、フラグが設定されていない切り出し画像データの中心位置を示すマークは異なる色、又は形（破線、点線等）で重畳表示するようにしてもよい。

＜実施形態４＞
本実施形態では、切り出し映像表示部７１０上にパン及びチルトの方向を示す補助線を重畳表示する場合について説明する。
図１２は、ビューワ部６１０が表示装置３５０に表示する、実施形態４のＧＵＩの一例を示す図である。
チルト補助線１２１０は、切り出し映像表示部７１０の水平方向の中心に重畳表示される。このチルト補助線１２１０は、画像データ表示部７００に重畳表示されたチルト補助線５３０と同じ移動方向を示す。
パン補助線１２２０は、切り出し映像表示部７１０の垂直方向の中心に重畳表示される。このパン補助線１２２０は、画像データ表示部７００に重畳表示されたパン補助線５２０と同じ移動方向を示す。
本実施形態により、画像データ表示部７００上に重畳された補助線と、切り出し映像表示部７１０上に重畳された補助線とが、パン方向、及び、チルト方向にそれぞれ対応して表示される。よって、画像データ４４０と切り出し画像データ４５０との移動方向をユーザが直感的にわかるようになる。
ここで、本実施形態では、ビューワ部６１０、又は表示制御部６３０は、チルト補助線１２１０及びパン補助線１２２０の双方を切り出し映像上（部分画像上）に重畳表示するものとして説明を行ったが、何れか一方だけを重畳表示してもよい。
また、図１２に示されるように、ビューワ部６１０、又は表示制御部６３０は、チルト補助線５３０とチルトスライダー７２０とチルト補助線１２１０とを共に点線で表示している。これにより、画像データ４４０及び切り出し映像上に重畳表示されている、２つの補助線のうち、どちらが対応するチルト（又はパン）補助線であるのかがユーザに直感的にわかるようになっている。チルト補助線１２１０及び／又はパン補助線１２２０は、切り出し画像データの切り出し位置を所定の方向に移動させることができる範囲を示す第３のオブジェクトの一例である。

＜実施形態５＞
本実施形態では、切り出し領域１３１０の大きさを変化させた場合について説明する。
図１３は、切り出し領域１３１０が変化した場合の、画像データ４４０上に表示するチルト補助線の一例を示す図である。
本実施形態では、切り出し位置データ４６０に、切り出し中心の位置の座標を示す、半径、角度に加えて、切り出し領域の大きさが保存される。
本実施形態における、ビューワ部６１０が行う情報処理の流れは、図８に示すフローチャートと同様である。
図８のＳ８０４にて、表示制御部６３０は、切り出し位置データ６６０に保存されている、切り出し領域の大きさに応じて、切り出し位置の中心５１０が移動可能なチルト範囲を計算し、計算した結果を基にチルト補助線の長さを決定し、重畳表示する。
本実施形態の処理により、画像データ４４０上に移動可能なチルトの範囲を示す、チルト補助線５３０が重畳表示されることで、ユーザはより直感的に操作を行うことが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
上述した各実施形態を任意に組み合わせて実施してもよい。

以上、上述した各実施形態の情報処理等によれば、魚眼映像と切り出し位置の移動方向との関係性をユーザが直感的に把握可能とすることができる。また、ある画像と、その画像の一部に対応する画像との位置関係をユーザが直感的に把握可能とすることができる。

１１０ カメラサーバ
１２０ ビューワクライアント
２００ ＣＰＵ
３００ ＣＰＵ

Claims (16)

1. 撮像手段により撮像された画像データに係る画像を表示手段に表示させる情報処理装置であって、
   前記撮像手段により撮像された画像の一部に対応する部分画像に対応する位置を示す第１のオブジェクトを前記画像上に重畳表示させる第１の表示制御手段と、
   前記画像における前記部分画像の位置を移動させることができる方向を示す第２のオブジェクトを前記画像上に重畳表示させる第２の表示制御手段と、
   を有する情報処理装置。
2. 前記部分画像の画像が複数存在する場合、前記第１の表示制御手段は、各部分画像の中心位置を示す第１のオブジェクトを、前記画像上にそれぞれ重畳表示させ、前記第２の表示制御手段は、複数の前記部分画像のうち、選択された前記部分画像の前記第２のオブジェクトを、前記画像上に重畳表示させる請求項１記載の情報処理装置。
3. 前記部分画像の画像が複数存在する場合、前記第１の表示制御手段は、複数の前記部分画像のうち、選択された前記部分画像の中心位置を示す第１のオブジェクトを、選択されていない前記部分画像の中心位置を示す第１のオブジェクトとは異なる色、又は形で前記画像上に重畳表示させ、前記第２の表示制御手段は、前記複数の部分画像のうち、選択された部分画像の前記第２のオブジェクトを、前記画像上に重畳表示させる請求項１記載の情報処理装置。
4. 前記画像における部分画像の大きさが変更された場合、前記第２の表示制御手段は、前記第２のオブジェクトが示す範囲を変更し、前記画像上に重畳表示させる請求項１乃至３何れか１項記載の情報処理装置。
5. 前記第２の表示制御手段は、前記第２のオブジェクトとして、パン方向を示すオブジェクト、又は、チルト方向を示すオブジェクトを前記画像上に重畳表示させる請求項１乃至４何れか１項記載の情報処理装置。
6. 前記第２の表示制御手段は、前記第２のオブジェクトとして、パン方向を示すオブジェクト、及び、チルト方向を示すオブジェクトを前記画像上に重畳表示させる請求項１乃至４何れか１項記載の情報処理装置。
7. 前記第２の表示制御手段は、前記パン方向を示すオブジェクト、及び、前記チルト方向を示すオブジェクトを前記画像上に重畳表示させる際は、それぞれ異なる色、又は形で重畳表示させる請求項６記載の情報処理装置。
8. 前記第２の表示制御手段は、前記パン方向を示すオブジェクトの色、又は形で前記画像における前記部分画像の位置のパンの値を表すパンスライダーを前記部分画像の近傍に表示させ、前記チルト方向を示すオブジェクトの色、又は形で前記画像における前記部分画像のチルトの値を表すチルトスライダーを前記部分画像の近傍に表示させる請求項７記載の情報処理装置。
9. 前記第２の表示制御手段は、前記画像における前記部分画像の位置を所定の方向に移動させることができる範囲を示す第３のオブジェクトを前記部分画像上に重畳表示させる請求項１乃至８何れか１項記載の情報処理装置。
10. 前記第２の表示制御手段は、前記第３のオブジェクトとして、パン方向を示すオブジェクト、又は、チルト方向を示すオブジェクトを前記部分画像上に重畳表示させる請求項９記載の情報処理装置。
11. 前記第２の表示制御手段は、前記第２のオブジェクトとして、パン方向を示すオブジェクト、及び、チルト方向を示すオブジェクトを前記部分画像上に重畳表示させる請求項９記載の情報処理装置。
12. 前記第２の表示制御手段は、前記パン方向を示すオブジェクト、及び、前記チルト方向を示すオブジェクトを前記切り出し画像上に重畳表示させる際は、それぞれ異なる色、又は形で重畳表示させる請求項１１記載の情報処理装置。
13. 前記画像は、前記撮像手段によって魚眼レンズを用いて撮像された画像である請求項１乃至１２何れか１項記載の情報処理装置。
14. 撮像手段により撮像された画像データに係る画像は、前記撮像手段により撮像された画像、又は、前記撮像手段により撮像された画像を模式的に示した図である請求項１乃至１３何れか１項記載の情報処理装置。
15. 撮像手段により撮像された画像データに係る画像を表示手段に表示させる情報処理装置が実行する情報処理方法であって、
    前記撮像手段により撮像された画像の一部に対応する部分画像に対応する位置を示す第１のオブジェクトを前記画像上に重畳表示させる第１の表示制御工程と、
    前記画像における前記部分画像の位置を移動させることができる方向を示す第２のオブジェクトを前記画像上に重畳表示させる第２の表示制御工程と、
    を含む情報処理方法。
16. コンピュータを、請求項１乃至１４何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images