JP2019193110A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】全方位画像から注目領域を切り出して表示する際の表示の優先度を適切に付与する。【解決手段】画像処理装置（カメラ１００）は、全方位画像における注目領域の位置を示す位置情報を取得する第一の取得手段と、全方位画像の画素密度情報を取得する第二の取得手段と、第一の取得手段により取得された位置情報と、第二の取得手段により取得された画素密度情報とに基づいて、注目領域の表示の優先度を設定する設定手段と、を備える。【選択図】 図５

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ネットワークカメラの種類が多様化する中で、周囲３６０度を死角なく見渡せる全方位ネットワークカメラ（以下、「全方位カメラ」という。）が普及し始めている。このような全方位カメラは、例えば施設の天井に設置され、全方位カメラの下を通る人物や車両等の被写体を監視する監視カメラとして用いられる。
特許文献１には、天井に設置された全方位カメラによって撮像された全方位画像から動体が密集している部分を優先的に抽出し、当該動体を含む領域を動画表示用のアスペクト比で切り出す点が開示されている。

特開２０１４−２２２８２５号公報

ところで、天井に設置された全方位カメラから真下に向かって撮像された全方位画像では、被写体は、画像中心に近いほど大きく撮像されるが、画像中心から離れた位置に存在する被写体の方が角度的に得られる情報が多くなるという特徴がある。また、このような全方位画像では、画像中心からの距離に応じて画素密度が変化するという特徴がある。
しかしながら、上記特許文献１に記載の技術では、動体の画像内における位置を考慮せずに表示の優先度を付与している。そのため、切り出した画像を表示させた場合に、角度的に動体の情報を取得できなかったり、解像度が劣っているために動体を確認できなかったりする場合がある。
そこで、本発明は、全方位画像内の注目領域の画像を表示する際の表示の優先度を適切に付与することを課題としている。

上記課題を解決するために、本発明に係る情報処理装置の一態様は、全方位画像における注目領域の位置を示す位置情報を取得する第一の取得手段と、前記全方位画像の画素密度情報を取得する第二の取得手段と、前記第一の取得手段により取得された位置情報と、前記第二の取得手段により取得された画素密度情報とに基づいて、前記注目領域の表示の優先度を設定する設定手段と、を備える。

本発明によれば、全方位画像内の注目領域の画像を表示する際の表示の優先度を適切に付与することができる。

ネットワークカメラシステムの構成例である。 撮像装置の構成例を示すブロック図である。 （Ａ）全方位画像の一例である。（Ｂ）全方位画像の４画面表示例である。 （Ａ）車両を撮像した全方位画像例である。（Ｂ）人物を撮像した全方位画像例である。 優先度設定処理を示すフローチャートである。 動体検出処理を示すフローチャートである。 動体の中心からの距離の算出例である。 表示対象範囲の一例である。 （Ａ）中心の画素密度が疎である場合の優先度「高」の領域の一例である。（Ｂ）中心の画素密度が密である場合の優先度「高」の領域の一例である。 （Ａ）優先度「高」の位置判定例である。（Ｂ）優先度「高」の画素密度判定例である。 （Ａ）優先度「中」の位置判定例である。（Ｂ）優先度「中」の画素密度判定例である。 表示対象外の位置判定例である。 表示制御処理を示すフローチャートである。 表示の優先度が付与された注目領域の表示例である。 表示領域変更処理を示すフローチャートである。 表示画面の使用方法の変更例である。 優先度設定処理の変形例を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本実施形態におけるネットワークカメラシステム１０００の構成例を示すブロック図である。
本実施形態におけるネットワークカメラシステム１０００は、監視領域を監視するユーザに、当該監視領域を撮像した画像を提供する監視システムである。このネットワークカメラシステム１０００は、監視領域を撮像した画像から注目領域を検出し、検出した注目領域に対して表示の優先度を付与し、付与した優先度に従って注目領域の画像をユーザに提示することができる。ここで、注目領域は、人体や車体といった動体を含む領域とすることができる。

ネットワークカメラシステム１０００は、撮像装置１００と、クライアント装置２００と、を備える。撮像装置１００とクライアント装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。
ネットワーク３００は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク３００は、カメラ１００とクライアント装置２００との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク３００は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現してもよい。

撮像装置１００は、所定の撮像範囲を撮像するネットワークカメラ（以下、単に「カメラ」という。）であり、撮像画像もしくはその一部を、ネットワーク３００を介してクライアント装置２００に配信することができる。本実施形態では、カメラ１００は、魚眼レンズを有し、撮像画像として全方位画像（魚眼画像）を取得することができる全方位カメラである場合について説明する。カメラ１００は、例えば施設の天井に設置され、カメラ１００の下を通る人物や車両等の被写体を撮像することができる。なお、カメラ１００は、１枚の画像（静止画）を撮像するカメラであってもよいし、１枚以上の画像を含む映像を撮像するカメラであってもよい。
クライアント装置２００は、パーソナルコンピュータ（ＰＣ）やスマートフォン、タブレット型ＰＣといった端末装置により構成することができる。クライアント装置２００は、カメラ１００から配信される画像をユーザに提示する表示装置である。

撮像装置１００は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、撮像部１１４と、通信Ｉ／Ｆ１１５と、を備える。
ＣＰＵ１１１は、撮像装置１００における動作を統括的に制御する。ＲＯＭ１１２は、ＣＰＵ１１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１１は、処理の実行に際してＲＯＭ１１２から必要なプログラム等をＲＡＭ１１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
撮像部１１４は、撮像光学系を構成するレンズ部や撮像素子を備える。通信Ｉ／Ｆ１１５は、外部装置と通信するためのインタフェースである。

クライアント装置２００は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、表示部２１４と、操作部２１５と、通信Ｉ／Ｆ２１６と、を備える。ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３および通信Ｉ／Ｆ２１６は、撮像装置１００のＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３および通信Ｉ／Ｆ１１５と同様である。
表示部２１４は、液晶ディスプレイ（ＬＣＤ）等のモニタを備え、カメラ１００から配信される画像を表示する。操作部２１５は、キーボードやマウス等のポインティングデバイスを備え、ユーザからの指示入力を受け付けることができる。

図２は、カメラ１００の構成例を示すブロック図である。
カメラ１００は、撮像部１０１と、画像処理部１０２と、露出制御部１０３と、光学制御部１０４と、動きベクトル検出部１０５と、表示情報処理部１０６と、画像出力部１０７と、を備える。
撮像部１０１は、レンズ群１０１ａ、光学フィルタ１０１ｂ、撮像素子１０１ｃ、ゲインコントロールアンプ回路（ＡＧＣ）１０１ｄおよびＡ／Ｄ変換器１０１ｅを備える。撮像部１０１は、図１の撮像部１１４に対応している。
レンズ群１０１ａは、被写体からの入射した光を撮像素子１０１ｃ上に集光するための撮像光学系である。レンズ群１０１ａは、魚眼レンズを含む。また、レンズ群１０１ａは、被写体に対するピント合わせを行うフォーカスレンズや、画角を調整するズームレンズ等を含んでもよい。

レンズ群１０１ａを通してカメラ１００内に入ってきた光は、光学フィルタ１０１ｂを通過し、撮像素子１０１ｃに入射する。光学フィルタ１０１ｂは、例えば赤外線カットフィルタ（ＩＲＣＦ）等とすることができる。
撮像素子１０１ｃは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを備える。撮像素子１０１ｃは、レンズ群１０１ａおよび光学フィルタ１０１ｂを介して結像された被写体像を電気信号（アナログ信号）に変換して出力する。ＡＧＣ１０１ｄは、撮像素子１０１ｃから出力された電気信号に対して増幅処理などを行い、カメラ１００の利得制御を自動で行う。Ａ／Ｄ変換器１０１ｅは、ＡＧＣ１０１ｄにより増幅処理されたアナログ信号をデジタル信号へと変換する。

画像処理部１０２は、撮像部１０１から出力されるデジタル信号に対して、所定の処理を施し、画素毎の輝度信号と色信号とを出力する。また、画像処理部１０２は、カメラ制御を行うための各パラメータを生成することもできる。ここで、カメラ制御を行うための各パラメータは、絞りの制御や、ピント合わせの制御、色味を調整するホワイトバランス制御などにおいて使用されるパラメータを含む。
露出制御部１０３は、画像処理部１０２から出力される輝度情報をもとに、撮像画像を所望の明るさに調整すべく絞りおよびＡＧＣ１０１ｄを制御する。光学制御部１０４は、ピント合わせ動作を行う。ピント合わせ動作は、画像処理部１０２において生成された画像信号から高周波成分を抜き出し、高周波成分の値をフォーカスピント情報（フォーカス評価値）として、当該フォーカス評価値が最大となるようにレンズ群１０１ａを制御する動作である。また、光学制御部１０４は、光学フィルタ１０１ｂの挿抜動作も行うことができる。

動きベクトル検出部１０５は、画像処理部１０２から出力される撮像画像（全方位画像）から動体を検出する。具体的には、動きベクトル検出部１０５は、現フレームと前フレームとの差分を取ることで動体を検出する。そして、動きベクトル検出部１０５は、動体の動きベクトル量を取得して動体の移動方向と移動速度とを算出する。また、動きベクトル検出部１０５は、検出された動体の大きさを算出することもできる。ここで、上記動体は、上述したように人体や車体を含む。さらに、動きベクトル検出部１０５は、検出された動体を含む領域を注目領域として検出し、全方位画像における注目領域の位置を示す位置情報を取得することができる。

表示情報処理部１０６は、動きベクトル検出部１０５において検出された動体を含む注目領域に対して、表示の優先度を付与する。このとき、表示情報処理部１０６は、ユーザが全方位画像から切り出し表示する領域を指定している場合、その指定領域の表示の優先度を考慮して、注目領域の表示の優先度を設定することもできる。
画像出力部１０７は、画像処理部１０２において生成された全方位画像と、注目領域および指定領域に関する情報、表示情報処理部１０６において設定された優先度とに基づいて、クライアント装置２００に表示させる画像を出力する。具体的には、画像出力部１０７は、全方位画像から注目領域の画像を切り出し、切り出した画像を、表示の優先度の高い順にクライアント装置２００へ配信することで、クライアント装置２００へ表示させる表示制御を行う。

図２に示すカメラ１００の構成要素の一部または全部の機能は、カメラ１００のＣＰＵ１１１がプログラムを実行することで実現することができる。ただし、図２に示すカメラ１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１１の制御に基づいて動作する。

クライアント装置２００は、カメラ１００から配信される画像を表示することができる。本実施形態では、クライアント装置２００は、１画面を４つの表示領域に分割し、各表示領域に４つの画像をそれぞれ表示する４画面表示を行う場合について説明する。この４画面表示では、全方位画像から切り出された注目領域の画像もしくはユーザが指定した指定領域の画像を、４つまで表示することができる。

図３（Ａ）は、カメラ１００により撮像された全方位画像４００の一例である。円形の全方位画像４００には、人体６０１と、車体６０２と、木６０３とが撮像されている。例えば、この全方位画像４００に対して、ユーザが指定領域Ａ１〜Ａ４を指定しており、カメラ１００から指定領域Ａ１〜Ａ４の切り出し画像が配信された場合、クライアント装置２００は、これら指定領域Ａ１〜Ａ４の画像を受信して表示画面に表示する。このときの表示画面の一例を図３（Ｂ）に示す。

図３（Ｂ）に示すように、表示画面５００は、４つの表示領域５０１〜５０４に分割されており、第１の表示領域５０１には指定領域Ａ１の切り出し画像、第２の表示領域５０２には指定領域Ａ２の切り出し画像が表示される。また、第３の表示領域５０３には指定領域Ａ３の切り出し画像、第４の表示領域５０４には指定領域Ａ４の切り出し画像が表示される。このように、ユーザが４つの指定領域を指定している場合、４つの表示領域５０１〜５０４の表示は、それぞれユーザが指定した指定領域の切り出し画像を表示するユーザ指定領域表示となる。
一方、カメラ１００が全方位画像から動体を含む注目領域を検出しており、カメラ１００から注目領域の切り出し画像が配信された場合、クライアント装置２００は、カメラ１００から受信した注目領域の画像を表示画面に表示する。例えば、カメラ１００が４つの注目領域を検出している場合、４つの表示領域５０１〜５０４の表示は、それぞれ注目領域の切り出し画像を表示する注目領域表示となる。

ところで、天井設置型の全方位カメラによって撮像された全方位画像の特徴として、被写体は画像の中心から離れるにつれて小さく撮像され、角度的に得られる情報が多くなるという特徴がある。例えば被写体が車両である場合、図４（Ａ）に示すように、中心から離れている車体６０２ａはナンバープレート情報を取得しやすく、中心に近い車体６０２ｂは車体しか映らないのでナンバープレート情報を取得できない。また、被写体が人物である場合、図４（Ｂ）に示すように、中心から離れている人体６０１ａは顔情報を取得しやすく、中心に近い人体６０１ｂは頭部しか映らないので、顔情報を取得できない。

クライアント装置２００において４画面表示を行う場合、表示領域は４つと限られている。そのため、車体や人体といった動体が存在するからといって、当該動体を含む領域を注目領域として表示画面上に表示させても、ユーザはナンバープレートや顔を確認できない場合がある。
また、全方位画像の特徴として、画像中心からの距離に応じて画素密度が変化するという特徴もある。そのため、注目領域の画像内位置によっては、注目領域の切り出し画像を表示画面上に表示させても、解像度が劣っているために動体を確認できない場合がある。

そこで、本実施形態では、カメラ１００は、動体が、ナンバープレート情報や顔情報といった必要な情報を取得可能な適切な位置に存在する場合に、優先的にクライアント装置２００の表示画面に表示させる。具体的には、カメラ１００は、全方位画像における注目領域の位置を示す位置情報と、全方位画像の画素密度情報とを取得し、取得した位置情報と画素密度情報とに基づいて、注目領域の表示の優先度を設定する。より具体的には、カメラ１００は、注目領域の画像中心からの距離が所定範囲内であり、且つ注目領域が存在する位置の画素密度が所定値以上である場合に、注目領域の表示の優先度が高くなるように設定する。

このように、カメラ１００は、全方位画像における注目領域の位置情報を取得する機能と、全方位画像の画素密度情報を取得する機能と、注目領域について表示の優先度を設定する機能と、を有する。本実施形態では、カメラ１００が、位置情報および画素密度情報に基づいて注目領域の表示の優先度を設定する情報処理装置として動作する場合について説明する。しかしながら、クライアント装置２００が上記の情報処理装置として動作してもよいし、一般のＰＣや他の機器等が上記の情報処理装置として動作してもよい。また、カメラ１００は、情報処理装置の一部の機能のみを備える構成であってもよい。この場合、カメラ１００とネットワーク３００を介して接続されたクライアント装置２００や他の機器が情報処理装置の残りの機能を備える。

図５は、カメラ１００が実行する優先度設定処理手順を示すフローチャートである。
この図５の処理は、カメラ１００の動きベクトル検出部１０５が画像処理部１０２から全方位画像を取得したタイミングで開始される。ただし、図５の処理の開始タイミングは、上記のタイミングに限らない。カメラ１００は、ＣＰＵ１１１が必要なプログラムを読み出して実行することにより、図５に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、動きベクトル検出部１０５は、全方位画像から動体を検出する動体検出処理を行う。
図６は、Ｓ１において実行される動体検出処理を示すフローチャートである。
Ｓ１１において、動きベクトル検出部１０５は、現フレームと前フレームとの差分である背景差分画像を取得し、Ｓ１２に移行する。Ｓ１２では、動きベクトル検出部１０５は、背景差分画像をもとに動体の有無を判定し、動体が存在しないと判定した場合には、注目領域が検出されなかったと判断してそのまま図６の処理を終了する。なお、この場合、優先度を付与する対象の注目領域が存在しないため、そのまま図５の処理も終了する。一方、動きベクトル検出部１０５は、動体が存在すると判定した場合にはＳ１３に移行する。

Ｓ１３では、動きベクトル検出部１０５は、動体の形状を検出する。このとき、動きベクトル検出部１０５は、検出した動体の形状から、動体が人体であるか車体であるかといった認識処理を行ってもよい。また、動きベクトル検出部１０５は、検出した動体の形状から、動体の大きさを算出してもよい。
Ｓ１４では、動きベクトル検出部１０５は、動体の動きベクトルを取得する。Ｓ１５では、動きベクトル検出部１０５は、Ｓ１４において取得された動きベクトルから動体の移動方向を算出する。Ｓ１６では、動きベクトル検出部１０５は、Ｓ１４において取得された動きベクトルから動体の移動速度を算出する。

図５に戻って、Ｓ２では、表示情報処理部１０６は、図７に示すように、Ｓ１において検出された動体６１０の画像中心からの距離Ｌを検出する。動体６１０の画像中心からの距離Ｌは、動体６１０を含む注目領域の全方位画像の中心からの距離である。動体６１０の位置（注目領域の位置）は、動体６１０の中心や重心とすることができる。なお、動体６１０が車体であり、認識対象がナンバープレートである場合、動体６１０の位置はナンバープレートの中心としてもよい。また、動体６１０が人体であり、認識対象が人物の顔である場合、動体６１０の位置は顔の中心としてもよい。

Ｓ３では、表示情報処理部１０６は、Ｓ２において検出された距離Ｌが所定範囲内であるか否かを判定する。具体的には、表示情報処理部１０６は、Ｌ２≦Ｌ≦Ｌ１であるか否かを判定する。つまり、表示情報処理部１０６は、動体を含む注目領域が、図８に示す半径Ｌ１の円Ｃ１の内側で且つ半径Ｌ２の円Ｃ２の外側である所定領域内に位置するか否かを判定する。ここで、円Ｃ１、Ｃ２は、全方位画像の中心を中心とする同心円である。そして、注目領域が所定領域内に位置する場合には、注目領域に含まれる動体から必要な情報を取得可能であると判定してＳ４に移行し、注目領域が所定領域外である場合には、注目領域に含まれる動体から取得可能な情報量が少ないと判定してＳ７に移行する。

Ｓ４では、表示情報処理部１０６は、注目領域が存在する位置の画素密度情報を取得し、画素密度が所定値以上であるか否かを判定する。
画素密度は、カメラ１００のレンズの特性により、画像の周辺部に近づくにつれて密になる場合と、画像の周辺部に近づくにつれて疎になる場合とがあるが、どちらの場合にも適用可能である。図９（Ａ）は、画像の周辺部に近づくにつれて画素密度が密になる場合を示しており、この場合、半径Ｌ３の円Ｃ３の外側が、画素密度が所定値以上となる領域となる。また、図９（Ｂ）は、画像の周辺部に近づくにつれて画素密度が疎になる場合を示しており、この場合、半径Ｌ３の円Ｃ３の内側が、画素密度が所定値以上となる領域となる。したがって、注目領域の画像中心からの距離Ｌと円Ｃ３の半径Ｌ３とを比較することで、注目領域が、画素密度が所定値以上の位置に存在するか否かを判定することができる。
なお、図９（Ａ）における半径Ｌ３と、図９（Ｂ）における半径Ｌ３とは、同じであってもよいし、異なっていてもよい。また、画素密度情報の代わりに、解像本数情報を使用することも可能である。

注目領域が存在する位置の画素密度が所定値以上である場合には、表示情報処理部１０６は、注目領域が存在する位置の解像度が良好であり、動体の情報取得に適していると判定してＳ５に移行し、この動体を含む注目領域の表示の優先度を「高」に設定する。
一方、画素密度が所定値未満である場合には、表示情報処理部１０６は、注目領域の画像から動体に関する必要な情報は取得可能だが、やや解像度が劣っていると判定してＳ６に移行し、この注目領域の表示の優先度を「中」に設定する。
Ｓ７では、表示情報処理部１０６は、優先度の設定対象である注目領域を表示の対象外とすべく表示の優先度を設定する（優先度を付与しない）。

つまり、図１０（Ａ）に示すように、動体（人体）６０１が円Ｃ１の内側で円Ｃ２の外側である所定領域内に存在し、図１０（Ｂ）に示すように、動体６０１が円Ｃ３の外側に存在している場合、この動体６０１を含む注目領域の表示の優先度は高となる。このように、動体６０１を含む注目領域の画像中心からの距離が所定範囲内であり、且つ当該注目領域が存在する位置の画素密度が所定値以上である場合、当該注目領域の表示の優先度は高となる。
なお、図１０（Ａ）および図１０（Ｂ）において、動体６０１の位置（注目領域の位置）は、顔の中心としている。また、後述する図１１（Ａ）、図１１（Ｂ）および図１２についても同様である。

これに対して、図１１（Ａ）に示すように、動体（人体）６０１が円Ｃ１の内側で円Ｃ２の外側である所定領域内に存在しているが、図１１（Ｂ）に示すように、動体６０１が円Ｃ３の内側に存在している場合、表示の優先度は中となる。つまり、動体６０１を含む注目領域の画像中心からの距離が所定範囲内であり、且つ当該注目領域が存在する位置の画素密度が所定値未満である場合、当該注目領域の表示の優先度は中となる。

そして、図１２に示すように、動体（人体）６０１が円Ｃ２の内側、つまり、動体６０１を含む注目領域が所定領域外に存在している場合には、この動体６０１を含む注目領域は表示対象外となる。
なお、本実施形態では、注目領域が所定領域外に存在している場合、当該注目領域を表示対象外とする場合について説明した。しかしながら、注目領域が所定領域外であり、注目領域の位置の画素密度が所定値以上である場合には、表示の優先度を、例えば「低」など、表示対象とするが優先度は低い状態に設定してもよい。

図１３は、カメラ１００が実行する表示制御処理手順を示すフローチャートである。
この図１３の処理は、注目領域の表示の優先度に基づいて注目領域の画像をクライアント装置２００に表示させる表示制御を行う処理であり、図５の優先度設定処理の終了後に開始される。カメラ１００は、ＣＰＵ１１１が必要なプログラムを読み出して実行することにより、図１３に示す各処理を実現することができる。
まずＳ２１において、画像出力部１０７は、ユーザの指示により注目領域の優先表示が実施されているか否かを判定する。ユーザは、クライアント装置２００の操作部２１５を操作して、カメラ１００により検出された注目領域を優先的に表示部２１４に表示するか否かを事前に指示することができる。画像出力部１０７は、注目領域の優先表示が実施されていると判定した場合にはＳ２２に移行し、注目領域の優先表示が実施されていないと判定した場合にはそのまま図１３の処理を終了する。

Ｓ２２では、画像出力部１０７は、クライアント装置２００の表示画面上に、注目領域以外の画像の表示用として使用されている表示領域が存在するか否かを判定する。本実施形態では、画像出力部１０７は、クライアント装置２００の表示画面上に、ユーザにより指定された指定領域の表示用として使用されている表示領域が存在するか否かを判定する。そして、指定領域の表示用として使用されている表示領域が存在しない場合、つまり、表示画面上において画像を表示可能な全表示領域を優先度が付与された注目領域の表示用として使用可能な場合、Ｓ２３に移行する。一方、指定領域の表示用として使用されている表示領域が存在する場合には、表示領域の使用方法を変更する必要があると判定してＳ２５に移行する。

Ｓ２３では、画像出力部１０７は、優先度が付与された注目領域の数と、表示画面上における注目領域の表示用として使用可能な表示領域の数とを比較する。そして、注目領域の数が使用可能な表示領域の数を超えている場合にはＳ２５に移行し、注目領域の数が使用可能な表示領域の数以下である場合にはＳ２４に移行する。Ｓ２４では、画像出力部１０７は、優先度が付与された注目領域をすべて表示画面上に表示可能であるため、優先度が高い注目領域から順に、注目領域の画像をすべてクライアント装置２００へ出力する。このようにして、画像出力部１０７は、注目領域の画像をクライアント装置２００に表示させる表示制御を行う。この場合のクライアント装置２００における表示例について、図１４（Ａ）および図１４（Ｂ）を参照しながら説明する。

図１４（Ａ）に示すように、全方位画像４００に動体として人体６０１と車体６０２とが撮像されている場合、カメラ１００は、人体６０１を含む領域と、車体６０２を含む領域とを注目領域として検出する。また、カメラ１００は、これら注目領域について、表示優先度を設定する。このとき、カメラ１００が、車体６０２を含む注目領域の表示の優先度を高、人体６０１を含む注目領域の表示の優先度を中と設定したものとする。この場合、カメラ１００は、車体６０２を含む注目領域の画像と、人体６０１を含む注目領域の画像とを、この順番でクライアント装置２００へ出力する。
このとき、クライアント装置２００の表示画面５００に表示可能な４つの表示領域５０１〜５０４は、すべて注目領域の画像の表示用として使用可能である。そのため、クライアント装置２００は、例えば図１４（Ｂ）に示すように、車体６０２を含む注目領域の画像を第１の表示領域５０１に表示し、人体６０１を含む注目領域の画像を第２の表示領域５０２に表示する。なお、どの表示領域にどの優先度の画像を表示するかについては、予め設定されていてもよいし、ユーザにより指定可能であってもよい。

図１３のＳ２５では、表示領域の使用方法を変更する表示領域変更処理を実行する。
図１５は、Ｓ２５において実行される表示領域変更処理手順を示すフローチャートである。
まずＳ２５１において、画像出力部１０７は、クライアント装置２００に表示させる注目領域の画像の数、つまり、注目領域の表示用として必要な表示領域の数（必要表示領域数）を決定する。ここで、注目領域用の必要表示領域数は、ユーザが指定した数であってもよいし、予め決められた数であってもよい。

次にＳ２５２において、画像出力部１０７は、Ｓ２５１において決定された注目領域用の必要表示領域数と、注目領域の画像の表示用として使用可能な未使用の表示領域数とを比較する。そして、使用可能な表示領域数が不足している場合は、注目領域以外の画像、例えばユーザにより指定された指定領域の画像の表示用として使用されている表示領域から、注目領域の表示用として使用する表示領域を選択する。
具体的には、図１６に示すように、４つの表示領域５０１〜５０４においてユーザ指定領域表示が行われており、注目領域用の必要表示領域数が２つと決定された場合、４つの表示領域５０１〜５０４のうちの２つを注目領域の表示用の表示領域に置き換える。図１６では、２つの表示領域５０３、５０４を、注目領域の表示用の表示領域として選択し、注目領域表示を行わせる場合について示しているが、置き換える表示領域は上記に限定されない。例えば、表示領域に優先順位を付与しておく、動体が存在しない画像が表示されている表示領域を置き換える、最も変化が少ない画像が表示されている表示領域を置き換える等の方法を用いて決定することができる。

Ｓ２５３では、画像出力部１０７は、図５の優先度設定処理において同じ優先度が設定された注目領域に対して、さらに詳細に優先度を設定するために、優先的に表示すべき特定物体の種類（優先対象物体）を決定する。例えば、ナンバープレートを優先的に確認したい場合は、車体が優先対象物体となる。優先対象物体は、ユーザが指定してもよいし、撮像画像中の存在割合が多い動体を優先対象物体としたり、撮像画像中の滞在時間が長い動体を優先対象物体としたりしてもよい。

Ｓ２５４では、画像出力部１０７は、注目領域が、ユーザが指定した指定領域内に含まれるか否かを判定する。ここで、注目領域が複数存在する場合には、すべての注目領域について指定領域内に含まれるか否かを判定する。そして、注目領域が指定領域内に含まれる場合には、改めて注目領域の画像を表示させる必要はないと判断してそのまま図１５の処理を終了する。つまり、画像出力部１０７は、注目領域の画像をクライアント装置２００へ出力しない。

一方、注目領域が指定領域内に含まれない場合には、注目領域の画像を表示画面へ表示させる必要がある。そこで、その場合には、Ｓ２５５以降の処理を実行する。
Ｓ２５５では、画像出力部１０７は、注目領域内に優先対象物体が含まれるか否かを判定する。そして、画像出力部１０７は、注目領域内に優先対象物体が含まれると判定した場合にはＳ２５６に移行し、注目領域内に優先対象物体が含まれないと判定した場合にはＳ２５８に移行する。
Ｓ２５６では、画像出力部１０７は、優先対象物体が含まれると判定された注目領域の優先度を判定し、優先度が高い場合はＳ２５７に移行する。一方、優先度が中である場合など、優先度が高ではない場合にはＳ２５８に移行する。

Ｓ２５７では、画像出力部１０７は、優先対象物体が含まれ且つ優先度が高いと判定された注目領域の画像を、クライアント装置２００へ出力する。この注目領域の画像は、表示画面において注目領域の表示用の表示領域に表示される。
Ｓ２５８では、画像出力部１０７は、クライアント装置２００の表示画面において注目領域の表示用の表示領域に空きがあるか否かを判定する。そして、画像出力部１０７は、表示領域に空きかあると判定した場合にはＳ２５７に移行し、空きがないと判定した場合にはそのまま図１５の処理を終了する。つまり、優先対象物体を含まない場合や、注目領域の優先度が中である注目領域については、表示領域に空きがある場合にのみ表示が行われる。

以上説明したように、本実施形態におけるカメラ１００は、全方位画像から動体を検出し、当該動体を含む領域を注目領域として検出する。そして、カメラ１００は、全方位画像における注目領域の位置を示す位置情報と、全方位画像の画素密度情報とを取得し、取得した位置情報と画素密度情報とに基づいて、注目領域の表示の優先度を設定する。そして、カメラ１００は、設定された表示の優先度が高い順に、注目領域の画像を表示装置であるクライアント装置２００に表示させる表示制御を行う。
具体的には、カメラ１００は、注目領域が、全方位画像の中心からの距離が所定範囲内となる所定領域内に存在する場合、注目領域が所定領域外に存在する場合よりも表示の優先度を高く設定する。また、カメラ１００は、注目領域が、全方位画像の画素密度が所定値以上の位置に存在する場合、画素密度が所定値未満の位置に存在する場合よりも表示の優先度を高く設定する。

このように、本実施形態では、全方位画像を撮像する全方位カメラにおいて、動体を含む注目領域が存在する位置や、動体を含む注目領域が存在する位置の画素密度を考慮して、注目領域の表示の優先度を設定することができる。これにより、注目領域が、ナンバープレート情報や顔情報といった必要な情報を適切に取得可能な位置に存在する場合に、当該注目領域の画像を優先的に表示装置へ表示させることができる。したがって、上記の必要な情報を取得することができないにもかかわらず表示装置に注目領域の画像を表示させてしまうことを抑制することができる。

また、カメラ１００は、注目領域に優先的に表示すべき特定物体が存在するか否かを判定し、特定物体が存在する場合、特定物体が存在しない場合よりも表示の優先度を高く設定することもできる。
これにより、全方位画像から、例えば人体と車体といった複数種類の動体が検出された場合、優先的に表示すべき動体を含む注目領域に対して高い優先度を付与することができる。したがって、ユーザが優先的に確認したい情報を適切に提示することができる。

さらに、カメラ１００は、ユーザにより指定された全方位画像における指定領域が存在する場合、指定領域と注目領域との表示の優先度を設定することができる。つまり、ユーザにより指定された指定領域が存在する場合、指定領域を最優先として注目領域の画像を表示させたり、表示画面における指定領域の表示用の表示領域を、注目領域の表示用の表示領域に置き換えたりすることができる。
カメラ１００は、クライアント装置２００の表示画面に表示させる注目領域の画像の数を決定し、表示画面において注目領域の表示用として使用可能な未使用の表示領域の数とを比較する。そして、使用可能な表示領域数が不足している場合は、表示画面上の複数の表示領域のうち、注目領域以外の画像の表示用として使用されている表示領域から、注目領域の画像の表示用として使用する表示領域を選択する。そして、選択された表示領域に注目領域の画像を表示させる表示制御を行う。
これにより、決められた表示領域数の中で、注目領域の画像を適切に表示画面へ表示させることができる。

（変形例）
上記実施形態においては、カメラ１００は、画像の歪曲率を考慮せずに注目領域を検出し、注目領域の表示の優先度を設定する場合について説明したが、画像の歪曲率を考慮して表示の優先度を設定するようにしてもよい。画像の歪みが著しい場合、注目領域の画像からナンバープレート情報や顔情報といった必要な情報を取得することが難しい。そのため、カメラ１００は、画像の歪曲率を取得し、画像の歪曲率が閾値以上である場合には、動体検出処理を行わないようにしてもよい。つまり、歪曲率が閾値未満である場合に、動体検出処理を行い、注目領域の表示の優先度を設定するようにしてもよい。
また、上記実施形態においては、注目領域の位置の判定に用いる所定領域（閾値Ｌ１、Ｌ２）や、注目領域の位置の画素密度の判定に用いる所定値（閾値Ｌ３）を固定とする場合について説明した。しかしながら、上記閾値は、動体の移動速度等に応じて可変であってもよい。
以下、これらについて詳細に説明する。

図１７は、カメラ１００が実行する優先度設定処理の変形例を示すフローチャートである。この図１７の処理の開始タイミングは、図５の処理の開始タイミングと同様である。カメラ１００は、ＣＰＵ１１１が必要なプログラムを読み出して実行することにより、図１７に示す各処理を実現することができる。
Ｓ３１において、カメラ１００は、画像の歪曲率を取得し、歪曲率が閾値以上であるか否かを判定する。そして、歪曲率が閾値以上である場合には、表示の対象外とすべく表示の優先度の設定を行わないようにそのまま図１７の処理を終了し、歪曲率が閾値未満である場合にＳ３２に移行する。Ｓ３２では、動きベクトル検出部１０５は、全方位画像から動体を検出する動体検出処理を行う。このＳ３２における動体検出処理は、図５のＳ１の処理（図６の処理）と同様である。

Ｓ３３では、表示情報処理部１０６は、Ｓ３２において検出された動体の移動速度や画像上のゲインを取得し、取得した情報に応じて、注目領域の位置の判定に用いる所定領域を変更する。つまり、表示情報処理部１０６は、画像中心から動体までの距離の閾値Ｌ１、Ｌ２を変更する。
また、Ｓ３４では、表示情報処理部１０６は、Ｓ３２において検出された動体の移動速度や画像上のゲインといった情報に応じて、注目領域の位置の画素密度の判定に用いる所定値を変更する。つまり、表示情報処理部１０６は、画素密度の閾値Ｌ３を変更する。

例えば、Ｓ３３およびＳ３４においては、表示情報処理部１０６は、動体の移動速度が速いほど、注目領域の位置の判定に用いる所定領域を全方位画像の中心に近い位置に変更する。また、表示情報処理部１０６は、動体の移動速度が速いほど、注目領域の位置の画素密度の判定に用いる所定値を大きい値に設定する。これにより、動体の移動速度が速いほど、動体がより画像中心に近い位置に存在する場合、また、動体がより画素密度が高い位置に存在する場合に、表示の優先度が高くなることになる。
動体の移動速度が速い場合、動体の像が流れてしまうことが想定される。そのため、上記のように閾値を変更することにより、動体の移動速度が速い場合には、ナンバープレートや顔が、より大きく、より鮮明に撮像される位置に存在する場合に、表示画面に優先的に表示させるようにすることができる。

また、表示情報処理部１０６は、注目領域のゲインが予め設定した第一の閾値値以上である場合、ゲインが第一の閾値未満である場合よりも、注目領域の位置の判定に用いる所定領域を全方位画像の中心に近い位置に変更する。また、表示情報処理部１０６は、ゲインが第一の閾値以上である場合、ゲインが第一の閾値未満である場合よりも、注目領域の位置の画素密度の判定に用いる所定値を大きい値に設定する。これにより、画像上のゲインが第一の閾値値以上である場合には、動体がより画像中心に近い位置に存在する場合、また、動体がより画素密度が高い位置に存在する場合に、表示の優先度が高くなることになる。
ゲインが高いほど、ノイズの影響をより大きく受けていることが想定される。そのため、上記のように閾値を変更することにより、ゲインが第一の閾値以上である場合には、動体が、より大きく、より鮮明に撮像される位置に存在する場合に、表示画面に優先的に表示させるようにすることができる。
なお、ゲインが第一の閾値よりもさらに大きい第二の閾値以上である場合は、ナンバープレートや顔の確認が困難と考えられるため、表示の対象外とすべく表示の優先度の設定を行わないようにしてもよい。

なお、上記の閾値は、動体の大きさに応じて変更することもできる。例えば、表示情報処理部１０６は、動体の大きさが大きいほど、注目領域の位置の判定に用いる所定領域を全方位画像の中心に近い位置に変更する。また、表示情報処理部１０６は、動体の大きさが大きいほど、注目領域の位置の画素密度の判定に用いる所定値を大きい値に設定する。これにより、動体の大きさが大きいほど、動体がより画像中心に近い位置に存在する場合、また、動体がより画素密度が高い位置に存在する場合に、表示の優先度が高くなることになる。
さらに、上記の閾値は、全方位画像を撮像した時間帯を考慮して変更してもよいし、照明の照射範囲や強度分布を考慮して変更してもよい。

Ｓ３５では、表示情報処理部１０６は、注目領域の表示の優先度を設定する。このＳ３５の処理は、図５のＳ２〜Ｓ７の処理と同様である。ただし、Ｓ３およびＳ４においては、Ｓ３３およびＳ３４において設定された閾値を用いた判定を行う。
なお、表示情報処理部１０６は、動体の移動方向を考慮して表示の優先度を設定してもよい。例えば、表示情報処理部１０６は、動体の移動方向が全方位画像の中心に向かう方向である場合、動体の移動方向が全方位画像の中心から遠ざかる方向である場合よりも表示の優先度を高く設定することができる。

動体が人体である場合、顔の確認が目的であることが想定される。動体の移動方向が画像の周辺部から中心部に向かう方向である場合に、表示の優先度を高く設定することで、人体が画像の中心部から周辺部へ向けて遠ざかっていくときの後姿を撮像した画像を、優先的に表示画面に表示させてしまうことを回避することができる。ここで、動体が人体であり、人体の移動方向が全方位画像の中心から遠ざかる方向である場合には、当該人体を含む注目領域を表示の対象外とすべく、表示の優先度の付与を行わないようにしてもよい。
また、動体が車体である場合、動体の移動方向が画像の周辺部から中心部に向かう方向である場合に、表示の優先度を高く設定することで、車体の前方部のナンバープレートを優先的に表示画面に表示させることができる。

以上のように、動体の移動速度や大きさ、移動方向、画像上のゲインに応じて、表示の優先度の設定条件を変更することで、動体がより表示に適した位置に存在する場合に、優先的に表示画面に表示させることができる。したがって、動体の確認や情報が取得しやすくなる。

なお、上記実施形態においては、クライアント装置２００の表示画面の分割方法を固定とする場合について説明したが、表示画面の分割方法は可変であってもよい。例えば、注目領域に含まれる動体の大きさや形状に応じて、表示画面の分割数を変更したり、表示領域の形状を変更したりしてもよい。例えば、注目領域に含まれる動体の形状が横長形状である場合には、４分割表示から上下２分割表示に変更し、注目領域に含まれる動体の形状が縦長形状である場合には、４分割表示から左右２分割表示に変更するようにしてもよい。
また、上記実施形態においては、クライアント装置２００は、１つの表示画面上の複数の表示領域にそれぞれ画像を表示させる場合について説明したが、画像の表示方法は分割表示に限定されるものではない。例えば、クライアント装置２００は、複数の表示画面（表示部２１４）を備え、各表示画面にそれぞれ画像を表示させる構成であってもよい。

さらに、上記実施形態においては、カメラ１００は、全方位画像から注目領域の画像を切り出してクライアント装置２００の表示画面に表示させる場合について説明したが、注目領域の画像の表示方法は上記に限定されない。例えば、カメラ１００は、全方位画像を周方向に展開したパノラマ画像から注目領域の画像を切り出してクライアント装置２００の表示画面に表示させるようにしてもよい。
また、上記実施形態においては、注目領域が人体や車体といった動体を含む領域である場合について説明したが、注目領域は、注目すべきオブジェクトが含まれる領域であればよく、注目すべきオブジェクトは動体に限定されない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…ネットワークカメラ、１０１…撮像部、１０２…画像処理部、１０５…動きベクトル検出部、１０６…表示情報処理部、１０７…画像出力部、２００…クライアント装置、３００…ネットワーク、１０００…ネットワークカメラシステム

Claims (19)

1. 全方位画像における注目領域の位置を示す位置情報を取得する第一の取得手段と、
   前記全方位画像の画素密度情報を取得する第二の取得手段と、
   前記第一の取得手段により取得された位置情報と、前記第二の取得手段により取得された画素密度情報とに基づいて、前記注目領域の表示の優先度を設定する設定手段と、を備えることを特徴とする情報処理装置。
2. 前記設定手段は、
   前記注目領域が、前記全方位画像の中心からの距離が所定範囲内となる所定領域内に存在する場合、前記注目領域が前記所定領域外に存在する場合よりも前記表示の優先度を高く設定することを特徴とする請求項１に記載の情報処理装置。
3. 前記注目領域は、動体を含む領域であり、
   前記設定手段は、
   前記動体の移動速度が速いほど、前記所定領域を前記全方位画像の中心に近い位置に設定することを特徴とする請求項２に記載の情報処理装置。
4. 前記注目領域は、物体を含む領域であり、
   前記設定手段は、
   前記物体の大きさが大きいほど、前記所定領域を前記全方位画像の中心に近い位置に設定することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記設定手段は、
   前記注目領域のゲインが第一の閾値以上である場合、前記ゲインが前記第一の閾値未満である場合よりも前記所定領域を前記全方位画像の中心に近い位置に設定することを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記設定手段は、
   前記注目領域のゲインが前記第一の閾値よりも大きい第二の閾値以上である場合、当該注目領域を表示の対象外とすべく前記表示の優先度を設定することを特徴とする請求項５に記載の情報処理装置。
7. 前記設定手段は、
   前記注目領域が、前記全方位画像の画素密度が所定値以上の位置に存在する場合、前記画素密度が前記所定値未満の位置に存在する場合よりも前記表示の優先度を高く設定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記注目領域は、動体を含む領域であり、
   前記設定手段は、
   前記動体の移動速度が速いほど、前記所定値を大きい値に設定することを特徴とする請求項７に記載の情報処理装置。
9. 前記注目領域は、物体を含む領域であり、
   前記設定手段は、
   前記物体の大きさが大きいほど、前記所定値を大きい値に設定することを特徴とする請求項７または８に記載の情報処理装置。
10. 前記設定手段は、
    前記注目領域のゲインが第一の閾値以上である場合、前記ゲインが前記第一の閾値未満である場合よりも前記所定値を大きい値に設定することを特徴とする請求項７から９のいずれか１項に記載の情報処理装置。
11. 前記設定手段は、
    前記注目領域に優先的に表示すべき特定物体が存在するか否かを判定し、前記特定物体が存在する場合、前記特定物体が存在しない場合よりも前記表示の優先度を高く設定することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記注目領域は、動体を含む領域であり、
    前記設定手段は、
    前記動体の移動方向が前記全方位画像の中心に向かう方向である場合、前記動体の移動方向が前記全方位画像の中心から遠ざかる方向である場合よりも前記表示の優先度を高く設定することを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記設定手段は、
    前記注目領域の歪曲率が閾値以上である場合、当該注目領域を表示の対象外とすべく前記表示の優先度を設定することを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
14. 前記全方位画像から前記注目領域を検出する検出手段をさらに備え、
    前記設定手段は、ユーザにより指定された前記全方位画像における指定領域と、前記検出手段により検出された前記注目領域との表示の優先度を設定することを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記検出手段は、前記動体を含む領域を前記注目領域として検出することを特徴とする請求項１４に記載の情報処理装置。
16. 前記設定手段により設定された表示の優先度が高い順に、前記注目領域の画像を表示装置に表示させる表示制御手段をさらに備えることを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。
17. 前記表示装置に表示させる前記注目領域の画像の数を決定する決定手段と、
    前記決定手段により決定された前記注目領域の画像の数に応じて、前記表示装置において画像を表示可能な複数の表示領域のうち、前記注目領域以外の画像の表示用として使用されている表示領域から、前記注目領域の画像の表示用として使用する表示領域を選択する選択手段と、をさらに備え、
    前記表示制御手段は、前記選択手段により選択された前記表示領域に前記注目領域の画像を表示させることを特徴とする請求項１６に記載の情報処理装置。
18. 全方位画像における注目領域の位置を示す位置情報を取得するステップと、
    前記全方位画像の画素密度情報を取得するステップと、
    前記位置情報と前記画素密度情報とに基づいて、前記注目領域の表示の優先度を設定するステップと、を含むことを特徴とする情報処理方法。
19. コンピュータを、請求項１から１７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。