JP2020191514A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】集音領域が撮像領域から外れた場合でもユーザが集音領域を確認できるようにする情報処理装置を提供する。
【解決手段】情報処理装置は、集音機能を有する撮像装置により撮像された撮像画像を取得して表示する表示手段と、表示手段により表示された撮像画像に対して、撮像装置の集音領域を設定する設定手段と、撮像装置により撮像される撮像領域を変更する変更手段と、変更手段により撮像領域が変更された場合、集音領域が表示手段により表示されている撮像画像内にあるかを判定する判定手段と、判定手段が、集音領域は撮像画像内にないと判定した場合、集音領域に関する情報を表示手段に表示させる制御手段と、を備える。
【選択図】図６

Description

本発明は、情報処理装置および情報処理方法に関する。

従来より、インターネットやイントラネットを利用したネットワークカメラシステムが普及している。ネットワークカメラシステムでは、例えば、カメラとＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）とをネットワークで接続する。そして、カメラで撮像した画像や、カメラに内蔵されたマイク（もしくは外付けされたマイク）で収録した音声を、ネットワークを介して、ＰＣに送信する。ネットワークカメラシステムのユーザは、画像および音声をＰＣのモニタやスピーカ等で視聴することができる。
カメラがＰＴＺ（パン・チルト・ズーム）機能を有する場合、ネットワークカメラシステムのユーザは、ＰＣのモニタを確認しながら、遠く離れた場所に設置したカメラを遠隔操作することができる。また、カメラがＰＴＺ機能を有する場合、複数の場所の監視を１台のモニタで行うことも可能である。

ネットワークカメラシステムを利用したテレビ会議システムやライブストリーミングカメラも普及している。例えば、テレビ会議システムでは、複数の無指向性マイクを使用し、当該複数の無指向性マイクから出力される音声信号を所定の方法で処理することにより、入力音声の指向性を形成する（ビームフォーミング技術）。また、特許文献１では、ビームフォーミング技術を利用したネットワークカメラが提案されている。

特開２０１２−２９２０９号公報

しかしながら、ＰＴＺ機能を有するカメラにおいてビームフォーミング等により集音領域を指定した後にパン・チルト・ズーム動作を行うと、集音領域が撮像領域から外れてしまいモニタに表示されなくなってしまうことがある。集音領域がモニタに表示されなくなると、ユーザは、どこから集音しているのか分からなくなってしまい、不便である。
上記課題に鑑みて、本発明の目的は、集音領域が撮像領域から外れた場合でもユーザが集音領域を確認できるようにする情報処理装置を提供することである。

上記した課題を解決するために、本発明の１つの態様による情報処理装置は、集音機能を有する撮像装置により撮像された撮像画像を取得して表示する表示手段と、前記表示手段により表示された撮像画像に対して、前記撮像装置の集音領域を設定する設定手段と、前記撮像装置により撮像される撮像領域を変更する変更手段と、前記変更手段により前記撮像領域が変更された場合、前記集音領域が前記表示手段により表示されている撮像画像内にあるかを判定する判定手段と、前記判定手段が、前記集音領域は前記撮像画像内にないと判定した場合、前記集音領域に関する情報を前記表示手段に表示させる制御手段と、を備える。

本発明によれば、集音領域が撮像領域から外れた場合でも集音領域を確認することが可能となる。

本発明に係る実施形態のネットワークカメラの構成図の一例である。 ビームフォーミング技術を説明するための概念図。 本発明に係る実施形態のクライアント装置の構成図の一例である。 本発明に係る実施形態の集音領域指定方法の一例を示す図である。 本発明に係る実施形態のフローチャートである。 本発明に係る実施形態のフローチャートである。 本発明に係る実施形態のフローチャートである。 本発明に係る実施形態の集音領域表示方法の一例である。

以下、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

実施形態１
＜ネットワークカメラシステムの構成＞
本実施形態に係るネットワークカメラシステムの構成例を、図１を用いて説明する。本実施形態に係るネットワークカメラシステム１０は、図１に示すように、ネットワークカメラ１００とクライアント装置２００とを有している。ネットワークカメラ１００は撮像装置の一例である。本実施形態では、ネットワークカメラ１００は集音機能を有する。クライアント装置２００は、情報処理装置の一例である。クライアント装置２００は、例えば、ＰＣ（パーソナルコンピュータ）である。

ネットワークカメラ１００とクライアント装置２００とは、ＬＡＮやインターネットなどのネットワーク１５０に接続されており、互いにデータ通信が可能な状態となっている。ネットワーク１５０は有線ネットワークまたは無線ネットワークである。なお、ネットワークカメラ１００とクライアント装置２００とは、複数のネットワークを介して接続されてもよい。また、ネットワークカメラ１００とクライアント装置２００とは、１つ以上の装置を介して接続されてもよい。つまり、ネットワークカメラ１００とクライアント装置２００とが互いにデータ通信を行うことが可能であれば、ネットワークカメラ１００とクライアント装置２００との間のネットワーク構成は、特定のネットワーク構成に限定されない。

＜ネットワークカメラの構成＞
ネットワークカメラ１００は、撮像部１０１、画像処理部１０２、フォーカス・絞り駆動部１０３、フォーカス・絞り制御部１０４、パン駆動部１０５、チルト駆動部１０６、ズーム駆動部１０７およびパン・チルト・ズーム制御部１０８を備える。また、ネットワークカメラ１００は、マイクＭ１、Ｍ２、音声処理部１０９、システム制御部１１０、通信部１１１およびメモリ１１２を備える。なお、パンはネットワークカメラ１００のパンニング（ｐａｎｎｉｎｇ）を意味し、チルトはネットワークカメラ１００のチルティング（ｔｉｌｔｉｎｇ）を意味する。

撮像部１０１は、レンズおよび撮像素子から構成され、被写体を含む外界の光を電気信号に変換し、変換した電気信号を画像信号として、フレーム毎に画像処理部１０２に送信する。

画像処理部１０２は、撮像部１０１から受信する各フレームの画像信号に対して適当な画像信号処理を施すことで、デジタルデータとしての撮像画像を生成する。
フォーカス・絞り駆動部１０３は、ファーカスレンズ・絞り機構により構成される。フォーカス・絞り駆動部１０３の動作は、フォーカス・絞り制御部１０４が生成するフォーカス・絞り制御コマンドに従って制御される。
フォーカス・絞り制御部１０４は、例えば、クライアント装置２００からの指示に基づいて、フォーカス・絞り制御コマンドを生成する。

パン駆動部１０５は、撮像部１０１のパン角を変更するためのメカ駆動系および駆動源のモータにより構成される。パン駆動部１０５の動作はパン・チルト・ズーム制御部１０８が生成するパン動作コマンドに従って制御される。パン・チルト・ズーム制御部１０８は、例えば、クライアント装置２００からの指示に基づいて、パン動作コマンドを生成する。
チルト駆動部１０６は、撮像部１０１のチルト角を変更するためのメカ駆動系および駆動源のモータにより構成される。チルト駆動部１０６の動作はパン・チルト・ズーム制御部１０８が生成するチルト動作コマンドに従って制御される。パン・チルト・ズーム制御部１０８は、例えば、クライアント装置２００からの指示に基づいて、チルト動作コマンドを生成する。

ズーム駆動部１０７は、ズームレンズの駆動系およびその駆動源のモータにより構成される。ズーム駆動部１０７の動作はパン・チルト・ズーム制御部１０８が生成するズーム制御コマンドに従って制御される。パン・チルト・ズーム制御部１０８は、例えば、クライアント装置２００からの指示に基づいて、ズーム制御コマンドを生成する。

マイクＭ１、Ｍ２はコンデンサマイクやＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｉｃａｌ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）マイク等により構成される。マイクＭ１、Ｍ２は、マイクに入ってくる音を電気信号に変換することにより、音声信号を生成する。音声処理部１０９は、マイクＭ１、Ｍ２から受信する音声信号に対して適当な音声信号処理を施すことで、デジタルデータとしての音声信号を生成する。なお、図１にはマイクが２つ示されているが、マイクは３個以上あってもよい。

システム制御部１１０は、ネットワークカメラ１００を構成する各部の動作制御を行う。また、システム制御部１１０は、ネットワーク１５０を介したクライアント装置２００とのデータの送受信を行うよう、通信部１１１を制御する。

メモリ１１２は、各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくために使用される。例えば、クライアント装置２００からの制御指示により静止画像、パノラマ画像、動画像等の撮像データや音声データを記録することが可能である。また、メモリ１１２は、各種パラメータや、システム制御部１１０が実行するプログラム格納領域、プログラム実行中のワーク領域等として使用され得る。さらに、メモリ１１２は、ネットワークカメラ１００の撮像方向や、パン・チルト・ズーム制御部１０４を駆動するための制御パラメータ等を保持することもできる。システム制御部１１０はメモリ１１２に保持されたプログラムを実行することができる。
メモリ１１２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリまたは着脱可能なＳＤカードなどの記憶媒体により構成される。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＨＤＤはＨａｒｄ Ｄｉｓｃ Ｄｒｉｖｅの略である。

システム制御部１１０は、画像処理部１０２から順次送信されてくる各フレームの撮像画像や音声処理部１０９から順次送信されてくる音声信号を順次、通信部１１１からネットワーク１５０を介してクライアント装置２００に送信する。
また、システム制御部１１０は、ネットワーク１１０および通信部１１１を介して、クライアント装置２００から送信された各種のコマンドを受信する。システム制御部１１０は、当該受信したコマンドに応じた処理も実行する。

例えば、システム制御部１１０がクライアント装置２００からカメラ制御コマンドを受信すると、システム制御部１１０は、ネットワークカメラ１００の撮像条件の設定や、撮像方向におけるパン角およびチルト角の制御を行う。
制御の一例を挙げると、システム制御部１１０がパン制御コマンドを受信すると、システム制御部１１０はパン動作コマンドを生成し、当該パン動作コマンドをパン・チルト・ズーム制御部１０８に送信する。パン動作コマンドを受信したパン・チルト・ズーム制御部１０８は、パン動作コマンドに従ってパン駆動部１０５を制御する。そして、パン駆動部１０５が、撮像部１０１のパン角を制御する（変更する）。
なお、ネットワークカメラ１００は、図１に示した以外の要素を含んでもよい。例えば、ネットワークカメラ１００は、アラート（例えば、警告音や警告光）を発する警告部を有してもよい。

図２は音声処理部１０９が集音処理のために行うビームフォーミング（特定の方向の音声を強調して集音する技術）を説明する概念図である。図２に示すように、２つのマイクＭ１とＭ２の間の距離をａとし、マイクＭ１とＭ２を結ぶ直線Ｓ１と、マイクＭ１から音源までの直線Ｓ２がなす角度をθとすると、音源から２つのマイクＭ１、Ｍ２までの距離差ｄは
ｄ＝ａ・ｃｏｓθ
である。よって、音源から２つのマイクＭ１、Ｍ２に音が到達するまでの時間差ｔは、音速をｖとすると
ｔ＝ａ／ｖ・ｃｏｓθ
となる。角度θを所定の角度に設定すると、マイクＭ１、Ｍ２への音源からの音到達の時間差ｔが一意に求まるため、当該時間差ｔを適切な値に設定して到達音を足し合わせることで、音源からの音が強調される。一方、他の角度からの音は時間差ｔとは異なる時間差で到達するので、強調されることはない。このようにして、入力音声の指向性を形成する技術をビームフォーミング技術と呼ぶ。

よって、マイクＭ１、Ｍ２が無指向性の場合でも、音声処理部１０９の音声信号処理により特定方向の集音化を実現することができる。クライアント装置２００のユーザは、ネットワークカメラ１００が撮像する領域を見ながら、マウスやタッチパネル（後述するクライアント装置２００の入力部２０７）を用いて、集音する領域（以下、「集音領域」と称する）を自由に設定することができる。また、設定した集音領域を示す領域枠は、ネットワークカメラ１００が撮像する撮像画像（ライブ画像）に重畳することで、常に確認することができる。

＜クライアント装置の構成＞
次に、図３を用いてクライアント装置２００の構成例を説明する。
クライアント装置２００は、通信部２０１、メモリ２０２、システム制御２０３、画像処理部２０４、モニタ２０５、カメラ制御ＵＩ処理部２０６、入力部２０７、スピーカ制御部２０８およびスピーカ２０９を備える。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

通信部２０１は、ネットワーク１５０を介してネットワークカメラ１００とのデータの送受信を行う。例えば、ネットワークカメラ１００からネットワーク１５０を介して撮像画像等がクライアント装置２００に送信されてきた場合、通信部２０１は、当該撮像画像等を受信して、システム制御部２０３を介して画像処理部２０４に転送する。また、通信部２０１は、システム制御部２０３を介してカメラ制御ＵＩ処理部２０６から各種のコマンドを受信すると、当該コマンドを、ネットワーク１５０を介してネットワークカメラ１００に送信する。

システム制御部２０３は、クライアント装置２００の全体を制御する。システム制御部２０３は、例えば、１つまたは複数のプロセッサ（例えば、ＣＰＵやＭＰＵ）により構成される。
画像処理部２０４は、通信部２０１から撮像画像を受信すると、当該撮像画像に各種の画像処理を行う。そして、画像処理部２０４は、画像処理済みの撮像画像をモニタ２０５に送信する。画像処理済みの撮像画像を受信したモニタ２０５は、モニタ２０５の表示画面上に、画像処理済みの撮像画像を表示する。モニタ２０５は、撮像部１０１が撮像した画像を、クライアント装置２００において再生する。

モニタ２０５は、液晶画面などにより構成されており、画像処理部２０４から受信した撮像画像や、後述する様々なＧＵＩ（グラフィカルユーザインタフェース）等を表示する。
カメラ制御ＵＩ処理部２０６は、ネットワークカメラ１００の撮像条件の設定やパン角やチルト角等を指示する。また、カメラ制御ＵＩ処理部２０６は、様々なＧＵＩをモニタ２０５の表示画面上に表示させる。

入力部２０７は、キーボードやマウスなどにより構成されている。ユーザは、入力部２０７を操作することで、モニタ２０５上のＧＵＩを操作することができる。また、ユーザは、入力部２０７を操作することで、各種のコマンドをクライアント装置２００に入力することができる。カメラ制御ＵＩ処理部２０６は、入力部２０７の操作に対応した処理を行い、当該処理により得られた情報をシステム制御部２０３に送信する。なお、入力部２０７はモニタ２０５内に備わるタッチパネルでもよい。ユーザはタッチパネルにタッチする（タッチパネルを操作する）ことで直感的な操作を行うことができる。入力部２０７は、操作部と称してもよい。

スピーカ制御部２０８は、通信部２０１からシステム制御部２０３を介して音声信号を受けると、当該音声信号に各種の音声信号処理を行う。そして、スピーカ制御部２０８は、信号処理済みの音声信号をスピーカ２０９に送信する。
音声信号を受信したスピーカ２０９は、当該音声信号に応じた音を生成して出力する。スピーカ２０９は、マイクＭ１、Ｍ２に入った音を、クライアント装置２００において再生する。

このように、クライアント装置２００は、ネットワークカメラ１００からネットワーク１５０を介して送信された撮像画像を取得し、画像の再生を行うこと（モニタ２０５に撮像画像を表示すること）ができる。また、クライアント装置２００は、ネットワークカメラ１００からネットワーク１５０を介して送信された音声信号を取得して、音声の再生を行うことができる。さらに、クライアント装置２００は、ネットワーク１５０を介してネットワークカメラ１００を制御することができる。

なお、パン駆動部１０５の駆動範囲とチルト駆動部１０６の駆動範囲とズーム駆動部１０７の駆動範囲（すなわち全撮像領域）は、メモリ１１２に予め記憶（入力）されているとする。ネットワークカメラ１００のシステム制御部１１０は、メモリ１１２の記憶内容を参照することにより、パン駆動部１０５の駆動範囲とチルト駆動部１０６の駆動範囲を知ることができる。また、システム制御部１１０は、パン・チルト・ズーム制御部１０８を介して、パン駆動部１０５、チルト駆動部１０６およびズーム駆動部１０７の現在の位置を知ることができる。これにより、システム制御部１１０は、全撮像領域に対する現在の撮像領域を知ることが可能である。全撮像領域に対する現在の撮像領域の情報は、撮像画像と一緒に、撮像領域座標データとして、ネットワークカメラ１００からクライアント装置２００に送信される。クライアント装置２００のカメラ制御ＵＩ処理部２０６は、ネットワークカメラ１００の撮像画像を表示するとともに、全撮像領域座標のＧＵＩおよび現在の撮像領域座標のＧＵＩなどをモニタ２０５の表示画面上に表示させることも可能である。

また、クライアント装置２００は、図３に示した以外の要素を含んでもよい。例えば、クライアント装置２００は、アラート（例えば、警告光）を発する警告部を有してもよい。アラートが警告音の場合、クライアント装置２００はスピーカ２０９から警告音を発する。

＜集音領域の指定方法と座標送出＞
ユーザがクライアント装置２００のモニタ２０５を用いて集音領域を指定（設定）する際の操作および処理を、図４を用いて説明する。
まず、集音領域の位置および大きさを指定する操作について説明する。
ユーザは、マウスやタッチパネルなどの入力部２０７を操作して、モニタ２０５上で矩形３０２を規定する対角線３０１を指示する。具体的には、入力部２０７の操作（マウスの操作やタッチパネルへのタッチ操作）によりポインタやタッチを移動して軌跡（対角線３０１）を形成することにより、集音領域（矩形３０２）の位置および大きさを指定することができる。

このように、ユーザの操作に応じてマウスもしくはタッチの軌跡３０１を対角線とする矩形３０２が設定される。従って、ユーザはモニタ２０５において矩形の対角線を指定することで、所望の位置と大きさを持つ集音領域を指定することができる。矩形３０２は集音領域を示すので、符号３０２は以下の記載において集音領域を指す場合にも用いることがある。

クライアント装置２００のシステム制御部２０３は、全撮像領域の座標情報３０４と、表示領域３０３の座標情報３０５と、集音領域３０２の座標情報３０６をモニタ２０５に表示する。全撮像領域は、予め決められている領域であり、ネットワークカメラ１００のパン・チルト動作から撮像できる最大撮像領域である。表示領域３０３は、現在のパン・チルト・ズームにより決まる現在の撮像領域であり、ネットワークカメラ１００の現在の画角に対応している領域である。集音領域３０２は、ユーザの操作によって設定された集音領域である。集音領域３０２の座標情報３０６は、入力部２０７で指定した軌跡３０１で規定される矩形３０２の横方向座標（座標Ｘ）と縦方向座標（座標Ｙ）からなる。

集音領域３０２が設定されると、座標Ｘおよび座標Ｙの情報は、クライアント装置２００からネットワークカメラ１００に送信され、ネットワークカメラ１００のシステム制御部１１０は、受信した座標Ｘおよび座標Ｙの情報をメモリ１１２に記録する。

＜集音領域の撮像および集音＞
次に、集音領域の撮像サブフローを、図５のフローチャートを用いて説明する。
本実施形態において、ネットワークカメラ１００は、クライアント装置２００にて集音領域３０２の指定（設定）がなされると、集音領域３０２の集音を行うと共に、集音領域３０２の撮像を行う。そして、ネットワークカメラ１００は、集音領域３０２の座標情報３０６と共に撮像画像（集音領域の画像）をメモリ１１２に保存する。

図５は、クライアント装置２００において集音領域３０２が指定された後に、ネットワークカメラ１００が集音領域３０２を撮像する手順を示すフローチャートである。ＳはＳｔｅｐの略である。
Ｓ１０１において、クライアント装置２００は、ネットワークカメラ１００が撮像した画像を受信しモニタ２０５に表示する。

Ｓ１０２おいて、クライアント装置２００は、ユーザが図４で示したように入力部２０７を操作して集音領域３０２を設定したか（指定したか）を判定する。集音領域３０２が設定された場合（Ｓ１０２：Ｙｅｓ）、Ｓ１０３に進む。集音領域３０２が設定されていない場合、Ｓ１０２を繰り返す。
Ｓ１０３おいて、クライアント装置２００は、入力部２０７で設定された集音領域３０２の座標情報３０５をネットワークカメラ１００に送信する。なお、クライアント装置２００は、座標情報３０５を集音座標データとして、自装置のメモリ２０２に保存する。
Ｓ１０４において、ネットワークカメラ１００はクライアント装置２００から座標情報３０５を受信し、座標情報３０５を集音座標データとしてメモリ１１２に保存する。

Ｓ１０５において、ネットワークカメラ１００は指定された集音領域３０２の座標の画像を撮像する。
Ｓ１０６において、ネットワークカメラ１００は、撮像画像（集音領域３０２の画像）をメモリ１１２に保存する。集音領域３０２の画像は、集音領域３０２が設定された際にネットワークカメラ１００が撮像した画像である。
Ｓ１０７において、ネットワークカメラ１００のシステム制御部１１０は、マイクＭ１、Ｍ２に入力される音を所望の形態で受信するために、音声処理部１０９を制御する。具体的には、システム制御部１１０は、音声処理部１０９で、ビームフォーミングによる集音処理を行う。

なお、システム制御部１１０は音声処理部１１０で（ビームフォーミングにより）集音化された音声信号を、通信部１１１を介してクライアント装置２００に送信する。当該音声信号を受信したクライアント装置２００は、当該音声信号に応じた音声をスピーカ２０９から出力するようにスピーカ制御部２０８の制御を行う。

＜集音領域が表示範囲内にあるかの判定＞
次に、集音領域３０２が表示範囲（現在モニタ２０５に表示されている表示領域３０３）内にあるかを判定するサブフローについて、図６のフローチャートを用いて説明する。

図６のＳ２０１において、ネットワークカメラ１００のシステム制御部１１０は集音領域の設定が行われたかを判定する。判定結果がＹｅｓの場合、Ｓ２０２に進む。判定結果がＮｏの場合、Ｓ２０１を繰り返す。
Ｓ２０２において、システム制御部１１０は、メモリ１１２に保存されている集音座標データを読み出すことにより、集音領域３０２の情報（集音領域座標）を取得する。

Ｓ２０３において、システム制御部１１０は、パン・チルト・ズーム制御部１０８よりパン・チルト・ズームの位置データを取得して、現在の撮像領域より撮像領域座標を算出する。
Ｓ２０４において、システム制御部１１０は集音領域座標と撮像領域座標を比較し、比較の結果、集音領域が撮像領域（モニタ２０５に表示されている撮像画像）内にあるかどうかを判定する。
Ｓ２０５において、システム制御部１１０は、Ｓ２０４の判定結果をクライアント装置２００に送信する。

＜メインフローチャート＞
次に、図１、図３、図７および図８を用いて、本実施形態の動作について説明する。図７は、本実施例のメインフローチャートである。なお、ネットワークカメラ１００は、図５のサブフローを既に実行しているとする。
Ｓ３０１において、ネットワークカメラ１００は、ユーザによりパン制御、チルト制御およびズーム制御の少なくとも１つが行われ撮像領域（撮像範囲）が変更がされたか否かを判定する。Ｓ３０１の判定結果がＹｅｓの場合、Ｓ３０２に進む。Ｓ３０１の判定結果がＮｏの場合、Ｓ３０１を繰り返す。

Ｓ３０２において、パン・チルト・ズーム制御部１０８は、システム制御部１１０からのコマンドに従って、パン駆動部１０５、チルト駆動部１０６およびズーム駆動部１０７を駆動して、撮像領域を変更する。
Ｓ３０３において、ネットワークカメラ１００は、図６のサブフローを行う。
Ｓ３０４において、ネットワークカメラ１００は、集音領域が撮像画像の表示範囲内（撮像画像内）に入っているかを判定する。判定結果がＹｅｓの場合、Ｓ３０８に進む。判定結果がＮｏの場合、Ｓ３０５に進む。

Ｓ３０５において、ネットワークカメラ１００は、図５のサブフローで撮像してメモリ１１２に記録した撮像画像（過去の画像）を、クライアント装置２００に送信する。
Ｓ３０６において、クライアント装置２００はネットワークカメラ１００から集音領域の撮像画像を受信する。そして、システム制御部２０３は画像処理部２０４を制御して、モニタ２０５に、受信した撮像画像を表示させる。さらに、Ｓ３０７において、クライアント装置２００はモニタ２０５にアイコン７０４（図８）を表示させる。アイコンは、グラフィカルユーザインタフェースの一例である。

図８は、モニタ２０５に、Ｓ３０６で受信した撮像画像（過去の画像）７０３とアイコン７０４とを表示した例を示している。モニタ２０５の画面表示には、現在の撮像領域（ライブ画像）３０３が表示されており、撮像領域３０３の下にサブウィンドウ７０２が形成（規定）される。そして、サブウィンドウ７０２内に、ネットワークカメラ１００から受信した過去の画像７０３（図５のＳ１０６で保存した画像）とアイコン７０４とが表示される。図８において、サブウィンドウ７０２は、破線で示された矩形のエリアである。

アイコン７０４は、ネットワークカメラ１００の上方から集音領域３０２と撮像領域３０３を見た俯瞰図を表示している。より詳しくは、アイコン（俯瞰図）７０４は、集音領域３０２の座標情報３０６に基づいて作成された第１の扇状部分７０５と、撮像領域（表示領域）３０３の座標情報３０５に基づいて作成された第２の扇状部分７０６とを表示している。アイコン７０４を見ると、第１の扇状部分７０５と第２の扇状部分７０６とにより、集音領域３０２（または画像７０３）と撮像領域３０３との位置関係が一目で（直観的に）把握できる。第１の扇状部分７０５は集音領域を示す図形であり、第２の扇状部分７０６は現在の撮像領域を示す図形である。

このように、Ｓ３０４において集音領域が撮像範囲外であると判定された場合は、モニタ２０５は、現在の撮像画像を撮像領域３０３に表示し、さらに過去の画像７０３およびアイコン７０４をサブウィンドウ７０２に表示する。Ｓ３０４において集音領域が撮像範囲外であると判定される場合とは、例えば、図５のサブフローを終了した後に、ネットワークカメラ１００により撮像される撮像領域が変更されて、ネットワークカメラ１００の画角が集音領域から外れる場合である。

一方、Ｓ３０４において集音領域が撮像範囲内（撮像画像内）にあると判定された場合は、Ｓ３０８において、過去の画像７０３を非表示にし、Ｓ３０９において、アイコン７０４も非表示にする（図４のような画面になる）。Ｓ３０４において集音領域が撮像範囲内であると判定される場合とは、例えば、集音領域から外れていたネットワークカメラ１００の画角が集音領域内に戻る場合である。このような場合、モニタ２０５に表示されていた過去の画像７０３とアイコン７０４は消去される。

＜実施形態の効果＞
上記したように、本実施形態によれば、ネットワークカメラ１００が表示画角外を集音していても、クライアント装置２００のモニタ２０５には、集音領域を示す情報（集音領域３０２の画像７０３とアイコン７０４）が表示される。ユーザはクライアント装置２００のモニタ２０５（集音領域３０２の画像７０３とアイコン７０４）を見ることにより、どのエリアを集音しているのかが分かる。つまり、本実施形態によれば、集音指定領域が撮像領域から外れた場合でも集音指定領域を確認することが可能となる。集音領域を示す情報は、集音領域に関する情報である。
また、集音領域が画角内に戻ったならば、画像７０３とアイコン７０４を消去する（非表示にする）ので、画像７０３とアイコン７０４の表示が必要な場合にのみ、画像７０３とアイコン７０４をモニタ２０５に表示する。

なお、集音領域の撮像画像７０３とアイコン７０４に、ボタンまたはスイッチの機能を持たせてもよい。その場合、ユーザがボタン（撮像画像７０３および／またはアイコン７０４）を押下すると、例えば、ネットワークカメラ１００は、現在の撮像領域から集音領域に撮像領域を変更する（変更後の撮像領域が集音領域を含むようにする）。撮像画像７０３とアイコン７０４は、グラフィカルユーザインタフェースとしてモニタ２０５に表示されることで、ボタンまたはスイッチとして機能することができる。
また、ユーザがボタン（撮像画像７０３および／またはアイコン７０４）を押下すると、モニタ２０５は、音声の集音機能を続行させるか否かをユーザに選択を促すメニューを表示してもよい。当該メニューをユーザが選択すると、ネットワークカメラ１００は集音を中止して全方位（無指向）の音声を収録するようにしてもよい。このメニューは、ネットワークカメラ１００の集音機能による集音を継続させるかを決定する決定部として機能する。

また、本実施形態では集音領域が現在の撮像領域から完全に外れている場合について説明したが、集音領域の一部が現在の撮像領域に含まれている場合も有り得る。集音領域の一部が現在の撮像領域に含まれている場合は、集音領域の残りの部分（または集音領域の全部）をサブウィンドウ７０２に表示してもよい。つまり、集音領域の一部が現在の撮像領域に含まれている場合は、集音領域の残部または全部を示す情報をモニタ２０５に表示させてもよい。また、集音領域の残部または全部を示す情報をモニタ２０５に表示するかしないかをユーザに選択させてもよい。表示するかしないかをユーザに選択させる場合は、選択メニュー（選択部）がモニタ２０５に表示される。その際に、ユーザの選択により、集音領域の撮像画像７０３とアイコン７０４の両方または一方を非表示にしてもよい。

図４の状態から集音領域３０２の一部（または全部）が現在の撮像領域３０３から外れると、ネットワークカメラ１００またはクライアント装置２００はアラート（例えば、警告音、警告光）を発してもよい。
上記した実施形態では、クライアント装置２００はＰＣ（パーソナルコンピュータ）であるとしたが、クライアント装置２００は、通信機能を有するノートパソコン、タブレット端末、スマートフォン等でもよい。また、撮像装置の例としてネットワークカメラ１００を説明したが、他の種類の撮像装置をネットワークカメラ１００の代わりに用いてもよい。
上記した実施形態では、モニタ２０５は、クライアント装置２００に含まれるとしたが、クライアント装置２００の外部に設けてもよい。また、スピーカ２０９もクライアント装置２００の外部に設けてもよい。

上記した実施形態ではマイクＭ１、Ｍ２は、ネットワークカメラ１００に内蔵されているが、マイクＭ１、Ｍ２は、ネットワークカメラ１００に外付けされてもよい。
図７ではＳ３０６の後にＳ３０７が実行されるように描かれているが、Ｓ３０６とＳ３０７は同時に実行してもよいし、Ｓ３０７をＳ３０６の前に実行してもよい。同様に、Ｓ３０８とＳ３０９は同時に実行してもよいし、Ｓ３０９をＳ３０８の前に実行してもよい。

上記した実施形態では、Ｓ３０４の判定結果がＮｏの場合、モニタ２０５に過去の画像７０３とアイコン７０４を表示するとした（Ｓ３０６、Ｓ３０７）が、モニタ２０５に過去の画像７０３だけを表示してもよい。あるいは、モニタ２０５にアイコン７０４だけを表示してもよい。モニタ２０５に過去の画像７０３だけ（またはアイコン７０４だけ）を表示する場合であっても、ユーザは、集音領域が現在の画角の外になったことを認識できるからである。つまり、本実施形態では、集音領域が現在の画角の外になった場合に、集音領域を示す情報をモニタ２０５に追加表示することにより、集音領域が現在の画角の外になったことをユーザに提示できればよい。

図１に示したネットワークカメラ１００の機能構成は一例であり、機能モジュール（例えば、１０２、１０４、１０８〜１１１）の一部はハードウェアによって実現されてもよい。また、図３に示したクライアント装置２００の機能構成も一例であり、機能モジュール（例えば、２０１、２０３、２０４、２０６、２０８）の一部はハードウェアによって実現されてもよい。ハードウェアにより実現される場合、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。また、図１および図３に示した機能モジュールの構成は一例であり、複数の機能モジュールが１つの機能モジュールを構成するようにしてもよいし、いずれかの機能モジュールが複数の機能を行うモジュールに分かれてもよい。
クライアント装置２００の機能・構成をネットワークカメラ１００に組み込んでもよい。この場合、ネットワークカメラ１００がモニタ（表示部）を備え、図５〜図７のフローチャートに示された処理を、ネットワークカメラ１００が実行する。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…ネットワークカメラシステム、１００…ネットワークカメラ、１０１…撮像部、１０９…音声処理部、２００…クライアント装置、２０３…システム制御部、２０５…モニタ、２０６…カメラ制御ＵＩ処理部、３０２…集音領域、３０３…表示領域、７０２…サブウィンドウ、７０４…アイコン、Ｍ１…マイク、Ｍ２…マイク

Claims (14)

1. 集音機能を有する撮像装置により撮像された撮像画像を取得して表示する表示手段と、
   前記表示手段により表示された撮像画像に対して、前記撮像装置の集音領域を設定する設定手段と、
   前記撮像装置により撮像される撮像領域を変更する変更手段と、
   前記変更手段により前記撮像領域が変更された場合、前記集音領域が前記表示手段により表示されている撮像画像内にあるかを判定する判定手段と、
   前記判定手段が、前記集音領域は前記撮像画像内にないと判定した場合、前記集音領域に関する情報を前記表示手段に表示させる制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記集音領域に関する情報は、前記集音領域の画像を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記集音領域に関する情報は、前記集音領域と前記撮像領域の位置関係を示す情報を含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記集音領域に関する情報は、現在の撮像領域を示す図形と、前記集音領域を示す図形とを含むことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記集音領域に関する情報はグラフィカルユーザインタフェースとして前記表示手段に表示され、前記グラフィカルユーザインタフェースが操作されると、前記変更手段は、前記撮像装置の撮像領域が前記集音領域を含むように、前記撮像領域を変更することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記集音領域の画像は、前記集音領域が設定された際に前記撮像装置が撮像した画像であることを特徴とする請求項２に記載の情報処理装置。
7. 前記集音領域に関する情報が前記表示手段に表示された後に、前記集音領域が前記撮像画像内に移動した場合、前記制御手段は、前記集音領域に関する情報を前記表示手段において非表示にすることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記撮像装置の集音機能は特定の方向の音声を強調して集音する機能であり、前記判定手段が、前記集音領域は前記撮像画像内にないと判定した場合、前記撮像装置に前記集音機能による集音を継続させるかを決定する決定手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記判定手段が、前記集音領域の一部は前記撮像画像内にあると判定した場合、前記制御手段は、前記集音領域の残部または全部に関する情報を前記表示手段に表示させることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記判定手段が、前記集音領域の一部は前記撮像画像内にあると判定した場合、前記集音領域の残部または全部に関する情報を前記表示手段に表示させるか否かを選択する選択手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記撮像装置はネットワークカメラであることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 撮像手段と、
    前記撮像手段により撮像された撮像画像を表示する表示手段と、
    前記表示手段により表示された撮像画像に対して、集音領域を設定する設定手段と、
    前記設定手段により設定された集音領域の音声を強調して集音する集音手段と、
    前記撮像手段により撮像される撮像領域を変更する変更手段と、
    前記変更手段により前記撮像領域が変更された場合、前記集音領域が前記表示手段により表示されている撮像画像内にあるかを判定する判定手段と、
    前記判定手段が、前記集音領域は前記撮像画像内にないと判定した場合、前記集音領域に関する情報を前記表示手段に表示させる制御手段と、
    を備えることを特徴とする撮像装置。
13. 集音機能を有する撮像装置により撮像された撮像画像を表示部に表示するステップと、
    前記表示部に表示された撮像画像に対して、前記撮像装置の集音領域を設定するステップと、
    前記撮像装置により撮像される撮像領域が変更された場合、前記集音領域が前記表示部により表示されている撮像画像内にあるかを判定するステップと、
    前記判定するステップが、前記集音領域は前記撮像画像内にないと判定した場合、前記集音領域に関する情報を前記表示部に表示させるステップと、
    を有することを特徴とする情報処理方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images