JP2017112464A - 撮像装置および設定方法 - Google Patents

Abstract

【課題】ユーザ領域を簡単に設定する。【解決手段】画像データから複数のユーザを含む広角画像を生成する広角画像生成部と、それぞれのユーザ領域を記憶するユーザ領域記憶部と、画像データから、選択されたユーザ領域の部分を切り出してユーザ画像を生成するユーザ画像生成部と、それぞれのユーザ領域をユーザ領域記憶部に記憶させる設定部とを備え、設定部は、描画情報を取得する描画情報取得部と、描画情報における第１図形の位置を撮像位置として検出し、少なくとも１つの第２図形のそれぞれの位置をそれぞれのユーザに対応するユーザ位置として検出する位置検出部と、それぞれのユーザについて、画像データにおける、撮像位置からユーザ位置へ向かう方向に対応する位置の部分を、ユーザ領域として算出する領域算出部と、それぞれのユーザについて算出されたユーザ領域をユーザ領域記憶部に書き込む書込部と、を有する撮像装置を提供する。【選択図】図１２

Description

本発明は、撮像装置および設定方法に関する。

複数の会議室を用いて会議を行う遠隔会議システムが普及している。この会議システムは、一方の参加者がいる会議室において、会議端末装置を用いて参加者の画像および音声を収集して、これらのデジタルデータを他方の参加者がいる会議室の会議端末装置にネットワークを介して送信する。そして、他方の参加者がいる会議室の会議端末装置が、ディスプレイに画像を表示したり、スピーカで音声を出力したりする。会議システムでは、このような処理を複数の会議室の間で相互に行う。

会議システムでは、例えば３６０°の画角範囲を撮像可能なパノラマカメラを用いて、複数の参加者を撮像した広角画像を配信することができる。また、会議システムでは、複数の参加者のうちの発言をしている参加者（発言者）を検出し、その発言者をクローズアップしたユーザ画像を配信することができる。これにより、会議システムでは、他の会議室の参加者に対して、広角画像により参加者全員を認識させることができるとともに、ユーザ画像により何れの参加者が発言しているのかを認識させることができる。

また、このような会議システムでは、広角画像データの一部分を切り出して、ユーザ画像を生成する場合がある。これにより、会議システムでは、ユーザ画像を生成するための専用のカメラを備えなくてよいので、構成を簡易にすることができる。

特許文献１には、第１の参加者の発話の内容に基づき第２の参加者を特定し、第２の参加者の発話の開始時点から第２の参加者の撮像を開始できるように、カメラを制御するビデオ会議システムが記載されている。

ところで、会議システムでは、会議の開始時点において、それぞれの参加者の位置を、例えばコンピュータ等を操作して予め登録する。しかし、従来の会議システムでは、コンピュータ等を操作して参加者の位置を登録しなければならなく、非常に煩雑であった。

本発明は、上記に鑑みてなされたものであって、複数のユーザを撮像した画像データにおける、それぞれのユーザを含むユーザ領域を、簡単に設定することができる撮像装置および設定方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数のユーザを撮像して撮像データを生成する撮像部と、前記撮像データに対して撮像処理を実行して、所定のフォーマットの画像データを生成する撮像処理部と、前記画像データに基づき複数のユーザを含む広角画像を生成する広角画像生成部と、それぞれのユーザについて、前記画像データにおけるそのユーザを含む部分を示すユーザ領域を記憶するユーザ領域記憶部と、何れかの前記ユーザ領域を選択する選択部と、前記画像データから、選択された前記ユーザ領域の部分を切り出してユーザ画像を生成するユーザ画像生成部と、それぞれのユーザについての前記ユーザ領域を前記ユーザ領域記憶部に予め記憶させる設定部と、を備え、前記設定部は、描画情報を取得する描画情報取得部と、前記描画情報における第１図形の位置を撮像位置として検出し、少なくとも１つの第２図形のそれぞれの位置をそれぞれのユーザに対応するユーザ位置として検出する位置検出部と、それぞれのユーザについて、前記撮像位置から前記ユーザ位置へ向かう方向を算出する方向算出部と、それぞれのユーザについて、前記画像データにおける、前記撮像位置から前記ユーザ位置へ向かう方向に対応する位置の部分を、前記ユーザ領域として算出する領域算出部と、それぞれのユーザについて算出された前記ユーザ領域を前記ユーザ領域記憶部に書き込む書込部と、を有する。

本発明によれば、複数のユーザを撮像した画像データにおける、それぞれのユーザを含むユーザ領域を、簡単に設定することができる。

図１は、実施形態に係る会議システムを示す図である。 図２は、会議端末装置の使用例を示す図である。 図３は、会議端末装置のハードウェア構成を示す図である。 図４は、会議端末装置の機能構成を示す図である。 図５は、撮像装置および複数のマイクロホンの配置の一例を示す図である。 図６は、集音部の機能構成を示す図である。 図７は、撮像装置により生成される出力画像の一例を示す図である。 図８は、撮像装置のハードウェア構成を示す図である。 図９は、撮像装置の機能構成を示す図である。 図１０は、ユーザ領域の位置の一例を示す図である。 図１１は、ユーザ画像の生成処理を示す図である。 図１２は、設定部の機能構成を示す図である。 図１３は、ユーザ領域の設定処理を示すフローチャートである。 図１４は、電子黒板に描画された画像の一例を示す図である。 図１５は、撮像位置からユーザ位置へ向かう方向の算出方法を示す図である。 図１６は、撮像位置からユーザ位置へ向かう方向に対応する位置を示す図である。 図１７は、ユーザ領域を示す図である。 図１８は、第１変形例に係る電子黒板を示す図である。 図１９は、第１変形例に係る設定部の機能構成を示す図である。 図２０は、第１図形および第３図形を表示した電子黒板を示す図である。 図２１は、第２変形例に係る設定部の機能構成を示す図である。 図２２は、複数のユーザを撮像した画像を表示した電子黒板を示す図である。 図２３は、複数のユーザを撮像した画像上に、第１図形、第２図形および第３図形が描かれた電子黒板を示す図である。 図２４は、第３変形例に係る設定部の機能構成を示す図である。 図２５は、確認画像の一例を示す図である。 図２６は、第３変形例に係るユーザ領域の設定処理を示すフローチャートである。

図１は、実施形態に係る会議システム１０を示す図である。会議システム１０は、互いに離れた位置の参加者に、会議等のコミュニケーションをさせるためのシステムである。

会議システム１０は、複数の会議端末装置２０と、中継装置２２とを備える。複数の会議端末装置２０および中継装置２２は、ネットワークを介して相互に接続して、データを送受信する。ネットワークは、ＬＡＮ（Local Area Network）であってもよいし、ＷＡＮ（Wide Area Network）であってもよいし、ＷＡＮに公衆回線が含まれていてもよいし、どのようなネットワークであってもよい。

複数の会議端末装置２０のそれぞれは、同一の機能および構成を有する。複数の会議端末装置２０のそれぞれは、異なる場所（本実施形態においては異なる会議室）に配置される。それぞれの会議室には、少なくとも一人の参加者が存在する。

会議システム１０は、一方の会議端末装置２０から他の会議端末装置２０へと、一方の会議端末装置２０が設置された会議室内の参加者を撮像した映像データ、および、参加者の音声を表す音声データをリアルタイムで送信する。なお、会議システム１０は、一方の会議端末装置２０から他の会議端末装置２０へと一方向に情報を伝達してもよいし、双方向に情報を送信してもよい。また、会議システム１０は、１つの会議端末装置２０から複数の他の会議端末装置２０へと同時に情報を送信してもよい。

中継装置２２は、例えばサーバまたはコンピュータ等の情報処理装置である。中継装置２２は、会議端末装置２０と他の会議端末装置２０との間の中継装置２２を介した通信を確立する。そして、中継装置２２は、会議端末装置２０から受信したデータを他の会議端末装置２０へと転送する。

図２は、会議端末装置２０の使用例を示す図である。会議端末装置２０は、会議室内の参加者を撮像する。また、会議端末装置２０は、会議室内の参加者の音声を集音する。会議端末装置２０は、会議室内の参加者を撮像した映像データおよび参加者の音声を集音した音声データを他の会議端末装置２０へと送信する。

また、会議端末装置２０は、表示装置と接続され、他の会議端末装置２０から受信した映像データを表示装置に表示させる。また、会議端末装置２０は、スピーカと接続され、他の会議端末装置２０から受信した音声データをスピーカから出力させる。会議端末装置２０は、表示装置およびスピーカを内蔵していてもよい。本実施形態においては、会議端末装置２０は、電子黒板２３と接続され、電子黒板２３に映像データを表示させ、電子黒板２３から音声データに応じた音声を出力させる。

また、会議端末装置２０は、会議室内の複数の参加者をフレーム内の撮像可能な位置に配置される。例えば、会議端末装置２０は、３６０°の全周を撮像可能なカメラを有する場合には、図２に示すように、テーブル上に配置されてもよい。また、会議端末装置２０は、天井に配置されてもよいし、会議室の一方の壁側に配置されてもよいし、電子黒板２３と一体とされていてもよい。

図３は、会議端末装置２０のハードウェア構成を示す図である。会議端末装置２０は、ＣＰＵ（Central Processing Unit）２４と、ＲＯＭ（Read Only Memory）２５と、ＲＡＭ（Random Access Memory）２６と、記憶装置２７と、マイクロホンアレイ２８と、撮像装置３０と、操作部３１と、音声出力ＩＦ部３２と、表示ＩＦ部３３と、外部機器接続ＩＦ部３４とを有する。

ＣＰＵ２４は、会議端末装置２０の全体の動作を制御する。また、ＣＰＵ２４は、プログラムを実行する。ＲＯＭ２５は、起動時においてＣＰＵ２４が実行するプログラム等を記憶する。ＲＡＭ２６は、ＣＰＵ２４が実行するデータを記憶し、ＣＰＵ２４のワークエリアとして機能する。記憶装置２７は、会議端末装置２０用の転送制御プログラム、アプリケーションプログラム、画像データおよび音声データ等を記憶する。記憶装置２７は、例えば、ハードディスクまたはフラッシュメモリ等である。

マイクロホンアレイ２８は、それぞれが指向性を有する複数のマイクロホン３６を含む。それぞれのマイクロホン３６は、設定された方向から発せられた音を集音して音声信号を生成する。

撮像装置３０は、ＣＰＵ２４の制御に従って被写体を撮像して画像データを生成する。撮像装置３０については詳細を後述する。マイクロホンアレイ２８および撮像装置３０は、会議端末装置２０の本体を構成する筐体とは別体に設けられてもよい。

操作部３１は、ユーザの操作情報を入力するためのキーボードおよびボタン等である。音声出力ＩＦ部３２は、ＣＰＵ２４の制御に従って、音声信号をスピーカに与えて音声を出力させる。表示ＩＦ部３３は、映像データを表示装置に与えて、映像データに応じた画像を表示装置に表示させる。外部機器接続ＩＦ部３４は、外部機器に接続するためのインターフェース回路である。外部機器接続ＩＦ部３４は、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等を介して電子黒板２３と接続する。

図４は、会議端末装置２０の機能構成を示す図である。会議端末装置２０は、集音部４１と、撮像装置３０と、通信部４２と、音声出力部４３と、表示制御部４４とを有する。

集音部４１は、周囲の音を集音して第１音声データを生成する。より具体的には、集音部４１は、会議室内における参加者の音声を集音し、第１音声データを生成する。また、集音部４１は、複数の参加者のうち発話中の参加者を検出し、検出した参加者の方向を表す方向情報を生成する。集音部４１は、生成した方向情報を撮像装置３０に与える。

撮像装置３０は、周囲の被写体を撮像して第１映像データを生成する。より具体的には、撮像装置３０は、会議室内の複数の参加者を１つのフレーム内に収まるように撮像した広角画像データと、発話中の参加者を撮像したユーザ画像データとを生成する。撮像装置３０は、広角画像データとユーザ画像データとを１つのフレーム内に合成した合成画像データを生成する。そして、撮像装置３０は、合成画像データを含む第１映像データを出力する。

通信部４２は、撮像装置３０により出力された第１映像データおよび集音部４１により出力された第１音声データを、他の会議端末装置２０（他の装置）にネットワークを介して送信する。また、通信部４２は、他の会議端末装置２０から、第２映像データおよび第２音声データを受信する。

音声出力部４３は、通信部４２が受信した第２音声データに応じた音声をスピーカから出力させる。表示制御部４４は、通信部４２が受信した第２映像データを表示装置に表示させる。

図５は、撮像装置３０および複数のマイクロホン３６の配置の一例を示す図である。複数のマイクロホン３６のそれぞれは、指向性を有する。複数のマイクロホン３６は、撮像装置３０の画角の範囲内における異なる方向の音を検出できるように、それぞれが画角の範囲内において分散して配置される。例えば、撮像装置３０が３６０°の範囲を撮像可能な場合には、複数のマイクロホン３６は、図５に示されるように、会議端末装置２０の筐体の周囲に放射状に配置される。

また、複数のマイクロホン３６のそれぞれの指向性の方向と、撮像装置３０により撮像される画角の基準方向（例えば、画角の中心方向、または、画角の左端または右端の方向）との対応関係は、会議端末装置２０に予め設定されている。撮像装置３０は、この対応関係を予め取得して記憶する。これにより、撮像装置３０は、複数のマイクロホン３６により検出された音声の発生方向と、予め登録された対応関係とに基づき、音声発生方向が、撮像された画像内における何れの位置であるかを算出することができる。従って、撮像装置３０は、集音部４１から受け取った方向情報に基づき、フレーム内における発話中の参加者を含むユーザ領域を特定することができる。

図６は、集音部４１の機能構成を示す図である。集音部４１は、ＣＰＵ２４がプログラムを実行することにより実現される。

集音部４１は、音声取得部４６と、方向検出部４７と、音声生成部４８とを有する。音声取得部４６は、マイクロホンアレイ２８を構成する複数のマイクロホン３６のそれぞれから音声信号を取得する。

方向検出部４７は、複数のマイクロホン３６から取得した複数の音声信号から、音声が発せられた方向を検出する。例えば、方向検出部４７は、複数のマイクロホン３６に到達した音の遅延量等に基づき方向を検出する。そして、方向検出部４７は、検出した方向を示す方向情報を撮像装置３０に与える。

音声生成部４８は、複数のマイクロホン３６から取得した複数の音声信号から第１音声データを生成する。音声生成部４８は、例えば、有効な方向の音声信号の選択および有効な複数の音声信号の積算等をして、第１音声データを生成する。音声生成部４８は、生成した第１音声データを通信部４２に与える。

図７は、撮像装置３０により生成される出力画像５０の一例を示す図である。撮像装置３０は、会議室内の複数の参加者を１つのフレーム内に収まるように撮像した広角画像５２を表す広角画像データを生成する。例えば、撮像装置３０は、３６０°の画角を有するレンズ等を用いて撮像したＲＡＷ画像データに対して所定の現像処理および歪補正処理等を行うことにより広角画像データを生成する。

また、撮像装置３０は、集音部４１から受け取った方向情報に基づき、ＲＡＷ画像データに対して所定の現像処理および歪補正処理等を行った後の画像データにおける発話中の参加者が含まれるユーザ領域５６を検出する。撮像装置３０は、画像データから、ユーザ領域５６に対応する画像を抽出する。そして、撮像装置３０は、抽出した部分画像を拡大または縮小して、ユーザ画像５４を表すユーザ画像データを生成する。

撮像装置３０は、広角画像５２を表す広角画像データと、ユーザ画像５４を表すユーザ画像データとを１つのフレーム内に合成して出力画像５０を生成する。そして、撮像装置３０は、出力画像５０を表す合成画像データを含む第１映像データを出力する。

図８は、撮像装置３０のハードウェア構成を示す図である。撮像装置３０は、レンズ光学系６０と、イメージセンサ６２と、現像処理回路６４と、画像処理回路６６と、合成回路６８と、出力回路７０と、制御回路７２と、メモリ７４とを有する。

レンズ光学系６０は、被写体からの反射光をイメージセンサ６２上に集光する。イメージセンサ６２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）等の固体撮像装置を含む。イメージセンサ６２は、光電変換、電荷読み出し、信号増幅、アナログ／デジタル変換を行って、被写体を表す撮像データ（ＲＡＷ画像データ）を出力する。

現像処理回路６４は、イメージセンサ６２から出力された撮像データに対して現像処理等を行って、予め定められた形式の中間画像データを生成する。

画像処理回路６６は、中間画像データから広角画像５２を表す広角画像データを生成する処理、および、中間画像データからユーザ画像５４を表すユーザ画像データを生成する処理を実行する。具体的には、画像処理回路６６は、中間画像データに対する歪補正処理をする。また、画像処理回路６６は、歪補正がされた中間画像データから、所定のフレーム番号のフレームの取得、画像抽出および拡大縮小処理をして、広角画像データおよびユーザ画像データを生成する。

合成回路６８は、広角画像データとユーザ画像データとを合成して合成画像データを生成する。出力回路７０は、合成回路６８により生成された合成画像データを含む映像データを出力する。例えば、出力回路７０は、所定のビデオデータ用のシリアルＩ／Ｆを介して映像データを出力する。

制御回路７２は、例えば、ＭＰＵ（Micro-Processing Unit）等であって装置全体の制御をする。制御回路７２は、一例として、イメージセンサ６２を動作させるためのパラメータおよび撮像処理部８２を動作させるためのパラメータを制御する。

メモリ７４は、例えば、ＲＡＭ等であり、撮像データ、中間画像データ、広角画像データ、ユーザ画像データおよび合成画像データを記憶する。メモリ７４は、現像処理回路６４、画像処理回路６６および合成回路６８が処理を行うためにデータを記憶するワーキングエリアとして機能する。

図９は、撮像装置３０の機能構成を示す図である。撮像装置３０は、図８に示したハードウェアがソフトウェアと協働することにより、図９に示すような機能ブロックを実現する。撮像装置３０は、撮像部８０と、撮像処理部８２と、制御部８４と、歪補正部８６と、広角画像生成部８８と、ユーザ領域記憶部９０と、方向情報取得部９２と、選択部９４と、ユーザ画像生成部９６と、合成部９８と、設定部１００とを有する。

撮像部８０は、被写体である複数のユーザを撮像して撮像データを生成する。撮像部８０は、イメージセンサ６２により実現される。撮像部８０は、複数のユーザを１つのフレーム内に含む広角の撮像データを生成する。例えば、撮像部８０は、３６０°の画角の撮像データを生成する。

撮像処理部８２は、撮像部８０により生成された撮像データに対して撮像処理を実行し、予め定められたフォーマットの画像データを生成する。例えば、撮像処理部８２は、黒レベル補正、欠陥画素補正、シェーディング補正、ホワイトバランス調整、ゲイン調整、ＷＢ（ホワイトバランス）調整、デモザイキング、輪郭強調、色補正、ＮＲ(ノイズリダクション)、ガンマ調整、トーンカーブ調整等の撮像処理を行う。さらに、撮像処理部８２は、ＲＡＷ画像データからＲＧＢまたはＹＣｂＣｒ等の色差信号データへの変換を行う。撮像処理部８２は、現像処理回路６４により実現される。

制御部８４は、撮像部８０に対してパラメータを設定する。例えば、制御部８４は、シャッタースピードおよび露光時間等のイメージセンサ６２を制御するために必要なパラメータを設定する。また、制御部８４は、撮像処理部８２に対してパラメータを設定する。例えば、制御部８４は、ホワイトバランス調整のための色毎のゲイン等を設定する。

歪補正部８６は、撮像処理部８２から画像データを受け取る。歪補正部８６は、画像データに対して、予め登録された歪補正値に基づき広角のレンズにより撮像したことにより生じる画像の歪を補正する。歪補正部８６は、画像処理回路６６により実現される。

広角画像生成部８８は、歪補正がされた画像データを歪補正部８６から受け取る。広角画像生成部８８は、歪補正がされた画像データに基づき複数のユーザを含む広角画像を生成する。例えば、広角画像生成部８８は、歪補正がされた画像データのフレーム全体を広角画像として抽出してもよいし、フレーム全体から数パーセント小さい範囲を広角画像として抽出してもよい。広角画像生成部８８は、抽出した広角画像を必要に応じて拡大縮小して、合成部９８に与える。広角画像生成部８８は、画像処理回路６６により実現される。

ユーザ領域記憶部９０は、それぞれのユーザについて、画像データにおける、そのユーザを含む部分を示すユーザ領域を記憶する。方向情報取得部９２は、集音部４１から発話者の方向を示す方向情報を取得する。そして、方向情報取得部９２は、取得した方向情報から、画像データにおける発話者の位置を算出する。

選択部９４は、方向情報取得部９２により算出された発話者の位置に基づき、ユーザ領域記憶部９０に記憶されている何れかのユーザ領域を選択する。選択部９４は、選択したユーザ領域をユーザ画像生成部９６に与える。

ユーザ画像生成部９６は、歪補正がされた画像データを歪補正部８６から受け取る。また、ユーザ画像生成部９６は、ユーザ領域を選択部９４から受け取る。ユーザ画像生成部９６は、歪補正がされた画像データから、選択されたユーザ領域の部分を切り出してユーザ画像を表すユーザ画像データを生成する。ユーザ画像生成部９６は、切り出したユーザ画像を拡大縮小した画像を表すユーザ画像データを生成してもよい。ユーザ画像生成部９６は、生成したユーザ画像データを合成部９８に与える。ユーザ画像生成部９６は、画像処理回路６６により実現される。

合成部９８は、広角画像生成部８８により生成された広角画像データと、ユーザ画像生成部９６により生成されたユーザ画像データとを取得する。そして、合成部９８は、広角画像データとユーザ画像データとを１つのフレームに合成した合成画像データを生成する。合成部９８は、生成した合成画像データを出力回路７０に与える。合成部９８は、合成回路６８により実現される。

設定部１００は、会議に先立って、それぞれのユーザについてのユーザ領域を算出する。そして、設定部１００は、算出したユーザ領域をユーザ領域記憶部９０に予め記憶させる。なお、設定部１００の詳細については図１２以降においてさらに説明する。

図１０は、歪補正がされた画像データ５８に対する、ユーザ領域５６の位置の一例を示す図である。ユーザ領域５６は、歪補正がされた画像データ５８のフレーム内において、例えば、一人のユーザを含む程度の画角の範囲を指定する領域である。ユーザ領域５６は、被写体である複数のユーザのそれぞれに対応して設定される。例えば、画像データ５８に４人のユーザ（会議の参加者）が含まれていれば、４人のそれぞれについてユーザ領域５６が設定される。歪補正がされた画像データ５８から、何れかのユーザ領域５６に対応する部分画像を切り出した場合、切り出した画像には、一人のユーザが被写体として含まれる。ユーザ領域記憶部９０は、会議の開始に先立って、予めユーザ領域を記憶している。

図１１は、ユーザ画像５４の生成処理を示す図である。方向情報取得部９２は、集音部４１から発話者の方向を示す方向情報を取得して、画像データ５８における発話者の位置を算出する。例えば、撮像部８０により撮像される画像の画角と、集音部４１により検出される発話者の方向とは、予め対応付けがされている。例えば、方向情報に示される０°が、画像データ５８の水平方向の中心位置に対応付けされている。なお、方向情報に示される０°が、画像データ５８の水平方向の左端の位置、または、画像データ５８の水平方向の右端の位置に対応付けされていてもよい。選択部９４は、このような対応付けを示す情報に基づき、方向情報から画像データ５８における発話者の位置を算出する。

選択部９４は、ユーザ領域記憶部９０に記憶されている複数のユーザ領域５６のうち、方向情報取得部９２により算出された発話者の位置から最も近い１つのユーザ領域５６を選択する。そして、ユーザ画像生成部９６は、歪補正がされた画像データ５８から、選択されたユーザ領域５６の部分を切り出してユーザ画像５４を生成する。

図１２は、設定部１００の機能構成を示す図である。設定部１００は、描画情報取得部１２２と、図形記憶部１２４と、位置検出部１２６と、方向算出部１２８と、領域算出部１３０と、書込部１３２とを有する。

描画情報取得部１２２は、電子黒板２３の表示入力部に対して描かれた線画を表す描画情報を取得する。描画情報は、例えば、ラスタデータであってもよいし、ベクタデータであってもよい。

図形記憶部１２４は、撮像位置を表す第１図形の形状、ユーザ位置を表す第２図形の形状、および、基準方向を表す第３図形の形状を記憶する。第１図形、第２図形および第３図形は、予め定められた形状である。本実施形態においては、第１図形は三角形であり、第２図形は丸であり、第３図形は矢印である。

位置検出部１２６は、図形記憶部１２４に記憶された情報に基づき、描画情報における第１図形の位置を撮像位置として検出する。また、位置検出部１２６は、少なくとも１つの第２図形のそれぞれの位置をそれぞれのユーザに対応するユーザ位置として検出する。また、位置検出部１２６は、第３図形が表す方向を基準方向として検出する。

方向算出部１２８は、それぞれのユーザについて、撮像位置からユーザ位置へ向かう方向を算出する。例えば、方向算出部１２８は、基準方向からの角度を、撮像位置からユーザ位置へ向かう方向として算出する。

領域算出部１３０は、それぞれのユーザについて、画像データにおける、撮像位置からユーザ位置へ向かう方向に対応する位置の部分を、ユーザ領域として算出する。書込部１３２は、それぞれのユーザについて算出されたユーザ領域を、ユーザ領域記憶部９０に書き込む。

図１３は、ユーザ領域の設定処理を示すフローチャートである。会議の参加者である操作者は、会議の開始時において、図１４に示すように、電子黒板２３の表示入力部に対して、第１図形１５２（例えば三角形）、少なくとも１つの第２図形１５４（例えば丸）および第３図形１５６（例えば矢印）を表す線画を入力する。この場合において、操作者は、第１図形１５２、それぞれの第２図形１５４および第３図形１５６の相対的な位置および方向関係が、第１図形１５２が撮像装置３０の撮像位置となり、それぞれの第２図形１５４がそれぞれのユーザ位置となり、第３図形１５６が基準方向となるように描く。なお、基準方向は、予め定められた方向であり、例えば、撮像装置３０の画角の中心等である。

なお、第１図形１５２、第２図形１５４および第３図形１５６は、相対的な位置および方向関係が、実際の撮像位置、それぞれのユーザ位置および基準方向に対応していれば、どのような大きさで描いてもよい。また、操作者は、机等を表す所定の補助図形を描いてもよい。

第１図形１５２、第２図形１５４および第３図形１５６を電子黒板２３に入力した後、操作者により所定の操作がされると、設定部１００は、ステップＳ１１から処理を開始する。

まず、ステップＳ１１において、描画情報取得部１２２は、電子黒板２３から描画情報を取得する。

続いて、ステップＳ１２において、位置検出部１２６は、描画情報における第１図形１５２の位置を検出し、検出した第１図形１５２の位置を撮像位置として特定する。例えば、位置検出部１２６は、パターンマッチング等により描画情報内から三角形を検出して、検出した三角形の座標を撮像位置として特定する。

続いて、ステップＳ１３において、位置検出部１２６は、描画情報におけるそれぞれの第２図形１５４の位置を検出し、検出したそれぞれの第２図形１５４の位置をそれぞれのユーザ位置として特定する。例えば、位置検出部１２６は、パターンマッチング等により描画情報内からそれぞれの丸を検出して、検出したそれぞれの丸の座標をユーザ位置として特定する。

続いて、ステップＳ１４において、位置検出部１２６は、描画情報における第３図形１５６の位置を検出し、検出した第３図形１５６の方向を基準方向として特定する。例えば、位置検出部１２６は、パターンマッチング等により描画情報内から矢印を検出して、検出した矢印の方向を基準方向として特定する。

なお、位置検出部１２６は、机等を表す所定の補助図形が描画情報に含まれている場合には、補助図形に基づき、撮像位置、それぞれのユーザ位置および基準方向を補正してもよい。例えば、位置検出部１２６は、ユーザ位置を、机のエッジに沿うように補正してもよい。

続いて、設定部１００は、それぞれのユーザについて、ステップＳ１６からステップＳ１８の処理を実行する（ステップＳ１５とステップＳ１９との間のループ処理）。具体的には、設定部１００は、検出した第２図形１５４（例えば丸）毎に、ステップＳ１６からステップＳ１８の処理を実行する。

ステップＳ１６において、方向算出部１２８は、処理対象のユーザについて、撮像位置からユーザ位置へ向かう方向を算出する。例えば、図１５に示すように、方向算出部１２８は、撮像位置からユーザ位置へ向かう方向の、基準方向からの角度を算出する。より具体的には、方向算出部１２８は、第１図形１５２（例えば三角形）から処理対象のユーザに対応する第２図形１５４（例えば丸）までの直線と、基準方向と並行な直線との間の角度を算出する。

続いて、ステップＳ１７において、方向算出部１２８は、処理対象のユーザについて、画像データ５８上における位置を算出する。例えば、図１６に示すように、方向算出部１２８は、基準方向に対応する画像データ５８上の位置（例えば、画像データ５８の画角の中心位置）を０°とし、そのユーザについて算出した角度に対応する画像データ５８上の水平方向の画角の位置θ_１〜θ_４を、ユーザ位置として算出する。

続いて、ステップＳ１８において、領域算出部１３０は、処理対象のユーザについて、画像データにおける、撮像位置からユーザ位置へ向かう方向に対応する位置の部分を、ユーザ領域として算出する。例えば、図１７に示すように、領域算出部１３０は、画像データ５８のフレーム内における、算出したユーザ位置を中心とした水平方向の所定範囲を、ユーザ領域５６として算出する。

設定部１００は、それぞれのユーザについて、ステップＳ１６からステップＳ１８の処理を実行する。これにより、設定部１００は、図１７に示すように、それぞれのユーザについて、ユーザ領域５６を算出することができる。全てのユーザについてステップＳ１６からステップＳ１８の処理を終了した場合、設定部１００は、処理をステップＳ２０に進める（ステップＳ１９）。

ステップＳ２０において、書込部１３２は、それぞれのユーザについて算出されたユーザ領域をユーザ領域記憶部９０に書き込む。

以上のように、本実施形態に係る設定部１００によれば、複数のユーザを撮像した画像データにおける、それぞれのユーザの位置に対応するユーザ領域を、簡単に設定することができる。例えば、設定部１００によれば、電子黒板２３に描かれた描画データによりそれぞれのユーザ領域を設定することができる。

（第１変形例）
つぎに、第１変形例に係る会議システム１０について説明する。第１変形例に係る会議システム１０は、図１から図１７を参照して説明した会議システム１０と略同一の機能および構成を有するので、同一の機能の装置およびブロックについては同一の符号を付けて、相違点を除き説明を省略する。なお、第２変形例以降も同様である。

図１８は、第１変形例に係る電子黒板２３を示す図である。第１変形例に係る電子黒板２３は、マイクロホンアレイ２８および撮像装置３０を有する。例えば、電子黒板２３は、会議端末装置２０を内蔵している。例えば、電子黒板２３は、表示入力面の上部側に、マイクロホンアレイ２８および撮像装置３０が取り付けられている。このような電子黒板２３は、表示面を見ているユーザを撮像したり、表示面を見ているユーザが発した音声を集音したりすることができる。

図１９は、第１変形例に係る設定部１００の機能構成を示す図である。第１変形例に係る設定部１００は、描画制御部１８０をさらに有する。描画制御部１８０は、予め定められた位置に第１図形１５２および第３図形１５６を含んだ描画情報を、電子黒板２３の表示入力部に表示させる。

例えば、図２０に示すように、描画制御部１８０は、電子黒板２３における予め定められた位置に第１図形１５２を表示させ、予め定められた方向に向けて第３図形１５６を表示させる。第１変形例においては、電子黒板２３が撮像装置３０を有する。従って、撮像位置および基準方向の関係は、固定されている。従って、描画制御部１８０は、第１図形１５２および第３図形１５６を予め表示することができる。

操作者は、このように第１図形１５２および第３図形１５６が表示されている状態で、電子黒板２３上におけるそれぞれのユーザに対応する位置に第２図形１５４を追加する。そして、描画情報取得部１２２は、第１図形１５２および第３図形１５６に追加して描かれた図形を含む描画情報を、電子黒板２３から取得する。

このような第１変形例に係る設定部１００は、電子黒板２３に第１図形１５２および第３図形１５６を予め表示しておくので、操作者の入力の手間を省くことができる。

（第２変形例）
図２１は、第２変形例に係る設定部１００の機能構成を示す図である。第２変形例に係る設定部１００は、画像表示制御部１９０をさらに有する。

画像表示制御部１９０は、設定開始時において、撮像部８０に複数のユーザを撮像させる。そして、画像表示制御部１９０は、図２２に示すように、撮像部８０により撮像された複数のユーザが含まれる画像を、電子黒板２３の表示入力部に表示させる。

操作者は、図２３に示すように、このような複数のユーザが含まれる画像が表示されている状態で、電子黒板２３上における、撮像位置に第１図形１５２を描き、基準方向に第３図形１５６を描く。そして、操作者は、電子黒板２３上における、それぞれのユーザが表示されている位置に、第２図形１５４を追加する。これにより、画像表示制御部１９０は、ユーザを撮像した画像上に、ユーザ位置を示す第２図形１５４を書き込ませることができる。描画情報取得部１２２は、複数のユーザが含まれる画像上に描かれた線画を描画情報として取得する。

このような第２変形例に係る設定部１００は、電子黒板２３に、ユーザの位置を画像で予め表示しておくので、操作者に容易にユーザの位置を入力させることができる。

（第３変形例）
図２４は、第３変形例に係る設定部１００の機能構成を示す図である。第３変形例は、ユーザ領域が正しいか否かを操作者に確認させ、正しく設定されていない場合には、再設定をさせる。第３変形例に係る設定部１００は、画像データ取得部２０２と、確認画像生成部２０４と、確認画像表示部２０６と、判定受付部２０８とをさらに有する。

画像データ取得部２０２は、歪補正部８６から、歪補正がされた画像データを取得する。確認画像生成部２０４は、それぞれのユーザについて、画像データから領域算出部１３０により算出されたユーザ領域の画像を切り出して、例えば、図２５に示すような確認画像２２０を生成する。確認画像表示部２０６は、確認画像２２０を電子黒板２３の表示入力部に表示させる。

図２５に示すように、確認画像２２０は、それぞれのユーザについてユーザ領域を切り出した画像を含む。操作者は、この確認画像２２０を見ることにより、ユーザ領域が正しく設定されており、それぞれのユーザ領域から切り出した画像に、全てのユーザが正しく含まれているか否かを確認することができる。

また、確認画像２２０は、全てのユーザ領域が正しく設定されている場合に押される肯定ボタン２２２と、何れかのユーザ領域が正しく設定されていない場合に押される否定ボタン２２４とを含む。操作者は、全てのユーザ領域が正しく設定されている場合には肯定ボタン２２２を押し、何れかのユーザ領域が正しく設定されていない場合には否定ボタン２２４を押す。

判定受付部２０８は、それぞれのユーザ領域が正しく設定されているか否かの判定結果を受け付ける。例えば、判定受付部２０８は、確認画像２２０の肯定ボタン２２２が押されたか、否定ボタン２２４が押されたかを受け付ける。

そして、判定受付部２０８が全てのユーザ領域が正しく設定されているという判定結果を受け付けた場合、例えば、肯定ボタン２２２が押された場合、書込部１３２は、それぞれのユーザについてのユーザ領域をユーザ領域記憶部９０に書き込む。判定受付部２０８が何れかのユーザ領域が正しく設定されていないという判定結果を受け付けた場合、例えば、否定ボタン２２４が押された場合、描画情報取得部１２２は、再度、電子黒板２３から描画情報を取得する。

図２６は、第３変形例に係るユーザ領域の設定処理を示すフローチャートである。第３変形例に係る設定部１００は、ステップＳ１１からステップＳ１９までは、図１３に示す処理と同一の処理を実行する。設定部１００は、ステップＳ１９を終了すると、処理をステップＳ３１に進める。

ステップＳ３１において、画像データ取得部２０２は、歪補正がされた画像データを取得する。続いて、ステップＳ３２において、確認画像生成部２０４は、それぞれのユーザについて、画像データから算出されたユーザ領域の画像を切り出して確認画像２２０を生成する。続いて、ステップＳ３３において、確認画像表示部２０６は、確認画像２２０を電子黒板２３の表示入力部に表示させる。

続いて、ステップＳ３４において、判定受付部２０８は、それぞれのユーザ領域が正しく設定されているか否かを判定する。何れかのユーザ領域が正しく設定されていない場合（Ｓ３４のＮｏ）、判定受付部２０８は、処理をステップＳ１１に戻す。これにより、描画情報取得部１２２は、再度、電子黒板２３から描画情報を取得することができる。

全てのユーザ領域が正しく設定されている場合（Ｓ３４のＹｅｓ）、判定受付部２０８は、処理をステップＳ３５に進める。ステップＳ３５において、書込部１３２は、それぞれのユーザについて算出されたユーザ領域をユーザ領域記憶部９０に書き込む。

以上のように、第３変形例に係る設定部１００は、設定したユーザ領域が正しいか否かを操作者に確認させることができる。これにより、第３変形例に係る設定部１００によれば、確実に正確なユーザ領域を設定することができる。

以上、本発明の実施形態およびその変形例を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。

１０ 会議システム
２０ 会議端末装置
２２ 中継装置
２３ 電子黒板
２４ ＣＰＵ
２５ ＲＯＭ
２６ ＲＡＭ
２７ 記憶装置
２８ マイクロホンアレイ
３０ 撮像装置
３１ 操作部
３２ 音声出力ＩＦ部
３３ 表示ＩＦ部
３４ 外部機器接続ＩＦ部
３６ マイクロホン
４１ 集音部
４２ 通信部
４３ 音声出力部
４４ 表示制御部
４６ 音声取得部
４７ 方向検出部
４８ 音声生成部
５０ 出力画像
５２ 広角画像
５４ ユーザ画像
５６ ユーザ領域
５８ 画像データ
６０ レンズ光学系
６２ イメージセンサ
６４ 現像処理回路
６６ 画像処理回路
６８ 合成回路
７０ 出力回路
７２ 制御回路
７４ メモリ
８０ 撮像部
８２ 撮像処理部
８４ 制御部
８６ 歪補正部
８８ 広角画像生成部
９０ ユーザ領域記憶部
９２ 方向情報取得部
９４ 選択部
９６ ユーザ画像生成部
９８ 合成部
１００ 設定部
１２２ 描画情報取得部
１２４ 図形記憶部
１２６ 位置検出部
１２８ 方向算出部
１３０ 領域算出部
１３２ 書込部
１５２ 第１図形
１５４ 第２図形
１５６ 第３図形
１８０ 描画制御部
１９０ 画像表示制御部
２０２ 画像データ取得部
２０４ 確認画像生成部
２０６ 確認画像表示部
２０８ 判定受付部
２２０ 確認画像
２２２ 肯定ボタン
２２４ 否定ボタン

特開２０１０−１０９８９８号公報

Claims (10)

1. 複数のユーザを撮像して撮像データを生成する撮像部と、
   前記撮像データに対して撮像処理を実行して、所定のフォーマットの画像データを生成する撮像処理部と、
   前記画像データに基づき複数のユーザを含む広角画像を生成する広角画像生成部と、
   それぞれのユーザについて、前記画像データにおけるそのユーザを含む部分を示すユーザ領域を記憶するユーザ領域記憶部と、
   何れかの前記ユーザ領域を選択する選択部と、
   前記画像データから、選択された前記ユーザ領域の部分を切り出してユーザ画像を生成するユーザ画像生成部と、
   それぞれのユーザについての前記ユーザ領域を前記ユーザ領域記憶部に予め記憶させる設定部と、
   を備え、
   前記設定部は、
   描画情報を取得する描画情報取得部と、
   前記描画情報における第１図形の位置を撮像位置として検出し、少なくとも１つの第２図形のそれぞれの位置をそれぞれのユーザに対応するユーザ位置として検出する位置検出部と、
   それぞれのユーザについて、前記撮像位置から前記ユーザ位置へ向かう方向を算出する方向算出部と、
   それぞれのユーザについて、前記画像データにおける、前記撮像位置から前記ユーザ位置へ向かう方向に対応する位置の部分を、前記ユーザ領域として算出する領域算出部と、
   それぞれのユーザについて算出された前記ユーザ領域を前記ユーザ領域記憶部に書き込む書込部と、
   を有する撮像装置。
2. 前記位置検出部は、第３図形が表す方向を基準方向として検出し、
   前記方向算出部は、前記基準方向からの角度を、前記撮像位置から前記ユーザ位置へ向かう方向とする
   請求項１に記載の撮像装置。
3. 前記設定部は、音声の発生方向を示す方向情報を取得する方向情報取得部をさらに有し、
   前記選択部は、前記方向情報に示された方向の前記ユーザ領域を選択する
   請求項１または２に記載の撮像装置。
4. 前記広角画像と前記ユーザ画像とを合成した合成画像を生成する合成部をさらに備える
   請求項１から３の何れか１項に記載の撮像装置。
5. 前記描画情報取得部は、表示入力部に描かれた前記描画情報を取得する
   請求項１から４の何れか１項に記載の撮像装置。
6. 前記描画情報取得部は、電子黒板の前記表示入力部に描かれた前記描画情報を取得する
   請求項５に記載の撮像装置。
7. 前記撮像部は、前記電子黒板に内蔵されており、
   前記設定部は、設定開始時において、予め定められた位置に前記第１図形を含んだ前記描画情報を前記表示入力部に表示させる描画制御部をさらに有し、
   前記描画情報取得部は、前記第１図形および追加して描かれた図形を含む前記描画情報を前記表示入力部から取得する
   請求項６に記載の撮像装置。
8. 前記設定部は、設定開始時に、前記撮像部に複数のユーザを撮像させ、複数のユーザが含まれる画像を前記表示入力部に表示させる画像表示制御部をさらに有し、
   前記描画情報取得部は、複数のユーザが含まれる画像上に描かれた線画を前記描画情報として取得する
   請求項６に記載の撮像装置。
9. 前記設定部は、
   それぞれのユーザについて、前記画像データから前記領域算出部により算出された前記ユーザ領域の画像を切り出して、確認画像を生成する確認画像生成部と、
   それぞれのユーザについての前記確認画像を前記表示入力部に表示させる確認画像表示部と、
   それぞれの前記ユーザ領域が正しく設定されているか否かの判定結果を受け付ける判定受付部と、
   をさらに有し、
   全ての前記ユーザ領域が正しく設定されているという判定結果を受け付けた場合、前記書込部は、それぞれのユーザについての前記ユーザ領域を前記ユーザ領域記憶部に書き込み、
   何れかの前記ユーザ領域が正しく設定されていないという判定結果を受け付けた場合、前記描画情報取得部は、再度、前記描画情報を取得する
   請求項１から８の何れか１項に記載の撮像装置。
10. 複数のユーザを撮像して撮像データを生成する撮像部と、
    前記撮像データに対して撮像処理を実行して、所定のフォーマットの画像データを生成する撮像処理部と、
    前記画像データに基づき複数のユーザを含む広角画像を生成する広角画像生成部と、
    それぞれのユーザについて、前記画像データにおけるそのユーザを含む部分を示すユーザ領域を記憶するユーザ領域記憶部と、
    何れかの前記ユーザ領域を選択する選択部と、
    前記画像データから、選択された前記ユーザ領域の部分を切り出してユーザ画像を生成するユーザ画像生成部と、
    を備える撮像装置において、それぞれのユーザについての前記ユーザ領域を前記ユーザ領域記憶部に設定するための設定方法であって、
    描画情報を取得し、
    前記描画情報における第１図形の位置を撮像位置として検出し、少なくとも１つの第２図形のそれぞれの位置をそれぞれのユーザに対応するユーザ位置として検出し、
    それぞれのユーザについて、前記撮像位置から前記ユーザ位置へ向かう方向を算出し、
    それぞれのユーザについて、前記画像データにおける、前記撮像位置から前記ユーザ位置へ向かう方向に対応する位置の部分を、前記ユーザ領域として算出し、
    それぞれのユーザについて算出された前記ユーザ領域を前記ユーザ領域記憶部に書き込む
    設定方法。

Images