JP2004334269A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】被写体となる動物体の動きに合わせて見易いスムーズな表示画像を生成する。
【解決手段】画素数演算部１１により演算された光ビーコンを撮像している画素数をメモリ１２に記憶させる。差分演算部１３は、今のフレームの光ビーコンを撮像している画素数と、直前のフレームの光ビーコンを撮像している画素数との差分を求めてズーム倍率演算部１４に出力する。ズーム倍率演算部１４は、その差分と、基準となる倍率の画素数との比を求め、その比に比例したズーム倍率を演算し、画像処理部１５に出力する。画像処理部１５は、画像データをズーム倍率演算部１４より供給されたズーム倍率に基づいてズーム画像を生成する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、撮像した画像から表示画像を生成する際、被写体となる動物体の動きに合わせて見易いスムーズな表示画像を生成できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ビデオカメラで被写体を撮像し、被写体の動きに対応して表示する技術が一般に普及している。
【０００３】
ビデオカメラで被写体を撮像し、被写体の動きに自動的に追従して、撮像された画像から表示画像を生成する場合、一般的には色認識を用いて被写体を識別し、撮像された画像内の動きを追尾して、被写体の動きに合わせて表示画像が生成される。
【０００４】
例えば、色の付いたヘルメットを被らせビデオカメラで捕らえるべきターゲットに特定の色を指定しておくことにより、画像から特定の色を検出し、その特定の色が画像中のどの領域にあるかというのを検出して、検出された領域に応じて表示画像を生成する技術がある（例えば、引用文献１参照）。
【０００５】
また、ある色領域内部の点を撮像者が指定し、指定された色の領域と、そうでない領域に２値化することにより追尾したい被写体を検出するという方法がある（例えば、引用文献２参照）。
【０００６】
さらに、上述の表示画面を撮像するにあたり、被写体を撮像した画像を用いて、表示画像を生成する際、表示画像のズーム倍率を自動化する方法として、被写体が何であるかによって大きさがほぼ一定に決まるという想定に基づいて、ズーム倍率を決定し焦点距離を算出する方法がある（例えば、引用文献３参照）。
【０００７】
【特許文献１】
特開平４−３５４４９０号公報
【０００８】
【特許文献２】
特開平７−１５４６６６号公報
【０００９】
【特許文献３】
特開平６−１７５００２号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、以上の方法は、追尾される被写体が特定の色のヘルメットや衣服を着用しなければならない場合が多く、そうでなくともある程度認識しやすい色を付したヘルメットのようなものを被写体となる人物などが、撮像されるように所持しておく必要があるため、撮像前の準備が面倒であると言う課題があった。また、実際の撮像に取り掛かるための準備として、一度特定の色を指定するために撮像を行なわなければならないという煩わしさもあった。
【００１１】
また、特定の色を指定する作業は、あくまで人間の作業であり、そのため実際の撮像にとりかかるまでの処理時間が長くなり、複数回に渡って撮像する場合において、色を指定する人が変わる場合、人によって色の感じ方が違うため、指定する色のあいまい度合いが増してしまうという課題があった。
【００１２】
さらに、撮像環境が光の影響や暗闇の影響を受けたりする場合には、特定の色を認識することが極端に困難になってしまうと言う課題があった。
【００１３】
また、ズーム倍率を決定する場合、以上の方法では、同一の被写体が遠くにあって小さく見える場合と近くにあって大きく見える場合においも、同じズーム倍率で撮像されてしまうという課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、撮像した画像から表示画像を生成する際、被写体となる動物体の動きに合わせて、見易いスムーズな表示画像を生成できるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像手段と、撮像手段により撮像された送信装置の画像上の位置を測定する位置測定手段と、位置測定手段により測定された送信装置の画像上の位置の変位を測定する変位測定手段と、変位測定手段により測定された変位に基づいて、撮像手段により撮像された画像上の注視位置を演算する演算手段と、演算手段により演算された注視位置に基づいて、表示画像を生成する表示画像生成手段とを備えることを特徴とする。
【００１６】
前記撮像手段により撮像された送信装置の画像上の画素数を測定する画素数測定手段と、画素数測定手段により測定された、撮像手段により撮像された送信装置の画像上の画素数に基づいて、表示画像のズーム倍率を演算するズーム倍率演算手段とをさらに設けるようにさせることができ、表示画像生成手段には、演算手段により演算された注視位置を中心とした、ズーム倍率演算手段により演算されたズーム倍率の表示画像を生成させるようにすることができる。
【００１７】
本発明の画像処理方法は、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された送信装置の画像上の位置を測定する位置測定ステップと、位置測定ステップの処理で測定された送信装置の画像上の位置の変位を測定する変位測定ステップと、変位測定ステップの処理で測定された変位に基づいて、撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップと、演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップとを含むことを特徴とする。
【００１８】
本発明の記録媒体のプログラムは、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された送信装置の画像上の位置を測定する位置測定ステップと、位置測定ステップの処理で測定された送信装置の画像上の位置の変位を測定する変位測定ステップと、変位測定ステップの処理で測定された変位に基づいて、撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップと、演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップとを含むことを特徴とする。
【００１９】
本発明のプログラムは、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された送信装置の画像上の位置を測定する位置測定ステップと、位置測定ステップの処理で測定された送信装置の画像上の位置の変位を測定する変位測定ステップと、変位測定ステップの処理で測定された変位に基づいて、撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップと、演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２０】
本発明の画像処理装置および方法、並びにプログラムにおいては、所定の点滅パターンで発光し、データを送信する送信装置が撮像され、撮像された送信装置の画像上の位置が測定され、測定された送信装置の画像上の位置の変位が測定され、測定された変位に基づいて、撮像された画像上の注視位置が演算され、演算された注視位置に基づいて、表示画像が生成される。
【００２１】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００２２】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２３】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２４】
即ち、本発明の画像処理装置は、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像手段（例えば、図１のＩＤ認識カメラ３）と、撮像手段により撮像された送信装置の画像上の位置を測定する位置測定手段（例えば、図２のＩＤ位置情報取得部１６）と、位置測定手段により測定された送信装置の画像上の位置の変位を測定する変位測定手段（例えば、図２の変位測定部１７）と、変位測定手段により測定された変位に基づいて、撮像手段により撮像された画像上の注視位置を演算する演算手段（例えば、図２の注視位置演算部１９）と、演算手段により演算された注視位置に基づいて、表示画像を生成する表示画像生成手段（例えば、図２の画像処理部１５）とを備えることを特徴とする。
【００２５】
また、本発明の画像処理方法は、所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された送信装置の画像上の位置を測定する位置測定ステップ（例えば、図１１のフローチャートのステップＳ３の処理）と、位置測定ステップの処理で測定された送信装置の画像上の位置の変位を測定する変位測定ステップ（例えば、図１１のフローチャートのステップＳ１０の処理）と、変位測定ステップの処理で測定された変位に基づいて、撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップ（例えば、図１１のフローチャートのステップＳ１１の処理）と、演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップ（例えば、図１１のフローチャートのステップＳ１５の処理）とを含むことを特徴とする。
【００２６】
図１は、本発明を適用したテレビ会議システムの一実施の形態の構成を示す図である。
【００２７】
演算装置２−１乃至２−３は、テレビ会議システムを使用するユーザのグループ毎に配置されているもので、ネットワーク１を介してＩＤ認識カメラ３−１乃至３−３で撮像された画像と共に、光ビーコン５−１乃至５―３の点滅パターンにより送信されてくるＩＤデータ、および、位置データを取得し、ＩＤデータと、その位置データに基づいて、撮像された画像を所定の形式に処理し、他の演算装置２−１乃至２−３に送信すると共に、他の演算装置２−１乃至２−３から送信されてくる画像を取得し、それらを合成して画像を生成し、表示部４−１乃至４−３にそれぞれ表示する。
【００２８】
すなわち、例えば、図１の場合、演算装置２−１は３人のグループが、演算装置２−２は、４人のグループが、そして、演算装置２−３は２人のグループがネットワーク１を介してそれぞれ異なる空間で表示部４−１乃至４−３に映し出された他のグループの画像を見ながら会議を行うことができるテレビ会議システムである。尚、図１においては、３箇所の異なる空間に存在するグループが同時に会議をできるテレビ会議システムについて示されているが、接続個所は、３箇所に限られるものではなく、それ以上、または、それ以下であっても構わない。
【００２９】
ＩＤ認識カメラ３−１乃至３−３は、画像を撮像すると共にユーザが、マイクロフォンが付属された光ビーコン５−１乃至５−３の点滅パターンにより送信されてくるＩＤデータと、その位置データを取得し、演算装置２−１乃至２−３に画像データと共に出力する。より詳細には、ＩＤ認識カメラ３−１乃至３−３は、それぞれのグループに属する全員が撮像できるような位置に固定して設置されている。尚、ＩＤ認識カメラ３−１乃至３−３、および、光ビーコン５−１乃至５−３については、詳細を後述する。
【００３０】
尚、以降において、演算装置２−１乃至２−３、ＩＤ認識カメラ３−１乃至３−３、および、表示部４−１乃至４−３をそれぞれ特に区別する必要がない場合、単に、演算装置２、ＩＤ認識カメラ３、および、表示部４と称するものとし、その他も同様にする。
【００３１】
次に、図２を参照して、演算装置２の構成について説明する。
【００３２】
演算装置２の画素数演算部１１は、ＩＤ認識カメラ３より供給される画像データと、ＩＤ位置情報取得部１６からの位置データを取得し、画像データに撮像されている光ビーコン５の位置を特定して、その光ビーコン５が撮像されている画素数を演算し（カウントし）、演算結果をメモリ１２に出力して記憶させると共に、その画素数に基づいて光ビーコン５が撮像されているか否かをＩＤ位置情報演算部１５に出力する。
【００３３】
尚、メモリ１２には、デフォルトとして所定の画素数が記憶されており、例えば、最初の撮像で、または、所定フレーム数だけ画像データに光ビーコン３の画像が含まれておらず、結果として０であった場合、このデフォルトの値が読み出される。
【００３４】
差分演算部１３は、メモリ１２に記憶されている光ビーコン５の撮像された画素数の情報を順次読み出し、直前にズーム倍率の演算に使用した光ビーコン５を撮像している画素数との差分を求めてズーム倍率演算部１４に出力する。
【００３５】
ズーム倍率演算部１４は、差分演算部１３より供給された光ビーコン５が撮像されている画素数の差分に基づいて、ズーム倍率を演算し、演算したズーム倍率を画像処理部１５に出力する。尚、ズーム倍率の演算方法については詳細を後述する。
【００３６】
ＩＤ位置情報取得部１６は、ＩＤ認識カメラ３より供給されてくるＩＤデータを取得すると共に、ＩＤデータと同時に送信されてくる位置データを取得して、メモリ１７に出力して記憶させると共に、画素数演算部１１に位置データを供給する。また、ＩＤ位置情報取得部１６は、ＩＤデータが取得できないとき（１フレームの画像中にＩＤデータが存在しないとき）、その回数をカウンタ１６ａに記憶させる。尚、メモリ１７には、デフォルトの位置データが記憶されており、例えば、最初の撮像で、または、所定フレーム数の間、光ビーコン３が撮像されず、位置データが取得できなかったとき、そのデフォルトの値が読み出されるようになっている。
【００３７】
変位測定部１８は、メモリ１７に記憶されている位置データを順次読み出し、直前の注視位置の位置データ（注視位置演算部１９より直前の注視位置データを取得する）との位置の差分から変位を測定し、測定した変位の情報を注視位置演算部１９に出力する。
【００３８】
注視位置演算部１９は、変位測定部１８より供給されてくる変位の情報に基づいて、注視位置、すなわち、撮像されている画像の中で、マイクロフォンが付属された光ビーコン５を持っている話者を中心とした、表示部４に表示させる画像の中央点となる位置を演算し、演算結果を画像処理部１５に供給する。
【００３９】
画像処理部１５は、ＩＤ認識カメラ３より供給されてきた画像を、ズーム倍率演算部１４より供給されてくるズーム倍率と、注視位置演算部１９より供給される注視位置の情報に基づいて、話者を中心としたズーム画像を生成し、ズーム画像と共に、ＩＤ認識カメラ３より入力された画像を画像送信部２０に出力する。
【００４０】
尚、ここでいうズーム画像とは、ＩＤ認識カメラ３により撮像された画像のうち、注視位置を中心とし、さらに、ズーム倍率に基づいて切り出される画像である。例えば、ＩＤ認識カメラ３により撮像される画像の水平方向×垂直方向のサイズが、Ａ×Ｂである場合、ズーム倍率が４で、注視位置が（Ｘ１，Ｙ１）のズーム画像は、ＩＤ認識カメラ３で撮像された画像上の（Ｘ１，Ｙ１）を中心（より正確には、重心位置）としたＡ／２×Ｂ／２のサイズの画像を、補間画素を生成するなどしてＡ×Ｂのサイズまで拡大した画像である。
【００４１】
画像送信部２０は、画像処理部１５より供給されたズーム画像と全体画像の画像データをネットワークを介して他の演算装置２に送信する。
【００４２】
受信部２１は、他の演算装置２よりネットワーク１を介して送信されてくるズーム画像と、全体画像の画像データを取得し、画像合成部２２に出力する。
【００４３】
画像合成部２２は、受信部２１より供給されてくる、他の演算装置２からの画像データが複数である場合、それらを合成して表示部４に出力して表示させる。
【００４４】
ここで、図３を参照して、ＩＤ認識カメラ３の詳細な構成について説明する。イメージセンサ３１の受光部４１は、撮像される対象となる撮像領域３の光を電気信号に光電変換した後、演算部４２に出力する。また、受光部４１の受光素子５１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子からなり、従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子よりも高速に動作することができる。より詳細には、受光素子５１が、撮像される対象となる撮像領域３の光を光電変換し、増幅器５２に出力する。増幅器５２は、受光素子５１より入力される光電変換された電気信号を増幅して、演算部４２に出力する。
【００４５】
演算部４２の記憶部６１は、受光部４１より入力された増幅されている電気信号を記憶し、適宜比較部６２に出力する。比較部６２は、記憶部６１に記憶された電気信号の値に基づいて、演算処理を行い、演算結果を所定のリファレンス値（＝基準信号レベル）と比較して、比較結果を出力部６３に出力する。出力部６３は、比較結果に基づいてセンサ出力信号を生成してデータ生成部３２に出力する。但し、演算部４２の処理内容は、画像モードとＩＤモードの２つの動作モードにより異なる。尚、この２つの異なる動作モードによる演算内容の詳細については後述する。
【００４６】
データ生成部３２の画像デコード処理部７１は、画像モードの場合、センサ出力信号をデコード処理して撮像画像を生成して、画像合成部１４に出力する。また、ＩＤモードの場合、ＩＤデコード処理部７２は、センサ出力信号をデコード処理してＩＤデータと位置データを生成し、表示位置取得部１２、リンク先データ解析部１６、およびＩＤ画像変換部２０に出力する。
【００４７】
次に、図４を参照して、画像デコード処理部７１の詳細な構成について説明する。画像デコード処理部７１の画素値決定部８１は、センサ出力信号に基づいて画素値を決定し、フレームメモリ８２の対応する画素位置に決定した画素値を記憶させる。フレームメモリ８２は、１フレーム分の画素値を記憶するメモリであり、画素位置毎に画素値を記憶する。
【００４８】
出力部８３は、フレームメモリ８２に１フレーム分の画素値が記憶されたとき、順次画像データとして読出し、出力する。
【００４９】
次に、図５を参照して、ＩＤデコード処理部７２の詳細な構成について説明する。ＩＤデコード部１０１のＩＤデコード回路１１１は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのデバイスにより構成されており、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。このＩＤデコード回路１１１は、処理能力が十分であれば、マイクロプロセッサやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）によってソフトウェアで構成するようにしても良い。
【００５０】
フラグレジスタ１１２は、ＩＤデータをデコードするために必要なフラグ類を記憶するためのレジスタであり、データレジスタ１１３は、デコード途中またはデコードを完了したＩＤを記憶しておくためのレジスタである。
【００５１】
尚、図５においては、ＩＤデコード部１０１は、１個のみが示されているが、処理速度の要求により、例えば、各画素毎に設けるようにしてもよいし、垂直方向、または、水平方向のライン毎に設けるようにしても良い。
【００５２】
タイミング制御部１０２は、ＩＤデコード処理部７２の全体の動作に必要なタイミングを制御するタイミング制御信号を出力する。より具体的には、タイミング制御部１０２は、ＩＤデコード回路１１１とセンサ出力信号のタイミングの同期をとり、所望のセンサ出力信号に対して、対応するフレームメモリ１０３のフラグデータをフラグレジスタ１１２に、ＩＤデータをデータレジスタ１１３に、それぞれロードして、ＩＤデコード処理を進めるためのタイミング制御信号を生成し、ＩＤデコード部１０１（のＩＤデコード回路１１１、フラグレジスタ１１２、および、データレジスタ１１３）に供給する。また、このとき、タイミング制御部１０２は、フレームメモリ１０３へのアドレス信号、リードライトなどのタイミング制御信号を生成し供給する。さらに、タイミング制御部１０２は、重心計算部１０４のＩＤレジスタ１２１、および、ＩＤ重心計算回路１２２、並びに、ＩＤ座標格納メモリ１０５のタイミング制御を行うタイミング制御信号を生成して供給する。
【００５３】
フレームメモリ１０３は、受光素子５１、または演算部４２毎に演算されたセンサ出力信号がデコードされたＩＤデータとフラグデータを格納するメモリであり、イメージセンサ３１が１画素につき１個の演算部４２をもつ場合には、センサの画像サイズであるＭ画素×Ｎ画素と同じサイズとなり、データ幅はフラグレジスタ１１２とデータレジスタ１１３のビット幅の和で構成される。図５においては、各画素の位置に対応する座標が、Ｉ軸とＪ軸により示されており、それぞれの座標位置にＩＤデータとフラグデータが格納される。
【００５４】
重心計算部１０４は、同一のＩＤデータを持つ撮像画像上の画素の重心位置の座標を求め、ＩＤデータに、光ビーコン５の検出位置としての位置データ（＝光ビーコン５の撮像画像上の位置データ）を付して出力する。より詳細には、重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号によりフレームメモリ１０３に今記憶されたＩＤデータを読出し、ＩＤ重心計算回路１２２に出力する。ＩＤ重心計算回路１２２は、入力されたＩＤデータ毎に、対応する画素の座標位置のＩ座標とＪ座標、並びにデータの個数を順次加算してＩＤ座標格納メモリ１０５に記憶させる。また、ＩＤ重心計算回路１２２は、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を求めて、ＩＤデータと共に出力する。
【００５５】
次に、図６を参照して、光ビーコン５の構成について説明する。
【００５６】
図６の光ビーコン５は、送信データ保存用メモリ１５１、点滅制御部１５２、発光部１５３から構成される。基本的に、この例のようにテレビ会議システムに使用する場合においては、参加する全ユーザが光ビーコン５を所持していることが望ましいが、話者の位置の特定が目的であるので、話者であるユーザが、光ビーコン５を所持するようにすれば必ずしも全ユーザが所持していなくても問題はない。
【００５７】
送信データ保存メモリ１５１は、予め送信するためのデータを記憶しており、適宜読み出して点滅制御部１５２に出力する。点滅制御部１５２は、発信器とＩＣ，ＡＳＩＣ，ＦＰＧＡ、ワンチップマイコンなどのデジタル回路によって構成されており、送信データ保存用メモリ１５１に記憶されたデータの内容に基づいて、点滅パターンを発生させると共に、発生された点滅パターンで発光部１５３を発光させる。発光部１５３は、高速に点滅することができる光源であれば良く、出力波長もセンサが反応する範囲であれば良い。また、発光部１５３が発する光は、可視光だけではなく、赤外域などでもよく、応答速度や、寿命の点から、ＬＥＤ（Ｌｉｇｈｔ
Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）は最適な光源の１つであるといえる。
【００５８】
また、点滅制御部１５２には、マイクロフォン１６１からの音声信号が供給され、音声が入力されているタイミングにのみ、所定の点滅パターンで光ビーコン５を発光させることにより、今、話者となっているユーザを特定できるような情報を送信するようにしてもよい。
【００５９】
また、送信データ保存用メモリ１５１にネットワークを介して送信データを供給できるようにしてもよい。ここでネットワークとは、有線・無線の通信回線、例えば電話回線、ＩＳＤＮ、ＲＳ−２３２Ｃ、ＲＳ−４２２、Ｅｔｈｅｒｎｅｔ（Ｒ）（１０ｂａｓｅ−Ｔ，１００ｂａｓｅ−Ｔ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＢｌｕｅＴｏｏｔｈなどの通信手段により他の装置とデータ通信ができる環境をいう。この場合、送信データ保存用メモリ１５１にデータを供給する通信手段は、データ通信用ＩＣ及びドライバから構成されてものとしてもよく、ネットワークを介して受信した光ビーコン５の送信データを、点滅制御部１５２に出力する。点滅制御部１５２は、送信データに基づいて、点滅パターンを発生し、データに応じた点滅パターンで発光部１５３を発光させる。
【００６０】
次に、ＩＤ認識カメラ３の動作について説明する。
【００６１】
受光部４１の受光素子５１は、光を光電変換し、変換した電気信号を増幅部５２に出力する。増幅部５２は、電気信号を増幅して演算部４２に出力する。演算部４２の記憶部６１は、受光部４１より入力された電気信号を順次記憶して、４フレーム分の電気信号を記憶し、いっぱいになると、最も古いフレームの電気信号を消去して、最新のフレームの電気信号を記憶する処理を繰り返して、常に最新の４フレーム分の電気信号を記憶しており、その４フレーム分の電気信号を比較部６２に出力する。
【００６２】
比較部６２の動作は、画像モードとＩＤモードにより異なる。この動作モードは、例えば、図７で示すように図示せぬ制御装置により、所定の時間間隔で交互に切り替えるようにしてもよい。また、画像モードとＩＤモードがそれぞれ３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）や６０ｆｐｓといった従来のフレームレートで切り替えられるようにしても良い。さらに、ＩＤモードには、ＩＤデータをデコードするＩＤデコード処理区間と、デコードされたＩＤデータを持つ画素の座標位置としての位置データを求めるＩＤ重心計算区間がある。
【００６３】
尚、図７においては、画像モードとＩＤモードが同時間の場合を示しているが、それぞれの動作モードの時間は、同時間でも良いし、同時間でなくてもよい。また、図７の下段で示すように、各画像モードの後のタイミングでは、画像デコード処理部７１により、センサ出力信号がデコードされて撮像画像の画像データが出力され、ＩＤモードの後のタイミングで、ＩＤデコード処理部７２により、センサ出力信号がデコードされてＩＤデータと位置データが出力される。
【００６４】
まず、画像モードの場合の動作について説明する。
【００６５】
画像モードの場合、イメージセンサ３１の比較部６２は、各画素の受光部４１で検出した輝度を示す信号レベル（記憶部６１に記憶された電気信号）を、基準信号レベルと比較して、図８で示すように、基準信号レベルよりも低くなったときに、図９で示すようにアクティブになるような信号（図９中の１の信号）を出力する。
【００６６】
ここで、図８は、輝度信号レベルを示しており、図９は、センサ出力信号を示している。輝度信号レベルは、実質的に受光素子５１の充電電圧の変化を示している。受光素子５１は、所定のタイミングで充電される電圧と逆極性の所定のリセットレベルの電圧が印加され、その後のタイミングから受光素子により蓄積される電荷量に対応して電圧レベルが低下する。従って、図８においては、時刻０において蓄積される電荷は０であるので、輝度信号レベルは、リセットレベル（所定のレベル）となっている。この状態から時間が経過するに従って、電荷が蓄積されて、輝度信号レベルが低下する。今の場合、図８中のＨで示す直線が、比較的輝度信号レベルの高い（明るい）画素値として、Ｌで示す直線が、比較的輝度信号レベルの低い（暗い）画素値として示されている。
【００６７】
画素値のレベルが高い輝度信号レベルの変化Ｈは、時刻０から時間Ｔ（Ｈ）だけ経過したタイミングである時刻Ｔ（Ｈ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。一方、画素値のレベルが低い輝度信号レベルの変化Ｌは、時刻０から時間Ｔ（Ｌ）だけ経過したタイミングである時刻Ｔ（Ｌ）において、基準信号レベルに達する電荷が蓄積されていることが示されている。
【００６８】
すなわち、図８で示すように、明るい画素ほど基準信号レベルに達する時間が短く（図中Ｔ（Ｈ））、暗い画素ほど基準信号レベルに達する時間（図中Ｔ（Ｌ））が長くなる（Ｔ（Ｈ）＜Ｔ（Ｌ））。比較部６２は、実際の受光部４１より出力される各画素の電気信号（輝度信号）が、前記基準信号レベルに達したかどうかの比較結果（コンパレータ出力）を図９で示すように２値のセンサ出力信号として出力する。このような処理により、イメージセンサ３１は、画像を高速に撮像して基準信号との比較演算を行い、１画面（フレーム）分の結果をセンサ出力信号として出力する。
【００６９】
さらに、画像デコード処理部７１の画素値決定部８１は、この時間Ｔ（Ｈ），Ｔ（Ｌ）を計測するために、このイメージセンサ３１が１画面単位で出力する結果を、フレーム単位でカウントし、各画素で何番目のフレームでセンサ出力信号が図９で示すようにアクティブになるかを示すセンサ出力信号をエンコードして画像データとして出力する。今の場合、センサ出力信号は、時刻Ｔ（Ｈ）が、フレーム数Ｆ（Ｈ）であり、時刻Ｔ（Ｌ）が、フレーム数Ｆ（Ｌ）である。
【００７０】
すなわち、画像モードの場合、画像デコード処理部７１の画素値決定部８１が、このセンサ出力信号を正しい明るさの値に変換するために、この基準信号に到達するまでの時間（フレーム数）の逆数を各画素毎に計算することで、センサ出力信号を画像データにデコードし、フレームメモリ８２に記憶させる。そして、１フレーム分の画像データが蓄積された時、出力部８３は、フレームメモリ８２に記憶された画素値を画像データとして順次読出して出力する。この動作により、ＩＤ認識カメラ３は、画像モードにおいて画像データを出力することができる（詳細は、４８Ｋｆｒａｍｅｓ／ｓ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｆｏｒ Ｒｅａｌ−ｔｉｍｅ ３−Ｄ Ｓｅｎｓｉｎｇ ａｎｄ Ｍｏｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ” ＩＳＳＣＣ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ， ｐｐ．９４−９５， Ｆｅｂ．２００１、または、特開２００１−３２６８５７を参照されたい）。
【００７１】
一方、動作モードがＩＤモードの場合、比較部６２は、記憶部６１に記憶されている時間的に連続する４フレーム分の電気信号を輝度信号として以下の式（１）のような演算処理を実行する。

【００７２】
ここで、Ｎはフレーム番号を表し、Ｖ（Ｎ）は、Ｎフレーム目の輝度値が入力された時点での比較値を示し、Ｆ（Ｎ）はＮフレーム目の受光部４１に蓄積された輝度を示す。この演算により、光の変化を検出することができるため、その演算結果をセンサ出力信号としてデータ生成部３２に出力する。データ生成部３２は、このセンサ出力信号を用いて、後述するＩＤデコード処理を行うことで、点滅パターンからなるＩＤデータを復元し、光ビーコン５からのＩＤデータを生成することが可能となる。
【００７３】
尚、比較部６２の演算方法は、式（１）に限るものではなく、他の演算（１次微分や２値化画像の比較など）によって実現するようにしてもよいが、以下の説明においては、光変化の検出の安定性の高い、式（１）を用いて説明するものとする。
【００７４】
ここで、ＩＤデコード処理部７２の動作について説明する。
【００７５】
ＩＤデコード部１０１のＩＤデコード回路１１１は、タイミング制御部１０２からのセンサ出力信号のタイミングの同期を図るためのタイミング制御信号に基づいて、イメージセンサ３１から入力されるセンサ出力信号より各画素のＩＤデータを復元する。この際、ＩＤデコード回路１１１は、タイミング制御信号に応じて、フラグレジスタ１１２を制御して、フレームメモリ１０３にロードされたフラグデータを用いて、センサ出力信号からＩＤデータをデコードし、デコード途中またはデコードを完了したＩＤをデータレジスタ１１３に記憶させる。
【００７６】
さらに、フレームメモリ１０３は、これらのデコード処理がなされたフラグデータとＩＤデータを対応する座標位置に格納する。
【００７７】
重心計算部１０４のＩＤレジスタ１２１は、タイミング制御部１０２より入力される所定のＩＤデータがデコード部１０１よりデコードされたことを示すタイミング制御信号により、フレームメモリ１０３に今記憶されたＩＤデータの情報をＩＤ重心計算回路１２２に読み出させる。
【００７８】
ＩＤ重心計算回路１２２は、読み出したＩＤデータに対応する画素の座標位置のＩ座標とＪ座標を順次加算して、これに画素の個数の情報を付してＩＤ座標格納メモリ１０５に記憶させ、この処理を繰り返す。
【００７９】
そして、フレームメモリ１０３に１フレーム分のデータが格納されたとき、ＩＤ重心計算回路１２２は、ＩＤ座標格納メモリ１０５よりＩＤ毎にＩ座標の和とＪ座標の和を、データの個数で割ることにより重心位置の座標を位置データとして求めて、対応するＩＤデータと共に出力する。
【００８０】
以上の動作により、例えば、図１０で示すように、２個の光ビーコン５−１，２−２が、点滅しながら発光してデータを送信する場合、ＩＤ認識カメラ３には、図１０上部に示すような現実空間上の光ビーコン５−１，５−２の物理的な位置に応じた、撮像画像上の位置の画素で光の信号を受光する。例えば、光ビーコン５−１から発せられた光が座標位置（１０，１０）の受光素子５１で受光されるものとし、光ビーコン５−２から発せられた光が座標位置（９０，９０）の受光素子５１で受光されるものとする。このとき、各受光部４１の座標位置（１０，１０）と（９０，９０）の受光素子５１では、それぞれが光ビーコン５−１と５−２の点滅パターンにより受光強度（明るさ）の時間的変化として信号を受信することができる。今の場合、座標（１０，１０）の位置データに対応する画素は、ＩＤデータとして「３２１」が、座標（９０，９０）の位置データに対応する画素は、ＩＤデータとして１０５がデコード結果として求められている。
【００８１】
結果として、この受光強度の変化を上述の式（１）などにより２値化することにより１／０のビット列からなるＩＤデータを取得する事ができる。
【００８２】
次に、図１１のフローチャートを参照して、ＩＤ認識カメラ３により撮像された画像に基づいて、他の演算装置２に送信するための画像を生成する処理について説明する。
【００８３】
ステップＳ１において、画素数演算部１１がメモリ１２を、ＩＤ位置情報取得部１６が、メモリ１７、および、カウンタ１６ａをそれぞれ初期化する（メモリ１２，１７に記憶されているデータ、および、カウンタ１６ａが０にリセットされる）。
【００８４】
ステップＳ２において、ＩＤ認識カメラ３が画像を撮像し、画像データを演算装置２すると共に、光ビーコン５が撮像された場合、その点滅パターンに基づいてＩＤデータ（位置データを含む）を演算装置２に送信する。今の場合、テレビ会議室の全体が撮像されることになり、同時に、テレビ会議室内で、光ビーコン５が撮像された場合、その点滅パターンに基づいて、話者となっているユーザの位置を特定するＩＤデータ、および、位置データが取得されて送信される。
【００８５】
ステップＳ３において、ＩＤ位置情報取得部１６は、ＩＤ認識カメラ３より供給されるＩＤデータと位置データを取得し（さらに、一時的に記憶し）、位置データについては画素数演算部１１に供給する。
【００８６】
ステップＳ４において、画素数演算部１１は、ＩＤ認識カメラ３から供給される画像（１フレーム画像）と、ＩＤ位置情報取得部１６より供給された光ビーコン３が検出された位置データに基づいて、光ビーコン５が撮像されている画素数を演算する（カウントする）。
【００８７】
ステップＳ５において、画素数演算部１１は取得された画素数が０であるか否かを判定する。すなわち、今、ＩＤ認識カメラ３から送信されてくる画像に、いずれかのユーザが話している状態を示す点滅パターンを発している光ビーコン５が撮像されているか否かが判定される。
【００８８】
ステップＳ５において、例えば、ＩＤ認識カメラ３から送信されてくる画像に、ユーザが話している状態を示す点滅パターンを発している光ビーコン５が存在したと判定された場合、ステップＳ６において、画素数演算部１１は、画素数が０ではないことをＩＤ位置情報取得部１６に通知する。
【００８９】
ステップＳ７において、ＩＤ位置情報取得部１６は、カウンタ１６ａにカウントされている値をリセットする（カウンタ１６ａの値を０にする）。
【００９０】
ステップＳ８において、画素数演算部１１は、メモリ１２に記憶された情報を取得された画素数の情報に更新すると共に、ＩＤ位置情報取得部１６は、メモリ１７に記憶された位置情報を、取得した位置情報に更新する。
【００９１】
ステップＳ９において、変位測定部１８は、メモリ１７に記憶されている今現在の光ビーコン５の位置データを読み出すと共に、注視位置演算部１９より直前の演算処理で求められた注視位置のデータを取得し、ステップＳ１０において、今現在の光ビーコン５の位置データと、直前の注視位置のデータとの差分から光ビーコン５の変位を求める。
【００９２】
ステップＳ１１において、注視位置演算部１９は、今現在の光ビーコン５の位置データと、直前の注視位置のデータ、および、それらの差分から光ビーコン５の変位から、今のフレームの注視位置を演算し、画像処理部１５に出力する。
【００９３】
より詳細には、注視位置演算部１９は、以下の式（２），式（３）に基づいた演算を実行し注視位置を求める。
【００９４】

【００９５】

【００９６】
ここで、Ｘｖ，Ｙｖは求めようとする注視位置の画像上のＸ座標およびＹ座標であり、Ｘｐｖ，Ｙｐｖは直前の注視位置の画像上のＸ座標およびＹ座標であり、Ｘｒ，Ｙｒは今現在の光ビーコン５の位置の画像上のＸ座標およびＹ座標であり、さらに、Ｋｘ，Ｋｙは、０＜Ｋｘ＜１，０＜Ｋｙ＜１の定数である。尚、式（２），式（３）における（Ｘｒ−Ｘｐｖ）および（Ｙｒ−Ｙｐｖ）は、ステップＳ１０の処理で変位測定部１８により測定された、今現在の光ビーコン５の位置データと、直前の注視位置のデータとの変位のＸ方向とＹ方向の成分である。
【００９７】
ステップＳ１２において、差分演算部１３は、メモリ１２に記憶されている直前の光ビーコン５を撮像している画素数と、今撮像されている画像中の光ビーコン５の画素数を読み出し、その差分を演算し、画像処理部１５に出力する。
【００９８】
ズーム倍率演算部１４は、メモリ１２に記憶されている直前のズーム倍率を演算したときに使用した光ビーコン５が撮像されている画素数と、今撮像されている画像中の光ビーコン５の画素数の差分となる値を用いて、以下の式（４）に基づいた演算を実行して、ズーム倍率を演算する。
【００９９】

【０１００】
ここで、Ｚは求めようとするズーム倍率であり、Ｚｄはズーム倍率が１倍となるときの光ビーコン５が撮像されている画素数である。
【０１０１】
また、Ｚｖは、以下の式（５）で定義される。式（５）で示されるＺｖは、そのタイミングで求められるズーム倍率の計算に使用される、光ビーコン５を撮像している画素数を示す。
【０１０２】

【０１０３】
ここで、Ｚｒは最新のフレームにおける光ビーコン５が撮像されている画素数であり、Ｚｐｖは、直前のフレームのズーム倍率の演算に使用した光ビーコン５が撮像されている画素数であり、Ｋｚは０＜Ｋｚ＜１の定数である。
【０１０４】
ステップＳ１５において、画像処理部１５は、ＩＤ認識カメラ３から供給された画像データを注視位置演算部１９より供給された注視位置の位置データと、ズーム倍率演算部１４より供給されたズーム倍率に基づいて、ズーム画像を生成し、ＩＤ認識カメラ３から供給された画像、すなわち、全体画像と共に画像送信部２０に出力する。
【０１０５】
ステップＳ１６において、画像送信部２０は、画像処理部１５より供給されたズーム画像と全体画像をネットワーク１を介して、他の演算装置２に送信し、その処理は、ステップＳ２に戻る。
【０１０６】
ステップＳ５において、最新のフレームの画像上における光ビーコン５が撮像されている画素数が０であると判定された場合、ステップＳ１８において、画素数演算部１１は、画素数が０であることをＩＤ位置情報取得部１６に通知する。
【０１０７】
ステップＳ１９において、ＩＤ位置情報演算部１６は、カウンタ１６ａの値が所定の値以上であるか否かを判定する。すなわち、カウンタ１６ａは、ＩＤ認識カメラ３で撮像されている画像内に、話者の存在を示す、光ビーコン５の点滅パターンが検出されない状態が継続しているフレーム数をカウントしている（後述するステップＳ１９の処理参照）ので、所定フレーム数以上、ユーザが検出されていないか否かが判定される。
【０１０８】
ステップＳ１８において、カウンタ１６ａが所定値以上ではないと判定された場合、すなわち、話者の存在を示す、光ビーコン５の点滅パターンが検出されない状態が継続しているフレーム数が、所定フレーム数以上ではないと判定された場合、ステップＳ１９において、ＩＤ位置情報取得部１６は、カウンタ１６ａの値を１だけインクリメントし、その処理は、ステップＳ９に進む。
【０１０９】
ステップＳ１８において、カウンタが所定数以上であると判定された場合、すなわち、話者の存在を示す、光ビーコン５の点滅パターンが検出されない状態が継続しているフレーム数が、所定フレーム数以上続いたと判定された場合（対応するＩＤ認識カメラ３で撮像している領域に話者がいない場合）、その処理は、ステップＳ２０に進む。
【０１１０】
ステップＳ２０において、ＩＤ位置情報取得部１６は、カウンタ１６ａを０にリセットし、ステップＳ２１において、メモリ１７を制御して、デフォルトの値として記憶されている値を記憶させると共に、画素数演算部１１に対して、光ビーコン５の点滅パターンが検出されない状態が継続しているフレーム数が、所定フレーム数以上続いていることを通知する。これにより、画素数演算部１１は、メモリ１２に記憶されている画素数の情報をデフォルトの値にリセットさせ、その処理は、ステップＳ１９に進む。
【０１１１】
すなわち、話者として認識される光ビーコン５が撮像された場合、メモリ１７に記憶されている今現在のフレームの位置データと、直前のフレーム上の光ビーコン５の位置との変位に基づいて、注視位置が計算され（ステップＳ９乃至Ｓ１１の処理）、光ビーコン５が撮像されている画素数の差分に基づいて、ズーム倍率が求められ（ステップＳ１２乃至Ｓ１４の処理）、求められた注視位置とズーム倍率に基づいて、ズーム画像が生成される（ステップＳ１５の処理）。
【０１１２】
ただし、式（２），式（３）で示されるように、求められる注視位置は、必ずしも、最新のフレーム上の光ビーコン５が存在する位置とはならない。注視位置は、本来、話者として認識されたユーザが存在するものとみなされた、光ビーコン５が所定の点滅パターンで発光している画像上の位置となるべきである。
【０１１３】
しかしながら、例えば、図１２で示されるように、ＩＤ認識カメラ３で撮像される画像がＦで示される場合、時刻ｔ０で図中のＰ０の位置に、光ビーコン５が撮像されたとき、注視位置が位置Ｐ０であるものとする。そして、次のタイミングとなる時刻ｔ１において、光ビーコン５が図１２中の位置Ｐｒであるとき、例えば、式（２），式（３）の定数Ｋｘ，ＫｙがＫｘ＝Ｋｙ＝１／２であれば、時刻ｔ１における注視位置は位置Ｐ１となる。すなわち、定数Ｋｘ，ＫｙがＫｘ＝Ｋｙ＝１／２であるということは、次のタイミングにおいて求められる注視位置は、直前の注視位置から、今、光ビーコン５が撮像されている位置までの中間位置となる。
【０１１４】
さらに、この状態で、話者となる人物が画像Ｆ中における位置が変わることなく、そのままの状態で撮像が続けられた場合、すなわち、ＩＤ認識カメラ３により撮像された画像Ｆ中における光ビーコン５の今撮像されている位置が変化しない場合、その次のタイミングとなる時刻ｔ２において、注視位置は、位置Ｐ２となる。ここで、位置Ｐ２は、上述した式（２），式（３）により演算される位置であり、位置Ｐ１と位置Ｐｒの中間位置となる。
【０１１５】
同様に、このような処理が繰り返されていくことになるが、画像上の位置Ｐ０からＰｒまでの距離がＤであるとすれば、注視位置が位置Ｐ０からＰ１に移動する場合、注視位置の移動量はＤ／２となり、ズーム画像は、Ｆ０からＦ１に切り替わる。さらに、画像上の位置Ｐ１からＰ２まで注視位置が移動すると、注視位置の移動量は、Ｄ／４となり、ズーム画像は、Ｆ１からＦ２に切り替わる。
【０１１６】
このような処理を繰り返していくと、それ以降の移動量は、Ｄ／８，Ｄ／１６，Ｄ／３２・・・と変化していくが、今現在のフレームの画像上で撮像される光ビーコン５の位置は、変化がないので、徐々に、今のフレームの画像上で撮像される光ビーコン５の位置Ｐｒに近付いていき、実際に切り替わるズーム画像の変化も小さくなる。
【０１１７】
このため、注視位置が切り替わる場合（光ビーコン５に付属したマイクロフォン１６１がユーザの話し声に反応し、音声を検出している状態を示す所定の点滅パターンで発光している状態で、ユーザがＩＤ認識カメラ３で撮像されている空間内を撮像位置に対して上下左右方向に移動した場合）、今現在のフレーム上の光ビーコン５が撮像されている画像上の位置と、直前のフレーム上において撮像されている光ビーコン５の画像上の位置との距離が離れていれば離れているほど、次のフレームにおいては、注視位置が大きく移動し、その距離が近づくに連れて、徐々に移動量が小さくなる。
【０１１８】
従って、ズーム画像を見るユーザには、マイクロフォン１６１と共に光ビーコン５を着けているユーザの上下左右方向の動きが大きいときは、素早くズーム画像の注視位置が切り替わっているように見え、マイクロフォン１６１と共に光ビーコン５を着けているユーザの上下左右方向の動きが止まると、ズーム画像の中心位置が、ゆっくりとその止まった位置に向うように変化しているように見えることになる。また、ユーザの上下左右方向の移動が小さい場合（マイクロフォン１６１と共に光ビーコン５を着けているユーザの移動が小さい場合）、移動距離が小さいので、ズーム画像の中央位置は、その動きよりも小さいものとなるので、画像の変化は小さい。
【０１１９】
結果として、ＩＤ認識カメラ３により撮像された画像上の光ビーコン５を装着したユーザの動きに合わせて、ズーム画像を生成しても、ズーム画像の中心となる注視位置は、被写体となるユーザの動き以上には大きくならず、かつ、ユーザの動きに追従したものとすることができるので、見ているユーザにとって見易いズーム画像を生成することが可能となる。
【０１２０】
尚、定数Ｋｘ，Ｋｙは、ユーザの好みに合わせて設定するようにしてもよく、例えば、定数Ｋｘ，Ｋｙが１に近い値に設定されるほど、被写体となるユーザの動きに対して素早く追従することができるが、被写体となるユーザの細かい動きにもズーム画像が切り替わってしまうため、見難い画像となる。一方、定数Ｋｘ，Ｋｙが０に近い値にされると、被写体の動きに対して、ゆっくりと追従することになるが、ズーム画像の切り替わりがゆっくりとするので見易い画像となる。
【０１２１】
また、ズーム倍率についても同様である。
【０１２２】
すなわち、式（４）で示されるように、求められるズーム倍率は、必ずしも、最新のフレーム上の光ビーコン５を撮像している画素数とはならない。ズーム倍率は、本来、話者として認識されたユーザが存在するものとみなされた、所定の点滅パターンで発光している光ビーコン５が撮像されているフレームの画像上の画素数となるべきである。
【０１２３】
しかしながら、例えば、図１３で示されるように、ＩＤ認識カメラ３で撮像される画像がＦで示される場合、時刻ｔ０で図中のＰ０の位置付近で、光ビーコン５を撮像している画素の画素数がＮであるものとする。そして、次のタイミングとなる時刻ｔ１において、図１３中の位置Ｐｒ付近で光ビーコン５を撮像している画素の画素数がｎであるとき（図１３においては、光ビーコン５を装着したユーザがＩＤ認識カメラ３から遠ざかったとき）、例えば、式（４）の定数ＫｚがＫｚ＝１／２であれば、時刻ｔ１における光ビーコン５を撮像している画素数Ｚｖは、Ｚｖ＝（（ｎ−Ｎ）／２＋Ｎ）とであるとして計算されることになる。
【０１２４】
すなわち、定数ＫｚがＫｚ＝１／２であるということは、次のタイミングにおいて求められるズーム倍率Ｚを求めるための画素数Ｚｖは、直前のフレームにおいてズーム倍率の計算に使用された光ビーコン５を撮像している画素数と、今のフレーム上で光ビーコン５が撮像されている画素数との平均画素数（（ｎ−Ｎ）／２＋Ｎ）となる。そして、この平均画素数の逆数がズーム倍率が１倍となる時の画素数Ｚｄに乗じられた値が、求めようとする時刻ｔ１におけるフレームのズーム画像を求める際のズーム倍率Ｚ（ｔ１）となる。
【０１２５】
さらに、この状態で、話者となる人物が画像Ｆ中における位置が変わることなく、そのままの状態で撮像が続けられた場合、すなわち、ＩＤ認識カメラ３により撮像された画像Ｆ中における光ビーコン５の今撮像されている位置が変化しない場合、その次のタイミングとなる時刻ｔ２において、ズーム倍率Ｚは、時刻ｔ１のフレームにおける光ビーコン５を撮像している画素数（（ｎ＋Ｎ）／２）と、今のフレーム上で光ビーコン５が撮像されている画素数ｎとの平均画素数（（３ｎ＋Ｎ）／４）となる。そして、この平均画素数の逆数がズーム倍率が１倍となる時の画素数Ｚｄに乗じられた値が、求めようとする時刻ｔ２のズーム倍率Ｚ（ｔ２）となる。
【０１２６】
同様に、このような処理が繰り返されていくことになるが、画像上の位置Ｐ０における光ビーコン５を撮像している画素数がＮ個であり、位置Ｐｒで光ビーコンを撮像している画素数がｎ個であるとすれば、時刻ｔ０から時刻ｔ１に時刻が進むと、時刻ｔ０と時刻ｔ１におけるそれぞれの画素数の平均画素数の逆数に比例してズーム倍率が設定され、ズーム画像は、Ｆ００からＦ０１に切り替わる。さらに、時刻ｔ１からｔ２まで時刻が進むと、時刻ｔ１と時刻ｔ２におけるそれぞれの画素数の平均画素数の逆数に比例してズーム倍率が設定され、ズーム画像は、Ｆ０１からＦ０２に切り替わる。
【０１２７】
このような処理を繰り返していくと、それ以降のズーム倍率は、画素数の平均値（７ｎ＋Ｎ／８），（１５ｎ＋Ｎ）／１６，（３１ｎ＋Ｎ）／３２・・・の逆数に比例して変化していくが、今現在のフレームの画像上で撮像される光ビーコン５の位置は変化がないので、徐々に、今のフレームの画像上で撮像される光ビーコン５における画素数に近付いていき、実際に切り替わるズーム倍率の変化も小さくなる。
【０１２８】
このため、ズーム倍率が切り替わる場合（光ビーコン５に付属したマイクロフォン１６１がユーザの話し声に反応し、音声を検出している状態を示す所定の点滅パターンで発光している状態で、ユーザがＩＤ認識カメラ３で撮像されている空間内を撮像位置に対して前後に移動した場合（近付くように、または、離れるように移動した場合））、今現在のフレーム上の光ビーコン５が撮像されている画像上の画素数と、直前のフレーム上において撮像されている光ビーコン５の画像上の画素数との差分が大きいほど、次のフレームにおいては、ズーム倍率の変化が大きく、その差分が小さいほど、徐々にズーム倍率の変化が小さくなる。
【０１２９】
従って、ズーム画像を見るユーザには、マイクロフォン１６１と共に光ビーコン５を着けているユーザの撮像位置に対して前後の動きが大きいときは、素早くズーム画像のズーム倍率が切り替わっているように見え（素早くズームアップ、または、ズームダウンしているように見え）、マイクロフォン１６１と共に光ビーコン５を着けているユーザの動きが止まると、ズーム画像のズーム倍率が、ゆっくりとその止まった位置にズームアップ、または、ズームダウンしているように見えることになる。また、ユーザの撮像位置に対する前後方向の移動が小さい場合（マイクロフォン１６１と共に光ビーコン５を着けているユーザの移動が小さい場合）、画素数の差分が小さいので、ズーム画像のズーム倍率の変化は、その動きよりも小さいものとなるので、ズーム倍率の変化が小さい。
【０１３０】
結果として、ＩＤ認識カメラ３により撮像された画像上の光ビーコン５を装着したユーザの動きに合わせて、ズーム画像を生成しても、ズーム画像のズーム倍率は、被写体となるユーザの動き以上には大きくならず、かつ、ユーザの動きに追従したズーム画像を生成することができるので、見ているユーザにとって見易い状態でズーム倍率が変化するズーム画像を生成することができる。
【０１３１】
尚、定数Ｋｚは、ユーザの好みに合わせて設定するようにしてもよく、例えば、定数Ｋｚが１に近い値に設定されるほど、ズーム倍率を被写体となるユーザの動きに対して素早く追従することができるが、被写体となるユーザの細かい動きにもズーム画像のズーム倍率が変化してしまうため、見難い画像となる。一方、定数Ｋｚが０に近い値にされると、被写体の動きに対して、ズーム倍率をゆっくりと追従することになるが、ズーム画像のズーム倍率がゆっくりと変化するので見易い画像となる。
【０１３２】
次に、図１４のフローチャートを参照して、画像表示処理について説明する。
【０１３３】
ステップＳ３１において、受信部２１は、他の演算装置２よりネットワーク１を介してズーム画像、および、全体画像が送信されてきているか否かを判定し、送信されてきたと、判定されるまでその処理を繰り返す。例えば、図１１のフローチャートにおけるステップＳ１６の処理によりズーム画像、および、全体画像が送信されてきたと判定された場合、その処理は、ステップＳ３２に進む。
【０１３４】
ステップＳ３２において、画像合成部２２は、受信部２１で受信された全体画像とズーム画像を合成し、表示部４に表示可能なサイズに合成して、表示部４に出力する。
【０１３５】
ステップＳ３３において、表示部４は、画像合成部２２より供給された画像を表示する。
【０１３６】
すなわち、図１５で示されるように、３か所の別の位置に存在するグループが参加して、テレビ会議を行うような場合について説明する。
【０１３７】
尚、図１５においては、下部が、３人のグループであり、ＩＤ認識カメラ３−１がそのユーザ３人を撮像しており、他の演算装置２−２，２−３（図１５には図示しないが、図１で示されるような対応関係である）からネットワーク１を介して送信されてくる画像が演算装置２−１を介して画像処理されて、表示部４−１に表示されている。ここで、図１５の下部の３人のグループにおいては、右側の１名のみが光ビーコン５−１を装着しているが、実際には、全員が装着していることが望ましく、図１５においては、光ビーコン５−１を装着したユーザが発声しており、光ビーコン５−１が、今音声を検出していることを示す所定のパターンで点滅していることを示している。
【０１３８】
また、図１５においては、右上部が、４人のグループであり、ＩＤ認識カメラ３−２がそのユーザ４人を撮像しており、他の演算装置２−１，２−３からネットワーク１を介して送信されてくる画像が演算装置２−２を介して画像処理されて、表示部４−２に表示されている。ここで、図１５の右上部の４人のグループにおいては、左側の１名のみが光ビーコン５−２を装着しているが、実際には、全員が装着していることが望ましく、図１５においては、光ビーコン５−２を装着したユーザが発声しており、光ビーコン５−２が、今音声を検出していることを示す所定のパターンで点滅していることを示している。
【０１３９】
さらに、図１５においては、左上部が、２人のグループであり、ＩＤ認識カメラ３−３がそのユーザ２人を撮像しており、他の演算装置２−１，２−２からネットワーク１を介して送信されてくる画像が演算装置２−３を介して画像処理されて、表示部４−３に表示されている。ここで、図１５の左上部の２人のグループにおいては、左側の１名のみが光ビーコン５−３を装着しているが、実際には、全員が装着していることが望ましく、図１５においては、光ビーコン５−３を装着したユーザが発声しており、光ビーコン５−３が、今音声を検出していることを示す所定のパターンで点滅していることを示している。
【０１４０】
例えば、図１５の下部の表示部４−１の場合、右上のズーム画像表示部４ａ−１は、図１５の右上部の４人のグループのうちの光ビーコン５−２を装着したユーザを中心としたズーム画像を表示している。また、その下の全体画像表示部４ｂ−１は、右上部の４人のグループの全体画像を表示している。さらに、ズーム画像表示部４ｃ−１は、図１５の左上部の２人のグループのうちの光ビーコン５−３を装着したユーザを中心としたズーム画像を表示している。また、その下の全体画像表示部４ｄ−１は、左上部の２人のグループの全体画像を表示している。
【０１４１】
すなわち、画像合成部２２は、演算部２−２より送信されてきたズーム画像、および、全体画像をそれぞれ、表示部４の右側の上下に配置するように合成し、演算部２−３より送信されてきたズーム画像、および、全体画像をそれぞれ、表示部４の左側の上下に配置するように合成している。
【０１４２】
以上の処理により、表示部４−１を見ている３人のグループの各ユーザは、今、その他のグループの誰が発言し、そのグループの全体がどのような雰囲気であるかを把握することが可能となる。さらに、上述した、画像生成処理によりズーム画像が生成されていることから、ズーム画像は、発言者（話者）となっているユーザの動きに追従して、人間の目に見易い速度で、その注視位置が変化させられ、さらに、ズームアップ、または、ズームダウンといったズームの速度も見易い速度で変化させられている見易く表示することが可能となる。
【０１４３】
尚、その他の演算部２、表示部４についても同様の処理を行っているので、その説明は省略する。
【０１４４】
また、以上においては、テレビ会議システムについて説明してきたが、テレビ会議システムに限らず、定点観測するような画像から注視位置やズーム倍率を変化させて画像を生成するような、例えば、スチルカメラなどに応用させてもよい。
【０１４５】
また、以上においては、被写体となるのは、光ビーコン５を装着したユーザの動きに追従してズーム画像を生成する場合について説明してきたが、光ビーコンを装着していれば、ユーザに限るものではなく、あらゆる動物体であってもよい。
【０１４６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１４７】
図１６の画像処理部の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ２０１は、パーソナルコンピュータの全体の動作を制御する。また、ＣＰＵ２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３にロードして実行する。これにより、上述した図６の画像処理部の機能が、ソフトウェアにより実現されている。さらに、ＣＰＵ２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０１４８】
プログラムが記録されている記録媒体は、図１６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク２２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１４９】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５１】
【発明の効果】
本発明によれば、撮像した画像から表示画像を生成する際、被写体となる動物体の動きに合わせて見易いスムーズな表示画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したテレビ会議システムを示す図である。
【図２】図１の演算装置の構成を示すブロック図である。
【図３】図１のＩＤ認識カメラのブロック図である。
【図４】図３の画像デコード処理部のブロック図である。
【図５】図４のＩＤデコード処理部のブロック図である。
【図６】図１の光ビーコンのブロック図である。
【図７】ＩＤ認識カメラの動作を説明する図である。
【図８】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図９】ＩＤ認識カメラが画像信号を生成する動作を説明する図である。
【図１０】ＩＤ認識カメラが点滅パターンをデコードする動作を説明する図である。
【図１１】画像生成処理を説明するフローチャートである。
【図１２】画像生成処理を説明する図である。
【図１３】画像生成処理を説明する図である。
【図１４】画像表示処理を説明するフローチャートである。
【図１５】画像表示処理を説明する図である。
【図１６】記録媒体を説明する図である。
【符号の説明】
２，２−１乃至２−３ 演算装置， ３，３−１乃至３−３ ＩＤ認識カメラ，４，４−１乃至４−３ 表示部， ５，５−１乃至５−３ 光ビーコン， １１ 画素数演算部， １２ メモリ， １３ 差分演算部， １４ ズーム倍率演算部， １５ 画像処理部， １６ ＩＤ位置情報取得部， １７ メモリ， １８ 変位測定部， １９ 注視位置演算部， ２０ 画像送信部， ２１ 受信部， ２２ 画像合成部

Claims (5)

1. 所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像手段と、
   前記撮像手段により撮像された前記送信装置の画像上の位置を測定する位置測定手段と、
   前記位置測定手段により測定された前記送信装置の画像上の位置の変位を測定する変位測定手段と、
   前記変位測定手段により測定された変位に基づいて、前記撮像手段により撮像された画像上の注視位置を演算する演算手段と、
   前記演算手段により演算された注視位置に基づいて、表示画像を生成する表示画像生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記撮像手段により撮像された前記送信装置の画像上の画素数を測定する画素数測定手段と、
   前記画素数測定手段により測定された、前記撮像手段により撮像された前記送信装置の画像上の画素数に基づいて、前記表示画像のズーム倍率を演算するズーム倍率演算手段とをさらに備え、
   前記表示画像生成手段は、前記演算手段により演算された注視位置を中心とした、前記ズーム倍率演算手段により演算されたズーム倍率の表示画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された前記送信装置の画像上の位置を測定する位置測定ステップと、
   前記位置測定ステップの処理で測定された前記送信装置の画像上の位置の変位を測定する変位測定ステップと、
   前記変位測定ステップの処理で測定された変位に基づいて、前記撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップと、
   前記演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップと
   を含むことを特徴とする画像処理方法。
4. 所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された前記送信装置の画像上の位置を測定する位置測定ステップと、
   前記位置測定ステップの処理で測定された前記送信装置の画像上の位置の変位を測定する変位測定ステップと、
   前記変位測定ステップの処理で測定された変位に基づいて、前記撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップと、
   前記演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
5. 所定の点滅パターンで発光し、データを送信する送信装置を撮像する撮像装置で撮像された前記送信装置の画像上の位置を測定する位置測定ステップと、
   前記位置測定ステップの処理で測定された前記送信装置の画像上の位置の変位を測定する変位測定ステップと、
   前記変位測定ステップの処理で測定された変位に基づいて、前記撮像ステップの処理で撮像された画像上の注視位置を演算する演算ステップと、
   前記演算ステップの処理で演算された注視位置に基づいて、表示画像を生成する表示画像生成ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images