JP2004112511A - 表示制御装置および方法 - Google Patents
表示制御装置および方法 Download PDFInfo
- Publication number
- JP2004112511A JP2004112511A JP2002273942A JP2002273942A JP2004112511A JP 2004112511 A JP2004112511 A JP 2004112511A JP 2002273942 A JP2002273942 A JP 2002273942A JP 2002273942 A JP2002273942 A JP 2002273942A JP 2004112511 A JP2004112511 A JP 2004112511A
- Authority
- JP
- Japan
- Prior art keywords
- video
- specific
- display control
- image
- specific video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】限定された表示エリアを有効に活用した映像を提供することで、モニタする人に全体の雰囲気を伝えることが可能な表示制御装置および方法を提供する。
【解決手段】ビデオカメラ１は撮り込んだ映像および音声を表示制御装置２に送信し、表示制御装置２は受信した映像から人物映像を抽出し、抽出した人物映像を処理し、処理した人物映像を背景映像に合成することで映像情報を生成し、生成した映像情報を通信回線４を介して通信端末３に送信する。そして、通信端末３は受信した映像情報を表示部に表示する。また、通信端末３から特定の人物の映像の処理の指示を通信回線４を介して表示制御装置２に送信することができ、表示制御装置２は通信端末３から受信した指示に基づいて映像の処理を行う。
【選択図】 図１
【解決手段】ビデオカメラ１は撮り込んだ映像および音声を表示制御装置２に送信し、表示制御装置２は受信した映像から人物映像を抽出し、抽出した人物映像を処理し、処理した人物映像を背景映像に合成することで映像情報を生成し、生成した映像情報を通信回線４を介して通信端末３に送信する。そして、通信端末３は受信した映像情報を表示部に表示する。また、通信端末３から特定の人物の映像の処理の指示を通信回線４を介して表示制御装置２に送信することができ、表示制御装置２は通信端末３から受信した指示に基づいて映像の処理を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、表示制御装置および方法に関し、特に、会議システム等で使用されるようなビデオカメラで撮影している映像をテレビモニタまたは通信端末等の表示装置に映し出すための表示制御装置および方法に関する。
【０００２】
【従来の技術】
従来、会議システム等で使用されている映像情報システムでは、会議室内に設置されたビデオカメラにより映像を撮り込み、ＩＳＤＮやネットワーク等の回線を用いて映像を映像信号として送出し、テレビモニタまたは携帯情報端末等の表示装置に映し出している。
【０００３】
ただし、従来の技術による映像表示では、テレビモニタまたは携帯情報端末等の表示装置の画面全体に占める個々の人物映像の大きさは非常に小さく、テレビ会議等で使用される映像情報システムでは、モニタする人は議論または説明の中心人物に関する情報として音声だけを取得することしかできないため、会議場の雰囲気等をモニタする人に伝えにくいという問題がある。
【０００４】
更に、このような映像表示システムにおいて、生中継を行うと映像情報の情報量が大きくなってしまうため、回線の容量によってはぎこちない動きの映像となってしまうという問題がある。
【０００５】
これらの問題を解決する技術として、複数のマイクから音声信号を取り込むことにより発言者を特定し、特定した発言者をカメラで追尾するという技術が提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開平５−１９９５２１号公報
【０００７】
【発明が解決しようとする課題】
しかし、特許文献１に提案された技術では、カメラが取り込む映像は特定の発言者だけになってしまい、モニタする人に全体の雰囲気を伝えることは難しく、また、カメラの追尾を制御するためのハードウェア等が複雑になってしまい、高価なシステムになってしまう。
【０００８】
そこで、本発明は、上記問題を解消するとともに、限定された表示エリアを有効に活用した映像を提供することで、モニタする人に全体の雰囲気を伝えることが可能な表示制御装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、カメラが撮り込んだ映像およびマイクロフォンが取り込んだした音声を受信して処理し、該処理した映像および音声を通信端末に送信する表示制御装置において、前記映像における特定映像を登録する特定映像登録手段と、前記カメラが撮り込んだ映像から前記特定映像登録手段で登録した特定映像を抽出する特定映像抽出手段と、前記特定映像抽出手段で抽出した特定映像を前記特定映像が抽出された背景映像に再配置する再配置手段と、前記再配置手段で特定映像が再配置された背景映像を前記通信端末に送信する通信手段とを具備し、前記再配置手段は、前記通信端末の表示部で表示する前記映像情報内の前記特定映像が顕著になるように再配置することを特徴とする。
【００１０】
また、請求項２の発明は、請求項１の発明において、前記再配置手段は、前記特定映像および前記背景映像を拡大処理若しくは縮小処理する映像処理手段とを具備し、前記通信端末から該通信端末の表示部の表示範囲を取得し、該取得した表示範囲に基づき、前記映像処理手段により前記特定情報の拡大処理および前記背景映像の縮小処理を行い、該通信端末の表示部に該特定映像が顕著になるように再配置することを特徴とする。
【００１１】
また、請求項３の発明は、請求項２の発明において、前記映像から前記特定映像の動作の大きさを検出する検出手段と、前記検出手段で検出した動作の大きさに基づく重みを演算する重み演算手段とを更に具備し、前記再配置手段は、前記重み演算手段で演算した重みに対応するサイズで前記特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００１２】
また、請求項４の発明は、請求項３の発明において、前記特定映像から発生される音声を、予め該特定映像と関連付けて登録する音声登録手段を更に具備し、前記検出手段は、前記マイクロフォンが取り込んだ音声の大きさを検出し、前記重み演算手段は、前記検出手段で検出した音声の大きさに基づく重みを演算し、前記再配置手段は、前記演算手段で演算した重みに対応するサイズで、前記音声登録手段に該音声と関連付けて登録された特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００１３】
また、請求項５の発明は、請求項４の発明において、前記重み演算手段で重みを演算する際に、動作と音声との優先比率を調整することを特徴とする。
【００１４】
また、請求項６の発明は、請求項４の発明において、前記重み演算手段で演算した重みを維持する時間を調整することを特徴とする。
【００１５】
また、請求項７の発明は、請求項２の発明において、前記再配置手段は、前記通信端末から前記特定情報の映像処理の指示を受信した際に、該指示された特定情報の拡大処理若しくは縮小処理を行うことを特徴とする。
【００１６】
また、請求項８の発明は、請求項２の発明において、音声を認識する音声認識手段を更に具備し、前記特定映像登録手段に前記特定映像を登録するとともに、該特定映像に関する名称を登録し、前記再配置手段は、前記音声認識手段が前記マイクロフォンが取り込んだ音声から前記名称を認識した際に、該名称に関する特定映像の拡大処理を行うことを特徴とする。
【００１７】
また、請求項９の発明は、請求項２の発明において、前記特定映像登録手段で登録された特定映像がホワイトボード等の掲示物である場合、前記再配置手段は、前記特定映像に文字等が書き込まれる際に、該特定映像を拡大処理することを特徴とする。
【００１８】
また、請求項１０の発明は、カメラが撮り込んだ映像およびマイクロフォンが取り込んだした音声を受信して処理し、該処理した映像および音声を通信端末に送信する表示制御方法において、前記カメラが撮り込んだ映像から予め登録した特定映像を抽出し、該抽出した特定映像を、前記特定映像が抽出された背景映像に、該特定映像が顕著になるように再配置し、前記特定映像が再配置された背景映像を前記通信端末に送信することを特徴とする。
【００１９】
また、請求項１１の発明は、請求項１０の発明において、前記通信端末から該通信端末の表示部の表示範囲を取得し、前記特定映像を再配置する際に、前記表示範囲に基づき、該特定情報の拡大処理および前記背景映像の縮小処理を行い、前記通信端末の表示部に該特定映像が顕著になるように再配置することを特徴とする。
【００２０】
また、請求項１２の発明は、請求項１１の発明において、前記映像から前記特定映像の動作の大きさを検出し、該検出した動作の大きさに基づく重みを演算し、該演算した重みに対応するサイズで前記特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００２１】
また、請求項１３の発明は、請求項１２の発明において、前記特定映像から発生される音声を、予め該特定映像と関連付けて登録し、前記マイクロフォンが取り込んだ音声の大きさを検出し、該検出した音声の大きさに基づく重みを演算し、該演算した重みに対応するサイズで、前記マイクロフォンが取り込んだ音声と関連付けて登録された特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００２２】
また、請求項１４の発明は、請求項１３の発明において、前記重みを演算する際に、動作と音声との優先比率を調整することを特徴とする。
【００２３】
また、請求項１５の発明は、請求項１３の発明において、前記重みを維持する時間を調整することを特徴とする。
【００２４】
また、請求項１６の発明は、請求項１１の発明において、前記通信端末から前記特定情報の映像処理の指示を受信した際に、該指示された特定情報の拡大処理若しくは縮小処理を行うことを特徴とする。
【００２５】
また、請求項１７の発明は、請求項１１の発明において、前記特定映像とともに、該特定映像に関する名称を登録し、前記マイクロフォンが取り込んだ音声を認識し、該認識した音声が前記名称と一致する際に、該名称に関する特定映像の拡大処理を行うことを特徴とする。
【００２６】
また、請求項１８の発明は、請求項１１の発明において、前記特定映像がホワイトボード等の掲示物である場合、該特定映像に文字等が書き込まれる際に、該特定映像を拡大処理することを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明に係わる表示制御装置および方法の実施の形態について添付図面を参照して詳細に説明する。
【００２８】
図１は、本発明に係わる表示制御装置を有する表示制御システムにおける第１の実施形態の概略構成の一例を示す図である。
【００２９】
図１に示すように、表示制御システムは、ビデオカメラ１、表示制御装置２、ＰＤＡ若しくは携帯電話等からなる通信端末３から構成されている。
【００３０】
ここで、ビデオカメラ１は会議等の映像を撮り込むとともに、ビデオカメラ１に設けられたマイクロフォン等の録音装置で音声を取り込み、映像および音声を表示制御装置２に送信する。なお、ビデオカメラ１から表示制御装置２へ映像および音声を送信する手段は有線通信を用いる構成でも無線通信を用い構成でも良く、特に限定しない。
【００３１】
そして、表示制御装置２は受信した映像から人物映像を抽出し、各人物の動作および音声に基づく重みを演算し、演算した重みに基づいて各人物の映像サイズを決定し、決定した各人物の映像サイズに基づいて人物映像を処理し、処理した人物映像を背景映像に合成することで映像情報を生成し、生成した映像情報をネットワーク若しくは公衆回線等の通信回線４を介して通信端末３に送信する。なお、表示制御装置２と通信回線４との通信および通信端末３と通信回線４との通信は有線通信を用いる構成でも無線通信を用い構成でも良く、特に限定しない。
【００３２】
そして、通信端末３は受信した映像情報を、通信端末３が有する液晶ディスプレイ等の表示部に表示する。
【００３３】
また、通信端末３から特定の人物の映像の拡大処理若しくは縮小処理等の指示を通信回線４を介して表示制御装置２に送信することができる。この場合、表示制御装置２は通信端末３から受信した指示に基づいて映像の処理を行う。
【００３４】
図２は、表示制御装置２の概略構成の一例を示すブロック図である。
【００３５】
図２に示すように、表示制御装置２はＣＰＵ５、ＲＯＭ６、ＲＡＭ７、記憶部８、映像／音声受信部９、通信制御部１０、映像抽出部１１、映像処理部１２、音声処理部１３、映像合成部１４、重み演算部１５から構成されている。
【００３６】
ここで、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５は、表示制御装置２全体の制御処理を行う。
【００３７】
また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６は、表示制御装置２全体を制御するプログラムが格納されている。
【００３８】
また、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７は、表示制御装置２のメインメモリとして利用される。
【００３９】
また、記憶部８は、人物の動作および音声に基づく重みの有線比率、人物映像と人物の音声との対応関係、および抽出する対象物等を記憶する。
【００４０】
また、映像／音声受信部９は、ビデオカメラ１に接続することで、ビデオカメラ１が撮り込んだ映像と録音装置で取り込んだ音声とを受信する。
【００４１】
また、通信制御部１０は、ネットワーク若しくは公衆回線等の通信回線４に接続し、通信端末３への映像情報の送信および通信端末３からの指示の受信を行う。
【００４２】
また、映像抽出部１１は、ビデオカメラ１から受信した映像から人物映像を抽出する。ここで、映像に複数の人物が存在する場合、人物毎の人物映像を抽出し、抽出した複数の人物映像は個々に独立している。なお、人物映像の抽出方法としては、一般的に人物を対象とした類似画像検索による方法と、予め登録された背景画像との差分検出による方法等が挙げられる。また、背景映像として、人物映像を抽出した後の背景の映像を用いても良いし、予め人物が存在しない状態の映像を用いても良い。
【００４３】
また、映像処理部１２は、映像抽出部１１で抽出した人物映像の処理（例えば、人物の動作および音声に基づく重みに対応する映像サイズに基づいて人物映像を表示する大きさを調整する処理、人物映像を補完する処理等）と、背景映像の処理とを行う。
【００４４】
また、音声処理装置１３は、音声から人物が発する声の検出、検出した声の音量の検出、および検出した声に対応する人物映像の検出を行う。
【００４５】
また、映像合成部１４は、映像処理部１２で処理が行われた人物映像を背景映像に合成する。
【００４６】
また、重み演算部１５は、人物映像からジェスチャーまたは立ち上がる等の動作、および各人物が発する声の音量を検出し、検出した動作および音量に基づき、人物映像を表示する大きさを決定する重みを演算する。つまり、この重みが大きければ人物映像は大きく表示されることになる。
【００４７】
次に、ビデオカメラ１から受信した映像を処理する際に表示制御装置２が行う処理手順について図３に示すフローチャートを参照して説明する。
【００４８】
表示制御装置は、ビデオカメラが撮り込んだ映像を受信すると（ステップＳ３０１）、受信した映像から人物映像を抽出し（ステップＳ３０２）、人物映像を処理し（ステップＳ３０３）、背景映像を処理し（ステップＳ３０４）、背景映像に人物映像を合成し（ステップＳ３０５）、合成した映像情報を通信端末に送信し（ステップＳ３０６）、処理手順を終了する。
【００４９】
次に、本発明に係わる表示制御装置２を含む表示制御システムの具体例を説明する。なお、具体例としてテレビ会議システムの構成を用いるが、本発明に係わる表示制御装置２を含む表示制御システムは、遠隔教育システムまたは監視システム等の構成にも適用可能であり、システム構成については限定しない。
【００５０】
図４は、会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【００５１】
図４に示すように、会議室内にはテーブル１７が設置され、人物Ａ１８１、人物Ｂ１８２、人物Ｃ１８３、人物Ｄ１８４および人物Ｅ１８５がテーブル１７の周りに着席している。ここで、ビデオカメラ１の映像範囲にテーブル１７と人物Ａ〜Ｅ（１８１〜１８５）とを収めるためにビデオカメラ１のズーム量を制御するので、ビデオカメラが撮り込んだ映像１６のテーブル１７および各人物の大きさはある程度縮小されてしまう。しかし、図４に示すビデオカメラが撮り込んだ映像１６では、テーブル１７は各人物より大きい上に、各人物の間隔距離が長いため、図４に示すビデオカメラが撮り込んだ映像１６をそのまま通信端末３に送信しても、通信端末３の表示部の表示範囲は比較的小さいため、人物の見分け等が困難になってしまう。
【００５２】
図５は、図４に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９の表示例である。
【００５３】
ここで、図５に示す表示例の人物Ａ〜Ｅ（１８１〜１８５）は図４に示すビデオカメラが撮り込んだ映像１６の人物Ａ〜Ｅ（１８１〜１８５）より大きく、更に、図５に示す表示例の各人物の間隔距離は図４に示すビデオカメラが撮り込んだ映像１６の各人物の間隔距離より短い。これは、表示制御装置２が人物Ａ〜Ｅ（１８１〜１８５）の映像を拡大し、拡大した人物Ａ〜Ｅ（１８１〜１８５）の映像を背景映像に合成する際に、各人物を接近させて合成したからである。従って、比較的表示範囲が小さい通信端末の表示部１９においても、人物の見分けが容易になる。
【００５４】
次に、人物映像から検出した動作および声の音量に基づいて人物映像を表示する大きさを決定する処理について図６に示すフローチャートを参照して説明する。なお、この処理は、図３に示すフローチャートのステップＳ３０３に含まれる処理であるため、ステップＳ３０３の開始が図６に示すフローチャートの開始になる。
【００５５】
ステップＳ３０３が開始すると、人物映像から人物の動作を検出し（ステップＳ６０１）、ビデオカメラから受信した音声から人物が発する声とその声の音量とを検出し（ステップＳ６０２）、検出した人物の動作と人物が発する声の音量とから重みを演算し（ステップＳ６０３）、検出した声に対応する人物映像を検出し（ステップＳ６０４）、演算した重みに対応する映像サイズに基づき、検出した声に対応する人物映像を表示する大きさを調整し（ステップＳ６０５）、ステップＳ３０３を終了する。
【００５６】
図７は、表示制御装置２が図４に示すビデオカメラが撮り込んだ映像１６の人物映像から検出した動作および声の音量に基づき、人物映像を表示する大きさを決定する処理を行った映像を通信端末の表示部１９に表示した表示例である。
【００５７】
ここで、図７に示す表示例の人物Ａ１８１、人物Ｃ１８３、人物Ｄ１８４は大きく表示され、人物Ｂ１８２、人物Ｅ１８５は小さく表示されている。これは、人物Ａ１８１、人物Ｃ１８３、人物Ｄ１８４が大きな動作を行った若しくは大きな声で発言をしたために、表示制御装置２が重みを大きく演算し、人物映像の表示を大きくしたからある。また、人物Ｂ１８２、人物Ｅ１８５は人物Ａ１８１、人物Ｃ１８３、人物Ｄ１８４よりも目立った動作を行わなかった若しくは大きな声で発言しなかったために、表示制御装置２が重みを小さく演算し、人物映像の表示を小さくしたからある。つまり、通信端末３でモニタをしている人にも、現在、誰と誰とが意見を交換しているのか等の会議全体の雰囲気を伝えることができる。更に、プレゼンテーション等の場で発表者が立ち上がるとともに発表者の映像の重みが大きくなり拡大表示され、以後発表者がプレゼンテーションを続けることで発表者の映像の重みの大きさは維持され、拡大表示が継続されることで、プレゼンテーションの雰囲気も伝えることができる。
【００５８】
なお、その場の状況等に応じて、重みを演算する際の動作と音声との優先比率を調整することができる。つまり、あまり動作が少ない会議等の場の状況では、動作よりも音声を優先して重みを演算することで、更に場の全体の雰囲気を伝えることができる。
【００５９】
また、演算した重みを維持する時間を調整することで、一瞬の動作または発言の後、何も動作または発言を行わなかった人物を、一定時間拡大表示させることができる。
【００６０】
ここで、通信端末３でモニタする人が、注目している人物を拡大してモニタしたい場合、モニタする人はスライスタペン若しくはマウス等の操作で拡大したい人物を選択し、通信端末３は選択された人物映像の拡大の指示を表示制御装置２に送信し、指示を受信した表示制御装置２は指示された人物映像の拡大処理を行い、拡大処理した人物映像を合成した映像情報を通信端末３に送信し、通信端末３は受信した映像情報を表示する。なお、通信端末３でモニタする人が、注目しない人物を縮小する指示を送信する場合でも、表示制御装置２は人物映像の縮小処理を行う。
【００６１】
次に、通信端末３から人物映像の処理の指示を受け入れた際に表示制御装置２が行う処理手順について図８に示すフローチャートを参照して説明する。
【００６２】
表示制御装置は、通信端末から人物映像の処理（拡大若しくは縮小）の指示を受信すると（ステップＳ８０１）、映像から人物映像を抽出し（ステップＳ８０２）、抽出した人物映像から指示された人物映像を検出し（ステップＳ８０３）、検出した人物映像を処理し（ステップＳ８０４）、残りの人物映像を処理し（ステップＳ８０５）、背景映像を処理し（ステップＳ８０６）、背景映像に人物映像を合成し（ステップＳ８０７）、合成した映像情報を通信端末に送信し（ステップＳ８０８）、処理手順を終了する。
【００６３】
また、通信端末３から表示制御装置２に、人物映像の処理の指示を送信するだけではなく、重みを演算する際の動作と音声との優先比率の調整も送信することができる。
【００６４】
ここで、表示制御装置２はビデオカメラ１から受信した音声に基づいて音声認識処理を行い、予め登録された人物の名前が発せられた場合、その人物の映像を拡大表示することができる。例えば、議論中に、「この提案についてＡさんは何か意見がありますか？」のような発言があると、表示制御装置２はこの発言に出てきたＡさんという言葉を認識し、Ａさんの人物映像を拡大表示する。更に、Ａさんがしばらく考え込んだ後で発言したとしても、Ａさんが考え込んでいる状況が拡大表示されているため、議論の場の状況がわかりやすくなる。
【００６５】
なお、表示制御装置２が映像情報を複数の通信端末３に送信している際に、ある通信端末３から人物映像を拡大表示する指示が出た場合、表示制御装置２は指示があった人物映像を拡大表示した映像情報を、全ての通信端末３に送信する構成でも良いし、指示を送信した通信端末３だけに送信する構成でも良い。
【００６６】
ここで、会議室内等にホワイトボードまたはスクリーン等が設置されている際に、そのホワイトボードまたはスクリーン等を対象物として登録すると、表示制御装置２は人物映像の抽出と同様に対象物の映像も抽出して拡大処理を行う。
【００６７】
次に、対象物が登録された際に表示制御装置２が行う処理手順について図９に示すフローチャートを参照して説明する。
【００６８】
表示制御装置は、ビデオカメラが撮り込んだ映像を受信すると（ステップＳ９０１）、受信した映像から人物映像を抽出し（ステップＳ９０２）、人物映像を処理し（ステップＳ９０３）、対象物が登録されている場合、その対象物の映像を抽出し（ステップＳ９０４）、対象物の映像を処理し（ステップ９０５）、背景映像を処理し（ステップＳ９０６）、背景映像に人物映像と対象物の映像とを合成し（ステップＳ９０７）、合成した映像情報を通信端末に送信し（ステップＳ９０８）、処理手順を終了する。
【００６９】
ここで、ステップＳ９０５における「対象物の映像の処理」とは、例えば、対象物としてホワイトボードが登録された場合、ホワイトボードに文字または図が書き込まれることにより、映像に変化が生じたと認識し、ホワイトボードの映像を拡大表示する処理を行う。
【００７０】
図１０は、ホワイトボード２０を備える会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【００７１】
図１０に示すように、会議室内にはテーブル１７とホワイトボード２０が設置され、人物Ａ１８１、人物Ｂ１８２、人物Ｃ１８３、人物Ｄ１８４および人物Ｅ１８５がテーブル１７の周りに着席している。ここで、会議中に発言者が、発言の補足となる図等をホワイトボード２０に書き込みながら発言する。
【００７２】
図１１は、図１０に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９に表示した表示例である。
【００７３】
図１１に示すように、ホワイトボード２０に文字または図等が書き込まれると、ホワイトボード２０の板面が拡大表示されるため、ホワイトボード２０に書き込まれた文字等をモニタする人は通信端末３からでも容易に確認することができる。なお、ホワイトボード２０以外にも、ＯＨＰのスクリーンまたはプロジェクターのスクリーン等にもこの処理を行うことができる。
【００７４】
また、対象物の映像についても演算した重みに基づいて映像サイズを決定することもでき、モニタする人が対象物の映像を拡大表示する指示を送信することもできる。
【００７５】
図１２は、表示制御システムにおける第２の実施形態の概略構成の一例を示す図である。
【００７６】
図１２に示すように、表示制御システムは、ビデオカメラ１、表示制御装置２、ＰＤＡ若しくは携帯電話等からなる通信端末３から構成されている点では、第１の実施形態の構成と同様である。ここで、ビデオカメラ１は撮り込んだ会議等の映像および音声を表示制御装置２に送信することは、第１の実施形態と同様である。
【００７７】
そして、表示制御装置２は受信した映像から人物映像を抽出し、各人物の動作および音声に基づく重みを演算し、抽出した人物映像情報、演算した重み情報、背景映像情報、および人物映像の位置情報等を独立した形で通信端末３に送信する。なお、背景映像情報は、基本的にはほとんど変化しないので、最初に送信した背景映像情報に変化が生じるまで、背景映像情報を随時送信する必要はない。
【００７８】
そして、通信端末３は受信した人物映像情報および重み情報から人物映像を処理し、受信した位置情報に基づき、処理した人物映像を背景映像に合成し、合成した映像を表示部に表示する。つまり、第２の実施形態における表示制御装置２は映像の抽出および重みの演算を行い、通信端末３は映像の処理および合成を行う。従って、表示制御装置２から通信端末３に情報を通信する際に、圧縮した人物映像情報、重み情報および位置情報のデータ容量は、圧縮した全体の映像のよりも少なく抑えることが可能になり、スムーズな映像を表示することができる。
【００７９】
また、第２の実施形態の場合でも、人物映像の拡大処理または縮小処理の指示をすることができ、この場合の処理も通信端末３が行うことになる。
【００８０】
上記実施例では、テレビ会議システムを具体例として説明してきたが、例えば、店舗内にビデオカメラを設置し、店舗内の人物のみを拡大表示することで、人物の行動をより分かり易い映像として提供する店舗監視システム、または野生の動物の生態等を観察するための観察システム等に用いる構成でも適用可能である。
【００８１】
【発明の効果】
以上説明したように本発明によれば、人物や注目する対象物等を抽出して拡大表示することで、限られた表示エリアに表示する映像からでも、詳細にモニタを行うことが可能になるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に係わる表示制御装置を有する表示制御システムにおける第１の実施形態の概略構成の一例を示す図である。
【図２】表示制御装置２の概略構成の一例を示すブロック図である。
【図３】ビデオカメラ１から受信した映像を処理する際に表示制御装置２が行う処理手順を示すフローチャートである。
【図４】会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【図５】図４に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９の表示例である。
【図６】人物映像から検出した動作および声の音量に基づいて人物映像を表示する大きさを決定する処理を示すフローチャートである。
【図７】表示制御装置２が図４に示すビデオカメラが撮り込んだ映像１６の人物映像から検出した動作および声の音量に基づき、人物映像を表示する大きさを決定する処理を行った映像を通信端末の表示部１９に表示した表示例である。
【図８】通信端末３から人物映像の処理の指示を受け入れた際に表示制御装置２が行う処理手順を示すフローチャートである。
【図９】対象物が登録された際に表示制御装置２が行う処理手順を示すフローチャートである。
【図１０】ホワイトボード２０を備える会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【図１１】図１０に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９に表示した表示例である。
【図１２】表示制御システムにおける第２の実施形態の概略構成の一例を示す図である。
【符号の説明】
１ ビデオカメラ
２ 表示制御装置
３ 通信端末
４ 通信回線
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ 記憶部
９ 映像／音声受信部
１０ 通信制御部
１１ 映像抽出部
１２ 映像処理部
１３ 音声処理部
１４ 映像合成部
１５ 重み演算部
１６ ビデオカメラが撮り込んだ映像
１７ テーブル
１８１、１８２、１８３、１８４、１８５ 人物
１９ 通信端末の表示部
２０ ホワイトボード
【発明の属する技術分野】
本発明は、表示制御装置および方法に関し、特に、会議システム等で使用されるようなビデオカメラで撮影している映像をテレビモニタまたは通信端末等の表示装置に映し出すための表示制御装置および方法に関する。
【０００２】
【従来の技術】
従来、会議システム等で使用されている映像情報システムでは、会議室内に設置されたビデオカメラにより映像を撮り込み、ＩＳＤＮやネットワーク等の回線を用いて映像を映像信号として送出し、テレビモニタまたは携帯情報端末等の表示装置に映し出している。
【０００３】
ただし、従来の技術による映像表示では、テレビモニタまたは携帯情報端末等の表示装置の画面全体に占める個々の人物映像の大きさは非常に小さく、テレビ会議等で使用される映像情報システムでは、モニタする人は議論または説明の中心人物に関する情報として音声だけを取得することしかできないため、会議場の雰囲気等をモニタする人に伝えにくいという問題がある。
【０００４】
更に、このような映像表示システムにおいて、生中継を行うと映像情報の情報量が大きくなってしまうため、回線の容量によってはぎこちない動きの映像となってしまうという問題がある。
【０００５】
これらの問題を解決する技術として、複数のマイクから音声信号を取り込むことにより発言者を特定し、特定した発言者をカメラで追尾するという技術が提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開平５−１９９５２１号公報
【０００７】
【発明が解決しようとする課題】
しかし、特許文献１に提案された技術では、カメラが取り込む映像は特定の発言者だけになってしまい、モニタする人に全体の雰囲気を伝えることは難しく、また、カメラの追尾を制御するためのハードウェア等が複雑になってしまい、高価なシステムになってしまう。
【０００８】
そこで、本発明は、上記問題を解消するとともに、限定された表示エリアを有効に活用した映像を提供することで、モニタする人に全体の雰囲気を伝えることが可能な表示制御装置および方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、カメラが撮り込んだ映像およびマイクロフォンが取り込んだした音声を受信して処理し、該処理した映像および音声を通信端末に送信する表示制御装置において、前記映像における特定映像を登録する特定映像登録手段と、前記カメラが撮り込んだ映像から前記特定映像登録手段で登録した特定映像を抽出する特定映像抽出手段と、前記特定映像抽出手段で抽出した特定映像を前記特定映像が抽出された背景映像に再配置する再配置手段と、前記再配置手段で特定映像が再配置された背景映像を前記通信端末に送信する通信手段とを具備し、前記再配置手段は、前記通信端末の表示部で表示する前記映像情報内の前記特定映像が顕著になるように再配置することを特徴とする。
【００１０】
また、請求項２の発明は、請求項１の発明において、前記再配置手段は、前記特定映像および前記背景映像を拡大処理若しくは縮小処理する映像処理手段とを具備し、前記通信端末から該通信端末の表示部の表示範囲を取得し、該取得した表示範囲に基づき、前記映像処理手段により前記特定情報の拡大処理および前記背景映像の縮小処理を行い、該通信端末の表示部に該特定映像が顕著になるように再配置することを特徴とする。
【００１１】
また、請求項３の発明は、請求項２の発明において、前記映像から前記特定映像の動作の大きさを検出する検出手段と、前記検出手段で検出した動作の大きさに基づく重みを演算する重み演算手段とを更に具備し、前記再配置手段は、前記重み演算手段で演算した重みに対応するサイズで前記特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００１２】
また、請求項４の発明は、請求項３の発明において、前記特定映像から発生される音声を、予め該特定映像と関連付けて登録する音声登録手段を更に具備し、前記検出手段は、前記マイクロフォンが取り込んだ音声の大きさを検出し、前記重み演算手段は、前記検出手段で検出した音声の大きさに基づく重みを演算し、前記再配置手段は、前記演算手段で演算した重みに対応するサイズで、前記音声登録手段に該音声と関連付けて登録された特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００１３】
また、請求項５の発明は、請求項４の発明において、前記重み演算手段で重みを演算する際に、動作と音声との優先比率を調整することを特徴とする。
【００１４】
また、請求項６の発明は、請求項４の発明において、前記重み演算手段で演算した重みを維持する時間を調整することを特徴とする。
【００１５】
また、請求項７の発明は、請求項２の発明において、前記再配置手段は、前記通信端末から前記特定情報の映像処理の指示を受信した際に、該指示された特定情報の拡大処理若しくは縮小処理を行うことを特徴とする。
【００１６】
また、請求項８の発明は、請求項２の発明において、音声を認識する音声認識手段を更に具備し、前記特定映像登録手段に前記特定映像を登録するとともに、該特定映像に関する名称を登録し、前記再配置手段は、前記音声認識手段が前記マイクロフォンが取り込んだ音声から前記名称を認識した際に、該名称に関する特定映像の拡大処理を行うことを特徴とする。
【００１７】
また、請求項９の発明は、請求項２の発明において、前記特定映像登録手段で登録された特定映像がホワイトボード等の掲示物である場合、前記再配置手段は、前記特定映像に文字等が書き込まれる際に、該特定映像を拡大処理することを特徴とする。
【００１８】
また、請求項１０の発明は、カメラが撮り込んだ映像およびマイクロフォンが取り込んだした音声を受信して処理し、該処理した映像および音声を通信端末に送信する表示制御方法において、前記カメラが撮り込んだ映像から予め登録した特定映像を抽出し、該抽出した特定映像を、前記特定映像が抽出された背景映像に、該特定映像が顕著になるように再配置し、前記特定映像が再配置された背景映像を前記通信端末に送信することを特徴とする。
【００１９】
また、請求項１１の発明は、請求項１０の発明において、前記通信端末から該通信端末の表示部の表示範囲を取得し、前記特定映像を再配置する際に、前記表示範囲に基づき、該特定情報の拡大処理および前記背景映像の縮小処理を行い、前記通信端末の表示部に該特定映像が顕著になるように再配置することを特徴とする。
【００２０】
また、請求項１２の発明は、請求項１１の発明において、前記映像から前記特定映像の動作の大きさを検出し、該検出した動作の大きさに基づく重みを演算し、該演算した重みに対応するサイズで前記特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００２１】
また、請求項１３の発明は、請求項１２の発明において、前記特定映像から発生される音声を、予め該特定映像と関連付けて登録し、前記マイクロフォンが取り込んだ音声の大きさを検出し、該検出した音声の大きさに基づく重みを演算し、該演算した重みに対応するサイズで、前記マイクロフォンが取り込んだ音声と関連付けて登録された特定映像の拡大処理若しくは縮小処理を行うことを特徴とする。
【００２２】
また、請求項１４の発明は、請求項１３の発明において、前記重みを演算する際に、動作と音声との優先比率を調整することを特徴とする。
【００２３】
また、請求項１５の発明は、請求項１３の発明において、前記重みを維持する時間を調整することを特徴とする。
【００２４】
また、請求項１６の発明は、請求項１１の発明において、前記通信端末から前記特定情報の映像処理の指示を受信した際に、該指示された特定情報の拡大処理若しくは縮小処理を行うことを特徴とする。
【００２５】
また、請求項１７の発明は、請求項１１の発明において、前記特定映像とともに、該特定映像に関する名称を登録し、前記マイクロフォンが取り込んだ音声を認識し、該認識した音声が前記名称と一致する際に、該名称に関する特定映像の拡大処理を行うことを特徴とする。
【００２６】
また、請求項１８の発明は、請求項１１の発明において、前記特定映像がホワイトボード等の掲示物である場合、該特定映像に文字等が書き込まれる際に、該特定映像を拡大処理することを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明に係わる表示制御装置および方法の実施の形態について添付図面を参照して詳細に説明する。
【００２８】
図１は、本発明に係わる表示制御装置を有する表示制御システムにおける第１の実施形態の概略構成の一例を示す図である。
【００２９】
図１に示すように、表示制御システムは、ビデオカメラ１、表示制御装置２、ＰＤＡ若しくは携帯電話等からなる通信端末３から構成されている。
【００３０】
ここで、ビデオカメラ１は会議等の映像を撮り込むとともに、ビデオカメラ１に設けられたマイクロフォン等の録音装置で音声を取り込み、映像および音声を表示制御装置２に送信する。なお、ビデオカメラ１から表示制御装置２へ映像および音声を送信する手段は有線通信を用いる構成でも無線通信を用い構成でも良く、特に限定しない。
【００３１】
そして、表示制御装置２は受信した映像から人物映像を抽出し、各人物の動作および音声に基づく重みを演算し、演算した重みに基づいて各人物の映像サイズを決定し、決定した各人物の映像サイズに基づいて人物映像を処理し、処理した人物映像を背景映像に合成することで映像情報を生成し、生成した映像情報をネットワーク若しくは公衆回線等の通信回線４を介して通信端末３に送信する。なお、表示制御装置２と通信回線４との通信および通信端末３と通信回線４との通信は有線通信を用いる構成でも無線通信を用い構成でも良く、特に限定しない。
【００３２】
そして、通信端末３は受信した映像情報を、通信端末３が有する液晶ディスプレイ等の表示部に表示する。
【００３３】
また、通信端末３から特定の人物の映像の拡大処理若しくは縮小処理等の指示を通信回線４を介して表示制御装置２に送信することができる。この場合、表示制御装置２は通信端末３から受信した指示に基づいて映像の処理を行う。
【００３４】
図２は、表示制御装置２の概略構成の一例を示すブロック図である。
【００３５】
図２に示すように、表示制御装置２はＣＰＵ５、ＲＯＭ６、ＲＡＭ７、記憶部８、映像／音声受信部９、通信制御部１０、映像抽出部１１、映像処理部１２、音声処理部１３、映像合成部１４、重み演算部１５から構成されている。
【００３６】
ここで、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５は、表示制御装置２全体の制御処理を行う。
【００３７】
また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６は、表示制御装置２全体を制御するプログラムが格納されている。
【００３８】
また、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７は、表示制御装置２のメインメモリとして利用される。
【００３９】
また、記憶部８は、人物の動作および音声に基づく重みの有線比率、人物映像と人物の音声との対応関係、および抽出する対象物等を記憶する。
【００４０】
また、映像／音声受信部９は、ビデオカメラ１に接続することで、ビデオカメラ１が撮り込んだ映像と録音装置で取り込んだ音声とを受信する。
【００４１】
また、通信制御部１０は、ネットワーク若しくは公衆回線等の通信回線４に接続し、通信端末３への映像情報の送信および通信端末３からの指示の受信を行う。
【００４２】
また、映像抽出部１１は、ビデオカメラ１から受信した映像から人物映像を抽出する。ここで、映像に複数の人物が存在する場合、人物毎の人物映像を抽出し、抽出した複数の人物映像は個々に独立している。なお、人物映像の抽出方法としては、一般的に人物を対象とした類似画像検索による方法と、予め登録された背景画像との差分検出による方法等が挙げられる。また、背景映像として、人物映像を抽出した後の背景の映像を用いても良いし、予め人物が存在しない状態の映像を用いても良い。
【００４３】
また、映像処理部１２は、映像抽出部１１で抽出した人物映像の処理（例えば、人物の動作および音声に基づく重みに対応する映像サイズに基づいて人物映像を表示する大きさを調整する処理、人物映像を補完する処理等）と、背景映像の処理とを行う。
【００４４】
また、音声処理装置１３は、音声から人物が発する声の検出、検出した声の音量の検出、および検出した声に対応する人物映像の検出を行う。
【００４５】
また、映像合成部１４は、映像処理部１２で処理が行われた人物映像を背景映像に合成する。
【００４６】
また、重み演算部１５は、人物映像からジェスチャーまたは立ち上がる等の動作、および各人物が発する声の音量を検出し、検出した動作および音量に基づき、人物映像を表示する大きさを決定する重みを演算する。つまり、この重みが大きければ人物映像は大きく表示されることになる。
【００４７】
次に、ビデオカメラ１から受信した映像を処理する際に表示制御装置２が行う処理手順について図３に示すフローチャートを参照して説明する。
【００４８】
表示制御装置は、ビデオカメラが撮り込んだ映像を受信すると（ステップＳ３０１）、受信した映像から人物映像を抽出し（ステップＳ３０２）、人物映像を処理し（ステップＳ３０３）、背景映像を処理し（ステップＳ３０４）、背景映像に人物映像を合成し（ステップＳ３０５）、合成した映像情報を通信端末に送信し（ステップＳ３０６）、処理手順を終了する。
【００４９】
次に、本発明に係わる表示制御装置２を含む表示制御システムの具体例を説明する。なお、具体例としてテレビ会議システムの構成を用いるが、本発明に係わる表示制御装置２を含む表示制御システムは、遠隔教育システムまたは監視システム等の構成にも適用可能であり、システム構成については限定しない。
【００５０】
図４は、会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【００５１】
図４に示すように、会議室内にはテーブル１７が設置され、人物Ａ１８１、人物Ｂ１８２、人物Ｃ１８３、人物Ｄ１８４および人物Ｅ１８５がテーブル１７の周りに着席している。ここで、ビデオカメラ１の映像範囲にテーブル１７と人物Ａ〜Ｅ（１８１〜１８５）とを収めるためにビデオカメラ１のズーム量を制御するので、ビデオカメラが撮り込んだ映像１６のテーブル１７および各人物の大きさはある程度縮小されてしまう。しかし、図４に示すビデオカメラが撮り込んだ映像１６では、テーブル１７は各人物より大きい上に、各人物の間隔距離が長いため、図４に示すビデオカメラが撮り込んだ映像１６をそのまま通信端末３に送信しても、通信端末３の表示部の表示範囲は比較的小さいため、人物の見分け等が困難になってしまう。
【００５２】
図５は、図４に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９の表示例である。
【００５３】
ここで、図５に示す表示例の人物Ａ〜Ｅ（１８１〜１８５）は図４に示すビデオカメラが撮り込んだ映像１６の人物Ａ〜Ｅ（１８１〜１８５）より大きく、更に、図５に示す表示例の各人物の間隔距離は図４に示すビデオカメラが撮り込んだ映像１６の各人物の間隔距離より短い。これは、表示制御装置２が人物Ａ〜Ｅ（１８１〜１８５）の映像を拡大し、拡大した人物Ａ〜Ｅ（１８１〜１８５）の映像を背景映像に合成する際に、各人物を接近させて合成したからである。従って、比較的表示範囲が小さい通信端末の表示部１９においても、人物の見分けが容易になる。
【００５４】
次に、人物映像から検出した動作および声の音量に基づいて人物映像を表示する大きさを決定する処理について図６に示すフローチャートを参照して説明する。なお、この処理は、図３に示すフローチャートのステップＳ３０３に含まれる処理であるため、ステップＳ３０３の開始が図６に示すフローチャートの開始になる。
【００５５】
ステップＳ３０３が開始すると、人物映像から人物の動作を検出し（ステップＳ６０１）、ビデオカメラから受信した音声から人物が発する声とその声の音量とを検出し（ステップＳ６０２）、検出した人物の動作と人物が発する声の音量とから重みを演算し（ステップＳ６０３）、検出した声に対応する人物映像を検出し（ステップＳ６０４）、演算した重みに対応する映像サイズに基づき、検出した声に対応する人物映像を表示する大きさを調整し（ステップＳ６０５）、ステップＳ３０３を終了する。
【００５６】
図７は、表示制御装置２が図４に示すビデオカメラが撮り込んだ映像１６の人物映像から検出した動作および声の音量に基づき、人物映像を表示する大きさを決定する処理を行った映像を通信端末の表示部１９に表示した表示例である。
【００５７】
ここで、図７に示す表示例の人物Ａ１８１、人物Ｃ１８３、人物Ｄ１８４は大きく表示され、人物Ｂ１８２、人物Ｅ１８５は小さく表示されている。これは、人物Ａ１８１、人物Ｃ１８３、人物Ｄ１８４が大きな動作を行った若しくは大きな声で発言をしたために、表示制御装置２が重みを大きく演算し、人物映像の表示を大きくしたからある。また、人物Ｂ１８２、人物Ｅ１８５は人物Ａ１８１、人物Ｃ１８３、人物Ｄ１８４よりも目立った動作を行わなかった若しくは大きな声で発言しなかったために、表示制御装置２が重みを小さく演算し、人物映像の表示を小さくしたからある。つまり、通信端末３でモニタをしている人にも、現在、誰と誰とが意見を交換しているのか等の会議全体の雰囲気を伝えることができる。更に、プレゼンテーション等の場で発表者が立ち上がるとともに発表者の映像の重みが大きくなり拡大表示され、以後発表者がプレゼンテーションを続けることで発表者の映像の重みの大きさは維持され、拡大表示が継続されることで、プレゼンテーションの雰囲気も伝えることができる。
【００５８】
なお、その場の状況等に応じて、重みを演算する際の動作と音声との優先比率を調整することができる。つまり、あまり動作が少ない会議等の場の状況では、動作よりも音声を優先して重みを演算することで、更に場の全体の雰囲気を伝えることができる。
【００５９】
また、演算した重みを維持する時間を調整することで、一瞬の動作または発言の後、何も動作または発言を行わなかった人物を、一定時間拡大表示させることができる。
【００６０】
ここで、通信端末３でモニタする人が、注目している人物を拡大してモニタしたい場合、モニタする人はスライスタペン若しくはマウス等の操作で拡大したい人物を選択し、通信端末３は選択された人物映像の拡大の指示を表示制御装置２に送信し、指示を受信した表示制御装置２は指示された人物映像の拡大処理を行い、拡大処理した人物映像を合成した映像情報を通信端末３に送信し、通信端末３は受信した映像情報を表示する。なお、通信端末３でモニタする人が、注目しない人物を縮小する指示を送信する場合でも、表示制御装置２は人物映像の縮小処理を行う。
【００６１】
次に、通信端末３から人物映像の処理の指示を受け入れた際に表示制御装置２が行う処理手順について図８に示すフローチャートを参照して説明する。
【００６２】
表示制御装置は、通信端末から人物映像の処理（拡大若しくは縮小）の指示を受信すると（ステップＳ８０１）、映像から人物映像を抽出し（ステップＳ８０２）、抽出した人物映像から指示された人物映像を検出し（ステップＳ８０３）、検出した人物映像を処理し（ステップＳ８０４）、残りの人物映像を処理し（ステップＳ８０５）、背景映像を処理し（ステップＳ８０６）、背景映像に人物映像を合成し（ステップＳ８０７）、合成した映像情報を通信端末に送信し（ステップＳ８０８）、処理手順を終了する。
【００６３】
また、通信端末３から表示制御装置２に、人物映像の処理の指示を送信するだけではなく、重みを演算する際の動作と音声との優先比率の調整も送信することができる。
【００６４】
ここで、表示制御装置２はビデオカメラ１から受信した音声に基づいて音声認識処理を行い、予め登録された人物の名前が発せられた場合、その人物の映像を拡大表示することができる。例えば、議論中に、「この提案についてＡさんは何か意見がありますか？」のような発言があると、表示制御装置２はこの発言に出てきたＡさんという言葉を認識し、Ａさんの人物映像を拡大表示する。更に、Ａさんがしばらく考え込んだ後で発言したとしても、Ａさんが考え込んでいる状況が拡大表示されているため、議論の場の状況がわかりやすくなる。
【００６５】
なお、表示制御装置２が映像情報を複数の通信端末３に送信している際に、ある通信端末３から人物映像を拡大表示する指示が出た場合、表示制御装置２は指示があった人物映像を拡大表示した映像情報を、全ての通信端末３に送信する構成でも良いし、指示を送信した通信端末３だけに送信する構成でも良い。
【００６６】
ここで、会議室内等にホワイトボードまたはスクリーン等が設置されている際に、そのホワイトボードまたはスクリーン等を対象物として登録すると、表示制御装置２は人物映像の抽出と同様に対象物の映像も抽出して拡大処理を行う。
【００６７】
次に、対象物が登録された際に表示制御装置２が行う処理手順について図９に示すフローチャートを参照して説明する。
【００６８】
表示制御装置は、ビデオカメラが撮り込んだ映像を受信すると（ステップＳ９０１）、受信した映像から人物映像を抽出し（ステップＳ９０２）、人物映像を処理し（ステップＳ９０３）、対象物が登録されている場合、その対象物の映像を抽出し（ステップＳ９０４）、対象物の映像を処理し（ステップ９０５）、背景映像を処理し（ステップＳ９０６）、背景映像に人物映像と対象物の映像とを合成し（ステップＳ９０７）、合成した映像情報を通信端末に送信し（ステップＳ９０８）、処理手順を終了する。
【００６９】
ここで、ステップＳ９０５における「対象物の映像の処理」とは、例えば、対象物としてホワイトボードが登録された場合、ホワイトボードに文字または図が書き込まれることにより、映像に変化が生じたと認識し、ホワイトボードの映像を拡大表示する処理を行う。
【００７０】
図１０は、ホワイトボード２０を備える会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【００７１】
図１０に示すように、会議室内にはテーブル１７とホワイトボード２０が設置され、人物Ａ１８１、人物Ｂ１８２、人物Ｃ１８３、人物Ｄ１８４および人物Ｅ１８５がテーブル１７の周りに着席している。ここで、会議中に発言者が、発言の補足となる図等をホワイトボード２０に書き込みながら発言する。
【００７２】
図１１は、図１０に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９に表示した表示例である。
【００７３】
図１１に示すように、ホワイトボード２０に文字または図等が書き込まれると、ホワイトボード２０の板面が拡大表示されるため、ホワイトボード２０に書き込まれた文字等をモニタする人は通信端末３からでも容易に確認することができる。なお、ホワイトボード２０以外にも、ＯＨＰのスクリーンまたはプロジェクターのスクリーン等にもこの処理を行うことができる。
【００７４】
また、対象物の映像についても演算した重みに基づいて映像サイズを決定することもでき、モニタする人が対象物の映像を拡大表示する指示を送信することもできる。
【００７５】
図１２は、表示制御システムにおける第２の実施形態の概略構成の一例を示す図である。
【００７６】
図１２に示すように、表示制御システムは、ビデオカメラ１、表示制御装置２、ＰＤＡ若しくは携帯電話等からなる通信端末３から構成されている点では、第１の実施形態の構成と同様である。ここで、ビデオカメラ１は撮り込んだ会議等の映像および音声を表示制御装置２に送信することは、第１の実施形態と同様である。
【００７７】
そして、表示制御装置２は受信した映像から人物映像を抽出し、各人物の動作および音声に基づく重みを演算し、抽出した人物映像情報、演算した重み情報、背景映像情報、および人物映像の位置情報等を独立した形で通信端末３に送信する。なお、背景映像情報は、基本的にはほとんど変化しないので、最初に送信した背景映像情報に変化が生じるまで、背景映像情報を随時送信する必要はない。
【００７８】
そして、通信端末３は受信した人物映像情報および重み情報から人物映像を処理し、受信した位置情報に基づき、処理した人物映像を背景映像に合成し、合成した映像を表示部に表示する。つまり、第２の実施形態における表示制御装置２は映像の抽出および重みの演算を行い、通信端末３は映像の処理および合成を行う。従って、表示制御装置２から通信端末３に情報を通信する際に、圧縮した人物映像情報、重み情報および位置情報のデータ容量は、圧縮した全体の映像のよりも少なく抑えることが可能になり、スムーズな映像を表示することができる。
【００７９】
また、第２の実施形態の場合でも、人物映像の拡大処理または縮小処理の指示をすることができ、この場合の処理も通信端末３が行うことになる。
【００８０】
上記実施例では、テレビ会議システムを具体例として説明してきたが、例えば、店舗内にビデオカメラを設置し、店舗内の人物のみを拡大表示することで、人物の行動をより分かり易い映像として提供する店舗監視システム、または野生の動物の生態等を観察するための観察システム等に用いる構成でも適用可能である。
【００８１】
【発明の効果】
以上説明したように本発明によれば、人物や注目する対象物等を抽出して拡大表示することで、限られた表示エリアに表示する映像からでも、詳細にモニタを行うことが可能になるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に係わる表示制御装置を有する表示制御システムにおける第１の実施形態の概略構成の一例を示す図である。
【図２】表示制御装置２の概略構成の一例を示すブロック図である。
【図３】ビデオカメラ１から受信した映像を処理する際に表示制御装置２が行う処理手順を示すフローチャートである。
【図４】会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【図５】図４に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９の表示例である。
【図６】人物映像から検出した動作および声の音量に基づいて人物映像を表示する大きさを決定する処理を示すフローチャートである。
【図７】表示制御装置２が図４に示すビデオカメラが撮り込んだ映像１６の人物映像から検出した動作および声の音量に基づき、人物映像を表示する大きさを決定する処理を行った映像を通信端末の表示部１９に表示した表示例である。
【図８】通信端末３から人物映像の処理の指示を受け入れた際に表示制御装置２が行う処理手順を示すフローチャートである。
【図９】対象物が登録された際に表示制御装置２が行う処理手順を示すフローチャートである。
【図１０】ホワイトボード２０を備える会議室内に設置されたビデオカメラが撮り込んだ映像１６の一例を示す図である。
【図１１】図１０に示すビデオカメラが撮り込んだ映像１６を表示制御装置２で処理し、処理した映像を通信端末の表示部１９に表示した表示例である。
【図１２】表示制御システムにおける第２の実施形態の概略構成の一例を示す図である。
【符号の説明】
１ ビデオカメラ
２ 表示制御装置
３ 通信端末
４ 通信回線
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ 記憶部
９ 映像／音声受信部
１０ 通信制御部
１１ 映像抽出部
１２ 映像処理部
１３ 音声処理部
１４ 映像合成部
１５ 重み演算部
１６ ビデオカメラが撮り込んだ映像
１７ テーブル
１８１、１８２、１８３、１８４、１８５ 人物
１９ 通信端末の表示部
２０ ホワイトボード
Claims (18)
- カメラが撮り込んだ映像およびマイクロフォンが取り込んだした音声を受信して処理し、該処理した映像および音声を通信端末に送信する表示制御装置において、
前記映像における特定映像を登録する特定映像登録手段と、
前記カメラが撮り込んだ映像から前記特定映像登録手段で登録した特定映像を抽出する特定映像抽出手段と、
前記特定映像抽出手段で抽出した特定映像を前記特定映像が抽出された背景映像に再配置する再配置手段と、
前記再配置手段で特定映像が再配置された背景映像を前記通信端末に送信する通信手段と
を具備し、
前記再配置手段は、
前記通信端末の表示部で表示する前記映像情報内の前記特定映像が顕著になるように再配置する
ことを特徴とする表示制御装置。 - 前記再配置手段は、
前記特定映像および前記背景映像を拡大処理若しくは縮小処理する映像処理手段と
を具備し、
前記通信端末から該通信端末の表示部の表示範囲を取得し、
該取得した表示範囲に基づき、前記映像処理手段により前記特定情報の拡大処理および前記背景映像の縮小処理を行い、該通信端末の表示部に該特定映像が顕著になるように再配置する
ことを特徴とする請求項１記載の表示制御装置。 - 前記映像から前記特定映像の動作の大きさを検出する検出手段と、
前記検出手段で検出した動作の大きさに基づく重みを演算する重み演算手段と
を更に具備し、
前記再配置手段は、
前記重み演算手段で演算した重みに対応するサイズで前記特定映像の拡大処理若しくは縮小処理を行う
ことを特徴とする請求項２記載の表示制御装置。 - 前記特定映像から発生される音声を、予め該特定映像と関連付けて登録する音声登録手段
を更に具備し、
前記検出手段は、
前記マイクロフォンが取り込んだ音声の大きさを検出し、
前記重み演算手段は、
前記検出手段で検出した音声の大きさに基づく重みを演算し、
前記再配置手段は、
前記演算手段で演算した重みに対応するサイズで、前記音声登録手段に該音声と関連付けて登録された特定映像の拡大処理若しくは縮小処理を行う
ことを特徴とする請求項３記載の表示制御装置。 - 前記重み演算手段で重みを演算する際に、動作と音声との優先比率を調整する
ことを特徴とする請求項４記載の表示制御装置。 - 前記重み演算手段で演算した重みを維持する時間を調整する
ことを特徴とする請求項４記載の表示制御装置。 - 前記再配置手段は、
前記通信端末から前記特定情報の映像処理の指示を受信した際に、該指示された特定情報の拡大処理若しくは縮小処理を行う
ことを特徴とする請求項２記載の表示制御装置。 - 音声を認識する音声認識手段
を更に具備し、
前記特定映像登録手段に前記特定映像を登録するとともに、該特定映像に関する名称を登録し、
前記再配置手段は、
前記音声認識手段が前記マイクロフォンが取り込んだ音声から前記名称を認識した際に、該名称に関する特定映像の拡大処理を行う
ことを特徴とする請求項２記載の表示制御装置。 - 前記特定映像登録手段で登録された特定映像がホワイトボード等の掲示物である場合、
前記再配置手段は、
前記特定映像に文字等が書き込まれる際に、該特定映像を拡大処理する
ことを特徴とする請求項２記載の表示制御装置。 - カメラが撮り込んだ映像およびマイクロフォンが取り込んだした音声を受信して処理し、該処理した映像および音声を通信端末に送信する表示制御方法において、
前記カメラが撮り込んだ映像から予め登録した特定映像を抽出し、
該抽出した特定映像を、前記特定映像が抽出された背景映像に、該特定映像が顕著になるように再配置し、
前記特定映像が再配置された背景映像を前記通信端末に送信する
ことを特徴とする表示制御方法。 - 前記通信端末から該通信端末の表示部の表示範囲を取得し、
前記特定映像を再配置する際に、前記表示範囲に基づき、該特定情報の拡大処理および前記背景映像の縮小処理を行い、前記通信端末の表示部に該特定映像が顕著になるように再配置する
ことを特徴とする請求項１０記載の表示制御方法。 - 前記映像から前記特定映像の動作の大きさを検出し、
該検出した動作の大きさに基づく重みを演算し、
該演算した重みに対応するサイズで前記特定映像の拡大処理若しくは縮小処理を行う
ことを特徴とする請求項１１記載の表示制御方法。 - 前記特定映像から発生される音声を、予め該特定映像と関連付けて登録し、
前記マイクロフォンが取り込んだ音声の大きさを検出し、
該検出した音声の大きさに基づく重みを演算し、
該演算した重みに対応するサイズで、前記マイクロフォンが取り込んだ音声と関連付けて登録された特定映像の拡大処理若しくは縮小処理を行う
ことを特徴とする請求項１２記載の表示制御方法。 - 前記重みを演算する際に、動作と音声との優先比率を調整する
ことを特徴とする請求項１３記載の表示制御方法。 - 前記重みを維持する時間を調整する
ことを特徴とする請求項１３記載の表示制御方法。 - 前記通信端末から前記特定情報の映像処理の指示を受信した際に、該指示された特定情報の拡大処理若しくは縮小処理を行う
ことを特徴とする請求項１１記載の表示制御方法。 - 前記特定映像とともに、該特定映像に関する名称を登録し、
前記マイクロフォンが取り込んだ音声を認識し、
該認識した音声が前記名称と一致する際に、該名称に関する特定映像の拡大処理を行う
ことを特徴とする請求項１１記載の表示制御方法。 - 前記特定映像がホワイトボード等の掲示物である場合、該特定映像に文字等が書き込まれる際に、該特定映像を拡大処理する
ことを特徴とする請求項１１記載の表示制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273942A JP2004112511A (ja) | 2002-09-19 | 2002-09-19 | 表示制御装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002273942A JP2004112511A (ja) | 2002-09-19 | 2002-09-19 | 表示制御装置および方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004112511A true JP2004112511A (ja) | 2004-04-08 |
Family
ID=32270564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002273942A Pending JP2004112511A (ja) | 2002-09-19 | 2002-09-19 | 表示制御装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004112511A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233076A (ja) * | 2006-03-01 | 2007-09-13 | Seiko Epson Corp | 投射装置およびプログラム |
| JP2011055291A (ja) * | 2009-09-02 | 2011-03-17 | Ricoh Co Ltd | 映像表示装置及びプログラム |
| JP2014123818A (ja) * | 2012-12-20 | 2014-07-03 | Nippon Telegr & Teleph Corp <Ntt> | 視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラム |
| CN104335242A (zh) * | 2012-06-25 | 2015-02-04 | 英特尔公司 | 使用叠加动画促成由多个用户对媒体内容的同时消费 |
| CN113573158A (zh) * | 2021-07-28 | 2021-10-29 | 维沃移动通信（杭州）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| US20220337743A1 (en) * | 2019-09-03 | 2022-10-20 | Sony Group Corporation | Imaging control apparatus, imaging control method, program, and imaging device |
-
2002
- 2002-09-19 JP JP2002273942A patent/JP2004112511A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233076A (ja) * | 2006-03-01 | 2007-09-13 | Seiko Epson Corp | 投射装置およびプログラム |
| JP2011055291A (ja) * | 2009-09-02 | 2011-03-17 | Ricoh Co Ltd | 映像表示装置及びプログラム |
| CN107256136A (zh) * | 2012-06-25 | 2017-10-17 | 英特尔公司 | 使用叠加动画促成由多个用户对媒体内容的同时消费 |
| CN104335242A (zh) * | 2012-06-25 | 2015-02-04 | 英特尔公司 | 使用叠加动画促成由多个用户对媒体内容的同时消费 |
| JP2015523001A (ja) * | 2012-06-25 | 2015-08-06 | インテル・コーポレーション | 重ねられたアニメーションを利用した複数のユーザによるメディアコンテンツの同時消費を促進すること |
| US9456244B2 (en) | 2012-06-25 | 2016-09-27 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
| US10048924B2 (en) | 2012-06-25 | 2018-08-14 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
| US10956113B2 (en) | 2012-06-25 | 2021-03-23 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
| US11526323B2 (en) | 2012-06-25 | 2022-12-13 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
| US11789686B2 (en) | 2012-06-25 | 2023-10-17 | Intel Corporation | Facilitation of concurrent consumption of media content by multiple users using superimposed animation |
| JP2014123818A (ja) * | 2012-12-20 | 2014-07-03 | Nippon Telegr & Teleph Corp <Ntt> | 視聴者映像表示制御装置、視聴者映像表示制御方法、および視聴者映像表示制御プログラム |
| US20220337743A1 (en) * | 2019-09-03 | 2022-10-20 | Sony Group Corporation | Imaging control apparatus, imaging control method, program, and imaging device |
| US12041337B2 (en) * | 2019-09-03 | 2024-07-16 | Sony Group Corporation | Imaging control apparatus, imaging control method, program, and imaging device |
| CN113573158A (zh) * | 2021-07-28 | 2021-10-29 | 维沃移动通信（杭州）有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10264210B2 (en) | Video processing apparatus, method, and system | |
| JP4716083B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP6179834B1 (ja) | テレビ会議装置 | |
| JP2013197838A (ja) | 遠隔会議システム及び遠隔会議端末 | |
| JP2010074494A (ja) | 会議支援装置 | |
| WO2018061173A1 (ja) | Ｔｖ会議システム、ｔｖ会議方法、およびプログラム | |
| JP7074056B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
| JP2015039052A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2010087907A (ja) | 映像合成表示装置、映像表示システム及び映像表示方法 | |
| JP2011061450A (ja) | 会議通信システム、会議通信方法及びプログラム | |
| JP2007213282A (ja) | 講演者支援装置および講演者支援方法 | |
| JP5346797B2 (ja) | 手話映像合成装置、手話映像合成方法、手話表示位置設定装置、手話表示位置設定方法、及びプログラム | |
| AU2013222959A1 (en) | Method and apparatus for processing information of image including a face | |
| JP2004112511A (ja) | 表示制御装置および方法 | |
| JP5227893B2 (ja) | 会議システム、会議サーバ、会議端末、および会議システムのマイク感度調整方法 | |
| JP2011135272A (ja) | 端末装置、処理方法および処理プログラム | |
| JP6456163B2 (ja) | 情報処理装置、音声出力方法及びコンピュータプログラム | |
| US10762913B2 (en) | Image-based techniques for audio content | |
| JP2009100193A (ja) | 選択支援装置および選択支援システム | |
| JP5217877B2 (ja) | 会議支援装置 | |
| JP3031320B2 (ja) | ビデオ会議装置 | |
| JP2000083229A (ja) | 会議システム、話者表示方法及び記録媒体 | |
| JP2003339034A (ja) | ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム | |
| JP2017158137A (ja) | 会議システム | |
| JP2020053882A (ja) | コミュニケーション装置、コミュニケーションプログラム、及びコミュニケーション方法 |