JP2004056279A - 会議システム - Google Patents

Abstract

【課題】建物内の異なる場所同士、遠隔地同士あるいは演壇と会場からなる広い会場での会議において、複雑な認識機能を必要とせずに話者の表情や音声を確実にとらえて同一会議室内で会議をしているのと遜色のない会議を行うことができる会議システムを提供する。
【解決手段】会議参加者が各自、卓上または手元に映像音声入力装置１１、１２、１３、２１、２２、２３、２４を持ち、発言時にはこの映像音声入力装置１１、１２、１３、２１、２２、２３、２４を介して発言する。映像音声入力装置１１、１２、１３、２１、２２、２３、２４から入力された発言者の映像と音声は信号処理装置１４に伝送され、各参加者の誰が発言したかを自動検知して発言者の音声と映像を選択し、映像を映像音声出力装置１５、２５の大型ディスプレイに表示し、音声をスピーカから出力する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔地同士で行われる通信型のテレビ会議や、多数の参加者から成る会議時に使用する会議システムに関するものである。
【０００２】
【従来の技術】
遠隔地同士を結びテレビ会議を行うシステムとして、いわゆるテレビ会議室に設置した専用の会議システム、あるいは、ワークステーションやパーソナルコンピュータに音声入力装置とカメラをつけた会議システムなどがある。これらの会議システムでは、各地にカメラとマイクが１台ずつあり、それらの前に１人ないしは複数人の人物が座って会議を行う。この場合、マイクの収音性能によって話者の声を十分に収音できない場合がしばしばあり、話者は大声で話さなければならなかった。また、カメラの性能や設置位置によっては、話者の映像が小さく誰がしゃべっているかわかりにくいという問題があった。
【０００３】
そこで、会議室にカメラとマイクを雲台に取り付けておき、話者の位置を音声認識や画像認識で特定し、カメラとマイクをメカニカルに動かして話者を撮影するというシステムが研究されつつある。
【０００４】
また、演壇と客席からなる広い会場で講演会やパネルディスカッション会議などの多数の参加者からなる会議を行う場合、講演者、司会者、議長やパネラなどのメンバーの近くにマイクを設置しこれを会場内に配置されたスピーカから放声して講演内容や発言内容を会場全体に聞こえるようにしている。
【０００５】
【発明が解決しようとする課題】
しかし、会議室にカメラとマイクを雲台に取り付けてカメラとマイクをメカニカルに動かす方法は、話者の位置を音声認識や画像認識などの複雑な認識機能が必要であり、また、離れた複数人を一度に撮影できないという問題がある。
【０００６】
また、演壇と客席からなる広い会場での会議では、メンバーの顔や表情、しぐさなどが客席にいる人には見えづらいことがしばしばある。さらに、客席にいる参加者からの質問や意見が出た場合に、会場係がマイクを質問者に渡しに走るため、時間のロスや人手労力が必要となる。その上、質問者の顔やしぐさは、メンバーや会場にいる他の参加者には見づらかったり見えないという問題があった。
【０００７】
本発明は以上の課題を解決するもので、建物内の異なる場所同士、あるいは遠隔地同士の会議において、会議室の全体雰囲気および話者の表情や音声を確実にとらえて同一会議室内で会議をしているのと遜色のない会議を行うことができる会議システムを提供することを目的とするものである。
【０００８】
また、本発明の他の目的は、音声認識や画像認識などの複雑な認識機能を必要としない会議システムを提供することを目的とするものである。
【０００９】
また、本発明にさらに他の目的は、演壇と会場からなる広い会場での会議において、講演者やパネラなどのメンバーの顔や表情、しぐさ、音声などを客席にいる参加者が明確に確認することができる会議システムを提供することを目的とするものである。
【００１０】
また、本発明にさらに他の目的は、演壇と会場からなる広い会場での会議において、参加者から質問や意見が出た場合に、会場係がマイクを渡しに行く手間を省き、かつ、質問者の顔やしぐさ、音声を他の参加者が容易に確認することができる会議システムを提供することを目的とするものである。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明は、会議参加者が各自、卓上または手元に映像音声入力装置を持ち、発言時にはこの映像音声入力装置を介して発言する。映像音声入力装置から入力された話者の映像と音声は信号処理装置に伝送され、各参加者の誰が発言したかを自動検知して話者の音声と映像を選択し、映像を大型ディスプレイに表示し、音声をスピーカから出力する。
【００１２】
【発明の実施の形態】
請求項１に記載の発明は、複数の参加者に対して個別に設けられ、各参加者の音声および映像を入力する複数台の映像音声入力装置と、前記複数台の映像音声入力装置の出力信号により話者を検知する手段と、検知した話者の音声および映像を選択する映像音声切替手段と、前記映像音声切替手段によって選択された話者の音声および映像を出力する映像音声出力装置を具備する会議システムである。
【００１３】
この構成により、建物内の異なる場所同士、あるいは遠隔地同士の会議においては、複雑な認識機能を必要とせずに、同一会議室内での会議と遜色のない会議を行うことができる。
【００１４】
また、演壇と会場からなる広い会場での会議においては、講演者やパネラの顔や表情、しぐさ、音声などを映像音声出力装置で再生するので、会場にいる参加者が話者の表情やしぐさ、発言内容を明確に確認することができる。
【００１５】
請求項２に記載の発明は、請求項１記載の会議システムにおいて、会議室の全体映像を撮影する全体映像入力部を備え、現在の話者の映像とともに、前記全体映像を出力する手段を具備するものである。この構成により現在の話者の映像とともに、会議全体の様子を観察することができる。
【００１６】
請求項３に記載の発明は、請求項１記載の会議システムにおいて、映像音声切替手段は、現在の話者の映像とともに、直前の話者の映像を出力するものである。この構成により現在の話者の映像とともに、直前の話者の映像を観察することができる。
【００１７】
請求項４に記載の発明は、請求項１記載の会議システムにおいて、映像音声切替手段は、現在の話者の映像とともに、話者が使用している説明資料の映像を出力するものである。この構成により現在の話者の映像とともに、話者が説明している説明資料の内容を確認することができる。
【００１８】
請求項５に記載の発明は、請求項１から４のいずれかに記載の会議システムにおいて、予め指定した特定者の映像を取得する手段を備え、前記特定者の映像を出力するものである。この構成により現在の話者の映像とともに、議長や司会者、ゲストなど会議のキーマンなどの映像を観察することができる。
【００１９】
請求項６に記載の発明は、請求項１から５のいずれかに記載の会議システムにおいて、映像音声入力装置から入力された映像の中から予め設定された特定の動作を認識する動作認識手段を有し、前記動作認識手段によって認識された特定者の映像を出力するものである。これにより緊急発言をするために挙手をした場合、白板などを使用するために移動した場合、外部から会議室に入ってきた人物があった場合など会議の進行に影響のある人物の行動を観察することができる。
【００２０】
請求項７に記載の発明は、請求項１から６のいずれかに記載の会議システムにおいて、映像音声入力装置から入力された音声から話者の名前を認識する人物名認識手段を有し、前記映像音声出力装置は現在の話者の映像とともに、前記人物名認識手段によって認識された話者の名前を出力するものである。この構成により話者の名前を確認することができる。
【００２１】
請求項８に記載の発明は、請求項１から７のいずれかに記載の会議システムにおいて、映像音声入力装置から入力された映像に所定の背景、飾りフレームまたは自己紹介テロップを入れ込む手段を有するものである。この構成により話者の映像が一目で確認することができる。また、話者の自己アピール手段としても有効である。
【００２２】
請求項９に記載の発明は、請求項１から８のいずれかに記載の会議システムにおいて、映像音声入力装置から入力された映像に自己の所属企業またはスポンサー企業のコマーシャル映像を入れ込む手段を有するものである。この構成により会議で発言することにより自己の企業を宣伝することができる。また、スポンサー企業を宣伝することもできるので、広告料を得ることができる。
【００２３】
請求項１０に記載の発明は、請求項１から９のいずれかに記載の会議システムにおいて、映像音声入力装置が携帯電話または携帯端末で構成されたものである。この構成により映像音声入力装置として特別な装置を必要とせず小型で取扱いが簡単に映像音声入力をすることができる。また、演壇と会場からなる広い会場での会議においては、会場係が質問者などにマイクを渡しに行く手間を省くことができる。
【００２４】
請求項１１に記載の発明は、請求項１０に記載の会議システムにおいて、携帯電話または携帯端末は映像音声入力装置と映像音声出力装置を一体化した構成であるものである。この構成により話者の映像を手元の画面で確認することができる。
【００２５】
請求項１２に記載の発明は、請求項１に記載の会議システムにおいて、映像音声出力装置は複数の映像を同時に表示するマルチ画面構成であるものである。この構成により、話者を含む複数の参加者や資料を同時に観察することができる。
【００２６】
請求項１３に記載の発明は、請求項１から１２のいずれかに記載の会議システムを複数の地点に設け、前記複数の地点における各会議システムをバックボーンまたは衛星通信により結合した者である。この構成により建物内の異なる場所同士、あるいは遠隔地同士の会議を同一会議室内で行っているのと遜色のない会議を行うことができる。
【００２７】
請求項１４に記載の発明は、演壇と客席からなる会場において、演壇上のメンバーの席に映像音声入力装置が設置され、前記映像音声入力装置は無線あるいは有線で信号処理装置に接続されており、一方客席の各々に映像音声入力装置が配されており、前記信号処理装置は演壇上のメンバーまたは客席の参加者の中から話者の音声を検知して話者の映像を映像音声出力装置に出力するとともに、客席に配された映像音声入力装置から発言要求があると、会議進行者の手元にある操作卓の発言要求ランプが点灯し、会議進行者は点灯した発言要求ランプの中から発言許可者を選択して発言許可を与える会議システムである。
【００２８】
この構成により、演壇と会場からなる広い会場において、講演者やパネラの顔や表情、しぐさ、音声などを映像音声出力装置で再生するので、会場にいる参加者が話者の表情やしぐさ、発言内容を明確に確認することができる。
【００２９】
また、参加者から質問や意見が出た場合に、会議進行者が発言者を短時間にかつ的確に選定することができ、さらに、会場係がマイクを渡しに行く手間を省くことができる。
【００３０】
請求項１５に記載の発明は、請求項１４に記載の会議システムにおいて、映像音声入力装置が携帯電話または携帯端末で構成されたものである。この構成により映像音声入力装置として特別な装置を必要とせず小型で取扱いが簡単に映像音声入力をすることができる。
【００３１】
請求項１６に記載の発明は、請求項１５に記載の会議システムにおいて、携帯電話または携帯端末は映像音声入力装置と映像音声出力装置を一体化したものである。この構成により話者の映像を手元の画面で確認することができる。
【００３２】
請求項１７に記載の発明は、請求項１５に記載の会議システムにおいて、映像音声出力装置は複数の映像を同時に表示するマルチ画面構成であるものである。この構成により、話者を含む複数の参加者や資料を同時に観察することができる。
【００３３】
以下に、本発明の実施の形態について図面に基づいて説明する。
【００３４】
（実施の形態１）
図１は２地点Ａ、Ｂを結ぶ会議システムの例である。地点Ａに３人、地点Ｂに４人の会議参加者がいる場合を例に説明する。地点Ａの３人の参加者は各自が会議卓に設置されたカメラおよびマイクを有する映像音声入力装置１１、１２、１３のある席に着席する。したがって、映像音声入力装置１１、１２、１３は各参加者に対して個別に設けられる。映像音声入力装置１１、１２、１３は、地点Ａまたは地点Ｂにおける信号処理装置１４に無線あるいは有線で接続されており、地点Ａの３人の映像と音声は映像音声入力装置１１、１２、１３から信号処理装置１４に送られる。
【００３５】
一方、地点Ｂにおいては、参加者は各自がカメラおよびマイクを有する映像音声入力装置２１、２２、２３、２４をもっている。映像音声入力装置２１、２２、２３、２４は、信号処理装置１４に無線あるいは有線で接続されており、地点Ｂの４人の映像と音声は映像音声入力装置２１、２２、２３、２４から信号処理装置１４に送られる。
【００３６】
映像音声入力装置１１、１２、１３、２１、２２、２３、２４は、会議卓に設置されたカメラおよびマイクで構成されるが、それ以外に、携帯電話や携帯端末で構成することができる。携帯電話の場合は、信号処理装置１４に電話番号が割り振られる。携帯端末の場合は、有線あるいは無線ＬＡＮ（ブルートゥースなど）で信号処理装置１４にＩＤが割り振られる。また、赤外通信による映像音声入力端末でもよく、ＩｒＤＡなどの赤外通信で信号処理装置１４に赤外通信用のポートが割り振られる。
【００３７】
信号処理装置１４は地点Ａの映像音声入力装置１１、１２、１３および地点Ｂの２１、２２、２３、２４から送信された映像信号および音声信号からどの映像音声入力装置１１、１２、１３、２１、２２、２３、２４から映像音声入力があったか、すなわち、どの参加者が発言したかを自動検知して、地点Ａの映像音声出力装置１５および地点Ｂの映像音声出力装置２５にその話者の映像および音声を表示させる。映像音声出力装置１５、映像音声出力装置２５はたとえば大画面のモニタ装置で構成され、参加者はモニタ装置の画面およびスピーカから出力される同じ映像と音声を見ながら会議を進める。
【００３８】
図２は映像音声入力装置、信号処理装置、および映像音声出力装置の詳細を示すブロック図である。図２では地点Ａにおける映像音声入力装置１１と信号処理装置１４および映像音声出力装置１５を例に説明するが、他の映像音声入力装置１２、１３、２１、２２、２３、２４および映像音声出力装置２５も同様な構成を有する。
【００３９】
映像音声入力装置１１は、会議参加者の顔を含む上半身部を撮影するカメラなどの映像入力部３１、映像入力部３１で撮影した映像を編集する映像編集部３２、会議参加者の音声を収音するマイクなどの音声入力部３３、音声入力部３１で収音した音声を編集する音声編集部３４、会議参加者を特定するＩＤ情報をあらかじめ記憶させるＩＤ記憶部３５およびＩＤ記憶部３５が記憶しているＩＤ情報を信号処理装置１４に送信するＩＤ送信部３６を有している。ＩＤ記憶部３５は書き換え可能なメモリで構成され、会議参加者が会議開始前に自己のＩＤ情報を登録し、会議終了時に消去するように構成される。
【００４０】
映像音声入力装置１１が携帯電話や携帯端末である場合には、それらにあらかじめＩＤを設定してそのＩＤを利用することによりＩＤ記憶部３５およびＩＤ送信部３６を省略することができる。地点Ａには、さらに会議参加者全員の映像を撮影するための全体映像入力部３７および全体映像入力部３７で撮影した映像を編集する全体映像編集部３８からなる全体映像入力装置１６が設けられる。全体映像入力部３７としてはテレビカメラのような会場内をスキャン可能な撮像装置が使用される。
【００４１】
信号処理装置１４は、ＩＤ記憶部３５に記憶された会議参加者のＩＤ情報を登録するための参加者ＩＤ登録部４１、ＩＤ送信部３６から送信されてきたＩＤ情報から話者を特定する参加者ＩＤ認識部４２、映像編集部３２および音声編集部３４から送信された映像情報と音声情報および参加者ＩＤ認識部４２からの情報により話者が誰であるかを特定し、当該話者の映像情報および音声情報を選択する映像音声切替部４３、映像音声切替部４３で切替えた話者の音声信号を出力する話者音声出力部４４、映像音声切替部４３で切替えた話者の映像信号を出力する話者映像出力部４５、映像音声切替部４３で切替えた１シーン前の話者の映像信号を出力する前話者映像出力部４６、映像音声切替部４３で切替えた話者が指し示す資料の映像信号を出力する資料映像出力部４７、議長や司会者、ゲストその他の特定人物を発言がないときでも映像表示するために当該人物を指定するための人物名認識部４８、全体映像入力部３７で得た映像から特定の動作をした人物を認識するための動作認識部４９、人物名認識部４８または動作認識部４９で認識した特定者の映像を出力する特定者映像出力部５０、および全体映像編集部３８からの全体映像を出力する全体映像出力部５１からなる。
【００４２】
映像音声切替部４３は図３に示すように音声検知装置４３１および切替装置４３２から構成され、音声検知装置４３１には複数の映像音声入力装置１１、１２、１３の音声編集部３４から各々の音声が入力される。
【００４３】
映像音声出力装置１５は大画面ディスプレイが利用され、音声を放声するスピーカ６１および映像を表示するモニタ画面６２を有している。なお、映像音声出力装置１５としてパーソナルタイプのモニタを使用し、各映像音声入力装置１１、１２、１３、２１、２２、２３、２４の近辺に配してそのモニタに映像表示させるようにしてもよい。音声もイヤホンなどで聞くようにすることができる。
映像音声出力装置１５はモニタ画面の主映像に他の映像をはめ込んだり、複数の映像を同時に表示するマルチ画面構成であることが好ましい。
【００４４】
次に動作を説明する。以下、地点Ａで参加者Ｐが映像音声入力装置１１を、参加者Ｑが映像音声入力装置１２を、参加者Ｒが映像音声入力装置１３を使用した場合で説明する。なお、説明を地点Ａの例で説明するが地点Ｂにおいても全く同様である。
【００４５】
まず、会議参加者は会議参加時にＩＤ記憶部３５に自己のＩＤ情報を登録する。ＩＤ情報としては、参加者が着席する位置の情報、上記の例では、参加者Ｐは映像音声入力装置１１を、参加者Ｑは映像音声入力装置１２を、参加者Ｒは映像音声入力装置１３をＩＤ情報として入力する。また、ＩＤ情報としては、その他に氏名、官公庁や企業などでは官公庁名、企業名、所属部署、社員番号など任意に設定することができる。ＩＤ記憶部３５に登録されたＩＤ情報は信号処理装置１４の参加者ＩＤ登録部４１に登録される。会議が開始されると、全体映像入力部３７が所定の周期で会場内をスキャンしながら地点Ａにおける会議場の様子を撮影する。全体映像撮影部３７で撮影された全体映像は全体映像編集部３８で所定の編集がなされて全体映像出力部５１に送信され、映像音声出力装置１５のモニタ画面６２のフル画像６２１で映出される。
【００４６】
参加者Ｐが発言（以下話者Ｐと記す）すると、映像音声入力装置１１の音声入力部３３がその音声を収音し、音声編集部３４で編集を施して映像音声切替部４３に送信する。このとき、音声編集部３４は必要に応じて周囲の雑音成分を除去し、また、映像入力部３１および映像編集部３２にそれらの動作を制御するための制御信号を供給する。映像入力部３１および映像編集部３２の映像撮影および映像編集については後述する。
【００４７】
映像音声切替部４３では図３に示すように音声検知装置４３１が送信されてきた音声がどの映像音声入力装置１１、１２、１３からのものであるかを検知する。なお、図３では説明を簡略化するために図２における音声編集部３４、映像編集部３２の図示を省略している。いま話者は参加者Ｐであるから、音声検知装置４３１は映像音声入力装置１１の音声入力部１１１から音声が送信されてきたことを検知する。音声検知装置４３１はこの検知結果を切替装置４３２に送る。切替装置４３２は音声検知装置４３１が検知した映像音声入力装置１１における音声入力部１１１からの音声を選択して出力する。切替装置４３２で出力された音声出力は話者音声出力部４４に送られ、映像音声出力装置１５のスピーカ６１から放声される。
【００４８】
一方、音声検知装置４３１が話者の音声を検知すると、音声編集部３４からの制御信号により話者Ｐの映像入力部３１が話者Ｐの顔や上半身の映像を撮影し、映像編集部３２で所定の編集を施した後、音声と同様に映像音声切替部４３に送られ切替装置４３２で選択されて話者映像出力部４５に送られる。話者映像出力部４５の出力は映像音声出力装置１５のモニタ画面６２に映出される。このときの映像はモニタ画面６２にフル画像６２１として映出されている全体映像と切り替えてもよいが、はめ込み画像６２２として表示してもよい。
【００４９】
映像編集部３２における所定の映像編集としては、話者Ｐの映像に話者を目立たせたり引き立てたりする背景や飾りフレームを入れ込む処理や、映像の下方に自己紹介テロップ（たとえば、対外的な会議ではＸＸ大学卒、ＹＹ会社ＺＺ事業部勤務、専門分野はＷＷなど；社内会議など体内的な会議ではＺＺ事業部ＶＶチーム所属、ＱＱ年入社など）を流したりする処理を行う。また、対外的な会議ではさらに自分の所属企業やスポンサー企業のコマーシャル映像などを入れ込む処理も可能である。スポンサー企業のコマーシャル映像を流す場合は、当該企業からコマーシャル料を受けることができる。
【００５０】
これらの映像処理のプログラムはあらかじめ映像編集部３２に、映像音声入力装置１１が携帯端末である場合にはその携帯端末に蓄積しておき、発言時に処理内容を選択可能なように設定される。音声検知装置４３１が話者を特定する際、その話者の使用した映像音声入力装置１１からＩＤ記憶部３５により話者が参加者Ｐであることを認識し、ＩＤ送信部３６により参加者ＰのＩＤ情報を参加者ＩＤ認識部４２に送信する。映像音声切換部４３は参加者ＩＤ認識部４２からの情報を話者映像出力部４５に送り、モニタ画面６２に話者の氏名などを表示させる。参加者Ｐが発言とともにフリップなどの会議資料を利用したときは、その映像が映像編集部３２で編集されて映像切替部４３を経て資料映像出力部４７からモニタ画面６２にはめ込み画像６２３として表示される。
【００５１】
ところで、会議の進行によっては、現在の話者以外に直前の話者の様子を見たい場合がある。この場合は、映像信号切替部４３は現在の話者の映像を話者映像出力部４５に送るとともに直前の話者の映像も選択して前話者映像出力部４６に送り、モニタ画面６２にはめ込み画像６２４として映出させる。
【００５２】
また、会議の進行において、議長や司会者、ゲストその他の特定人物を発言がないときでも映像表示したい場合がある。特定人物の指定は会議開始時にあらかじめ人物名を特定しておき、その人物名を参加者ＩＤ認識部４２で認識して映像音声切替部４３で映像を表示させる人物と表示タイミングを選択し、人物名認識部４８で認識して特定者映像出力部５０に送信する。特定者映像出力部５０は表示させる人物の映像をモニタ画面６２に送り、はめ込み画像６２５として表示させる。
【００５３】
また、特定人物として会議中に特定の動作をした人物を選定したい場合がある。たとえば、緊急発言をするために挙手をした場合、白板などを使用するために移動した場合、外部から会議室に入ってきた人物があった場合などである。このような場合、全体映像入力部３７で得た映像から特定の動作をした人物を動作認識部４９で認識し、その人物の映像を特定者映像出力部５０に送信し、同様にモニタ画面６２にはめ込み画像６２５として表示させる。
【００５４】
映像音声出力装置１５では、図示しないリモコン等の操作によりモニタ画面６２に主映像として表示している画像を各はめ込み画像と交換できるようにしておけば、拡大表示させたい画面を任意に選択することができる。
【００５５】
以上の説明は地点Ａにおける説明であるが、地点Ｂにおいても全く同様に構成し、両地点をバックボーンや衛星通信などを利用して結合し、それぞれの地点で相手方の映像および音声を再生することにより遠隔地同士で互いの会議場や会議参加者の発言、映像を確認しながら会議を進行することができる。
【００５６】
なお、以上の説明では話者の検知を映像音声切替部４３の音声検知装置４３１で行う場合について説明したが、映像音声入力装置１１、１２、１３で直接検知しても良い。この場合は音声検知装置４３１を省略することができる。
【００５７】
また、地点Ａにおける全体映像は、全体映像入力装置１６を省略して会議参加者全員の映像音声入力部１１の映像編集部３２の出力を合成して作成してもよい。
【００５８】
また、図２においては、話者音声出力部４４、話者映像出力部４５、前話者映像出力部４６、資料映像出力部４７、特定者映像出力部５０、および全体映像出力部５１の出力を個々に映像音声出力装置１５に送信するように示したが、各出力を合成して映像音声出力装置１５に送信し、映像音声出力装置１５で分解してスピーカ６１およびモニタ画面に供給するようにしてもよい。
【００５９】
（実施の形態２）
図４は実施の形態２における映像音声入力装置、信号処理装置、および映像音声出力装置の詳細を示すブロック図である。図２と同一部分には同一符号を付して説明を省略する。図２と異なる点は、信号処理装置の話者音声出力部４４、話者映像出力部４５、前話者映像出力部４６、資料映像出力部４７、特定者映像出力部５０、および全体映像出力部５１を映像音声出力装置１５に設けた点である。
【００６０】
本実施の形態においては、全体映像編集部３８からの全体映像、人物名認識部４８からの人物選択指令、動作認識部からの特定動作を行った人物の選択指令は映像音声切替部４３に供給され、映像音声切替部４３の出力が映像音声出力装置１５に送信される。映像音声出力装置１５では、信号処理装置の話者音声出力部４４、話者映像出力部４５、前話者映像出力部４６、資料映像出力部４７、特定者映像出力部５０、および全体映像出力部５１は実施の形態１の場合と同様な動作でスピーカ６１から話者の音声を放声し、モニタ画面６２に映像を表示する。
【００６１】
（実施の形態３）
図５は演壇と会場からなる広い会場で講演会やパネルディスカッション会議などの多数の参加者からなる会議を行う場合の会議システムのブロック図である。
【００６２】
演壇にいる講演者やパネラなどのメンバーの席には映像音声入力装置７１、７２、７３、７４が設置される。映像音声入力装置７１、７２、７３、７４は、信号処理装置７５に無線あるいは有線で接続されており、メンバーの映像と音声は映像音声入力装置７１、７２、７３、７４から信号処理装置７５に送られる。信号処理装置７５は発言したメンバーの音声を検知して、話者の映像音声入力装置７１、７２、７３、７４からの映像と音声を映像音声出力装置７６に送信する。映像音声出力装置７６は演壇に設置された投射式などの大画面モニタおよび会場の要所に配置されたスピーカから構成され、演壇にいるメンバーはもちろん、客席にいる多数の参加者は演壇の様子を大画面モニタの映像で見ながらスピーカから講演内容、発言内容を聞くことができる。
【００６３】
一方、客席の参加者が質問などをしたい場合は、客席の各々に設置された映像音声入力装置７７の発言要求ボタンを押すと、司会者や議長などの会議進行者の手元にある操作卓の発言要求ランプが点灯し、また、映像音声出力装置７６に表示される。会議進行者は点灯した発言要求ランプの中から発言許可者を選択して発言許可を与えると、当該発言要求者の映像音声入力装置７７に発言許可ランプが点灯し、併せて映像音声入力装置７７が信号処理装置７５に接続して発言が可能になる。映像音声入力装置７７は質問者の音声を検知し、音声とともに質問者の映像を撮影して信号処理装置７５に無線または有線で送信する。信号処理装置７５で受信した質問者の音声と映像は映像音声出力装置７６に送られ、講演者やパネラなどのメンバーの場合と同様に大画面モニタに映像が映出され、スピーカから質問内容が会場全体に放声される。したがって、客席にいる質問者以外の参加者は質問者の映像と質問内容を確認することができる。
【００６４】
なお、発言要求者の発言要求は、映像音声入力装置７７の発言要求ボタンを押す他に、参加者ＩＤを発言要求メッセージとともに送信するようにしてもよい。また、会議進行者による発言許可も発言要求ランプの選択以外に発言許可メッセージを送信するようにしてもよい。
【００６５】
客席における映像音声入力装置７７としては、同時通訳機や携帯電話のような携帯型映像音声入力装置とし、会場に入る際に参加者に貸与するようにすれば客席の各々に映像音声入力装置７７を設置する必要はなく、通常の講堂や会議室などを利用することができる。
【００６６】
なお、各携帯型映像音声入力装置にあらかじめＩＤを設定しておけばこのＩＤを利用して演壇にいる会議進行者と客席の参加者間で情報をやりとりすることができる。したがって、これを利用すれば発言要求者の発言要求と会議進行者による発言許可のメッセージ送受信を容易に行うことができる。
【００６７】
また、携帯型映像音声入力装置として携帯電話のようにディスプレイを有する映像音声出力装置と一体型のものを使用すれば、演壇上の大画面モニタが見難い場合でも手元の携帯型映像音声入力装置の映像を見ることにより確認することができる。
【００６８】
本実施の形態によれば、会場の様子や質問者の表情などが演壇の大画面に表示され、かつ話者の音声はスピーカから流されるので参加者は会議の内容を確実に且つ効果的に確認することができる。また、会場係がマイクを質問者の手元に運ぶ手間が省けるので、スムーズでわかりやすい会議を営むことができる。
【００６９】
【発明の効果】
以上のように本発明によれば、建物内の異なる場所同士、あるいは遠隔地同士の会議において、複雑な認識機能を必要とせずに、会議室の全体雰囲気および話者の表情や音声を確実にとらえて同一会議室内で会議をしているのと遜色のない会議を行うことができる。
【００７０】
また、演壇と会場からなる広い会場での会議において、講演者やパネラなどのメンバーの顔や表情、しぐさ、音声などを会場にいる参加者が明確に確認することができる。さらに、参加者から質問や意見が出た場合に、会場係がマイクを渡しに行く手間を省き、かつ、質問者の顔やしぐさ、音声を他の参加者が容易に確認することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における会議システムの概略構成を示すブロック図
【図２】本発明の実施の形態１における映像音声入力装置、信号処理装置、および映像音声出力装置の詳細を示すブロック図
【図３】図２における信号処理装置の詳細を示すブロック図
【図４】本発明の実施の形態２における映像音声入力装置、信号処理装置、および映像音声出力装置の詳細を示すブロック図
【図５】本発明の実施の形態３における会議システムの概略構成を示すブロック図
【符号の説明】
１１、１２、１３、２１、２２、２３、２４、７１、７２、７３、７４、７７
映像音声入力装置
１４、７５　信号処理装置
１５、２５、７６　映像音声出力装置
３１　映像入力部
３２　映像編集部
３３　音声入力部
３４　音声編集部
３５　ＩＤ記憶部
３６　ＩＤ送信部
３７　全体映像入力部
３８　全体映像編集
４１　参加者ＩＤ登録部
４２　参加者ＩＤ認識部
４３　映像音声切替部
４４　話者音声出力部
４５　話者映像出力部
４６　前話者映像出力部
４７　資料映像出力部
４８　人物名認識部
４９　動作認識部
５０　特定者映像出力部
５１　全体映像出力部
６１　スピーカ
６２　モニタ画面
４３１　音声検知装置
４３２　切替装置
６２２、６２３、６２４、６２５　はめ込み画像

Claims (17)

1. 複数の参加者に対して個別に設けられ、各参加者の音声および映像を入力する複数台の映像音声入力装置と、前記複数台の映像音声入力装置の出力信号により話者を検知する手段と、検知した話者の音声および映像を選択する映像音声切替手段と、前記映像音声切替手段によって選択された話者の音声および映像を出力する映像音声出力装置を具備することを特徴とする会議システム。
2. 会議室の全体映像を撮影する全体映像入力部を備え、現在の話者の映像とともに、前記全体映像を出力する手段を具備することを特徴とする請求項１記載の会議システム。
3. 映像音声切替手段は、現在の話者の映像とともに、直前の話者の映像を出力することを特徴とする請求項１に記載の会議システム。
4. 映像音声切替手段は、現在の話者の映像とともに、話者が使用している説明資料の映像を出力することを特徴とする請求項１に記載の会議システム。
5. 予め指定した特定者の映像を取得する手段を備え、前記特定者の映像を出力することを特徴とする請求項１から４のいずれかに記載の会議システム。
6. 映像音声入力装置から入力された映像の中から予め設定された特定の動作を認識する動作認識手段を有し、前記動作認識手段によって認識された特定者の映像を出力することを特徴とする請求項１から５のいずれかに記載の会議システム。
7. 映像音声入力装置から入力された音声から話者の名前を認識する人物名認識手段を有し、前記映像音声出力装置は現在の話者の映像とともに、前記人物名認識手段によって認識された話者の名前を出力することを特徴とする請求項１から６のいずれかに記載の会議システム。
8. 映像音声入力装置から入力された映像に所定の背景、飾りフレームまたは自己紹介テロップを入れ込む手段を有することを特徴とする請求項１から７のいずれかに記載の会議システム。
9. 映像音声入力装置から入力された映像に自分の所属企業またはスポンサー企業のコマーシャル映像を入れ込む手段を有することを特徴とする請求項１から７のいずれかに記載の会議システム。
10. 映像音声入力装置が携帯電話または携帯端末で構成されたことを特徴とする請求項１から９のいずれかに記載の会議システム。
11. 携帯電話または携帯端末は映像音声入力装置と映像音声出力装置を一体化した構成であることを特徴とする請求項１０に記載の会議システム。
12. 映像音声出力装置は複数の映像を同時に表示するマルチ画面構成であることを特徴とする請求項１に記載の会議システム。
13. 請求項１から１２のいずれかに記載の会議システムを複数の地点に設け、前記複数の地点における各会議システムをバックボーンまたは衛星通信により結合したことを特徴とする会議システム。
14. 演壇と客席からなる会場において、演壇上のメンバーの席に映像音声入力装置が設置され、前記映像音声入力装置は無線あるいは有線で信号処理装置に接続されており、一方客席の各々に映像音声入力装置が配されており、前記信号処理装置は演壇上のメンバーまたは客席の参加者の中から話者の音声を検知して話者の映像を映像音声出力装置に出力するとともに、客席に配された映像音声入力装置から発言要求があると、会議進行者の手元にある操作卓の発言要求ランプが点灯し、会議進行者は点灯した発言要求ランプの中から発言許可者を選択して発言許可を与えることを特徴とする会議システム。
15. 映像音声入力装置が携帯電話または携帯端末で構成されたことを特徴とする請求項１４に記載の会議システム。
16. 携帯電話または携帯端末は映像音声入力装置と映像音声出力装置を一体化した構成であることを特徴とする請求項１５に記載の会議システム。
17. 映像音声出力装置は複数の映像を同時に表示するマルチ画面構成であることを特徴とする請求項１５に記載の会議システム。

Images