JP2005123959A

JP2005123959A - 高臨場感通信会議装置

Info

Publication number: JP2005123959A
Application number: JP2003357761A
Authority: JP
Inventors: Shigeaki Aoki; 茂明青木; Iwaki Toshima; 巌樹戸嶋; Hiroshi Kawano; 洋川野; Tatsuya Hirahara; 達也平原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-10-17
Filing date: 2003-10-17
Publication date: 2005-05-12

Abstract

【課題】意見を聞き、或いは眼で見て、発言している状況を実感することができ、会議に参加している臨場感を感じる高臨場感通信会議装置を提供する。
【解決手段】擬似頭２に備え付けられた情報入力装置１、擬似頭２に備え付けられた姿勢制御装置３、遠隔地参加者９の頭部の動作を把握する装置１０、１１、遠隔地参加者９に対する情報提示装置８を有する高臨場感通信会議装置において、会議場においては擬似頭を所定の位置に設置し、情報入力装置１として疑似頭２の両耳に相当する位置に設置された収音装置２１、２２を有し、遠隔地参加者９の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置２５を有し、遠隔地参加者９の音声を収音する参加者収音装置４２を有し、疑似頭２の口に相当する位置に参加者収音装置４２で収音された音響信号を再生する疑似頭発声装置４１を設置した高臨場感通信会議装置。
【選択図】図５

Description

この発明は、高臨場感通信装置に関し、特に、遠隔地の会議参加者に代わって擬似頭を会議場に設置する構成を採用して遠隔地参加者が実際に会議場で会議に参加しているかの様に意見を聞き、或いは眼で見て、発言している状況を実感することができ、あたかも実際に会議場で会議に参加している臨場感を感じることができる高臨場感通信会議装置に関する。

従来の通信会議装置は、会議場の発話者の音声をマイクロフォンで収音し、収音された音声信号とその発話者の位置情報とを遠隔地に送信する。遠隔地には、発話者の位置とその位置に対応した音像定位フィルタのデータベースがあり、受信した音声信号に発話者の位置に対応した音源定位フィルタの処理を施すことで、遠隔地参加者が会議場に存在するものとすると聴取するであろう両耳信号を忠実に模擬、生成する。遠隔地参加者はヘッドフォン或いはこれと等価なスピーカによりこの両耳信号を聴取するとき、会議場の発話者の音声を定位感を以て聞くことができる(特許文献１、２参照)。

一方、擬似頭を用いたバイノーラル録音の技術自体として、擬似頭を遠隔地から操作する基礎的技術も検討されている(非特許文献１参照)。
ところで、バイノーラル録音する構成を採用した擬似頭に小型カメラを設けて、聴覚情報に対して違和感のない精度良好な視覚情報を付加する聴覚視覚複合情報を遠隔地に送信する技術も開発されている(特許文献３参照)。
特開平０７−３０３１４８号公報特開平１０−４２３９６号公報特開平５−１５３６８７号公報戸嶋巌樹、植松尚、平原達也、"頭部運動に追従するダミーヘッド"、日本音響学会秋季講演会論文集、ｐｐ.４３９−４４０(２００２)

特許文献１、２に記載される技術は、音像定位フィルタのデータベースを使用するので、不特定多数の参加者のデータベースを予め準備しておく必要があり、準備した音像定位フィルタであっても定位感の性能は理論通りの効果が得られない場合が多いという問題があった。
そして、非特許文献１に開示されるバイノーラル録音の技術は、そのまま、通信会議に適用するものではない。即ち、非特許文献１に開示される擬似頭を用いたバイノーラル録音の技術は、擬似頭の両耳にマイクロフォンをセットして、遠隔地で音声を単に再生聴取しているだけのものに過ぎない。

また、特許文献３に記載される技術も、聴覚情報に対して違和感のない精度良好な視覚情報を付加する聴覚視覚複合情報を遠隔地に送信して、視覚情報を加えて聴覚情報を単に適正に評価するというものに過ぎない。
結局、非特許文献１および特許文献３に記載される技術は、遠隔地で開催されている通信会議に参加して、遠隔地参加者が実際に会議場で会議に参加しているかの様に意見を聞き、或いは眼で見て、発言している状況を実感することを実現しようとする通信会議装置に係わる技術ではない。

本発明は、遠隔地の会議参加者に代わって擬似頭を会議場に設置する構成を採用し、遠隔地の会議参加者が実際に会議場で会議に参加しているかの如くに意見を聞き、更に眼で見て、発言している状況を実感することができ、あたかも実際に会議場で会議に参加している臨場感を感じる高臨場感通信会議装置を提供するものである。

請求項１：会議場に設置される遠隔地参加者９の頭部を模擬した疑似頭２、擬似頭２に備え付けられた情報入力装置１、擬似頭２に備え付けられた姿勢制御装置３、遠隔地参加者９の頭部の動作を把握する装置１０、１１、遠隔地参加者９に対する情報提示装置８、会議場と遠隔地間を通信する装置６より成る高臨場感通信会議装置において、会議場においては擬似頭２を所定の位置に設置し、情報入力装置１として疑似頭２の両耳に相当する位置に設置された収音装置２１、２２を有し、遠隔地参加者９の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置２５を有し、遠隔地参加者９の音声を収音する参加者収音装置４２を有し、疑似頭２の口に相当する位置に参加者収音装置４２で収音された音響信号を再生する疑似頭発声装置４１を設置した高臨場感通信会議装置を構成した。

そして、請求項２：会議場に設置される遠隔地参加者９の頭部を模擬した疑似頭２、擬似頭２に備え付けられた情報入力装置１、擬似頭２に備え付けられた姿勢制御装置３、遠隔地参加者９の頭部の動作を把握する装置１０、１１、遠隔地参加者９に対する情報提示装置８、会議場と遠隔地間を通信する装置６より成る高臨場感通信会議装置において、会議場においては擬似頭２を所定の位置に設置し、情報入力装置１として疑似頭２の両耳に相当する位置に設置された収音装置２１、２２を有し、遠隔地参加者９の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置２５を有し、疑似頭２の両眼に相当する位置に設置された撮像装置３１、３２と、遠隔地参加者９の両眼に撮像装置で撮像された映像信号を提示する映像表示装置３３とを有する高臨場感通信会議装置を構成した。

また、請求項３：請求項１に記載される高臨場感通信会議装置において、更に、疑似頭２の両眼に相当する位置に設置された撮像装置３１、３２と、遠隔地参加者９の両眼に撮像装置で撮像された映像信号を提示する映像表示装置３３とを有する高臨場感通信会議装置を構成した。
更に、請求項４：請求項３に記載される高臨場感通信会議装置において、両耳音響再生装置２５、映像表示装置３３、参加者収音装置４２を提示装置５２として一括一体化して具備する高臨場感通信会議装置を構成した。

また、請求項５：請求項１ないし請求項４の内の何れかに記載される高臨場感通信会議装置において、会議場に設置される擬似頭２の個数を遠隔地参加者の数に等しい複数とする高臨場感通信会議装置を構成した。

この発明は、会議場に設置される遠隔地参加者９の頭部を模擬した疑似頭２、擬似頭２に備え付けられた情報入力装置１、擬似頭２に備え付けられた姿勢制御装置３、遠隔地参加者９の頭部の動作を把握する装置１０、１１、遠隔地参加者９に対する情報提示装置８、会議場と遠隔地間を通信する装置６より成る高臨場感通信会議装置において、情報入力装置１として疑似頭２の両耳に相当する位置に設置された収音装置２１、２２を有し、遠隔地参加者９の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置２５を有し、遠隔地参加者９の音声を収音する参加者収音装置４２を有し、疑似頭２の口に相当する位置に参加者収音装置４２で収音された音響信号を再生する疑似頭発声装置４１を設置する構成を具備している。即ち、遠隔地の会議参加者に代わって擬似頭２を会議場に設置する構成を採用して遠隔地の会議参加者が実際に会議場で会議に参加しているかの様に意見を聞き、発言している状況を実感することができ、あたかも実際に会議場で会議に参加している臨場感を感じることができる。

そして、疑似頭２の両眼に相当する位置に設置された撮像装置３１、３２と、遠隔地参加者９の両眼に撮像装置で撮像された映像信号を提示する映像表示装置３３とを有する高臨場感通信会議装置とすることにより、意見を聞くことに加えて眼で見ている状況をも実感することができ、実際に会議場で会議に参加している臨場感をより一層感じることができる。
また、両耳音響再生装置２５、映像表示装置３３、参加者収音装置４２を提示装置５２としてコンパクトにまとめて一括一体化することにより、人間が耳眼で行うのと同様な状況で視覚、聴覚情報を知覚し、発音する口元で収音を行うので高Ｓ／Ｎの音声情報を違和感なく収音することができると共に、提示装置５２の着用、取り扱いが容易である。

発明を実施するための最良の形態を図の実施例を参照して説明する。
図１は実施例を包括して説明する図である。１は情報入力装置、２は会議場に設置される遠隔地の会議参加者の頭部を模擬した疑似頭、３は擬似頭を動かす姿勢制御装置、４はモータ制御装置、５は会議場の通信処理器、６はネットワーク、７は遠隔地の通信処理器、８は情報提示装置、９は遠隔地参加者、１０は頭部動き検出装置、１１は頭部動き解析装置を示す。
遠隔地の会議参加者の頭部を模擬した擬似頭２に情報入力装置１を取り付け設置し、会議場においては、この擬似頭２を遠隔地参加者が実際に座るべき位置に設置する。情報入力装置１により収集した情報は、会議場の通信処理器５で符号化、高Ｓ／Ｎ化、高信頼化その他の一般的な信号処理を施されてから、ネヅトワーク６を経由して遠隔地の会議参加者の側の通信処理器７に送信される。擬似頭２を動かす姿勢制御装置３は制御モータを有し、モータ制御装置４で制御駆動される。例えば、３次元制御の場合、ロー、ヨー、ピッチ各方向に制御する。制御に使用される情報としては、ネットワーク６を経由して遠隔地の通信処理器７から送信される信号に会議場の通信処理器５で復号化、その他の一般的な信号処理を施したものが使用される。

遠隔地においては、ネットワーク６を経由して会議場の通信処理器５から送信された信号に遠隔地の通信処理器７で復号化、その他の一般的な信号処理を施して得られた情報が、会議場の情報として情報提示装置８に提示される。遠隔地参加者９は、情報提示装置８に提示された会議場の情報により、自分の関心のあるものの方向に頭を動かすと、その動きは頭部動き検出装置１０で検出され、頭部動き解析装置１１で動きの方向、速度、等が解析される。この情報は、遠隔地の通信処理器７で、符号化、高信頼化、その他の一般的な信号処理が施され、ネットワーク６を介して会議場の通信処理器５に送信される。以上の信号送信および信号処理は、会議場と遠隔地との間で通信会議中において繰り返して行われる。

以上の図１による説明は、聴覚情報および視覚情報を一括して情報入力装置１を介して
入力するものとして説明している。以降、聴覚情報を入力する場合および視覚情報を入力する場合を、各別に具体的に説明する。
図２を参照するに、これは聴覚情報を取り扱う場合を説明する図である。
２１は擬似頭２の左耳の位置にある左収音装置、２２は擬似頭２の右耳の位置にある右収音装置、２３は左収音装置用アンプ、２４は右収音装置用アンプ、２５は遠隔地の会議参加者に音響信号を再生する両耳音響再生装置を示す。

会議場には、擬似頭２の左耳の位置にある左収音装置２１と擬似頭２の右耳の位置にある右収音装置２２を取り付けてある擬似頭２が、遠隔地参加者９が実際に座るべき位置に設置される。左収音装置２１と右収音装置２２で収音した音声信号である聴覚情報は、会議場の通信処理器５で、符号化、高Ｓ／Ｎ化、高信頼化その他の一般的な信号処理が施され、ネットワーク６を介して遠隔地の通信処理器７に送信される。
遠隔地においては、遠隔地の通信処理器７で、ネットワーク６を経由して会議場の通信処理器５から送信された信号に復号化、その他の一般的な信号処理を施して、遠隔地参加者に対して音響信号を再生する両耳音響再生装置２５により会議場の音声情報が提示される。遠隔地参加者９は、両耳音響再生装置２５により提示された会議場と等価な両耳音響信号により、発話者の方向を知覚することができる。遠隔地参加者９の関心のある発話者、議論の対象となっている物体の方向に自身の頭を動かすと、その動きは頭部動き検出装置１０により検出される。

図３を参照するに、これは視覚情報を取り扱う場合を説明する図である。
３１は擬似頭２の左眼の位置にある左撮像装置、３２は擬似頭２の右眼の位置にある右撮像装置、３３は遠隔地参加者９に映像信号を提示する映像表示装置を示す。
会議場においては、擬似頭２の左眼の位置にある左撮像装置３１と擬似頭２の右眼の位置にある右撮像装置３２を取り付けてある擬似頭２が、遠隔地参加者９が実際に座るべき位置に設置されている。左撮像装置３１と右撮像装置３２で撮像した視覚情報は、会議場の通信処理器５で、符号化、高Ｓ／Ｎ化、高信頼化その他の一般的な信号処理が施され、ネットワーク６を経由して遠隔地の通信処理器７に送信さる。

遠隔地においては、遠隔地の通信処理器７で、ネットワーク６を経由して会議場の通信処理器５から送信された信号に、復号化、その他の一般的な信号処理が施され、遠隔地参加者９に対して映像表示装置３３により会議場の視覚情報が提示される。遠隔地参加者９は、映像表示装置３３に会議場と等価な両眼の映像信号が提示されたことにより、発話者の方向を知覚することができる。自分の関心のある話者、議論の対象となっている物体の方向に頭を動かすと、その動きは頭部動き検出装置１０で検出される。
図４を参照するに、これは遠隔地参加者９および会議場に設置される擬似頭２の発声情報を取り扱う場合を説明する図である。

４１は会議場に設置される擬似頭２の口の位置に設置される擬似頭発声装置、４２は遠隔地参加者９の音声を収音する参加者収音装置を示す。
会議場に設置される擬似頭２の口の位置に配置される擬似頭発声装置４１が発声する音声情報は、会議場の通信処理器５で、ネットワーク６を経由して遠隔地の通信処理器７から送信された信号に、復号化、その他の一般的な信号処理を施して得られる。
遠隔地においては、遠隔地参加者９の音声は、遠隔地参加者９の音声を収音する参加者収音装置４２により収音される。その収音情報は、遠隔地の通信処理器７で、符号化、高信頼化その他の一般的な信号処理が施されて、ネットワーク６を経由して会議場の通信処理器５に送信される。この遠隔地の会議参加者および会議場に設置される擬似頭の発声取り扱いは、会議場と遠隔地との間で、通信会議中において繰り返して行われる。これにより、遠隔地参加者９は、実際に会議場で会議に参加しているかの様に会議場で発言することができ、あたかも実際に会議場で会議に参加している様な臨場感を感じることができる。

図５を参照するに、これは図２の聴覚情報、図３の視覚情報、図４の発声情報を取り扱う場合を説明する図である。
会議場の疑似頭２は、会議場における収音装置、撮像装置、発声装置を一括して具備している。遠隔地参加者９は、遠隔地参加者９に対して音響信号を再生する両耳音響再生装置２５、遠隔地参加者に映像信号を提示する映像表示装置３３、遠隔地参加者９の音声を収音する参加者収音装置４２を一括し、提示装置５２として具備している。
会議場における収音装置、撮像装置、発声装置を一括して具備する疑似頭２には、左耳の位置に左収音装置２１と右耳の位置に右収音装置２２、左眼の位置に左撮像装置３１と右眼の位置に右撮像装置３２、口の位置に擬似頭発声装置４１が取り付けられている。擬似頭２は収音装置、撮像装置、発声装置を一括して具備しているので、人間が耳、眼で行うのと同様な状況で聴覚、視覚情報を収集し、人間が口で行うのと同様な状況で音声情報を提示することができる。

上述した通り、遠隔地参加者に音響信号を再生する装置の機能、撮像する映像信号を提示する装置の機能、発声を収音する装置の機能を一体化した提示装置５２は、音響信号を両耳に再生する両耳音響再生装置２５と、遠隔地参加者に映像信号を提示する映像表示装置３３と、音声を収音する参加者収音装置４２とが一括一体に構成されている。一体化しているので、人間が耳眼で行うのと同様な状況で視覚、聴覚情報を知覚し、発音する口元で収音を行うので、高Ｓ／Ｎの音声情報を違和感なく収音することができる。また、コンパクトにまとまっているので、着用、取り扱いが容易である。遠隔地参加者は、あたかも目の前に会議場の参加者が存在する様な感覚で、リアルに会議に参加し、自身も発言する状況を実現することができる。

この実施例は、収音装置の機能、撮像装置の機能、発声装置の機能をすべて一体化した疑似頭と、遠隔地参加者に音響信号を再生する装置の機能、撮像する映像信号を表示する装置の機能、発声を収音する装置の機能を一体化した提示装置を遠隔地参加者に付与した場合の発明について述べた。使用する環境によっては、必要な二つの機能である収音装置の機能と発声装置の機能とを選択して一体化した擬似頭と、遠隔地参加者に音響信号を再生する装置の機能と発声を収音する装置の機能とを一体化した提示装置を用いても充分な効果が得られる場合もあり、その場合にはこれら必要な機能を選択して一体化すれば、より経済的な通信会議装置になる。

図１ないし図５を参照して、会議場で一つの擬似頭を用いる場合について説明したが、擬似頭の個数を遠隔地参加者の数に等しい複数とする場合も考えられる。究極の場合として、会議の参加者全員が遠隔地から参加して、会議場には各参加者の擬似頭のみが設置されている構成とすることもできる。
ところで、以上の高臨場感通信会議装置において、情報入力装置１として疑似頭２の両耳に相当する位置に設置された収音装置２１、２２を有し、遠隔地参加者９の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置２５を有する音響の伝送と、疑似頭２の両眼に相当する位置に設置された撮像装置３１、３２および遠隔地参加者９の両眼に撮像装置で撮像された映像信号を提示する映像表示装置３３を有する映像の伝送の２者のみの伝送に依っても、遠隔地参加者９は発言が制限されてはいるが、その範囲内において高臨場感通信会議に出席することができる。

実施例を説明する図。聴覚情報を取り扱う場合を説明する図。視覚情報を取り扱う場合を説明する図。遠隔地の会議参加者および会議場に設置される擬似頭の発声情報を取り扱う場合を説明する図。聴覚情報、視覚情報、発声情報を取り扱う場合を説明する図。

符号の説明

１情報入力装置２疑似頭
３姿勢制御装置４モータ制御装置
５会議場の通信処理器６ネットワーク
７遠隔地通信処理器８情報提示装置
９遠隔地参加者１０頭部動き検出装置
１１頭部動き解析装置２１左収音装置
２２右収音装置２３左収音装置用アンプ
２４右収音装置用アンプ２５両耳音響再生装置
３１左撮像装置３２右撮像装置
３３映像表示装置４１擬似頭発声装置
４２参加者収音装置５２提示装置

Claims

会議場に設置される遠隔地参加者の頭部を模擬した疑似頭、擬似頭に備え付けられた情報入力装置、擬似頭に備え付けられた姿勢制御装置、遠隔地参加者の頭部の動作を把握する装置、遠隔地参加者に対する情報提示装置、会議場と遠隔地間を通信する装置より成る高臨場感通信会議装置において、
会議場においては擬似頭を所定の位置に設置し、
情報入力装置として疑似頭の両耳に相当する位置に設置された収音装置を有し、遠隔地参加者の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置を有し、
遠隔地参加者の音声を収音する参加者収音装置を有し、疑似頭の口に相当する位置に参加者収音装置で収音された音響信号を再生する疑似頭発声装置を設置したことを特徴とする高臨場感通信会議装置。
会議場に設置される遠隔地参加者の頭部を模擬した疑似頭、擬似頭に備え付けられた情報入力装置、擬似頭に備え付けられた姿勢制御装置、遠隔地参加者の頭部の動作を把握する装置、遠隔地参加者に対する情報提示装置、会議場と遠隔地間を通信する装置６より成る高臨場感通信会議装置において、
会議場においては擬似頭を所定の位置に設置し、
情報入力装置として疑似頭の両耳に相当する位置に設置された収音装置を有し、遠隔地参加者の両耳に収音装置で収音された音響信号を再生する両耳音響再生装置を有し、
疑似頭の両眼に相当する位置に設置された撮像装置と、遠隔地参加者の両眼に撮像装置で撮像された映像信号を提示する映像表示装置とを有することを特徴とする高臨場感通信会議装置。
請求項１に記載される高臨場感通信会議装置において、
更に、疑似頭の両眼に相当する位置に設置された撮像装置と、遠隔地参加者の両眼に撮像装置で撮像された映像信号を提示する映像表示装置とを有することを特徴とする高臨場感通信会議装置。
請求項３に記載される高臨場感通信会議装置において、
両耳音響再生装置、映像表示装置、参加者収音装置を提示装置として一括一体化して具備する高臨場感通信会議装置。
請求項１ないし請求項４の内の何れかに記載される高臨場感通信会議装置において、
会議場に設置される擬似頭の個数を遠隔地参加者の数に等しい複数とする高臨場感通信会議装置。