JP2002504273A - オーディオおよびマルチメディア会議を記録して索引をつける方法と装置 - Google Patents

Abstract

(57)【要約】 オーディオ会議中に交換されるオーディオ情報、又はマルチメディア会議中に交換されるビデオ、オーディオおよびデータ情報を記録して索引をつける方法と装置。マルチメディア会議用としては、この方法と装置は、多点制御ユニット（ＭＣＵ）（２６）の音声作動交換の機能性を利用して、オーディオ信号を検出したワークステーションからＭＣＵ（２６）へ入力されるビデオ信号を、会議に参加している他のワークステーションの各々へ与える。多点制御ユニット（２６）によって生成されるワークステーションおよび／又は参加者を識別する信号は、格納されたマルチメディア情報を後で容易に検索するために、オーディオ信号およびビデオ情報と共に又はそれらに対応して格納される。オーディオ会議用としては、コンピュータ（３２’）がオーディオ・ブリッジ（４４）に接続され、各会議参加者とその参加者の述べたことを相関付けするために、オーディオ情報を識別信号と共に記録する。

Description

【発明の詳細な説明】 オーディオおよびマルチメディア会議を記録して索引をつける方法と装置 発明の背景 Ｉ．発明の分野 この発明は、一般に２人以上の使用者が可視的かつ可聴的に交信し、スプレッ ドシートやレポートなどのようなデータを同時に共同で使用することができるマ ルチメディア会議（conferencing）に広く関する。特にこの発明は、２人以上の 使用者が、オーディオおよびビデオ入力／出力能力を有し多点制御ユニットに通 常接続される端末機を使用して、互いに交信するマルチメディア会議に関する。 殊にこの発明は、マルチメディア会議（conference）のビデオ通話中に参加者間 で交換されるオーディオ信号やデータおよび少なくともビデオ信号で表現された ものを記録して索引をつけ、そして、記録された情報に後の識別や検索に備えて 多点制御ユニットの音声作動交換の機能性を利用して索引をつける方法および装 置に関する。さらにこの発明は、２人以上の参加者が共通のオーディオ・ブリッ ジに接続された電話端末機を介して互いに交信するオーディオ又は音声のみの通 話を記録して索引をつける方法と装置に関する。 II．背景技術の論考 遠距離通信の最近の発達により、２人の使用者が、オーディオおよびビデオ入 力／出力能力を有する端末機を用いてインテグレイテッド・サービス・ディジタ ル・ネットワーク（ＩＳＤＮ）のような直接伝送リンクや電話ラインを介して互 いに通信および交信を行うビデオ通話を可能としている。一般的にビデオ通話に 用いられる端末機は、オーディオ交換用マイクロホンとスピーカ、ビデオ交換用 ビデオカメラとスクリーン、および例えばレポート、スプレッドシート、グラフ などからなるデータの交換用コンピュータを含むワークステーションである。 ビデオ通話の情報は、一般的に、２つのベアラー（bearer）（Ｂ）チャンネル （各チャンネルは５６又は６４キロビット／秒（ｋｂ／ｓ）のいすれかで搬送す る）および１６ｋｂ／ｓの信号チャンネル（Ｄ）からなるデータ列フォーマット の形に形成され、このフォーマットは通常２Ｂ＋Ｄと呼ばれる。標準的なデータ の形態としてほとんどのビデオ通話はＨ．３２０ビデオ電話プロトコルを利用す るが、このプロトコルは、全てのオーディオおよびデータ情報（レポート、スプ レッドシートなど）とビデオ情報の極く一部とを表わすデータ列の一部を搬送す るために最初に接続されるベアラーと、ビデオ情報の残りを搬送するために最後 に接続されるベアラーとを形成する。 ピデオ通話用として、２人の使用者は市内通話用の市内中央局、又は長距離通 話用の主交換局のいずれかを介して２点間接続により直接交信することができる 。使用者はまた、多点制御 ユニット（ＭＣＵ）を用いて直接交信でき、各ワークステーションは共通のＭＣ Ｕに接続されそれを共同で使用する。ＭＣＵが用いられるとき、そのような交信 はマルチメディア会議と呼ばれ、ＭＣＵの追加の引出口（ports）を用いてＭＣ Ｕへ追加ワークステーションを接続することにより、マルチメディア会議への多 くの第三者の追加使用者を収容できる。 ＭＣＵの基本的な特徴は、例えば、エム．ジェイ．コーニッグ（M．J．Koenig ）他著「MCUs Help Take The Worry Out Of Being There」AT & T Technology P roducts，Systems and Serevices,第９巻、第４号、冬、1994年、第12−15頁に 記載されており、これは、参照文献としてここに編入される。基本的にＭＣＵは 、各ワークステーション終端から発生する音声、ビデオおよびデータからなる多 重送信データビットのストリーム（stream）を同期させ、他のワークステーショ ンの終端から受け取る制御シーケンスにより伝達されるオプションからのビデオ 会議用オーディオとビデオパラメータの互換性を有する組合せを保証し、そして 会議通話の参加者に放送するために全使用者からのオーディオ・ストリームを復 号して加算する。各特定の参加者のワークステーションにおいて表示されるビデ オは、例えば、その時点で最も声の大きい話し手の画像が他の参加者によって見 られる一方、その最も声の大きい話し手のワークステーションは前の話し手の位 置の画像を表示するという音声作動交換のような種々の方法により決定できる。 他のビデオ交換方法は前述のコーニッグの文献で論じられている。 ビデオ会議は、生の発表やセミナーに代わるものとして用いられることが多い ので、会議参加者がある主題について述べた内容や会議中に検討されたファイル や記録を見直すというような、後での使用のために、マルチメディア会議通話中 に伝達された情報を記録する能力を有することが、極めて望ましいことである。 そのようなマルチメディア会議を記録する現行の技術は、ビデオカセットに記憶 するためのアナログフォーマット、又はコンピュータメモリーに記録するための ディジタルフォーマットのいずれかを用いて、全会議を単に記録することからな る。しかしながら、格納ファイルからある特定の情報を検索することが、後で望 まれる場合には、著しく時間を要する方法で全ファイルを調べ、求める情報を捜 し当てることが必要となる。さらに、コンピュータメモリーに記憶させる場合に はとくに、比較的大容量の記憶領域が必要となるので、ビデオデータを収容する ことについては無視しなければならない。従って、信号のビデオ生成におけるデ ータ量を縮減しそれによってその記憶に必要なメモリ容量を低減するために、種 々のビデオ圧縮方法が開発されてきた。 例えば、ビデオ信号のフレームサンプルが、全ビデオフレームの完全なストリ ームのためというよりむしろ記憶のために、一定の又は調整可能な時間間隔で得 られる時間に基づいてサンプリングする圧縮法が開発された。さらに、個々の場 面の中で生じる情景の変化を検出することによってビデオ信号をサンプリングす る内容に基づいて圧縮又はサンプリングする法が開発 された。そのような方法は、「Method and Apparatus for Detecting Abrupt an d Gradual Scene Changes in Image Sequenses」という題名の係属中の米国特許 出願第０８／１７１，１３６号および「Camera-Motion Induced Scene Change D etection Method and System」という題名の係属中の米国特許出願第０８／１９ １，２３４に開示されており、それらの各々の全開示は参照文献としてここに編 入される。さらに、ビデオ信号を圧縮して、その圧縮信号を同期させる方法は、 「Method And Apparatus for Compressing A Sequence Of Information-Bearing Frames Having At Least Two Media Components」という題名の1994年６月２日 出願の係属中の米国特許出願第０８／２５２，８６１号に開示されており、この 開示もまた参照文献としてここに編入される。 ビデオ会議のほかに、オーディオ又は電話会議の通話中に交換される情報を記 録し索引をつけることもまた、要望されてしいる。ビデオ通話と同様に、オーデ ィオ通話においても、２人の使用者は市内中央局（市内通話）又は主交換局（遠 距離通話）を通じて２点間接続により直接交信することができる。通話参加者は また、共通のオーディオ・ブリッジへの接続により直接交信してもよく、このオ ーディオ・ブリッジは追加の引出口を用いてオーディオ専用会議通話へ多数の第 三者の参加者を収容できる。認識されるように、会議からのオーディオ情報を記 録することが、後の検索のために望まれる。発明の要旨 前述のオーディオ記録技術は、信号のビデオ成分を格納するために必要な記録 領域の容量を軽減するが、ビデオ会議中に交換される情報つまりデータ、オーデ ィオおよびビデオが、記録されると同時に、他の物の中から各特定の参加者又は 出席者とその参加者の述べたことを、同定し相関付けするために索引づけできる 技術は、ビデオ又はマルチメディア会議に関しては今まで開発されていない。従 って、会議中に交換された情報を後で容易に識別して検索するためにマルチメデ ィア会議とオーディオ会議を記録して索引をつける方法と装置か待望されている 。 とりわけこの発明は、複数の使用者がオーディオおよびビデオ入出力の能力を 有する複数の端末機を介して多点制御ユニット（ＭＣＵ）と交信するビデオ会議 のようなマルチメディア会議の参加者および会議中に交換又は伝達されるデータ を記録して索引をつける方法と装置を提供するものである。この方法と装置は、 他の従来のＭＣＵの音声作動交換能力を利用し、全ての端末機を会議の交信にお いてＭＣＵを介して関連させ、ビデオ入力手段によって受け取られたビデオ信号 を、オーディオ信号が検出された端末機においてビデオスクリーン上に表示させ る。オーディオ信号が特定の端末機で検出されＭＣＵが受け取られたビデオ信号 間の交換を行ってその端末機に検出オーディオ信号に対応するビデオ信号を供給 するとき、使用中の特定の 端末機のアドレスに対応又はそれを表わす位置信号が、コンピュータメモリーの ような分離した記録ユニットに記録され、それと同時に、その端末機によって、 および／又はその端末機から受け取られたオーディオおよびビデオ信号もまた記 録される。 この発明の１つの企図した形の方法は、多点制御ユニットで交信する複数の端 末機の１つのオーディオ入力手段によって受け取られたオーディオ信号を検出し 、検出オーディオ信号に対応するビデオ信号を複数の端末機の少なくともいくつ かに与え、オーディオ信号を受け取ったオーディオ入力手段の位置を識別し、識 別した位置に対応する位置信号を生成し、検出オーディオ信号を位置信号と共に 記録する工程からなる。 好ましい実施態様においては、この方法はまた、ビデオ情報の全ストリーム又 はビデオ情報のストリームの代表サンプルのいずれかを記録し、記録したオーデ ィオおよび位置信号をビデオ情報と共に例えばネットワーク・クロックを利用し て共通の参照時間フレームに同期させ、検索情報を提起した会議参加者の身元を 伴った対応するオーディオおよびビデオデータの検索を容易にする。 この発明はまた、数人以上の参加者によるマルチメディア会議中に交換される 情報を記録し索引をつける装置を提供するものである。この装置は、各々がオー ディオ入力手段と、対応するビデオ入力手段とを有する複数の端末機と、音声作 動交換能力を有する多点制御ユニットを備え、その多点制御ユニットは、 端末機の対応するオーディオ入力手段によって受け取られるオーディオ信号の検 出時に端末機の１つのビデオ入力手段によってＭＣＵへ入力される受け取られた ビデオ信号を少なくともいくつかの端末機に与え、さらに検出されたオーディオ 信号の位置に対応する又はその位置を表わす信号を生成する手段を備える。この 装置はまた、生成された位置信号とオーディオ入力手段によって受け取られたオ ーディオ信号を記録する手段を備える。 好ましい実施態様において、この発明の装置は、検出されたオーディオ信号を 入力するオーディオ入力手段に関連するビデオ入力手段によって入力されるビデ オ情報ストリームの代表的な部分をサンプリングし、ビデオ情報ストリームの代 表的な部分を対応するオーディオ信号と位置信号とに同期させ、そして同期した 情報を後の検索のために記録する手段をさらに備える。 他の好ましい実施態様によれば、数人の参加者が共通のオーディオ・ブリッジ に接続された、電話機のような音声専用端末機を介して互いに交信するオーディ オ会議の通話中に交換されるオーディオ情報を記録し索引をつける方法が開示さ れる。識別工程は現在話し中の会議参加者に対応又はそれを識別する受信端末機 の位置を決定し、記録工程は交換されたオーディオ情報に加えてその身元を記録 する。その記録された情報は、後の検索および処理のために格納される。 図面の簡単な説明 図において、同じ参照番号は、全体を通して同じ要素を示す。 図１はこの発明の好ましい実施態様によるマルチメディア会議を記録し索引を つける装置のブロック図であり、 図２はこの発明の他の好ましい実施態様によるオーディオ会議を記録し索引を つける装置のブロック図である。 好ましい実施態様の詳細な説明 ２人以上の使用者又は会議出席者がビデオ又はオーディオ入出力能力を備える か組込んだ各々のワークステーションを介して交信するとき、マルチメディア会 議が開催される。ワークステーションは多点制御ユニット（ＭＣＵ）を介して間 接的に回線で接続され、ワークステーションを介してＭＣＵへおよびそれから伝 達される情報は一般にオーディオ、ビデオおよびデータ信号を表わす成分を含む 。ＭＣＵの機能の１つは、マルチメディア会議中に各使用者のワークステーショ ンに表示されるビデオ信号を制御することである。 上述のように、ビデオ信号は種々の方法で制御できる。例えば、表示モードが 用いられるのは、会議が始まるとき又は会議が予約されたときに予め指定又は確 認された司会者の画像が他の会議参加者により（つまり、彼らのスクリーンで） 見られる一方、司会者がその表示について発言又は質問する特定の使用者の位置 を見る場合である。ビデオ信号を制御する他の方法は音声作動交換モードであり 、その場合には、ＭＣＵが他の使用 者のワークステーションに最も大きい声で話す使用者／会議出席者の画像を表示 する一方、前の話し手の位置の画像は今の話し手のスクリーン上に表示される。 さらに好ましい音声作動交換モードでは、ＭＣＵは話し手が話すことを止めたと きにのみ今の話し手の位置からビデオ信号を交換する、換言すれば、ＭＣＵは今 の話し手が話すことを止めて新しい話し手が話し始めたときにのみビデオ表示を 変化させる。ＭＣＵの音声作動交換の特徴は、現在熟慮されているこの発明のこ れらの形態にとって不可欠である。 この発明による３ウエイ・マルチメディアまたはビデオ会議を記録して索引を つけるための装置１０のブロック図が図１に示されている。そこに見られるよう に、３つのワークステーション端末機１２ａ，１２ｂおよび１２ｃが、共通の多 点制御ユニット（ＭＣＵ）２６への各々の接続を介して互いに交信する。各ワー クステーション１２は、ビデオ出力用およびレポート、スプレッドシート、グラ フ及びその他のようなデータの表示用のＣＲＴスクリーン１４と、データを登録 してアクセスするためのキーボード１６と、マイクロホンおよび／又はスピーカ のようなオーディオ入出力手段１８と、ビデオカメラ２０のようなビデオ入力手 段を一般的に備える。例えば、市内中央局又は交換局２２および長距離又は遠距 離交換局２４を介していくつかの接続ライン２８の１つによって、各ワークステ ーション１２は、図のようにＭＣＵ２６に接続される。しかし、理解されるべき ことは、市内通話では長距離交換局２４は必要とさ れず、各ワークステーションの各市内中央局２２から各接続ライン２８への直接 接続が存在し得るということである。同様に、ワークステーションは、個人所有 の市内電話回線を用いて、市内中央局２２を介在させることなしに直接ＭＣＵに 接続されてもよい。また図示されるように、例えば、ライン２８が接続されたＭ ＣＵの引出口（ports）の必要な数を確保することによって、ＭＣＵ２６の動作 を制御するための会議制御ユニット３０がＭＣＵに結合される。 ＭＣＵ２６の出力は、サイレント・レッグ（silent leg）出力ライン３１上を ディジタルコンピュータ３２に導かれ、ディジタルコンピュータ３２は特定のマ ルチメディア会議中に交換されたビデオ、オーディオ、およびデータ情報をその 情報がその後回収され処理されるように格納又は記録する。コンピュータ３２は ソフトウエアを作動して、会議中にＭＣＵ２６へ与えられたオーディオ、ビデオ およびデータ信号を記録し格納する。上述のように、検出オーディオ信号を受入 れるオーディオ入力手段１８に対応又は付随する特定のビデオカメラ２０によっ て受取られるビデオ情報を、ＭＣＵ２６は音声作動交換を利用して選択する。従 って、ビデオ信号が各ビデオカメラ２０によってＭＣＵへ絶えず供給されるマル チメディア会議の通話中には、ＭＣＵは、検出オーディオ信号を入力するオーデ ィオ入力手段に結びついたビデオカメラ２０によって受取られたビデオ情報のみ をワークステーションのスクリーン１４に表示することになる。例えば、装置１ ２ａにおいて使用者が話し始めると、そ の使用者の声はＭＣＵ２６によって検出され、ＭＣＵ２６はカメラ２０ａを介し て受け取ったビデオ情報を他の使用者のスクリーン（１４ｂと１４ｃ）へ与える 。表示されるビデオ画像は通常、話し手の画像である。ＭＣＵ２６がワークステ ーション１２ａからオーディオ信号を、もはや受け取らないか、又は検出しなく なり、新しいオーディオ信号が異なるワークステーション１２ｂ又は１２ｃにお いて検出された時、ＭＣＵはビデオカメラ２０ａによって入力されるビデオ情報 の表示を止めて、新しく検出されたオーディオ信号の位置に結びついたビデオカ メラによって受け取られるビデオ情報の表示を始める。同様に、その画像は、会 議の通話において接続された他のワークステーションの各々に表示される。同期 交換および他の動作を行うために、ＭＣＵ２６はまた、ＭＣＵ２６が接続された ネットワークで好ましくは生成されるクロック信号を受取るためのクロック入力 ４０を備えてもよい。 マルチメディア会議の通話中に交換される情報が、コンピュータ３２によって 記録されるとき、ＭＣＵ２６によって生成される音声作動交換信号--これは特定 のワークステーションを表すか識別する--もまた、記録される。会議の通話が開 始されるとき、各ワークステーションにおける使用者は、ＭＣＵに自分自身を名 のる。単独の使用者があるワークステーションに居るとき、そのワークステーシ ョンの位置を表わす交換信号もまた、そのワークステーション独自の使用者を独 自に識別する。この発明は、従って、各ワークステーションによって受け取ら れるビデオ、オーディオおよびデータがはっきり明示されるように、記録される 情報に自動的に索引を付ける。 例えば、ワークステーション１２ａで検出されたオーディオ信号のような検出 オーディオ信号に対応するビデオ情報間の交換を行うとき、位置信号がコンピュ ータ３２に与えられて後続のオーディオ信号が、ビデオ情報およびデータと同様 にワークステーション１２ａから生じているということをコンピュータに警告す る。異なるオーディオ信号がその後、ＭＣＵ２６によって検出されると、新しい 位置信号が生成されて、後続のオーディオ、ビデオおよびデータ情報が、ワーク ステーション１２ａからではなく新しく検出したオーディオ信号を受け取ったワ ークステーションから生じるということをコンピュータ３２に警告する。このよ うにして、マルチメディア・ビデオ会議のアーカイブファイルが作製され、索引 付けが自動的かつ動的に行われて、会議に参加している各特定のワークステーシ ョンによる入力情報とそのワークステーションの位置とを相関し、種々のカテゴ リー、例えば話題や話し手の身元などによって記録情報を後で捜し出したり検索 したりすることを容易にする。 さらに上述のように、各ワークステーションで生成された又は生じたビデオ信 号の全て又は一部が記録され、検出オーディオ信号が発生した特定の位置の視覚 表現が、--これは通常、最も普通に会議参加者の視覚画像からなるが--同様に、 格納されたビデオ画像に結びつくオーディオおよびデータ信号によって後で検索 するためにコンピュータに格納される。従って、この 発明は記録されたオーディオ情報およびデータを対応するビデオ情報と共に直ち に捜索および検索し、例えば、各会議参加者の顔の表情や他の動きが、その参加 者により陳述されるオーディオ又は文書表現などに結合、対応又は付随して観察 できる。 上述したこの発明の方法と装置は、接続された各ワークステーションに存在す る単独の個人使用者又は参加者に関して大いに論じられた。このシナリオでは、 各個人使用者を最初に識別した後、ワークステーションの位置を監視する格納さ れた又は記録された信号が、個人参加者の身元に直接対応して独自に検出する。 しかしながら、マルチメディア会議中に２人以上の使用者が１つの共通のワーク ステーションを共有するかも知れないということも考えられ、これはこの発明の 範中に入るものである。そのような場合には、ＭＣＵの音声作動交換特性は、単 独のワークステーションに存在する個々の共通使用者間の識別をすることができ ない。従って、この発明によれば、使用者識別工程は、音声識別特性を備え、そ れにより、各使用者がワークステーションによって、および／又は、使用者の声 をその使用者の声パターン又は声紋で一致させることによって識別される。単独 のワークステーションに２人以上の使用者が存在するとき、ＭＣＵはこのように して各声紋を用いてこれらの複数の使用者間の識別を行うことができると共に、 ある特定のワークステーションにおける各特定の使用者と会議の成り行きによる その使用者の各陳述とを相関するためにコンピュータ３２によって記録される信 号を生成することができる。 ここで図２を参照して、この発明の他の実施態様を説明する。図２に示す装置 は、３ウエイのオーディオのみの、つまり電話の会議の通話を記録して索引をつ けるための装置１０’のブロック図である。図２に示された装置１０’のブロッ ク図は、次の点を除いて図１に示す装置１０のブロック図と類似する。特に、ワ ークステーション１２ａ，１２ｂおよび１２ｃはビデオ能力を備えず、例えば電 話機１２ａ’，１２ｂ’および１２ｃ’を備えた端末機で置き換えられている。 電話機は、共通オーディオ・ブリッジ４４に接続されたそれらの各接続ライン２ ８ａ，２８ｂおよび２８ｃを介して互いに交信する。マルチメディア会議装置１ ０の説明時に上述したように、各電話機は、通話のタイプ、つまり市内か遠距離 かによって、オーディオ・ブリッジ４４に直接接続できるか又は、各市内中央局 ２２および／又は遠距離交換局２４を介してオーディオ・ブリッジに接続できる 。オーディオ・ブリッジ４４は主に、各電話機における参加者に電話会議中に他 の全員と話したり聴いたりさせるブリッジ接続部である。図２を続けて参照する と、図１の装置１０のように、装置１０’は、ライン２８と各電話機が接続され るオーディオ・ブリッジの引出口の必要な数を確保するための会議制御ユニット ３０を備える。さらに、オーディオ付加ライン３６は、進行中のオーディオ会議 に追加の参加者が追加の電話機３４を利用してアクセスできるように設けられて もよい。また、図示するように、オーディオ・ブリッジ４４がサイレント・レッ グ３１を介してコンピュータ３２’に接続され、後の アクセスや使用の便宜をはかるために会議中に交換されたオーディオ情報を以下 にさらに詳述する方法で記録し、索引を付け、そして格納する。 オーディオ・ブリッジ４４に接続された全ての電話機１２’によってオーディ オ会議通話を開始するとき、各電話機のアドレス又は位置がコンピュータ３２’ により決定される。コンピュータ３２’により用いられる公知の声鑑識又は声紋 技術を利用するか、又は各会議参加者がコンピュータに自分の身元を明確に確認 させるに必要な他の方法によって、各話し手又は参加者の身元を決定することが できる。電話機１２’における個人的な会議参加者が話し中で、対応するオーデ ィオ信号のそれにより生成されてコンピュータ３２’に記録・格納されるとき、 電話１２’のアドレス又は位置を表わす信号がオーディオ信号と共に記録・格納 される。単独の会議参加者が各電話機に存在するとき、そのアドレス信号はその 話し中の参加者の身元に対応するか又は身元を独自に示す。従って、電話機１２ ａ’から生成されるオーディオ信号は、コンピュータ３２’の中又は遠隔の記憶 場所のいずれかに設けられたコンピュータメモリー又は記憶装置内に、受信電話 機１２ａ’のアドレスと話し手の身元と共に、後の検索のために格納されること が可能である。電話機１２ａ’の参加者が話すことを止めて他の参加者（例えば 電話機１２ｂ’の参加者）が話し始めると、コンピュータ３２’は結果として生 じるオーディオ信号を、新しいオーディオ信号の源、つまり電話機１２ｂ’を識 別するアドレス信号と新 しい話し手の身元と共に記録する。 さらに、オーディオ会議通話への種々の参加者がコンピュータ３２’によって 識別されると、各参加者の予め格納されるか付随するディジタル絵による表現が 検索されて各参加者のオーディオ信号とアドレス信号と共に格納され、記録され たアーカイブ記録が後でアクセスされるとき、記録された参加者の印刷された文 書による表現を得ることによって、話し中の各参加者の絵による表現がそのよう な参加者の印刷文書の始めに含まれてもよく、その場合、印刷物の使用者は会議 参加者の容貌を詳しく知ることができ、それによって会議参加者を正しく容易に 識別することができる。 ２人以上の個人的な参加者が単一のワークステーションに存在する上述のマル チメディア会議の特徴のように、２人以上の参加者がオーディオ会議におけるス ピーカーホンなどのような共通の電話機を共有するかも知れないということも考 えられるが、それはこの発明の予定された範囲に含まれる。そのような場合には 、音声鑑識特性によってコンピュータ３２’は１台の電話機における複数の使用 者間の識別ができ、記録されたオーディオ情報には個々の話し手に対応する身元 を表わすために索引がつけられる。 再び図１を参照すると、前に指摘したように、マルチメディア会議通話中にＭ ＣＵ２６に対してやりとりされる情報は、一般的にオーディオ成分やビデオ成分 を含むが、データ成分を含んてもよく、記録又はコンピュータファイルは使用者 又は参加 者により会議中にアクセスされる。情報のビデオ成分は、比較的多量のデータ-- つまり、ビデオ情報を含む画像フレームの連続したストリームを形成する大きな ビット列--から構成されるので、ディジタルコンピュータ３２のメモリー又は分 離あるいは結合されたメモリーユニットの莫大な又は利用できない量の記憶領域 を占めるビデオ情報を含む完全なビデオビットを格納することは、望ましくない か、もしくは実際的でないかもしれない。さらに、通常のマルチメディア会議中 においてＭＣＵ２６に入力される少なくともほとんどのビデオ情報は、各ワーク ステーションにおいて話す参加者の画像を主に含むので、ビデオ情報のストリー ムをすべて記録することは、通常、不必要であり、それは各ワークステーション １２においてビデオカメラ２０に入力される画像は特定のこまの期間--つまり、 ワークステーション１２の１つからのビデオ信号が他の参加しているワークステ ーションに表示するために放映されている期間には大きく変化しないためである 。従って、ビデオ会議通話から得られる完全なビデオ情報のストリームを格納す ることは、通常は必要なことでも、望ましいことでもないので、種々のソフトウ ェアに基づく（例えば）サンプリング技術かディジタルコンピュータ３２に選択 的に用いられて、会議通話中に交換されるビデオ情報の正確なビデオ表現を維持 しなからコンピュータによって記憶されるビデオ信号の量を減じてもよい。 そのようなサンプリング技術は--当業者に公知であるが--例えば、ある所定の 時間間隔でビデオ信号をサンプリングする時 間的又は空間的サンプリング又は圧縮方法からなるものであってもよい。従って 、特に、ビデオ信号が主に参加者の話し手の画像からなりフレームからフレーム へほとんど動きがないビデオ会議通話においては、所定間隔における時間サンプ リングは、ビデオカメラ２０によって与えられる連続ビデオ信号の十分に詳細で 正確な表現を提供する。その代わりとして、ビデオ画像が例えはビデオカメラ位 置におけるくり返しの又は頻繁な参加者の動きから生じる多くのフレーム変化を 含む場合に特に使用するために、当該技術で公知の、内容に基づくサンプリング 法--正確な表現を得るために必要とされるビデオ信号のサンプル数が、例えば、 ワークステーションにおける動きの量と周期に依存する方法--が採用されてもよ い。 ビデオに関連する記憶又はメモリー領域の量を減じるために用いられる特定の ビデオサンプリング技術にかかわりなく、この発明によるＭＣＵ２６の音声作動 交換能力は、記録した情報に索引をつけて特定のワークステーションとそこで情 報を入力する使用者を識別する。従って、この発明のＭＣＵの音声作動交換能力 を利用することにより、ビデオ会議の索引付きアーカイブが容易に得られる。 好ましい実施態様においては、マルチメディア会議通話からの情報を記録又は 格納するためにディジタルコンピュータ３２によって使用されるソフトウェアは 、クロック入力４０を介してＭＣＵ２６に供給されるネットワーククロックに同 期した共通のタイムスタンプで、付随又は対応するビデオ、オーディオ およびデータにマーク付け又は指定を行うタイムスタンプの特徴を備える。その ようなタイムスタンプ技術が採用されると、分離したビデオ、オーディオおよび データ情報は、メモリーおよび／又は分離した記憶装置の分離した位置に個別に 格納されてもよく、それによって、対応する情報を共通のタイムスタンプの呼称 により検索し相関することができる。ＭＣＵは、オーディオ付加ライン３６を介 してＭＣＵ２６に接続された従来の音声専用電話機３４を介して参加する追加の 会議参加者を収容する能力をさらに備えてもよい。電話会議参加者は他の会議参 加者とビデオによる交信を持たないけれども、電話会議参加者がＭＣＵに識別さ れると、追加の会議参加者の静止画像又は写真が、その電話会議参加者の話し中 にデータベースから検索されて他の会議参加者のスクリーン１４に表示される。 図１の装置１０と図２の装置１０’の両者に対して、電話機３４は、ＶＲＵ（ Voice Response Unit）３８によって提供される選択メニューから予め記録され た所望の会議情報を得るために当該技術分野で公知のモデム（図示しない）を介 してコンピュータ３２又は３２’に接続された従来の音声応答ユニット（ＶＲＵ ）３８に接続して用いられるときに、アクセスを与えてもよい。従って、会議情 報が容易にアクセス可能で作動可能な標準のフォーマットで記録・格納され、記 録された情報はアクセサー（accessor）の装置により互換性のある表示又は処理 をするためにＶＲＵ３８を介してアクセスされる。例えば、アクセサーが自分の ワークステーションにビデオ能力を有しない 場合には、アクセサーがデータ、オーディオおよび／又は文書（オーディオ情報 の写しの形で）を、格納されたマルチメディア会議記録から受取るだけでもよい 。そのようなアクセサーは、会議において参加者の１人によってなされた陳述の プリントアウトを、ＶＲＵ３８により提供されるオプションを介して追加的に要 求してもよいし、そのプリントアウトを指定のファクシミリ機又は他の端末機に 自動転送させてもよい。プリントアウトはまた、例えば話し手の視覚表現のよう な、ビデオ信号の絵画的表現を任意に含んでもよい。もちろん、アクセサーがビ デオ能力を備えるときには、ビデオ情報も検索することができる。しかしながら 、オーディオ専用会議の記録については、ＶＲＵは、ビデオ情報が存在しないた めに、オーディオ情報とその文書表現に対してのみアクセスする。 さらに、装置１０は、他のサイレント・レッグ出力ライン３９を備えて転写ユ ニット４２をＭＣＵ２６に連結しているので、ビデオ会議の記録の写しが容易に 得られる。転写ユニット４２は、例えばオーディオ信号を受取り、そのオーディ オ信号を文書フォーマットに変換し、そして、ＭＣＵにより生成される位置信号 を利用することによって会議の記録の写し又は記録を生成し、各話し手の身元が その話し手の陳述に表示される。転写ユニット４０は装置１０’に接続して用い ることもできる。しかしながら、位置信号は、オーディオ・ブリッジ４４とは対 照的にディジタルコンピュータ３２’によって生成されるので、転写ユニット４ ０はサイレント・レッグ出力ライン３９’を介 してコンピュータに直接接続される。さらに他の有利なオプションや特徴は、こ の発明の予定された範囲と考慮の中にあり、前記の説明を読んだ当業者にとって 容易に理解できる。 従って、現行の好ましい実施態様に適用されたこの発明の基本的な新規な特徴 が図示され、説明され、指摘されたので、その方法と図示した装置の形や詳細に おけるおよび動作における種々の省略や代用および変形は、この発明の精神から 離れることなく当業者によって作成されるかも知れない。従って、ここに付設し た請求の範囲によって示されるように限定することが、その意図するものである 。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 カツェフ ハワード ピー. アメリカ合衆国、ニュージャージー 07726、マナラパン、ロングストリート ロード 12 (72)発明者 マルコウィッツ ロバート イー. アメリカ合衆国、ニュージャージー 07452、グレンロック、シーダーストリー ト 36 (72)発明者 ロビンソン ベサニー エス. アメリカ合衆国、ニュージャージー 07722、コルツ ネック チューリップレ イン 40 (72)発明者 シャーラレイ ベーザド アメリカ合衆国、ニュージャージー 07728、フリーホールド、シャーウッド ドライブ 194 (72)発明者 スタンテベック ピーター エイチ. アメリカ合衆国、ニュージャージー 07739、リトル シルバー、ウッドバイン アベニュー 113 (72)発明者 ウェーバー ロイ ピー. アメリカ合衆国、ニュージャージー 08807、ブリッジウォーター、ターンベリ ー コート 940

Claims (1)

1. 【特許請求の範囲】 １．少なくとも１つの端末機のオーディオ入力手段に入力されたオーディオ信号 をコンピュータで検出する工程と、 検出されたオーディオ信号を発生させた少なくとも１つの端末機の位置を識別 し、識別した位置を表わす位置信号を生成する工程と、 検出されたオーディオ信号と、マルチメディア会議中に少なくとも１つの端末 機によりアクセスされたデータ格納ファイルを識別するアドレス信号と、ビデオ 信号の一部と、検出されたオーディオ信号を発生させた少なくとも１つの端末機 を識別する前記位置信号とを記録し、記録された検出オーディオ信号と、ビデオ 信号の記録された部分と、データ格納ファイルのアドレス信号と、記録された位 置信号とを互いに相関する記録工程とからなり、 端末機の各々が各端末機にオーディオ信号を入力するオーディオ入力手段を有 し、各端末機の少なくとも１つはビデオ信号を少なくとも１つの端末機に入力す るビデオ入力手段と、 マルチメディア会議の間にデータ格納ファイルをアクセスするデータアクセス手 段とを備える、 複数の離間した端末機に複数の参加者を有し、コンピュータに接続されたマル チメディア・ブリッジを介して交信を行うマルチメディア会議の間に交換される 情報を記録して索引をつける方法。 ２．マルチメディア会議の各参加者の身元を決定する工程をさらに備え、前記記 録工程が決定された身元を示す信号を記録する工程をさらに備えてなる請求項１ 記載の方法。 ３．記録された位置信号およびビデオ信号の記録された部分の少なくとも１つと 、記録されたデータファイルのアドレスおよび記録されたオーディオ信号とを、 参照クロック信号に対して、前記記録工程においてその参照クロック信号の表示 を記録することによって同期させる工程をさらに備えてなる請求項１記載の方法 。 ４．複数の参加者が少なくとも１つの端末機において存在し、前記少なくとも１ つの端末機における前記複数の参加者の内で検出オーディオ信号を発生させてい る話し中の参加者を前記検出オーディオ信号から識別し、前記記録工程において その話し中の参加者を識別する信号を記録する工程をさらに備えてなる請求項１ 記載の方法。 ６．コンピュータに接続される転写ユニットを備え、前記位置信号を利用してマ ルチメディア会議の記録を作成し、記録された検出オーディオ信号を、そのオー ディオ信号を発生させた端末機の位置に相関する工程をさらに備えてなる請求項 １記載の方法。 ７．少なくとも１つの端末機のオーディオ入力手段の１つに入力されたオーディ オ信号をＭＣＵて検出する工程と、 前記検出されたオーディオ信号を発生させた少なくとも１つの端末機の位置を 識別し、識別した位置を表わす位置信号を生 成する工程と、 前記検出されたオーディオ信号と、マルチメディア会議中に少なくとも１つの 端末機によりアクセスされたデータ格納ファイルを識別するアドレス信号と、前 記ビデオ信号の少なくとも一部と、前記オーディオ信号を発生させた少なくとも １つの端末機を識別する前記位置信号とを記録し、記録された検出オーディオ信 号と、ビデオ信号の少なくとも一部と、データ格納ファイルのアドレス信号と、 記録された位置信号とを互いに相関する記録工程とからなり、 端末機の各々が各端末機にオーディオ信号を入力するオーディオ入力手段を少 なくとも有し各端末機の少なくとも１つはビデオ信号を少なくとも１つの端末機 に入力するビデオ入力手段と、マルチメディア会議の間にデータ格納ファイルを アクセスするデータアクセス手段とを備える、 離間した位置にある複数の端末機を介して多点制御ユニット（ＭＣＵ）と交信 する複数の参加者を有するマルチメディア会議の間に交換される情報を記録して 索引をつける方法。 ８．前記端末機の少なくとも１つの追加分がビデオ入力手段をさらに備え、その 少なくとも１つの端末機のビデオ入力手段によってその少なくとも１つの端末機 からＭＣＵへ入力されるピデオ情報に、前記検出されたオーディオ信号が関連し 、前記１つの端末機以外でビデオ出力手段を有する前記少なくとも１つの追加端 末機へ、前記検出されたオーディオ信号が続く限り、ビデオ信号が前記検出オー ディオ信号と関連するビデオ信号を 送信する工程をさらに備えてなる請求項７記載の方法。 １０．記録された位置信号およびビデオ信号の記録された部分の少なくとも１つ と、記録されたデータファイルのアドレスおよび記録されたオーディオ信号とを 、参照クロック信号に対して、前記記録工程でその参照クロック信号の表示を記 録することによって同期させる工程をさらに備えてなる請求項８記載の方法。 １２．記録されたオーディオ信号、ビデオ信号の少なくとも一部、データ格納フ ァイルのアドレス信号および記録された位置信号に対して、後の検索のために、 タイムスタンプを施す工程をさらに備えてなる請求項１０記載の方法。 １３．ビデオ入力手段から入力されたビデオ信号をサンプリングする工程をさら に備え、前記記録工程かサンプリングされたビデオ信号を記録する工程をさらに 備えてなる請求項８記載の方法。 １４．記録された位置信号、オーディオ信号、アドレス信号およびサンプリング されたビデオ情報を、前記記録工程で参照クロック信号の表示を記録することに よって、多点制御ユニットにより受け取られる参照クロック信号と同期させる工 程をさらに備えてなる請求項１３記載の方法。 １５．記録されたオーディオ信号、位置信号、アドレス信号およびサンプリング されたビデオ情報に、後の検索のために、タイムスタンプを施す工程をさらに備 えてなる請求項１４記載の方法。 １６．前記記録工程が、内容に基づく方法で、ビデオ信号をサンプリングする工 程をさらに備えてなる請求項１３記載の方法。 １７．前記記録工程がビデオ信号を所定速度でサンプリングする工程をさらに備 えてなる請求項１３記載の方法。 １９．複数の参加者が前記１つの端末機に存在し、前記１つの端末機で前記複数 の参加者のうちいずれの参加者が話しているかを前記検出されたオーディオ信号 から識別する工程をさらに備え、前記記録工程がその話している参加者を識別す る信号を記録する工程をさらに備えてなる請求項８記載の方法。 ２０．音声専用端末機が、その音声専用端末機において追加の参加者を前記マル チメディア会議に参加させるために前記多点制御ユニットに接続され、追加の参 加者の格納された画像を識別し、追加の参加者の音声がＭＣＵによって検出され るときに追加の参加者の格納されたビデオ画像をオーディオおよびビデオ入力手 段を有する複数の端末機に表示する工程をさらに備えてなる請求項７記載の方法 。 ２１．ＭＣＵに接続される転写ユニットを備え、前記位置信号を利用してマルチ メディア会議の記録を作成し、記録された検出オーディオ信号と、アドレス信号 と、前記ビデオ信号の一部とを、そのオーディオ信号を発生させた端末機の位置 に相関させる工程をさらに備えてなる請求項７記載の方法。 ２２．離間した位置にある複数の端末機を介して通信する複数の参加者を有する マルチメディア会議の間に交換される情報を記録して索引をつける装置であって 、各端末機が音声入力手段 を有し、少なくとも１つの端末機かその少なくとも１つの端末機にビデオ信号を 入力するためのビデオ入力手段と、データ格納ファイルをアクセスするためのデ ータアクセス手段とを有し、 前記複数の端末機に接続され、複数の端末機の少なくとも１つのオーディオ入 力手段とビデオ入力手段からそれぞれオーディオ信号とビデオ信号を受取るため のマルチメディア・ブリッジと、 前記マルチメディア・ブリッジに接続され、少なくとも１つの端末機の位置を 表わす信号を生成する手段と、 前記マルチメディア・ブリッジに接続され、前記生成された位置信号と、少な くとも１つの端末機によってマルチメディア会議中にアクセスされるデータ格納 ファイルを識別するアドレス信号と、ビデオ信号の少なくとも一部と、検出され たオーディオ信号とを記録して、前記検出されたオーディオ信号と、アドレス信 号と、ビデオ信号の一部と、少なくとも１つの端末機を識別する位置信号とを、 互いに相関するための手段、 を備えてなる装置。 ２３．参照クロック信号の表示を、オーディオ信号と、アドレス信号と、ビデオ 信号の一部と、位置信号と共に記録することにより、記録された位置信号と、ア ドレス信号と、記録されたビデオ信号の一部分と、記録されたオーディオ信号と を、参照クロック信号に対して同期させる手段をさらに備えてなる請求項２２記 載の装置。 ２４．前記マルチメディア・ブリッジに接続され、複数の端末 機の１つに存在する複数の参加者間における識別を、前記１つの端末機において 発生するオーディオ信号を用いて行うための手段をさらに備えてなる請求項２２ 記載の装置。 ２５．前記信号生成手段に接続され、記録されたオーディオ信号を転写するため の転写手段をさらに備えてなる請求項２２記載の装置。 ２６．前記生成手段と、記録手段と、識別手段とがディジタルコンピュータから なる請求項２４記載の装置。 ２７．離間した位置にある複数の端末機を介して通信する複数の参加者を有する マルチメディア会議の間に交換される情報を記録して索引をつける装置であって 、前記各端末機が少なくとも１つの音声入力手段を有し、少なくとも１つの前記 各端末機がその少なくとも１つの端末機にビデオ信号を入力するためのビデオ入 力手段と、マルチメディア会議中にデータ格納ファイルをアクセスするためのデ ータアクセス手段とを有し、 前記複数の端末機に接続された多点制御ユニット（ＭＣＵ）を備え、前記ＭＣ Ｕは前記少なくとも１つの各端末機のオーディオ入力手段からＭＣＵへ入力され るオーディオ信号とビデオ信号を検出し、前記少なくとも１つの端末機の位置を 表わす信号を生成する手段を有し、さらに、 前記ＭＣＵに接続され、前記生成された位置信号と、マルチメディア会議中に 少なくとも１つの端末によってアクセスされるデータ格納ファイルを識別するア ドレス信号と、前記ビデオ信号の少なくとも一部と、オーディオ信号とを記録し 、前記 オーディオ信号と、前記アドレス信号と、前記ビデオ信号の一部と、前記位置信 号とを互いに相関する手段を備えてなる装置。 ２８．前記端末機の少なくとも１つの追加分がビデオ入力手段を有し、前記検出 されたオーディオ信号が、前記少なくとも１つの端末機のビデオ入力手段から前 記ＭＣＵへ入力されるビデオ情報に対応し、前記ＭＣＵが、検出されたオーディ オ信号を検出したときに前記オーディオ信号が検出されている限り、ビデオ信号 を少なくとも１つの追加の端末機に与える手段をさらに備えてなる請求項２７記 載の装置。 ３０．参照クロック信号の表示を、前記オーディオ信号と、前記位置信号と、前 記アドレスと、前記ビデオ信号の一部と共に記録することにより、記録された位 置信号と、記録されたアドレス信号と、前記ビデオ信号の記録された一部と、記 録されたオーディオ信号とを、参照クロック信号に対して同期させる手段をさら に備えてなる請求項２８記載の装置。 ３２．記録されたオーディオ信号と、位置信号と、ビデオ情報とに、後の検索の ために、タイムスタンプを施す手段をさらに備えてなる請求項３０記載の装置。 ３３．ビデオ入力手段から入力されるビデオ情報をサンプリングする手段をさら に備え、前記記録する手段がサンプリングされたビデオ情報を記録する請求項２ ８記載の装置。 ３６．前記サンプリング手段が内容に基づく方法でビデオ情報をサンプリングす る請求項３３記載の装置。 ３７．前記サンプリング手段がビデオ情報を所定速度でサンプ リングする請求項３３記載の装置。 ３８．前記ビデオ入力手段がビデオカメラからなる請求項２８記載の装置。 ３９．前記多点制御ユニットに接続され、複数の端末機の１つに存在する複数の 参加者間の識別を行う手段をさらに備えてなる請求項３５記載の装置。 ４０．前記ＭＣＵに接続され、音声専用端末機を前記ＭＣＵに接続して音声専用 端末機の使用者によるマルチメディア会議への参加を容易にする接続ラインをさ らに備えてなる請求項２８記載の装置。 ４１．前記ＭＣＵに接続され、マルチメディア会議中に前記ＭＣＵに入力された 検出オーディオ信号を転写する転写手段をさらに備えた請求項２８記載の装置。