JP2005100413A - オーディオ／ビデオ・ローカライゼーション機能を有するプリンタ - Google Patents

Abstract

【課題】 本発明は、マルチメディアデータの扱い及び適用性を向上させることが可能なシステム及び方法を提供する。
【解決手段】 本発明によるマルチメディア印刷装置は、マルチメディアデータを受信し、これを処理し、出力することが可能である。ある実施形態によると、マルチメディア印刷装置で処理されたマルチメディアデータはビデオペーパー、マルチメディア放送、デジタルアーカイブへのバーコード・ポインタなどを含む様々な形式で出力されうる。また、別の実施形態によると、マルチメディア印刷装置はマルチメディアデータを受信し、このデータに基づいてマルチメディアデータを生成する周辺機器に対してオーディオ／ビデオ・ローカライゼーションを実施する。また別の実施形態によると、マルチメディア印刷装置はマルチメディアデータを取り込んでこれを処理するよう指示するコマンドを実行する。例えばマルチメディア印刷装置はこのようなコマンドに応じて予め用意されたドキュメントにマルチメディア・オブジェクトを挿入することができる。
【選択図】 図１Ａ

Description

本発明は一般に印刷システムに関し、特にマルチメディアデータを受信、処理、且つ変換し、これを異なる形式で出力できる印刷システムに関する。

マルチメディア技術分野におけるコストの低下及び品質の向上に伴い、モニター装置及びその適用が広く普及しつつある。家庭や職場などで高品質のビデオカメラやマイクロホンなどが普及していて、これらの装置はテレビ会議、監視モニタ、ワークフロー管理など様々な用途に適用されうる。このようなモニタ装置によって捉えられたマルチメディアデータは典型的には未処理状態でデジタルテープ、ハードディスク、メモリカードなどの媒体に送出される。よってユーザはこのデータから有用な要素を抽出するためにこのデータに対するフィルタ処理として例えば不要なノイズを排除する処理などを実施しなければならない。すなわち活用できる記録を作成するためには多くの場合このデータに対し関連要素を分離するなどの更なる処理を施す必要がある。このようなデータのフィルタ作業は多くの場合厄介でありまたエラーが発生しやすく、ユーザは大量のデータを再生、早送り、巻き戻ししなければならない。例えば監視モニタの応用の場合、主に一定の出来事が起きるのを待機している状態となるため、このような出来事を検出するのに費やされる時間及び資源は相当な量となる。

利用可能な記録を作成するために実施されるマルチメディアデータに対する処理は典型的にはいくつかの異なるステップから構成され、これらステップはそれぞれ相当な労力が要される。

多くの場合ユーザは様々な段階において各種デバイスに対してマルチメディアデータを変換し転送しなければならない。例えばユーザはアナログテープのマルチメディアデータを未処理状態のデジタルファイルへ変換し、これをデータの抜粋を含む要約ファイルへ変換し、さらにはこれをメモリまたは出力装置へ転送するなどの作業を行う必要がある。マルチメディアファイルの処理は通常同じ作業の繰り返しとなる。この作業は例えばミーティングのマルチメディア記録を作成し、この記録からノイズをフィルタし、出席者やその他の識別情報を付加し、処理済のマルチメディア記録をミーティングの出席者に送信するなどに相当しうるが、このような作業を自動化する技術はない。また、このような記録データは典型的には紙などに印刷されないため、このようなデータを主に紙ベースのワークフローに基づいて機能するほとんどのオフィスにおいて導入することは困難である。なお、従来技術においてこのようなマルチメディアデータを紙への出力用にマッピングする技術などが存在する。例えば理解可能なマルチメディア記録を対話形式に書き写し、あるいはビデオ記録から画像やフレームを抽出してこのデータを印刷する技術などがあるが。このような変換ステップは自動化されていなくまた実施されることもまれである。

本発明は従来技術の問題点を克服することを目的とし、具体的にはマルチメディアデータを受信し、これを処理し、その処理結果を紙などの媒体に出力することが可能なシステム及び装置を提供することを目的とする。

本発明は、マルチメディアデータがマルチメディア処理装置において受信され、処理され、その処理結果が出力されるようなシステム及び装置を提案する。また、ある実施形態によると、本発明は周辺機器によって取得され、マルチメディア処理装置によって受信されたデータに基づいて同周辺機器（または別の周辺機器）への制御信号を生成する装置及び方法を提案する。また、別の実施形態によると、マルチメディア処理装置はマルチメディアデータを処理し且つマルチメディア事象の発生に対する応答動作を実施するコマンドを受信し、この事象を検出した場合はこのコマンドを実施する。

本発明は、マルチメディアデータを取得してからこのデータを好適な形式で出力するまでの間における同マルチメディアデータの管理を実現するためのシステム及び方法を提供する。本発明の実施形態においては、モニタリング機能、処理機能、及び出力機能を統括することでモニタリング、記録、などに関する様々な課題に対する総合的な解決手段が提供されうる。本発明が実現するマルチメディアデータの統括的な管理により例えば以下のような効果が得られる。すなわち、本発明の実施形態によりマルチメディアデータのモニタリング及び処理の効率が向上し、マルチメディアデータから有用な情報を抽出するのに要されるステップの数が削減され、マルチメディアデータが政策決定や分析により大きく反映されるなどの効果が得られる。

図１Ａは本発明の好適な一実施形態に従って構成されるシステム１０１を示す図である。このシステム１０１は周辺機器１５５を含むマルチメディアデータソース、マルチメディア処理装置１００、プロセッサ装置１６０、電子データ記憶装置又は媒体１８０、及び出力ドキュメント１７０から構成される。ここでマルチメディア処理装置１００はビデオカメラなどに相当しうる周辺機器１５５に結合されこの機器から信号線１３０を介してビデオストリームを受信する。このマルチメディア処理装置１００は同装置に供給されている事象プロフィールに基づき、受信したデータストリーム中の所定の事象を検出するように構成される。このマルチメディア処理装置１００はこのような事象を分離し、ビデオカメラによって取得されたデータストリームをいくつかの関連性の高い画像やイメージクリップに編成することができる。そしてマルチメディア処理装置１００はこの編成画像又はクリップを紙又は電子ドキュメントなどに出力する。このようにマルチメディア処理装置１００はユーザが重要性のある事象を検出するために多量のデータを捜査する作業を代行する好適で携帯可能な実施を実現する。

なお、本発明の説明において、「マルチメディアデータ」、「マルチメディアファイル」、「マルチメディア情報」又は「マルチメディアコンテンツ」とはビデオデータ、オーディオデータ、グラフィックデータ、アニメーションデータ、知覚データ、静止ビデオ、スライド情報、ホワイトボード画像情報、及び／又はその他各種データのうちの１つ又はこれらの組み合わせなどに相当しうる。このデータはアナログ形式で磁気テープなどに記憶されるか、あるいは様々な形式のデジタルファイルという形をとることも可能である。例えばこのファイルはＡＳＦ，Ｄｉｖｘ、３ＤＯ、ＭＭＸ（.mmx）、ＳＤＭＩ（.sdmi）、ＳＭＩＬ（.smil）、ＭＰ３（.mp3）、ＷＡＶ（.wav）、磁気テープ、デジタルオーディオテープ、各種ＭＰＥＧ形式（ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ７など）、ＨＴＭＬ＋ＴＩＭＥ、ＷＭＦ（Windows（登録商標）Media Format）、ＲＭ（Real
Media）、Ｑｕｉｃｋｔｉｍｅ、Ｓｈｏｃｋｗａｖｅ、各種ストリーミングメディア形式、エンジニア業界で開発されている各種形式や、各種専有及び共有形式などをとることができる。また、マルチメディアデータはその他の形式のファイルから構成されることも可能である。

また、本発明の説明において言及されるマルチメディアデータは様々な方法によってマルチメディア処理装置１００に供給されることが可能である。例えばこのマルチメディアデータはストリーミングコンテンツ、マルチメディア取得装置からの生データ、ディスクリート・ファイル、又はより大きなファイルの一部としてマルチメディア処理装置１００に供給されうる。また、本発明の説明において「印刷」という表現が何らかの媒体に印刷を行うという文脈で用いられる場合これは、印刷、書き込み、描出、押印、エンボス加工、デジタル形式でのデータ生成や、その他の方法によるデータ提示出力の生成を含むものとする。また「ドキュメント」及び「紙」という用語は本発明によるシステム１０１の出力を指し、これらは紙媒体などの物理的媒体に限られない。すなわち上記用語は実体のある媒体に配当されるあらゆる出力に相当しうる。本発明の一実施形態として、システム１０１の出力はマルチメディアデータが物理的な紙ドキュメントに印刷された形で提示されうる。このように紙ドキュメントを生成することにより、本発明の実施形態では携帯性に優れた読める形式でのマルチメディア情報を提供することができる。

以下において本発明の理解を容易にする目的で本発明の好適な実施例の特徴を詳細に説明する。しかし同業者には自明であるように本発明はこれらの実施例における詳細な特徴を適用せずに実現することも可能である。なお、本発明の明確な理解を可能にするために本発明に係る構造や装置はブロック図によって示される。

また、本発明の説明において用いられる「一実施形態」または「ある実施形態」などという表現は、当該実施形態に関連して示される特定の機能、構造又は特徴が本発明の範囲に含まれる少なくとも１つの実施形態において適用されるものであることを意味する。また、本発明の説明で「ある（一）実施形態によると」などといった表現が各所で用いられているが、これらは必ずしも同一の実施形態に言及しているとは限らない。

上述の図１Ａは本発明の一実施形態によるマルチメディア処理装置又はマルチメディアプリンタ１００の構成をブロック図によって示す。このマルチメディア処理装置１００は好適にはマルチメディア・インタフェース１０２、メモリ１０４、プロセッサ１０６、及び出力系１０８から構成される。

ある実施形態によると、図示されるように周辺機器１５５からのマルチメディアデータ１５０がマルチメディア処理装置１００に結合される信号線１３０ａを介してこのマルチメディア処理装置１００のマルチメディア・インタフェース１０２に供給される。なお、ここでの「信号線」とは、あらゆる通信装置、ルータ、またはプロトコルなどによって支持される接続及び接続の組み合わせを含み、例えばデジタル、アナログ、衛星、無線、ファイアワイヤ（ＩＥＥＥ１３９４）、８０２．１１、ＲＦ、ローカル及び／又はワイドエリアのネットワーク、イーサーネット、９ピンコネクタ、パラレルポート、ＵＳＢ，シリアル又は小型コンピュータシステムインタフェース（ＳＣＳＩ）、ＴＣＰ／ＩＰ、ＨＴＴＰ、Ｅメール、ウェブサーバーなどによって支持される接続を含む。ある実施形態によると信号線は２方向通信を容易にすることができる。また別の実施形態によるとこの信号線は１方向通信のみを支持する。例えば信号線１３０ａは取得されたデータを周辺機器１５５からマルチメディア処理装置１００へ転送可能にすると共に、周辺機器１５５の方向性を変えるためのコマンド信号をマルチメディア処理装置１００から周辺機器１５５に送信可能にする。なお、マルチメディアデータ１５０はマイクロホン、ビデオカメラ、センサー、及びその他のマルチメディア取得／再生装置など様々な周辺機器からのデータの相当しうる。また、このマルチメディアデータ１５０はテープ、ディスク、フラッシュメモリ、スマートドライブ、ＣＤ−ＲＯＭ、ＤＶＤやその他の磁気／光学／一時的コンピュータ又は半導体メモリなどからのデータであってもよい。ある実施形態によると、データ１５０はマルチメディア処理装置１００によって記憶媒体から各種カード、ディスク、又はテープ読取器などを介してアクセスされうる。なおこれらのアクセス手段は同マルチメディア処理装置１００に搭載されていてもされていなくてもよい。

ある実施形態によると、マルチメディアデータ１５０はマルチメディアデータソース又は周辺機器１５５から信号線１３０ａを介して受信される。また、このデータは例えばマルチメディアファイルのデータベースのホストサーバーなどからネットワーク上の信号線１３０ａを介してマルチメディア・インタフェース１０２に送信されうる。また、マルチメディアデータは受信器（パラボラアンテナやケーブル受信器など）からのデータであってよく、この場合受信器は外部ソース（非図示）からのマルチメディアデータを受信あるいは取得してこのデータを信号線１３０ａ経由でマルチメディア・インタフェース１０２に供給する。

このようにしてマルチメディアデータ１５０は信号線１３０ａからデータを受信するように構成されるマルチメディア・インタフェース１０２に供給される。このマルチメディア・インタフェース１２０はパラレル、ＵＳＢ、シリアル、ＳＣＳＩ、ブルートゥース（登録商標）／ＩＲ受信器などの典型的な通信ポートを具備し、また、ディスクドライブ、アナログテープ読取器、スキャナ、ファイアワイヤ、ＩＥＥＥ１３９４、インターネット、またはその他のデータインタフェースやデータ通信インタフェースを具備しうる。

データを受信したマルチメディア・インタフェース１０２はこのマルチメディアデータ１５０またはこれを処理したものをシステムバス１１０に供給する。システムバス１１０はＩＳＡ（Industry Standard Architecture）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＵＳＢ（Universal Serial Bus）、またはその他上記同様の機能を実現しうる既知のバスのうちの１つまたは複数を表す。ある実施形態によると、マルチメデォアデータ１５０がアナログ形式で受信された場合、このデータはまず一般的なアナログ／デジタル変換器によってデジタル形式の処理可能データに変換される。同様にマルチメディアデータ１５０がビデオペーパーなどの紙の入力である場合、マルチメディア・インタフェース１０２はこの紙ドキュメントに記録されるマルチメディアデータにアクセスするために例えばバーコード読取機能及び／又は光学式文字読取（ＯＣＲ）機能などを備えることがありうる。こうしてマルチメディアデータ１５０はデジタル形式でマルチメディア処理装置１００のシステムバス１１０に送信される。

なお、図１Ａの例ではマルチメディアデータ１５０は信号線１３０ａを介してマルチメディア処理装置１００に送信される。しかし他の実施形態によってはこのマルチメディアデータ１５０はマルチメディア処理装置１００内で生成され、この生成データがシステムバス１１０によってプロセッサ１０６に送信されることも可能である。例えばマルチメディアデータ１５０はマルチメディア処理装置１００において映像作成ソフトや、ビデオエディタや、その他同様のマルチメディアツール（非図示）などによって作成されうる。このようにしてマルチメディア処理装置１００でデータが作成されると、これに応じてマルチメディアファイルが例えばシステムバス１１０を介してプロセッサ１０６やメモリ１０４などに送信されうる。また別の実施形態によると、マルチメディア処理装置１００は周辺機器１５５としてのデジタルマルチメディアリコーダを有し、これによりマルチメディア処理装置１００外部で発生する音や画像が記録されうる。このようにして取得されたデジタル信号からなるマルチメディア記録はこのマルチメディア処理装置１００によって更に処理されうる。

また、マルチメディアデータ１５０の処理／出力などを要求するコマンド１９０がマルチメディア処理装置１００と結合する信号線１３０ｂを介してマルチメディア処理装置１００に送信されることも可能である。ある実施形態によると、コマンド１９０はユーザの希望する変換、処理、及び出力形態などを反映する。このようなコマンドは例えばマルチメディアデータ１５０をアナログからデジタル形式に変換する指示や、デジタル形式からアナログ形式へ変換する指示、あるデジタル形式から別のデジタル形式へ変換する指示などであってよい。また別の例として、コマンド１９０は、プロセッサ１０６に一連の変換動作を実施するように指示し、あるいは生または処理されたマルチメディアデータ１５０をインデックス形式に編成するように指示することも可能である。また、ある実施形態によると、コマンド１９０は処理されたマルチメディアデータ１５０がどこに出力されるべきかを指定しうる。例えばコマンド１９０はマルチメディアデータ１５０を紙ドキュメント１７０、電子データ１８０、携帯記憶媒体などを出力として指定することができる。具体的な例として、デジタル信号という形で信号線１３０ｂを介してバス１１０へ送信されるある特定のコマンドの集合は、ＭＰＥＧ形式のマルチメディアデータ１５０をより小さな形式に圧縮し、これをバーコード化し、その結果をさらにＣＤに焼くよう指示することが可能である。

また、ある実施形態によると、プロセッサ１０６へのコマンド１９０は処理されたマルチメディアデータ１５０を紙ドキュメント１７０に出力するように指示する。この場合これらのコマンド１９０は好ましくはドキュメント上のページレイアウトをプロセッサ１０６によって認知可能である形式のデジタル信号という形で記述していて、この信号が信号線１３０ｂを介してプロセッサ１０６に送信さる。このコマンド１９０の記述形式としては、例えばＰＤＬ（ページ記述言語：Page Description Language）、ＰＣＬ（プリンタコマンド言語Printer Command Language）、ＧＤＩ（グラフィックス装置インタフェース：Graphical Device Interface）形式、アボード社のポストスクリプト言語、ベクトルベース又はビットマップベース言語などが適用されうる。なお、ＰＤＬ及びその他の形式に基づくマルチメディア処理装置１００との通信を容易にするために、例えばここにおいて本願に参照により挿入される以下の米国特許出願で開示される通信プロトコルが、適用されうる。

“Printer With Embedded Retrieval and Publishing Interface”と題されるHull et. alによる米国特許出願１０／８１４，５３６号（２００４年３月３０日出願）は、マルチメディア情報又はマルチメディアコンテンツへのポインタを含有するデータを受信し、受信したドキュメントデータに応じて各種動作を実行するプリンタにおいて適用されるシステム及び方法を開示する。ある実施形態によると、プリンタはマルチメディアコンテンツへのポインタなどのマルチメディア情報を受信し、これに応じてマルチメディアコンテンツを取得し、このマルチメディアコンテンツを表示するドキュメントを印刷する。またある実施形態によると、プリンタは更に取得されたマルチメディアコンテンツをデータベース又はローカルストレージに記憶する。また、ある実施形態によると、プリンタは示装置からアクセス可能な（例えばネットワークを介して、あるいはローカルストレージから）マルチメディアコンテンツを収集し、この収集されたマルチメディアコンテンツの要約ドキュメントを印刷する。プリンタの動作は好ましくはこのプリンタによって受信されたドキュメントのコンテンツに基づいて実行される。このコンテンツとして例えば、印刷可能データ又は印刷不能データなどを含むことができる。ある実施形態によると、このドキュメントは印刷用に送信される前にデータ処理システムによって分析され、これにより同ドキュメントに付加的なデータが追加されるかあるいは結合される。さらに、ある実施形態によると、著者やその他のユーザがデータベースの名前や、特別印刷コマンド、ウェブページへのポインタなどの付加的な情報を提供する。また別の実施形態によると、データ処理システムにおけるプラグインソフトがドキュメントを分析し、このコンテンツについての付加的な情報を提供する。また別の実施形態によると、データ処理システムにおけるプリンタドライブソフトがドキュメントを分析し、同ドキュメントもコンテンツについての付加的な情報を提供する。更に別の実施形態によると、プリンタがドキュメントを受信した後これを分析する。また、ある実施形態によると、プリンタは受信したドキュメントに応じてマルチメディアデータを取得し、この受信したドキュメントに応じてドキュメントを印刷する。また、ある実施形態によると、取得されたマルチメディアデータは局所的に記憶されるか、あるいはウェブサイトなどに記憶される。これによって例えばＭＰ３オーディオファイルまたはビデオファイルを指すＵＲＬなどが「印刷」されることとなる。また、データをダウンロードするのに時間がかかる場合などは、この作業が背景で実施されることがユーザにとっては望ましい。その後ユーザはこのプリンタをサーバーとするウェブページにおけるオーディオファイル及びビデオファイルのリストを見ることができ、また選択したファイルをオンデマンドで再生することができるようになる。さらにユーザはこのウェブページからこれらのファイルのビデオペーパーを作成することができる。これによって紙のドキュメントが生成されることになりうるが、また別例ではこのビデオペーパーの電子表示（例えばＰＤＦなど）が生成されうる。また、バーコードがプリンタによって取得された後のマルチメディアの場所を示すようにすることも可能である。

“Printer With Document-Triggered Processing”と題されるHull et. alによる米国特許出願１０／８１４，５８０号（２００４年３月３０日出願）は、ドキュメントを印刷する動作と共に、あるいはこの代わりに印刷ドキュメントの特性を検出し、これに応じた動作をトリガーすることが可能なプリンタにおいて適用されるシステム及び方法を開示する。例えばこのようなプリンタはドキュメントのフィールドや値を電子形式で抽出し、この情報をデータベースに記憶することができる。このシステムは更にこのプリンタによって実施された動作を何らかの形で反映する紙ドキュメントの作成を可能にする。プリンタの動作は好ましくはこのプリンタが受信するドキュメントのコンテンツに基づく。このコンテンツは印刷可能データ及び印刷不能データを含むことが可能である。ある実施形態によると、ドキュメントは印刷用に送信される前にデータ処理システムによって分析され、これによりこのドキュメントに付加的な情報が追加あるいは結合される。さらに、ある実施形態によると、著者やその他のユーザがデータベースの名前などの付加的な情報を提供する。また別の実施形態によると、データ処理システムにおけるソフトがドキュメントを分析し、特定データフィールドのコンテンツなどこのドキュメントコンテンツについての付加的な情報を提供する。更に別の実施形態によると、ドキュメントはプリンタによって受信された後分析される。これらの実施形態においてプリンタは（印刷という動作に加えて、あるいはこれの代わりに）ドキュメントのコンテンツに応じて動作を実施する。また、ある実施形態によると、プリンタがドキュメントのコンテンツに応じた動作を実施する前の段階においてプリンタ及び／又はプリンタ側に係属する構成要素がユーザ又はドキュメントソースと交信しうる。

さらにマルチメデォアデータ１５０を紙に印刷する場合コマンド１９０は、紙ソース、ページフォーマット、フォント、余白、ページレイアウトオプションなどを指定することができる。また、コマンド１９０は様々なソースから発されることが可能であるが、その一例としてコマンド１９０は信号線１３０ｃを介してマルチメディア処理装置１００と結合する処理装置１６０におけるプリントダイアログをソースとすることも可能である。このプリントダイアログは例えばユーザがマルチメディア処理装置１００にマルチメディアデータ１５０を送信しようとするたびに発生するようにプログラムされうる。

またグラフィック・ユーザインタフェースに提示される選択オプションに対する応答という形をとるコマンド１９０が信号線１３０ｂ、１３０ｃ、または１３０ｄを介してプロセッサ１０６へ送信されることも可能である。なお、このグラフィック・ユーザインタフェースとしては例えばここにおいて本願に参照により挿入される以下の米国特許出願で開示されるインタフェースを適用することが可能である。

“Printer User Interface”と題されるHart et. alによる米国特許出願１０／８１４，７００号（２００４年３月３０日出願）は、時間ベースメディアを印刷することができ且つユーザインタフェースを介して操作される複合プリンタを開示する。このユーザインタフェースは、コマンド入力を受信し且つユーザに情報を提供するためのタッチスクリーンを有する。プリンタは時間ベースのメディアデータをこのユーザインタフェースを介して指定されたメディアソースから受信する。ユーザはこのプリンタがこのデータに対して適用すべき１又は複数のマルチメディア処理機能を指定できる。これに応じてプリンタは指定された昨日を実施し、この出力のプレビューをユーザインタフェースのディスプレイを介してユーザに示す。ユーザがこのプレビュー出力を印刷することを決定した場合、ユーザは１又は複数の出力装置を指定し、このプリンタが一般的な印刷出力及び／又は特定の電子出力を提供できるようにする。

また、“User Interface for Networked Printer”と題されるHart et. alによる米国特許出願１０／８１４，５００号（２００４年３月３０日出願）も、時間ベースメディアを印刷することができ且つユーザインタフェースを介して操作される複合プリンタを開示する。このユーザインタフェースは、コマンド入力を受信し且つユーザに情報を提供するためのタッチスクリーンを有する。プリンタは時間ベースのメディアデータをこのユーザインタフェースを介して指定されたメディアソースから受信する。ユーザはこのプリンタがこのデータに対して適用すべき１又は複数のマルチメディア処理機能を指定できる。これに応じてプリンタは指定された昨日を実施し、この出力のプレビューをユーザインタフェースのディスプレイを介してユーザに示す。ユーザがこのプレビュー出力を印刷することを決定した場合、ユーザは１又は複数の出力装置を指定し、このプリンタが一般的な印刷出力及び／又は特定の電子出力を提供できるようにする。

また、上述のような選択オプション及びこれに対する応答はハードウェアディスプレイによって提示されうる。例えばこれらオプション及び応答は、信号線１３０ａによってマルチメディア処理装置１００に結合されているか、あるいはマルチメディア処理装置１００の一部として導入されている周辺機器１５５に具備されるタッチスクリーン又はキーパッドなどによって提示されることが可能である。そしてこれらのコマンドは周辺機器１５５と接続する信号線１３０ｂを介してマルチメディア処理装置１００に送信されるか、あるいは直接マルチメディア処理装置１００に供給されうる。

また別の実施形態によると、ある装置に具備される一般的なソフトを調整し、ユーザの処理及び出力オプションの選択を促し、この選択オプションをマルチメディア処理装置１００のプロセッサ１０６に送信するようにすることも可能である。このようなソフトは、例えばウィンドウズ（登録商標）・メディアプレーヤなどのマルチメディア提供アプリケーションに「印刷」オプションを追加することを可能にするドライバや、特製プログラム、ソフトウェア・プラグインなどによって変更されうる。また、ここにおいて本願に参照により挿入される“Multimedia Print Driver Dialog Interfaces”と題されるHull et. alによる米国特許出願１０／８１４，９４４号（２００４年３月３０日出願）においてマルチメディアデータを制御・管理するために適用される様々なインタフェースの実施形態が開示される。

具体的には上記米国特許出願は、ユーザがマルチメディア変換プロセスと対話し、マルチメディアデータをフォーマットしてマルチメディアデータの表示を作成することを可能にするメディア印刷インタフェース、並びにこれを適用するシステム及び方法を開示する。このユーザインタフェースによりユーザはメディアコンテンツ分析及びメディア表示の作成に干渉することができる。ある実施形態によると、メディア分析ソフトウェアモジュールはユーザからユーザインタフェースを介してメディアコンテンツの分析を指示するコマンドを受信すると、これに応じてメディアコンテンツの様々な特徴（例えば顔、発話、テキスト、など）を分析・検出する。メディア表示は紙ベースの形式、デジタル形式、あるいはその他あらゆる表示形式で作成されうる。ユーザインタフェースは複数のフィールドを有し、これを通してユーザはメディアコンテンツをみて作成されるメディア表示の変更を行うことができる。ある実施形態による方法は、メディアデータ分析及びメディア表示作成を制御するためにユーザインタフェースと対話し、メディアデータの特徴を分析する工程を含む。またある実施形態による方法はメディア表示パラメータに関するコマンドを受信・送信することによりメディアデータ分析プロセス及びメディア表示作成プロセスを起動する工程を含む。更にこれらの方法はメディア表示を生成する工程を含みうる。

なお、上述のように図１Ａおけるマルチメディア処理装置１００のプロセッサ１０６は信号線１３０ｂを介して各種処理コマンド１９０を受信するように構成されるが、これとはまた別の実施形態によると、処理コマンド１９０はマルチメディア処理装置１００に直接入力されるかあるいはここで生成されることも可能である。また別の実施形態によると、マルチメディア処理装置１００はマルチメディアデータ１５０を処理するコマンドを受信することなく、その代わりに例えば特定のデータ１５０を受信した際、これに応じて自動的に実行すべき処理ステップを規定する論理を含む。例えばマルチメディア処理装置１００はＭＰ３又はＷＡＶファイルを受信するたびにこれをマルチメディアに変換し、この結果得られたマルチメディアファイルを信号線１３０ｄよりアクセス可能なネットワーク上にあるサーバーに記憶するようにプログラミングされることが可能である。

また、図１Ａに示されるように、マルチメディア処理装置１００は信号線１３０ａ、１３０ｂからマルチメディアデータ１５０及びコマンド１９０を受信し、処理されたマルチメディアデータ１５０を、信号線１３０ｃを介して紙ドキュメント１７０として出力するか、あるいは信号線１３０ｄを介して電子データ１８０として出力する。なお、マルチメディア処理装置１００はマルチメディアデータ１５０への適用のためにカスタマイズされることが可能であって、図２に示すような各種モジュール２００〜２１６や、マルチメディアデータ１５０を生成するための各種周辺機器（例えばここでは図示されないが、電子キーボード、ビデオレコーダなど）を備えることが可能である。なお、ここにおける「モジュール」という用語はハードウェア、ファームウェア、及び／又はソフトウェアに具備されうる特定機能を提供するためのプログラム論理を指すことができる。ある実施形態によると、マルチメディア処理装置１００は紙出力を生成する機能を有する印刷装置であって、場合によっては電子出力を生成する機能をも有しうる（これは有さなくてもよい）印刷装置を構成する。ここにおいて「印刷装置」又は「プリンタ」とはマルチメディアデータ１５０を受信し、紙ドキュメントを印刷する機能を備え、随意にファックス機能、コピー機能、及び／又はその他物理的ドキュメントを生成するための機能を備えることができる装置を指す。なお、この印刷装置は一般的なレーザ、インクジェット、携帯用、バブルジェット（登録商標）、手持ち式、又はその他のプリンタや、複合プリンタ・コピー機、デジタル送信機、プリンタ・スキャナ、特殊写真用又は携帯用プリンタ、その他紙ドキュメントを印刷可能な装置などに相当しうる。また、印刷装置は、ここにおいて本願に参照により挿入される“Printer with Multimedia Server”と題される米国特許出願１０／８１４，８４２号（２００４年３月３０日出願）及び“NEP Apparatus”と題される米国特許出願（２００４年３月３０日出願）に開示される特殊印刷装置を構成することも可能である。また、ある実施形態によると、印刷装置はマルチメディアデータを受信し、及び／又は電子データを出力するように適応された一般のプリンタであってもよい。

なお、上記米国特許出願１０／８１４，８４２号は、埋め込みマルチメディアサーバーを有するプリンタを開示する。このプリンタは主に印刷制御を実現するためのプロセッサ及びマルチメディアサーバーと各種形式のメディア用のハードウェア及び／又はソフトウェアインタフェースとの交信を実現するための別のプロセッサを有する。このようなインタフェースの例としてはネットワークインタフェースや、ＶＧＡポート、トランスコーディング・ハードウェア、無線インタフェース、（ＵＳＢ）ポートなどがある。処理されるメディアの例としては、ビデオ、オーディオ、及びテキストなどがある。マルチメディアサーバーは特に時間ベースのデータなどのマルチメディアコンテンツの処理を実施する。この例としては、編集、フォーマット、コンテンツ取得のスケジューリング、検索、認識、及び事象検出などが挙げられる。また、プリンタはマルチメディア・ストレージ・データベースを提供することも可能である。プリンタはその胴体にウェブブラウザを有するユーザインタフェースを具備することができる。よってユーザはプリンタと直接交信して、マルチメディアコンテンツ処理に関する要求や所望の出力媒体への印刷に関する選択を示すことができる。

マルチメディア処理装置１００は好ましくはデータを複数種類の形式で出力することができる出力系１０８を有する。例えば出力系１０８は好ましくは一般のプリンタ及びＣＤやＤＶＤへ書き込みができるディスクドライブからなる。また、出力系１０８はラスタ画像プロセッサや、その他マルチメディアデータ１５０を紙ドキュメント１７０上に出力するためデバイスやモジュールから構成されることも可能である。また別の実施形態によると、出力系１０８はプリンタ及び不揮発性メモリにデータを記憶するための１又は複数のインタフェースから構成されうる。この不揮発性メモリとしては、ＲＯＭ、ＰＲＯＭ（Programmable Read-Only Memory）ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ、ＲＡＭ（Random Access Memory）などが挙げられる。また、出力系１０８は、携帯電話メモリカード、ＰＤＡメモリカード、フラッシュメディア、メモリスティック、またはその他の携帯用媒体に電子データ１８０を記憶するためのインタフェースを有することも可能である。この出力された電子データ１８０はその後特定のターゲットデバイスからアクセスされうる。ある実施形態によると、出力系１０８は信号線１３０ｄを用いて処理されたマルチメディアデータ１５０をこのデータを添付したＥメールという形でネットワークインタフェース（非図示）を介して所定のアドレスへ出力することも可能である。また別の実施形態によると、処理されたマルチメディアデータ１５０は信号線１３０ｄを介してこのデータをレンダリングあるいは放送するＣＤプレーヤやメディアプレーヤなどのレンダリング／再生装置（非図示）に送信されうる。また別の実施形態によると、信号線１３０ｄはイーサーネット・コネクションなどのサーバーへの接続を構成し、ここに処理されたコンテンツを記憶するためのアーカイブを設けるような構成にすることが可能である。またこの他の出力形式を適用することももちろん可能である。

マルチメディア処理装置１００は更にプロセッサ１０６及びメモリ１０４を有する。プロセッサ１０６はバス１１０を介して送信されてくるマルチメディアデータ１５０信号の処理に関連するタスクを実行するための論理を備える。このプロセッサ１０６は例えばＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャ、ＣＩＳＣ（Complex Instruction Set Computer）アーキテクチャや、インストラクションセットの組み合わせを実現するアーキテクチャなど様々な演算アーキテクチャを具備しうる。ある実施形態によると、プロセッサ１０６は、例えばＩＮＴＥＬｘ８６、ＳＵＮ
ＭＩＣＲＯＳＹＳＴＥＭＳ ＳＰＡＲＣ、ＰＯＷＥＲＰＣ適応ＣＰＵなどパソコンに搭載される汎用のプロセッサに相当しうる。なお、図１Ａにおいてはプロセッサ１０６が１つ示されるが、複数のプロセッサを設けることも可能である。

マルチメディア処理装置１００のメモリ１０４はいくつかの機能を具備しうる。まずこのメモリ１０４はプロセッサ１０６によって実行されうるインストラクションやこれに関するデータ（ソフトやその他の要素を含む）を記憶することができる。このインストラクション及び／又はデータはここで示される機能の一部あるいはすべてを実行するためのコードを構成することが可能である。メモリ１０４は例えばＤＲＡＭ（Dynamic Random Access Memory）装置、ＳＲＡＭ（Static Random Access Memory）装置、又はその他既知の記憶装置に相当しうる。メモリ１０４は更にプロセッサ１０６で処理されたマルチメディアデータ１５０を記憶するためのデータ・アーカイブ（非図示）を含むことが可能である。また、マルチメディアデータ１５０が最初に信号線１３０ａを介してマルチメディア処理装置１００に送信されてきた際このデータ１５０は処理される前に一時的にメモリ１０４に記憶されることが可能である。また、メモリ１０４に記憶される他のモジュール２００〜２１６は、例えばマルチメディアデータを処理し、インデックス化し、記憶するなどの各種機能を支持しうる。以下において本発明による実施形態に係るモジュールの例を図２を参照しながら詳細に説明する。

なお、図１Ａの例では電子データ出力１８０が信号線１３０ｄを介してマルチメディアデータ処理装置１００の外部に送信されるように示されているが、また別の実施形態においてはこの電子データ出力１８０はマルチメディア処理装置１００内にとどまることも可能である。例えば処理されたメディアデータ１５０は、外部媒体に出力される代わりに、メディア処理装置１００のメモリ１０４内に記憶されるリポジトリ（非図示）に記憶されうる。また、マルチメディア処理装置１００はスピーカ（非図示）やその他の放送装置を含むことも可能である。この場合マルチメディアデータ１５０はマルチメディアカードやその他のマルチメディア処理論理によって処理され、バス１１０を介してスピーカなどの遠隔放送装置に出力されうる。なお、本発明の出力系１０８は実施形態によっては紙ドキュメント出力１７０及び電子データ出力１８０の両機能を有さない場合がある。すなわち一部の実施形態では、これらの出力形式のいずれか１つのみを適用する。

図１Ａのマルチメディア処理装置１００は処理装置１６０と通信できるように構成される。ある実施形態によると、マルチメディア処理装置１００はマルチメディアデータ１５０を処理するのに要される負担をこの処理装置１６０と分担するかあるいはこの装置に負担をシフトすることが可能である。処理装置１６０は例えばバスに結合されるプロセッサ（非図示）を１以上有するパソコンなどに相当しうる。このバスにはメモリ、記憶装置、キーボード、グラフィックスアダプタ、ポインタ装置、及びネットワークアダプタなどが結合されうる。またグラフィックスアダプタにはディスプレイが結合されうる。なお、処理装置１６０のプロセッサは例えばＩＮＴＥＬｘ８６、ＳＵＮ
ＭＩＣＲＯＳＹＳＴＥＭＳ ＳＰＡＲＣ、ＰＯＷＥＲＰＣ適応ＣＰＵなどに相当しうる。なお、処理装置１６０はこれらの要素すべてを含む必要はないが、少なくともプロセッサ及びマルチメディア処理装置１００と通信を行うためのインタフェースを含む。ある実施形態によると、処理装置１６０はマルチメディア処理装置１００から信号線１３０ｃを介して未処理のマルチメディアデータ１５０を受信する。これに応じて処理装置１６０はこのマルチメディアデータ１５０を処理し、処理されたマルチメディアデータ１５０を信号線１３０ｃ経由でマルチメディア処理装置１００に戻す。続いてこのマルチメディア処理装置１００の出力系１０８がこの処理されたマルチメディアデータ１５０を紙ドキュメント１７０または電子データ１８０として出力する。また別の実施形態によると、マルチメディア処理装置１００と処理装置１６０は処理負担を共有するか、あるいは対話式に相補的な処理動作を実行し、データやインストラクションを相互に信号線１３０ｃを介して送信しあう。

図１Ｂはオーディオ／ビデオ・ローカライゼーションを実現するマルチメディアプリンタの好適な実施形態を示す。この図では印刷装置７０、１対のマイクロホン１０、ビデオカメラ２０、ＰＣ１６５、及び出力例としての紙ドキュメント１７０が示される。図示されるようにマイクロホン１０及びビデオカメラ２０はデータを直接印刷装置７０に供給する。マイクロホン１０によって取得されたデータはバス線１１０を経由してオーディオ用アナログ・デジタル変換器３０に供給される。同様にビデオカメラ２０からのビデオデータは、データストリームからキーフレームを分離する機能を有するビデオフレームグラバー４０に供給される。図示されるように周辺機器１０，２０と印刷装置７０とは相互間で２方向通信を行えるように接続され、例えば印刷装置７０のプロセッサ１０６がローカライゼーション処理を実行した後にマイクロホン１０を傾けるあるいは調整するためのコマンドや、ビデオカメラ２０を傾ける、パンする、ズームする、あるいは調整するためのコマンドなどを周辺機器１０及び／又２０に送信できるようにする。このようなコマンドを受信し実行することにより、周辺機器１０，２０はより高品質のデータを取得することができる。また、マルチメディアデータ及び処理サポートはＰＣ１６５をソースとし、ここから提供されることも可能である。

図２は本発明の一実施形態による図１Ａのマルチメディア処理装置１００のメモリ１０４の構成を示すブロック図である。メモリ１０４はバス１１０によってプロセッサ１０６やマルチメディア処理装置１００における他の構成要素に結合されていて、同マルチメディア処理装置１００が実現する処理機能の一部又は全部を実施するためのインストラクション及び／又はデータを格納しうる。ある実施形態によると、図２のメモリ１０４は図１Ａの処理装置１６０またはその他の装置をホストとすることができる。この場合マルチメディア処理装置１００のプロセッサ１０６は処理装置１６０に配属するメモリ１０４と信号線１３０ｃを用いてこの処理装置１００，１６０間の通信を容易に実現するためのインタフェースを介して通信する。なお、本発明の実施形態によっては図２に示されるメモリ１０４のモジュール２００〜２１６のうちの１つ又は複数がマルチメディア処理装置１００のメモリに具備されてなく、また処理装置１６０のほうに記憶されている場合などもあるいる。また、これ以外のモジュールを適用することも可能である。

図２のメモリ１０４は、バス１１０によってマルチメディア処理装置１００のプロセッサ１０６及びその他の構成要素に結合されるメインシステムモジュール２００、各種処理モジュール２０４〜２１６及び処理ストレージ２０２から構成される。この処理ストレージ２０２は処理の各段階におけるオーディオ／ビデオデータ及びその他この処理に関するデータを記憶するよう構成される。図２において、処理ストレージ２０２はメモリ１０４の一部を構成し、オーディオ／ビデオデータの処理に関連するデータを記憶するために設けられる。しかし同業者には自明であるように、処理ストレージ２０２は他にもデータベース、サブルーティンや、その他の機能を備えることが可能であり、またこれらの機能はそれぞれマルチメディア処理装置１００又は処理装置１６０の一部を構成しうる。メインシステムモジュール２００は、処理ストレージ２０２と、マルチメディア処理装置１００における他の構成要素と、モジュール２０４〜２１６との間の中央インタフェースとしての機能を果たす。本発明の各種実施形態においてこのメインシステムモジュール２００はプロセッサ１０６やその他の構成要素からシステムバス１１０を介してオーディオ／ビデオデータの処理に関する入力を受信する。メインシステムモジュール２００はこの入力を解釈し、モジュール２０４〜２１６のうち適正なモジュールを起動させる。またこのシステムモジュール２００はこの入力に関連するデータをメモリ１０４の処理ストレージ２０２から取り出し、適正なモジュール２０４〜２１６に転送する。これに対しそれぞれのモジュール２０４〜２１６はプロセッサ（典型的にはプロセッサ１０６）を用いてこのデータを処理し、その結果をシステムモジュール２００に返信する。続いてこの結果が出力系１０８に転送され、紙ドキュメント１７０又は電子データ１８０として出力されうる。

ある実施形態によると、システムモジュール２００は、所望の結果を得るためにはどの一連ステップをどの順序で実施すべきかを把握するための論理を含む。例えばシステムモジュール２００はシステムバス１１０から所定の事象が起きた場合に実行すべき所定の一連動作を規定するインストラクションのセットを受信しうる。したがってシステムモジュール２００はこれらのインストラクションを解析し、この事象を検出できるようにマルチメディアデータをモニタしなければならないことを把握する。更にこの事象が実際に起きた場合は、各種事象トリガーやこれらに対応する動作を格納する事象テーブルをアクセスできるようにしなければならないことを把握する。システムモジュール２００はこの事象テーブルから取り出される情報に基づいて所望の動作を開始させることができる。なお、システムモジュール２００は以下に説明する各種モジュールに対してこの所望の処理に要される動作及びその他のステップの実施を指示するコマンドを送信することによってこれら所望の動作やステップを実現することができる。

フィルタリング／処理モジュール２１４はバス１１０を介してシステムモジュール２００と処理ストレージ２０２とに結合する。このフィルタリング／処理モジュール２１４に関連する入力を受信した場合システムモジュール２００は、このフィルタリング／処理モジュール２１４に対してマルチメディア処理装置１００によって受信されたマルチメディアデータ１５０をフィルタあるいは処理し、その結果を処理ストレージ２０２に記憶するような指示信号を送信する。ある実施形態によると、フィルタリング／処理モジュール２１４は、オーディオデータのルーチン背景ノイズをフィルタ氏、データを平滑化し、オーディオ信号を拡張し、処理されたオーディオデータを処理ストレージ２０２に戻す工程を含むオーディオ処理技術を適用する。また別の実施形態によると、フィルタリング／処理モジュール２１４は予め定義された事象についての情報を格納する参照テーブルを適用して、オーディオ事象の要約において除外されるべき事象（例えば所定周波数での電話の呼び出し音など）を把握しうる。また、更なる実施形態によると、フィルタリング／処理モジュール２１４はマルチメディア処理装置１００によって受信されたビデオコンテンツを上記と同様の方法でフィルタ処理し、平滑化し、変更しうる。例えばフィルタリング／処理モジュール２１４は生データがよりコンパクトな形式で記憶されるように自動的にこのデータのコントラストやトラッキングを調整し、画像の解像度を低くすることができる。また別の実施形態によると、フィルタリング／処理モジュール２１４は背景のノイズから発話を区別することを可能にする音声（言語）認知技術を適用しうる。また別の実施形態によると、マルチメディアデータ１５０に対してアクティビティのない期間中のデータが削除されるようなフィルタ処理が施され、したがって処理されたファイルはアクティビティのある期間のデータのみを含むこととなる。なお、このアクティビティとはデシベルレベル、波形、シーン変化や、その他の所定パラメータによって定義されうる。また別の実施形態によると、フィルタリング／処理モジュール２１４は一般のフレームグラバー技術を適用してビデオデータから所定のフレームを捕らえることができ、またマルチメディアデータを解析して所定のプロフィールに一致するデータ「事象」だけを他のマルチメディアデータから分離することもできる。

動き検出モジュール２１６はバス１１０を介してシステムモジュール２００と処理ストレージ２０２とに結合する。システムモジュール２００は、この動き検出モジュール２１６に関連する入力を受信した場合、ビデオデータにおける動きを検出するようにこの動き検出モジュール２１６に信号を送る。図３は本発明の一実施形態に基づいてマルチメディア処理装置１００が受信するビデオストリームを処理するステップを示す図であって、この処理は部分的にこの動き検出モジュール２１６によって実行される。図３に示される処理ステップを実行することにより、動き検出モジュール２１６によってビデオデータから検出された動きはユーザによってマルチメディア処理装置１００に供給される既存の要素と比較されうる。一連の処理ステップはまずビデオデータにおけるフレームＮが例えばデジタルレコーダなどによって解像度６４０×４８０ピクセルで取り込まれルことによって開始する。マルチメディア処理装置１００はレコーダに結合されていて、このレコーダから信号線１３０ａを介してフレームのストリームを受信する（３０２）。ビデオレコーダによって取り込まれたビデオデータのフレームは一定間隔でメモリ１０４の処理ストレージ２０２に記憶され、現在の基準フレームをして指定される。個々のビデオフレームが受信されるたびに、例えばカウンタなどに基づいて基準フレームイを現在基準フレームとされるフレームをから当該受信されたフレームに変更すべきか否かを判断する。マルチメディア処理装置１００がフレームＮを受信すると、システムモジュール２００は動き検出モジュール２１６にフレームＮと現在の基準フレームとの差を計算するように指示するコマンドを送る（３０４）。動き検出モジュール２１６はフレームＮと基準フレームとを取り込み、これら２つのフレーム間の差をピクセルごとにマッピングして差フレームを生成する。そしてこの差は所定の閾値と比較される（３０６）。ここでこの閾値以下の差はノイズとみなされるが、この閾値以上の差は動きが起きたことを示すとされる。動きが検出された場合この動き検出モジュール２１６は隣接ピクセルの差を「コンポーネント」にグループ分けすることにより連結コンポーネントを抽出する（３０８）。よって各連結コンポーネントは寸法サイズ（Σ）及び中心点（ｘ、ｙ）によって特徴付けられうる。そしてこの結果がシステムモジュール２００に返信される。次にシステムモジュール２００は事象検出モジュール２０８にこの動き検出が施されたデータから所定の事象を検出するよう指示する。

図２に戻って、事象検出モジュール２０８はバス１１０を介してシステムジュール２００と処理ストレージ２０２とに結合される。ある実施形態によると、図３に示されるようにユーザによってバス線１３０ｂを介してマルチメディア処理装置１００に要素記述のリスト３１１が供給され、このリストにおける各項目は特定事象についてのサイズや場所などの特徴を記述する（例えばドアの前に人が立つという事象など）。図３の説明に戻ると、事象検出モジュール２０８はフレームＮから抽出された連結コンポーネントを要素記述３１１と比較する（３１０）。事象検出モジュール２０８は例えば検出したコンポーネントと要素記述との間に一定のマッチング閾値を超える比例的相関関係を検出した場合は連結コンポーネントと要素記述との一致を検出したとする（３１２）。この検出結果はバス１１０を介してシステムモジュール２００に返信される。この検出ステップは、更なる連結コンポーネント３１４が検出されなくなるまで繰り返される。ある実施形態によると、事象の検出モジュール２０８は各種既存アルゴリズムや処理プロセスを用いて様々なマルチメディア事象を検出することができる。

図２に戻って、ある実施形態によると、事象検出モジュール２０８は同業者の間では周知であるオーディオ特性分析／認知技術などを用いてある事象が発生したか否かを判定する。このオーディオ特性分析／認知技術としては、例えばRui Cai, Lie Lu, Hong-Jiang Zhang, Lian-Hong Caiによる“Using Structure Patterns of Temporal and Spectral Feature in Audio Similarity,”（ACM Multimedia 2003, Berkley, CA, 11月2−8日，219-222頁）に記載されるような技術を適用することが可能である。また別の実施例によると、事象検出モジュール２０８は例えばHull et. alによる米国特許出願１０／８１４，９４４号（２００４年３月３０日出願）に記載されるような顔検出アルゴリズムを適用してビデオフレームに特定の人物が現れた場合これを事象として検出することができる。また、ある実施形態によると、象検出モジュール２０８は参照テーブルにおいてそのプロフィールが記述される事象を検出するように「仕込まれる」ことが可能である。例えば電話がなるという事象のプロフィールは、この音の発生する方向、ピッチ、期間、トーン周波数などに基づく。そして受信されたマルチメディアデータが記述されるプロフィールに近いほど事象検出モジュール２０８がこのプロフールに対応する事象を正確に検出した確率が高くなる。また、事象検出モジュール２０８は、例えば適正な呼び出し音と一方的な会話との組み合わせを検出した場合に、電話による対話があったことを検出することができる。また更なる実施形態によると、事象検出モジュール２０８は、例えば１又は複数人数が閉鎖された空間内に一定の期間の間所在し、オーディオ装置によって２種類以上の発声音が取り込まれるなどいくつかの要素を検出した場合、オフィス内での対談があったと判断することができる。

また、事象検出モジュール２０８は事象トリガーデータ処理を実行するのに適用されることも可能である。図４は事象トリガーデータ処理ステップの一例を示すフローチャートである。この図によると、まずマルチメディアデータがマルチメディア処理装置１００によって受信され（４０４）、このデータがフィルタ／処理モジュール２１４によって処理される（４０８）。事象検出モジュール２０８は好ましくは所定マルチメディア「事象」及びこれらによってトリガーされる動作の記述やプロフィールを記憶する事象テーブル４１０を参照して事象検出を行う（４１２）。そして事象が検出された場合（４１６）さらに事象テーブル４１０に基づいてこの事象が所定の動作をトリガーしたか否かの判定が行われる。この判定ステップは事象テーブル４１０をアクセスするシステムモジュール２００及び処理ストレージ２０２によって実行されうる。ここである動作がトリガーされたと判定された場合、システムモジュール２００はモジュール２０４〜２１６のなかから適確な１又は複数のモジュールを起動させ、この事象に対応付けられる動作を実行させる。なお、マルチメディア処理装置１００は処理ステップの結果、すなわち事象が検出されなかったり、トリガーされた動作がなかったり、該当する動作が既に実行されていた（４２４）場合などの判定結果とは関係なくデータを受信し（４０４）、このデータを処理し（４０８）、このデータに対して事象検出を行う（４１２）ステップを繰り返す。

ローカライゼーション・モジュール２０６はバス１１０によってシステムモジュール２００及び処理ストレージ２０２に結合される。ある実施形態によるとシステムモジュール２００は適確な入力を受信すると、ローカライゼーション・モジュール２０６に対してローカライゼーション処理を行うよう信号を送信する。ある実施形態によると、ローカライゼーション・モジュール２０６は、上述のようなシステムモジュール２００からのコマンド信号に反応するマイクロホンアレイから受信するオーディオデータに基づいてローカライゼーション処理を実行する。このマイクロホンはネットワークを介してこのマルチメディア処理装置１００に接続される。ローカライゼーション・モジュール２０６がこのようにしてオーディオ・ローカライゼーションを実行する間メディア処理装置１００はマイクロホンに対して音源の方向に向くようにコマンドを送る。なお、マイクロホンはこのコマンドに応じて方向付けられ、これによってマルチメディア処理装置１００に送信されるオーディオデータの品質が改善されうる。ある実施形態によると、２対のマイクロホンが会議室の周囲の所定箇所に配置される。そして各マイクロホンに付属するＦＩＦＯ（first in first out）バッファーがそれぞれ一定間隔でオーディオサンプルを受信する。このサンプルはリアルタイムで信号線１３０ａを介して処理装置１００に送信され、処理ストレージ２０２にルーチングされる。システムモジュール２００はローカライゼーション・モジュール２０６に対してこのサンプルに基づいてローカライゼーション処理を実行するように指示する。この処理を実行するためにローカライゼーション・モジュール２０６は音の速さ及びマイクロホン対間の距離に基づいてオーディオ到着の遅延時間を計算する。そしてローカライゼーション・モジュール２０６はマイクロホン対間の相関性を最大限にするためのオフセット値を計算する。この情報は音源の方向、すなわち空間中で最もエネルギーを発する点を推定するために用いられる。フィルタ／処理モジュール２１４はこの情報をシステムモジュール２００に送信し、ここでこの情報は１又は複数のマイクロホンが音源に向けられるようこれらを機械的に再配置するためのコマンドに変換される。そしてシステムモジュール２００はこれらのコマンドを出力系１０８に送信する。さらに出力系１０８はこれらのコマンドを信号線１３０ａ経由で周辺装置１５５に該当する各マイクロホンに返信する。なお、この一連のステップは各サンプルについて繰り返される。

また、別の実施形態によると、ローカライゼーション・モジュール２０６は、視覚センサー、ステレオカメラ、ビデオ検出装置、温度センサーなどのうちのどれか１つ又は複数によって取り込まれたデータに基づいてローカライゼーション処理を実行する。例えばデータ入力に基づいてローカライゼーション処理を実行するためのアルゴリズムとして、Neal Checka, Kevin Wilson, Vibhav Rangarajanらによる“Person Tracking Using Audio-Video Sensor Fusion”（Artificial Intelligence Laboratory of the Massachusetts Institute of Technology of Cambridge, Massachusetts）に記載されるアルゴリズムを適用することが可能である。

インデックス化／マッピング・モジュール２１０はバス１１０によってシステムモジュール２００及び処理ストレージ２０２に結合される。ある実施形態によると、システムモジュール２００は、適確な入力を受信するとインデックス化／マッピング・モジュール２１０に対してマルチメディアデータ１５０を要約ファイル又はインデックスにマッピングするように指示する信号を送る。この指示を実行するためにインデックス化／マッピング・モジュール２１０はシステムバス１１０を介してマルチメディアデータ１５０にアクセスする。このインデックス化／マッピング・モジュール２１０は様々なデータマッピングプログラムを適用／応用してマルチメディアデータ１５０を分析し、これを更に分析するために要約ファイルなどにマッピングすることができる。なお、マッピングプログラムとしては、例えばカリフォルニア州のサンノゼを拠点とするAbode Systems社の「Audition」（製品名）や、その他ここにおいて本願に参照により挿入される以下の文献中に記載されるアルゴリズムなどを適用することが可能である。

“Visualizing Multimedia Content on Paper Documents: Key Frame Selection for Video Paper,”Jonathan J. Hull, Berna Erol, Jamey Graham, Dar-Shyang Lee; 7^th International Conference on Document Analysis and Recognition, 2003（ビデオからのキーフレーム選択）
“Portable Meeting Recorder,”Dar-Shyang Lee, Berna Erol, Jamey Graham, Jonathan J. Hull, Norihiko Murata; ACM Multimedia Conference, 2002（オーディオ及びビデオからの事象検出）
“Key frame selection to represent a video,”F. Dirfaux; IEEE International Conference on Image Processing 2000（キーフレーム選択）
また別の実施形態によると、インデックス化／マッピング・モジュール２１０は時間間隔、会議において話す人、シーン切り替え、などのマルチメディアのキューなどを含む様々な手段を用いてマルチメディアデータ１５０をセグメントに分断し、これら各セグメントの参照となるインデックスを提供する。ある実施形態によると、インデックス化／マッピング・モジュール２１０は生成されたマッピング又はインデックス情報を記憶するための新たなファイルを作成し、この新たなファイルをシステムバス１１０によって処理ストレージ２０２に送信しここに記憶させる。また、ある実施形態によると、インデックス化／マッピング・モジュール２１０はBerna Erol, Dar-Shyang Lee, Jonathan J. Hullらによる“Multimodal Summarization of Meeting Recordings,”（IEEE International Conference on Media and Expo, Baltimore, MD, ２００３年７月）に記載されるアルゴリズムを用いて情報の演算、マッピング、またはインデックス化を実現しうる。また、オーディオのセグメント分割及びオーディオのマッピング技術及びインタフェースについての詳細は“Multimedia Print Driver Dialog Interfaces”と題されるHull et. alによる米国特許出願１０／８１４，９４４号（２００４年３月３０日出願）に記載される。

また、ある実施形態によると、インデックス化／マッピング・モジュール２１０は、マルチメディアデータにおける各セグメントに対応するバーコードなどの識別子を生成することもできる。これを実現するためには例えばイリノイ州エバンストンのBarcode Software Centerによるソフトなどの既存ソフトを適用／応用してマルチメディアデータにおける特定セグメントの場所に対応する読取可能なバーコードを作成することができる。なお、この特定セグメントは例えば電話の呼び出し、会話、または夜間のオフィス訪問者などに対応しうる。

レポート・モジュール２０４はバス１１０によってシステムモジュール２００及び処理ストレージ２０２に結合される。システムモジュール２００は、適確な入力を受信すると、レポート・モジュール２０４に対してマルチメディア１５０に基づくレポートの作成を開始するように指示する信号を送信する。このレポート・モジュール２０４によって実行される一連の処理ステップは要求されるレポートの種類によって異なる。例えばある実施形態によると、マルチメディア処理装置１００は、ビデオペーパーを作成する処理コマンド１９０をユーザから受信しうる。このビデオペーパーは例えば紙の上に選択キービデオフレーム及びこれに対応するバーコードを提示していて、これによってユーザがこれらフレームによって参照されるビデオデータにおける特定の時点からこのビデオデータを再生できるようにする。なお、レポート・モジュール２０４はここにおいて参照により本願に挿入される以下の文献に記載されるビデオペーパー技術を用いてレポートを作成することができる。

・“A Paper-based Interface for Video Browsing and Retrieval,”Jamey Graham, Jonathan J. Hull; IEEE International Conference on Multimedia and Expo(ICME), Baltimore, MD; July 6-9, 2003
・米国特許出願整理番号１０／００１，８９５“(Video Paper)Paper-based Interface for Multimedia Information”（２００１年１１月１９日出願）
・米国特許出願整理番号１０／００１，８４９“(Video Paper)Techniques for Annotating Multimedia Information”（２００１年１１月１９日出願）
・米国特許出願整理番号１０／００１，８９３“(Video Paper)Techniques for Generating a Coversheet for paper-based Interface for Multimedia Information”（２００１年１１月１９日出願）
・米国特許出願整理番号１０／００１，８９４“(Video Paper)Techniques for Retrieving Multimedia Information Using a Paper-Based Interface”（２００１年１１月１９日出願）
・米国特許出願整理番号１０／００１，８９１“(Video Paper)Paper-based Interface for Multimedia Information Stored by Multiple Multimedia Documents”（２００１年１１月１９日出願）
・米国特許出願整理番号１０／１７５，５４０“(Video Paper)Device for Generating a Multimedia Paper Document”（２００２年６月１８日出願）
・米国特許出願整理番号１０／６４５，８２１“(Video Paper)Paper-Based Interface for Specifying Ranges CIP”（２００３年８月２０日出願）
また、別の実施形態によると、レポート・モジュール２０４は、マルチメデァイオブジェクトが作成されていくつど、これを既存のドキュメント・テンプレートのプレースホルダに挿入する。このドキュメント・テンプレートは予め生成されると予想されるオブジェクトに対応するプレースホルダを有する。図５はこのような処理を実現するための一連のステップの一例を示す。なお、この処理は部分的にこのレポート・モジュール２０４によって実行されうる。この処理ではまずユーザが信号線１３０ｂを介してマルチメディア処理装置１００のプロセッサ１０６に処理コマンド１９０を送信する。上述のようにこのコマンド１９０はマルチメディア処理装置１００のグラフィック・ユーザインタフェース、プリントダイアログへの入力、ユーザコマンドを受信するための他のシステムなどから発されるお琴が可能である。このコマンド１９０はシステムモジュール２００によって受信される（５０４）。このコマンド１９０はマルチメディア処理装置１００に対して未来における特定の時点または未来に起きる特定の事象に反応してデータを取り込み、このデータをマルチメディア・オブジェクトに変換し、これを印刷されるドキュメントに挿入するように指示する。ある実施形態によると、システムモジュール２００はユーザの要請に基づいてレポート・モジュール２０４に対してレポート・テンプレート・ドキュメントを作成するよう指示する。ここではオブジェクト挿入機能及びマイクロソフト（登録商標）ワード・プラグインなどを利用して、レポート・モジュール２０４はまだ発生していないマルチメディアデータ・オブジェクトのためのプレースホルダを有するテンプレート・ドキュメントを作成することができる。ある実施形態によると、このテンプレート・ドキュメントはマルチメディア処理装置１００のプロセッサ１０６で作成されうる。また、このテンプレート・ドキュメントを作成するタスクはマルチメディア処理装置１００と信号線１３０ｃを介して通信を確立している処理装置１６０にオフロードされることも可能である。また、ある実施形態によると、マルチメディア処理装置１００の代わりにユーザがマイクロソフト（登録商標）ワードなどを用いてテンプレート・ドキュメントを作成してもよい。レポート・モジュール２０４はオブジェクト挿入機能を適用して、ファイルに検出されるべき関連事象について記述する非印刷ＰＤＬ（page description language）コメントなどを挿入することができる。ユーザはＰＤＬコメントが埋め込まれたテンプレート・ドキュメントをシステムバス１１０経由でマルチメディア処理装置１００へ送信する。このドキュメントは所定のデータオブジェクトが作成されてテンプレートにおける所定の場所に挿入されるまで印刷されない。

マルチメディア処理装置１００がコマンド１９０を受信すると（５０４）、事象検出モジュール２０８はシステムモジュール２００より送信される要求に応じてマルチメディアデータ１５０をモニタする。事象検出モジュール２０８はマルチメディアデータ１５０をスキャンし、ユーザによって指定される特定トリガー事象を検索する。そして該当する事象を検出すると（５１２）、事象検出モジュール２０８はシステムバス１１０を介してシステムモジュール２００にマルチメディアデータ１５０においてこの特定の事象が起きたことを示す信号を送る。続いてシステムモジュール２００ハこの事象をマルチメディア・オブジェクトとして取り込む（５１６）。例えば、マルチメディアデータ１５０のストリームにおいて「電話による会話」又は「オフィスでの話し合い」が識別される（事象テーブルなどに基づいて）度に、レポート・モジュール２０４はこの事象をディスクリート・オブジェクトとして処理ストレージ２０２に記憶し、システムモジュール２００に対して該当するオブジェクトが検出され取り込まれたことを示す信号を送信しうる。システムモジュール２００からのコマンドに反応するレポート・モジュール２０４は次にこの取り込まれたオブジェクトを処理ストレージ２０２に記憶されたレポート・テンプレートに挿入する（５２０）。レポート・モジュール２０４は更にこのオブジェクトについてのメタデータ（例えばデータ作成日時など）をドキュメントに挿入する（５２２）。この時点でシステムモジュール２００はこのドキュメントが完成されていて出力される準備が整っているか否かを判定する（５２４）。例えばこのドキュメントはいくつかのマルチメディア・オブジェクトを収容するためのプレースホルダを有し、これらのプレースホルダすべてにオブジェクトが挿入されるまで完成されたとみなされない場合がありうる。また、別の例ではドキュメントは所定の事象が起きなかった場合でも所定の待ち行列制限時間が経過した場合は完成されたとみなされる場合がありうる。ドキュメントが完成されたとみなされなかった場合、モニタ（５０８）、検出（５１２）、取り込み（５１６）などの処理ステップが繰り返される。例えばテンプレートのプレースホルダのすべてにオブジェクトが挿入されたか、あるいは所定のモニタ期間が経過したことによりドキュメントが完成されたと判定された（５２４）場合、ドキュメントは出力される（５２６）。

図２に戻り、アーカイブ・モジュール２１２はバス１１０によってシステムモジュール２００及び処理ストレージ２０２に結合される。システムモジュール２００ハ、適格な入力を受信すると、アーカイブ・モジュール２１２に対してマルチメディアデータ１５０又は処理されたマルチメディアデータ１５０をアーカイブに記憶するように指示する信号を送信する。このアーカイブはアーカイブ・モジュール２１２において記憶されるか、あるいはマルチメディア処理装置１００におけるその他の場所に記憶されることが可能である。ある実施形態によると、アーカイブ・モジュール２１２はマルチメディアデータ１５０を出力系１０８に出力し、このデータが信号線１３０ｄを介してネットワークへ送信され遠隔サーバに記憶されるようにすることも可能である。また、ある実施形態によると、マルチメディアデータ１５０は処理装置１６０又はその他の別装置に記憶されうる。

図６は本発明の一実施形態による図１Ａのシステムにおいて作成される紙出力の一例を示す図である。作成されたレポートの一例としての「夜間オーディオ・モニタ・レポート」６００は、オーディオ状態を示す時間線６１２を表示する。この特定事例においてはこの時間線によって示されるオーディオ状態はある診療クリニックに配置されたマイクロホンによって検知されるオーディオ状態に該当する。ある実施形態によると、マイクロホンは１つの部屋に配置され、オーディオデータを取り込み、これを無線接続によって図１Ａのマルチメディア処理装置１００においてストリーミングする。マイクロホンは常に部屋内のオーディオをモニタしているが、図中の時間線６１２に示されるようにマルチメディア処理装置１００は部屋に誰も所在しないため監視に必要がある時間帯に相当する午後５時から午前８時までの間に取り込まれたデータのみを処理するようにプログラムされる。業務時間中は、このマイクロホンは電源が切られるか、あるいはデータフィードをプリンタの一時的記憶バッファーに送信し、一時的記憶バッファーが一杯になり次第順次データが削除されるようにプログラムされることも可能である。ここでは発生する音の生オーディオデータがマイクロホンから送信され、マルチメディア・インタフェース１０２で受信され、システムバス１１０を介して処理ストレージ２０２にルーチングされる。システムモジュール２００からのコマンドに対して反応するフィルタ／処理モジュール２１４は、処理ストレージ２０２からこのデータをアクセスし、このデータから識別可能である通常音（例えば空調システムの起動音や停止音、コンピュータ・ファンによる背景ノイズなど）の事象をフィルタするなどの処理を施して新たなファイルを作成する。このフィルタされたデータはマルチメディア処理装置１００またはその他の装置における保護されたアーカイブに記憶される。

次にシステムモジュール２００はシステムバス１１０を介して事象検出モジュール２０８に対してこのフィルタされたデータを処理し、所定の事象の発生を検出するように指示する信号を送信する。これに応じて事象検出モジュール２０８はこのデータをスキャンし、特定の事象に関連付けられる予め識別されている音形式を検索する。この予め識別された音形式は、一定期間において実施されるシステム管理者による一連の音観測に基づいて識別され、処理ストレージ２０２のデータベースなどに記憶される。データベースにおける各事象のそれぞれには「ドアが開く」、「ドアが閉まる」などの端的な記述が対応付けられる。事象検出モジュール２０８はこれらの記憶されたプロフィールと受信したデータとを比較して、これら事象のマッチングを検出する。これらの事象は例えば電話の会話の始まりと終わりや、ドアが開いたり閉まったりするなどの事象に相当しうる。また、マルチメディアデータ１５０におけるこれらの事象の場所を示すインデックスがインデックス化／マッピング・モジュール２１０によって作成される。システムモジュール２００は事象検出モジュール２０８から例えば電話の会話の始まりと終わりが検出されたという情報を受信する。システムモジュール２０２はインデックス化／マッピング・モジュール２１０に対してこの電話の会話の参照用バーコードを作成するよう指示する要求を送信するための論理を有する。

インデックス化／マッピング・モジュール２１０は、アーカイブにおけるこの電話の会話の場所を示す読取可能バーコードを作成する。このバーコードはこの電話の会話の始まり・終わり及びこのオーディオデータへのリンクを示す。次にシステムモジュール２００はレポート・モジュール２０４に対してレポート６００を作成するよう要求する信号を送信する。これに応じてレポート・モジュール２０４は処理ストレージ２０２に記憶されるレポート・テンプレートのリポジトリをアクセスし、既にレポート名、その他レイアウトや余白などの詳細が規定されている適切なテンプレートを選択する。そしてレポート・モジュール２０４はフィルタされた生データを取り込み、レポートファイルにおいてスケーリングされた時間線６１２にマッピングする。なお、このレポートでは、ユーザが事象の発生を即認識できるように、検出された事象が大きく誇張されて示される。また、レポート・モジュール２０４は検出された各事象に対応する端的な記述を各事象の隣に挿入し（６０６）、各事象の起きた時間を示す（６０４）。また、このレポートでは事象の発生を表すグラフとテキストとを対応付けるために点線が示される。また、レポートの上部にはこのレポートの日付を示す日付印６０２が付与される。また、アーカイブに記憶される処理済データファイルにおけるこの電話の会話の場所を指すバーコード６０８が挿入される。これによって後に誰かがこの電話の会話の記録を聞くことを希望した場合、このバーコードを用いてこのデータ箇所にアクセスでき、ほとんどの箇所が沈黙箇所に相当する１５時間にも及ぶテープデータにおけるこの電話の会話の場所を手動で探す必要がなくなる。このレポートはすべて処理ストレージ２０２に記憶される。そしてシステムモジュール２００はこのレポートと共にこのレポートの印刷可能コピーを所定の保護Ｅメールアドレスに自動的に送信するよう指示するコマンドを出力系１０８に送信する。

なお、同業者には自明であるように、図６はマルチメディアプリンタ又はマルチメディア処理装置１００によって作成されうる様々な形式のレポートの一例に過ぎず、これ以外の形式の出力を作成することももちろん可能である。例えば発生した事象の記録だけを示し、何の事象も検出されない時間箇所は省略される簡略化されたレポートを作成することも可能である。また、処理対象とされるデータが光学ディスクに焼かれたビデオデータなどであってもよい。また、テンプレートを適用すると同時にレポート・モジュール２０４はマルチメディアデータ処理装置１００によって読み取られ処理されるデータと共に送信されるＰＤＬコメントに基づいてシステムモジュール２００からフォーマット指示を受信することができる。またその他の出力形式での出力がマルチメディアデータ処理装置１００によって作成されることも可能である。ある実施形態によると、マルチメディアデータ処理装置１００はユーザによるユーザインタフェースを介する入力に応じてオーディオデータおよびビデオデータを書き換え可能ＣＤ（非図示）に焼くことができる。このＣＤは、例えばオーディオ及びデータフィードからの生データの圧縮バージョンと共により高度なレポートを含むことが可能である。

ある実施形態によると、ユーザはマルチメディア処理装置１００を用いてある交差点で起きる交通違反及び交通事故などの事象を検出する過程をストリーミングしうる。この場合例えばビデオカメラがこの交差点に設置され、ここからモニタネットワークを介してデータが送信される。このネットワークは例えばブロードバンドワイヤ及びマルチメディア処理装置１００への無線接続などから構成されうる。ユーザはマルチメディア処理装置１００のユーザインタフェースを介してモニタリングの対象とする事象のプロフィールを入力する。例えばユーザはこの交差点で起きる交通事故のレポートが印刷されるようにしていうることができる。また別の例では、ユーザは赤信号であるにもかかわらず交差点において一定の方向に向いている車の写真が撮られるように設定することができる。そしてユーザは、例えばビデオデータから捉えたスナップショット画像や、７２時間の間に起きた赤信号無視らしき事象の発生時点を示す事象ログなど、見たい出力を選択することができる。また、ユーザはインタフェースを用いてデータがどのように記憶されるべきかを示すことができる（例えばデータベースへ記憶するあるいはディスクに焼くなど）。マルチメディア処理装置１００はこれらのコマンドを受信し、交差点のビデオカメラから受信したビデオデータのストリームに対してこれらのコマンドを適用する。ある実施形態によると、一定期間において起きる交通違反らしき事象の発生時間が示され、且つこれら各交通違反事象の光景を捉えたスナップショットが挿入された交通違反レポートが毎週作成されうる。この交通違反事象のスナップショットは好ましくは各事象の当事者である車のナンバープレートを写しているスナップショットである。このレポートは作成が完了すると、紙に印刷されマルチメディア処理装置１００から出力されうる。

図７は遠隔会議の遂行を容易にし、これを適切に記録するためにマルチメディア処理装置１００を適用する実施の一例を示す。この図の例では、オフサイト・ロケーション７０４で複数人数間の会議が行われる。このオフサイト・ロケーションに相当する部屋の片隅には４チャンネル・オーディオ機能を有するデジタルビデオカメラ７０６が設置される。また４つのマイクロホンがこの部屋の各所に設置される。そして会議中、このカメラ及びマイクロホンからビデオ及びオーディオデータがリアルタイムで専用接続により信号線７０２ａを介してマルチメディア処理装置１００へストリーミングされる。この接続は例えばWebex.comなどのミーティング技術を適用して設定されうる。マルチメディア処理装置１００はマルチメディアデータ１５０を受信し、このオーディオ及びビデオデータフィードを信号線７０２ｂ経由で、この場合はイーサーネット接続を介してオフィス７１０にルーチングする。これによってこのオフィス７１０でこのデータがリアルタイムでネットワーク・ディスプレイにおいて放送されうる。このオフィス７１０から会議の光景を観察している会議参加者は、例えばこの会議のロケーションに電話してこの会議室７０４に設置されるスピーカホンを介してしゃべることによりこの会議に参加することができる。また別の例によると、第２ビデオカメラとマイクロホンがオフィス７１０に設置され、この第２ビデオカメラによって生成されるビデオフィードがマルチメディア処理装置１００に送信される。これに応じてマルチメディア処理装置１００はこのビデオデータを遠隔会議室７０４におけるディスプレイにルーチングする。このようにしてマルチメディア処理装置１００は会議の遂行を容易にすると同時に、ある実施形態によるとこの会議の部分々々を記録する。例えば会議の参加者が使用するクリッカーによる合図に応じて記録動作を開始／停止することができる。ユーザはこのクリッカーを用いて記録を希望する会議の重要部分を指定することができる。このクリッカーは信号線７０２ａ又は７０２ｂを介するまた別の接続によってマルチメディア処理装置１００に接続されうる。また、米国特許出願番号１０／７５４，９０７“Generating and Displaying Level-Of-Interest Values”（２００４年１月９日出願）に記載されるミーティング参加者の関心を示し、関心情報に基づき事象を検出する技術、方法、及び装置を適用することも可能である。また別の実施形態によると、会議のすべてが自動的に記録され、会議アーカイブ７０８として記憶され、一定期間中ネットワーク７１２またはユーザと通信可能なその他のネットワークからアクセス可能に設定されうる。ここでこの会議アーカイブ７０８が指定された期間内において誰にもアクセスされず、またこれを保存するような指示が発されなかった場合この期間の経過後アーカイブ７０８は削除される。ある実施形態によると、会議の始めに会議の参加者及び会議の議題が示される。会議のインデックスは例えば日付、時間、長さ、及びビデオの最初２分へのリンクを含み、ユーザはこれによりこの会議の内容及び時期を容易に思い出すことができる。

上述のように、本発明の各種実施形態によって生のマルチメディアデータを扱い、このデータを紙ベース又はその他既存のワークフローに導入できる有用な出力に変換する処理が容易にされる。本発明のある実施形態によると、ユーザはマルチメディアデータにおける事象を定義し、特定することができる。ユーザの記述に基づきマルチメディア処理装置１００は受信するデータからこれらの事象を検出し、これらの事象によってトリガーされる所定の動作を実行することができる。

図８は事象とこれによってトリガーされる動作の対応関係を示す事象テーブルの一例を示す。図示されるように、この事象テーブル８００はマルチメディアにおける「事象」の記述を記憶する。この記述は好ましくはマルチメディアデータ・メトリックによって表現され、例えばビデオフレームにおける画像の寸法サイズ（Σ）及び中心位置（ｘ、ｙ）などによって示されうる。しかしこれ以外にもマルチメディアデータにおける事象を識別するための様々な形式を適用することが可能である。なお、事象テーブルはデータベース、プログラム言語での一連の命令文、ＸＭＬドキュメント、単純なテーブル又は一連のデータストリングという形をとる単純なアルゴリズムなどに相当しうる。図８の事象テーブル８００の例において事象が検出された場合、例えばｃｇｉ（common gateway interface）スクリプトを適用してプリントドライバ又はウェブブラウザ・インタフェースにおける専用目的アプリケーションによって事象カウンタが更新されうる。各事象は所定の動作に対応付けられ、この動作は例えば所定の数だけ事象が発生することによりトリガーされうる。

ある実施形態によると、動き検出機能を有するプリンタは、特定の用紙トレーから用紙が移されるたびに特定周波数のリングトーンを鳴らすようにプログラムされることが可能である。図８に示されるようにユーザはこの用紙トレーのトーンの響きをその特定周波数及び時間の長さなどに基づいて特定することができる。よって例えばドキュメントがトレーから取り出された回数を示すレポートが毎日作成されオフィス管理者などに送信されうる。なお、ユーザはレポートが送信されるたびにカウンタがリセットされるようにプログラムすることができる。また、図８のテーブルで特定されるまた別の特定事象として、オフィスでのディスカッションが示される。この事象を検出するためには上述のアルゴリズムを適用することが可能である。そして事象が検出されるたびにこのディスカッションを記録し、特定のディスカッションサーバーのアーカイブに記憶するという動作がトリガーされるかあるいは起動される。図８に示される３つ目の事象は電話の呼び出し音に相当する。この例では電話の呼び出し音が検出されるたびに、もう１つの事象の検出、すなわち発声音を検出する動作がトリガーされる。図８のテーブルに示されるように、さらに発声音が検出されると、この電話の会話が終わるまでこの発声音を記録する動作がトリガーされる。なお、この図に示される上記３つの例は事象テーブルにて特定されうる様々な事象、動作トリガー、動作の組み合わせなどのほんの一例に過ぎずこれ以外の例も数多く構想されうる。

図１０はマルチメディア処理装置１００がオーディオ及びビデオデータのモニタリングに基づいてレポートを作成する際に適用するレポート・テンプレート・ドキュメントの一例を示す。図９はテンプレートにマルチメディア・オブジェクトが挿入されることにより完成したレポートの一例を示す。図１０に示されるレポート・テンプレート・ドキュメント１０００はオーディオ及びビデオのモニタ事象を挿入するための３つのセクション１０１２を有する。またこのレポートの題名「増分オーディオ＋ビデオ・モニタリング・レポート」１００２がこのテンプレート・ドキュメント１０００の上部に設けられる。このテンプレート／ドキュメント１００の各セクション１０１２はそれぞれ日付及び時間１００６、事象記述１００８、及び特定の事象の場合に付与されるバーコード識別子１０１０のプレースホルダを有する。さらに各セクション１０１２にはそれぞれの事象に対応する画像１００４のプレースホルダが当該セクション１０１２の左側に設けられる。レポートはレポートされるべき事象、その記述、及びをこの事象が検出された場合この事象に基づいて実行されるべき動作などを示すテーブルに基づいて作成される。この例では、特定される事象は、用紙トレーからドキュメントが取り出される事象や、フィーダーに用紙を供給する事象、プリンタ周囲での会話などプリンタ付近で起きる事象に相当する。

マルチメディア処理装置１００はオーディオ及びビデオデータフィードを受信し、事象検出モジュール２０８は受信したデータから特定された各事象を検索する。そしてトレーからドキュメントを取り出すという第１事象が起きると、この事象の日付及び時間９０６ａと、参照テーブルに示されるこの事象の記述９０８ａとが第１レポートセクション１０１２ａに挿入される。なお、この事象に対応付けられる動作として、この事象を実行した者を識別する動作が示される。よってマルチメディア処理装置１００のフィルタ／処理モジュール２１４は該当するビデオフィードから画像を取り込み、事象検出モジュール２０８はアーカイブに記憶される顔のデータベースのなかからこのビデオフィードに示される顔に一致するものを検索する顔認識分析を実行する。そしてこのフィードがある従業員の顔と一致すると判定された場合、あらかじめ記憶されているこの従業員の写真を取り出す。続いてレポート・モジュール２０４はこの識別写真をテンプレート・ドキュメントのプレースホルダ９０４ａに挿入する。また次の第２セクション９１２ｂの出力を生成する際にも、上述同様の事象検出、この事象に関するメタデータの挿入、ビデオデータからの顔認識、及び識別された従業員のストック写真の挿入からなる一連の処理ステップが繰り返される。これに対し、第３セクション９１２ｃに示される事象は上記の事象とは若干異なる。すなわちここでは二人の従業員の間の会話に相当する事象を示す。この場合、事象検出モジュール２０８による事象の検出によりこの会話を記録する動作がトリガーされ、また、インデックス化／マッピング・モジュール２１０によりこの事象に対応するバーコード・インデックスが作成されて第３セクションの９１２ｃに挿入される（９１０）。また、上記の２つのセクションの例のようにストック写真を挿入する代わりにレポート・モジュール２０４はフィルタ／処理モジュール２１４によってビデオフィードから捉えられたフレーム９０４ｃを挿入する。このようにして完成されたレポート９００はプリンタに送信され出力されうる。

なお上記実施形態は本発明を例示によって説明するために挙げられているのであって、本発明の範囲を限定する要素とはみなされない。例えば上記開示される機能及びこれらの機能を実現するためのハード及びソフトが一般のプリンタに付属されることが可能である。このように既存のプリンタネットワークに対してマルチメディア・モニタリング機能及び処理機能を加えるような変更を行うことで侵害を最小限に抑えたモニタリングネットワークを最小限のコストで実現すことが可能である。なお、同業者には自明であるように、本発明の範囲を逸脱することなく本願で開示される実施形態からさまざまな変形や変更を構想することが可能である。よって本発明の範囲は発明の好適な実施形態の説明によって限定されることはなく、むしろ本願における発明の請求の範囲によってのみ限定されうる。

なお、本願は、米国仮特許出願整理番号６０／５０６，３０３“Printer Including One or More Specialized Hardware Devices”（２００３年９月２５日出願）及び米国特許仮出願整理番号６０／５０６，３０２“Printer Including Interface and Specialized Information Processing Capabilities”（２００３年９月２５日出願）に基づく出願であってこれら米国出願による優先権を主張するとともにここにおいてこれら米国特許出願の内容を参照により本願に挿入する。

本発明の一実施形態によるオーディオ／ビデオ・ローカライゼーション機能を有するプリンタの構成を示すブロック図である。 本発明の好適な実施例によるオーディオ／ビデオ・ローカライゼーション機能を有するプリンタの構成を示すブロック図である。 図１Ａのオーディオ／ビデオ・ローカライゼーション機能を有するプリンタのメモリの構成を示すブロック図である。 本発明の一実施形態によるオーディオ／ビデオ・ローカライゼーション機能を有するプリンタの動作フローを示す図である。 本発明の一実施形態による事象によってトリガーされるデータ処理動作の一例を示す図である。 本発明の一実施形態によるマルチメディア・オブジェクトを含むレポートを作成する処理フローを示す図である。 本発明の一実施形態によるオーディオ／ビデオ・ローカライゼーション機能を有するプリンタの出力の一例を示す図である。 本発明の一実施形態による遠隔会議を用意に遂行させることを目的にオーディオ／ビデオ・ローカライゼーション機能を有するプリンタを適用する例を示す図である。 本発明の実施形態による事象テーブルの一例を示す図である。 本発明の実施形態によるオーディオ／ビデオ・ローカライゼーション機能を有するプリンタによって出力されるマルチメディア・オブジェクトを含むレポートの一例を示す図である。 図９の出力を作成する際に用いられるテンプレートの一例を示す図である。

符号の説明

１００ マルチメディア処理装置
１０２ マルチメディア・インタフェース
１０４ メモリ
１０６ プロセッサ
１０８ 出力系
１１０ バス
１５０ マルチメディアデータ
１６０ 処理装置
１７０ 紙ドキュメント
１８０ 電子データ
１９０ 処理コマンド
２００ システムモジュール
２０２ 処理ストレージ
２０４ レポート・モジュール
２０６ ローカライゼーション・モジュール
２０８ 事象検出モジュール
２１０ インデックス化／マッピング・モジュール
２１２ アーカイブ・モジュール
２１４ フィルタ／処理モジュール
２１６ 動き検出モジュール

Claims (50)

1. ドキュメントを出力する機能を有するマルチメディア処理装置においてマルチメディアデータを受信し、
   前記マルチメディア処理装置において前記マルチメディアデータを処理し、
   前記処理されたマルチメディアデータを出力するステップを含むことを特徴とする方法。
2. 前記マルチメディアデータはオーディオデータ又はビデオデータに相当することを特徴とする請求項１記載の方法。
3. 前記マルチメディアデータはマルチメディアデータストリームに相当することを特徴とする請求項１記載の方法。
4. 前記マルチメディアデータはネットワークから受信されることを特徴とする請求項１記載の方法。
5. 前記マルチメディアデータは記憶装置から受信されることを特徴とする請求項１記載の方法。
6. 前記マルチメディアデータを処理するステップは、更に前記マルチメディアデータにおいて予め規定されたマルチメディア事象を識別するステップを含むことを特徴とする請求項１記載の方法。
7. 前記予め規定されたマルチメディア事象が識別された場合、所定の動作を実行するステップを更に含むことを特徴とする請求項６記載の方法。
8. 前記予め規定されたマルチメディア事象が識別された場合、事象テーブルにおいて前記マルチメディア事象に対応付けられる動作を実行するステップを更に含むことを特徴とする請求項６記載の方法。
9. 前記マルチメディアデータをアナログ形式で受信し、
   前記マルチメディアデータをアナログ形式からデジタル形式に変換するステップを更に有することを特徴とする請求項１記載の方法。
10. 前記処理されたマルチメディアデータを出力するステップは前記処理されたマルチメディアデータをアーカイブファイルに書き込むことによって実行されることを特徴とする請求項１記載の方法。
11. 前記処理されたマルチメディアデータは前記マルチメディア処理装置によって受信されたマルチメディアデータの表示を構成することを特徴とする請求項１記載の方法。
12. 前記処理されたマルチメディアデータを出力するステップは前記マルチメディアデータの一部をビデオペーパーとして出力するステップを含むことを特徴とする請求項１記載の方法。
13. 前記処理されたマルチメディアデータを出力するステップは前記マルチメディアデータの一部を紙ドキュメントとして出力するステップを含むことを特徴とする請求項１記載の方法。
14. 前記処理されたマルチメディアデータを出力するステップは前記マルチメディアデータの一部をサーバーに記憶し、前記処理されたマルチメディアデータが前記サーバーからアクセスされ表示されうるようにするステップを含むことを特徴とする請求項１記載の方法。
15. 前記マルチメディアデータはビデオデータに相当し、前記マルチメディアデータを処理するステップは前記ビデオデータからビデオフレームを取り込み、前記取り込まれたビデオフレームをファイルに記憶するステップを含むことを特徴とする請求項１記載の方法。
16. 前記処理されたマルチメディアデータを出力するステップは、前記処理されたマルチメディアデータを記憶媒体に記憶し、前記処理されたマルチメディアデータをインデックス化するステップを含むことを特徴とする請求項１記載の方法。
17. 前記マルチメディアデータはオーディオデータに相当し、
    前記オーディオデータはテキストとして記録され、
    前記処理されたマルチメディアデータを出力するステップは前記テキストを出力するステップを構成することを特徴とする請求項１記載の方法。
18. データを取り込む方法であって、
    周辺機器によって取り込まれたマルチメディアデータをマルチメディアデータ処理装置が受信し、
    前記マルチメディアデータを処理して制御信号を生成し、
    前記制御信号を前記周辺機器に送信するステップを含むことを特徴とする方法。
19. 前記マルチメディアを処理するステップは、ローカライゼーションを行うステップを含み、前記制御信号は前記周辺機器が取り込むデータの品質を改善するために前記周辺機器を方向付けるための信号に相当することを特徴とする請求項１８記載の方法。
20. 前記マルチメディアデータを処理するステップは、オーディオ・ローカライゼーションを行うステップを含み、前記制御信号は少なくとも１つのマイクロホンを方向付けることを特徴とする請求項１９記載の方法。
21. 前記マルチメディアデータを処理するステップは、ビデオ・ローカライゼーションを行うステップを含み、前記制御信号は少なくとも１つのビデオ取り込み装置を方向付けることを特徴とする請求項１９記載の方法。
22. マルチメディア処理装置においてマルチメディアデータを処理し且つ事象の発生に応じて動作を実行するようなコマンドを受信し、
    マルチメディアデータを受信し、
    前記マルチメディアデータにおいて前記事象を検出し、
    前記事象を検出するのに応じて前記動作を実行するステップを含むことを特徴とする方法。
23. 前記コマンドはページ記述言語によるコマンドに相当することを特徴とする請求項２２記載の方法。
24. 前記コマンドはウェブベースのユーザインタフェースを介して前記マルチメディア処理装置に送信されることを特徴とする請求項２２記載の方法。
25. 前記コマンドはマルチメディア・オブジェクトを挿入するためのプレースホルダを有するテンプレートを含むことを特徴とする請求項２２記載の方法。
26. 前記事象を検出するステップは、前記事象のプロフィールを受信したマルチメディアデータと比較するステップを含むことを特徴とする請求項２２記載の方法。
27. 前記動作は警告を示す動作に相当することを特徴とする請求項２２記載の方法。
28. 前記動作は前記マルチメディアデータの一部を含むドキュメントを前記マルチメディア処理装置によって印刷する動作に相当することを特徴とする請求項２２記載の方法。
29. 前記印刷するステップは、前記マルチメディアデータに対応するメタデータを印刷するステップを含むことを特徴とする請求項２８記載の方法。
30. 前記動作は前記マルチメディア処理装置によって受信されたマルチメディアデータを表す波形を出力する動作に相当することを特徴とする請求項２２記載の方法。
31. 前記動作は受信したマルチメディアデータを記憶する動作に相当することを特徴とする請求項２２記載の方法。
32. ドキュメントを出力する機能を有するマルチメディア処理装置においてマルチメディアデータを受信し、
    前記マルチメディア処理装置において前記マルチメディアデータを処理し、
    前記処理されたマルチメディアデータを後にアクセスできるように前記マルチメディア処理装置に記憶するステップを含むことを特徴とする方法。
33. マルチメディア処理装置においてマルチメディアデータを受信し、
    前記マルチメディア処理装置において前記マルチメディアデータを処理し、
    前記処理されたマルチメディアデータを前記マルチメディア処理装置のインタフェースを介して出力するステップを含み、
    前記マルチメディア処理装置は前記処理されたマルチメディアデータを紙ベース形式及び電子形式で出力するように構成されることを特徴とする方法。
34. 前記処理されたマルチメディアデータを出力するステップは、前記処理されたマルチメディアデータを記憶媒体に記憶し、前記処理されデータをインデックス化す留守轍鮒を含むことを特徴とする請求項３３記載の方法。
35. 前記マルチメディア処理装置において前記マルチメディアデータを処理し且つマルチメディア事象に応じて動作を実行するようなコマンドを受信し、
    前記マルチメディアデータから前記マルチメディア事象を検出し、
    前記マルチメディア事象の検出に応じて前記コマンドを実行するステップを更に含むことを特徴とする請求項３３記載の方法。
36. 前記マルチメディア処理装置において前記コマンドを受信するステップは、複数の事象と、各事象に対応する動作とを格納する事象テーブルを受信するステップを含むことを特徴とする請求項３５記載の方法。
37. 前記処理されたマルチメディアデータをサーバーに出力するステップを含み、前記サーバーから前記処理されたマルチメディアデータをアクセスできるようにすることを特徴する請求項３３記載の方法。
38. 前記処理されたマルチメディアデータは前記マルチメディア処理装置によって受信されたマルチメディアデータの一部からなることを特徴とする請求項３３記載の方法。
39. 前記マルチメディアデータはマルチメディアデータ・ストリームに相当することを特徴とする請求項２６記載の方法。
40. 前記マルチメディアデータはオーディオデータ又はビデオデータに相当することを特徴とする請求項２６記載の方法。
41. プリンタ、
    マルチメディアデータを受信するインタフェース、
    前記インタフェース及び前記プリンタに結合され、前記インタフェースによって受信されたマルチメディアデータを処理するプロセッサ、及び
    前記プロセッサに結合され、処理されたマルチメディアデータを作成された後にアクセスできるように前記処理されたマルチメディアデータを記憶するメモリから構成されることを特徴とする印刷システム。
42. 前記マルチメディアデータを出力するための出力系を更に有することを特徴とする請求項４１記載の印刷システム。
43. マルチメディアデータを受信するためのインタフェース、
    前記インタフェースに結合され、マルチメディアデータを処理するためのプロセッサ、
    前記プロセッサに結合され、前記プロセッサによって処理されたマルチメディアデータを出力するための出力系で、複数の形式でデータを出力することができるような出力系から構成されることを特徴とするシステム。
44. 前記出力系は処理されたマルチメディアデータを紙ドキュメント又は電子データに出力するよう構成されることを特徴する請求項４３記載のシステム。
45. 前記出力系は処理されたマルチメディアデータを紙ドキュメント及び電子データに出力するよう構成されることを特徴する請求項４３記載のシステム。
46. 前記プロセッサに結合され、前記マルチメディアデータのコンテンツを第２ファイルにマッピングするインデックス化／マッピング・モジュールを更に有することを特徴とする請求項４３記載のシステム。
47. 前記プロセッサに結合され、処理されたマルチメディアデータを後にアクセスできるように記憶するアーカイブ・モジュールを更に有することを特徴とする請求項４３記載のシステム。
48. 前記プロセッサに結合され、周辺機器から取り込まれるマルチメディアデータの品質を改善するために前記周辺機器に対して送られる位置づけコマンドを生成するローカライゼーション・モジュールを更に有することを特徴とする請求項４３記載のシステム。
49. 前記プロセッサに結合され、マルチメディア事象が発生したか否かを判断する事象検出モジュールを更に有することを特徴とする請求項４３記載のシステム。
50. 前記事象検出モジュールは事象テーブルを用いてマルチメディア事象が発生したか及び前記事象に動作が対応付けられているかを判断することを特徴とする請求項４９記載のシステム。