JP2005100411A - マルチメディアサーバを有するプリンタ - Google Patents

Abstract

【課題】 接続されているコンピュータから独立して編集やコンテントのフォーマット等のマルチメディアコンテント、特に時間ベースのデータの処理を実行できるインテリジェントプリンタを提供する。
【解決手段】 マルチメディアサーバが組み込まれたプリンタである。ハウジングのシャシーと、媒体ホルダに結合した、リムーバブル記憶媒体形態を含む複数の記憶媒体形態への印刷を制御するプリントエンジンと、前記プリントエンジンに通信可能に結合した、複数タイプの媒体コンテントのインターフェイスにインターフェイスするマルチメディアサーバと、前記マルチメディアサーバに通信可能に結合した、マルチメディアコンテント選択のデータベースを記憶する不揮発性メモリと、前記プリンタシャシー上にアクセス可能に配置され、前記マルチメディアサーバに通信可能に結合したユーザ入力デバイスとを有することを特徴とする。
【選択図】 図１

Description

本発明はマルチメディアデータを印刷する機能を組み込まれたプリンタに関する。

コンピュータシステムにおけるプリンタは、典型的には紙である媒体に情報を物理的に出力する仕組みを取り扱う。プリンタはコンピュータシステムにおいてはどちらかというと受動的である。プリンタは、印刷される文書のキューを管理したり、トナーが残り少ないことを表示したり、記録紙がないというメッセージを表示したりすること等の印刷制御のため、少し高いレベルの制御を取り扱う。プリンタは一般的には、出力媒体上に印刷する実際のコンテントを処理することはない。

知識ワーカは、特にレポートやプレゼンテーションにおいて、マルチメディアデータを多く使用している。マルチメディアデータは、例えばオーディオクリップ・アニメーション・ビデオクリップ等の、時間ベースメディアとも呼ばれる時間ベースのデータを一般的には含んでいる。デスクトップ型やラップトップ型等のコンピュータは、ネットワークインターフェイスを介して、または直接、プリンタに接続され、印刷のため、所望の媒体のためにコンテントをフォーマットするため、またはコンテントを印刷する所望の媒体を選択するためにマルチメディアコンテントを修正するための必要なハードウェアおよびソフトウェアを有している必要がある。ネットワークで異なったコンピュータを使用しているユーザがマルチメディアコンテント処理を実行し、異なったメディアに出力することを所望しているとき、その異なったコンピュータは、各々適当なハードウェアおよびソフトウェアを有している必要がある。さらに、そのコンピュータは、マルチメディアコンテント処理と、マルチメディアコンテントの記憶および印刷のための特定のフォーマットをサポートすることのためとに必要な計算負荷を扱う必要がある。

接続されているコンピュータから独立して編集やコンテントのフォーマット等の、マルチメディアコンテント、特に時間ベースのデータの処理を実行できるインテリジェントプリンタに上記計算負荷の少なくとも一部を移すことが望まれている。プリンタが様々な出力媒体の選択を提供できることも望まれる。またプリンタがマルチメディアコンテントデータベース等の出力媒体の様々な形式を記憶できることが望まれる。マルチメディアデータベースを独立に維持できるプリンタは、マルチメディアコンテントの能率的な記憶を提供できる。

なお、本出願は米国における以下の仮出願の利益を主張するものであり、これらの仮出願はそのまま参照により援用されている：
No.60/506,206、2003年9月25日出願、名称「Printer Driver, Interface and Method for Selecting and Printing Representations of Audio, Video or Processed information」；
No.60/506,263、2003年9月25日出願、名称「Systems and Methods for Printing Audio or Video Paper」；
No.60/506,302、2003年9月25日出願、名称「Printer Including Interface and Specialized Information Processing Capabilities」；
No.60/506,303、2003年9月25日出願、名称「Printer Including One or More Specialized Hardware Devices」；
No.60/506,411、2003年9月25日出願、名称「Printer for Non-Paper and Multiple Media Types」。

本出願は米国における以下の特許出願に関連しており、これらの出願は参照により援用されている：
名称「Printer Having Embedded Functionality for Printing Time-Based Media」、2004年3月30日出願、Attorney Docket No.20412-08430；
名称「Networked Printing System Having Embedded Functionality for Printing Time-Based Media」、2004年3月30日出願、Attorney Docket No.20412-08431。

本出願は米国における以下の特許出願（以下「メディアコンテント処理出願」と呼ぶ）にも関連しており、これらの出願は参照により援用されている：
名称「Printer with Audio/Video Localization」、2004年3月30日出願、Attorney Docket No.20412-08356；
名称「Music Processing Printer」、2004年3月30日出願、Attorney Docket No.20412-08358；
名称「Printing System With Embedded Audio/Video Content Recognition and Processing」、2004年3月30日出願、Attorney Docket No.20412-08394。

本出願は米国における以下の特許出願（以下「ビデオペーパー特許出願」と呼ぶ）も参照により援用する：
名称「Printable Representations for Time-based Media」、2004年3月30日出願、Attorney Docket No.20412-08497；
No.10/001,895、2001年11月19日出願；
No.10/001,849、2001年11月19日出願；
No.10/001,893、2001年11月19日出願；
No.10/001,894、2001年11月19日出願；
No.10/001,891、2001年11月19日出願；
No.10/175,540、2002年6月18日出願；
No.10/645,821、2003年8月20日出願。

一形態において、本発明はマルチメディアサーバを内蔵したプリンタを提供する。マルチメディアサーバを内蔵するプリンタの一実施形態はシャシーを有し、前記シャシーにはプリントエンジン、マルチメディアサーバ、マルチメディアコンテントを記憶する不揮発性記憶デバイス、および前記プリンタシャシー上にアクセス可能に配置されたユーザ入力デバイスを収容する。本実施形態において、前記プリントエンジンは、リムーバブル記憶媒体形態も含めて、複数の媒体記憶形態への印刷を制御する。前記プリントエンジンは少なくとも１つのメディアホルダに結合し、マルチメディアサーバに通信可能に結合している。ユーザインターフェイスデバイスは、マルチメディアサーバに通信可能に結合している。マルチメディアサーバは、少なくとも１つのメディアコンテントインターフェイスに通信可能に結合しており、そのメディアコンテントインターフェイスを介して１以上のメディアコンテントソースからマルチメディアコンテントを受信する。本実施形態は、プリンタシャシー上にアクセス可能に配置された、前記サーバの制御の下でデータを表示するマルチメディアサーバに通信可能に結合したディスプレイを有する。

一例において、マルチメディアサーバは、データベースを記憶する不揮発性記憶媒体に通信可能に結合したマルチメディアデータベースマネージャも含む。他の例において、ウェブサーバを含むマルチメディアサーバに通信可能に結合した少なくとも１つのネットワークインターフェイスがある。他の例において、マルチメディアサーバは、プリンタシャシー上にアクセス可能に配置されたディスプレイにデータを表示するウェブブラウザをさらに有する。

他の形態において、本発明はマルチメディアサーバを内蔵したプリンタで使用するマルチメディアコンテントを処理する方法を提供する。本発明による上記の方法の一実施形態は、マルチメディアコンテントの処理を実行するステップと、基準に基づきコンテント選択を出力するステップとを有する。本発明による方法の他の実施形態は、基準に基づきコンテント選択のインデックス文書を生成するステップをさらに含む。他の方法の実施形態は、基準に基づき時間ベースのマルチメディアコンテントをモニターするステップをさらに有する。

図１は、本発明の実施形態による内蔵されたマルチメディアサーバ１０４を有するプリンタ１００を示す図である。プリンタ１００は以下の構成要素を有する：プリントエンジン１４０等の様々な構成要素のためのハウジングを提供するプリンタシャーシ１０２；マルチメディアサーバ１０４とローカルメモリ１０８を備えるマザーボード１０６；この例ではマルチメディアコンテントデータのデータベース１１６を記憶するメモリハードディスクとして示されている不揮発性記憶デバイス１１４；プリンタシャーシ１０２上のアクセス可能な少なくとも１つの入力デバイス１５２；プリンタシャーシ１０２上のアクセス可能なディスプレイ１４８；プリンタシャーシ１０２を介してアクセス可能な少なくとも１つのメディアコンテントインターフェイス１３６；プリンタシャーシ１０２上のアクセス可能なスピーカ１５０；プリンタシャーシ１０２から取り外し可能な少なくとも１つのリムーバブル記憶媒体ホルダー１４２。

本実施形態において、プリントエンジン１４０はマザーボード１０６上のマルチメディアサーバ１０４に通信可能に結合されている。プリントエンジン１４０は、プロセッサ１６６、ローカルメモリ１６４、および少なくとも１つのメディアフォームリーダ・ライタ１５６を有する。プロセッサ１６６は汎用コンピュータプロセッサでもよい。メディアフォームリーダ・ライタ１５６の例としては、DVDリーダ・ライタ、CDリーダ・ライタ、SDリーダ・ライタ、オーディオカセットリーダ・ライタ、ビデオカセットリーダ・ライタ、フロッピディスクリーダ・ライタ、ZIPディスクリーダ・ライタ、フラッシュカードリーダ・ライタ、マイクロドライブリーダ・ライタ、メモリスティックリーダ・ライタなどである。読み書きする媒体の他の例は、紙、プラスチックシート、磁気ストライプ、その他のリムーバブル記録メディアデバイスに好適なタイプのものである。本実施形態において、印刷すべき選択されたコンテントは、マルチメディアサーバ１０４によりローカルメモリ１６４にダウンロードされる。他の実施形態において、マルチメディアサーバ１０４は、コンテントデータを転送するために、メディアコンテントインターフェイス１３６によりアクセス可能である。例えば、メディアコンテントインターフェイス１３６はブロードバンドネットワークインターフェイスを含むこともできる。このブロードバンドネットワークインターフェイスを通して、ラップトップやパーソナルデジタルアシスタント（PDA）等の外部コンピュータデバイス１５４が、時間ベースのメディアデータを受信・送信することができる。この例において、少なくとも１つのリムーバブル記録メディアホルダー１４２が、印刷処理のためにプリントエンジン１４０により制御される。例えば、プリントエンジン１４０は読み書きするため、メディアの位置決めを制御する。リムーバブルメディアホルダー１４２の例は、１以上のリムーバブル記録メディアを搭載するように構成されたトレイや弾帯である。

プリンタシャーシ上のアクセス可能なディスプレイ１４８は、マルチメディアサーバ１０４に通信可能に結合しており、その制御の下でデータを表示する。他の実施形態において、ディスプレイ１４８はプリントエンジン１４０にも通信可能に結合しており、その制御の下でデータを表示する。ユーザ入力デバイス１５２はマルチメディアサーバ１０４に通信可能に結合しており、コンテントベースの処理のユーザの嗜好と基準を表すことができる入力を受信する。入力デバイス１５２は以下の例の１以上を含むことができる：ポインティングデバイス、ボタン、タッチスクリーン、マイクロホン付き音声認識システム、キーパッド、キーボード、その他のいかなる好適な入力デバイスでもよい。他の例において、デバイス１５２はプリントエンジン１４０にも通信可能に結合しており、コピー枚数等の印刷プロセスを制御するためのユーザ入力を受信する。他の例において、マルチメディアサーバ１０４がユーザ入力をすべて取り扱ってもよい。

マルチメディアサーバ１０４は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせにより実施することができる。好ましくは、マルチメディアサーバ１０４に関連したソフトウェアは、プリントエンジン１４０内のプロセッサ１６６とは異なるプロセッサで実行されても良い。汎用コンピュータプロセッサを使用してもよい。マルチメディアサーバ１０４は、マルチメディアコンテント処理を実行し、マルチメディアコンテントのデータベース１１６を管理する。マルチメディアサーバ１０４は、少なくとも１つのメディアコンテントインターフェイス１３６を介してメディアコンテントソース１５４から、異なるフォーマットでメディアの異なるタイプ、特に時間ベースのマルチメディアコンテントデータのコンテントデータを受信するために、通信可能に結合している。また、マルチメディアサーバ１０４は、少なくとも１つのメディアコンテントインターフェイス１３６を介してメディアコンテントレシーバ１５４に、異なるフォーマット、特に時間ベースのマルチメディアコンテントデータで異なるタイプのメディアのコンテントデータを送信することができる。好ましくは、メディアコンテントインターフェイス１３６はブロードバンドネットワークインターフェイスを含む。サーバ１０４が実行可能なマルチメディア処理の一例は、１つのフォーマットでコンテントデータを受信し、リムーバブル記憶メディアに出力するため、またはデータベース１１６に他の形で記憶するため、または例えば他の記憶場所へのネットワークインターフェイス等のメディアコンテントインターフェイス１３６に中継するために、他のフォーマットにコンテントデータを変換することである。例えば、プリンタ１００がブルートゥースデバイスから情報を受信したとき、アノトペン（Anoto pen）のように、サーバ１０４はそのデータをデータベース１１６にポータブルドキュメントフォーマット（PDF）として保存するか、もしくはユーザのホームコンピュータに後でダウンロードするため、他の記憶場所にネットワークインターフェイス１３６を介してPDFとして転送する。上記の転送機能は、ブルートゥースビデオカメラ、ブルートゥースインターフェイスも有するカメラ付き携帯電話、他のブルートゥース搭載デバイス等にとって非常に便利である。データの転送は、プリンタ上のタッチパネルインターフェイス１５２により制御されるので、記憶されたデータをバッチ再送信するため、またはデータが記録されている間にライブ再送信のために行うことができる。

図示した実施形態において、マルチメディアサーバ１０４はメディアコンテントプレゼンタ１５８を有する。このメディアコンテントプレゼンタ１５８は、例えば、ディスプレイ１４８上にテキスト、写真、図表などの静止したコンテントを表示できるソフトウェア等、ディスプレイ１４８上にビデオデータを表示できるソフトウェア・ハードウェア等、スピーカ１５０を介してオーディオデータを再生できるソフトウェア・ハードウェア等である。

メディアコンテントインターフェイス１３６は、時間ベースデータを含むマルチメディアデータのための様々なフォーマットを収容するように設計されている。メディアデータには非常に多くの種類とフォーマットがあるので、メディアコンテントインターフェイス１３６はいろいろな形態を取りうる。以下はメディアコンテントインターフェイス１３６の様々な異なった例である。プリンタ１００を実施するときは、このうちの１つまたは一部を有していれば良い。１つの例は、例えばコンピュータネットワークのような、ネットワークを介してデータを受信するネットワークインターフェイスである（例えば、社内ネットワーク、インターネット、または他のコンテント取得ソース（例えば、携帯電話、テレビレシーバ、衛星、またはGPSレシーバ）からのデータを仲介するコンピュータコネクション）。このインターフェイスは、USB、シリアル、ファイアワイヤ、SCSI、IDE、RJ11、光、コンポジットビデオ、コンポーネントビデオ、Sビデオ、あるいは他の好適な接続タイプなどを用いてデバイスを接続するためのポートを有していても良い。メディアコンテントインターフェイスは、コンポジットビデオソースからのデータにアクセスするためのフレームグラバを含むこともできる。他の例において、トランスコーダをコンポジットビデオソースからのデータにアクセスするために使用してもよい。１つの例において、トランスコーダはMPEG-2ファイルをリアルタイムでストリーマブルフォーマットに変換するハードウェアとして実施される。上記ハードウェアの例は、Abocom HA2500マルチメディアゲートウェイ（www.abocom.com）に搭載されているVia TechnologiesのMPEGエンコーディングチップである。同じトランスコーディング機能をソフトウェアで実現することもできる。インターフェイス１３６の他の例は、VGAポートからデジタル形式のデータに変換するNTSCコンバータを含む。インターフェイス１３６の他の例は、マイクロホンからのアナログ音声信号をデジタルフォーマット（例えばストリーミングフォーマット）に変換するアナログ・デジタルコンバータを含む。アナログ・デジタルコンバータは、ビデオレコーダからデジタルフォーマットに直接画像を変換するために使用することもできるであろう。他の例において、インターフェイス１３６は、生のビデオデータを変換、符号化、圧縮するためのメディア処理システムを有していてもよい。

他の例において、インターフェイス１３６は、ペンベースのデータ取得システムおよびペン取得モジュールからデータを受信するためのUSBポートを有しても良い。一実施形態において、ペン取得モジュールは超音波ペン取得ハードウェアを含み、マルチメディアサーバ１０４はその超音波ペン取得システムとインターフェイスするロジックを含む。超音波ペン取得システムは、InkLinkにより提供されているものがあり、http://www.siibusinessproducts.com/products/link-ir-p.htmlに記載されている。

インターフェイス１３６の他の実施形態は、１以上のワイヤレス通信インターフェイスを含んでもよい。例えば、ブルートゥース、802.11標準、802.15標準、802.16標準、衛星通信等のRFインターフェイス、３G、４G、GPRS等の形態ネットワーク通信を含んでも良い。ワイヤレスの他の例は赤外（IR）インターフェイスである。

メディアコンテントインターフェイスのより多くの例は、2004年3月30日に出願した「Printer Having Embedded Functionality for Printing Time-Based Media」(Attorney Docket No.20412-08340)という名称の米国特許出願を参照されたい。この出願はそっくりそのまま参照援用する。上記米国特許出願には、時間ベース媒体の印刷が可能な多機能プリンタが開示されている。受信した時間ベースのメディアデータに基づき、関係する電子的出力と同様に紙または他の印刷された出力をする。印刷された出力および電子的出力は、時間ベースのメディアの表示を提供する。プリンタの所望のアプリケーションに応じて、メディアデータを受信し、印刷出力を印刷し、電子的出力を作るメカニズムのいかなる組み合わせを含んでも良い。

図１は、プリンタ１００が選択的に１以上の内蔵データ取得モジュール１６８を含むことができることを示している。データ取得デバイスの例としては、現実世界のイベントの信号を受信または観測するイベントセンサ（例えば、モーションディテクタまたはサウンドディテクタ）、ビデオレコーダ、デジタルカメラ、フィルムベースカメラ、マイクロホン、あるいは信号レシーバ等がある。信号レシーバの例としては、携帯電話機、衛星レシーバ、テレビ受像機等がある。データ取得モジュール１６８は、その出力データをマルチメディコンテントデータベース１１６に記憶するために好適な形態に、例えば変換、符号化、圧縮するために、メディアコンテントインターフェイス１３６に通信可能に結合している。データ取得モジュール１６８は、データをデータベース１１６に記憶するために好適な形態で出力するとき、マルチメディアサーバ１０４と通信可能に結合していても良い。

内蔵されたデータ取得デバイスのより多くの例は、2004年3月30日に出願した「Printer Having Embedded Functionality for Printing Time-Based Media」(Attorney Docket No.20412-08340)という名称の米国特許出願を参照されたい。この出願はそっくりそのまま参照援用する。

図２は、本発明の一実施形態によるプリンターに内蔵されたマルチメディアサーバ１０４の機能的ソフトウェアアーキテクチャを示す図である。コンテント処理機能の例を実行するソフトウェア部分の様々な例が示されている。実施において、マルチメディアサーバ１０４は、これらのタイプのソフトウェア部分の１つまたは一部だけを有していても良い。マルチメディアサーバ１０４はイベントハンドラ２３２を含む制御部２１４ソフトウェア部分を有する。この制御部２１４は、以下のソフトウェア部分と通信可能に結合している：アプリケーションソフトウェア部分２０２、データベースマネージャ２０４、コンテントインデックシングソフトウェア部分２０８、ユーザインターフェイスソフトウェア部分２１０、ウェブサーバ１１０としてここでは示されているネットワークインターフェイスマネージャ、ストリーミングデータプレーヤ１５８を含むストリーミングサーバ１１２、ウェブブラウザ１６０、コンテント編集部分２１８、スケジューリングソフトウェア２２０、マルチメディア相関ソフトウェア２２２、マルチメディアフォーマット変換ソフトウェア部分２２４、マルチメディアコンテント検索ソフトウェア部分２２６、マルチメディアコンテント認識ソフトウェア部分２２８、およびマルチメディア圧縮ソフトウェア部分２３０。説明のため、これらのソフトウェア部分の各々は、直接または間接的に他のソフトウェア部分により呼び出されることができ、他のソフトウェア部分を呼び出すこともできる。例えば、スケジューリングソフトウェア部分２２０はストリーミングサーバ１１２を呼び出すことができ、入力パラメータに基づきビデオクリップセグメンテーションなどの特定のタスクを実行するため、特定のアプリケーション２０２はマルチメディアコンテント編集ソフトウェア２１８を呼び出すことができる。

制御部２１４ソフトウェア部分は、マルチメディアサーバ１０４の中央管理ポイントを提供する。そのイベントハンドラ２３２は、一例として、他のソフトウェア部分から通知（例えばメッセージの形態で）を受けるアプリケーションプログラミングインターフェイス（API）、またはイベントの生起を表示するインターフェイスとして実施することができる。例えば、ユーザインターフェイスソフトウェア２１０は、ユーザ入力デバイス１５２からの入力またはディスプレイ１４８からの入力を処理する。ディスプレイ１４８には、タッチスクリーンが含まれていてもよく、またはマウスやスタイラス等のポインティングデバイスを有していても良い。ユーザインターフェイスソフトウェア２１０は入力をイベントハンドラ２３２に転送し、イベントハンドラ２３２はその入力を適当なソフトウェア部分に転送する。さらにまた、ユーザインターフェイスソフトウェア２１０は、例えば、ウェブサーバ１１０のウェブブラウザ１６０等の他のソフトウェア部分から受信した命令またはデータに応じて、表示を更新する。他の例において、スケジューリングソフトウェア２２０は、コンテント選択を印刷する指定時刻になったか、その時刻にすぐなることをイベントハンドラ２３２に通知する。イベントハンドラ２３２はデータベースマネージャ２０４に通知し、データベースマネージャ２０４はローカルメモリ１０８のコンテント選択を検索する。制御部２１４は、プリントエンジン１４０にメッセージを送り、プリントエンジン１４０が指定時刻に指定媒体上にコンテント選択を印刷する。

データベースマネージャ２０４は、コンテントセレクションを記憶し、検索し、またコンテント選択を特定しそれに関連する命令を維持するために各コンテント選択に関連するメタデータを生成する。コンテント選択の例としては、ビデオファイル、オーディオファイル、テキストファイルなどがある。

アプリケーション２０２はユーザが作ったアプリケーションでもよい。

コンテントインデックシング部分２０８は、紙の文書等のように印刷することができるコンテントインデックス文書を生成する。インデックス文書は、オーバーヘッドプロジェクタ用の透明シート、フィルム、スライド、キャンバス、ガラス、ステッカ、その他のマーキング可能な媒体等の有形媒体上に印刷することもできる。ユーザは紙による表示を容易に見ることができる。コンテントインデックス文書に含まれる情報は、ユーザまたはアプリケーションにより設定された基準に基づく様々な形態をとることができる。コンテントインデックス文書に表示できる情報の例としては、データベース１１６またはマルチメディアサーバ１０４のローカルメモリ１０８に記憶されている１以上のカテゴリのコンテント選択、検出されたイベント、イベントの予定表、コンテント中のキーデータの場所、コンテントに関する手続き（例えば、ソースと受信者間の中継手続き）等の情報がある。一例において、インデックス文書は、紙に印刷されたオーディオクリップまたはビデオクリップ等のマルチメディアコンテントの一部を含む。他の情報を含んでもよく、例えば、タイトル、参加者の名前、検出されたイベント（例えば、開かれたドア）、コンテント選択またはその一部のサイズである。他の例において、媒体上におけるクリップの場所をコンテント選択を読んでいるマルチメディアプレーヤに表示する各クリップのバーコードが含まれている。一例においては、フルレゾリューションのキーフレームのデジタルコンテントを完全に符号化したバーコードが提供されてもよい。他の例において、バーコードはオフラインで記憶されているバージョンへのリンクを提供することもできる。ビデオイメージを伴う紙の文書は、ビデオペーパー文書と呼ばれることが多い。オーディオイメージを伴う紙の文書は、オーディオペーパー文書と呼ばれることが多い。インデックス文書の様々な例、特にオーディオペーパーおよびビデオペーパーの例が、上記のビデオペーパー特許出願に示されている。

ウェブサーバ１１０は、ウェブブラウザ１６０またはネットワーク内のいかなるリモートウェブブラウザにもコンテントを提供し、マルチメディアサーバ１０４にワールドワイドウェブまたはインターネット上のホストへのアクセスを提供する。ユーザは、ディスプレイ１４８またはディスプレイ１４８に関連した入力デバイス１５２を介して選択することにより外部のウェブサイトにアクセスすることもできる。ユーザによる選択はサーバ１１０またはインターネット上の他のサーバに転送されてもよい。

ストリーミングサーバ１１２は、プレーヤ１５８の制御の下で、入力されるデジタルデータを表示用のストリーミングフォーマットにフォーマットする。ストリーミングサーバ１１２は、基準に基づきストリームデータをモニターする当のタスクを実行することもできる。この基準の例としては、イベントの検出や時間の経過がある。

マルチメディアコンテント編集部分２１８は、オーディオまたはビデオコンテント選択からクリップを切り取ったり、テキストを編集したりコンテント選択に音声やイメージを付加する等のタスクを実行する。

マルチメディア相関部分２２２は、時間、場所、参加者等の基準に基づきビデオコンテントとオーディオコンテントの相関を取る等のタスクを実行する。

マルチメディアフォーマット変換部分２２４は、あるフォーマットのコンテントを他のフォーマットに変換することに関係するタスクを実行する。例えば、テキストの一部をHTMLからストリーミングオーディオフォーマットの音声またはボイスXMLに変換することができる。同様に、衛星送信からのデータをDVDに印刷するためのストリーミングフォーマットで表すこともできる。

マルチメディア圧縮部分２３０は、データベースに記憶するためにコンテントを圧縮したり、リムーバブル記憶媒体（SD）に印刷し、後でプレーヤ１５８で再生するためにコンテントを解凍したりするサービスを実行する。

マルチメディアコンテント認識ソフトウェア部分２２８は、様々な形態のメディアの認識機能を実行する。例えば、オーディオコンテントのためには、音声シグネチャ等の音声マッチング方法や音声認識方法を適用することができる。手書きテキストのためには、手書き認識方法を含んでもよい。ビデオのためには、例えばシーンまたはフェイス認識方法を使用してもよい。

マルチメディアコンテント検索ソフトウェア部分２２６は、マルチメディアコンテントを検索する機能を実行する。例えば、テキスト検索を実行することができる。同様に、音声シグネチャは、認識された音声やフェイスまたは認識された視覚的イメージと同様に検索することができる。

以下の図面は、本発明によるプリンターに内蔵されたマルチメディアサーバによるマルチメディアコンテントを処理する方法の実施形態を示す。図示の目的だけのために、図示された実施形態による方法は、図１と２に示した実施形態によるシステムのコンテクストで説明されている。

図３は、本発明の一実施形態によるプリンタに内蔵されたマルチメディアサーバにより使用するマルチメディアコンテント選択を処理するコンピュータに実装された方法を示す。マルチメディアサーバ１０４は、マルチメディアコンテント処理を実行し（ステップ３０２）、基準に基づき選択されたコンテントのインデックス文書を生成する（ステップ３０６）。マルチメディアサーバ１０４は、基準に基づきコンテント選択を出力させる（ステップ３０８）。マルチメディアサーバは、プリントエンジンにリムーバブル媒体にコンテント選択を出力させるのに加えて、外部コンピュータ１５４等のネットワークまたはスピーカ１５０等の他の通信インターフェイスを介して付加されたデバイスにコンテント選択を出力する（ステップ３０８）。例えば、マルチメディアサーバ１０４は、超音波ペンシステムにより提供されたデータを記憶し、そのデータをデータベース１１６にコンテント選択として保存する。ユーザはその情報をディスプレイから選択し印刷させたり、電子メールとして送信することもできる。マルチメディア相関部分２２２は、手書きのコンテント選択を他のマルチメディアコンテントにリンクする。他のマルチメディアコンテントとは、例えば、ユーザが手書きするためにペンシステムを使用していた時にプリンタの近くで生起したイベントを含む。例えば、他人の音声またはビデオにより、署名に二人の証人がいることを示すことができる。生成されたインデックス文書のプリントアウトは、同時に記録されたこの他のマルチメディアコンテントへのリンクを提供するバーコードを含む。プリンタにこの機能を持たせることにより、別のPCにこの機能を持たせる必要がなくなり、便利である。

図４は、本発明の一実施形態によるプリンタに内蔵されたマルチメディアサーバにより使用される基準に基づくマルチメディアコンテント選択の方法を示す図である。ユーザインターフェイスソフトウェア部分２１０は、内蔵されたプリンタディスプレイ上にコンテント選択のリストを表示する（ステップ４０２）。例えば、マルチメディアデータベース１１６は、音楽カタログ、ビデオデータベース、映画データベース、デジタル写真カタログ、または１以上のこれらのメディアタイプの組み合わせを含むと考える。ユーザインターフェイスソフトウェア２１０は、ディスプレイ１４８上に、プリンタ１００に保存されている歌のリスト・ビデオ記録のリスト・映画のリスト・写真のリスト等をユーザに示すプリントダイアログボックスを表示する。ユーザは、それらの歌・ビデオ・映画・写真のいずれでも「プリント」するために選択することができる。コンテント選択を表示する入力（ステップ４０４）に応じて、プリンタにプリビュー機能があれば、ユーザインターフェイスソフトウェア２１０は、選択されたコンテントをプリビューのためのインジケータを表示する（ステップ４０６）。プリビューを要求することを表示するユーザ入力（ステップ４０８）に応じて、コンテント選択はそのタイプに適当な感覚的な形態で提供される（ステップ４１４）。例えば、もし歌が選択されプリビューが要求されたとき、イベントハンドラ２３２はストリーミングサーバ１１２にその歌を再生するように要求するメッセージを送る。ストリーミングサーバ１１２は、データベースマネージャ２０４にその歌を要求する。データベースマネージャ２０４は、その歌がストリームフォーマットで記憶されているデータベース１１６からその歌を検索する。受信すると、ストリーミングプレーヤ１５８は、その歌をリアルタイムでデジタル・アナログコンバータに流し込む。このデジタル・アナログコンバータのアナログ出力はスピーカ１５０に送られ、ユーザがその歌を聴くことができる。同様に、ユーザインターフェイスソフトウェア２１０は、リアルタイムでプレーヤ１５８から流し込まれた選択されたビデオまたは映画、ウェブサーバ１１０または写真処理アプリケーション２０２から転送された選択された写真をディスプレイ１４８に表示する。ユーザは、コンテント選択のプリビューの間に、マルチメディアコンテント編集ソフトウェア２１８を用いて、コンテント選択にマークまたは注釈等の編集をしたかも知れない。これらのマークまたは注釈等の編集は、ローカルメモリ１０８に一時的に記憶されている新しいバージョンのコンテント選択に保存することができる。ユーザが実行できるコンテント処理の他の例は、上記のメディアコンテント処理出願に記載されている。印刷しないというユーザ入力に応じて（ステップ４１３）、コンテント選択を印刷する行為はなされない（ステップ４１５）。出力するというユーザ入力に応じて（ステップ４１３）、コンテントインデックシングソフトウェア部分２０８はコンテント選択のインデックス文書を生成する（ステップ４１８）。インデックスペーパー文書は、マークされた部分のみまたはコンテント選択全体を表示することができる（上記のビデオペーパー特許出願を参照）。プリントアウトによれば短時間で便利にミーティング中の出来事を知ることができるが、デジタルメディアを再生することができるネットワーク接続からは離れている。

好ましい印刷媒体を示すユーザ入力に応じて（ステップ４１０）、マルチメディアサーバ１０４は、プリントエンジン（例えば、ローカルメモリ１６４）にその印刷媒体に好適なフォーマットでコンテント選択を送る。そのプリントエンジンは示された好ましい媒体上にコンテント選択を印刷する（ステップ４１６）。もしユーザ入力が好ましい媒体を示していないときは、マルチメディアサーバ１０４は、デフォルトの印刷媒体に好適なフォーマットでコンテント選択をプリントエンジンに転送し、プリントエンジンがコンテントのタイプに好適なデフォルト媒体にコンテント選択を印刷する（ステップ４１２）。歌のカタログの場合、印刷媒体の例としてはCDやカセットが使用できる。ビデオまたは映画の場合、印刷媒体の例としてはDVDやビデオカセットが使用できる。写真の場合、印刷媒体の例としては紙またはメモリスティックが使用できる。１つの例において、コンテント選択のデータベースは、例えばウェブサーバ１１０を介してウェブサイトからダウンロードすることによって、ネットワークインターフェイス１３６を介して更新することができる。これらの例は、コンビニエンスストアで見られるようにキオスク端末で使用すると非常に便利である。他の例において、データベースは（例えば、会社の記録された会議の）内部データベースに通信可能に結合している。また、内蔵されたデジタル写真カタログの例において、ユーザは、プリンタにネットワーク接続された別のコンピュータのスイッチを入れることなく、印刷する写真を選択し、または写真のインデックス文書を作ることができる。例えば、もしユーザがJPEG画像を印刷するたびにプリンタが自動的またはプリントダイアログボックスの制御の下にプリンタにJPEGのコピーを保存するとき、デスクトップコンピュータのスイッチを入れなくても、そのユーザは個人的な写真アーカイブを構築することができ、そのアーカイブを見ることができる。

図５は、本発明の一実施形態による内蔵されたマルチメディアサーバを有するプリンタで使用する時間ベースのデータコンテントをモニターする方法を示すフローチャートである。モニタリングソフトウェアであるストリーミングサーバ１１２は、例えば、時間ベースのメディアソースからのコンテントをモニターする（ステップ５０２）。コンテントインデックシングソフトウェア部分２０８は、基準に基づきモニターされているコンテントのログを示すインデックス文書を自動的に生成する（ステップ５０４）。基準はユーザによって定義されてもよいし、アプリケーション特定ソフトウェアによって生成されてもよく、ストリーミングサーバ１１２等のモニタリングソフトウェアにより処理されてもよい。例えば、ストリーミングサーバ１１２により提供されうる内蔵されたストリーミングビデオモニタリング機能を有するプリンタを考える。ユーザは、必要に応じて、新しいデジタル表示を（例えばインターフェイス１３６の一部としてアナログ・デジタルコンバータを用いて）生成するために、ストリーミングビデオソースがストリームデータの記憶可能な表示を構成するように、ストリーミングビデオソースをモニターするようにプリンタを構成し、おそらくビデオカード（例えば１５８）を介してストリームデータを表示し、アナログ出力を（例えばビデオレコーダ１６８を用いて）記録する。記録されたデータのログを示すプリントアウトが生成される。そのプリントアウトは、おそらくデジタルコンテントを完全に符号化した、またはそのオフラインの記憶場所へのリンクを提供するバーコードを含んでいても良い。マルチチャンネルストリーミングビデオをモニターする機能を有するプリンタの他の例を検討する。プリンタがストリームデータの記憶可能な表現を構成するように、１つ以上のストリーミングビデオソースを同時にモニターするようにユーザがプリンタを構成する。そのプリンタは、この例においては複数のプロセッサとインターネットリンクの広いバンド幅を持つ。必要であれば、そのストリームデータを１より多いビデオカードで再生し、新しいデジタル表現を生成するためにアナログ出力を記録する。各チャンネルから記録されたデータのログを示すプリントアウトが生成される。そのプリントアウトは、デジタルコンテントを完全に符号化したバーコードまたはオフラインの記憶場所へのリンクを提供するバーコードを含んでいても良い。他の例として、モニターされた時間ベースデータがストリームオーディオである実施形態を示す。この例において、ユーザは、監視システムやスキャナのように周期的にブロードキャストされるストリーミングオーディオをモニターするようプリンタを構成する。イベントセンサはモニタリングアプリケーション２０２が通知されたサウンドを検出してもよく、マルチメディアコンテント認識ソフトウェア２２８の一部である音声検出ソフトウェアを、例えば女性の声などであるサウンドのタイプを識別するために使用してもよい。セグメント化ソフトウェアなどのコンテント編集ソフトウェア２１８を、人々が話したときを示すペーパーインデックス文書を生成するために適用してもよい（ステップ５０４）。音声認識ソフトウェア２０８を使用したときは、その結果もそのペーパーインデックス文書に示されても良い。一例において、ペーパー文書は単なる印刷された動作のサマリーであり、バーコードのように記録のデジタルバージョンにアクセスする手段は含まない。他の例において、バーコードを含めても良い。他の例においては、プリンタは、デジタルデータを含むリムーバブル記憶媒体上にペーパー文書を印刷することもできる。バーコードは、リームーバブル媒体が挿入されたメディアプレーヤと、人々が話した時のセグメントの位置を示す。

他の実施形態において、マルチメディアサーバ１０４は、それが接続されているデスクトップPC等の外部コンピュータとの相互作用をモニターするよう動作する。例えば、PCからのビデオケーブルはまずプリンタ１００に行き、ここで信号はPCへ行くコピーとスクリーンキャプチャハードウェア１３６（例えばVGA）に行く他のコピーに分けられる。PC相互作用モニタリングアプリケーション２０２は連続するフレーム間の差を計算し、閾値を越える差をもつフレームをプリンタの補助記憶１１４に保存する。これにより上記処理をPCの負荷から取り除き、もって反応性とユーザの経験を向上し、ユーザの動作を容易に概観することができる記録を提供する。ユーザは選択されたフレームを印刷することもできる。プリンタのコンソール（例えば１５２）、クライアントPC１５４のダイアログボックス、またはプリンタディスプレイ１４８のボタンを押すことにより、またはスケジューリングソフトウェア２２０により示された時刻に、需要があればすぐにプリントアウトを作ることができる。このプリンタ１００は、コンテントの差異にかかわりなく所定時間（秒）ごとにフレームを選択することにより、ビデオファイルを作るように設定することも可能である。これによりユーザは自分がしたことをリプレイして見ることができる。フレーム間の差異は小さいので、マルチメディア圧縮ソフトウェア２３０により効率的に圧縮することも可能である。また、そのビデオをビデオ編集ソフトウェア２１８で編集することも可能である。ビデオペーパーをビデオファイルから生成することができる。

他の例において、キーボードとのユーザ相互作用を判断することもできる。一例において、ユーザはワイヤレスキーボードを持ち、プリンタはワイヤレスキーボードインターフェイス１３６を持つと仮定する。キーボードにより放射された信号を受信するハードウェアタップを備える。このタップにより、ユーザがタイプしたことをすべて記録する。各キークリックは、それを受信した時にタイムスタンプと共に記録される。ユーザの動作の時系列表示が構成され、印刷または表示することができる。ディスプレイは時間ギャップの様子を与えるパラメータにより制御されている。すなわち、その閾値より少ないキークリックは互いに隣り合って表示される。その閾値を超えるとディスプレイにキャリッジリターンが挿入される。よって、ユーザが普通の文書をタイプするとき、時系列はその文書のように見える。しかし、電話やおしゃべりのためにしばしばストップすると、時系列中のギャップはそのことを示すであろう。この表示は生産性モニタリングツールとしても使える。全文検索エンジンで検索できる便利なインデックスでもあり、「このパラグラフをいつタイプしたか？」や「いつ修正したか？」という質問に答える助けとなる。時間情報をVGAスクリーン取得などの他のソースからの情報と相関させることもでき、ユーザがそのパラグラフをタイプしたり修正したりした時に画面に表示していたものを見ることができる。

他の例において、開かれたファイル、起動されたアプリケーション、ブラウズされたURL、プリンタに送信されたファイルの名前と場所を示す識別子を、ネットワークインターフェイス１３６または他の有線または無線インターフェイス１３６を介して送信する追加的ソフトウェアをユーザのPC１５４にインストールすることもできる。コンテントインデックシングソフトウェア２０８またはPC相互作用アプリケーション２０２がこの情報を表示する、表示または印刷することができる文書を生成することができる。

他の例において、サーバ１０４はコンポジットビデオ信号を受け取るフレームグラバーのようなビデオカメラインターフェイス１３６を有する。カメラはプリンタ周辺の動作をモニターし、動作が閾値を超えたとき内部バッファ記憶１０８内のファイルにキーフレームまたはビデオクリップを保存する。この閾値は、連続するキーフレーム間の差異により定めることやビデオストリームから抽出されたクリップに適用されるものさしにより定めることができる。例えばクリップ長パラメータ（例えば30秒）を定める。ビデオ取得ハードウェア１３６により別のクリップが３０秒ごとに自動的に保存される。そのファイルは閉じられ、クリップの取得が続く。最後に取得したクリップを検査し保存すべきか判断するデーモンプロセス（例えば２０２）に信号が送られる。そのデーモンは、クリップが取得された後N時間起きているように、スケジュールすることができる。これにより、たとえ何も動きが検出されなくても、起こったすべてのことを見ることができる。モニタリングアプリケーション２０２には、最初はすべてを保存するように（スケジューリングソフトウェア２２０がトラックできる）減衰ファクターを組み込むことができる。その後、モニタリングアプリケーション２０２は、まったく動きがなければクリップを削除する。時間が経過するにつれ、より大きな動きを伴うクリップを削除する。その結果、残ったクリップはその期間の主要な動作を示す。例えば、プリンタの周りに立っている人物が取得することになっているプリントアウトについて争っている様子を示す。デスクトッププリンタにおいて、最初に、オフィスに誰もいないことを示すクリップを削除する。次にユーザがPCに向かって座りタイプしている様子を示すクリップ（小さな動き）を削除し、その後ユーザが電話を取るため動く様子を削除するであろう。その結果、残ったクリップにはオフィスに入ったり出て行ったりする訪問者を示す。この技術は強盗をモニターするツールとして使用することができる。このシステムは検出した重要なイベントのキーフレームとそのビデオクリップをさすバーコードを示すビデオペーパーを出力することができる。

他の例において、プリンタはその周囲で起こったことを聞くことができる。プリンタ１０４はオーディオ取得インターフェイス（例えば、マイクロホン１６８やマイクロホンのコネクタとオーディオカード１３６）を持つ。データはプリンタに記録され、プリンタ１００、例えば内部のウェブサーバ１１０から時間により検索できるようにタイムスタンプが押される。ワークグループの設定ではこの機能はプリンタ周辺の会話を記録することができる。プリントアウトを出力トレイから取っていく音などのサウンドを記録することもできる。デスクトッププリンタにおいて、この機能によりプリンタはユーザと訪問者、またはユーザが他の人と電話で話している会話をモニターすることができる。キークリック、電話のベル、プリンタ自身が紙を出力するときのノイズを認識するようにプリンタを構成することもできる。プリンタは取得したオーディオを集約したオーディオまたはビデオペーパープリントアウトを生成することができる。

他の例において、プリンタ１００は、発信または着信した電話番号や電話の内容そのものをモニターすることもできる。プリンタ１００にはRJ-11１３６（２つのコネクタ−１つはラインイン、もう1つはデスク上の電話機につながっている）が設けられている。これにより、プリンタは電話の内容を取得し、発信した番号を記録し、コーラーIDにより知ることができる番号を記録できる。オーディオ取得ハードウェア（例えば、マイクロホン１６８とオーディオ・ツー・デジタルコンバータ１３６）があれば、この機能によりプリンタは電話を記録することができる。プリンタはビープ音を出して、話者に記録がされていることを知らせることができる。いかなる場合にも、このプリンタ１００は、電話がかけられた時刻、通話の時間、電話番号、記録された会話を指すバーコードなどを示す電話ログを作ることができる。

もちろん、これらのPC相互作用モニタリング機能は組み合わせることができ、データをビデオまたはオーディオペーパー文書等のコンテントインデックス文書に相関させることができる。

図６は、本発明の一実施形態によるマルチメディアサーバを内蔵したプリンタで使用する時間ベースのデータコンテントを編集する方法を示すフローチャートである。マルチメディアコンテント編集ソフトウェア部分２１８は、基準に基づきコンテントの一部を選択し（ステップ６１８）、選択された部分に基づきインデックス文書を自動的に生成する（ステップ６２０）。

図７と８は、本発明の一実施形態による方法の例を示すフローチャートであり、各々は記録されたミーティングを分析するために特に便利である。一例において、アプリケーション２０２は、１つ以上のこれらの実施形態の実施を制御する命令を含んでも良い。

図７は、本発明の一実施形態による、マルチメディアサーバを内蔵するプリンタで使用される、ユーザが定めた基準に基づきビデオコンテント選択を印刷する方法の一例を示す。ここで、その基準は異なる人物が話始める時間を示す各クリップである。

３６０°ミーティングレコーダとマルチチャンネルオーディオ入力を用いて記録された時間ベースのコンテントデータをプリンタ１００が受け取る例を考える。制御入力２１４は、３６０°入力とマルチチャンネルオーディオ入力で記録されたビデオを検索する（ステップ６０２）。ミーティングレコーダアプリケーション２０２はマルチメディアコンテント認識２２８を起動し、どの参加者が話者であるかを判断するために、オーディオ入力に音声認識方法を適用する（ステップ６０４）。また、ミーティングレコーダアプリケーション２０２または認識ソフトウェア２２８は、どの参加者が話者であるかを判断するため、オーディオ入力と３６０°入力に基づき音源特定方法を適用できる（ステップ６０６）。

ビデオの時間軸と音声認識および音源特定方法の結果に基づき、異なる人物が話し始める時間を示すクリップにビデオをセグメント化する（ステップ６０８）するために、ミーティングアプリケーション２０２はコンテント編集ソフトウェア２１８を起動する。コンテクストインデックシングソフトウェア部分２０８は、異なる人物が話し始めるごとに、印刷された音声認識結果と同様にキーフレームを示すインデックス文書を生成する（ステップ６２０）。

図８は、本発明の一実施形態による、マルチメディアサーバが内蔵されたプリンタで使用する、ユーザが定めた基準に基づきビデオコンテント選択を印刷する方法の一例を示すフローチャートである。ここで、その基準は、各クリップがその場所で一人の人物が話している時間を示すものである。ミーティングビデオが、オーディオ音源の特定を最適化するように設計されたマイクロホンの既知の構成から作られた別のマルチチャンネルオーディオトラックを含む他の例を考える。制御部２１４は、音源特定を最適化するように設計された構成から作られた別のマルチチャンネルオーディオトラックを含むビデオを読み込む（ステップ７０２）。ユーザインターフェイス部分２１０は、プリンタのシャシーに内蔵されたユーザ入力デバイスから興味位置を示すユーザ入力を受け取る（ステップ７０４）。ユーザ入力に基づき、ミーティングレコーダアプリキーション２０２か認識ソフトウェア２２８のいずれかが、その興味位置の人物が話しているときを判断するために、オーディオトラックに基づき、音源特定方法を適用する（ステップ７０６）。ビデオの時間軸と音源特定結果に基づき、各クリップが人物がその位置で話しているときを示すクリップにビデオをセグメント化するために、ミーティングアプリケーション２０２がコンテント編集ソフトウェア２１８を起動する。コンテントインデックシングソフトウェア部分２０８は、キーフレームを示し選択されたクリップのバーコードも含むことができるインデックス文書を生成する（ステップ６２０）。

図９は、本発明の一実施形態によるマルチメディアサーバを内蔵したプリンタで使用する、ユーザが定めた基準に基づくビデオコンテント選択を印刷する方法の一例を示すフローチャートである。ここで、その基準とは、各クリップが参加者がビデオ選択に移っている時間を示すものである。そのコンテントの参加者等のエンティティの存在を特定またはカタログ化するためにプリンタが時間ベースコンテントを編集する他の例を考える。この方法は、エンティティ特定アプリケーション２０２で実施することができる。制御部２１４は、ビデオを記憶装置から読み出し（ステップ８０２）、ビデオ中でインデックスすべき参加者を示すユーザ入力を読み出す（ステップ８０４）。エンティティ特定アプリケーション２０２または認識ソフトウェア２２８は、参加者の外見を特定するため、各フレームでフェイス認識方法を実行する（ステップ８０６）。認識ソフトウェア２２８は、その参加者が話しているフレームを特定するため、各フレームに音声マッチング方法を実行する（ステップ８０８）。ビデオの時間軸、フェイス認識および音声マッチングの結果に基づき、エンティティ特定アプリケーション２０２は、各クリップがその参加者が話しているまたはビデオに写っている時を示すようにビデオをクリップにセグメント化するために（ステップ８１０）、コンテント編集ソフトウェア２１８を起動する。コンテントインデックシングソフトウェア部分２０８は、その参加者の存在を示している選択されたクリップを示すまたは参照しているインデックス文書を生成する（ステップ６２０）。与えられた参加者の登場をリストするプリントアウトを生成することもできる。アプリケーションの一例として、テレビ番組を「印刷」したり、与えられた俳優が登場するすべての場面のリストを作ることができる。

図１０は、本発明の一実施形態によるマルチメディアサーバを内蔵したプリンタで使用される、ユーザが定めた基準に基づきビデオコンテント選択を印刷する方法の一例を示す図である。ここで、この基準は、各クリップが一人の人物がビデオ中で話している時間を示すものである。オーディオチャンネルのイベントに基づき、プリンタが時間ベースの媒体をクリップに自動的にセグメント化する他の例を考える。例えば、誰かが話すたびに、その人物が話し始める３０秒前から話し終わる３０秒後までにわたるクリップをそのシステムは構成する。誰も何もしゃべらない時間が長く、視界にいる誰かが何かをしゃべる時間が短い監視ビデオを「印刷」するのに便利である。この方法は、イベント検出アプリケーション２０２で実施することができる。制御部２１４は記憶装置からオーディオチャンネルを含むビデオを読み出す（ステップ９０２）。オーディオチャンネルの時間軸、オーディオイベントの検出に基づき、イベント検出アプリケーション２０２は、ビデオをクリップにセグメント化して（ステップ９０４）、各クリップが一人の人物が話し始めるまたは他のオーティオイベントが生起する３０秒前から、その人物が話すことをやめるまたはそのオーディオイベントが終了する３０秒後までの時間を各クリップが示すために、コンテント編集ソフトウェア２１８を起動する。もちろんこの方法は、イメージ取得デバイスの視界における変化等の他のイベントの検出に適用可能である。

ミーティングではしばしばプレゼンテーションが行われるので、本発明の他の実施形態によるマルチメディアサーバが内蔵されたプリンタにおいて使用される、取得したプレゼンテーションから編集する方法は、補完的であるが、もちろん独立的にも使用可能である。この方法は、図２の実施形態におけるプレゼンテーション取得アプリケーション２０２において実施可能である。プリンタ１００がVGA・ツー・NTSC変換ハードウェア１３６とオーディオ取得機能１６８、１３６を持つ例を考える。ユーザはプリンタの片側にラップトップを接続し、反対側にプロジェクタを接続する。プリンタ１００は、プレゼンテーション取得ソフトウェア２０２が最後に取得したフレームを比較するか、またはそれらを比較させ、異なるフレームを保持するのと同じ速さでビデオフレームを取得する。並行するオーディオトラックも保存される。このプレゼンテーション取得機能は、プリンタに接続されたPC上で作ったプレゼンテーションを記録するために、デスクトッププリンタでしようすることもできる。例えば、プレゼンテーションの練習をしている人が潜在的ユーザとなる。この機能は、例えばプログラミングをしている間等のクリティカルな時間にPCでの動作を記録するために使用可能である。これらの機能をプリンタに負担させることにより、PCの計算負荷を非常に下げることができる。コンテントインデックシングソフトウェア２０８は、そのフレームおよびユーザがフレームに関連したオーディオを再生できるようにするバーコードを示すビデオペーパープレゼンテーションを作る。プリンタは、オーディオそのものを提供することができ、それを携帯電話やPDAで再生可能なSDディスクのようなデジタル媒体に書き込むことができる。オーディオは二次元バーコードに書き込むこともできる。これらの機能をプリンタに組み込むことにより、便利で使いやすいプレゼンテーションレコーダを提供することができる。

他のバージョンにおいて、プリンタはその周辺の人々のビデオを受けることができる。この例において、ユーザはプリンタの近くでプレゼンテーションしているか、または自分のPCを操作している。これにより非常に多くの情報を記録に追加することができる。データはプリンタに保存される。キーフレームはビデオストリームから選択され、ビデオペーパープリントアウトへ付加される。

図１１は、本発明の一実施形態によるマルチメディアサーバを内蔵したプリンタで使用する、印刷を指示されたコンテント選択内の参照されたマルチメディアコンテントを取得する方法の一例を示す図である。このコンテクストにおいて図示した例は、印刷のために受信した文書（例えばポストスクリプトファイル）から自動的にURLを抽出するプリンタである。図１の実施形態において、ウェブサーバ１１０は、URLの参照されたコンテントをフェッチし、例えばHTMLをPDFに変換して印刷可能な表示を構成する。マルチメディアサーバ１０４は、例えばリコーのスマートネール技術を用いて、プリンタのディスプレイ１４８上に表示するのに適したまたは特化した、例えばウェブページ等の参照されたコンテントのサムネールイメージを構成する。ディスプレイ１４８は、プリンタ１００が出力トレイにあると特定した文書のリストユーザに提示する。ユーザは自分の文書を選び、事前にフェッチされたその場で印刷可能な参照URLのリストを提示される。

マルチメディアサーバ１０４はイベントを受信し（ステップ１００２）、関連動作（ステップ１００４）を実行するために適当なソフトウェア部分に受信したイベントを送る。マルチメディアサーバ１０４は、印刷のために特定された文書を受け取る（ステップ１００６）。サーバは、オンラインコンテントを参照するためにその文書を検索する。URLはこの例で使用される参照の例である。サーバ１０４は、その文書から各URLを抽出し（ステップ１００８）、ウェブサーバ１１０は各URLからコンテントを読み出す（ステップ１０１０）。マルチメディアサーバ１０４は、各URLの読み出されたコンテントの印刷可能な表示を構成し（ステップ１０１２）、各印刷可能表示を内蔵されたプリンタディスプレイ１４８のディスプレイに好適な各ディスプレイ識別子に関連させる（ステップ１０１４）。一組の読み出されたコンテントに関連した文書が選択された（ステップ１０１６）というイベントに応じて、マルチメディアサーバ１０４は内蔵されたプリンタディスプレイ１４８上の文書に関連するディスプレイ識別子を表示する（ステップ１０１８）。関連するディスプレイ識別子の選択に応じて（ステップ１０２０）、マルチメディアサーバ１０４は、プリントエンジン１４０に示された媒体に読み出したコンテントの印刷可能表示をプリントするよう指示する（ステップ１０２２）。関連する文書がすでに利用不能であるとの通知に対して（ステップ１０２４）、マルチメディアサーバ１０４は、ディスプレイ１４８を更新し、出力トレイにある文書の表示されたリストから文書を削除する（ステップ１０２６）。

図１２は、本発明の一実施形態によるマルチメディアサーバを内蔵したプリンタで使用する、印刷されたコンテント選択が出力ホルダから取り除かれたかどうかを判断する方法の例を示す図である。この例において、トレイにある文書とトレイから取り除かれた文書の推定は重さにより行われる。本実施形態の出力トレイは、トレイにある紙の重さを測る重量計（図示せず）を含むからである。これにより、出力トレイにある紙の枚数を推定する。ユーザが紙を取り出したとき、重さの変化がわかる。プリンタのところに来たユーザに提示される文書の選択はN時間後に無効となる。ユーザが１つの文書を取り出したが他の文書をトレイに残しているとき、最善の推測がハイライトされるかリストのトップに動かされるように選択のリストが修正される。例えば、一人のユーザが１０ページの文書を印刷し、他のユーザが５ページの文書を印刷したとき、出力トレイには１５ページ分の重さが加わっている。５ページの文書が引き出されると、１０ページ分の重さとなる。これにより、プリンタは５ページの文書にあるURLを表示すべきであると推定できる。

再び、マルチメディアサーバ１０４はイベントを受信し（ステップ１００２）、関連動作を実行するため（ステップ１００４）受信したイベントを適当なソフトウェア部分に送る。較正要求を受けると（ステップ１１０６）、マルチメディアサーバ１０４は、出力された媒体の単位数の重さに出力トレイのスケールを合わせる（ステップ１１０８）か、またはプリントエンジン１４０に合わせるように指示する（ステップ１１０８）。文書の印刷開始の通知を受信すると（ステップ１１１０）、プリントエンジン１４０は出力トレイの重さの変化を判断し（ステップ１１１２）、その重さの変化を文書の重さの変化として関連づける（ステップ１１１４）。マルチメディアサーバは、関連する文書が出力トレイにあることを通知され、文書をピックアップするタイムアウトウィンドウのタイマーをセットする（ステップ１１１６）。出力トレイの出力された媒体の重さの減少の通知を受けると（ステップ１１１８）、プリントエンジン１４０またはサーバ１０４のいずれかで実行されるソフトウェアが、トレイにあると特定されたどの文書が最も近い重さをもつか判断し（ステップ１１２０）、マルチメディアサーバ１０４が決定された文書内のURLから読み出されたコンテントのディスプレイ識別子を表示する（ステップ１１２２）。タイムアウトウィンドウが経過するのに応じて（ステップ１１２４）、マルチメディアサーバは出力トレイ中の文書の表示されたリストからその文書を削除する（ステップ１１２６）。

他の実施形態において、プリンタ１００は内蔵されたテキスト・ツー・スピーチシステムを有する。これにより、目が不自由な人に、例えばTTS機能などの補助を提供できる。ユーザインターフェイス１５２には、テキスト文書を読み上げることを要求するボタンを含めても良い。他の実施形態において、プリンタ１００は、文書を読み上げるように要求する音声命令を受けるためのマイクロホン１６８を含む。テキスト・ツー・スピーチソフトウェアは、スピーカ１５０に送信されるオーディオバージョンの文書を生成することができる。テキストファイルまたはウェブページを印刷するユーザは、プリンタのところへ行き、コンテントが印刷またはプレビューされている間にそのコンテントを聞くことができる。このシステムの出力は、プリントダイアログボックスでプレビューすることができる。他の例において、マルチメディアサーバ１０４はネットワークされた外部コンピュータ１５４にオーディオバージョンを配信することができる。

他の実施形態において、テキスト・ツー・スピーチソフトウェアはペーパープリントアウトを生成すると決定する前に、プリンタの前に立っている間にまたはネットワークされたコンピュータで、文書のサマリーを読み上げることができる。このシステムの出力は、プリントダイアログボックスでプレビューすることもできる。

本発明の実施形態の上記の説明は例示の目的で提供されたものである。ここに開示した詳細で本発明を説明し尽くすことも、本発明をこれらに限定することも意図したものではない。当業者には、上記の教示に照らせば多くの変更やバリエーションが可能であることが分かるであろう。本発明の技術的範囲は、この詳細な説明ではなくここに添付した特許請求の範囲によって限定されるものである。

本発明の実施形態によるマルチメディアサーバを内蔵したプリンタを示す図である。 本発明の実施形態によるプリンタに内蔵されたマルチメディアサーバの機能的ソフトウェア構成を示す図である。 本発明の実施形態によるプリンタに内蔵されたマルチメディアサーバにより使用されるマルチメディアコンテント選択を処理する方法を示す図である。 本発明の実施形態によるプリンタに内蔵されたマルチメディアサーバにより使用される基準に基づくマルチメディアコンテント選択を印刷する方法を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される時間ベースコンテントをモニターする方法を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される時間ベースデータコンテントを編集する方法を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される、ユーザが決めた（各クリップが異なる人物がしゃべり始める時間を表す）基準に基づきビデオコンテント選択を印刷する方法の例を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される、ユーザが決めた（各クリップが一人の人物がその場所で話している時間を表す）基準に基づきビデオコンテント選択を印刷する方法の例を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される、ユーザが決めた（各クリップが関係者がビデオ選択に出ている時間を表す）基準に基づきビデオコンテント選択を印刷する方法の例を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される、ユーザが決めた（各クリップが一人の人物がビデオの中で話している時間を表す）基準に基づきビデオコンテント選択を印刷する方法の例を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される、印刷のために指定されたコンテント選択中の参照されたマルチメディアコンテントを捕捉する方法の例を示す図である。 本発明の実施形態による内蔵されたマルチメディアサーバを有するプリンタにより使用される、印刷されたコンテント選択が出力フォルダから削除されたかどうかを判断する方法の例を示す図である。

符号の説明

１００ プリンタ
１０２ プリンターシャシー
１０４ マルチメディアサーバ
１０６ マザーボード
１０８ ローカルメモリ
１１４ メモリハードディスク
１１６ マルチメディアデータベース
１３６ メディアコンテントインターフェイス
１４０ プリントエンジン
１４２ リムーバブル記憶メディアホルダー
１４８ ディスプレイ
１５０ スピーカ
１５２ ユーザ入力デバイス
１５４ メディアコンテントソース・レシーバ
１５６ メディアフォームリーダ・ライタ
１５８ メディアコンテントプレゼンタ
１６４ ローカルメモリ
１６６ プロセッサ
１６８ データ取得モジュール
１１０ ウェブサーバ
１１２ ストリーミングサーバ
１５８ プレーヤ
１６０ ウェブブラウザ
２０２ アプリケーション
２０４ データベースマネージャ
２０８ コンテントインデックシング
２１４ 制御部
２１０ ユーザインターフェイス
２１８ コンテント編集
２２０ スケジューリング
２２２ マルチメディア相関
２２４ マルチメディアフォーマット変換
２２６ マルチメディアコンテント検索
２２８ マルチメディアコンテント認識
２３０ マルチメディア圧縮
２３２ イベントハンドラ

Claims (27)

1. マルチメディアサーバが組み込まれたプリンタであって、
   ハウジングのシャシーと、
   媒体ホルダに結合した、リムーバブル記憶媒体形態を含む複数の記憶媒体形態への印刷を制御するプリントエンジンと、
   前記プリントエンジンに通信可能に結合した、複数タイプの媒体コンテントのインターフェイスにインターフェイスするマルチメディアサーバと、前記マルチメディアサーバに通信可能に結合した、マルチメディアコンテント選択のデータベースを記憶する不揮発性メモリと、
   前記プリンタシャシー上にアクセス可能に配置され、前記マルチメディアサーバに通信可能に結合したユーザ入力デバイスとを有することを特徴とするプリンタ。
2. 請求項１に記載のプリンタであって、
   前記プリンタシャシー上にアクセス可能に配置され、前記マルチメディアサーバに通信可能に結合された、前記マルチメディアサーバの制御の下でデータを表示するディスプレイをさらに有することを特徴とするプリンタ。
3. 請求項１または２に記載のプリンタであって、
   前記媒体インターフェイスは、前記マルチメディアサーバに通信可能に結合した好くなくとも１つのネットワークインターフェイスを含み、
   前記マルチメディアサーバは、前記ネットワークインターフェイスに通信可能に結合したウェブブラウザを含み、
   前記ディスプレイは、前記ウェブブラウザの制御の下でデータを表示することを特徴とするプリンタ。
4. 請求項２に記載のプリンタであって、
   前記マルチメディアサーバは、時間ベースのマルチメディアデータのためのメディアコンテントプレゼンタをさらに有することを特徴とするプリンタ。
5. 請求項１に記載のプリンタであって、
   前記プリントエンジンは、電子的記憶媒体のためのリムーバブル記憶媒体フォーマットライタをさらに有することを特徴とするプリンタ。
6. 請求項５に記載のプリンタであって、
   前記媒体フォーマットライタは、デジタルビデオディスク（DVD）ライタであることを特徴とするプリンタ。
7. 請求項１に記載のプリンタであって、
   前記プリントエンジンは、光記憶媒体のためのリムーバブル記憶媒体フォーマットライタをさらに有することを特徴とするプリンタ。
8. 請求項１に記載のプリンタであって、
   前記媒体インターフェイスは、ビデオデータインターフェイスを含むことを特徴とするプリンタ。
9. 請求項１に記載のプリンタであって、
   前記媒体インターフェイスは、オーディオデータインターフェイスを含むことを特徴とするプリンタ。
10. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、ペンデータインターフェイスを含むことを特徴とするプリンタ。
11. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、ビデオ取得モジュールを含むことを特徴とするプリンタ。
12. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、オーディオ取得モジュールを含むことを特徴とするプリンタ。
13. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、ペン取得モジュールを含むことを特徴とするプリンタ。
14. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、ネットワークインターフェイスを含むことを特徴とするプリンタ。
15. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、ワイヤレス通信インターフェイスを含むことを特徴とするプリンタ。
16. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、USBポートを含むことを特徴とするプリンタ。
17. 請求項１に記載のプリンタであって、
    前記媒体インターフェイスは、RJ11ポートを含むことを特徴とするプリンタ。
18. 請求項１に記載のプリンタであって、
    前記媒体ホルダーの少なくとも１つはリムーバブル記憶媒体をホールドするように構成された弾帯（bandolier）であることを特徴とするプリンタ。
19. 請求項１に記載のプリンタであって、
    前記マルチメディアデータベースは、音楽カタログを有することを特徴とするプリンタ。
20. 請求項１に記載のプリンタであって、
    前記マルチメディアデータベースは、ビデオデータベースを有することを特徴とするプリンタ。
21. 請求項１に記載のプリンタであって、
    前記マルチメディアデータベースは、映画を有することを特徴とするプリンタ。
22. 請求項１に記載のプリンタであって、
    前記マルチメディアデータベースは、デジタル写真カタログを有することを特徴とするプリンタ。
23. マルチメディアサーバを内蔵したプリンタにおいてマルチメディアコンテントを処理する方法であって、
    マルチメディアコンテント処理を実行するステップと、
    基準に基づきコンテント選択を出力するステップとを有することを特徴とする方法。
24. 請求項２３に記載の方法であって、
    基準に基づきマルチメディアコンテントをモニターするステップを有することを特徴とする方法。
25. 請求項２３に記載の方法であって、
    基準に基づきコンテント選択にインデックスを付するステップと、
    前記コンテント選択のインデックス文書を生成するステップを有することを特徴とする方法。
26. 請求項２３に記載の方法であって、
    マルチメディアコンテント選択のデータベースを維持するステップを有することを特徴とする方法。
27. 請求項２３に記載の方法であって、
    ユーザが定めた基準に基づきマルチメディアコンテント選択を印刷するステップを有することを特徴とする方法。

Images