JP2006101521A - 入力メディアオブジェクトの視覚的表現を決定する方法、コンピュータプログラム及びデータ処理システム - Google Patents

Abstract

【課題】 マルチメディア情報の視覚的表現をデザインする装置を提供すること。
【解決手段】 入力マルチメディアオブジェクトの視覚的表現を決定する反復的なデザインプロセスの技法が使用される。一群のエンコードパラメータに基づいて１以上の視覚的表現が入力メディアオブジェクトから決定される。一群のデコードパラメータに基づいて入力メディアオブジェクトは１以上の視覚的表現から作成される。１以上の視覚的表現及び／又は第２のメディアオブジェクトがユーザに表示されてもよい。１以上の視覚的表現及び／又は第２のメディアオブジェクトが許容可能か否かの指示が受信される。１以上の視覚的表現及び／又は第２のメディアオブジェクトが許容可能でないならば、一群のエンコードパラメータ及び一群のデコードパラメータの少なくとも１つにおける少なくとも１つのパラメータが変更される。１以上の視覚的表現及び第２のメディアオブジェクトが許容可能であると判定されるまで、上記の手順が反復される。
【選択図】 図１

Description

本発明は、一般にマルチメディア情報処理システムに関し、特に入力メディアオブジェクトから決定される視覚的表現をデザイン（設計）する方法及び装置に関する。その視覚的表現は入力メディアオブジェクトを構築するために使用可能である。

コンピュータの急速な成長により、増加する大量の情報は電子的な（又はディジタル的な）書類の形式で保存されつつある。これらの電子書類はマルチメディア情報を含むマルチメディア書類を含む。「マルチメディア情報」なる用語は１種類以上の情報から構成されてもよい情報に言及するために使用される。１つ又は複数の種類（タイプ）は何らかの統合された形式でもよい。例えばマルチメディア情報はテキスト情報、図形情報、動画情報、サウンド（音声）情報、映像情報等の組み合わせを含んでもよい。マルチメディア情報は１以上のメディアオブジェクトより成る情報に言及するためにも使用され、１以上のメディアオブジェクトは異なるタイプの情報を含む。例えばマルチメディア情報に含まれるメディアオブジェクトは、テキスト情報、図形情報、動画情報、サウンド（音声）情報、映像情報等から構成されてもよい。マルチメディアオブジェクトの一例は時間変化する情報を含む映像である。例えばその映像はある期間にわたる一連のキーフレームを含んでもよい。

一般的にはメディアオブジェクトは電子ストレージ（記憶装置）に格納される。そしてユーザ゛がそのメディアオブジェクトに含まれているマルチメディア情報を再生することを希望する場合に、電子ストレージのメディアオブジェクトがアクセスされる。電子ストレージにメディア情報を格納することは便利でないことがしばしばある。例えば電子ストレージにアクセス可能な装置が利用可能でないかもしれない。また、電子ストレージ装置は携帯可能でないかもしれないし、容易に動かせないかもしれない。従って電子ストレージ装置に格納されたメディアオブジェクトにアクセスすることが常に可能であるとは限らない。従ってユーザがメディアオブジェクトを再生する場所は制限されてしまうかもしれない。例えば、メディアオブジェクトがコンピュータのハードドライブに格納されていることに起因して、ユーザは彼又は彼女のデスクトップコンピュータ上でメディアオブジェクトを再生することだけに制約されてしまうかもしれない。

一般的な表示媒体は紙である。例えば紙に写真がしばしば表示されるのは、その高解像度性、取り扱いの容易性、持ち運びやすさ及び何らの電力も消費しないこと等に起因する。マルチメディア情報を紙に表現する１つの試みはマルチメディア情報をフリップブックに印刷することである。フリップブックは連続的な紙面に印刷された様々なマルチメディア情報を含む。従ってユーザがその多数の紙をパラパラとめくると、あたかもマルチメディア情報が再生されたかのようにそれが現れる。

フリップブックは多くの欠点を含む。例えばこれらの本を作成するのに大量の紙が使用される。更にフリップブックをめくることがマルチメディア情報を理解しづらくするかもしれない。更にフリップブックは図形のマルチメディア情報を表現することだけを意図している。従って音声のような情報はフリップブックで表現できない。

入力マルチメディアオブジェクトの視覚的表現を作成する方法は、本願基礎出願と共に出願された“METHOD FOR ENCODING MEDIA OBJECTS TO STILL VISUAL REPRESENTATION”と題する米国特許出願第 号に記載されており、及びマルチメディアオブジェクトを作成するために視覚的表現をデコードする方法は、本願基礎出願と共に出願された“METHOD FOR DECODING AND RECONSTRUCTING MEDIA OBJECTS FROM A STILL VISUAL REPRESENTATION”と題する米国特許出願第 号に記載されている。視覚的表現の作成は多くのパラメータの組み合わせを利用して実行できる。

本発明の課題はマルチメディア情報の視覚的表現をデザインする装置及び方法を提供することである。

概して本発明はメディアオブジェクトの視覚的表現を判定する反復的なデザインプロセスに関連する。

一実施例では入力マルチメディアオブジェクトの視覚的表現を決定する方法が使用される。一群のエンコードパラメータに基づいて１以上の視覚的表現が入力メディアオブジェクトから決定される。一群のデコードパラメータに基づいて入力メディアオブジェクトは１以上の視覚的表現から作成される。１以上の視覚的表現及び／又は第２のメディアオブジェクトがユーザに表示されてもよい。１以上の視覚的表現及び／又は第２のメディアオブジェクトが許容可能か否かの指示が受信される。１以上の視覚的表現及び／又は第２のメディアオブジェクトが許容可能でないならば、一群のエンコードパラメータ及び一群のデコードパラメータの少なくとも１つにおける少なくとも１つのパラメータが変更される。１以上の視覚的表現及び第２のメディアオブジェクトが許容可能であると判定されるまで、上記の手順が反復される。

一実施例では、入力メディアオブジェクトの視覚的表現を決定する方法が使用される。本方法は：（ａ）一群のエンコードパラメータに基づいて入力メディアオブジェクトから１以上の視覚的表現を決定するステップ；（ｂ）一群のデコードパラメータに基づいて１以上の視覚的表現から出力メディアオブジェクトを生成するステップ；（ｃ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを示す指示を受信するステップ； （ｄ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能でないことを前記指示が示す場合に、一群のエンコードパラメータ及び一群のデコードパラメータより成る群から選択されたようその少なくとも１つのパラメータを変更するステップ；（ｅ）１以上の視覚的表現又は第２のメディアオブジェクトが許容可能であることを示す指示が受信されるまでステップ（ａ）−（ｄ）を実行するステップ；を有する。

別の実施例では、入力メディアオブジェクトの第1の視覚的表現及び第２の視覚的表現を決定する方法が使用される。本方法は：（ａ）第1情報に基づいて入力メディアオブジェクトから第1の視覚的表現を決定するステップ；（ｂ）第２情報に基づいて入力メディアオブジェクトから第２の視覚的表現を決定するステップ；（ｃ）第1及び第２の視覚的表現から出力メディアオブジェクトを生成するステップ；（ｄ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能か否かを示す指示を受信するステップ；（ｅ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能でないことを前記指示が示す場合に、第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトが許容可能であることを指示が示すまで、新たな第1の視覚的表現、新たな第２の視覚的表現及び新たな出力メディアオブジェクトより成る群から選択された要素を生成するようにステップ（ａ）−（ｄ）を実行するステップ；を有する。

本願で開示される発明の性質及び利点についての更なる理解は明細書の残りの部分及び添付図面を参照することによってなされるであろう。

本発明の実施例は入力メディアオブジェクトを第1及び第２の視覚的表現にエンコードする方法及び装置を与える。第1及び第２の視覚的表現は以後出力メディアオブジェクトを構築するためにデコードされる。第1及び第２の視覚的表現を決定するインタラクティブデザインプロセスも与えられる。上記のことは、エンコーディング、デコーディング及びインタラクティブデザインプロセスの複数のセクションで説明される。

［エンコーディング］
図１は本発明の一実施例による入力メディアオブジェクトをエンコードするシステム１００を示す。図示されるように、エンコーダ１０２は入力メディアオブジェクトを受信し、第1情報に基づく第1の視覚的表現１０４及び第２の情報に基づく第２の視覚的表現１０６を出力する。

第1及び第２情報が図示されているが、いかなる数の情報群が決定されてもよいことは理解されるべきである。以下に説明されるように、第1の視覚的情報１０４は第1情報から決定され、第２の視覚的情報１０６は第２情報から決定される。入力メディアオブジェクトから決定されるどのような情報量でもそれからいかなる数の視覚的表現が決定されてもよいことが理解されるべきである。例えば、複数の映像表現が第1情報だけに基づいて作成されてもよいし、１つの映像表現が第1，第２，．．．，第Ｎ情報等に基づいて作成されてもよい。

メディアオブジェクトはいかなる時変情報を含んでもよい。時変情報は時間の経過と共に変わる情報である。例えば時変情報はマルチメディア情報を含んでもよい。マルチメディア情報は映像、イメージ、音声、テキスト、図形、動画情報等を含んでもよい。一例では、メディアオブジェクトは、フレーム形式の又は任意的な形式のビデオ、音声、動画、図形等でもよい映像シーケンスを含んでもよい。当業者は他のメディアオブジェクト例も認識するであろう。

エンコーダ１０２は入力メディアオブジェクトから第1及び第２情報を判定するよう構築される装置ならどれでもよい。第1及び第２情報が説明されるが、いかなる数の情報が判別されてもよいことは理解されるべきである。例えば第３情報が決定され、以下に説明されるような視覚的表現を形成するために使用されてもよい。一実施例ではエンコーダ１０２はＭＰＥＧ−４エンコーダ、フラッシュエンコーダ、ＭＰＥＧ−２エンコーダ、スピーチ−テキスト変換器等に含まれる技術を利用してもよい。

一実施例では、第1情報は入力メディアオブジェクトから決定されるいかなる情報を含んでもよい。第1情報はリファレンス（参照物）として機能する。リファレンスは、出力メディアオブジェクトを作成するために第２情報が適用可能な情報である。例えば第1情報は画像ベースのリファレンス情報でもよい。画像形式のリファレンス情報は入力メディアオブジェクトから判定される静止画像ビットでもよい。例えば画像形式のリファレンス情報は入力メディアオブジェクトから抽出された１以上のキーフレームでもよい。第1情報は音声情報から判定されたテキスト情報でもよい。

一実施例では第1情報はメディアオブジェクトから１つ又は複数のキーフレームを選択することで決定されてもよい。例えば、キーフレームは、動画像アニメーションの第1フレームとして選択されてもよいし、或いはアニメーションをエンコードするのに必要な第２情報（例えば、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）又は予測誤差）が最小になるように選択されてもよい。

第２情報は入力メディアオブジェクトから決定されるどのような情報でもよい。例えば第２情報は出力メディアオブジェクトを作成するために第1情報に適用される情報でもよい。例えば第２情報はバイナリ又はサイドチャネル情報のような動き情報でもよい。第２情報は、第1情報を用いて出力メディアオブジェクトを構築するのに使用される情報でもよい。例えば動き情報が画像ベースのリファレンス情報を処理するために使用されてもよい。

一実施例では第２情報は何らかの標準的な又は専有的な符号化されたビットストリーム（ＭＰＥＧ−４、フラッシュウインドウズメディア等）に類似するビットストリームを含んでもよい。第２情報はキーフレームをどのように登録するか（その解像度、印刷される大きさ、カラーヒストグラム、背景色、クロマキーカラー等）、動きベクトル、予測誤差、サイド（ｓｉｄｅ）情報、デコーダ情報（例えば、ビットストリームをどのようにデコードするかを説明する情報）、記述子（例えば、ＭＰＥＧ−７その他のプロプラエタリ記述子）、音声、ハイパーリンク等についての情報を含んでもよい。

第1の視覚的表現１０４は第1情報に基づいて決定される。例えば第1情報がキーフレームである場合に、そのキーフレームは第1の視覚的表現１０４として使用されるかもしれない。また、視覚的表現を生成するために第1情報が更なるエンコードを必要とするフォーマットである場合には、更なるエンコードが実行される。例えば第1情報がＪＰＥＧフォーマットである場合に、その情報は視覚的表現にエンコードされてもよい。第1情報に情報が付加されてもよい。例えば第1の視覚的表現１０４を特定するのに使用されるマーカーが付されてもよい。

第２の視覚的表現１０６は第２情報に基づいて決定される。第２の視覚的表現１０６は第２情報がコンパクトな形式にエンコードされるように決定されてもよい。例えば第２情報はバーコードのような機械読み取り可能な形式にエンコードされてもよい。第２の視覚的表現１０６はベクトルダイヤグラムのような他の視覚的表現でもよいし、第２情報にデコードされる他の視覚的表現でもよい。

第1及び第２の視覚的表現１０４，１０６は表示される場合の静止画像でもよいし、媒体に印刷されてもよい。従って入力メディアオブジェクトの時変情報は静的な画像形式にエンコードされる。静止画像は、時変情報を含む出力メディアオブジェクトを構築するために使用され、以下に詳細に説明される。

一実施例では入力メディアオブジェクトは動画像又はアニメーションでもよい。第1情報はキーフレームでもよく、第２情報はそのキーフレームを処理するために使用される処理情報でもよい。第1の視覚的表現１０４の具体例は第1情報から決定されたキーフレーム表現を含む。第２の視覚的表現１０６はバーコードのような処理情報の機械読み取り可能なコンパクトな表現でもよい。

第２の視覚的表現１０６の情報は第1の視覚的表現１０４を操作（処理）するために使用される。例えば第２の視覚的表現１０６はエンコードされた情報を含むバーコードでもよく、その情報はキーフレームの動き、アニメーション及び／又は予測誤差情報のどれでもそれを決定するのに使用される。更に出力メディアオブジェクトの最終的な解像度及び一時的なサンプリングは第２の視覚的表現１０６にエンコードされてもよい。

別の実施例では入力メディアオブジェクトは音声情報でもよい。第1情報は楽譜ノートの音声情報でもよく、第２情報は楽器の指示のような出力メディアオブジェクトを生成するために第1情報に適用される情報でもよい。第1の視覚的表現１０４の具体例は音声情報から認識される楽譜ノートの記述でもよい。第２の視覚的表現１０６の具体例はバーコードでもよい。第1の視覚的表現１０４は音声情報を生成するのに使用されてもよい。例えば楽譜ノート認識又は光学式文字認識（ＯＣＲ）を用いて楽譜ノートが捕捉されてもよい。バーコード中の情報は例えばオーディオ情報を再生するのにどの楽器が使用されるべきか、オーディオ情報を再生するキー等を含んでもよい。第２の視覚的表現１０６は楽譜ノートを演奏するのに使用されるべき楽器の記述でもよい。第1及び第２の視覚的表現１０４，１０６は、音楽ノートの音声情報を含む出力メディアオブジェクトを構築するのに使用されてもよい。

更に別の実施例では入力メディアオブジェクトはオブジェクトの映像又はアニメーションでもよい。第1情報はオブジェクトのワイヤフレームの情報でもよい。第２情報は出力メディアオブジェクトを構築するためにワイヤフレームに適用可能なフェースアニメーション（ｆａｃｅ ａｎｉｍａｔｉｏｎ）パラメータでもよい。第1の視覚的表現１０４は画像の３−Ｄワイヤフレームでもよい。第２の視覚的表現１０６はエンコードされたフェースアニメーションパラメータを含むバーコードでもよい。第1の視覚的表現１０４は統合されたテクスチャマップでもよく、その統合されたテクスチャマップは剥がされる及び平らに重ねられた何者かの皮のように見える特殊画像である。従ってバーコードからデコードされるアニメーション情報は３−Ｄワイヤフレームを会話する頭部のように動かすために使用される。従って第1及び第２の視覚的表現１０４，１０６は会話する頭のメディアオブジェクトを構築するのに使用されてもよい。

別の実施例では入力メディアオブジェクトは動く画像でもよい。第1情報は動かされる画像のキーフレームから細分されたオブジェクトの画像でもよい。第２情報は背景情報、付加的なアニメーション情報等のようなオブジェクトの画像に適用される情報でもよい。第1の視覚的表現１０４はオブジェクトの画像でもよい。第２の視覚的表現１０６は、エンコードされた背景情報、付加的なアニメーション情報、テキスト等を含むバーコード表現でもよい。第1及び第２の視覚的表現１０４，１０６は出力メディアオブジェクトを作成するのに使用される。

当業者は生成可能な視覚的表現の他の例も認識するであろう。他の具体例は以下で更に詳細に説明される。

図２は視覚的表現を作成する本発明の一実施例による方法の概略フローチャート２００を示す。ステップ２０２では入力メディアオブジェクトがエンコーダ１０２で受信される。１つのメディアオブジェクトが受信されるように説明されるが、エンコーダ１０２はメディアオブジェクトをいくつでも受信してよいことが理解されるべきである。一実施例では入力メディアオブジェクトを区別する情報が受信されてもよい。例えばメディアオブジェクトの記憶装置の場所又は識別子がユーザにより指定される。メディアオブジェクトはその後にエンコーダ１０２で検索され及び受信されてもよい。

ステップ２０４では第1及び第２情報が入力メディアオブジェクトから決定される。入力メディアオブジェクトは第1情報を決定するために分析されてもよい。例えば上述したように基準フレームがメディアオブジェクトから判定されてもよい。上述したように第２情報は第1情報を処理するのに使用される情報である。

ステップ２０６では第1の視覚的表現１０４が第1情報に基づいて作成され、第２の視覚的表現１０６が第２情報に基づいて作成される。視覚的な表現はいくつでも作成されてよいことが理解されるべきである。例えば視覚的表現は第1情報からいくつでも作成されてよいし、視覚的表現は第２情報からいくつでも作成されてよい。第1及び第２情報の双方から１つの視覚的表現が作成されてもよい。

ステップ２０８では第1及び第２の視覚的表現１０４，１０６が媒体に出力される。一実施例では出力は印刷することでもよいし、格納すること等でもよい。例えば第1及び第２の視覚的表現１０４，１０６は紙媒体に印刷されてもよい。第1の視覚的表現１０４は紙媒体の第1の場所に印刷されてもよいし、第２の視覚的表現１０６は紙媒体の第２の場所に印刷されてもよい。更に別の実施例では第1及び第２の視覚的表現１０４，１０６は電子媒体に格納されてもよい。例えば第1及び第２の視覚的表現１０４，１０６はジェイペグ（ＪＰＥＧ）画像として格納されてもよい。当業者は視覚的表現を含むことができる適切な他の例も認識するであろう。

第1及び第２の視覚的表現１０４，１０６は出力メディアオブジェクトを構成するのに使用できる。出力メディアオブジェクトはステップ２０２で受信した入力メディアオブジェクトと実質的に同様でもよい。出力メディアオブジェクトはいくらかの情報損失に起因してステップ２０２で受信した入力メディアオブジェクトと厳密に同じでなくてもよく、実質的に同様でもよい。例えばキーフレームを表示又は印刷するのに使用されるビット数は出力メディアオブジェクトにて入力メディアオブジェクトより少なくてもよく、その理由はエンコード及びデコードの処理中に情報が失われることに起因する。また、何らかの情報が出力メディアオブジェクトに付加されてもよい。例えばステップ２０２で受信した入力メディアオブジェクトは音声及び映像を含むが、その視覚的表現から構築される出力メディアオブジェクトは音声、映像及びテキストの情報を含んでもよい。出力メディアオブジェクトを生成するプロセスが以下に更に詳細に説明される。

一実施例では付加的な情報がストレージ装置に格納されてもよい。付加的な情報は出力メディアオブジェクトを作成するのに使用されてもよい。例えば情報は第1及び第２の視覚的表現１０４，１０６からデコードされてもよい。この情報は出力メディアオブジェクトを構築するのに十分かもしれない。しかしながら、ストレージ装置の付加的な情報がアクセス可能なら、それが出力メディアオブジェクトを構築するのに使用されてもよい。例えば付加的な情報は解像度情報、テキスト、動きベクトルその他の情報（出力メディアオブジェクトを作成するために第１の視覚的表現１０４に適用可能な情報）を含んでもよい。付加的な情報は出力メディアオブジェクトを生成するのに必須ではないが品質を改善するのに使用される情報でもよい。例えば付加的な情報は出力メディアオブジェクトの解像度を増やすために使用されてもよい。

図３は視覚的表現を媒体に出力する本発明の一実施例によるシステム３００を示す。図示されるようにシステム３００はエンコーダ１０２、第1の視覚的表現１０４、第２の視覚的表現１０６、出力装置３０６及び媒体３０８を有する。

図示されるように入力メディアオブジェクト３０９がエンコーダ１０２で受信される。一実施例では入力メディアオブジェクト３０９はビデオカメラ３１１で取得した映像である。一実施例では映像はビデオカメラ３１１からエンコーダ１０２にダウンロードされる。図示されるように映像は３つの映像のキーフレーム３１０−１乃至３１０−３を含む。

エンコーダ１０２はメディアオブジェクト３０９の情報に基づいて第１の視覚的表現１０４及び第２の視覚的表現１０６を作成するように構成される。例えばエンコーダ１０２はキーフレーム画像からの情報として第1情報を決定する。例えば第1情報は第1フレーム３１０−１からの情報でもよい。

第２情報はメディアオブジェクト３０９から決定される動き情報でもよい。動き情報は第1のキーフレーム３１０−１から決定された第1情報を処理するために使用される。

一実施例では第1の視覚的表現１０４は第1情報に基づいて生成される。例えば第1の視覚的表現１０４はキーフレーム３１０−１の画像でもよい。これはリファレンスフレームとして使用される。

第２の視覚的表現１０６は１以上のバーコード画像でもよい。バーコード画像はエンコードされた動き情報を含んでもよく、その情報は第1の視覚的表現１０４のリファレンスキーフレーム画像を処理するのに使用されてもよい。

第1の視覚的表現１０４及び第２の視覚的表現１０６は出力装置３０６に送付される。一実施例では出力装置３０６はプリンタを含む。プリンタは第1の視覚的表現１０４及び第２の視覚的表現１０６を紙のような媒体３０８に印刷するように構成される。他の出力装置３０６が使用されてもよいことが理解されるべきである。例えば出力装置３０６は、コンピュータ装置や複写機等でもよく、第1の視覚的表現１０４及び第２の視覚的表現１０６からＪＰＥＧその他の電子画像を生成するように構成される。

第1の視覚的表現１０４は媒体３０８上の第1の場所に位置付けられ、第２の視覚的表現１０６は媒体３０８上の第２の場所に位置付けられる。それらは図示されているように位置付けられているが、別の場所にそれらが位置付けられてもよいことは理解されるべきである。例えば第２の視覚的表現３０２の別の区画が第1の視覚的表現１０４の隅の付近に設けられてもよい。第1及び第２の視覚的表現１０４，１０６を設ける様々な手法が以下に説明される。

第1及び第２の視覚的表現１０４，１０６に加えて、付加的な情報３１２が媒体３０８に出力されてもよい。図示されるように付加的な情報は絵３１３及び文字３１４を含む。付加的な情報３１２はメディアオブジェクト３０９から決定されてもよい。別の実施例では付加的な情報３１２はメディアオブジェクト３０９からは決定されず、別のソースから加えられてもよい。例えばバースデーカードが第1及び第２の視覚的表現１０４，１０６により生成されるべきことを示す情報が受信されてもよい。付加的な情報３１２を含むバースデーカードのテンプレートが使用され、第1の視覚的表現１０４及び第２の視覚的表現１０６がそのテンプレートに付け加えられてもよい。

図４は本発明の一実施例によるエンコードプロセスの概略フローチャートを示す。図示されるようにステップ４０２では入力メディアオブジェクトの表現が判定され、その表現は第1情報及び第２情報の２つの部分に分解される。一実施例では第1情報は画像形式のリファレンス情報であり、第２情報は２進のサイド情報でもよい。２進のサイド情報は画像形式のリファレンス情報を用いて出力メディアオブジェクトを構築するのに必要とされる情報である。

一実施例では第２情報は画像形式のリファレンス情報を含む。画像形式のリファレンス情報は視覚的表現を構築するのに使用可能であり、更なるエンコードは必要とされない。第1情報はステップ４０６として記述される印刷ステップに送られる。しかしながら第２情報は２進サイド情報であり、第２のエンコードステップを要する。

ステップ４０４では第２情報が印刷可能であって機械読み取り可能なフォーマットにエンコードされる。例えば第２情報はバーコードのように印刷可能な形式で良好に表現される２進情報でもよい。２進情報はベクトル図や数値的キャラクタ等のような他の視覚的表現として表されてもよい。一実施例ではステップ４０４で使用されてもよいエンコーダ１０２はバーコードエンコーダを含む。

ステップ４０４の出力は第２情報の印刷可能であって機械読み取り可能なフォーマットである。バーコードは第２情報からその後に作成されてもよい。一実施例ではバーコードは視覚的にコンパクトな形式に表現されるのでそれが使用される。バーコードはバーコードリーダーにより読み取られ、２進のサイド情報に変換される。

ステップ４０６では第1情報に基づく第1の視覚的表現１０４及び第２情報に基づく第２の視覚的表現１０６が印刷される。印刷することが説明されるが、視覚的表現を出力する他の方法が使用されてもよいことが理解されるであろう：例えば映像表現のＪＰＥＧ画像又はＰＤＦ書類が生成されてもよい。

図５は第1及び第２の視覚的表現１０４，１０６を生成する本発明の一実施例による方法の概略フローチャート５００を示す。図５は構成される入力メディアオブジェクトがフレーム形式の映像である場合のエンコードプロセスを示す。説明される画像圧縮はモーションピクチャーエキスパートグループ−４（ＭＰＥＧ−４）であるが；ＭＰＥＧ−２又は他の任意のフレーム形式のエンコードプロセスのような他のエンコードプロセスが使用されてもよいことが理解されるべきである。

ステップ５０２では映像クリップが受信され、ＭＰＥＧ−４ビットストリームを生成するために、あるリファレンスフレームでＭＰＥＧ−４エンコードが実行される。ＭＰＥＧ−４エンコードは映像クリップをＭＰＥＧ−４ビットストリームにエンコードする。更にリファレンスフレームはその映像クリップから決定される。リファレンスフレームは別の方法で決定されてもよい。例えばリファレンスフレームはユーザにより選択されてもよい。ユーザは映像を見てもよいし、リファレンスフレームとして使用されるべき映像のフレームを選択してもよい。また、映像の最初のフレームが使用されてもよい。更に、エンコードに要する第２情報量（例えば動きベクトルや予測誤差等）が最小になるようにリファレンスフレームが選択されてもよい。例えば出力メディアオブジェクトを生成するために最小の動きが付加されるようにリファレンスフレームが選択されてもよい。選択方法は使用されるエンコード動作（例えばＭＥＰＧ−２，フラッシュ等）に依存して異なってもよい。

エンコードはリファレンスフレームに対するＭＰＥＧ−４ビットストリーム及び情報を出力する。リファレンスフレームの情報は後の処理のためにバッファ５０４に送られる。リファレンスフレームの情報は上述したように第1情報になってもよい。

ステップ５０６ではリファレンスフレームを表現するビットがＭＰＥＧ−４ビットストリームに拡張される。リファレンスフレームを表現するビットは以後ステップ５０８で破棄される。リファレンスフレームを表現するビットのないＭＰＥＧ−４ビットストリームが「ＭＰＥＧ−４ビットストリーム^＊」として言及される。ＭＰＥＧ−４ビットストリーム^＊は上述した第２情報を表現してもよい。リファレンスフレームビットは破棄され、その理由はそれらはリファレンスフレームの視覚的表現からデコードされ、ＭＰＥＧ−４ビットストリーム^＊で必要とされないからである。

ステップ５１０ではＭＰＥＧ−４ビットストリーム^＊のビット数（Ｎ）が決定される。ステップ５１２ではＮがあるビット数以下であるか否かが判定される。そのビット数はどのようなビット数でもよく、調整されてもよい。例えばそのビット数はＢＢＩＴＳ＋ＨＢＩＴＳに等しくてもよい。

ＢＢＩＴＳはＭＰＥＧ−４ビットストリーム^＊の視覚的表現の中にあるべき望ましいビット数である。視覚的表現中のビット数は第２の視覚的表現１０６がどの程度多くの情報を含むべきかに依存して制限されてもよい。例えば視覚的表現中のビット数はその視覚的表現のサイズに対応してもよい。すなわち、視覚的表現中のビット数が多くなればなるほど、視覚的表現が大きくなる。視覚的表現の所望のサイズに依存して、ＢＢＩＴＳがそれに応じて調整されてもよい。

ＨＢＩＴＳはヘッダに必要なビット数である。ヘッダはアプリケーションに固有の情報を含む。例えばヘッダはデコーダで認識される固有の識別子でもよい。ヘッダはＭＰＥＧ−４ビットストリーム^＊に含まれなくてもよいことが認識されるべきである。

ＮがＢＢＩＴＳ＋ＨＢＩＴＳより小さくないならば、プロセスは反復され、エンコーダの設定が修正されるステップ５１４に進む。エンコーダの設定はＭＰＥＧ−４ビットストリーム^＊で発見されたビット数を調整するために設定されてもよい。ビット数を調整するために異なるリファレンスフレームが決定されてもよい。例えばそのリファレンスフレームは、それがより多くの情報を含むように及びＭＰＥＧ−４ビットストリーム^＊中でより少ないビットが要求されるように選択されてもよい。より多くの情報がリファレンスフレームの情報に含まれるならば、ステップ５０６にて、リファレンスフレームについてより多くの情報が抽出され、ＭＰＥＧ−４ビットストリーム^＊から破棄される。以後プロセスは反復し、上述のプロセスが再び実行されるステップ５０２に進む。

ＮがＢＢＩＴＳ＋ＨＢＩＴＳの数以下であるならば、プロセスはステップ５１６に進み、ヘッダ及びＭＰＥＧ−４ビットストリーム^＊は視覚的表現にエンコードされる。一実施例では、ヘッダ及びＭＰＥＧ−４ビットストリーム^＊はバーコード表現にエンコードされてもよい。そして、ステップ５１６の出力はヘッダ及びＭＰＥＧ−４ビットストリーム^＊の視覚的表現になる。例えばバーコードイメージが出力される。リファレンスフレーム情報のリファレンスフレーム画像もバッファ５０４から出力される。したがってリファレンスフレーム画像及びバーコード画像が出力される。

ＭＰＥＧ−４ビットストリーム^＊が説明されたが、他のエンコードプロセスが使用されてもよいことは理解されるであろう。例えば、キーフレームのモーション／アニメーションを表現するビット数を減らすために、多くの様々なエンコード法及び圧縮アルゴリズムが使用されてもよい。ソースがテレビジョンやホームビデオコンテンツのような通常のビデオならば、そのようなコンテンツに最適なビデオエンコーディング法はＭＰＥＧ−２、ＭＰＥＧ−４、ウインドウズメディア及びＭＰＥＧ−４アドバンストビデオコーディング（ＡＶＣ）でもよい。これらのフォーマットはより少数のビットを生成し、処理されるメディアオブジェクトに依存してバーコードフォーマットでより効率的に表現される。メディアオブジェクトがグリーティングカードやアニメーションのようなコンピュータグラフィックスならば、ＭＰＥＧ−４ビット及びフラッシュを使用するエンコーディング法が第２の視覚的表現１０４及び第２の視覚的表現１０６のより効率的な表現を生成する。更に、第1及び第２の視覚的表現１０４，１０６を生成するために、コンテンツに依存してメッシュコーディング、オブジェクト及びモデル−ベースコーディング、ウエーブレットベースコーディングの技法が使用されてもよい。

図６は本発明の一実施例による第1の視覚的表現１０４及び第２の視覚的表現１０６の様々なレイアウトを示す。図６Ａに示されるように、第1の視覚的表現１０４に関する様々な場所にマーカー６００が設けられている。一実施例ではマーカー６００は第1の視覚的表現１０４の１以上の隅（コーナー）に設けられる。

マーカー６００を利用して、デコーダは第1の視覚的表現１０４（の位置）を特定する。例えば媒体３０８がスキャンされ、第1の視覚的表現４００の境界がマーカー６００を用いて特定されてもよい。図示されるように３つのマーカー６００が第1の視覚的表現１０４の隅に設けられている。第1の視覚的表現３１２のエッジ（辺）が互いに９０度でつながることが想定されている場合に、それらのマーカーは第1の視覚的表現の境界を特定するために使用可能である。例えば３つのマーカー６００を用いて形成される正方形又は長方形の領域が第1の視覚的表現１０４を含む領域でもよい。

印刷される第1の視覚的表現１０４のコーナーにマーカー６００を設けることで、歪み（ｓｋｅｗ）や回転のような捕捉画像の空間歪がマーカー６００により補正されるかもしれない。例えば紙媒体がスキャナによりスキャンされる場合に、イメージスキャナはある辺に対して歪んでいるかもしれない。第1の視覚的表現の境界３００が互いに９０度をなることが期待されている場合に、マーカー６００を用いると、第1の視覚的表現１０４の歪みは直される。

第２の視覚的表現１０６のマーカー６０２は第２の視覚的表現１０６の境界を示してもよい。マーカー６０２は上述したようにして第２の視覚的表現３０４を判別するために使用されてもよい。図示されるように第２の視覚的表現１０６はセクション３０４−１，３０４−２及び３０４−３に区分けされる。各セクション３０４はマーカー６０２を含んでもよい。従って各セクションは個々に判定されてもよい。各セクション３０４がデコードされると、デコードされた情報は第1の視覚的表現１０４と共に出力メディアオブジェクトを構築する際に使用されてもよい。

図６Ｂでは第1の視覚的表現１０４を縁取るクロマキーカラーが媒体３０８に出力される。例えばデコーダは第1及び第２の視覚的表現１０４，１０６がクロマキーカラーで縁取られることを判定する。媒体３０８は区分けされ、第1の視覚的表現１０４はそれが所定の寸法を有する長方形であることに基づいて判定されてもよい。また、第２の視覚的表現１０６はその形状及び寸法に基づいて決定されてもよい。

また、第1の視覚的表現１０４はクロマキーカラーを第２の視覚的表現１０６にエンコードすることで決定されてもよい。バーコードリーダーは第２の視覚的表現１０６を認識してもよい。クロマキーカラーはバーコードからデコードされた情報により決定されてもよい。デコーダはクロマキーカラーで囲まれるイメージを決定することで媒体３０２上のイメージを特定することができる。第1の視覚的表現１０４が長方形形状であることが想定されていたならば、区分け後にスペース歪が補償されてもよい。例えば判別された画像が四角形でないならば、その画像を長方形で被覆することで歪が補正されてもよい。

図６Ｃでは第２の視覚的表現１０６の部分は第1の視覚的表現１０４が特定されるように所定の位置に設けられる。例えば第２の視覚的表現１０６の様々なセクションが第1の視覚的表現１０４のコーナー（例えば４隅のうちの３つ）に設けられる。第1の視覚的表現１０４を特定するためにデコーダは第２の視覚的表現１０６のセクションを使用してもよい。例えばそのセクションは第1の視覚的表現１０４を縁取る四角形を示してもよい。

第２の視覚的表現１０６の各部分及び第1の視覚的表現１０４の間の関係についての情報は第２の視覚的表現１０６の中にエンコードされてもよい。従って第1の視覚的表現１０４の正確な場所は第２の視覚的表現１０６のエンコードされた情報に基づいて算出されてもよい。例えば第1の視覚的表現１０４の何らかの座標が第２の視覚的表現１０６の中にエンコードされてもよい。

キーフレームのカラー補正も第２の視覚的表現１０６の中の第1の視覚的表現に関するカラー情報（例えば平均カラーやカラーヒストグラム）をエンコードすることで行うことができ、その情報は第1の視覚的表現１０４の色を補正するために使用されてもよい。

［デコーディング］
図７は出力メディアオブジェクトを作成する本発明の一実施例によるシステム７００を示す図である。図示されるようにデコーダ７０２は第1の視覚的表現１０４及び第２の視覚的表現１０６を受信し、出力メディアオブジェクトを出力する。第1の視覚的表現１０４及び第２の視覚的表現１０６が示されているが、視覚的表現はいくつでもデコーダで受信されてよいことが理解されるべきである。また、メディアオブジェクトはいくつでもデコーダから出力されてよい。

第1の視覚的表現１０４及び第２の視覚的表現１０６は紙や電子媒体のような媒体に出力されてもよい。一実施例では第1の視覚的表現１０４及び第２の視覚的表現１０６は静的な画像である。

第1の視覚的表現１０４は第1情報に基づいて生成される。例えば上述したように第1情報は入力メディアオブジェクトに基づいて決定されてもよい。第1の視覚的表現１０４を生成する一例は上記のエンコーディングのセクションで説明済みである。

第２の視覚的表現１０６は第２情報に基づいて生成される。例えば上述したように第２情報は入力メディアオブジェクトに基づいて決定されてもよい。第２の視覚的表現１０６を生成する一例は上記のエンコーディングのセクションで説明済みである。

一実施例ではデコーダ７０２は視覚的な表現をデコードして情報を判別するように構築されたいかなる装置でもよい。例えばデコーダ７０２はＭＰＥＧ−４でコーダ、フラッシュデコーダ、ＭＰＥＧ−２デコーダ、テキストースピーチ変換器、バーコードデコーダ等で使用される技術を使用してもよい。これらのデコーダのいかなる組み合わせがデコーダ７０２で使用されてもよいことが理解されるべきである。

デコーダ７０２は第1及び第２の視覚的表現１０４，１０６から出力メディアオブジェクトを構築するように構成される。例えば第1の視覚的表現１０４は画像ベースのリファレンス情報にデコード可能なリファレンス画像でもよい。第２の視覚的表現１０６は画像ベースのリファレンス情報に関する処理情報又は動き情報を判別するためにデコードされてもよい。処理情報を用いて出力メディアオブジェクトが生成され、画像ベースリファレンス情報はその処理情報を利用しながら時間と共に処理される。

従って第1及び第２の視覚的表現１０４，１０６が受信され、出力メディアオブジェクトがデコーダ７０２によって構築される。出力メディアオブジェクトはマルチメディア情報のような時変情報を含むいかなるオブジェクトでもよい。例えば出力メディアオブジェクトはテキスト情報、グラフィックス情報、アニメーション情報、サウンド（音声）情報、ビデオ情報等のいかなる組み合わせでもよい。

図８は出力メディアオブジェクトを作成する本発明の一実施例による方法の概略フローチャート８００を示す図である。ステップ８０２では第1及び第２の視覚的表現１０４，１０６が捕捉装置から受信される。捕捉装置は第1の視覚的表現１０４及び第２の視覚的表現１０６を媒体３０８から判別する。例えば捕捉装置は媒体３０８上の第1の視覚的表現１０４及び第２の視覚的表現１０６を特定し、それをデコーダ７０２に送信するように構成され、デコーダは捕捉装置の一部でもよいし或いはそれと別々でもよい。第1及び第２の視覚的表現１０４，１０６を特定する技法は以下に説明される。

ステップ８０４では出力メディアオブジェクトが第1の視覚的表現１０４及び第２の視覚的表現１０６に基づいて生成される。一実施例では第1の視覚的表現１０４は画像ベースのリファレンス情報にデコードされてもよい。第２の視覚的表現１０６からデコードされた処理情報は画像ベースのリファレンス情報を処理して出力メディアオブジェクトを生成するように使用される。

ステップ８０６ではステップ８０４で生成された出力メディアオブジェクトが出力される。例えば出力メディアオブジェクトはセルラ電話、コンピュータ、パーソナルディジタルアシスタント（ＰＤＡ）、テレビジョン等のような表示装置で表示するように出力されてもよい。また、出力メディアオブジェクトはストレージ装置に格納されてもよい。

従って出力メディアオブジェクトは第1の視覚的表現１０４及び第２の視覚的表現１０６から生成されてもよい。一実施例では出力メディアオブジェクトはマルチメディア情報のような時変情報を含む。静的な視覚的表現が、時変情報を含む出力メディアオブジェクトを生成するために使用されてもよい。

図９は出力メディアオブジェクトを作成する本発明の一実施例によるシステムの概略ブロック図を示す。図示されるようにキャプチャーデバイス（捕捉装置）９０２−１，９０２−２は第1の視覚的表現１０４及び第２の視覚的表現１０６を捕捉する。捕捉装置９０２−１は第1の視覚的表現１０４を第1情報デコーダ９０４に送信し、捕捉装置９０２−２は第２の視覚的表現１０６を第２情報デコーダ９０６に送信する。別々の捕捉装置９０２−１，９０２−２が示されているが、捕捉装置９０２は同じ捕捉装置でもよいし異なる捕捉装置でもよいことが理解されるべきである。

第２情報デコーダ９０６は第２の視覚的表現１０６中にエンコードされた第２情報を判別するために第２の視覚的表現１０６をデコードするように構築される。第２情報デコーダ９０６は捕捉装置９０２−２から第２の視覚的表現１０６を受信するよう構成される。第２の視覚的表現１０６はその後に分析及びデコードされる。例えば第２の視覚的表現１０６はエンコードされる第２情報を有するバーコードでもよい。第２情報はバーコードからデコードされる。第２情報は第１情報デコーダ９０４及びメディアオブジェクトクリエータ９０８に送られる。

第1情報デコーダ９０４は第1の視覚的表現１０４の中にエンコードされている第1情報を判別するように構成される。第1情報デコーダ９０４は捕捉装置９０２−１から第1の視覚的表現１０４を及び第２情報デコーダ９０６から第２の情報を受信する。例えば第1情報デコーダ９０４は、第1の視覚的表現１０４に基づくイメージベースリファレンス情報、及び第２情報デコーダ９０６から受信された第２情報中で見出された情報を判定する。一実施例では第1の視覚的表現１０４はキーフレームの画像でもよい。第２の情報は画像の特徴を調整するのに使用されてもよい。例えば第２の視覚的表現１０６は縁の切断、スケール変更、歪補正等を行ってもよい。

メディアオブジェクトクリエータ９０８は出力メディアオブジェクトを生成するよう構成される。メディアオブジェクトクリエータ９０８は第1情報及び第２情報を受信する。第２情報は出力メディアオブジェクトを生成するために第1情報に適用される。例えば処理情報は出力メディアオブジェクトを生成するために画像ベースのリファレンス情報に適用されてもよい。例えば第1及び第２情報からのビットを利用して完全な動きのあるビデオクリップが作成されてもよい。出力メディアオブジェクトはデコーダ７０２から出力される。

出力メディアオブジェクトは以後に出力装置で再生されてもよい。例えばビデオは携帯電話やコンピュータ等のようなコンピュータを利用する装置で再生されてもよい。また、出力メディアオブジェクトは後で再生するためにストレージに格納されてもよい。

一実施例では出力メディアオブジェクトはサーバその他のいかなるストレージ装置にもアクセスせずにデコーダ７０２により作成される。従って出力メディアオブジェクトは紙媒体のような媒体上で見出された第1及び第２の視覚的表現１０４，１０６からデコードされた情報を用いて作成される。そして、いかなる付加的な情報も要求せずに出力メディアオブジェクトを生成するために静的な画像が使用されてもよい。

ソースから受信した付加的な情報（第1及び第２の視覚的表現１０４，１０６以外）なしに出力メディアオブジェクトが作成されてもよいが、出力メディアオブジェクトを作成するのに付加的な情報が使用されてよいことも理解されるべきである。例えばストレージ装置に格納された情報が使用されてもよい。その情報は可能ならばネットワークを通じてストレージ装置から取得されてもよい。例えばデコーダ７０２はストレージ装置中の付加的な情報にアクセスすることを試みてもよい。それが可能でない場合に、出力メディアオブジェクトは第１及び第２の視覚的表現１０４，１０６から作成されてもよい。付加的な情報にアクセスすることが可能である場合には、その付加的な情報がアクセスされ、それが出力メディアオブジェクトを構築するのに使用されてもよい。

一実施例では第1及び第２の視覚的表現１０４，１０６の情報は付加的な情報及び／又は情報の場所が使用されるべきか否かを判定するために使用されてもよい。例えばＵＲＬが第２の視覚的表現１００中にエンコードされてもよい。付加的な情報がアクセスされ、それがメディアオブジェクトの構築を促すように使用されてもよい。例えばその付加的な情報を用いて解像度が改善されてもよい。付加的な情報を用いて字幕、タイトル、図形等が出力メディアオブジェクトに付加されてもよい。

図１０は出力メディアオブジェクトをデコード及び作成する本発明の一実施例による概略フローチャート１０００を示す図である。一実施例では出力メディアオブジェクトはフレームベースビデオを含む。

ステップ１００２ではバーコード画像（例えば第２の視覚的表現）がデコードされる。バーコードは当該技術分野で周知の方法を用いてデコードされてもよい。一実施例ではデコードされたバーコード画像はヘッダ及びＭＰＥＧ−４ビットストリーム^＊を生成する。ヘッダはアプリケーションに固有の情報を含む。例えばヘッダは固有の識別子を含む。識別子はバーコード画像に関する情報を決定するために使用されてもよい。例えばヘッダはどの種類の情報がエンコードされているか（例えばＭＰ３圧縮の音声、ＭＰＥＧ−４圧縮のビデオ等）を記述してもよい。デコーダはメディアオブジェクトを生成するのに使用するアプリケーションを決定するためのヘッダ情報を有してもよい。ＭＰＥＧ−４ビットストリーム^＊はＭＰＥＧ−４フォーマットに基づくビットストリームを含む。一実施例ではＭＰＥＧ−４ビットストリーム^＊はリファレンスフレーム表現用のビットを含まない（以下に説明される）。ＭＰＥＧ−４フォーマットが説明されるが、ＭＰＥＧ−２やフラッシュ等のようないかなるフォーマットが使用されてもよいことが理解されるべきである。

ステップ１００４では有効なヘッダがステップ１００２から受信されたか否かが判断される。例えばヘッダは使用するアプリケーションの識別子でもよい。そのアプリケーションがサポートされていなければ、ヘッダは有効でないと判断されてよい。有効なヘッダが受信されなければ、ステップ１００６でデコード処理は終了する。有効なヘッダが受信されると、プロセスはステップ１００８に進み、ＭＰＥＧ−４ビットストリームヘッダがデコードされる。ＭＰＥＧ−４ビットストリームのヘッダは解像度情報、量子化パラメータ等を含んでもよい。

ステップ１０１０ではリファレンスフレーム画像（例えば第1の視覚的表現）が受信され、リファレンスフレーム表現が決定される。リファレンスフレーム表現を決定する際に、一実施例では、キーフレームがリファレンスフレーム画像から抽出され、リファレンスフレーム表現を得るために縁取り、スケール変更、歪補正等の処理がなされる。リファレンスフレーム表現を生成するために使用されてもよい解像度情報はＭＰＥＧ−４ビットストリーム^＊から決定されてもよい。解像度情報はリファレンスフレーム画像を縁落とし、寸法変更、歪補正等するために使用される。

ステップ１０１２ではＭＰＥＧ−４ベースのデコードが実行される。一実施例ではＭＰＥＧ−４ベースのデコードはＭＰＥＧ−４仕様書に基づいて実行される。リファレンスフレーム表現はＭＰＥＧ−４ビットストリーム^＊と共にＭＰＥＧ−４形式のデコーダで受信される。ＭＰＥＧ−４仕様との１つの違いは、ＭＰＥＧ−４形式のデコーダはリファレンスフレーム表現によるビットを含まないＭＰＥＧ−４ビットストリーム^＊をデコードするよう構築されることである。むしろリファレンスフレーム表現によるビットはデコードされたＭＰＥＧ−４ビットストリーム^＊と組み合わせられる。その組み合わせはフレームベース映像を作成する。ＭＰＥＧ−４ベースデコーダは作成したフレームベース映像を出力する。

映像クリップはその後に出力装置で再生されてもよい。例えばビデオは携帯電話機やコンピュータ等のようなコンピュータ利用装置により再生されてもよい。また、出力メディアオブジェクトは後で再生するためにストレージに格納されてもよい。

図１１は媒体３０８上の第1及び第２の視覚的表現１０４，１０６を判定する本発明の一実施例による方法の概略フローチャート１１００を示す。ステップ１１０２では媒体３０８の画像が捕捉装置により捕捉される。捕捉装置はセルラ電話機、ＰＤＡ、スキャナ、プリンタ、複写機、カメラ等のような画像を取得することが可能ないかなる装置をも含んでよい。一実施例では画像がスキャナにより捕捉されてもよい。例えば紙媒体３０８はスキャナにより走査されてもよいし、ディジタルカメラで捕捉されてもよい。ＰＤＦ、ＪＰＥＧ等のような電子的な画像により表示されるイメージや、イメージファイルが捕捉されてもよい。例えば第1の視覚的表現１０４及び第２の視覚的表現１０６を表示する装置の写真が撮られてもよい。また、物理的に媒体をスキャンせずに、電子画像ファイルが捕捉されてもよい。例えば捕捉装置により電子画像ファイルが受信されてもよい。当業者は第1及び第２の視覚的表現１０４，１０６を捕捉する他の方法も認識するであろう。

ステップ１１０４では、第1の視覚的表現１０４及び第２の視覚的表現１０６が媒体３０８の画像上で特定される。例えば、第1の視覚的表現１０４及び第２の視覚的表現１０６の１以上のコーナーのような媒体３０８の所定の場所にマーカーが設けられてもよい。これらのマーカーは捕捉装置により見出され、第２の視覚的表現１０６又は第1の視覚的表現１０４の位置を決定するために使用されてもよい。更に第２の視覚的表現１０６が、第1の視覚的表現１０４の縁のまわりに見出され、それが第1の視覚的表現１０４を特定するために使用されてもよい。また、第２の視覚的表現１０６内の情報は第1の視覚的表現の位置を決定するために使用されてもよい。

第1及び第２の視覚的表現１０４，１０６を決定するために寸法が使用されてもよい。例えば捕捉装置は第1及び第２の視覚的表現１０４，１０６の近似的な寸法を知っていてもよい。画像の縁が決定されるクロマキーバックグラウンドが含まれてもよい。画像の寸法は第1及び第２の視覚的表現１０４，１０６に指定された寸法に適合する画像を決定するように分析されてもよい。

ステップ１１０６では見出された第1及び第２の視覚的表現１０４，１０６がデコーダ７０２に送信される。

作成される出力メディアオブジェクトの具体例が以下に説明される。図１２は本発明の一実施例による出力メディアオブジェクトとしてバーコードにエンコードされた動きを有する印刷されたキーフレームの表現を示す。図示されるように紙媒体１２０２の画像１２０１は装置１２０４によって捕捉されてもよい。例えば装置１２０４は媒体１２０２の写真を撮ってもよい。一実施例では装置１２０４はセルラ電話でもよい；しかしながら、装置１２０４は紙媒体１２０２の画像を捕捉することができる他のいかなる装置でもよいことが認識されるべきである。

第1の視覚的表現１２０６及び第２の視覚的表現１２０８は媒体１２０２に出力される。例えば第1の視覚的表現１２０６及び第２の視覚的表現１２０８は紙媒体１２０２に印刷されてもよいし、電子記憶媒体１２０２に格納されてもよい。付加的な情報１２１０は媒体１２０２に出力される。付加的な情報１２１０はカード用の文字及び絵を含む。

捕捉装置１２０４は第1の視覚的表現１２０６及び第２の視覚的表現１２０８を媒体１２０２のイメージ１２０１から決定するように構成される。第1の視覚的表現１２０６及び第２の視覚的表現１２０８は上述したプロセスを用いて紙１２０２上で特定されてもよい。第1の視覚的表現１２０６及び第２の視覚的表現１２０８はデコーダ１２１２に送信される。

デコーダ１２１２は装置１２０４に含まれてもよい。デコーダ１２１２はキーフレーム及びバーコード画像を受信し、その気フレーム及びバーコード画像を用いて出力メディアオブジェクトを生成する。一実施例では完全な動画像クリップを作成するためにバーコードはキーフレームに適用される動き情報を含む。

出力メディアオブジェクトは装置１２０４のディスプレイ１２１４に出力される。図示されるように、ディスプレイ１２１４は出力メディアオブジェクトを再生するように構築されるインターフェースを含む。出力メディアオブジェクトはディスプレイ１２１４にてある時間にわたって表示される時変情報を含む。例えば音声クリップが装置１２０４で再生される。

図１３は出力メディアオブジェクトを生成するのに使用される本発明の一実施例によるグリーティングカード例を示す。図示されるようにグリーティングカードは媒体１３０２に示される。一実施例では媒体１３０２は紙でもよいし、電子的なもの等でもよい。例えばグリーティングカードは紙のカードでもよいし、電子的なカードでもよい。

第1の視覚的表現１３０４及び第２の視覚的表現１３０６は媒体１３０２上に示される。第1の視覚的表現１３０４及び第２の視覚的表現１３０６は上述のプロセスを用いて媒体１３０２上で特定される。それらは出力メディアオブジェクトにデコードされてもよい。一実施例では第１の視覚的表現１３０４はキーフレームであり、第２の視覚的表現１３０６はバーコードでもよい。第２の視覚的表現１３０４は第２情報にデコードされ、第２情報は全体的な動きのベクトル（グローバルモーションベクトル）、テキストメッセージ、フォント、モーション情報等のような処理情報を含む。処理情報は出力メディアオブジェクトを生成するためにキーフレームを処理するために使用されてもよい。

インターフェース１３０８は出力メディアオブジェクトを再生するように使用されてもよい。例えば映像はある時間にわたる第1の視覚的表現１３０４に含まれる画像を含み、付加的な情報がその画像に適用される。例えば「今日十分がとても楽しい日でありますように・・・誕生日おめでとうございます」（Hope you have tons of fun today…Happy Birthday）の文字情報及び動いている風船が映像に含まれる。

図１４は本発明の一実施例によるクロマキーアプリケーション例におけるエンコーダ１０２及びデコーダ７０２の入出力を示す。メディアオブジェクト１４０２はエンコーダ１０２で受信される。メディアオブジェクト１４０２は場面１４０３の画像とその場面とは別の人の顔の画像１４０５を含む。

エンコーダ１０２は第1の視覚的表現１４０４及び第２の視覚的表現１４０６を生成するよう構成される。第1の視覚的表現１４０４は人の顔画像１４５０であり、場面１４０３からの情報は第２の視覚的表現１４０６にエンコードされてもよい。その場面の情報はバックグランド情報、付加情報、テキスト等を含んでもよい。第1の視覚的表現１４０４及び第２の視覚的表現１４０６は媒体１４０８に出力される。例えば第1の視覚的表現１４０４及び第２の視覚的表現１４０６は紙媒体１４０８に印刷されてもよいし、電子ストレージ媒体１４０６に格納されてもよい。

第1の視覚的表現１４０４及び第２の視覚的表現１４０６は捕捉装置によって特定されてもよい。例えば第1及び第２の視覚的表現１４０４，１４０６はバックグランドカラーによって縁取りされた画像を分離することで判別されてもよい。第1の視覚的表現１４０４及び第２の視覚的表現１４０６は媒体１４０６上で背景色により区別されてもよい。捕捉装置は第２の視覚的表現１０６を認識するように構成されてもよい。第２の視覚的表現１０６の情報は背景色に含まれてもよい。捕捉装置は背景色から第1の視覚的表現１０２を分ける。

デコーダ７０２は第1の視覚的表現１４０４及び第２の視覚的表現１４０６を受信し、出力メディアオブジェクトを生成するように構成される。第２の視覚的表現１４０６にエンコードされている情報はリファレンス画像を生成するために第1の視覚的表現１４０４と共に使用されてもよい。第２の視覚的表現１４０６からデコードされた他の情報は付加的なアニメーション情報、テキスト等をリファレンス画像に付け加えるように使用されてもよい。

図１５は音声情報を含む出力メディアオブジェクトを生成するための本発明の一実施例によるエンコーダ１０２及びデコーダ７０２の入出力を示す。入力メディアオブジェクト１５０２はエンコーダ１０２により第1の視覚的表現１５０４及び第２の視覚的表現１５０６にエンコードされる音声情報である。音声情報はＭＰＥＧのような標準的又は専有的な音声フォーマットでもよい。一実施例ではエンコーダ１０２はスピーチ−テキスト変換器を用いて音声をテキストに変換する。

また、音声情報のパラメータは第２の視覚的表現１５０６としてエンコードされてもよい。例えばそのパラメータはデコーダ７０２のシンセサイザのパフォーマンスを増強するように使用されてもよい。更に入力メディアオブジェクト１５０２からの何らかのテキスト情報が第２の視覚的表現１５０６にエンコードされてもよい。

図示されるように第1の視覚的表現１５０４及び第２の視覚的表現１５０６は紙媒体に印刷されるように媒体１５０８に出力される。デコードプロセスでは媒体１５０８のイメージが捕捉され、第1の視覚的表現１５０４及び第２の視覚的表現１５０６が媒体１５０８から決定される。

デコーダ７０２は第1の視覚的表現１５０４及び第２の視覚的表現１５０６を受信し、出力メディアオブジェクトを出力する。一実施例では第1の視覚的表現１５０４の文字がＯＣＲにより認識され、シンセサイザがその文字を音声情報スピーチに変換する。音声情報は第２の視覚的表現１５０６にエンコードされた付加的なパラメータを用いて構築されてもよい。例えば音声のピッチやスピード等がそのパラメータを用いて調整されてもよい。従って媒体１５０８で見出された視覚的表現１５０４，１５０６を用いてスピーチが再生されてもよい。

図１６は音楽を構成する本発明の一実施例によるエンコーダ１０２及びデコーダ７０２の入出力を示す図である。一実施例では音楽音声形式の入力メディアオブジェクト１６０２がエンコーダ１０２で受信される。エンコーダ１０２は第1の視覚的表現１６０４及び第２の視覚的表現１６０６を入力メディアオブジェクト１６０２から生成する。一実施例では第1の視覚的表現１６０４はメディアオブジェクト１６０２で再生される音楽音声に対応する楽譜を含む。第２の視覚的表現１６０６は第1の視覚的表現１６０４内で発見されたノートをどの楽器が演奏するか（の情報）を含むバーコードでもよい。更に第1の視覚的表現１６０４で見出されたノートを演奏するのに使用される他のパラメータが、ピッチやキー等のような第２の視覚的表現１６０６にエンコードされてもよい。図示されるように、第1の視覚的表現１６０４及び第２の視覚的表現１６０６は紙媒体に印刷されるように媒体１６０８に出力される。

デコーディングプロセスでは、第1の視覚的表現１６０４及び第２の視覚的表現１６０６が媒体１６０８から決定される。一実施例では第1の視覚的表現１６０４で発見された音楽がＯＣＲにより認識される。第２の視覚的表現１６０６からデコードされた情報は音楽ノートの音を構築するように使用される。例えばシンセサイザは第２の視覚的表現１６０６からデコードされたパラメータにより指定される楽器を利用して音楽音声を構築する。出力メディアオブジェクト１６０４は認識された音楽ノートを演奏する楽器の音楽を含む。

図１７は本発明の一実施例による合成符号化アプリケーションを示す。図示されるように会話している頭部を含むメディアオブジェクト１７０２がエンコーダ１０２で受信される。エンコーダ１０２は入力メディアオブジェクト１７０２に基づいて第1の視覚的表現１７０４及び第２の視覚的表現１７０６を作成する。一実施例では３−Ｄワイヤフレーム上に頭部画像をテクスチャマッピングすることで人間の喋っている頭部がエンコードされる。第1の視覚的表現１７０４として統合テクスチャマッピングが使用され、それは人の肌がめくられて平らに設けられたような特殊画像である。更に顔のアニメーションパラメータのような他の情報が第２の視覚的表現１７０６にエンコードされてもよい。第1の視覚的表現１７０４及び第２の視覚的表現１７０６は紙媒体に印刷されるように媒体１７０８に含まれてもよい。

デコードプロセスでは第1の視覚的表現１７０４及び第２の視覚的表現１７０６は媒体１７０８から決定される。デコーダ７０２は第1の視覚的表現１７０４及び第２の視覚的表現１７０６を受信し、出力メディアオブジェクト１７１０を出力する。例えば出力メディアオブジェクト１７１０は喋っている顔を含んでもよい。

本発明の一実施例による実行されてもよい他のアプリケーションは複合コピー機（Multifunction Copier）で見受けられるアプリケーションのような複合製品（ＭＦＰ）アプリケーションを含んでもよい。一実施例では一枚の紙がＭＦＰでスキャンされ、サーバやいかなるストレージにアクセスせずに再生アニメーション／ビデオがイネーブルされる。また、一枚の紙がＭＦＰでスキャンされ、与えられたビデオが例えばＭＰＥＧ、ＡＶＩその他の電子媒体（例えばＣＤ）に複製されてもよい。更に、一枚の紙がＭＦＰでスキャンされ、出力メディアオブジェクトが入力メディアオブジェクトより多い又は少ないキーフレームと共に作成されてもよく、その入力メディアオブジェクトは第1の視覚的表現及び第２の視覚的表現を作成するために使用される。

モーションプリンタがイネーブルにされてもよい。入力として映像を受信すること、第1の視覚的表現及び第２の視覚的表現を決定すること、ならびに第1の視覚的表現及び第２の視覚的表現を印刷することが可能なプリンタが使用されてもよい。例えばそのプリンタは入力として映像を取得し、キーフレームのアニメーションに関するリファレンスフレーム及び処理情報を決定し、処理情報をバーコード表現に変換し、リファレンスフレーム及びバーコードを紙に印刷する。リファレンスフレーム及びバーコードは出力メディアオブジェクトを生成するためにデコーダで使用されてもよい。

プロダクトアニメーション／ビデオがイネーブルされてもよい。シンプルなアニメーション／ビデオが製品箱や缶などに印刷可能である。例えば製品箱や缶は第1の視覚的表現及び第２の視覚的表現を含んでもよい。第1及び第２の視覚的表現は出力メディアオブジェクトを生成するのに使用されてもよい。出力メディアオブジェクトは、製品がどのように使用されるべきかを示す或いは賞品を勝ち取ったか否かを示すことが可能なアニメーション／ビデオでもよい。

映像アルバムがイネーブルにされてもよい。印刷されたアルバムは入力メディアオブジェクトの第1の視覚的表現及び第２の視覚的表現を含んでもよい。例えば印刷されたオブジェクトは小さなビデオクリップを生成するのに使用可能なリファレンスイメージ及び処理情報を含んでもよい。ユーザは静的な写真を見る代わりに小さなビデオクリップを生成するようにビデオアルバムを使用してもよい。

別の実施例では写真ブースアプリケーションがイネーブルされてもよい。例えば写真ブースは、ビデオを撮影し、視覚的表現を印刷することができでてもよく、第1の視覚的表現及び第２の視覚的表現を上述の媒体に含んでもよい。出力メディアオブジェクトは以後その視覚的表現から作成されてもよい。

別の実施例ではアプリケーションを与えるキーフレームが提供されてもよい。キーフレーム表現は紙のような媒体に第２の視覚的表現と共に又はそれなしに印刷されてもよい。従って写真ブースはビデオクリップを作成するように使用されてもよい静止画像を出力してもよい。キーフレーム表現は複数のキーフレームを含んでもよい。キーフレームはモーションビデオ内の一連のフレームに関するキーフレームを表現する。キーフレーム表現が捕捉されると、デコーダは出力メディアオブジェクト内でモーション映像のようにキーフレームを抽出し、再サンプリングし、キーフレームを変更する。第２の視覚的表現が包含されていたならば、第２の視覚的表現１０６に含まれる情報は最終的な解像度やキーフレームの一時的なサンプリングを調整するために使用される。

別の実施例ではスケール変更可能な（スケーラブルな）メッセージが使用される。例えば第２情報は入力メディアオブジェクトから判定されてもよい。一部の第２情報は第２の視覚的表現の形式で媒体に印刷され、一部の第２情報はサーバやストレージ装置からアクセス可能でもよい。デコードの際にサーバやストレージ装置が利用可能でないならば、その媒体から取得される第２の視覚的表現１０６からデコードされた第２情報が使用されてもよい。付加的な情報がストレージ又はサーバにより利用可能ならば、その情報は出力メディアオブジェクトの供給を促すように使用されてもよい。

以上のように本発明による実施例は出力メディアオブジェクトを構築するために第1の視覚的表現及び第２の視覚的表現を使用する。情報は紙媒体のような媒体に出力され、出力メディアオブジェクトを生成するために使用される。従ってビデオカードやビデオアルバムのようなアイテムが紙に印刷され、電子的に格納され、及び他者に与えられてもよい。そのアイテムに関する視覚的な表現を用いてユーザは出力メディアオブジェクトを構築してもよい。これは紙のような従来の媒体の価値を増進する利点をもたらす。例えばメッセージ付きの紙のカードは知られている。しかし、出力メディアオブジェクトを構築するように紙媒体が使用可能になれば、紙媒体に価値が付加される。また、出力メディアオブジェクトは紙媒体で出力された情報から構築されるので、媒体は携帯可能であって容易に持ち運び可能である。例えば出力メディアオブジェクトを含むコンパクトディスクや電子ストレージ装置をユーザに与えることは実用的でないかもしれない。しかしながら、メディアオブジェクトを生成するのに使用される視覚的表現を含む紙片はユーザに容易に与えられるであろう。

［インタラクティブデザインプロセス］
図１８は入力メディアオブジェクトの視覚的表現を決定する本発明の一実施例によるシステム１８００を示す。図示のシステム１８００は入力メディアオブジェクト３１０、デザインシステム１８０４、媒体３０８及びクライアント１８０８を含む。

デザインシステム１８０４はエンコーダ１０２、デコーダ７０２及びユーザインターフェース１８１０を含む。ユーザインターフェース１８１０はどのグラフィックユーザインターフェースでもよい。ユーザインターフェース１８１０はクライアント１８０８にてエンコーダ１０２及び／又はでコーダ１０４からの出力をユーザが見えるように表示する。

クライアント１８０８はユーザインターフェース１８１０を表示するように構築されるいかなるコンピュータ装置でもよい。ユーザは出力が許容可能か否かを判別し、クライアントからのユーザ入力をデザインシステム１８０４にそのように送信する。出力が許容可能か否かの判別は自動的に実行されてもよいことが理解されるべきである。例えば解像度やサイズ等のような変数の閾値は、出力が許容可能か否かを判別するために使用されてもよい。出力は、その出力に加える変更が必要ないならば許容可能であり、出力に対する変更が望まれるならば非許容的である。

一実施例ではエンコーダ１０２は上述したように第1及び第２の視覚的表現１０４，１０６を生成するように構築される。ユーザインターフェース１８１０は第1及び第２の視覚的表現１０４，１０６をクライアント１８０８で表示するように構築される。ユーザは第1及び第２の視覚的表現１０４，１０６を見てもよいし、それらが許容可能であるか否かを示すユーザ入力を送信してもよい。

一実施例ではデコーダ７０２は上述したように視覚的表現から出力メディアオブジェクトを形成してもよい。ユーザインターフェース１８１０は出力メディアオブジェクトをクライアント１８０８に表示するように構築される。ユーザは出力メディアオブジェクトを眺め、出力メディアオブジェクトが許容可能か否かを示すユーザ入力を送る。

第1の視覚的表現１０４、第２の視覚的表現１０６及び／又は出力メディアオブジェクトの何れかが許容可能でないならば、デザインシステム１８０４は別の第1の視覚的表現１０４、別の第２の視覚的表現１０６及び／又は別の出力メディアオブジェクトを生成するように構築される。第1の視覚的表現１０４、第２の視覚的表現１０６及び／又は出力メディアオブジェクトが許容可能になるまでこのプロセスは続く。

図１９は本発明の一実施例によるデザインシステム１８０４の概略ブロック図を示す。エンコーダ１０２は入力メディアオブジェクトを受信し、第1の視覚的表現１０４及び第２の視覚的表現１０６を出力するように構成される。

エンコーダ１０２は一群のエンコードパラメータに基づいて第1及び第２の視覚的表現１０４，１０６を決定する。エンコードパラメータは多数のリファレンスフレーム、バーコードのサイズ、ビデオの継続時間等を含んでもよい。一実施例ではエンコーダ１０２がエンコーダのエンコードプロセスをシミュレートする。例えば別のエンコードパラメータを用いて、ＭＰＥＧ−４、ＭＥＰＧ−２、フラッシュ等のエンコーダのような別のエンコーダがシミュレートされてもよい。従って第1及び第２の視覚的表現１０４，１０６を生成するプロセスは上述したようにエンコーダ１０２でシミュレートされる。第1及び第２の視覚的表現１０４，１０６はバッファ１９０２、デコーダ７０２及びユーザインターフェース１８１０に送られる。

バッファ１９０２は第1及び第２の視覚的表現１０４，１０６を可能などのストレージ媒体でもよい。バッファ１９０２は第1及び第２の視覚的表現１０４，１０６を使用し、それらが許容可能か否かを判別する。それらが許容可能ならばそれらは出力されてもよい。第1及び第２の視覚的表現１０４，１０６が許容可能でないならば、それらはバッファ１９０２からクリアされてもよい。

出力メディアオブジェクトを作成するために、デコーダ７０２は第1及び第２の視覚的表現１０４，１０６を受信し、デコーダは第1及び第２の視覚的表現１０４，１０６に基づいて出力メディアオブジェクトを構築するように構成される。一実施例ではデコーダ７０２は出力メディアオブジェクトを作成する装置をシミュレートするように構築される。例えばデコーダ７０２は出力メディアオブジェクトを構築するように使用される一群のデコードパラメータを使用してもよい。例えばセルラ電話機、コンピュータ、ＰＤＡ等のような様々な装置が出力メディアオブジェクトを様々に構成する。分解能やメディアオブジェクトのサイズ等は使用される装置に依存して異なってもよい。従ってデコードパラメータは出力メディアオブジェクトを生成するのに使用されてもよいある種の装置をシミュレートする。デコーダ７０２は出力メディアオブジェクトをユーザインターフェース１８１０及びバッファ１９０２に送る。

反復的なデザインプロセスはエンコード状態及び／又はデコード状態の後に始めてもよい。プロセスがエンコード状態の後に始まる場合に、第1及び第２の視覚的表現１０４，１０６はユーザインターフェース１８１０上でユーザに見せるように表示される。この場合に、第1及び第２の視覚的表現１０４，１０６が許容可能か否かを示すようにユーザは要求されてもよい。それらが許容可能ならばプロセスは続き、出力メディアオブジェクトが生成され、インターフェース１８１０に表示される。その後にユーザは出力メディアオブジェクトが許容可能であるか否かを示してもよい。

第1及び第２の視覚的表現１０４，１０６が許容可能でないならば、プロセスは反復し、出力メディアオブジェクトを生成せずに第1及び第２の視覚的表現１０４，１０６を再び生成する。従って共用されない第1及び第２の視覚的表現１０４，１０６による出力メディアオブジェクトを生成する不要なステップが回避される。

別の実施例では出力メディアオブジェクトが第1及び第２の視覚的表現１０４，１０６から作成されるまでデザインプロセスは待機してもよい。
第1及び第２の視覚的表現１０４，１０６及び出力メディアオブジェクトはユーザインターフェース１８１０に表示されてもよい。第1及び第２の視覚的表現１０４，１０６及び出力メディアオブジェクトが許容可能であるか否かをユーザが決定してもよい。

ユーザインターフェース１８１０は第1及び第２の視覚的表現１０４，１０６に基づいて第1及び第２の視覚的表現１０４，１０６及び出力メディアオブジェクトを表示するように構築される。第1及び第２の視覚的表現１０４，１０６及び／又は出力メディアオブジェクトが許容可能か否かの指示がユーザインターフェース１８１０から受信されてもよい。第1の視覚的表現１０４、第２の視覚的表現１０６及びメディアオブジェクトのいかなる組み合わせでもその指示は示してよい。

第1の視覚的表現１０４、第２の視覚的表現１０６及びメディアオブジェクトのどの１つでも許容できなかったならば、ユーザインターフェース１８１０は再びデザインプロセスを実行するためにエンコーダ１０２及び／又はデコーダ７０２と通信する。新たなデザインプロセスでは新たなエンコードパラメータがエンコーダ１０２で使用され、及び／又は新たなデコードパラメータがデコーダ７０２で使用される。

変更されたどのパラメータでもその指示及び値はインターフェース１８１０から受信されてもよい。システム１８０４は別のエンコード及び／又はデコードパラメータを自動的に決定してもよい。上記のプロセスは新たなエンコードパラメータ及び／又は新たなデコードパラメータで再び実行される。そして新たな第1及び第２の視覚的表現１０４，１０６及び／又は出力メディアオブジェクトが生成され、上述したようにインターフェース１８１０を用いて出力される。それらが許容可能ならばデザインプロセスは終了する。そうでなかったならば、新たなエンコードパラメータ及び／又は新たなデコードパラメータと共に上述のプロセスが継続する。

第1及び第２の視覚的表現１０４，１０６並びに出力メディアオブジェクトが許容可能ならば、第1及び第２の視覚的表現１０４，１０６を出力するためにユーザインターフェース１８１０はバッファ１９０２と通信する。そしてデザインプロセスは終了する。

図２０は本発明の一実施例によるデザインプロセスを実行する方法の概略フローチャート２０００を示す。図示されるようにエンコーダ１０２は入力メディアオブジェクトを受信し、その入力メディアオブジェクトに基づいて第1及び第２の視覚的表現１０４，１０６を出力する。エンコーダ１０２は第1及び第２の視覚的表現１０４，１０６の複製をバッファ１９０２に送付する。以下に説明されるように、第1及び第２の視覚的表現１０４，１０６並びに第1及び第２の視覚的表現１０４，１０６から構築された出力メディアオブジェクトが許容可能ならば、第1及び第２の視覚的表現１０４，１０６はバッファ１９０２から出力されてもよい。

ステップ２００２では、第1及び第２の視覚的表現１０４，１０６が許容可能か否かが判定される。一実施例では第1及び第２の視覚的表現１０４，１０６がユーザインターフェース１８１０に表示されてもよい。ユーザはそれらが許容可能か否かを決定してもよい。第1及び第２の視覚的表現１０４，１０６が許容可能か否かを示す入力が受信されてもよい。

別の実施例では第1及び第２の視覚的表現１０４，１０６が許容可能か否かをプロセスが自動的に決定してもよい。例えばパラメータ又は閾値が設定され、第1及び第２の視覚的表現１０４，１０６が許容可能か否かを判別するように使用されてもよい。閾値は第２の視覚的表現１０６が所定のサイズのものであることを示してもよい。例えば閾値はバーコードの幅がほんの１インチに過ぎないべきであることを示してもよい。第２の視覚的表現１０６のバーコードがそのサイズを超えた場合には、ソン第２の視覚的表現１０６が許容可能でないことが自動的に決定されてもよい。

第1及び第２の視覚的表現１０４，１０６が許容可能でないならば、プロセスはステップ２０１０に進み、新たなエンコードパラメータを用いてエンコードプロセスが再び始まる。新たなエンコードパラメータを用いるプロセスが以下に詳細に説明される。

第1及び第２の視覚的表現１０４，１０６が許容可能ならば、プロセスは劣化シミュレータ２００４に進む。劣化シミュレータ２００４は、（紙媒体３０８に印刷された場合のように）第1及び第２の視覚的表現１０４，１０６が媒体３０８に出力された後に生じるノイズ及び劣化をシミュレートする。例えばノイズ及び劣化は印刷又はスキャンの後にイメージ上に生じるかもしれない。このノイズ又は劣化はデコードプロセスに影響を与えるかもしれないし、そのデコードプロセスでは第１の視覚的表現１０４及び第２の視覚的表現１０６に関して少ないビットがデコードされる。劣化シミュレータ２００４は本プロセスで使用されなくてもよいことが理解されるであろう。例えば何らのノイズも劣化も生じないと判断されるかもしれない。

デコーダ７０２は第1及び第２の視覚的表現１０４，１０６を劣化シミュレータ２００４から受信し、第1及び第２の視覚的表現１０４，１０６に基づいて構築された出力メディアオブジェクトを出力する。デコーダ７０２は理論的にメディアオブジェクト３０８を出力するデコーダをシミュレートするよう構築される。

ステップ２００６では出力メディアオブジェクトがユーザインターフェース１８１０に表示される。ユーザは出力メディアオブジェクトを眺めてそれが許容可能か否かを判別する。

ステップ２００８では出力メディアオブジェクトが許容可能か否かを示す入力が受信される。出力メディアオブジェクトが許容可能か否かを判定する際に、ユーザは出力メディアオブジェクトを眺め、解像度、スピード、持続時間、ビットレート等のような様々な要因に基づいてそれが許容可能か否かを判定する。

出力メディアオブジェクトが許容可能か否かをプロセスが自動敵意に判別してもよいことが理解されるべきである。例えば出力メディアオブジェクトが許容可能か否かを判定するために閾値又はパラメータが使用されてもよい。解像度又はビットレートが所定の閾値より低い場合には、出力メディアオブジェクトが許容できないことを判定してもよい。この場合には作成された出力メディアオブジェクトをユーザに表示するステップは迂回されてもよい。

出力メディアオブジェクトが許容可能ならば、それが許容可能であることの指示がバッファ１９０２に送られる。バッファ１９０２は媒体３０８に出力可能な第1及び第２の表現１０４，１０６を出力する。

メディアオブジェクトが許容可能でないならば、第1及び第２の視覚的表現１０４，１０６及び／又は出力メディアオブジェクトを生成するプロセスが再び実行されてもよい。ステップ２０１０では新たなエンコードパラメータが決定される。例えば持続時間、ビットレート、第２の視覚的表現１０６のバーコード長等のようなパラメータが決定されてもよい。これらのパラメータはユーザから受信されてもよいし、自動的に決定されてもよい。

また、ステップ２０１２では新たなデコードパラメータが決定されてもよい。例えばデコードプロセスをシミュレートするのに使用された一群のデコードパラメータが変更されてもよい。ユーザは異なるデコード装置をシミュレートすることを希望するかもしれないので、デコードパラメータは変更されてもよい。例えば第1のデコードパラメータがこのメディアオブジェクトを表現するには不適切であったと判断するかもしれない。

新たなエンコードパラメータが決定された後でそれらはエンコーダ１０２に適用される。第1及び第２の視覚的表現１０４，１０６は入力メディアオブジェクトから生成される。プロセスは２００２に続き、第1及び第２の視覚的表現１０４，１０６が許容可能か否かが判定される。新たな出力メディアオブジェクトが生成され、ステップ２００６でユーザに表示される。新たなデコードパラメータは使用されてもされなくてもよい。例えばユーザはエンコードパラメータを調整し、第1及び第２の視覚的表現１０４，１０６を生成する。従って新たな第1及び第２の視覚的表現１０４，１０６から作成された新たな出力メディアオブジェクトが同じでコードパラメータを用いているようにどの程度見えるかをユーザは調べたいかもしれない。或いは第1及び第２の視覚的表現１０４，１０６から作成された出力メディアオブジェクトを、それらが新たなデコードパラメータを用いて新たなデコーダで現れるように見ることを希望するかもしれない。

ステップ２００８では出力メディアオブジェクトが許容可能であるか否かが判定される。第1及び第２の視覚的表現１０４，１０６並びに出力メディアオブジェクトが許容可能ならば、新しい第1及び第２の視覚的表現１０４，１０６はバッファ１９０２から出力され、許容可能でなければ、新たなエンコードパラメータ及び／又はデコードパラメータで上述したようなプロセスが続く。

図２１は本発明の一実施例によるインタラクティブデザインプロセスを実行する方法の概略フローチャート２１００を示す。ステップ２１０２ではビデオクリップが受信され、そのビデオクリップの１つのリファレンスフレームのＭＰＥＧ−４エンコードが実行される。リファレンスフレームに加えてＭＰＧＥ−４ビットストリームが生成される。ＭＰＥＧ−４エンコーディングが説明されているが、他のいかなるエンコードフォーマットが使用されてもよいことは理解されるであろう。例えばＭＰＥＧ−２エンコードが使用されてもよい。リファレンスフレームは後でデータ処理を行うためにバッファ２１０４に送られる。

ステップ２１０６ではリファレンスフレームを表現するＭＰＥＧ−４ビットストリームからのビットが抽出される。第２の視覚的表現１０６はリファレンスフレームからのビットなしに生成されるので、リファレンスフレームからのビットは抽出される。リファレンスフレームビットのないビットストリームは「ＭＰＥＧ−４ビットストリーム^＊」と言及される。

ＭＰＥＧ−４ビットストリーム^＊はステップ２１０８で生成され、ＭＰＥＧ−４ビットストリーム^＊及びヘッダのビット数Ｎが決定される。ヘッダはアプリケーションに固有の情報を与える。例えばヘッダはデコードアプリケーションで認識される識別子を含んでもよい。

ステップ２１１０では、ビット数ＮがＢＢＩＴＳ＋ＨＢＩＴＳより小さくなく、それに等しくもないならば、本プロセスは別のエンコード法を求めて反復する。ＢＢＩＴＳは第２の視覚的表現１０６で印刷される望ましいビット数であり、ＨＢＩＴはヘッダに要求されるビット数である。ＭＰＥＧ−４ビットストリーム^＊のビット数がＢＢＩＴＳ及びＨＢＩＴより大きいならば、過剰に多いビットがそこにエンコードされるので、第２の視覚的表現１０６は所望のものより大きいかもしれない。

ステップ２１１２ではエンコーダの設定が修正される。例えばビデオクリップの持続時間、量子化パラメータ、ビットレート、フレームレート等がエンコードプロセス用に修正される。新たなパラメータはステップ２１０２のＭＰＥＧ−４エンコーディングで使用される。ＭＰＥＧ−４ビットストリーム^＊のビット数ＮがＢＢＩＴＳ＋ＨＢＩＴＳより小さくなるまで本プロセスはステップ２１０６，２１０８及び２１１０で説明されるように進行する。

ステップ２１１４ではＭＰＥＧ−４ビットストリーム^＊のビット数がＢＢＩＴＳ＋ＨＢＩＴＳより小さかった場合に、ヘッダ及びＭＰＥＧ−４ビットストリーム^＊がバーコード表現のような第２の視覚的表現１０６にエンコードされる。更にリファレンスフレームがバッファ２１０４から受信される。バーコード表現及びリファレンスフレーム画像はその後に第1の視覚的表現１０４及び第２の視覚的表現１０６を生成するために使用される。第1及び第２の視覚的表現１０４，１０６はその後にバッファ２１１５に送られる。

ステップ２１１６では第1及び第２の視覚的表現１０４，１０６が許容可能か否かが判定される。それらが許容可能でないならば、本プロセスはステップ２１１２に戻り、新たなエンコード設定が決定されてもよい。第1及び第２の視覚的表現が許容可能ならば、ステップ２１１８で劣化シミュレーションが実行される。

劣化シミュレーションは第1及び第２の視覚的表現１０４，１０６と共に実行され、劣化させられた第1及び第２の視覚的表現１０４，１０６がＭＰＥＧ−４デコーダ２１２０に出力される。ＭＰＥＧ−４デコーダ２１２０の出力はステップ２１２２でユーザに再生される出力メディアオブジェクトである。

ステップ２１２４では出力メディアオブジェクトが許容可能か否かが判定される。例えばその出力メディアオブジェクトが許容可能であるか否かを示すユーザからの入力が受信されてもよい。許容可能ならば本プロセスは進行し、バッファ２１１５に格納済みの第1及び第２の視覚的表現１０４，１０６が出力される。そして本デザインプロセスは終了する。

出力メディアオブジェクトが許容可能でなかったならば、本プロセスはステップ２１１２に進み、エンコードパラメータが変更されてもよい。ステップ２１２４では新たなデコードプロセスを実行する際に新たなデコードパラメータが使用されてもよい。本プロセスは新たなエンコード及び／又はデコードのパラメータと共に上述したように進行する。

以上のように本発明の実施例は対話式デザインプロセスを可能にし、そのプロセスでは第１，第２の視覚的表現及び出力メディアオブジェクトが対話式に決定されてもよい。例えば許容可能な第1又は第２の視覚的表現及び／又はメディアオブジェクトがパラメータを変更することで決定されてもよい。従ってユーザは彼／彼女が第1及び第２の視覚的表現から構築される出力メディアオブジェクトをどのように見たいかを決定してもよい。このプロセスはシミュレーションを利用してもよく、その場合にエンコーダ及び／又はデコーダを含む装置が使用されることは必要でないかもしれない。むしろ装置に関するパラメータ群を有するエンコーダ及び／又はデコーダのシミュレーションがエンコード／デコードのプロセスで使用されてもよい。そして、出力メディアオブジェクト及び第１，第２の視覚的表現が異なる装置でどのように見えるかを知るためにパラメータが変更されてもよい。

本デザインプロセスはフォトブース的なアプリケーションに使用可能であり、そこではユーザが入力メディアオブジェクト（例えばユーザが微笑んだりキスを投げたりしている小さなビデオクリップ）を生成し、入力メディアオブジェクトの表現を含むグリーティングカードを得るためにインタラクティブデザインプロセスを使用する。

別のアプリケーションはＭＦＰ（複合プリンタ）アプリケーションであり、入力メディアオブジェクトがＳＤカードのようなメモリカードで与えられ、ユーザはＭＦＰとやり取りをしてメディアオブジェクトの満足な印刷出力を得るものである。別の例はデスクトップＰＣのユーザを含み、そのユーザはビデオクリップを提示することでグリーティングカードをデザインし、ビデオグリーティングカードのレイアウトや最終的なキャラクタを修正可能にするウエブブラウザデザインツールとやり取りをする。同様な対話がコンビニエンスストアのキオスクで実行可能である。

対話式デザインプロセスの実施例は多くの利点をもたらす。第1，第２の視覚的表現及び第1，第２の視覚的表現による出力メディアオブジェクトを生成することは無損失の（ｌｏｓｓｌｅｓｓ）プロセスではなくてもよく、多くのトレードオフが含まれてもよい。例えばこのプロセスでビデオクリップを表現する場合に、小さな第２の視覚的表現（例えばバーコード）が望ましいならば、ビデオクリップの持続時間は非常に短いことを要する。また、エンコードされるメディアオブジェクトの種別に依存して、最終的な視覚的表現がどのように見えるかに最終的に影響する多くのパラメータが存在するかもしれない。量子化パラメータのようなこれらのパラメータの一部は所与の制約に基づいて自動的に調整されることが可能である。しかしながらリファレンスフレーム数、第２の視覚的表現（例えばバーコード）のサイズ、ビデオの持続時間のような他のパラメータの調整はより主観的なものであり、ユーザとの対話を要する。

図２２は本発明の一実施例による処理を実行するのに使用可能なデータ処理システム２２００の概略ブロック図である。図２２に示されるように、データ処理システム２２００は少なくとも１つのプロセッサ２２０２を有し、プロセッサはバスシステム２２０４を通じて多数の周辺装置と通信する。これらの周辺装置は、メモリサブシステム２２０８及びファイルストレージサブシステム２２１０を有するストレージサブシステム２２０６、ユーザインターフェース入力装置２２１２、ユーザインターフェース出力装置２２１４及びネットワークインターフェースサブシステム２２１６を有する。入力及び出力装置はユーザがデータ処理システム２２０２とやり取りすることを可能にする。

ネットワークインターフェースサブシステム２２１６は他のコンピュータシステム、ネットワーク及びストレージリソースに対するインターフェースを与える。ネットワークはインターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、イントラネット、プライベート（私的）ネットワーク、パブリック（公的）ネットワーク、交換ネットワーク又は適切な他のいかなる通信ネットワークでも含んでよい。ネットワークインターフェースサブシステム２２１６は他のソースからデータを受信し、他のソースからデータ処理システム２２００へデータを送信するインターフェースとして機能する。ネットワークインターフェースサブシステム２２１６の例はイーサーネット（登録商標）カード、モデム（電話、衛星、ケーブル、ＩＳＤＮ等）、（非同期）ディジタル加入者回線（ＤＳＬ）ユニット等を含む。

ユーザインターフェース入力装置２２１２はキーボード、マウス、トラックボール、タッチパッド又はグラフィクスタブレットのようなポインティングデバイス、スキャナ、バーコードスキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムのような音声入力装置、マイクロフォン、及び他の種類の入力装置を含んでもよい。一般に、「入力装置」なる用語の使用は、情報をデータ処理システム２２００に入力する全ての可能な装置及び方法を含むように意図される。

ユーザインターフェース出力装置２２１４はディスプレイサブシステム、プリンタ、ファクシミリ装置又は非視覚的ディスプレイ（音声出力装置等）を含んでもよい。ディスプレイサブシステムは陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）のようなフラットパネル装置又は投影装置（プロジェクタ）でもよい。一般に、「出力装置」なる用語の使用は、データ処理システム２２００から情報を出力する全ての可能な種類の装置及び方法を含むように意図される。

ストレージサブシステム２２０６は本発明の機能を与える基本プログラム及びデータ構造を格納するよう構成される。例えば本発明の一実施例によれば本発明の機能を実行するソフトウエアモジュールがストレージサブシステム２２０６に格納されてもよい。これらのソフトウエアモジュールはプロセッサ２２０２により実行されてもよい。ストレージサブシステム２２０６は本発明で使用されるデータを格納するリポジトリも提供する。ストレージサブシステム２２０６はメモリサブシステム２２０８及びファイル／ディスクストレージサブシステム２２１０から構成されてもよい。

メモリサブシステム２２０８はいくつかのメモリを含んでもよく、そのメモリはプログラム実行中に命令及びデータを格納するランダムアクセスメモリ（ＲＡＭ）２２１８及び所定の命令が格納されるリードオンリメモリ（ＲＯＭ）２２２０を含む。ファイルストレージサブシステム２２１０は、プログラム及びデータファイル用の永続的な（不揮発性の）ストレージを提供し、ハードディスクドライブ、取り外し可能な媒体に関連するフロッピディスクドライブ、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）ドライブ、光装置、取り外し可能なカートリッジ及び他のストレージ媒体を含んでもよい。

バスサブシステム２２０４はデータ処理システム２２０２の様々な要素及びサブシステムが意図されるように互いに通信させる機構を与える。バスサブシステム２２０４は一本のバスのように概略的に示されているが、他の実施例のバスサブシステムは複数のバスを使用してもよい。

データ処理システム２２００はパーソナルコンピュータ、ポータブルコンピュータ、ワークステーション、ネットワークコンピュータ、メインフレーム、キオスク又は他のいかなるデータ処理システムをも含む異なる種類のものにすることができる。コンピュータ及びネットワークの日進月歩する性質に起因して、図２２に示されるデータ処理システム２２００の説明はコンピュータシステムの好適実施例を示す目的に関する単なる具体例であることが意図される。図２２に示されるシステムより多くの又はより少ない要素を含む他の多くの構成例が可能である。

本発明はソフトウエア、ハードウエア又はその組み合わせにおける制御論理の形式で実現可能である。本願の開示及び教示の内容に基づいて、当業者は本発明を実現する他の手法及び／又は方法を認識するであろう。

上記の説明は例示的であり、制限的ではない。本発明の多くの変形例は本開示内容を参照することによって当業者に明白になるであろう。従って本発明の範囲は実施例を参照することによって決定されるものではなく、本発明の全範囲又は均等物と共に添付の特許請求の範囲を参照することで決定されるべきである。

本発明の一実施例による入力メディアオブジェクトをエンコードするシステムを示す図である。 視覚的表現を作成する本発明の一実施例による方法の概略フローチャートを示す図である。 視覚的表現を媒体に出力する本発明の一実施例によるシステムを示す図である。 本発明の一実施例によるエンコードプロセスの概略フローチャートを示す図である。 第1及び第２の視覚的表現を生成する本発明の一実施例による方法の概略フローチャートを示す図である。 本発明の一実施例による第1の視覚的表現及び第２の視覚的表現の様々なレイアウトを示す図である。 出力メディアオブジェクトを作成する本発明の一実施例によるシステムを示す図である。 出力メディアオブジェクトを作成する本発明の一実施例による方法の概略フローチャートを示す図である。 出力メディアオブジェクトを作成する本発明の一実施例によるシステムの概略ブロック図である。 出力メディアオブジェクトをデコード及び作成する本発明の一実施例による概略フローチャートを示す図である。 媒体上で発見された第1及び第２の視覚的表現を判定する本発明の一実施例による方法の概略フローチャートを示す図である。 本発明の一実施例による出力メディアオブジェクトとしてバーコードにエンコードされた動きを有する印刷されたキーフレームの表現を示す図である。 出力メディアオブジェクトを生成するのに使用される本発明の一実施例によるグリーティングカード例を示す図である。 本発明の一実施例によるクロマキーアプリケーション例におけるエンコーダ及びデコーダの入出力を示す図である。 音声情報を含む出力メディアオブジェクトを生成するための本発明の一実施例によるエンコーダ及びデコーダの入出力を示す図である。 音楽を構成する本発明の一実施例によるエンコーダ及びデコーダの入出力を示す図である。 本発明の一実施例による合成符号化アプリケーションを示す図である。 入力メディアオブジェクトの視覚的表現を決定する本発明の一実施例によるシステムを示す図である。 本発明の一実施例によるデザインシステムの概略ブロック図である。 本発明の一実施例によるデザインプロセスを実行する方法の概略フローチャートを示す図である。 本発明の一実施例によるインタラクティブデザインプロセスを実行する方法の概略フローチャートを示す図である。 本発明の一実施例による処理を実行するのに使用可能なデータ処理システムの概略ブロック図である。

符号の説明

１０２ エンコーダ
１０４ 第1の視覚的表現
１０６ 第２の視覚的表現
３００ システム
３０６ 出力装置
３０８ 媒体
３１０ キーフレーム
３１１ ビデオカメラ
３１２ 付加的な情報
３１３ 絵
３１４ 文字
６００，６０２ マーカー
７０２ デコーダ
９０２ 捕捉装置
９０６ 第２情報デコーダ
９０８ メディアオブジェクト生成部
１２０１ 画像
１２０２ 紙媒体
１２０４ 装置
１２０６ 第1の視覚的表現
１２０８ 第２の視覚的表現
１２１０ 付加的な情報
１２１２ デコーダ
１２１４ ディスプレイ
１３０２ 媒体
１３０４ 第1の視覚的表現
１３０６ 第２の視覚的表現
１３０８ インターフェース
１４０２ メディアオブジェクト
１４０３ 場面
１４０５ 人の顔の画像
１４０６ 電子的格納媒体
１４０８ 紙媒体
１５０２ 入力メディアオブジェクト
１５０４ 第1の視覚的表現
１５０６ 第２の視覚的表現
１５０８ 媒体
１６０４ 第1の視覚的表現
１６０６ 第２の視覚的表現
１６０８ 媒体
１７０２ 入力メディアオブジェクト
１７０４ 第1の視覚的表現
１７０６ 第２の視覚的表現
１７０８ 媒体
１７１０ 出力メディアオブジェクト
１８００ システム
１８０４ デザインシステム
１８０８ クライアント
１８１０ ユーザインターフェース
１９０２ バッファ
２２００ データ処理システム
２２０２ プロセッサ
２２０４ バスシステム
２２０６ ネットワークインターフェース
２２０８ メモリサブシステム
２２１０ ファイルストレージサブシステム
２２１２ ユーザインターフェース入力装置
２２１４ ユーザインターフェース出力装置
２２１８ ＲＡＭ
２２２０ ＲＯＭ

Claims (19)

1. 入力メディアオブジェクトの視覚的表現を決定する方法であって、
   （ａ）一群のエンコードパラメータに基づいて入力メディアオブジェクトから１以上の視覚的表現を決定するステップと、
   （ｂ）一群のデコードパラメータに基づいて１以上の視覚的表現から出力メディアオブジェクトを生成するステップと、
   （ｃ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを示す指示を受信するステップと、
   （ｄ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能でないことを前記指示が示す場合に、一群のエンコードパラメータ及び一群のデコードパラメータより成る群から選択された要素の少なくとも１つのパラメータを変更するステップと、
   （ｅ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能であることを示す指示が受信されるまでステップ（ａ）−（ｄ）を実行するステップと、
   を有することを特徴とする方法。
2. １以上の視覚的表現をバッファリングするステップと、
   バッファリングされた１以上の視覚的表現を、それらが許容可能であることを入力が示す場合に出力するステップと、
   を更に有することを特徴とする請求項１記載の方法。
3. 指示を受信するステップが、１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを自動的に判定するステップより成る
   ことを特徴とする請求項１記載の方法。
4. 入力メディアオブジェクトの第1の視覚的表現及び第２の視覚的表現を決定する方法であって、
   （ａ）第1情報に基づいて入力メディアオブジェクトから第1の視覚的表現を決定するステップと、
   （ｂ）第２情報に基づいて入力メディアオブジェクトから第２の視覚的表現を決定するステップと、
   （ｃ）第1及び第２の視覚的表現から出力メディアオブジェクトを生成するステップと、
   （ｄ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能か否かを示す指示を受信するステップと、
   （ｅ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能でないことを前記指示が示す場合に、第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトが許容可能であることを指示が示すまで、新たな第1の視覚的表現、新たな第２の視覚的表現及び新たな出力メディアオブジェクトより成る群から選択された要素を生成するようにステップ（ａ）−（ｄ）を実行するステップと、
   を有することを特徴とする方法。
5. 第1の視覚的表現を決定するステップ及び第２の視覚的表現を決定するステップが、エンコードパラメータを用いて１以上の視覚的表現の生成をシミュレートするステップより成る
   ことを特徴とする請求項４記載の方法。
6. 第1及び第２の視覚的表現をバッファリングするステップと、
   バッファリングされた第1及び第２の視覚的表現を、それらが許容可能であることを入力が示す場合に出力するステップと、
   を更に有することを特徴とする請求項４記載の方法。
7. 指示を受信するステップが、第１及び第２の視覚的表現又は出力メディアオブジェクトが許容可能か否かを自動的に判定するステップより成る
   ことを特徴とする請求項４記載の方法。
8. 入力メディアオブジェクトの視覚的表現を決定させるコンピュータ読み取り可能な媒体に記憶されたコンピュータプログラムであって、
   （ａ）一群のエンコードパラメータに基づいて入力メディアオブジェクトから１以上の視覚的表現を決定させるコードと、
   （ｂ）一群のデコードパラメータに基づいて１以上の視覚的表現から出力メディアオブジェクトを生成させるコードと、
   （ｃ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを示す指示を受信させるコードと、
   （ｄ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能でないことを前記指示が示す場合に、一群のエンコードパラメータ及び一群のデコードパラメータより成る群から選択されたようその少なくとも１つのパラメータを変更させるコードと、
   （ｅ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能であることを示す指示が受信されるまで（ａ）−（ｄ）の動作を実行させるコードと、
   を有することを特徴とするコンピュータプログラム。
9. １以上の視覚的表現をバッファリングさせるコードと、
   バッファリングされた１以上の視覚的表現を、それらが許容可能であることを入力が示す場合に出力させるコードと、
   を更に有することを特徴とする請求項８記載のコンピュータプログラム。
10. 指示を受信させるコードが、１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを自動的に判定させるコードより成る
    ことを特徴とする請求項８記載のコンピュータプログラム。
11. 入力メディアオブジェクトの第1の視覚的表現及び第２の視覚的表現を決定させるコンピュータ読み取り可能な媒体に格納されたコンピュータプログラムであって、
    （ａ）第1情報に基づいて入力メディアオブジェクトから第1の視覚的表現を決定させるコードと、
    （ｂ）第２情報に基づいて入力メディアオブジェクトから第２の視覚的表現を決定させるコードと、
    （ｃ）第1及び第２の視覚的表現から出力メディアオブジェクトを生成させるコードと、
    （ｄ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能か否かを示す指示を受信させるコードと、
    （ｅ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能でないことを前記指示が示す場合に、第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトが許容可能であることを指示が示すまで、新たな第1の視覚的表現、新たな第２の視覚的表現及び新たな出力メディアオブジェクトより成る群から選択された要素を生成するように（ａ）−（ｄ）の動作を実行させるコードと、
    を有することを特徴とするコンピュータプログラム。
12. 第1及び第２の視覚的表現をバッファリングさせるコードと、
    バッファリングされた第1及び第２の視覚的表現を、それらが許容可能であることを入力が示す場合に出力させるコードと、
    を更に有することを特徴とする請求項１１記載のコンピュータプログラム。
13. 指示を受信させるコードが、第１及び第２の視覚的表現又は出力メディアオブジェクトが許容可能か否かを自動的に判定させるコードより成る
    ことを特徴とする請求項１１記載のコンピュータプログラム。
14. 入力メディアオブジェクトの視覚的表現を決定するデータ処理システムであって、
    （ａ）一群のエンコードパラメータに基づいて入力メディアオブジェクトから１以上の視覚的表現を決定する手段と、
    （ｂ）一群のデコードパラメータに基づいて１以上の視覚的表現から出力メディアオブジェクトを生成する手段と、
    （ｃ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを示す指示を受信する手段と、
    （ｄ）１以上の視覚的表現又は出力メディアオブジェクトが許容可能でないことを前記指示が示す場合に、一群のエンコードパラメータ及び一群のデコードパラメータより成る群から選択されたようその少なくとも１つのパラメータを変更する手段と、
    を有し、１以上の視覚的表現又は出力メディアオブジェクトが許容可能であることを示す指示が受信されるまで動作（ａ）−（ｄ）が実行され、当該データ処理システムが実行するように指示する複数の命令を格納するメモリを含むことを特徴とするデータ処理システム。
15. １以上の視覚的表現をバッファリングさせ、
    バッファリングされた１以上の視覚的表現を、それらが許容可能であることを入力が示す場合に出力させる
    ように指示する命令がメモリに含まれることを特徴とする請求項１４記載のデータ処理システム。
16. 指示の受信が、１以上の視覚的表現又は出力メディアオブジェクトが許容可能か否かを自動的に判定することでなされる
    ことを特徴とする請求項１４記載のデータ処理システム。
17. 入力メディアオブジェクトの第1の視覚的表現及び第２の視覚的表現を決定するデータ処理システムであって、
    （ａ）第1情報に基づいて入力メディアオブジェクトから第1の視覚的表現を決定する手段と、
    （ｂ）第２情報に基づいて入力メディアオブジェクトから第２の視覚的表現を決定する手段と、
    （ｃ）第1及び第２の視覚的表現から出力メディアオブジェクトを生成する手段と、
    （ｄ）第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能か否かを示す指示を受信する手段と、
    を有し、第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトより成る群から選択された要素が許容可能でないことを前記指示が示す場合に、第1の視覚的表現、第２の視覚的表現及び出力メディアオブジェクトが許容可能であることを指示が示すまで、新たな第1の視覚的表現、新たな第２の視覚的表現及び新たな出力メディアオブジェクトより成る群から選択された要素を生成するように（ａ）−（ｄ）の動作が実行され、
    当該データ処理システムが実行するように指示する複数の命令を格納するメモリを有することを特徴とするデータ処理システム。
18. 第1及び第２の視覚的表現をバッファリングさせ、
    バッファリングされた第1及び第２の視覚的表現を、それらが許容可能であることを入力が示す場合に出力させる
    ように指示する命令がメモリに含まれることを特徴とする請求項１７記載のデータ処理システム。
19. 指示の受信が、第１及び第２の視覚的表現又は出力メディアオブジェクトが許容可能か否かを自動的に判定することでなされる
    ことを特徴とする請求項１７記載のデータ処理システム。