JP2009510897A - メディアコンテンツの管理 - Google Patents

Abstract

本発明は、メディア管理に関し、メディアをトランスコードする場合に生じるメディア（１０Ａ、３０Ａ）の劣化を低減する。本発明は、メディアのトランスコーディングに基づいて処理ヒント情報を生成することによって、これを解決する。ヒント情報は、メディアをレンダリングすることに関連してトランスコードされたメディアコンテンツ（１０Ｂ、２０Ｂ、３０Ｂ）のトランスコーディング後の処理を制御するために使用される。ヒント情報及びこの制御された処理が、トランスコーディングに起因するメディアの劣化を低減することによって、メディア（１０Ｃ、２０Ｃ、３０Ｃ）をレンダリングする場合にユーザが知覚する品質を向上させる。処理ヒント情報は、使用されたトランスコーディング・パラメータの値又はトランスコーディングに起因するメディア（１０Ｂ、２０Ｂ、３０Ｂ）の変更の情報を含むことによって、実際のトランスコードがどのようにして行われたかを明確に示してもよい。さらに、適切なトランスコーディング後の処理についての命令又はコマンドも、本発明による処理ヒント情報であってもよい。

Description

本発明は、一般にメディアコンテンツの管理に関するものであり、詳細には、メディアのトランスコーディングによって引き起こされるメディアコンテンツの劣化を低減するためのメディアコンテンツ処理に関するものである。

近年、データ処理システム及びユーザ端末上で、例えば、コンピュータや特にモバイル端末上で、画像（イメージ）、グラフィックス、ビデオ及びその他のタイプのメディアコンテンツや、マルチメディアコンテンツを提示したりレンダリングしたりすることが大幅に増えてきた。このメディアのレンダリングや、非常に多様化したデータ提示装置及び端末の利用の増加によって、コンテンツを特定のレンダリング装置の機能に適合させるために、メディアコンテンツの処理が必要となることが多い。例えば、第１の無線通信装置は、第１の画像形式で、かつ、通信装置の機能と互換性のある第１の画像標準規格に従って画像を生成する。その後、生成された画像が、他の画像処理機能を有する第２の通信装置へ無線で送信される。ここで、第２の通信装置が画像をレンダリングして表示できるようにするために、レンダリングを行う前に画像のトランスコーディングが行われることが望ましい。

画像のトランスコーディング、及び、概してメディアのトランスコーディングは、例えば異なる符号化標準規格間でメディアをトランスコードすることによって、メディアの特性を変換し、及び／又は、異なるメディア形式間でメディアを変換する。結果として生じるトランスコードされたメディアは、対象とするレンダリング装置でレンダリングされうる。これは、メディアが現在当該レンダリング装置が取り扱える形式になっているとともに、当該レンダリング装置が取り扱える標準規格に従っているからである。

ヨーロッパ特許出願第１１３７２８９号明細書は、動画コンテンツに関する受信端末の各種の処理機能を補正する方法及び装置を開示している。受信端末は、コンテンツ要求と自分自身の処理機能情報とを送信することによって、データアクセスサーバにマルチメディアコンテンツを要求する。続いて、アクセスサーバは、マルチメディアコンテンツサーバにコンテンツ情報を要求し、その後、要求したマルチメディアコンテンツを受信する。アクセスサーバは、受信したマルチメディアコンテンツを受信端末にとって「できる限り最適な」形式にトランスコードする場合に、端末情報とコンテンツ情報とをトランスコーディングのヒント情報として利用する。最後に、そのようにトランスコードされたコンテンツが受信端末へ送信される。

したがって、引用したヨーロッパ出願は、メディアを特定のレンダリング装置に適応させることを目的として、メディアのトランスコーディングにおいてトランスコーディングのヒント情報を利用することを教示している。

このトランスコーディングは、レンダリング装置上でメディアをレンダリングすることを可能にするが、トランスコーディング自体がメディアの劣化や変更の原因となる。例えば、ある符号化標準規格が、別の符号化標準規格の機能性を組み込む選択肢及び意味を欠いていることがあり、それは、新たな形式／標準規格にトランスコードされた場合、トランスコードされたメディアが元のメディアの形式／標準規格の機能性を十分に生かせないことを意味する。また、メディアが実際にレンダリングされた場合であっても、トランスコードされたメディアをレンダリングする場合、ユーザが知覚する品質は完璧というには程遠く、通常は、もし可能であったとしても、元のトランスコードされていないメディアをレンダリングすることと比較すると、大いに悪化してしまう。

したがって、メディアコンテンツ及びマルチメディアコンテンツが、異なるメディア形式間及び標準規格間でトランスコードされることを可能にし、トランスコーディング処理に起因するこれらのメディアの劣化や変化を補正するか又は効率的に処理するようなメディア処理及び管理が必要とされる。

本発明は、従来技術の装置のこれらの欠点及びその他の欠点を克服する。

本発明の概略の目的は、メディアコンテンツをトランスコードすることに起因するメディアコンテンツの劣化及び否定的で有害な変更を低減し、それらを緩和するのに使用されうる技術を提供することである。

本発明のもう１つの目的は、トランスコードされたメディアコンテンツをレンダリングする場合に、ユーザが知覚する品質を高めるような処理ヒント情報を生成し、その利用法を提供することである。

本発明の特有の目的は、レンダリングされたときに視覚的及び／又は聴覚的により魅力的なメディアを得るために、メディアコンテンツのトランスコーディングに基づいて生成され、トランスコードされたメディアの処理の制御を可能にするような、処理ヒント情報を提供することである。

本発明は、添付の請求項で定義されるように上述の目的及びその他の目的を満足させる。

つまり、本発明はメディアコンテンツ及びマルチメディアコンテンツの管理に関係し、詳細には、コンテンツをトランスコードすることに起因するメディアの劣化を緩和させてそれらを低減することと、トランスコードされたメディアをレンダリングするときにユーザが知覚する品質を向上させることとを目的とするメディアコンテンツ及びマルチメディアコンテンツの処理に関係する。

本発明のメディアコンテンツ管理は、メディアコンテンツを、対象とするコンテンツ受信者が取り扱うことのできる形式又は標準規格にトランスコードすることに関係する。本発明では、メディアの実際のトランスコーディングに基づいて処理のヒント情報又はレンダリングのヒント情報が生成される。さらに、ヒント情報は、トランスコードされたメディアコンテンツをレンダリングするときにユーザが知覚する品質を向上させるため、トランスコードされたメディアのトランスコード後の処理の制御を可能にする。

処理ヒント情報は、トランスコーディング処理に関連し、例えばトランスコーディングの最中に又はその後に生成される。そのようなヒント情報は、例えば、トランスコーディング・パラメータの値及び現行のメディアコーディング内で採用された設定を含むことにより、現行のメディアコンテンツについてトランスコーディングが実際にどのように行われたかを反映する情報を含んでもよい。代替例として、又は上記情報に加えて、ヒント情報は、トランスコーディングに起因するメディアの変更の情報を含んでもよい。さらに、適切なトランスコーディング後のフィルタリングや処理についての命令やコマンドも、本発明による処理ヒント情報であってもよい。

いずれの場合でも、ヒント情報は、メディアのレンダリングに関連して、トランスコードされたメディアのトランスコーディング後の処理を制御するときに、続いて使用されることを目的として生成される。処理ヒント情報及びヒント情報に基づいて行われるメディア処理は、メディアのトランスコーディングに起因する有害な変更や劣化を緩和・軽減することを目的として使用される。ヒント情報は、トランスコーダからの情報によって、又はそれに基づいて生成される。また、トランスコーダは、自装置が生成するトランスコードされた出力の劣化、変更及び限界についての知識を有する。その後、レンダリング装置は、ヒント情報を用いてメディアをレンダリングし、結果としてユーザ体験の向上をもたらす。

さらに、処理ヒント情報は、トランスコードされたメディアコンテンツと関連付けられる。この関連付けは、トランスコードされたメディアコンテンツを含むファイルに処理ヒント情報を追加することによって実現されてもよい。例えば、３ＧＰファイル形式が特にビデオコンテンツ用に使用される。このファイル形式は、ユーザデータフィールドを含み、その中には事実上いかなるデータが入力されてもよい。したがって、本発明による処理ヒント情報は、ヒント情報とトランスコードされたビデオコンテンツとの間の関連付けを得ることを目的として、３ＧＰファイル形式のユーザデータフィールドに入れられてもよい。

或いは、処理ヒント情報がどのトランスコードされたメディアコンテンツに属していて、そしてどのトランスコードされたメディアコンテンツに適用されるべきかをレンダリング装置が識別できる限り、処理ヒント情報は別個に提供されてもよい。これは、処理ヒント情報がトランスコードされたメディアコンテンツに関連付けられたメタデータとみなされてもよいであろうということを意味する。別ファイルとして提供される場合、当該ファイルは、対応するメディアコンテンツファイルの識別子を含んでもよいし、又はメディアコンテンツファイルが処理ヒント情報ファイルの識別子を含んでもよい。

トランスコードされたメディアコンテンツをレンダリングする場合、最初にコンテンツが復号され、コンテンツに関連付けられた処理ヒント情報が提供される。ヒント情報は、例えばメディアとヒント情報とを一体化したファイルから抽出される。次に、コンテンツをレンダリングする前に行われるか又はコンテンツをレンダリングすることに関連して行われるメディアのトランスコーディング後の処理を制御する場合に、処理ヒント情報が用いられる。メディア処理及び処理制御においてヒント情報を使用すると、そのようなメディア処理及び処理制御をまったく使用せずにメディアをレンダリングすることと比較して、ユーザが知覚する品質が向上する。

例えば、本発明の処理ヒント情報は、サイズ変更された（大型画面に適応された）画像又はビデオのシーケンスにおける縁部（ｂｏｒｄｅｒ）領域の識別を可能にする情報を含む。これにより、ヒント情報は、縁部と画像との間の接触部分に発生する色のにじみを低減させるために用いられる。他の例では、処理ヒント情報は、トランスコードされた画像又はビデオの輝度レベルの調整情報を含んでもよい。また、この輝度情報は、画像やビデオが明るすぎたり暗すぎたりといった原因となりうる、さらなる輝度調整を防ぐために、レンダリングに関連して使用される。また、本発明によれば、取り込まれたブロック副作用（ブロックノイズ）を軽減するために用いられる適切なポストフィルタリングを定義する処理ヒント情報であってもよい。また、メディアのトランスコーディングの後で失われたか又は不適切な品質レベルとなったメディアコンテンツにデータを再度導入するために、処理ヒント情報が使用されてもよい。

本発明は以下の利点を提供する。
‐メディアをレンダリングする際に、トランスコードされたメディアにおいてユーザが知覚する品質を向上させるために、既存のトランスコーディングの方式及びシステムの補完として使用されうる。
‐メディアのトランスコーディングによって引き起こされ、取り込まれたメディアの劣化や限界、及び品質を悪化させる変更を緩和、軽減する。
‐低品質のメディアとなることなくメディアコンテンツのトランスコーディングを適用する可能性を改善する。

本発明によって提供されるその他の利点は、以下の本発明の実施形態の記述を参照すれば理解されるであろう。

本発明及びその目的と利点とは、添付の図面と共に下記の記述を参照することによって最も良く理解されるであろう。図面全体を通して、対応する要素又は類似した要素に対しては同一の参照文字を使用する。

本発明は、メディアコンテンツ及びマルチメディアコンテンツの管理に関係し、詳細には、コンテンツをトランスコードすることに起因するメディアの劣化を緩和させてそれらを低減することと、トランスコードされたメディアをレンダリングするときにユーザが知覚する品質を向上させることとを目的としたメディアコンテンツ及びマルチメディアコンテンツの処理に関係する。

本発明は、トランスコーディング処理の最中にそのようなトランスコーディングの方式及びシステムがメディアに対して必然的にもたらす変更や劣化を補正するために、既存のメディアのトランスコーディング方式及びシステムを補完し、それらと関連して使用されうるものである。

背景の欄で述べたように、メディアのトランスコーディングは、異なるレンダリング装置及びユーザ端末に対して適応される、異なる符号化標準規格間や異なるメディア形式間でメディアをトランスコードすることによって、メディアの特性を変化させる。通常、上記符号化標準規格は、別の符号化標準規格の機能性を組み込む選択肢や意味を欠いている。或いは、符号化標準規格は、その限界の影響を緩和する能力が欠けていることがある。この結果、ヨーロッパ特許出願第１１３７２８９号明細書に示されているように、トランスコーディングが、特定のレンダリング装置に基づいて実行され、かつ、特定のレンダリング装置に従って適応されたとしても、トランスコーディング自体が、トランスコードされたメディアをレンダリングする場合にユーザが知覚する品質を低下させる変更や劣化をもたらしてしまう。これについて、以下でさらに詳しく例示して説明する。

本発明は、限定はしないが、レンダリング中にユーザによって知覚可能な画像、音楽、声、ビデオ、マルチメディア、他のメディアタイプを含んだ如何なる形式やタイプのメディアにも適用可能である。当業者であれば理解するとおり、そのようなメディアレンダリングにおいて使用される特定のレンダリング方式又はシステムは、特定のタイプのメディアコンテンツによって決定されている。例えば、画像の場合には、レンダリング装置は、画像を画面上に提示する機能を含む。一方で、ビデオコンテンツや音声コンテンツの場合には、（ビデオ）画面又はスピーカによってそれぞれ再生されるであろう。

本発明が適用されうるトランスコーディングは、例えば、異なるメディア／符号化標準規格間、及び異なるメディア形式間でメディアコンテンツをトランスコードすることによって、メディアコンテンツを変更するメディアトランスコーディングであってもよい。これは、本発明が、例えば画像のトランスコーディング、音声のトランスコーディング、ビデオのトランスコーディング等に適用されうることを意味する。

本発明の基本的な考えは、使用されたメディアのトランスコーディングに基づく処理ヒント情報を生成することである。これらのヒント情報は、メディアコンテンツをレンダリングする前に、又はレンダリングに関連した、トランスコードされたメディアの処理の制御を可能にする。メディア処理をこのように制御することによって、トランスコーディングに起因するメディアの劣化が低減され、メディアの品質が向上する。したがって、ヨーロッパ特許出願第１１３７２８９号明細書に記述されたヒント情報とまったく対照的に、本発明の処理ヒント情報は、メディアのトランスコーディングに基づいて、かつ、メディアのトランスコーディングに応じて生成されるのであり、トランスコードされたメディアのトランスコード後の処理及びレンダリングを制御する際に利用されることを目的として適応される。上記のヨーロッパ出願において、トランスコーディングのヒント情報は、トランスコーディングの前に（端末の機能とメディアコンテンツ情報とに基づいて）生成され、トランスコーディングの中で使用される。したがって、本発明は、このヨーロッパ出願で開示されたトランスコーディング及び他の従来技術のトランスコーディングの方法の補完として使用されてもよい。

図１は、本発明の一実施形態によるメディアコンテンツを管理する方法を図解するフローチャートである。本方法は、任意のステップＳ１によって開始される。ステップＳ１において、トランスコードされることになるメディアコンテンツが、メディアコンテンツ発信源又はプロバイダから受信される。当該コンテンツ発信源は、外部装置、例えば、無線又は有線でメディアコンテンツをトランスコーダ装置へ送信する送信用通信装置や、コンテンツサーバ、コンテンツプロバイダなどであってもよい。また、メディアコンテンツ発信源は、例えばネットワークノード、コンテンツプロバイダ、又はモバイル通信装置の中のトランスコーダに連結して構成された、コンテンツ記憶装置やメディアコンテンツエンジンであってもよい。

図２は、本発明に係る無線通信システムの一部の概略図である。概略的に図２に示すように、メディアコンテンツ発信源が送信側のモバイル装置３００Ａの形式で、マルチメディア・メッセージング・サービス（ＭＭＳ）メッセージによって表されるメディアコンテンツを受信側のモバイル装置３００Ｂへ送信する。ＭＭＳメッセージは、例えば送信側の装置３００Ａによって撮影又は生成され、送信側の装置３００Ａの表示画面の大きさに適合された画像を含んでもよい。しかしながら、ここでは、対象とする受信側の装置３００Ｂが、はるかに大きな表示画面を有している。したがって、送信側の装置３００Ａによって使用される画像形式から受信側の装置３００Ｂによって使用される形式への画像のトランスコーディングが必要となる。このトランスコーディング動作は、システムのネットワークノードの中に、例えば、通信システムの無線アクセスネットワーク２又はコアネットワーク部分の中の基地局１Ａ、１Ｂ、又は何らかの他のネットワークノードの中に実装されたトランスコーダ２００によって行われる。図２において、トランスコーダ２００は、システムの至るところで送信されるマルチメディアメッセージを処理するために、通信システムによって用いられるマルチメディア・メッセージング・サービス・センタ（ＭＭＳＣ）５に連結して又はその中に実装される。

トランスコーダ２００は、本発明を使用することによって、ＭＭＳメッセージ内の画像の新たな形式へのトランスコードを行う。トランスコードされた画像は、受信側の装置３００Ｂの接続先である基地局１Ｂへ転送されるＭＭＳメッセージに含まれる。基地局１Ｂは、ＭＭＳメッセージをモバイル装置３００Ｂへ送信する。モバイル装置３００Ｂは、ＭＭＳメッセージに含まれた画像をレンダリングして表示する。

図１の説明に戻る。トランスコーダに連結して実装されたメディアコンテンツ発信源の場合、メディアコンテンツが、外部にある何らかの送信側の装置から受信されることは当然ありえない。この場合、任意のステップＳ１は省略される。

次に、ステップＳ２において、メディアコンテンツが、異なる符号化標準規格間、符号化形式間、メディア標準規格間、又は、メディア形式間でトランスコードされる。このメディアのトランスコーディングは、対象とするレンダリング装置がメディアコンテンツをレンダリングできるようにするために行われる。

再度、図２を参照すると、トランスコーダ２００は、結果として生じるトランスコードされたメディアが受信側の装置３００Ｂに適応された形式になっていて、当該受信側の装置３００Ｂによって管理できるように、受信側の装置３００Ｂの情報に基づいて画像のトランスコーディングを行うことが望ましい。トランスコーダ２００は、例えば、通信システム内に存在する多様な端末タイプと、それらの端末がどの画像形式を使用できるかのリストにアクセスしてもよい。また、対象とする受信側の装置３００Ｂにとってできるだけ最適であるようなトランスコードされたメディアコンテンツを生成するために、送信側の装置３００Ａ及び／又はメディアコンテンツ自体の情報も、使用されてもよい。

しかし、たとえトランスコーダ２００が端末タイプと、関係する通信装置３００Ａ、３００Ｂ、及びメディアコンテンツの機能とに関する入力情報を使用できるとしても、トランスコーディングを使用する場合は元の未処理のメディアと比較してメディアの品質が劣化することは避けられないであろう。

例えば、所定の画像形式を有する画像又はビデオを他の画像形式、例えば大型画面形式にトランスコードを行う場合、通常、単色の縁部（ｂｏｒｄｅｒ）が画像の上下及び／又は左右に現れる。しかし、トランスコーディング処理の一部として、そのような画像を圧縮する場合、色が染み出る傾向にあることを意味する、にじみとして知られる副作用が発生する。このにじみは、結果として、通常は縁部である色彩の少ない領域に色の痕跡がにじむこととなる。即ち、通常は元の画像フレームである色彩の豊かな領域に含まれる色の痕跡が縁部にじむことになる（逆も同様）。したがって、トランスコードされた画像がユーザのために表示されると、ユーザが知覚するトランスコードされた画像の品質が低下するであろう。

さらに、ビデオは、トランスコーディングの間、４分の１共通中間フォーマット（ＱＣＩＦ）からサブＱＣＩＦにサイズ変更されてもよい。この場合、結果として、単色ピクセルの縁部領域が実際のビデオの形成される。ビデオコンテンツを符号化する間に、他の色が単色の縁部ににじみ出るであろう。

その結果、図１の次のステップＳ３において、本発明に係る処理ヒント情報が、実際のメディアのトランスコーディングに基づいて生成される。これらの処理ヒント情報は、トランスコーディング処理に関連して生成され、例えばトランスコーディングの最中に又はその後に生成される。ヒント情報は、現行のメディアコンテンツについてトランスコーディングが実際にどのように行われたかを反映する情報を含んでもよい。また、ヒント情報は、メディアコンテンツをレンダリングすることに関連して、トランスコードされたメディアのトランスコーディング後の処理を制御する場合に、続いて使用されることを目的として生成される。処理ヒント情報及びヒント情報に基づいて行われるメディア処理は、メディアのトランスコーディングに起因する有害な変更や劣化を緩和、軽減することを目的として使用される。ヒント情報は、トランスコーダからの情報によって、又はそれに基づいて生成される。トランスコーダは、自装置が生成するトランスコードされた出力の劣化、変更及び限界についての知識を有する。その後、レンダリング装置が、ヒント情報を用いてメディアをレンダリングし、結果としてユーザ体験の向上をもたらす。

処理ヒント情報は、次のステップＳ４において、トランスコードされたメディアコンテンツと関連付けられる。この関連付けは、トランスコードされたメディアコンテンツを含むファイルに処理ヒント情報を追加することによって実現されてもよい。

例えば、３ＧＰファイル形式は、特にビデオコンテンツのために使用される。このファイル形式は、ユーザデータフィールドを含み、その中には事実上いかなるデータが入力されてもよい。したがって、本発明に係る処理ヒント情報は、ヒント情報とトランスコードされたビデオコンテンツとの間の関連付けを得ることを目的として、３ＧＰファイル形式のようなユーザデータフィールドに入れられてもよい。

さらに、処理ヒント情報は、例えば拡張マークアップ言語（ＸＭＬ）を使用することによって、同期化マルチメディア統合言語（ＳＭＩＬ）ファイルに追加されてもよい。メディアデータを表すのに使われる実際の形式を定義するのではなく、ＳＭＩＬは、各種のメディアコンテンツ（オーディオ、ビデオ、テキスト、画像）を指定するコマンドを定義する。本発明を実装するのに、ＳＭＩＬの代わりに、画像がウェブ上でＸＭＬページとして表示されることができるようにするスケーラブル・ベクトル・グラフィックス（ＳＶＧ）ファイル形式が使われてもよい。ＳＶＧ画像は、表示ウィンドウの大きさに合わせて拡大縮小が可能で、その中に表示されることになるウィンドウに従って大きさや解像度が調節される。他の代替案としては、セッション記述プロトコル（ＳＤＰ）、Ｈ．２６３ビットストリーム、又は、他のコーディング標準規格における他のユーザデータフィールドなどがある。

したがって、本発明の処理ヒント情報は、関連するトランスコードされたメディアコンテンツをも含むファイルの既存のユーザデータフィールドに追加されてもよい。或いは、処理ヒント情報がどのトランスコードされたメディアコンテンツに属していて、そしてどのトランスコードされたメディアコンテンツに適用されるべきかをレンダリング装置が識別できる限り、処理ヒント情報は別個に提供されてもよい。これは、処理ヒント情報は、トランスコードされたメディアコンテンツに関連付けられたメタデータとみなされてもよいであろうということを意味する。別ファイルとして提供される場合、当該ファイルは、対応するメディアコンテンツファイルの識別子を含んでもよい。或いは、メディアコンテンツファイルには、処理ヒント情報ファイルの識別子が含まれてもよい。実際には、処理ヒント情報が適用されるべきメディアコンテンツの識別を可能にするものであれば、又はその逆の場合も同様だが、いずれの技法が本発明によって使用されてもよい。

任意のステップＳ５において、トランスコードされたメディアコンテンツと関連付けられた処理ヒント情報とが、トランスコーダから受信側のレンダリング装置へ送信される。この送信ステップにおいて、コンテンツ及びヒント情報は、同一ファイルの中に含まれてもよいし、別個に送信されてもよい。その後、本フローチャートの処理を終了する。

以下に、本発明の原理と利点を例示することを目的として、本発明に係る処理ヒント情報に基づいてトランスコードされたメディアの処理及び処理の制御を行うことによって緩和されうる、メディアのトランスコーディングに起因する、発生しうるメディア劣化と変更とについて、いくつか例を挙げて説明する。

図３Ａは、大型画面形式にトランスコードされることとなる元の画像１０Ａを概略的に示す図である。この画像のトランスコーディングにおいて、縁部が元の画像１０Ａの左側１２と右側１４とに追加される。

図３Ｂは、トランスコーディングに従ってレンダリングされた場合に元の画像１０Ｂと縁部２５とで構成される大型画面画像２０Ｂがどのように見えるかを、概略的に示す図である。つまり、画像２０Ｂは、処理ヒント情報に基づくトランスコーディング後の処理を行うことなく、従来技術の技法に従ってレンダリングされている。図で明らかなように、にじみ現象が、縁部２５と元の画像１０Ｂとの間の接続部において画像２０Ｂの部分２２に発生する。したがって、画像２０Ｂのトランスコーディングによって生じたにじみの副作用が、元の画像１０Ｂに面する縁部２５の辺２２において非常に顕著になるため、画像２０Ｂのユーザが知覚する品質が低下する。このにじみは、結果として、色彩の少ない領域である通常は縁部２５に、色彩の豊かな領域である通常は元の画像１０Ｂに含まれる色の痕跡がにじむであろう（そして逆も同様であるが、同じように視覚的に明らかであるとは限らない）。

本発明に係る処理ヒント情報は、トランスコードされた画像２０Ｂの領域について、元の画像１０Ｂに属する領域かそれとも縁部２５に属する領域かを識別する情報を含んでもよい。次に、色のにじみという視覚的影響を減少させることを目的として、トランスコードされた画像２０Ｂの処理を制御するため、処理ヒント情報がレンダリング装置によって使用されてもよい。例えば、画像２０Ｂは、処理ヒント情報に基づいて縁部２５とにじみ画像部分２２とを除去して結果的に元の画像部分１０Ｂを残すことによって、トリミングされてもよい。次に、画像をレンダリングするときに新たな単色の縁部が画像に追加されてもよいだろう。

或いは、レンダリング装置がそのような画像形式を取り扱うことができるならば、元の画像１０Ｂに対応する画像２０Ｂのうちのこれらの部分のみを識別し、（画像ファイルから）取って来て、レンダリングするために、処理ヒント情報が用いられる。

好適な実施形態によれば、縁部２５が、所定の色又は所定の複数の色から構成される。或いは、処理ヒント情報が、元の画像１０Ｂ又は縁部２５の領域を識別する情報に加えて縁部２５の色（又は複数の色）の情報を含む。これにより、所定の色（又は複数の色）を用いて、又は、ヒント情報の色の情報を用いて、縁部に対応する画像の部分をレンダリングすることを目的として、レンダリング装置によって、又は、レンダリング装置に連結する専用の画像プロセッサによって処理ヒント情報が使用される。画像（元の画像に対応する）の残りの部分は、画像ファイルに含まれる色に基づいて通常どおりレンダリングされる。図３Ｃは、上述のようにヒント情報に従って処理された図３Ｂのトランスコードされた画像２０Ｂを示す図である。図３Ｃに示すように、結果として生じるトランスコードされ、処理され、レンダリングされた画像２０Ｃは、図３Ｂのトランスコードされてレンダリングされた画像２０Ｂと比較すると、にじみ領域２２が非常に小さい。この理由は、縁部２５に対応する画像２０Ｃの部分には元の画像１０Ｃの色のにじみがまったく発生しないからである。これは、一部の視覚的に目立ちにくい、縁部の色の元の画像１０Ｃへのにじみだけが残っていることを意味する。図３Ｃの本発明によって処理された画像を、図３Ｂの対応する従来技術の画像と比較すると、トランスコーディングの後で処理ヒント情報に基づいて画像を処理する場合、画像のトランスコーディングに基づいて生成された処理ヒント情報の使用が、トランスコーディングに起因する劣化を低減（緩和）することが、明白である。

したがって、上述した例において、処理ヒント情報は、トランスコードされたデータを記述して画像のトランスコーディングによってどのような変更が行われたか又は追加されたかを識別する情報を含む。

なお、先行技術の技法によれば、レンダリング装置は、画像は単に１と０の符号化されたシーケンスであるとしか分らないため、トランスコードされた画像の中で縁部領域又は元の画像区域を識別する可能性を有しない。したがって、図３Ｂで開示されたにじみの問題について、従来技術の画像処理システムではこれまで解決されていない。

以下では、処理ヒント情報用のＸＭＬでの擬似コードについて、一例を示す。
＜？ｘｍｌ ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ＩＳＯ−８８５９−１”？＞
＜Ｆｉｌｅ１＞
＜Ｈｉｎｔ１＞
＜ｂｏｒｄｅｒ１ｓｔａｒｔｐｉｘｅｌ＞０＜／ｂｏｒｄｅｒ１ｓｔａｒｔｐｉｘｅｌ＞
＜ｂｏｒｄｅｒ１ｅｎｄｐｉｘｅｌ＞６３＜／ｂｏｒｄｅｒ１ｅｎｄｐｉｘｅｌ＞
＜ｂｏｒｄｅｒ２ｓｔａｒｔｐｉｘｅｌ＞４４８＜／ｂｏｒｄｅｒ２ｓｔａｒｔｐｉｘｅｌ＞
＜ｂｏｒｄｅｒ２ｅｎｄｐｉｘｅｌ＞５１１＜／ｂｏｒｄｅｒ２ｅｎｄｐｉｘｅｌ＞
＜ｂｏｒｄｅｒｃｏｌｏｒ＞ｂｌａｃｋ＜／ｂｏｒｄｅｒｃｏｌｏｒ＞
＜／Ｈｉｎｔ１＞
＜／Ｆｉｌｅ１＞
別の例では、処理ヒント情報は、トランスコーディング・パラメータの中に使用された少なくとも１つのトランスコーディング・パラメータにおける実効値の情報を含む。当該パラメータは、パラメータの実効値が結果として生じるトランスコードされたメディアコンテンツに影響を与えるような、設定可能なパラメータであることが望ましい。典型的な例を挙げれば、トランスコードされた画像又はビデオの輝度レベルである。例えば、端末の中に構成された特定の表示装置に起因して、異なるモバイル端末が、端末上で表示される画像の輝度レベルが異なるように適応される。画像の輝度レベルの適応は、画像のトランスコーディング中にトランスコーダによって行われてもよいし、又はモバイル端末自身によって行われてもよい。

トランスコーダが輝度レベルを適応させた場合に、モバイル端末がこれに気付かず、当該輝度レベル調整を自らも行う場合には、問題が起こりかねない。その結果、表示された画像は、見る人の好みに対して暗すぎたり明るすぎたりすることになるだろう。また、トランスコーダが輝度の適応を何ら行わない場合に、モバイル端末がそのような適応がすでに行われたと考え、従って、自分では画像の輝度を調整しない場合にはその逆の状況も発生しうる。

したがって、処理ヒント情報が、輝度最適化がすでに行われたか否かを提示してもよい。代替例として、又は追加の構成として、調整後の輝度レベルが提示されてもよい。以下では、当該処理ヒント情報のタイプについて、可能性のある擬似コードをＸＭＬベースで例示する。
＜？ｘｍｌ ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ＩＳＯ−８８５９−１”？＞
＜Ｆｉｌｅ１＞
＜Ｈｉｎｔ１＞
＜ｂｒｉｇｈｔｎｅｓｓ＞ａｌｒｅａｄｙ ｏｐｔｉｍｉｚｅｄ＜／ｂｒｉｇｈｔｎｅｓｓ＞
＜／Ｈｉｎｔ１＞
＜／Ｆｉｌｅ１＞
以下では、可能性のある他の例を示す。
＜？ｘｍｌｖｅｒｓｉｏｎ＝”１．０” ｅｎｃｏｄｉｎｇ＝”ＩＳＯ−８８５９−１”？＞
＜Ｆｉｌｅ１＞
＜Ｈｉｎｔ１＞
＜ｂｒｉｇｈｔｎｅｓｓ＞
＜ｌｅｖｅｌ＞５＜／ｌｅｖｅｌ＞
＜／ｂｒｉｇｈｔｎｅｓｓ＞
＜／Ｈｉｎｔ１＞
＜／Ｆｉｌｅ１＞
この原理は、もちろん輝度レベル以外のパラメータに適用されてもよい。また処理ヒント情報は、複数の、少なくとも２個の、そのようなトランスコーディング・パラメータの情報又は実効値を含んでもよい。

他の例を挙げると、ビデオのトランスコーディングは、「取り除く」ことができない多量のブロック副作用を生じさせるが、それは、ビデオで使用されている特定の符号化標準規格がポストフィルタリングをサポートしないからである。ブロック副作用は、ユーザが知覚するビデオの品質を低下させるであろう。しかし、ビデオレンダリングの前又は最中に用いられることになる適切なポストフィルタを定義する処理ヒント情報をビデオファイルに追加することによって、ブロック副作用が除去されるか、又は少なくとも減少する。本発明の実施形態によれば、多様なタイプのポストフィルタリング、例えばローパス・フィルタリングが使用されてもよい。その場合、そのような処理ヒント情報用の擬似コードは、以下のように記述されてもよい。
＜？ｘｍｌ ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ＩＳＯ−８８５９−１”？＞
＜Ｆｉｌｌｅ１＞
＜Ｈｉｎｔ１＞
＜ｌｏｗｐａｓｓｆｉｌｔｅｒｉｎｇ＞
＜ｌｅｖｅｌ＞５＜／ｌｅｖｅｌ＞
＜／ｌｏｗｐａｓｓｆｉｌｔｅｒｉｎｇ＞
＜／Ｈｉｎｔ１＞
＜／Ｆｉｌｅ１＞
メディアコンテンツのトランスコーディングを行うトランスコーダは、自装置が生成するトランスコードされた出力の劣化、変更、及び限界についてのすべての知識を有する。また、トランスコーダは、通常、例えばトランスコードされるメディアコンテンツに関する意味といずれかのメタデータとを調べることによって、トランスコードされるコンテンツタイプを判断できる。そのような場合、トランスコーディングに基づいて生成される処理ヒント情報は、重要な情報であるにもかかわらず、トランスコーディングの後で失われた情報か又はメディアをレンダリングする場合にユーザによって適切に知覚できないほど低品質となった情報を含んでもよい。

例えば、ビデオ・シーケンスからの一部の画像を含むスライドショーを生成するためにビデオをトランスコードすると、結果として、スライドショーの画像間のシーケンスが、レンダリングしているユーザ端末に届かないことがある。これらのシーケンスの一部は、ユーザ端末が気付いておくべき重要情報を含んでもよい。したがって、処理ヒント情報は、例えば欠落した重要情報を記述するテキストを含んでもよい。ユーザ端末でスライドショーをレンダリングする場合、処理ヒント情報のコンテンツ、即ち重要情報が、別ウィンドウの中で表示されたりスライドショーに付加されたりしてもよい。

本実施形態によれば、処理ヒント情報は、コンテンツのトランスコーディングに基づき、かつ、コンテンツ自体に基づいて生成される。

欠落した情報を追加したり低品質・低解像度のデータと入れ替えたりするために用いられる処理ヒント情報のもう１つの例を、図４Ａ乃至図４Ｃを参照して以下に説明する。図４Ａは、アイスホッケーの試合からの拡大スチール写真３０Ａを概略的に示す図である。図４Ａの画像において、パック３２は、アイスホッケーのクラブ３２及びホッケー選手の１人の一部分３６によって部分的に覆われている。

画像３０Ａは、トランスコードされてユーザ端末へ転送され、そこでレンダリングされて、結果として図４Ｂの画像３０Ｂとなる。この図は、トランスコーディングに起因する劣化を緩和することを目的とした画像３０Ｂのトランスコーディング後の処理をせずに、画像トランスコーディング機能を備えた従来技術の技法を使用した場合に、画像３０Ｂがどのように見えるかを示す図である。図４Ｂの画像３０Ｂを対応する図４Ａのトランスコードされていない画像３０Ａと比較すると、パック３２は、色のにじみ及びブロック副作用に起因して、トランスコードされた画像３０Ｂにおいては見分けたり識別したりすることが非常に難しくなっていることが明らかである。トランスコードされた画像３０Ｂの３つのオブジェクト３２、３４、３６は、ぼやけてしまい、別々のオブジェクト３２、３４、３６を識別することが難しい。

本発明に係る処理ヒント情報は、画像の中で最も重要なオブジェクト、即ちパックの情報を追加するのに使用されてもよい。従って、処理ヒント情報は、パックの座標（又はもっと正確には、パックに対応するピクセルエリアの情報）と任意でパックの色の情報とを含んでもよい。トランスコードされた画像をユーザ端末内で処理する場合、グラフィックシステムは、処理ヒント情報によって識別されたパックのピクセルに、ヒント情報によって任意で得られるような正確な色の値を割り当てることによって、パックを「塗り直し」てもよい。結果として、図４Ｃに示すように、トランスコードされてヒント情報によって処理された画像３０Ｃが得られる。ホッケーのクラブ３４及びホッケー選手３６のにじみやぼけはまだ残ってはいるが、ホッケーのパック３２は、今度は目に付きやすく、他のオブジェクト３４、３６から容易に区別できる。

上述のいくつかの例は、単に例示的なものであって好適ではあるが限定的ではなく、本発明に係る処理ヒント情報及び処理ヒント情報の用法の例であると考えられるべきである。

本発明によれば、関連する処理ヒント情報は、悪化させるトランスコーディング処理を緩和することを目的としてユーザ端末によって用いられうる１つ以上のヒント情報を含んでもよい。例えば、第１のヒント情報は、輝度レベルがレンダリング装置について既に最適化されたことを指定し、第２のヒント情報は、トランスコードされたデータのローパス・フィルタリングが、データをレンダリングする前にユーザ端末で行われるべきだと指定してもよい。また、同じレンダリング装置を対象とする複数のデータコンテンツのための処理ヒント情報が、別個のヒント情報ファイルに含まれてもよい。以下に擬似コードの一例を示す。
＜？ｘｍｌ ｖｅｒｓｉｏｎ＝”１．０”ｅｎｃｏｄｉｎｇ＝”ＩＳＯ−８８５９−１”？＞
＜Ｆｉｌｅ１＞
＜Ｈｉｎｔ１＞
＜ｂｒｉｇｈｔｎｅｓｓ＞ａｌｒｅａｄｙ ｏｐｔｉｍｉｚｅｄ＜／ｂｒｉｇｈｔｎｅｓｓ＞
＜／Ｈｉｎｔ１＞
＜Ｈｉｎｔ２＞
＜ｌｏｗｐａｓｓｆｉｌｔｅｒｉｎｇ＞
＜ｌｅｖｅｌ＞５＜／ｌｅｖｅｌ＞
＜／ｌｏｗｐａｓｓｆｉｌｔｅｒｉｎｇ＞
＜／Ｈｉｎｔ２＞
＜Ｈｉｎｔ３＞
＜！−−Ｉｆ ｍｏｒｅ ｔｈａｎ ｔｗｏ ｈｉｎｔｓ−−＞
＜／Ｈｉｎｔ３＞
＜／Ｆｉｌｅ１＞

＜Ｆｉｌｅ２＞
＜Ｈｉｎｔ１＞
＜ｓａｔｕｒａｔｉｏｎ＞
＜ｌｅｖｅｌ＞５＜／ｌｅｖｅｌ＞
＜／ｓａｔｕｒａｔｉｏｎ＞
＜／Ｈｉｎｔ１＞
＜／Ｆｉｌｅ２＞
複数の処理ヒント情報の場合、ユーザ端末は、処理とメディアレンダリングとを制御する場合、それらをすべて使用することを強制されてもよいし、それらの一部だけを、即ち、少なくとも１つの処理ヒント情報を使用することを強制されてもよい。

本発明によって適用可能な処理ヒント情報は全て、コンテンツに対して行われた実際のトランスコーディングに基づいて生成され、メディアをレンダリングする前又は最中に（メディアをレンダリングすることに関連して）、トランスコードされたメディアのその後の処理の制御を可能にする。ヒント情報は、使用されたトランスコーディング・パラメータ又は設定を指定する情報と、トランスコードされたメディアコンテンツの情報と、トランスコーダに起因する変更及び劣化がどのようにして減らせるかという情報と、及び、トランスコードされたメディアのユーザが知覚する品質を高めるためにトランスコードされたメディアがどのようにして処理されるべきかというユーザ端末内のメディアプロセッサへのコマンドとの少なくとも１つをヒント情報が含むという点でトランスコーディングがどのように行われたかを反映するであろう。

図５は、トランスコードされたメディアコンテンツを本発明によってレンダリングする方法を示すフローチャートである。このレンダリング方法は、ユーザ端末、例えば携帯電話、コンピュータ、又は他のメディア管理・提示装置において行われてもよい。方法は、任意のステップＳ１０で開始され、ここではトランスコードされたメディアコンテンツ及び関連する処理・レンダリングのヒント情報が、外部トランスコーダから受信される。このトランスコーダは、ユーザ端末が接続している無線通信ネットワーク内のネットワークノードに連結して実装されてもよい。しかし、本発明はまた、トランスコーダとメディアプロセッサとレンダリング装置とが同じユーザ端末又は他の装置に一緒に実装されているような状況に適用されてもよい。そのような場合、受信ステップＳ１０は、省略されてもよい。

次のステップＳ１１において、処理・レンダリングされることになる符号化されていないメディアを得るために、受信されたトランスコードされたメディアコンテンツが復号される。この復号は、通常、よく知られた従来技術に従って行われるため、詳細な説明については省略する。その後、又はメディア復号の前若しくは最中に、処理ヒント情報がメディアファイルから抽出されるか、又は、例えば別個に送信された場合に、他の何らかの発信源から提供される。メディアコンテンツと処理ヒント情報の間の関連付けによって、ヒント情報がどのメディアに属するかの識別が可能となる。ステップＳ１３において、メディアコンテンツをレンダリングすることに関連してステップＳ１２で行われる、復号されたメディアコンテンツのトランスコーディング後の処理を制御するために、処理ヒント情報が用いられる。ひとたびメディアが復号され、その後、ステップＳ１４においてメディアコンテンツが続いてレンダリングされるまでメディアが一時的にメディアメモリ内に記憶されると、Ｓ１２のこのメディア処理が行われてもよい。或いは、ステップＳ１２のメディア処理は、処理されたメディアがステップＳ１４でレンダリングされるために直接提供されるように、メディアをレンダリングする直前に又はその最中に行われる。

処理ヒント情報に基づくステップＳ１３のメディア処理の制御は、ヒント情報の実際のコンテンツに応じて、さまざまな実施形態によって実現されてもよい。例えば、画像の輝度レベルに関するヒント情報の場合、制御が輝度の適応を行うべきでないことを示してもよいし、又は、輝度がメディア処理の一部として最適化されるべきであることを示してもよい。ヒント情報が、設定可能なトランスコーディング・パラメータを含む場合、制御が、レンダリングする前にコンテンツに対して行われるべき適切なポストフィルタリングを指定することを示してもよい。ピクセル座標と色の情報とを伴ったヒント情報が、メディアコンテンツ内のピクセルを識別してこれらのピクセルに色を割り当てるために、処理制御において用いられる。

処理ヒント情報に基づく、又は処理ヒント情報に基づいて制御される、本発明によって行われるメディア処理は、既に行われたメディアのトランスコーディングに起因する変更、劣化、及び既に行われたメディアのトランスコーディングの限界を緩和するために使用されうるいかなるメディア処理をも含む。これは、当該メディア処理が、ステップＳ１１のメディアの復号及び／又はステップＳ１４のメディアのレンダリングの中に、いくつかのステップ及び処理を実際に含んでもよいだろうということを意味する。しかし、本発明を理解しやすくするために、図５では、復号及びレンダリングは、本発明のメディア処理とは別の手順として示している。

いずれにしても、そのように処理されたメディアコンテンツは、ステップＳ１４において、実際のメディアコンテンツのタイプに応じて、例えば、表示画面上に表示されたり、ビデオ画面上で演奏されたり、スピーカによって再生されたりすることによってレンダリングされる。レンダリングされたメディアは、ユーザから見て、本発明の処理ヒント情報を利用したコンテンツの処理が省略された対応するメディアと比較して、より高い品質を有する。その後、本方法は処理を終了する。

図６は、本発明に係るメディアコンテンツ管理システム１００の一実施形態の概略を示すブロック図である。この例示的な実施形態において、メディア管理システム１００は、トランスコーダ２００の中に実装される。

トランスコーダ２００は、メディア管理システム１００に加えて、外部装置と通信するための一般的な入出力装置２１０を備える。この入出力装置２１０は、特に、トランスコーダ２００によってトランスコードされるメディアコンテンツを受信するため、及び、トランスコードされたメディアコンテンツを送信するために使用されてもよい。そのようなメディアは、専用のコンテンツエンジンから、プロバイダから、又はシステムの中でユーザ端末の代わりにメディアのトランスコーディングを管理する目的でトランスコーダ２００を実装する通信システム内の通信装置から受信されてもよい。

本発明によれば、図６のトランスコーダ２００は、実際にコンテンツエンジン又はプロバイダと連結して実装されてもよい。したがって、トランスコーダ２００は、要求側のユーザ端末への配信の前にトランスコードされるべきメディアコンテンツを含むメモリ又は他の記憶場所に対して、直接的なアクセスを有する。代替例として、又は、追加の構成として、さらに、トランスコーダ２００は、ユーザ端末のレンダリング装置と連結してユーザ端末に実装されてもよい。これにより、トランスコードされていないメディアコンテンツは、それがレンダリングされる前にユーザ端末が取り扱うことのできる標準規格又は形式へと、トランスコーダ２００によってトランスコードされる。しかし、メディアのトランスコーディングは処理能力の点で比較的難しい処理であるため、処理能力と電池の出力に限りがあるユーザ端末の場合、トランスコーダ２００は通信システムのネットワーク部分に実装されることが望ましい。

トランスコーダ２００とメディア管理システム１００とは、さらに受信したコンテンツの実際のトランスコーディングを行うための装置又は手段２２０、２３０、２４０を備える。これらのトランスコーディングの装置には、（符号化されたメディアとして提供された場合に）提供されたメディアコンテンツを復号するためのコンテンツデコーダ２２０と、復号されたメディアを処理するコンテンツプロセッサ２３０と、そして最後に、現在完全にトランスコードされているとみなされるコンテンツを符号化するエンコーダ２４０とが備えられる。コンテンツプロセッサ２３０の動作は行われることになる実際のトランスコーディングに依存する。例えば、異なる形式間で画像のトランスコードを行う場合、このプロセッサ２３０は、画像のサイズを変更し、場合によっては画像の側（サイド）に画像の縁部を追加する。代替例として、又は追加の構成として、コンテンツプロセッサ２３０は、輝度レベル又はコンテンツの何らかの他のパラメータレベルを調整してもよいし、及び／又は、メディアコンテンツを符号化する際にコンテンツエンコーダ２４０が使用すべき符号化標準規格又は形式を識別してもよい。これらのトランスコーディングの装置２２０乃至２４０の実際の動作は、当業者にはよく知られているため、これ以上論じない。

本発明に係る処理ヒント情報を生成するためのヒント情報生成器２５０が、管理システム１００に実装される。この生成器２５０は、トランスコードされた所定のメディアコンテンツについて１つ以上のそのようなヒント情報を生成することができるであろう。生成器２５０は、トランスコーディングの装置２２０乃至２４０から、特に、コンテンツプロセッサ２３０及びエンコーダ２４０から情報を受け取り、当該情報を用いてヒント情報を生成する。これは、ひとたびトランスコーディングが完了すれば、メディアのトランスコードが行われるのと同時に、又は少なくとも部分的に、ヒント情報が生成されてもよいということを意味する。

ヒント情報の実際のコンテンツは、トランスコードされるメディアコンテンツと、トランスコードされたコンテンツをレンダリングすることになる対象とする着信端末と、メディアコンテンツをそこから受け取ったメディア発信源と、使用された実際のトランスコーディング処理と、どのトランスコーディングによる変更が緩和されるべきかとの少なくとも１つに依存する。ヒント情報生成器２５０は、可能な限り最適な処理ヒント情報を生成するために、上記の情報をできるだけ多く受信することが望ましい。例えば、メディア発信源及び着信先の情報は、入出力装置２１０又はメディアファイルの（ヘッダの）アドレスフィールドを調べる何らかの他の装置から得られてもよい。実際のトランスコーディング及びその変更の情報は、コンテンツプロセッサ２３０及び場合によってはエンコーダ２４０から得られてもよい。また、ヒント情報生成器２５０は、メディアコンテンツの情報（メタデータ）をプロセッサ２３０から、又は管理システム１００の中の何らかの他のメディア分析装置から取得してもよい。

例えば、画像形式のメディアコンテンツが、Ｘタイプのモバイル装置から受信されてＹタイプのモバイル装置を宛先としていると仮定する。トランスコーダ２００は、ネットワークに接続されるモバイル装置の多様な機能にメディアを適合させるため、ネットワークアーキテクチャの一部として実装される。画像は、入出力装置２１０によって受信され、画像を復号するコンテンツデコーダ２２０へ転送される。コンテンツプロセッサ２３０は、現時点で符号化されていない画像データを受信するが、例えば多様なモバイル装置タイプのデータベース又は機能のリストにアクセスでき、従って、この情報に基づいて、トランスコーディングがどのように行われるべきかを識別してもよい。この例示的な一例において、プロセッサ２３０は、明るくなった大型画面に適応された画像を生成する目的で、例えば画像の輝度レベルを調整し、それのサイズを変更し、縁部を追加してもよいだろう。処理された画像はエンコーダ２４０へ転送され、そこで符号化される。

その後、ヒント情報生成器２５０は、輝度調整情報及び元の画像の座標、又は、出力画像の中の縁部を受信してもよい。生成器２５０は、この情報を用いて、画像コンテンツと関連付けられることになるヒント情報を生成する。

他の状況において、Ｘタイプの同じモバイル装置が、同じ画像を送信するが、ただしＺタイプのモバイル装置へ送信することを想定する。この場合、プロセッサ２３０は、画像の輝度を単純に調整する。生成器２５０は、この例については、調整された輝度レベルの形式でヒント情報を生成する。

上記の２つの単純な例は、使用する特定のモードが、送受信端末の端末タイプ及び／又はメディアのタイプに依存する場合の、複数の異なるトランスコーディングモードの１つによって、トランスコーダ２００がメディアをトランスコードするとみなしてよいだろうということを反映する。また、ヒント情報生成器２５０は、例えばトランスコーディングモード２によってトランスコーディングが行われたという情報を受信して、この情報に基づいてヒント情報を生成してもよい。ヒント情報生成器２５０は、この場合、多様なトランスコーディングモードについてどんなタイプの情報やコンテンツをヒント情報が含むべきかを定義するデータベース又はリストへのアクセスを有する。

ヒント情報生成器２５０によって生成されたヒント情報は、対象とするユーザ端末によって可読であればいかなる言語及び形式であってもよい。典型的で好適な例は、上述したようにＸＭＬをベースにした言語を使用することである。

生成器２５０からのヒント情報は、管理システム１００のヒント情報アソシエータ２６０へ転送される。ヒント情報アソシエータ２６０は、ヒント情報をトランスコードされたコンテンツに関連付ける。この動作は、トランスコードされたコンテンツを含むファイルに、例えば、メディアファイルのユーザデータフィールド又はコンテナ（ｃｏｎｔａｉｎｅｒ）の中に、ヒント情報を追加する形式であってもよい。或いは、この関連付けは、ヒント情報が関連するメディアコンテンツ又はメディアファイルの識別を可能にする別個のヒント情報ファイルの中の識別子の形式であってもよいだろう。

ヒント情報及びトランスコードされたコンテンツは、例えば入出力装置２１０によって送信されて、対象とする着信先に提供され、そこでメディアがレンダリングされてもよい。

トランスコーダ２００の装置２１０乃至２６０は、ソフトウェアとして、ハードウェアとして、又はそれらの組み合わせとして提供されてもよい。装置２１０乃至２６０は、単一のネットワークノード、例えば基地局ノード又は基地局制御装置ノード、の中のトランスコーダ２００に一緒に実装されてもよい。或いは、一部の装置が通信システム内の別のネットワークノードの中に設けられる形式での分散型の実装も可能である。さらに、トランスコーダ２００は、コンテンツエンジン若しくはサーバと連結したコンテンツプロバイダに、又はユーザ端末若しくはコンテンツをレンダリングする機器を有する他の装置に構成されてもよい。

図７は、本発明に係るメディア管理システム１００の他の実施形態の概略ブロック図である。本実施形態において、ヒント情報生成器１３０とヒント情報アソシエータ１４０とは、トランスコーダ１２０の一部として実装されるのではなく、外部から提供されてトランスコーダ１２０に接続される。

トランスコーダ１２０の動作は、基本的に、図６のコンテンツデコーダ、プロセッサ、エンコーダに対応しているため、説明を省略する。また、ヒント情報生成器１３０とヒント情報アソシエータ１４０との動作は、図６のヒント情報生成器とヒント情報アソシエータとに対応する。しかし、本実施形態では、トランスコーダ１２０が、トランスコーディングの処理、メディアコンテンツ等の情報をヒント情報生成器１３０へ転送する。

また、メディアコンテンツを受信して、トランスコードされたメディアと関連する処理ヒント情報とを送信するため、入出力装置１１０がメディア管理システムの中に実装されることが望ましい。

管理システム１００の装置１１０乃至１４０は、ソフトウェアとして、ハードウェアとして、又はそれらの組み合わせとして提供されてもよい。装置１１０乃至１４０は、単一のネットワークノード、例えば基地局ノード又は基地局制御装置ノード、の管理システム１００の中に一緒に実装されてもよい。或いは、一部の装置が通信システム内の別のネットワークノードに提供される形式での分散型の実装も可能である。さらに、管理システム１００は、コンテンツエンジン若しくはサーバと連結したコンテンツプロバイダの中に、又はユーザ端末若しくはコンテンツをレンダリングする機器を有する他の装置に構成されてもよい。

図８は、モバイル装置３００の中に実装された、本発明に係るトランスコードされたメディアコンテンツをレンダリングするためのメディアマネージャ４００の概略ブロック図である。モバイル装置３００は、メディアマネージャ４００がその中に実装されうるような、単に例示のためのユーザ端末とみなされるべきである。また、他のユーザ端末、例えばコンピュータや携帯情報端末（ＰＤＡ）が、同様に使用されてもよい。

モバイル装置３００は、外部装置と通信を行うための入出力装置３１０を含む。この入出力装置３１０は、特に、トランスコードされたメディアコンテンツと関連する処理ヒント情報とを、外部トランスコーダ又は本発明のメディア管理システムから受信する目的で構成される。

モバイル装置３００のメディアマネージャ４００は、任意で、メディアとヒント情報とを一体化したファイルから処理ヒント情報を抽出するためのヒント情報抽出器４５０を含む。或いは、抽出器４５０は、別個のヒント情報ファイルからヒント情報を検索するように構成されてもよい。この場合、関連する処理ヒント情報とメディアコンテンツを適合させることを目的として、当該ヒント情報ファイル又はメディアファイルの中の識別子を使用してもよい。メディアマネージャ４００のデコーダ４４０は、トランスコードされたメディアコンテンツを復号して、処理されてレンダリングされることになる、符号化されていないメディアデータを提供する。

抽出器４５０からの処理ヒント情報は、コンテンツプロセッサ４２０の動作を制御する目的でメディアマネージャ４００に実装されるプロセッサ制御装置４３０へ転送され、プロセッサ制御装置４３０によって使用される。したがって、制御装置４３０は、トランスコーディングによって生じた何らかの劣化を緩和してユーザが知覚するメディアの品質を高めることを目的としてコンテンツプロセッサ４２０によって行われるべき、適切なトランスコーディング後の処理を、処理ヒント情報を用いて判断する。なお、このプロセッサ制御装置４３０は、メディアコンテンツ処理がまったく行われないように、実際にプロセッサ４２０を制御してもよい。これは、例えば、最適輝度の調整がすでに行われたため、そのような調整がこれ以上必要ないことをヒント情報が指定するような場合である。しかし、ほとんどの場合、制御装置が、例えば、どのポストフィルタリングを使用するのか、どの画像処理を行うのか等をプロセッサに命令することによって、コンテンツのアクティブな処理を制御する。

結果として生じる処理されたメディアコンテンツは、実際のメディアレンダリングを行うレンダリング装置４１０へ供給され、図中の接続された表示画面３２０上にメディアを表示することによってレンダリングされる。代替的な実施形態において、レンダリング装置４１０は、ビデオ画面上でメディアを再生し、及び／又は、スピーカを使ってメディアを再生する。

メディアマネージャ４００の装置４１０乃至４５０は、ソフトウェアとして、ハードウェアとして、又はそれらの組み合わせとして提供されてもよい。装置４１０乃至４５０は、メディアマネージャ４００に一緒に実装されてもよい。或いは、一部の装置がユーザ端末３００の中の他の場所に提供される形式での分散型の実装も可能である。

当業者には理解されるであろうが、本発明の範囲から逸脱することなく本発明に対して各種の修正や変更が行われてもよい。本発明の範囲は、添付の請求項によって定義される。

本発明による、メディアコンテンツを管理する一実施形態を示すフローチャートである。 本発明の教示内容が適用されうる無線通信システムの概略図である。 元の画像の形式による未処理のメディアを示す図である。 図３Ａの元の画像をトランスコードしたバージョンを示す図である。 本発明の一実施形態によって処理された、図３Ａの元の画像のトランスコードしたバージョンを示す図である。 元の画像の形式による未処理のメディアを示す図である。 図４Ａの元の画像のトランスコードしたバージョンを示す図である。 本発明の一実施形態によって処理された、図４Ａの元の画像のトランスコードしたバージョンを示す図である。 トランスコードされたメディアコンテンツをレンダリングする、本発明に係る一実施形態を示すフローチャートである。 本発明に係るトランスコーダの実施形態の概略ブロック図である。 本発明の一実施形態に係るメディア管理システムの概略ブロック図である。 本発明のメディアレンダリング端末の一例を示す図である。

Claims (28)

1. メディアコンテンツを管理する方法であって、
   メディアコンテンツ（１０Ａ；３０Ａ）のトランスコーディングを行うトランスコーディングステップと、
   前記トランスコーディングに基づいて、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）をレンダリングする場合に、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）の処理の制御によって、ユーザが知覚する品質を向上させることを可能にする処理ヒント情報を生成する生成ステップと、
   前記処理ヒント情報を前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）に関連付ける関連付けステップと
   を含むことを特徴とする方法。
2. 前記処理ヒント情報は、
   前記トランスコーディングに起因したメディアコンテンツの劣化（２２）を緩和するように、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ）の処理の制御を可能にすることを特徴とする請求項１に記載の方法。
3. 前記処理ヒント情報は、
   前記トランスコーディングで使用される少なくとも１つの設定可能なトランスコーディング・パラメータの実効値を含むことを特徴とする請求項１又は２に記載の方法。
4. 前記処理ヒント情報は、
   前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）の前記処理において使用されるポストフィルタを定義することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記メディアコンテンツ（１０；２０）は、画像（１０Ｂ）であり、
   前記トランスコーディングステップは、サイズ変更された画像（２０Ｂ）を生成するために、少なくとも１つの予め定義された色の縁部（２５）を、前記画像（１０Ｂ）における少なくとも１つの側部に加えるステップを含み、
   前記処理ヒント情報は、
   前記画像（１０Ｂ）に対応する前記サイズ変更された画像（２０Ｂ）の領域の情報と、
   前記縁部（２５）に対応する前記サイズ変更された画像（２０Ｂ）の領域の情報と、
   前記少なくとも１つの予め定義された色の情報と
   の少なくとも１つを含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 第１の通信ユニット（３００Ａ）から前記メディアコンテンツ（１０Ａ；３０Ａ）を受信するステップと、
   前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）及び前記処理ヒント情報を第２の通信ユニット（３００Ｂ）に送信するステップとをさらに含み、
   前記生成ステップは、
   前記トランスコーディングと、前記第１の通信ユニット（３００Ａ）及び前記第２の通信ユニット（３００Ｂ）の少なくとも１つの機能情報と、に基づいて前記処理ヒント情報を生成するステップを含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記生成ステップは、
   前記トランスコーディングと、前記メディアコンテンツ（１０Ａ；３０Ａ）の情報と、に基づいて前記処理ヒント情報を生成するステップを含むことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）をレンダリングする方法であって、
   前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を復号する復号ステップと、
   処理した前記メディアコンテンツ（１０Ｃ；２０Ｃ；３０Ｃ）がレンダリングされる場合に、ユーザに知覚される品質を向上するように、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を処理する処理ステップと、
   前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）に関連付けられ、前記メディアコンテンツ（１０Ａ；３０Ａ）の前記トランスコーディングに基づき生成された処理ヒント情報に基づいて、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）の処理を制御する制御ステップと、
   前記処理されたメディアコンテンツ（１０Ｃ；２０Ｃ；３０Ｃ）をレンダリングするレンダリングステップと
   を含むことを特徴とする方法。
9. 前記処理ステップは、
   前記トランスコーディングに起因したメディアコンテンツの劣化を緩和するように、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を処理するステップを含むことを特徴とする請求項８に記載の方法。
10. 前記処理ヒント情報は、
    前記トランスコーディングにおいて使用された少なくとも１つの設定可能なトランスコーディング・パラメータの実効値を含み、
    前記制御ステップは、
    前記設定可能なトランスコーディング・パラメータの実効値に基づいて、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）の処理を制御するステップを含むことを特徴とする請求項８又は９に記載の方法。
11. 前記処理ヒント情報は、ポストフィルタを定義し、
    前記制御ステップは、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を処理するために使用されるフィルタ・パラメータを設定するステップを含むことを特徴とする請求項８乃至１０のいずれか１項に記載の方法。
12. 前記メディアコンテンツ（１０Ｂ；２０Ｂ）は、
    元の画像（１０Ｂ）を含む領域と、少なくとも１つの予め定義された色による画像の縁部（２５）を含む領域と、を有するサイズ変更された画像（２０Ｂ）であり、
    前記制御ステップは、
    前記処理ヒント情報に基づいて、前記元の画像（１０Ｂ）を有する前記サイズ変更された画像（２０Ｂ）の前記領域を特定するステップを含み、
    前記処理ステップは、
    前記特定された領域の前記サイズ変更された画像（２０Ｂ）における外側の部分を切り抜くステップを含むことを特徴とする請求項８乃至１１のいずれか１項に記載の方法。
13. 前記メディアコンテンツ（１０Ｂ；２０Ｂ）は、
    元の画像（１０Ｂ）を含む領域と、少なくとも１つの予め定義された色による画像の縁部（２５）を含む領域と、を有するサイズ変更された画像（２０Ｂ）であり、
    前記制御ステップは、
    前記処理ヒント情報に基づいて、前記画像の縁部（２５）を含む前記サイズ変更された画像（２０Ｂ）の前記領域を特定するステップと、
    前記処理ヒント情報に基づいて、前記予め定義された色を特定するステップとを含み、
    前記処理ステップは、
    前記特定された予め定義された色を前記特定された領域に関連付けるステップを含むことを特徴とする請求項８乃至１１のいずれか１項に記載の方法。
14. メディアコンテンツを管理するシステムであって、
    メディアコンテンツ（１０Ａ；３０Ａ）のトランスコーディングを行うトランスコーディング手段（１２０；２２０−２４０）と、
    前記トランスコーディングに基づいて、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）をレンダリングする場合に、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）の処理の制御によって、ユーザが知覚する品質を向上させることを可能にする処理ヒント情報を生成する生成手段（１３０；２５０）と、
    前記処理ヒント情報を、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）に関連付ける関連付け手段（１４０；２６０）と
    を備えることを特徴とするシステム。
15. 前記生成手段（２５０）は、
    前記トランスコーディングに基づいて、前記メディアコンテンツ（１０Ａ）のトランスコーディングを行う前記トランスコーディング手段（１２０；２２０−２４０）に起因したメディアコンテンツの劣化（２２）を緩和するように、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ）の処理の制御を可能にする処理ヒント情報を生成することを特徴とする請求項１４に記載のシステム。
16. 前記生成手段（１３０；２５０）は、
    前記トランスコーディングに基づいて、前記トランスコーディングにおいて前記トランスコーディング手段（１２０；２２０−２４０）によって使用される少なくとも１つの設定可能なトランスコーディング・パラメータの実効値を含む処理ヒント情報を生成することを特徴とする請求項１４又は１５に記載のシステム。
17. 前記生成手段（１３０；２５０）は、
    前記トランスコーディングに基づいて、前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）の前記処理において使用されるポストフィルタを定義する処理ヒント情報を生成することを特徴とする請求項１４乃至１６のいずれか１項に記載のシステム。
18. 前記メディアコンテンツ（１０；２０）は、画像（１０Ｂ）であり、
    前記トランスコーディング手段（１２０；２２０−２４０）は、サイズ変更された画像（２０Ｂ）を生成するために、少なくとも１つの予め定義された色の縁部（２５）を、前記画像（１０Ｂ）の少なくとも１つの側部に加え、
    前記生成手段は、前記トランスコーディングに基づき、
    前記画像（１０Ｂ）に対応する前記サイズ変更された画像（２０Ｂ）の領域の情報と、
    前記縁部（２５）に対応する前記サイズ変更された画像（２０Ｂ）の領域の情報と、
    前記少なくとも１つの予め定義された色の情報と
    の少なくとも１つを含む処理ヒント情報を生成することを特徴とする請求項１４乃至１７のいずれか１項に記載のシステム。
19. 第１の通信ユニット（３００Ａ）から前記メディアコンテンツ（１０Ａ；３０Ａ）を受信する手段（１１０；２１０）と、
    前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）及び前記処理ヒント情報を第２の通信ユニット（３００Ｂ）に送信する手段とをさらに備え、
    前記生成手段（１３０；２５０）は、
    前記トランスコーディングと、前記第１の通信ユニット（３００Ａ）及び前記第２の通信ユニット（３００Ｂ）の少なくとも１つの機能情報と、に基づいて前記処理ヒント情報を生成することを特徴とする請求項１４乃至１８のいずれか１項に記載のシステム。
20. 前記生成手段（１３０；２５０）は、
    前記トランスコーディングと、前記メディアコンテンツ（１０Ａ；３０Ａ）の情報と、に基づいて前記処理ヒント情報を生成することを特徴とする請求項１４乃至１９のいずれか１項に記載のシステム。
21. 請求項１４乃至２０のいずれか１項に記載のメディアコンテンツを管理するシステム（１００）を含むネットワークノード（５；１）。
22. メディアマネージャ（４００）であって、
    トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を復号する復号器（４４０）と、
    処理したメディアコンテンツ（１０Ｃ；２０Ｃ；３０Ｃ）がレンダリングされる場合に、ユーザに知覚される品質を向上するように、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を処理するプロセッサ（４２０）と、
    前記トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）に関連付けられ、前記メディアコンテンツ（１０Ａ；３０Ａ）の前記トランスコーディングに基づき生成された処理ヒント情報に基づいて、前記プロセッサ（４２０）を制御する制御装置（４３０）と、
    前記処理されたメディアコンテンツ（１０Ｃ；２０Ｃ；３０Ｃ）をレンダリングするレンダリング手段（４１０）と
    を備えることを特徴とするメディアマネージャ。
23. 前記プロセッサ（４２０）は、
    前記トランスコーディングに起因したメディアコンテンツの劣化を緩和するように、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を処理することを特徴とする請求項２２に記載のメディアマネージャ。
24. 前記処理ヒント情報は、
    前記トランスコーディングにおいて使用された設定可能なトランスコーディング・パラメータの実効値を含み、
    前記制御装置（４３０）は、
    前記設定可能なトランスコーディング・パラメータの実効値に基づいて、前記プロセッサ（４２０）を制御することを特徴とする請求項２２又は２３に記載のメディアマネージャ。
25. 前記処理ヒント情報は、ポストフィルタを定義し、
    前記制御装置（４３０）は、前記復号されたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を処理するために前記プロセッサ（４２０）によって使用されるフィルタ・パラメータを設定することを特徴とする請求項２２乃至２４のいずれか１項に記載のメディアマネージャ。
26. 前記メディアコンテンツ（１０Ｂ；２０Ｂ）は、
    元の画像（１０Ｂ）を含む領域と、少なくとも１つの予め定義された色による画像の縁部（２５）を含む領域と、を有するサイズ変更された画像（２０Ｂ）であり、
    前記制御装置（４３０）は、
    前記処理ヒント情報に基づいて、前記元の画像（１０Ｂ）を有する前記サイズ変更された画像（２０Ｂ）の前記領域を特定する手段を備え、
    前記プロセッサ（４２０）は、
    前記制御装置（４３０）によって特定された前記領域の前記サイズ変更された画像（２０Ｂ）における外側の部分を切り抜くことを特徴とする請求項２２乃至２５のいずれか１項に記載のメディアマネージャ。
27. 前記メディアコンテンツ（１０Ｂ；２０Ｂ）は、
    元の画像（１０Ｂ）を含む領域と、少なくとも１つの予め定義された色による画像の縁部（２５）を含む領域と、を有するサイズ変更された画像（２０Ｂ）であり、
    前記制御装置（４３０）は、
    前記処理ヒント情報に基づいて、前記画像の縁部（２５）を含む前記サイズ変更された画像（２０Ｂ）の前記領域を特定する手段と、
    前記処理ヒント情報に基づいて、前記予め定義された色を特定する手段とを備え、
    前記プロセッサ（４２０）は、
    前記特定された予め定義された色を前記特定された領域に関連付けることを特徴とする請求項２２乃至２５のいずれか１項に記載のメディアマネージャ。
28. 通信ユニット（３００）であって、
    トランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を受信する手段（３１０）と、
    前記受信したトランスコーディングが行われたメディアコンテンツ（１０Ｂ；２０Ｂ；３０Ｂ）を管理する請求項２２乃至２７のいずれか１項に記載のメディアマネージャ（４００）と
    を備えることを特徴とする通信ユニット。