JP2007515891A - 画像フォーマット変換 - Google Patents

Abstract

入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なる出力アスペクト比を有する出力画像に変換するための画像変換ユニット（４００，７００）が開示される。画像変換ユニット（４００，７００）は、第１の対象を表す第１の入力セグメント（３１０）を形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメント（３０６）を形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けのための区分け手段と、第１の入力セグメント（３１０）を第１の方向で配置依存性スケーリング係数により前記出力画像の第１の出力セグメント（３２０）にスケーリングし、第２の入力セグメント（３０６）を前記第１の方向で一定スケーリング係数により前記出力画像の第２の出力セグメント（３１６）にスケーリングするためのスケーリング手段とを有する。

Description

本発明は、入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なった出力アスペクト比を有する出力画像に変換するための画像変換ユニットに関する。

本発明は、更に、画像表示機器に関し、該画像表示機器は：
- 入力画像を受信するための受信器；
- 上述したような画像変換ユニット；及び
- 前記出力画像を表示するための表示装置；
を有する。

本発明は、更に、入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なった出力アスペクト比を有する出力画像に変換する方法に関する。

本発明は、更に、入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なった出力アスペクト比を有する出力画像に変換する命令を有する、コンピュータ配列によって読み込み可能なコンピュータプログラムプロダクトに関する。

技術分野において記載した形式の画像表示機器の実施例は、合衆国特許ＵＳ５，４６１，４３１から知られる。

テレビジョン規格の幾つかのアスペクト比が存在する。今日、１６：９ワイドスクリーンのアスペクト比は、それらのうちの１つである。しかし、依然として、多数のテレビ放送は、４：３のアスペクト比である。従って、アスペクト比変換の幾つかの形式が必要である。４：３から１６：９への変換のための幾つかの共通の方法及びそれらの欠点には、両端に黒い帯を付加することと、水平及び垂直に画像を引き延ばすことと、水平にのみ引き延ばすこととがある。

両端に黒い帯を付加することは、真の１６：９出力を与えない。

水平及び垂直に画像を引き延ばすことは、多くの場合に、上部及び下部の情報が失われることを意味する。しかし、そのアプローチは、４：３入力が、実際には、上部及び下部で黒い帯を伴う１６：９である場合には完璧である。これは、「レターボックス」モードと呼ばれる。

また、水平にのみ引き延ばすことにより、画像内の全ての対象が歪められる。

ＵＳ５，４６１，４３１には、画像が、一様でない、即ち配置依存性の、スケーリング係数により水平に引き延ばされることが開示される。これは、「パノラマ式ストレッチ」と呼ばれる。その効果は、端に近い対象は、中央にある対象よりも歪められることである。「パノラマ式ストレッチ」は、ある画像では容認可能である。これは、相当に厄介でありうる。
合衆国特許ＵＳ５，４６１，４３１

本発明は、従来技術に従う画像変換ユニットと比べて知覚的に改善された出力画像を供給する、上記形式の画像変換ユニットを提供することを目的とする。

本発明の上記目的を達成するために、本発明の画像変換ユニットは：
- 第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメントを形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けのための区分け手段；及び
- 前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするためのスケーリング手段；
を有することを特徴とする。

本発明に従う画像変換ユニットは、実際の画像コンテンツを基に、入力画像のスケーリングを実行するよう配置される。スケーリングは、常に、画素の空間座標によって決定又は確定されるわけではない。その代わりに、スケーリングは、入力画像のコンテンツ分析に依存する。コンテンツ分析の一部は、入力画像の画素値に基づく区分けである。画素値により、輝度又は色が示される。区分けは、実質的に、画像変換ユニットの区分け手段により実行される。代替的には、区分け手段は、外部から提供される区分け結果を基に区分けを実行するよう配置される。様々な入力セグメントが、区分けを基にスケーリングされる。それは、例えば第１の入力セグメントが、「パノラマ式ストレッチ」として知られるように、配置依存性のスケーリング係数により第１の方向でスケーリングされ、一方、第２の入力対象は、一定のスケーリング係数により第１の方向でスケーリングされることを意味する。言い換えると、スケーリングは、対象に関連し、画素には関連しない。

本発明に従う変換ユニットの実施例は、前記入力画像も属するビデオ画像のシーケンスに属する更なる入力画像における更なる入力セグメントが、前記第２の入力セグメントに対応することを定めることによって、前記第２の対象をトラッキングするための対象トラッキング手段を更に有し、前記スケーリング手段が、前記更なる入力セグメントを前記一定のスケーリング係数により更なる出力セグメントにスケーリングするよう配置される、ことを特徴とする。この実施例の利点は、経時安定性である。対象は、出力画像におけるそれらの位置とは無関係に、実質的に同じサイズを有する一連の出力セグメントにより表される。

本発明に従う画像変換ユニットの実施例は、前記第１の入力セグメントと前記第２の入力セグメントとの間の深さレベルを定めるよう配置される深さ順序づけ手段を更に有する。本発明に従うこの実施例の利点は、その手段が、入力セグメントの間を区別するよう配置されることである。例えば、その手段は、第２の入力セグメントが第１の入力セグメントの前に配置されることを決定するよう配置される。第１の入力セグメントは、背景に対応し、第２の入力セグメントは、前景の対象に対応する。画像変換ユニットのこの実施例は、実質的に一定の係数により、前景の対象、即ち、第２の入力セグメントをスケーリングするよう配置される。典型的な前景の「対象」は、動作主である。画像変換ユニットのこの実施例は、前景にある動作主に対応する入力セグメントが、動作主が非対称に歪められたように見えるようスケーリングされることを防ぐ。

望ましくは、前記深さ順序づけ手段は、オクルージョン（ｏｃｃｌｕｓｉｏｎ）と、相対的な画像の鮮明さと、色と、セグメントのサイズとを有する一組の深さ合図のうちの１つに基づく。これは、例えば、２０００年に開催されたコンピュータビジョン及びパターン認識（ＣＶＰＲ）に関するＩＥＥＥ会議における冊子Ｖｏｌ．２の５３６〜５４１頁に掲載されたＬ．Ｂｅｒｇｅｎ及びＦ．Ｍｅｙｅｒによる「モノクロ画像シーケンスにおける深さ順序づけに対する新規アプローチ（Ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｔｏ ｄｅｐｔｈ ｏｒｄｅｒｉｎｇ ｉｎ ｍｏｎｏｃｕｌａｒ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ）」を参照されよ。

本発明に従う画像変換ユニットの実施例は、前記第１の出力セグメント及び前記第２の出力セグメントをマージして、前記第２の出力セグメントの画素値により前記第１の出力セグメントの画素値の一部を上書きするためのマージ手段を有する。第１の入力セグメントのスケーリングは、第２の入力セグメントのスケーリングとは無関係である。結果として、第１の出力セグメントの一部及び第２の出力セグメントは、空間的に重なり合う。画像変換ユニットのこの実施例は、第１の出力セグメントの画素値を第２の出力セグメントの画素値により上書きするよう配置される。

本発明に従う画像変換ユニットの実施例は、ユーザ入力を受けるための入力手段と、前記ユーザ入力を基に前記一定のスケーリング係数を決定するためのスケーリング決定手段とを有する。ユーザは、所要のスケーリングに関して画像変換ユニットへ情報を入力することができる。例えば、ユーザは、前景の対象に対応する入力セグメントが、背景に対応する出力セグメントに比べて、相対的に高いスケーリング係数によりスケーリングされることを指示することができる。その結果、前景の対象は、視聴者、即ち、ユーザのより近くにあるように見える。

本発明に従う画像変換ユニットの実施例において、前記入力アスペクト比及び前記出力アスペクト比は、テレビ受信機で用いられる標準的なアスペクト比の組の要素の値に実質的に等しい。可能な値は、例えば、４：３、１６：９及び１４：９である。

本発明は、更に、従来技術に従う画像表示機器と比べて知覚的に改善された出力画像を供給する、上記形式の画像表示機器を提供することを目的とする。

本発明の上記目的を達成するために、本発明の画像変換ユニットは：
- 第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメント（３０６）を形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けのための区分け手段；及び
- 前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするためのスケーリング手段；
を有することを特徴とする。

本発明は、更に、従来技術に従う方法と比べて知覚的に改善された出力画像を供給する、上記形式の方法を提供することを目的とする。

本発明の上記目的を達成するために、本発明の方法は：
- 第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメント（３０６）を形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けステップ；及び
- 前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするステップ；
を有することを特徴とする。

本発明は、更に、従来技術に従うコンピュータプログラムプロダクトと比べて知覚的に改善された出力画像を供給する、上記形式のコンピュータプログラムプロダクトを提供することを目的とする。

本発明の上記目的を達成するために、本発明のコンピュータプログラムプロダクトは、読み込まれた後に：
- 第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメント（３０６）を形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けステップ；及び
- 前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするステップ；
を実行する機能を前記処理手段に提供することを特徴とする。

画像変換ユニットの変形及びそれらの変形物は、上記方法及び画像表示機器の変形及びそれらの変形物に対応しても良い。

本発明に従う方法及び画像表示機器の画像変換ユニットの上記及び他の態様を明らかとするよう、以下の実施の形態に関して、添付の図面を参照して説明する。

なお、全ての図面において、同一の手段は、対応する参照番号を有する。

図１は、従来技術に従って、第１の方向でのスケーリングの効果を概略的に示す。図１は、１つの入力画像１００と、２つの出力画像１０２、１０４を示す。入力画像１００は、４：３の入力アスペクト比を有する。出力画像１０２、１０４は、１６：９の出力アスペクト比を有する。入力画像１００を出力画像のうちの１つに変換するために、少なくとも、第１の方向、一般に水平方向でのスケーリングが必要とされる。第１の出力画像１０２は、一定のスケーリング係数による、入力画像１００の線形スケーリングに基づく。明らかなように、入力画像１００に示されるような家の絵は、同じ幅を有する多数の窓の表示１０６、１０８、１１０を有する。同じ家が、スケーリングの後に、第１の出力画像１０２によって表される。この場合に、窓の表示１１６、１１８、１２０は、夫々、対応する窓の表示１０６、１０８、１１０よりも幅広い。しかし、窓の表示１１６、１１８、１２０は、相互に同じ幅を有する。それは、水平方向でのスケーリングは、窓の表示１０６、１０８、１１０の空間配置とは無関係であることを意味する。

第２の出力画像１０４を見ると、「パノラマ式ストレッチ」の効果が観測され得る。第２の出力画像１０４は、入力画像１００に示されるような同じ家を表す。第２の出力画像１０４の窓の表示１２６、１２８、１３０は、それらが、夫々、入力画像１００の窓の表示１０６、１０８、１１０に対応するが、相互に等しいサイズを有さない。水平方向でのスケーリングは、窓の表示１０６、１０８、１１０の空間配置に依存する。画像１００の窓の表示のうち、センター近くに配置されている第１の窓の表示１０８は、ほとんど拡大されていない。しかし、画像１００のセンターから相対的に離れたところに配置された他の２つの窓の表示１０６及び１１０は、夫々、水平方向で相対的に多く引き延ばされ、窓１２６及び１３０となる。

図２は、他の入力画像２００に関して、従来技術に従って、第１の方向でのスケーリングの効果を概略的に示す。４：３の入力アスペクト比を有する入力画像２００は、レポーターを示す。第１の出力画像２０２は、同じレポーターを示す。第１の出力画像２０２は、一定のスケーリング係数により水平方向で入力画像２００を引き延ばすことによって達成されている。レポーターの表示は、大いに変化している。レポーターは、相対的に太くなっているように見える。第２の出力画像２０４は、同様に、同じレポーターを示す。第２の出力画像２０４は、空間依存性のスケーリング係数により水平方向で入力画像２００を引き延ばすことによって達成されている。この場合に、レポーターの表示は、より幅広くなっただけでなく、レポーターが変形してしまったようにも見える。入力画像２００でのレポーターの肩２０６、２０８の表示は、実質的に、相互に等しい大きさである。しかし、出力画像２０４でのレポーターの肩２２６、２２８の表示は、そのサイズが相対的に大きく異なっている。右肩２２６は左肩２２８よりも一層大きいように見える。この形式の変形は、相当に厄介でありうる。

図３は、本発明に従って、第１の方向でのスケーリングの効果を概略的に示す。４：３の入力アスペクト比を有する入力画像３００は、前景にレポーター３０６と、背景に家とを表す。第１の出力画像３０２は、本発明に従う方法により入力画像３００をスケーリングすることによって実現される。第１の出力画像３０２は、入力画像３００で見られるように同じレポーター３１６を表す。留意すべきは、サイズ、即ち、第１の出力画像３０２でのレポーターの表示３１６の幅及び入力画像３００でのレポーターの表示３０６の幅は、実質的に相互に等しいことである。しかし、入力画像３００の窓の表示３０８、３１０のサイズを第１の出力画像３０２の窓の表示３１８、３２０のサイズと夫々比べることによって、背景の非線形スケーリングが観察され得る。同様に、非線形スケーリングに関して図２に関連する記述を見ると、非線形スケーリングにより、スケーリングが配置依存することが示されている。

第２の出力画像３０４は、同様に、本発明に従う方法により入力画像３００をスケーリングすることによって実現される。多数の窓の表示３０８、３１０を有する家を含む背景は、水平方向での配置依存性スケーリングによりスケーリングされ、窓の表示３２８、３３０を夫々有する家となる。レポーターの表示３０６は、一定のスケーリング係数によりスケーリングされる。このアプローチの重大性は、スケーリングが対象に対して対称性を有することである。留意すべきは、典型的な「パノラマ・ストレッチ」は、画像のセンターに対して対称性を有し、従って、画像によって表される対象とは無関係であることである。水平方向でのスケーリングに加えて、同様に、垂直方向でのスケーリング、即ち、拡大が実行される。結果として、レポーターの表示３２６は、ほとんど変形されない。この拡大の更なる効果は、レポーターが、入力画像３００と比較して、視聴者のより近くにいるように見えることである。

図４は、本発明に従う画像変換ユニット４００を概略的に示す。画像変換ユニット４００は、その入力コネクタ４０６で、一連の入力画像を表すビデオ入力信号を入力されており、その出力コネクタ４０８で、一連の出力画像を表すビデオ出力信号を出力するよう配置される。画像変換ユニット４００は、入力アスペクト比を有する入力画像のうちの第１の入力画像３００を、入力アスペクト比とは異なった出力アスペクト比を有する出力画像のうちの第１の出力画像３０２に変換するよう配置される。画像変換ユニット４００は、区分け手段４０２と、スケーリングユニット４０４とを有する。

入力画像の第１の入力画像３００の区分けのための区分け手段４０２は、入力画像の画素値に基づく。区分けの結果、第１の対象を表す第１の入力セグメント３１０を形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメント３０６を形成する結合画素の第２のグループとが得られる。

スケーリングユニット４０４は、第１の入力セグメント３１０を第１の方向で配置依存性のスケーリング係数により出力画像の第１の出力画像３０２の第１の出力セグメント３２０にスケーリングし、第２の入力セグメント３０６を第１の方向で一定のスケーリング係数により出力画像の第１の出力画像３０２の第２の出力セグメント３１６にスケーリングする。

上記のように、人物の表示の変形は、相当に厄介である。望ましくは、本発明に従う画像変換ユニット４００は、特別な方法で、即ち、変形を防ぎながら、人物の表示を扱うよう配置される。人物の表示の認知は、それを達成するためには重要である。２００１年に発行されたコンピュータビジョン及び画像理解Ｖｏｌ．８３の２３６〜２７４頁に掲載されたＢ．Ｌ．Ｅ．Ｈｊｅｌｍａｓによる論文「顔検出：入門（Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ：ａ ｓｕｒｖｅｙ）」では、顔検出の幾つの技術が開示されている。それらのほとんどは、画像のどの部が一定のスケーリング係数によりスケーリングされるべきかを決定するよう、本発明に従う画像変換ユニット４００に適用され得る。

他の重要な態様は、背景及び前景の対象の検出である。望ましくは、前景の対象の表示は、スケーリングによって変形されず、一方、背景の変形は、必ずしも問題ではない。以下の論文は、どのように対象の深さレベルが達成され得るかを記述する。これらの論文は、また、適切な区分け技術に関する。以上は、１９９９年５月に発行されたＩＥＥＥ信号処理誌の６６〜８４頁に掲載されたＴ．Ｊｅｂａｒａ、Ａ．Ａｚａｒｂａｙｅｊａｎｉ及びＡ．Ｐｅｎｔｌａｎｄによる「２次元動作からの３次元構造（３Ｄ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ２Ｄ ｍｏｔｉｏｎ）」と、２００２年春にコペンハーゲンで開催されたＥＣＣＶ議事録ＬＮＣＳ２５３１の１１／２１７〜１１／２３１頁に掲載されたＦ．Ｅ．Ｅｒｎｓｔ、Ｐ．Ｗｉｌｉｎｓｋｉ及びＫ．ｖａｎ Ｏｖｅｒｖｅｒｌｄによる「動作からの密集構造：セグメント整合に基づくアプローチ（Ｄｅｎｓｅ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ：ａｎ ａｐｐｒｏａｃｈ ｂａｓｅｄ ｏｎ ｓｅｇｍｅｎｔ ｍａｔｃｈｉｎｇ）」と、１９９９年9月に開催された第１０回英国マシンビジョン会議議事録Ｖｏｌ．２の３６９〜３７８頁に掲載されたＰ．Ｓｍｉｔｈ、Ｔ．Ｄｒｕｍｍｏｎｄ及びＲ．Ｃｉｐｏｌｌａによる「動作区分け及び深さ順序づけのためのエッジトラッキング（Ｅｄｇｅ ｔｒａｃｋｉｎｇ ｆｏｒ ｍｏｔｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｄｅｐｔｈ ｏｒｄｅｒｉｎｇ）」とを参照されよ。

図５は、従来技術に従う方法に基づいてスケーリングされる一連の出力画像５００、５０２、５０４を概略的に示す。出力画像５００、５０２、５０４は、実質的に円である動作中の球を夫々表す一連の入力画像に基づく。しかし、図から明らかであるように、ボールが、円形の画像セグメントとして表されていない。その代わりに、出力画像のうちの第１の出力画像５００は、楕円セグメント５０６を示し、同様に、出力画像のうちの第３の出力画像５０４は、他の楕円セグメント５１０を示す。出力画像のうちの第２の出力画像５０２のみが、実質的に円形であるセグメント５０８を示す。このような変形の原因は、図１に関して上述したが、「パノラマ式ストレッチ」である。

図６は、本発明に従う方法に基づいてスケーリングされる一連の出力画像６００、６０２、６０４を概略的に示す。これらの出力画像６００、６０２、６０４は、図５で表された一連の出力画像５００、５０２、５０４を作るために用いられた同じ一連の入力画像に基づく。セグメント６０６、６０８、６１０は、全て、実質的に円形である。それに加え、これらのセグメントは、実質的に相互に等しいサイズを有する。この一連の出力画像は、図７に関連して記述される画像変換ユニット７００によって供給される。

図７は、トラッキングユニット７０２を有する、本発明に従う画像変換ユニット７００の実施例を概略的に示す。この実施例の重要な態様は、時間一貫性スケーリングである。それは、一連の対応する入力セグメントのスケーリングが、単一の一定のスケーリング係数により実行されることを意味する。トラッキングユニット７０２は、夫々の入力画像での入力セグメントの間の関係を決定するよう配置される。入力セグメントの間の関係を決定することは、一般的に、「対象トラッキング」として知られる。本発明に従う本実施例の重要な態様は、それが、対象トラッキングをスケーリングと組み合わせるよう配置されていることである。

画像変換ユニット７００は、スケーリングを制御するために、ユーザ入力を受けるための制御インターフェース７０４を有する。ユーザは、１又はそれ以上のスケーリング係数を制御する可能性を提示される。例えば、ユーザは、前景の対象の更なるスケーリングを制御することができる。それは、前景の対象に対応するセグメントが、そのようなものとして分類されていない画像セグメントよりも大きく拡大されることを意味する。このアプローチの利点は、前景の対象がより良く可視的となることである。その上、それは、出力画像全体のより良い画像品質をもたらしうる。これは、特に、出力画像において穴の出現を防ぐための背景画素の補間が、所定レベルを超える背景の歪みをもたらしうる場合に重要である。この所定レベルは、一般的に、補間のために用いられる入力画素の間の空間的関係と、出力画素の間の空間的関係とに基づく。

区分けユニット４０２、スケーリングユニット４０４及びトラッキングユニット７０２は、１つの処理装置を用いて実施されても良い。通常は、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行中に、通常は、ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリに読み込まれて、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、又は磁気及び／若しくは光学記録媒体のようなバックグラウンドメモリから読み込まれても良く、あるいは、インターネットのようなネットワークを介して読み込まれても良い。随意的に、特定用途向け集積回路（ＡＳＩＣ）が、開示された機能を提供する。

図１、図２、図３、図５及び図６に関連して記述された例において、４：３の入力アスペクト比は、１６：９の出力アスペクト比に変換された。明らかであるように、本発明に従う方法及び本発明に従う変換ユニットは、他の入力−出力関係、例えば、１６：９から４：３へ又は１４：９から１６：９への変換のために適用可能である。

第１の方向でのスケーリングに加えて、多数の方法で、第１の方向に直交する第２の方向でのスケーリングが、また、必要とされる。第１の方向で一定のスケーリング係数によりスケーリングされたセグメントは、同様に、第２の方向で一定のスケーリング係数によりスケーリングされることが好ましい。望ましくは、第１及び第２の方向でのスケーリング係数は、相互に等しい。スケーリングは、拡大及び縮小を含む。しかし、サイズ変化を引き起こさない係数１（ｕｎｉｔｙ ｆａｃｔｏｒ）によるスケーリングも可能である。

セグメントのサイズの拡大又は縮小の実際の量は、入力画像及び出力画像のサイズの差に依存する。明らかであるように、例えば２の係数による対象の拡大は、一定のスケーリング係数又は配置依存性のスケーリング係数のいずれか一方によるスケーリングによって実現され得る。従って、第１の配置依存性スケーリング係数によりスケーリングされた第１の入力セグメントの実際の拡大は、一定のスケーリング係数によりスケーリングされた第２の入力セグメントの実際の拡大に等しくなりうる。差は、変形の量である。随意的に、第１の入力セグメントの実際の拡大及び第２の入力セグメントの実際の拡大は、相互に等しくない。

区分けは、画素値、即ち、実際の画像コンテンツに基づく。随意的に、区分けの一部は、外部から、画像変換ユニットの外で実行される。例えば、区分けは、例えば映像圧縮を実行するために、放送装置によって実行されていることがある。本発明に従う方法は、特に、セグメントに基づく映像圧縮法との組合せに適している。ビットストリームをデコードする間に、画像のセグメントが抽出される。同様に、その場合にも、区分けは、画素値に基づく。例えばＭＰＥＧ−４のような、幾つかの映像圧縮規格は、対象又はレイヤーのやり取りを支持する。望ましくは、ビデオストリームの前景の対象は、一定のスケーリング係数によりスケーリングされ、一方、背景の対象は、配置依存性のスケーリング係数によりスケーリングされる。

図８は、本発明に従う画像表示機器８００を概略的に示す。画像表示機器８００は、受信器８０２と、画像変換ユニット８０４と、表示装置８０６とを有する。

受信器８０２は、画像シーケンスを受信する。画像は、アンテナ又はケーブルを介して放送及び受信されても良いが、ＶＣＲ（ビデオ・カセット・レコーダー）又はＤＶＤ（デジタル・バーサトル・ディスク）のような記録装置から発せられても良い。画像のアスペクト比は、例えば４：３、１６：９又は１４：９といった、テレビジョン規格に従う。

画像変換ユニット８０４は、図４又は図７に関連して記述されているように実施される。

表示装置８０６は、画像を表示する。表示装置８０６の形式は、例えばＣＲＴ、ＬＣＤ又はＰＤＰであっても良い。表示装置８０６のアスペクト比は、テレビジョン規格１６：９に従う。

画像変換ユニット８０４は、受信した画像シーケンスの画像のアスペクト比変換を、これらの画像のアスペクト比が表示装置８０６のアスペクト比に対応しない場合に実行する。

留意すべきは、上記実施例は、本発明を説明しているのであって、限定しているわけではなく、当業者は、添付の特許請求の範囲の主旨を損なわない範囲で代替の実施例を設計することが可能である点である。特許請求の範囲において、括弧内に置かれた如何なる参照符号も、請求項を限定するように解釈されてはならない。語「有する、含む」は、請求項に挙げられていない要素又はステップの存在を認めないわけではない。要素の前に置かれた語「１つの」は、このような要素が複数存在することを認めないわけではない。本発明は、幾つかの個別素子を有するハードウェアによって、及び適切にプログラムされたコンピュータによって、実施可能である。幾つかの手段を列挙するユニットクレームにおいて、これらの手段のうちの幾つかは、ハードウェアの同一の物によって具現化可能である。第１、第２及び第３等といった用語の使用は、如何なる順序づけも指定しない。これらの用語は、名称として解釈されるべきである。

従来技術に従って、第１の方向でのスケーリングの効果を概略的に示す。 他の入力画像に関して、従来技術に従って、第１の方向でのスケーリングの効果を概略的に示す。 本発明に従って、第１の方向でのスケーリングの効果を概略的に示す。 本発明に従う画像変換ユニットの実施例を概略的に示す。 従来技術に従う方法に基づいてスケーリングされる一連の出力画像を概略的に示す。 本発明に従う方法に基づいてスケーリングされる一連の出力画像を概略的に示す。 トラッキングユニットを有する、本発明に従う画像変換ユニットの実施例を概略的に示す。 本発明に従う画像表示機器を概略的に示す。

Claims (10)

1. 入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なる出力アスペクト比を有する出力画像に変換するための画像変換ユニットであって：
   第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメントを形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けのための区分け手段；及び
   前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするためのスケーリング手段；
   を有する画像変換ユニット。
2. 前記入力画像も属するビデオ画像のシーケンスに属する更なる入力画像における更なる入力セグメントが、前記第２の入力セグメントに対応することを定めることによって、前記第２の対象をトラッキングするための対象トラッキング手段を更に有し、
   前記スケーリング手段は、前記更なる入力セグメントを前記一定のスケーリング係数により更なる出力セグメントにスケーリングするよう配置される、
   ことを特徴とする請求項１記載の画像変換ユニット。
3. 前記第１の入力セグメントと前記第２の入力セグメントとの間の深さレベルを定めるよう配置される深さ順序づけ手段を更に有する、請求項１又は２記載の画像変換ユニット。
4. 前記深さ順序づけ手段は、オクルージョン（ｏｃｃｌｕｓｉｏｎ）と、相対的な画像の鮮明さと、色と、セグメントのサイズとを有する一組の深さ合図のうちの１つに基づく、ことを特徴とする請求項３記載の画像変換ユニット。
5. 前記第１の出力セグメント及び前記第２の出力セグメントをマージして、前記第２の出力セグメントの画素値により前記第１の出力セグメントの画素値の一部を上書きするためのマージ手段を有する、請求項１記載の画像変換ユニット。
6. ユーザ入力を受けるための入力手段と、前記ユーザ入力を基に前記一定のスケーリング係数を決定するためのスケーリング決定手段とを有する、請求項１記載の画像変換ユニット。
7. 前記入力アスペクト比及び前記出力アスペクト比は、テレビ受信機で用いられる標準的なアスペクト比の組の要素の値に実質的に等しい、ことを特徴とする請求項１記載の画像変換ユニット。
8. 入力画像を受信するための受信器；
   請求項１乃至７のうちいずれか一項記載の画像変換ユニット；及び
   前記出力画像を表示させるための表示装置；
   を有する画像表示機器。
9. 入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なる出力アスペクト比を有する出力画像に変換する方法であって：
   第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメントを形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けステップ；及び
   前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするステップ；
   を有する方法。
10. 入力アスペクト比を有する入力画像を、前記入力アスペクト比とは異なる出力アスペクト比を有する出力画像に変換するための命令を有する、コンピュータ配列によって読み込み可能なコンピュータプログラムであって、
    前記コンピュータ配置は、処理手段及びメモリを有し、
    当該コンピュータプログラムは、読み込まれた後に：
    第１の対象を表す第１の入力セグメントを形成する結合画素の第１のグループと、第２の対象を表す第２の入力セグメントを形成する結合画素の第２のグループとを生じさせる、前記入力画像の画素値に基づく前記入力画像の区分けステップ；及び
    前記第１の入力セグメントを第１の方向で配置依存性のスケーリング係数により前記出力画像の第１の出力セグメントにスケーリングし、前記第２の入力セグメントを前記第１の方向で一定のスケーリング係数により前記出力画像の第２の出力セグメントにスケーリングするステップ；
    を実行する機能を前記処理手段に提供する、ことを特徴とするコンピュータプログラム。

Images