JP2010520693A - 画像データの関心領域を考慮した映像伝送方法および装置 - Google Patents

Abstract

映像を伝送する際に制限された帯域幅の効率的な使用を可能にするために、関心領域が各画像において決定される。符号化の前に、該画像は関心領域の内部で適用された倍率を用いて空間的にスケーリングされる。スケーリングされた画像は次に圧縮符号化される。復号の後該スケーリングを逆にすることができるように、関心領域の位置を特定するメタデータが伝送映像に添付される。

Description

本発明は比較的低い帯域幅伝送用の映像素材を処理することに関し、典型的には小型スクリーンディスプレイに関する。

小さな携帯型ディスプレイへの映像素材の伝送には相当な関心が持たれている。テレビおよび映画用に生成された映像素材は、利用可能なデータレートが低く、小型ディスプレイの解像度が本質的に低いので、そのような伝送には適さないことが多い。

この問題に対する１つの解は、最も重要なアクションを含んだ画像領域の部分を選択し、小型ディスプレイにこの「関心領域(region of interest)」のみを伝送することである。

しかしながら、該関心領域の選択は、その後画像の他の部分を見る選択肢をもはや持たない視聴者に課されている。したがって、システムの限定された解像度を最大限利用しながら、視聴者が自分の視聴する範囲を関心領域に限定すべきかどうかを選択可能にする伝送方法が必要とされている。

本発明は、一態様において、ビデオシーケンスの１つまたは２つ以上の画像が、拡大が該画像内の関心領域に適用され、縮小がその関心領域外で適用されるように、符号化処理に先立って空間的にスケーリングされる映像伝送方法および装置からなる。該空間的スケーリングファクタは、関心領域内の点における最大値から関心領域外の最小値まで単調に減少してもよい。該関心領域の位置はシーケンス中に変えることができる。

好都合に、関心領域の位置は、伝送映像に添付されるメタデータとして伝送される。関心領域の大きさおよび形状、または空間要素が画像全体にわたって変化する関数も、メタデータとして伝送することができる。関心のある中心を特定する座標のみを送ることには重要な利点があり、メタデータに割り当てられる帯域幅を最小限にするだろう。関心領域の位置のみならず該領域の大きさまたは形状（すなわち空間的スケーリングファクタが２次元で変化する関数）を変えることによって、いくつかの利点をさらに提供することができる。

符号化処理に先立った該空間的スケーリングは復号化処理の後で適切に逆にされる。

好ましい実施形態では、前記ビデオシーケンスの画像はピクセルで構成され、該スケーリング処理は画像を構成するピクセル数を変えない。

空間周波数拡張を縮小された画像部分に適用することができる。

好都合に、該空間周波数拡張の強度は前記空間的スケーリングファクタに依存して変化する。

当然ながら、伝送（ｔｒａｎｓｍｉｓｓｉｏｎ）（本明細書でこの用語を用いているとき）は、より特化したテレビ伝送技法のみならずインターネットアクセス、無線配信、およびモバイル電話に関連した種々の技術も含んだ種々の形態を取ることができる。

ここで、本発明の例を、図面を参照して説明する。
（ａ）空間的マッピング関数のグラフを示している。（ｂ）空間的マッピング関数のグラフを示している。 本発明の実施形態による映像の前符号化処理のブロックダイアグラムを示している。 本発明の実施形態による映像の後符号化処理を示している。

本発明では、伝送される画像（ビデオシーケンスの形成部分）は、最も重要な情報を含んだ該画像内の関心領域を拡大する空間的マッピング関数に従って、伝送に先立ってスケーリングされる。通常、画像の外形サイズ（すなわちピクセル数）は変えられないので、使用中の、より多くの有効なピクセルが関心領域を表すことを可能にするように、関心領域から遠い画像部分はサイズが縮小される。次の伝送処理では、画像は、小型ディスプレイへの低帯域幅伝送を容易にするように、空間的にダウンサンプリングされる（できる限りデータ圧縮処理の一部として）。関心領域を拡大することは、そうしなければダウンサンプリングの結果生じるであろう解像度の劣化を回避する（または低減する）。空間的マッピング関数は、最大倍率が関心領域の中心に適用され、最小倍率（それは１未満であろう）が関心領域の中心から最も遠い画像部分に適用され、中間の倍率が他のところに適用されるように、滑らかに変化するスケーリングファクタに対応する。このように、スケーリングファクタは関心領域の中心の値から単調に減少する。

図１ａは、適切な、滑らかに変化するマッピング関数の例を示している。同図は出力画素位置対入力画素位置のグラフであり、該関数は曲線（１）によって示されている。グラフの軸はピクセル座標が正規化された値である、すなわち、０は画像の一方のエッジを表し、１は画像の反対側のエッジを表し、１／２は画像の中心を表す。図１では、関心領域の中心が画像の中心に対応すると仮定されている。

曲線（１）の数式は次のとおりである。

ｘ≦１／２の値に対して、ｙ＝ｘ／２（１−ｘ）
および
ｘ≧１／２の値に対して、ｙ＝（３ｘ−１）／２ｘ
画素位置がこの関数に従ってマッピングされた場合、画像の特定の点の倍率は関数の勾配ｙ’（一次導関数）と等しくなる。これは次式で与えられる。

値ｘ≦１／２に対して、ｙ’＝１／２（１−ｘ）²
また、該関数は点ｘ＝１／２について対称である。

したがって、（関連する座標軸方向の）倍率は両画像エッジで１／２、画像中心（すなわち推量された関心領域の中心）で２となる。

関心領域の中心が座標値１／２を持たない場合には、異なったマッピング関数が必要となる。図１ｂは、関心領域の中心座標が０．１５から０．５までの範囲にある場合の適切なマッピング関数の一群を示している。各図示の関数については、関心領域の中心に対応する曲線上の点が小さな円形のマーカーで示されている。各曲線の傾斜（すなわち倍率値）は関心領域の中心で常に２であるが、両エッジの倍率は関心領域の中心の位置に依存し、関心領域が中心に位置しない場合、互いに反対にある両エッジは異なる倍率値を持つ。

関心領域の中心座標と１／２との差をパラメータＳ（Ｓは正の値を持つ。また、関心領域が座標系の原点に向かって移動すると仮定する）で示すと、図１ｂに示した曲線群を定義する数式は次式のとおりである。

ｘ≦１／２の値に対して、ｙ＝ｘ／２（１−Ｓ）（１−Ｓ−ｘ）
および
ｘ≧１／２の値に対して、
ｙ＝｛（１−２Ｓ）／（２−２Ｓ）｝＋｛２（ｘ−１／２＋Ｓ）／［１＋ｂ（ｘ−１／２＋Ｓ）］｝
ここで、ｂは次式を満足するような変数である。

ｂ＝（２＋４Ｓ−８Ｓ²）／（１＋２Ｓ）
上記の数式は、関心領域の中心が画像の中心より座標原点により近い場合にのみ適用される。関心領域の中心が原点からさらに離れている場合のマッピングは、点（０，０）と（１，１）とが交換されるように、図１ａの座標軸の目盛りを単に逆にすることによって得ることができる。

これまでのところ、一方向のマッピングのみを説明した。通常、類似のマッピングが水平方向および垂直方向に適用されるだろう。これは、非正方形画像については、倍率が等方的にならないことを意味している。もしこれが望ましくないと考えられる場合には、等方的な倍率を達成する代替のマッピングを導き出すことも可能である。

図２は、伝送に先立って画像を変更するビデオプリプロセッサの例を示している。同図では、プログレッシブ方式でスキャンされ、タイミング参照情報が付加され、ラスター順に整列されたピクセデータ値のストリームとして画像が表されると仮定しているが、当業者には、他の形態を用いることができ、説明した処理の他の実施も可能である（特に画像または画像のシーケンスがコンピュータの１つまたは２つ以上のデータファイルで表される場合）ことが認識されるであろう。

図２を参照して、入力ビデオ信号（２０１）が、タイミング参照情報を用いて各ピクセルの水平および垂直の直角座標（２０３）を導き出すタイミングデコーダ（２０２）に加えられる。これらの座標は、各ピクセルのそれぞれの水平および垂直のピクセルシフト値、ΔＨ（２０５）およびΔＶ（２０６）を導き出す倍率ルックアップテーブル（２０４）に渡される。これらのピクセルシフト値（正または負であってもよい）は距離に相当し、各ピクセルは関連するピクセルマッピングを適用するために移動される必要がある。

例えば、図１では、座標１／４にあるピクセルは座標位置１／６にシフトされることになる。負方向において必要とされる移動はこれらの座標値間の差であり、マッピング関数（１）と直線ｙ＝ｘ（３）との間の距離Δ（２）によって図１に示されている。

図２に戻り、倍率ルックアップテーブル（２０４）は関心領域の座標（２０７）も受け取る。これらの座標は作業者がまたは自動的な方法（例えばＷＯ２００７／０９３７８０に記載の前景セグメントの重心を決定する方法）によって決定することができる。これらの座標は、ΔＨ（２０５）およびΔＶ（２０６）の適切な値を決定することによって、関心領域の中心に最大倍率を持つ滑らかに変化するマッピング関数にルックアップテーブル（２０４）を適用することを可能にする。

関心領域の中心から遠い画像のそれらの部分はサイズが縮小され（すなわち、ピクセルマッピング処理は入力ピクセルを互いに近くなるように効果的にシフトさせる）、この結果高い空間周波数のエイリアスが引き起こされる。これを回避するために、入力ビデオ信号（２０１）は２次元のアンチエイリアスローパスフィルター（２０８）にも供給される。このフィルターは、最低倍率の領域内のエイリアスを許容レベルに低減するように選択された遮断周波数を持っている。例えば、図１に示したマッピング関数の最小倍率は１／２であるので、入力ラスターの垂直および水平サンプリング周波数の１／４、すなわちそれぞれの垂直および水平ナイキスト周波数の１／２で適切なフィルターが遮断する。

アンチエイリアスフィルター（２０８）からの出力は、フィルタリングされていない入力（２０１）とクロスフェーダー（２０９）において結合される。該クロスフェーダーは、現在のピクセルに適用される倍率の大きさを示しているルックアップテーブル（２０４）からの倍率信号（２１０）によって制御される。この値は、これらの倍率の２乗の和の平方根のような水平倍率と垂直倍率との組み合わせである。

倍率信号（２１０）が、現在のピクセルが拡大されるべきことを示している場合、クロスフェーダー（２０９）は、フィルタリングされていないビデオ入力信号（２０１）をその出力（２１１）に送る。倍率信号（２１０）が、最小倍率が適用されるべきことを示している場合、クロスフェーダー（２０９）はアンチエイリアスフィルター（２０８）からの出力をその出力（２１１）に送る。１未満の他の倍率値に対して、クロスフェーダーは、倍率値（２１０）に応じて線形に変化する大きさを持つ、フィルタリングされた信号とフィルタリングされていない信号との混合信号を出力する。

クロスフェーダー（２０９）からのビデオ信号（２１１）は、それぞれの水平および垂直のピクセルシフト値ΔＨ（２０５）およびΔＶ（２０６）を適用するピクセルシフター（２１２）で処理される。これには逐次的な水平および垂直移動処理を用いることができる。

整数のピクセルシフト値は、ピクセル値のストリームに適切な遅延を適用することによって得ることができる。必要なシフトの任意の非整数部も、所要位置に先行および後続するピクセルの値の簡単なバイリニア補間（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって得ることができる。

ピクセルシフト処理から発生したビデオ信号（２１３）は、関心領域の中心で拡大され、関心領域の中心から遠い位置で縮小された画像を表す。この信号は、次の伝送システム、例えば圧縮符号化装置およびＣＯＦＤＭ ＲＦ送信機への入力とされる。関心領域を表すピクセル数が増加するにつれ、また他の領域を表すピクセル数が減少するにつれ、関心領域の伝送品質は改善される。

伝送された信号が従来通りに復号、表示された場合、それは当然幾何学的に歪むであろう。図２のシステムによって持ち込まれた幾何学的歪は、１つまたは２つ以上の画像が表示される前に元に戻されるのが好ましい。これを可能にするためには、ビデオ信号（２１３）と共に関心領域の位置を伝送する必要がある。これは、ビデオ信号に付加されたメタデータとして、関心領域の座標を伝送することによって行うことができる。図２のシステムからの出力（２１４）がこのデータを表している。

表示に先立って幾何学的歪を元に戻す方法の一例を、図３に示している。同図を参照すると、受信ビデオ信号（３０１）（例えば圧縮された伝送チャネルを通過した後の図２の出力（２１３））が、現在のピクセルの水平座標および垂直座標（３０３）を回復するタイミングデコーダ（３０２）への入力である。これらの座標は、ビデオ信号（３０１）に関連して搬送されたメタデータから関心領域（３０７）の座標も受け取る逆倍率ルックアップテーブル（３０４）への入力である。

逆倍率ルックアップテーブル（３０４）は、必要な水平および垂直ピクセルシフト、ΔＨ（３０５）およびΔＶ（３０６）を導き出す。それらのΔＨ、ΔＶは、図２のピクセルシフター（２１２）によって実行されるシフトを元に戻すように、ピクセルシフター（３１２）によってビデオ信号（３０１）に適用される。

ピクセルシフター（３１２）からの出力は、クロスフェーダー（３０９）および２次元の空間周波数拡張フィルター（３０８）への入力である。該拡張フィルターの目的は、関心領域の中心から離れた領域内の劣化した空間的解像度の部分にいくつかの主観的な補正を提供することである。適切な（１次元）フィルターは次式によって与えられる。

Ｆ（Ｐ）＝−１／４（Ｐ_-1）＋３／２（Ｐ₀）−１／４（Ｐ₁）
ここで、
Ｐ_-1は前のピクセルの値、
Ｐ₀は現在のピクセルの値、
Ｐ₁は次のピクセルの値である。

必要な２次元フィルターは、上記フィルターを２度（１度は垂直に、もう１度は水平に）逐次的に適用することによって得ることができる。

逆倍率ルックアップテーブル（３０４）からの倍率信号（３１０）は、図２のクロスフェーダー（２０９）に対する方法と類似した方法でクロスフェーダー（３０９）を制御する。現在のピクセルが拡大された領域にある場合、クロスフェーダー（３０９）は、ピクセルシフター（３１２）のフィルタリングされていない出力を選択し、現在のピクセルが最大限縮小された領域にある場合、フィルター（３０８）の出力が選択され、中間の縮小値が適用された場合には、フィルタリングされた信号とフィルタリングされていない信号との混合信号が、縮小の度合いに比例して形成される。

クロスフェーダー（３０９）からの出力（３１３）は表示に適している。画像の一部を拡大することができ（恐らくビューア―によって制御される別の処理において）、該部分が関心領域に相当する場合には、改善された解像度が提供される。他のある部分が選択されている場合にはより低い解像度で伝送されていたであろうが、この損失に対するある主観的な補正は、拡張フィルター（３０８）の動作によって提供される。視聴者がズームしたい画像部分が関心領域として正確に特定される範囲で、かなりの利点が達成された。（本発明を用いないで）制限された帯域幅を通して画像を伝送する際に達成できなかった解像度で、その部分を表示することができる。関心領域のサイズを画像から画像にまたはシーケンスからシーケンスに変えることを可能にする（上で議論した）任意の技法（または空間的スケーリングファクタが画像上で変化する関数）が、ズームする領域を視聴者が選択することによって予測可能な信頼度を考慮して、ここで用いられてもよい。

本発明の代替の実施形態も可能である。他の滑らかに変化するピクセルマッピング関数を用いることができるであろうし、倍率を関心領域の中心からのある所定距離での定数値（１次元または２次元のいずれかでの）に保持することができるであろう。

空間周波数拡張処理（フィルター（３０８）およびクロスフェーダー（３０９））は、空間的マッピングの反転の後で適用されるよりもむしろプリプロセッサ（図２）に含まれているであろう。

２次元処理は、逐次的な水平および垂直の処理に置き換えることができる。より大きな開口のフィルターをアンチエイリアス、ピクセルシフト、および拡張に用いることができる。該処理は、リアルタイム以外のもので行うことができる。該処理は、専用のハードウェアを用いて、プログラマブルデータまたはビデオ処理装置上で動作するソフトウェアを用いて、または専用の装置とプログラム可能な装置との組み合わせを用いて行うことができる。

Claims (15)

1. 画像のビデオシーケンスを受信するステップと、
   関心領域の位置がシーケンスの少なくとも２つの画像の間で変化する、いくつかの画像の関心領域を決定するステップと、
   拡大が画像内の関心領域に適用され、縮小がその関心領域外で適用されるように、前記関心領域内の点における最大値から前記関心領域外の最小値まで単調に減少する空間的スケーリングファクタを用いて、いくつかの画像を空間的にスケーリングするステップと、
   空間的にスケーリングされた前記画像を含むビデオシーケンスを圧縮符号化するステップと、
   圧縮符号化された前記ビデオシーケンスを伝送するステップと、
   伝送された前記ビデオシーケンスを復号するステップと、
   好ましくは、映像を表示するために空間的スケーリングを元に戻すステップと、
   を含む映像伝送方法。
2. 前記関心領域の位置は伝送ビデオに付加されるメタデータとして伝送される、請求項１に記載の方法。
3. 空間周波数拡張が縮小された画像部分に適用され、該空間周波数拡張の強度は前記空間的スケーリングファクタに依存して変化する、請求項１または２に記載の方法。
4. 拡大が画像内の関心領域に適用され、縮小がその関心領域外で適用され、空間的スケーリングファクタが前記関心領域内の点における最大値から前記関心領域外の最小値まで単調に減少するように、ビデオシーケンスの１つまたは２つ以上の画像が符号化処理に先立って空間的にスケーリングされる伝送用のビデオ処理方法であって、前記関心領域の位置はシーケンス中に変化する方法。
5. 前記関心領域の位置は伝送映像に付加されるメタデータとして伝送される、請求項４に記載の方法。
6. 前記ビデオシーケンスの画像はピクセルで構成され、前記スケーリングの処理は画像を構成するピクセル数を変えない、請求項４または５に記載の方法。
7. 符号化処理に先立ってビデオシーケンスを処理する装置であって、
   画像のビデオシーケンスを受け取るビデオ入力と、
   １つの画像から他の画像へと変化することが許可された関心領域の画像の位置を決定または又は受信する関心領域ユニットと、
   拡大が画像内の前記関心領域に適用され、縮小がその関心領域外で適用されるように、前記関心領域内の点における最大値から前記関心領域外の最小値まで単調に減少する空間的スケーリングファクタを用いて、画像が空間的にスケーリングされる空間的スケーリング装置と、
   圧縮符号化及び次の伝送のために、前記スケーリングされた画像を含むビデオシーケンスをエンコーダに出力するビデオ出力と、
   を有する装置。
8. 前記伝送映像に付加されるメタデータとして、前記関心領域の位置を伝送することを可能にするメタデータ出力を更に有する、請求項７に記載の装置。
9. 前記ビデオシーケンスの画像はピクセルで構成され、前記スケーリングの処理は画像を構成するピクセル数を変えない、請求項７または８に記載の装置。
10. 前記空間的スケーリングファクタによって強度が制御されるアンチエイリアスフィルターをさらに有する、請求項７から９のいずれか１項に記載の装置。
11. 前の符号化処理で適用された可変の空間的スケーリングを元に戻すように、復号化処理の後でビデオシーケンスを処理する方法であって、
    前記復号化処理の後で最大の縮小が適用される画像の位置が、前記ビデオシーケンスに付加されるメタデータによって規定され、該スケーリングファクタは前記画像の位置から前記画像内の他の位置における最大値まで距離と共に単調に増加する、
    方法。
12. 前記ビデオシーケンスの画像はピクセルで構成され、前記可変の空間的スケーリングを逆にする処理は、画像を構成するピクセル数を変えない、請求項１１に記載の方法。
13. 前記復号化処理の後で、空間周波数拡張が拡大された画像部分に適用され、該空間周波数拡張の強度は該拡大に依存して変化する、請求項１１または１２に記載の方法。
14. 前の符号化処理で適用された可変の空間的スケーリングを元に戻すように、復号化処理の後でビデオシーケンスを処理する装置であって、
    復号器から画像のビデオシーケンスを受け取るビデオ入力と、
    １つの画像から他の画像へと変化することが許可された関心領域であって、最大の縮小が適用される関心領域の画像の位置を受け取るメタデータ入力と、
    縮小が関心領域に適用され、拡大が該関心領域の外に適用されるように、画像が空間的にスケーリングされる空間的スケーリング装置と、
    ディスプレイに前記ビデオシーケンスを提供するビデオ出力と、
    を有する装置。
15. 空間的スケーリングファクタによって強度が制御される空間的拡張フィルターを有する、請求項１４に記載の装置。

Images