JP2016508298A - 視聴条件を意識したビデオ符号化のための知覚前処理フィルタ - Google Patents

Abstract

知覚フィルタを実装して、ビデオ信号から、ビデオ信号の視聴者のコントラスト感度限度未満である１または複数の空間周波数をフィルタリングすることができる。知覚フィルタは、コンテンツ、視聴距離、表示密度、コントラスト比、表示輝度、背景輝度、および／または視聴者の年齢に例えば基づいて、１または複数の知覚フィルタパラメータを画素ベースで適応させるように構成されてよい。ビデオフレームの、ＤＣ、振幅、およびコントラスト感度の推定が実施されてよい。知覚フィルタの空間カットオフ周波数が、コントラスト感度にマッピングされてよい。知覚フィルタは、符号化済みビットレートを低下させるために、ビデオエンコーダのための前処理として使用されてよい。人間の視覚系の斜め効果現象が、知覚フィルタに組み込まれてよい。

Description

ビデオのためのフィルタに関する。

関連出願の相互参照
本出願は、２０１２年１１月１６日に出願された米国特許仮出願第６１／７２７，２０３号明細書、２０１３年６月１３日に出願された米国特許仮出願第６１／８３４，７８９号明細書、および２０１３年９月９日に出願された米国特許仮出願第６１／８７５，４１５号明細書の利益を主張するものであり、これらの各仮出願の内容全体は、参照により本明細書に組み込まれる。

ビデオおよびモバイルビデオは、世界規模のインターネットおよびモバイルネットワークにおける、急速に成長しつつあるトラフィックセグメントである。ワイヤレス送受信ユニット（ＷＴＲＵ）などのビデオストリーミングクライアントは、可能な最高のストリーミングマルチメディア再生品質を提供するためにストリーミングレート適応技法を採用することができ、これは例えば、通信ネットワーク条件（例えば利用可能な帯域幅）に従ってビットレートや解像度などを選択することによって行うことができる。

ビデオストリーミングレート適応技法は、ビデオストリーミングクライアントのエンドユーザによって知覚可能なビデオ品質に影響を及ぼす可能性のある視聴条件を反映できない場合がある。

知覚フィルタを実装して、ビデオ信号から、ビデオ信号の視聴者のコントラスト感度限度未満である１または複数の空間周波数をフィルタリングすることができる。知覚フィルタは、局所コントラストに、かつ／または振動の配向（orientation of oscillation or oscillations）に例えば基づいて、空間周波数を適応的にフィルタリングすることができる。知覚フィルタは、コンテンツ、視聴距離、表示密度、コントラスト比、表示輝度、背景輝度、および／または視聴者の年齢に例えば基づいて、１または複数の知覚フィルタパラメータを画素ベースで適応させるように構成されてよい。ビデオフレームの、ＤＣレベル、振幅偏差、およびコントラスト感度の推定が実施されてよい。知覚フィルタの空間カットオフ周波数が、コントラスト感度にマッピングされてよい。知覚フィルタは、符号化済みビットレートを低下させるために、ビデオエンコーダに対する前処理として使用されてよい。人間の視覚系の斜め効果現象が、知覚フィルタに組み込まれてよい。

入力ビデオ信号の前処理は、入力ビデオ信号の視聴者によるビデオ信号の知覚に関係する少なくとも１つのパラメータを受け取ることを含んでよい。少なくとも１つのパラメータは、表示輝度と背景輝度のうちの少なくとも一方を含んでよい。前処理は、少なくとも１つのパラメータに従って適応ローパスフィルタを構成することを含んでよい。前処理は、適応ローパスフィルタを使用して入力ビデオ信号をフィルタリングして、出力ビデオ信号を生み出すことを含んでよい。適応ローパスフィルタを構成することは、人間の視覚系の斜め効果現象を適応ローパスフィルタに組み込むことを含んでよい。

キャンベル−ロブソン（Campbell-Robson）チャートを使用した例示的なコントラスト感度関数を描く図である。 知覚斜めフィルタとすることのできる例示的な知覚フィルタのブロック図である。 例示的なアンビエント適応知覚フィルタを示すブロック図である。 知覚前処理フィルタを採用する例示的なビデオシステムアーキテクチャを描く図である。 例示的なビデオ視聴セットアップのパラメータを描く図である。 ビデオシステムのブロック図である。 ビデオフィルタリングデバイスのブロック図である。 プロビジョニングデバイスのブロック図である。 ビデオストリームを示す図である。 ビデオフレームを示す図である。 方法のフローチャートである。 例示的な入力ビデオおよび／または画像を描く図である。 図１２Ａに描かれる例示的な入力ビデオおよび／または画像のルマ成分を描く図である。 黒レベル調整後の、図１２Ｂに描かれる例示的な入力ビデオおよび／または画像のルマ成分を描く図である。 図１２Ａに描かれる例示的な入力ビデオおよび／または画像に対応するＤＣ推定を描く図である。 図１２Ａに描かれる例示的な入力ビデオおよび／または画像に対応する振幅包絡線推定を描く図である。 図１２Ａに描かれる例示的な入力ビデオおよび／または画像に対応するカットオフ周波数マップを描く図である。 図１２Ａに描かれる例示的な入力ビデオおよび／または画像のフィルタリング済み出力画像を描く図である。 アンビエント光の反射を示す図である。 アンビエントコントラスト比算出への例示的な入力を示す図である。 ＤＣの知覚に関する、中心窩の視界中の周期数の例を描く図である。 １度当たりの周期から１画素当たりの周期への例示的な変換を描く図である。 それぞれの局所的領域に含めるための画素を選択する方法のフローチャートである。 振幅包絡線推定のための例示的なプロセスフローを描く図である。 例示的なモブションおよびキォープス（Movshon and Kiorpes）コントラスト感度関数（ＣＳＦ）モデルを描く図である。 例示的なＣＳＦおよび近似逆関数を示すグラフである。 コントラスト感度を使用してカットオフ周波数を計算する際に使用され得る例示的な関係を描く図である。 周囲輝度とオブジェクト輝度との比率に応じた例示的なスケーリングファクタを示す図である。 年齢に伴うＣＳＦ変動の例を示すグラフである。 年齢に伴うＣＳＦスケーリングの例を示すグラフである。 例示的な知覚フィルタの周波数特性を描く図である。 配向角度に応じたカットオフ周波数を描くグラフである。 分離可能ローパスフィルタによって実現され得る周波数特性に周波数特性を近似させる例を描く図である。 周波数特性を達成するために分離可能フィルタの３つの対を使用する例を描く図である。 テスト画像を描く図である。 例示的な知覚フィルタでフィルタリングされた図２９Ａのテスト画像の例を描く図である。 例示的な知覚斜めフィルタでフィルタリングされた図２９Ａのテスト画像の例を描く図である。 図２９Ｂおよび２９Ｃのフィルタリング済み画像に対応する差分画像を描く図である。 例示的な前処理フィルタセットアップを描く図である。 例示的なビデオに対する、フィルタリングなし（元の符号化）に勝る例示的な知覚斜めフィルタを採用することの例示的なビットレート節約を描く図である。 例示的なビデオに対する、一様プレフィルタに勝る例示的な知覚斜めフィルタを採用することの例示的なビットレート節約を描く図である。 アンビエント適応フィルタリングの例示的な結果を描く図である。 １または複数の開示される実施形態がその中で実現され得る例示的な通信システムのシステム図である。 図３４Ａに示される通信システム内で使用され得る例示的な送受信ユニット（ＷＴＲＵ）のシステム図である。 図３４Ａに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図３４Ａに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。 図３４Ａに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

モバイルビデオストリーミングおよびモバイルビデオ会議は、様々な場所で様々なときにビデオコンテンツにアクセスすることおよび／またはビデオコンテンツを視聴することのフレキシビリティを、ユーザに提供することができる。固定的であろう従来のテレビジョン表示装置と比較して、モバイルデバイスなどのＷＴＲＵは、ユーザの選好に合うようにＷＴＲＵを所望の距離および配向にセットアップするフレキシビリティを、ユーザに与えることができる。ユーザは、家庭や劇場など特定の位置でコンテンツを視聴することに制約されなくてよく、その代わり、様々な位置のいずれでもコンテンツを視聴することができる。

通信ネットワーク条件以外の１または複数の要因が、ストリーミングクライアント（例えばモバイルデバイス）の表示装置上でレンダリングされるビデオ情報の可視性を決定することがあり、これらの要因は、モバイルデバイスからの視聴距離、モバイルデバイスの表示装置のサイズ、表示装置のコントラスト感度、表示装置の画素密度、などのうちの１または複数を含み得る。例えば、ユーザから腕を伸ばした距離に保持されたモバイルデバイスは、モバイルデバイスがユーザによってより近くに保持された場合よりもずっと高い空間密度のビデオ情報を提示することができる。同様に、モバイルデバイスを直射日光の下で視聴するときは、モバイルデバイスを暗い環境で視聴するときよりも、ビデオ情報の可視性が低いであろう。

視覚情報の知覚に影響を及ぼすこのような要因は、視聴デバイスに送信される符号化済みビデオのビットレートを低下させるために例えば使用され得る、知覚前処理フィルタによって反映されることが可能である。知覚フィルタは、モバイルまたは固定デバイスへのビデオ送信と共に使用されてよく、視聴デバイスに関係する現在の条件に従って適応されてよい。モバイルデバイスを利用する視聴者は、より多様な視聴条件を経験する可能性があり、帯域幅低減の必要性をより多く有する可能性がある。よって、知覚フィルタは、ビデオの知覚品質を維持しながら、ビデオの圧縮から、結果的なビットレートを低下させることができる。

１．序論
コントラスト、または輝度コントラストは、例えば、２つの色の知覚される明度の差を定義できる知覚尺度とすることができる。周期的なパターン（例えば正弦波格子）のコントラストは、ミケルソン（Michelson）のコントラストを使用して測定されることが可能であり、これは以下のように表現されることが可能である。

上式で、Ｌ_maxおよびＬ_minは、それぞれ最大および最小輝度値である。

あるいは、コントラストは、以下のように表現されることも可能である。

コントラストしきい値は、人間の視覚系による知覚された反応を引き出すことのできるコントラストレベルに対応するものとすることができる。コントラストしきい値の逆数は、コントラスト感度と呼ばれることがある。コントラスト感度は、以下のように表現されることが可能である。

コントラスト感度は、図１に描かれるキャンベル−ロブソンチャートによって例えば示されるように、空間周波数に応じて変動することがある。キャンベル−ロブソンチャートでは、空間周波数は、左から右に対数的に増加するものとすることができ、コントラストは、下から上に対数的に減少するものとすることができる。コントラスト感度と空間周波数との関係は、コントラスト感度関数（ＣＳＦ）と呼ばれることがある。図１には、例示的なＣＳＦ曲線が示されている。

ＣＳＦは、４周期／度（ＣＰＤ）で最大値を有することがあり、感度は、より低い周波数とより高い周波数の両方で減少することがあり、それにより帯域通過特性を生じる。ＣＳＦ曲線は、可視性のしきい値を定義することができ、その場合、曲線よりも下の領域は視聴者に見えるものとすることができ、曲線よりも上の領域は視聴者に見えないものとすることができる（例えば不可視とすることができる）。ＣＳＦモデルは、モブションおよびキォープスモデル、バルテン（Barten）モデル、ならびに／またはダリー（Daly）モデル、のうちの１または複数を含み得る。

適応ローパスフィルタ（例えば知覚フィルタ）は、図２に描かれるように、例えば、人間の視覚系のＣＳＦモデルに基づくことができる。知覚フィルタ２０２への入力は、入力ビデオおよび／もしくは画像、モバイルデバイスの表示装置とモバイルデバイスのユーザとの間の視聴距離、表示装置に関連するコントラスト比、および／または、表示装置の表示画素密度、のうちの１または複数を含み得る。入力に対して信号処理を実施して、例えば、適応ローパスフィルタ２０２についてのカットオフ周波数を生成することができる。

本開示のいくつかの実施形態またはその一部は、マイクロプロセッサ、マイクロコントローラ、またはディジタルシーケンシャルロジック等（プロセッサなど）の１または複数のハードウェアコンポーネントを、コンピュータメモリなどの有形のコンピュータ可読メモリデバイスに記憶された１または複数のソフトウェアコンポーネント（例えば、プログラムコード、ファームウェア、常駐ソフトウェア、マイクロコード等）と組み合わせることができ、これらは一緒に、本明細書に記載の機能を実施する特に構成された装置を形成する。特別にプログラムされたデバイスを形成するこれらの組合せは、本明細書では一般に「モジュール」と呼ばれることがある。モジュールのソフトウェアコンポーネント部分は、任意のコンピュータ言語で書かれてよく、モノリシックコードベースの一部である場合もあり、または、オブジェクト指向コンピュータ言語で通常そうであるように、より離散的なコード部分において開発される場合もある。加えて、モジュールは、複数のコンピュータプラットフォーム、サーバ、端末などにわたって分散されることもある。記載の機能が別々のプロセッサおよび／またはハードウェアプラットフォームによって実施されるように、所与のモジュールが実現される場合すらある。

図２に示されるように、適応フィルタリング装置の実施形態が、様々な機能モジュールに関して描かれている。色空間変換モジュール２０４が、画像（例えばビデオフレーム）を受け取り、受け取った画像の色空間を線形色空間に変換する。次いでモジュール２０４は、色空間変換済み画像を、輝度計算モジュール２０６および適応ローパスフィルタ２０２に提供する。輝度計算モジュール２０６は、受け取った色空間変換済み画像に基づいて輝度画像を生成し、輝度画像を黒レベル調整モジュール２０８に提供する。

知覚特性モジュールが、意図された表示デバイスのコントラスト比のコントラスト比指示を、黒レベル調整モジュール２０８に提供する。知覚特性モジュールはさらに、視聴距離指示および画素密度指示を、ＤＣ推定モジュール２１０とカットオフ周波数計算モジュール２１８の両方に提供する。視聴距離指示は、表示デバイスユーザから意図された表示デバイスまでの距離を含み、画素密度指示は、意図された表示デバイスの画素密度を含む。

黒レベル調整モジュール２０８は、受け取った輝度画像および受け取ったコントラスト比指示に基づいて、黒レベル調整済み画像を生成する。次いでモジュール２０８は、黒レベル調整済み画像を、ＤＣ推定モジュール２１０および差分モジュール２１４に提供する。ＤＣ推定モジュール２１０は、受け取った視聴距離指示および画素密度指示に基づいて黒レベル調整済み画像の各画素の局所的ＤＣを推定することによって、ＤＣ推定画像を生成する。次いでモジュール２１０は、ＤＣ推定画像を、差分モジュール２１４とコントラスト感度推定モジュール２１６の両方に提供する。

差分モジュール２１４は、受け取った黒レベル調整済み画像およびＤＣ推定画像に基づいて差分画像を生成し、差分画像を振幅推定モジュール２１２に提供する。モジュール２１２は、受け取った差分画像の各画素についてそれぞれの局所的振幅を推定することによって、振幅推定画像を生成する。次いでモジュール２１２は、振幅推定画像をコントラスト感度推定モジュール２１６に提供する。

モジュール２１６は、受け取ったＤＣ推定画像および振幅推定画像の各画素についてそれぞれのコントラスト感度値を生成し、コントラスト感度値をカットオフ周波数計算モジュール２１８に提供する。モジュール２１８は、コントラスト感度関数と、受け取った視聴距離指示および画素密度指示とに基づいて、受け取った各コントラスト感度値についてそれぞれのカットオフ周波数値を計算する。次いでモジュール２１８は、カットオフ周波数値を適応ローパスフィルタモジュール２０２に提供する。

モジュール２０２は、色空間変換モジュール２０４から受け取った色空間変換済み画像と、カットオフ周波数計算モジュール２１８から受け取ったカットオフ周波数値とに基づいて、フィルタリング済み画像を生成する。次いでモジュール２０２は、フィルタリング済み画像を第２の色空間変換モジュール２２０に提供する。モジュール２２０は、受け取ったフィルタリング済み画像の色空間を、元の色空間（色空間変換モジュール２０４によって受け取られた）に変換し、知覚プレフィルタリング済み画像を出力する。

実施形態では、知覚フィルタは、ＣＳＦモデルを採用して、１または複数の不可視な空間周波数を決定する。これらを使用して、例えば、適応ローパスフィルタ（例えば知覚フィルタ）の局所カットオフ周波数を決定することができる。例えば本明細書に記載のような知覚フィルタは、人間の視覚系の斜め効果現象を組み込む（例えば反映する）ことができる。例えば、知覚フィルタは、１または複数の空間周波数を、水平および／または垂直方向に対して相対的に、斜め方向にフィルタリングする（例えば強くフィルタリングする）ことができる。斜め効果を組み込むことによって、知覚フィルタは、例えば式（１）を単独で使用するのに勝って、空間的振動を低減することができる。これは、視覚品質をほとんどまたは全く損失せずに、ビデオの符号化に使用されるビットレートを低下させるのを可能にすることができる。

図３は、例示的なアンビエント適応知覚フィルタ３０２を示すブロック図である。アンビエント適応知覚フィルタ３０２への入力は、入力ビデオおよび／もしくは画像、モバイルデバイスの表示装置とモバイルデバイスのユーザとの間の視聴距離、表示装置に関連するコントラスト比、表示装置の表示画素密度、アンビエント照明レベル、背景反射係数、ならびに／またはユーザの年齢、のうちの１または複数を含み得る。入力に対して信号処理を実施して、例えば、適応ローパスフィルタ３０２についてのカットオフ周波数を生成することができる。

適応フィルタリング装置の実施形態が、図３に示される様々な機能モジュールに関して描かれている。色空間変換モジュール３０４が、画像（例えばビデオフレーム）を受け取り、受け取った画像の色空間を線形色空間に変換する。次いでモジュール３０４は、色空間変換済み画像を、輝度計算モジュール３０６および適応ローパスフィルタモジュール３３４に提供する。輝度計算モジュール３０６は、受け取った色空間変換済み画像に基づいて輝度画像を生成し、輝度画像を黒レベル調整モジュール３１０に提供する。

アンビエントコントラスト比モジュール３０８が、アンビエント照明指示、表示装置反射率指示、ピーク輝度指示、およびネイティブコントラスト比指示を、知覚特性モジュールから受け取る。アンビエント照明指示は、意図された表示デバイスにおけるアンビエント照明を含み、表示装置反射率指示は、意図された表示デバイスの反射率を含み、ピーク輝度指示は、意図された表示デバイスのピーク輝度を含み、ネイティブコントラスト比指示は、意図された表示デバイスのネイティブコントラスト比を含む。モジュール３０８は、受け取った指示に基づいて、意図された表示デバイスのアンビエントコントラスト比を計算し、計算したコントラスト比のアンビエントコントラスト比指示を黒レベル調整モジュール３１０に提供する。

モジュール３１０は、受け取った輝度画像および受け取ったアンビエントコントラスト比指示に基づいて、黒レベル調整済み画像を生成する。次いでモジュール３１０は、黒レベル調整済み画像を、ＤＣ推定モジュール３１２、差分モジュール３１６、および大域ＤＣ推定モジュール３２６に提供する。

ＤＣ推定モジュール３１２は、受け取った黒レベル調整済み画像の各画素についてそれぞれの局所的ＤＣを推定することによって、ＤＣ推定画像を生成する。次いでモジュール３１２は、ＤＣ推定画像を、差分モジュール３１６とコントラスト感度推定モジュール３１８の両方に提供する。差分モジュール３１６は、受け取った黒レベル調整済み画像およびＤＣ推定画像に基づいて差分画像を生成し、差分画像を振幅推定モジュール３１４に提供する。

モジュール３１４は、受け取った差分画像の各画素についてそれぞれの局所的振幅を推定することによって、振幅推定画像を生成する。次いでモジュール３１４は、振幅推定画像をコントラスト感度推定モジュール３１８に提供する。モジュール３１８は、受け取ったＤＣ推定画像および振幅推定画像の各画素についてそれぞれのコントラスト感度値を生成し、コントラスト感度値をカットオフ周波数計算モジュール３２０に提供する。

表示装置サイズモジュール３２２が、表示装置幅指示、表示装置高さ指示、画素密度指示、および視聴距離指示を、知覚特性モジュールから受け取る。表示装置幅指示および表示装置高さ指示は、意図された表示デバイスの幅および高さをそれぞれ含む。画素密度指示は、意図された受信デバイスの画素密度を含み、視聴距離指示は、表示デバイスユーザから意図された表示デバイスまでの距離を含む。モジュール３２２は、受け取った指示に基づいて、意図された表示デバイスの角度サイズ（度で表された）を決定し、決定した角度サイズの角度サイズ指示をカットオフ周波数計算モジュール３２０に提供する。

サラウンド輝度モジュール３２４が、アンビエント照明指示と表示装置反射率指示の両方を、知覚特性モジュールから受け取る。これらの指示は、意図された表示デバイスにおけるアンビエント照明、および意図された表示デバイスの反射率をそれぞれ含む。モジュール３２４は、受け取った指示に基づいて、意図された表示デバイスにおけるサラウンド輝度を決定し、決定したサラウンド輝度のサラウンド輝度指示をカットオフ周波数計算モジュール３２０に提供する。

大域ＤＣモジュール３２６は、モジュール３１０から受け取った黒レベル調整済み画像の平均ＤＣ値を決定する。次いでモジュール３２６は、決定した平均ＤＣ値の大域ＤＣ指示を時間フィルタモジュール３２８に提供する。モジュール３２８は、受け取った大域ＤＣ指示と、前にフィルタリングされた画像の時間フィルタリング済みＤＣ値とに基づいて、現画像についての時間フィルタリング済みＤＣ値を決定する。次いでモジュール３２８は、時間フィルタリング済みＤＣ値の時間フィルタリング済みＤＣ指示を、ピーク輝度モジュール３３０に提供する。

モジュール３３０は、受け取った時間フィルタリング済みＤＣ指示と、知覚特性モジュールから受け取ったピーク輝度指示とに基づいて、スケーリング済みＤＣ値を決定する。受け取ったピーク輝度指示は、意図された表示デバイスのピーク輝度を含む。次いでモジュール３３０は、スケーリング済みＤＣ値のスケーリング済みＤＣ指示を、カットオフ周波数計算モジュール３２０に提供する。

カットオフ周波数計算モジュール３２０は、受け取った各コントラスト感度値について、それぞれのカットオフ周波数値を計算する。計算は、（ｉ）逆コントラスト感度関数、（ｉｉ）受け取った角度サイズ指示、サラウンド輝度指示、およびスケーリング済みＤＣ指示、ならびに（ｉｉｉ）知覚特性モジュールから受け取ったユーザ年齢指示に基づき、受け取ったユーザ年齢指示は、意図された表示デバイスのユーザの年齢を含む。次いでモジュール３２０は、計算したカットオフ周波数値を、周波数変換モジュール３３２に提供する。

周波数変換モジュール３３２は、１度当たりの周期（ＣＰＤ）で表された値をとり、１画素当たりの周期（ＣＰＰ）で表された値を適応フィルタに提供する。１度当たりの画素の決定はさらに、例えば、表示装置の１度当たりの周期数、および／または、ユーザと表示装置との間の視聴距離に基づくことができる。実施形態では、１画素当たりの周期数は、以下のように決定される。

上式で、Ｄは、画素で表された視聴距離であり、ＣＰＤは、選択された１度当たりの周期数である。

適応ローパスフィルタモジュール３３４は、色空間変換モジュール３０４から受け取った色空間変換済み画像と、周波数変換モジュール３３２から受け取った変換済みカットオフ周波数値とに基づいて、フィルタリング済み画像を生成する。次いでモジュール３３４は、フィルタリング済み画像を、第２の色空間変換モジュール３３６に提供する。モジュール３３６は、受け取ったフィルタリング済み画像の色空間を、元の色空間（色空間変換モジュール３０４によって受け取られた）に変換し、知覚プレフィルタリング済み画像を出力する。

２．例示的なシステム
図４は、知覚前処理フィルタ４０２を採用する例示的なビデオシステムアーキテクチャ４００を描く。知覚前処理フィルタ４０２は、例えば符号化の前に、入来ビデオコンテンツに適用されてよい。前処理フィルタ４０２は、視聴セットアップのパラメータに関係する１または複数の入力に従って動作することができ、これらのパラメータは例えば、モバイルデバイスの表示装置に対する視聴距離（例えば、モバイルデバイスの前向きカメラを使用して計算された）、表示装置の表示密度、および／または、表示装置の実効コントラスト比である。パラメータは、事前に決定された（例えば、１または複数の典型的な考慮事項に基づいて選択された）ものであってもよく、または動的に選択される（例えば、推定されて符号化システムに通信し返される）ものであってもよい。

例えば知覚フィルタに再生セットアップの１または複数の特性が提供された場合に、知覚フィルタを使用して、エンドユーザに見えないであろう空間的振動を選択的に除去することができる。このような振動を除去することによって、知覚フィルタは、従来型のビデオエンコーダ（例えば、高効率ビデオ符号化（ＨＥＶＣ）エンコーダ、Ｈ．２６４エンコーダなど）への入力として提供され得るビデオ信号を単純化することができる。入力ビデオ信号を単純化する結果、得られた出力ビデオ信号を（例えば１または複数のチャネルを介して）通信するのに使用されるビットレートを低下させることができる。ビデオ信号を知覚前処理フィルタでフィルタリングし、その後でビデオ信号を符号化することは、視聴条件を意識したビデオ符号化と呼ばれることが可能である。

図５は、例示的なビデオ視聴セットアップ（例えば、ワイヤレス送受信ユニット（ＷＴＲＵ）の表示装置５０２上でのストリーミングビデオ視聴）のパラメータを描く。視野５０４が両眼視によって形成されてよく、したがって、視野５０４は、水平に約１２０度（１２０°）とすることができる。例示されるビデオセットアップに関連するパラメータは、ＷＴＲＵの表示装置サイズ、表示装置５０２までの視聴距離、表示装置５０２の表示解像度、表示装置５０２の表示密度（例えば、１インチ（２．５４センチ）当たりの画素で表された）、および、視聴者５０８（例えば、ＷＴＲＵのユーザ）に関連する視野角５０６、のうちの１または複数を含み得る。パラメータのうちの１または複数は、相互に関係し合う場合がある。例えば、視野角は、以下のように表現されることが可能である。

図６は、いくつかの実施形態による、ビデオシステムのブロック図である。図６に示されるように、ビデオシステム６００は、ビデオソース６０２、ビデオフィルタリングデバイス６０４、ビデオエンコーダ６０６、データベースサーバ６０８、ビデオデコーダ６１０、表示装置６１２、センサ６１４、ユーザインタフェース６１６、ネットワーク６１８、およびプロビジョニングデバイス６２０を含む。

ビデオフィルタリングデバイス６０４は、本明細書に記載のビデオフィルタリングデバイス機能を実施できる任意のコンポーネントとすることができる。図７は、いくつかの実施形態による、例示的なビデオフィルタリングデバイスのブロック図である。図７に示されるように、ビデオフィルタリングデバイス６０４は、プロセッサ７０２と、プログラム命令７０６を記憶するデータ記憶装置７０４と、通信インタフェース７０８と、フィルタ７１０とを備え、これらの各々はシステムバス７１２を介して相互接続される。

プロセッサ７０２は、１もしくは複数の汎用プロセッサ、および／または、１もしくは複数の専用プロセッサの形をとる（またはそれを含む）ことができ、全体的または部分的に、データ記憶装置７０４および／または通信インタフェース７０８と統合されてよい。プロセッサ７０２は、他の形をとることもできる。

データ記憶装置７０４は、プログラム命令７０６を記憶することに加えて、多くの可能性の中でもとりわけ、特性データ、データベースデータ、および／またはユーザインタフェースデータを記憶することもできる。データ記憶装置は、非一時的コンピュータ可読媒体の形をとる（またはそれを含む）ことができ、この非一時的コンピュータ可読媒体は、ほんの少数の例を挙げると、ハードドライブ、ソリッドステートドライブ、ＥＰＲＯＭ、ＵＳＢ記憶デバイス、ＣＤ−ＲＯＭディスク、ＤＶＤディスク、他の任意の不揮発性記憶装置、またはこれらの任意の組合せなどである。プログラム７０６は、本明細書に記載の様々な機能を実施するためにプロセッサ７０２によって実行可能な機械言語命令を含むことができる。データ記憶装置および／またはプログラム命令は、他の形をとることもできる。

通信インタフェース７０８は、本明細書に記載の通信インタフェース機能を実施できる任意のコンポーネントとすることができる。通信インタフェースは、例えば、ビデオフレームをビデオソース６０２から受け取ること、フィルタリング済みフレームをビデオエンコーダ６０６に提供すること、知覚メッセージをプロビジョニングデバイス６２０から受け取ること、クエリをデータベースサーバ６０８に送りクエリ応答をデータベースサーバ６０８から受け取ること、および／または他の任意のエンティティと通信すること、を容易にすることができる。通信インタフェースは、例の中でもとりわけ、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、および／もしくはユニバーサルシリアルバス（ＵＳＢ）インタフェース、ならびに／または、システムバスの形をとる（またはそれを含む）ことができる。通信インタフェース７０８および／またはシステムバス７１２が他の形をとることもできることは、当業者なら認識するであろう。

フィルタ７１０は、本明細書に記載のフィルタ機能を実施できる任意のコンポーネントとすることができる。したがって、フィルタ７１０は、多くの可能性の中でもとりわけ、有限インパルス応答（ＦＩＲ）フィルタ、ランチョス（Lanczos）フィルタ、ガウシアンフィルタ、他の任意のアナログもしくはディジタルフィルタ、またはこれらの任意の組合せの形をとることができる。

再び図６を参照するが、ビデオソース６０２は、本明細書に記載のビデオソース機能を実施できる任意のコンポーネントとすることができる。ビデオソースは、多くの可能性の中でもとりわけ、ＤＶＤおよび／もしくはＢｌｕ−ｒａｙプレーヤ、ビデオカメラ（スマートフォンやタブレットコンピュータなど別のデバイスにおそらく組み込まれた）、ならびに／またはビデオ加入サービス（Ｎｅｔｆｌｉｘ（登録商標）やＨｕｌｕ（登録商標）など）のコンピュータ、の形をとる（かつ／またはそれを含む）ことができる。ビデオソースは、１または複数のビデオフレームをビデオフィルタリングデバイスに提供するように構成されてよい。

ビデオエンコーダ６０６は、本明細書に記載のビデオエンコーダ機能を実施できる任意のコンポーネントとすることができる。エンコーダは、フィルタリング済みビデオフレームをビデオフィルタリングデバイス６０４から受け取るように構成されてよい。エンコーダは、多くの可能性の中でもとりわけＭＰＥＧ−２ Ｐａｒｔ２、ＭＰＥＧ−４ Ｐａｒｔ２、Ｈ．２６４（ＭＰＥＧ−４ Ｐａｒｔ１０）、Ｔｈｅｏｒａ、Ｄｉｒａｃ、ＲｅａｌＶｉｄｅｏＲＶ４０、ＶＰ８、および／またはＨＥＶＣに従った、１または複数の既知のビデオ圧縮アルゴリズムをおそらく使用して、受け取ったフィルタリング済みビデオフレームを符号化することができる。エンコーダは、おそらくネットワーク６１８を介して、符号化済みビデオフレームをビデオデコーダ６１０に提供するように構成されてよい。

データベースサーバ６０８は、本明細書に記載のデータベースサーバ機能を実施できる任意のコンポーネントとすることができる。データベースサーバは、検索クエリをビデオフィルタリングデバイス６０４から受け取って、クエリ応答をビデオフィルタリングデバイスに提供するように構成されてよい。

ビデオデコーダ６１０は、本明細書に記載のビデオデコーダ機能を実施できる任意のコンポーネントとすることができる。デコーダは、おそらくネットワーク６１８を介して、符号化済みビデオフレームをビデオエンコーダ６０６から受け取るように構成されてよい。デコーダは、前述のビデオ圧縮アルゴリズムのうちの１または複数をおそらく使用して、受け取った符号化済みビデオフレームを復号することができる。エンコーダは、復号済みビデオフレームを表示デバイス６１２に提供するように構成されてよい。

表示装置６１２は、本明細書に記載の表示装置機能を実施できる任意のコンポーネントとすることができる。表示装置は、多くの可能性の中でもとりわけ、陰極線管（ＣＲＴ）表示装置、発光ダイオード（ＬＥＤ）表示装置、プラズマ表示装置、液晶表示装置（ＬＣＤ）、薄膜トランジスタ（ＴＦＴ）表示装置、および／または有機発光ダイオード（ＯＬＥＤ）表示装置などの表示装置を含み得る。表示デバイスは、多くの可能性の中でもとりわけ、テレビジョン、コンピュータモニタ、スマートフォン、および／またはタブレットコンピュータの形をとることができる。表示デバイスは、復号済みビデオフレームをビデオデコーダ６１０から受け取って、受け取った復号済みビデオフレームを、表示装置を介して提示するように構成されてよい。表示デバイスは、表示装置反射率、表示装置最大輝度、および／または表示装置ネイティブコントラスト比などの表示特性を、プロビジョニングデバイス６２０に提供することができる。

プロビジョニングデバイス６２０は、本明細書に記載のプロビジョニングデバイス機能を実施できる任意のコンポーネントとすることができる。図８は、いくつかの実施形態による、プロビジョニングデバイス６２０のブロック図である。図示のように、プロビジョニングデバイス６２０は、プロセッサ８０２と、プログラム命令８０６を記憶するデータ記憶装置８０４と、通信インタフェース８０８とを備え、これらの各々はシステムバス８１０を介して相互接続される。これらの各々は、図７に関して上述されたように機能することができる。

図８に示されるように、プロビジョニングデバイス３２０は、通信リンク８１８を介して、表示装置６１２、センサ６１４、および／またはユーザインタフェース６１６のうちの１または複数と通信可能にリンクされてよい。別の可能性として、表示装置、センサ、およびユーザインタフェースのうちの任意の１または複数は、プロビジョニングデバイスに組み込まれてもよい。

センサ６１４は、本明細書に記載のセンサ機能を実施できる任意のコンポーネントとすることができる。感知デバイスは、表示デバイス６１２における１または複数の視聴条件を検出するように構成されてよい。検出される視聴条件は、多くの可能性の中でもとりわけ、表示装置ユーザから表示装置６１２までの視聴距離、および／または、表示デバイスにおけるアンビエント光の輝度とすることができる。

ユーザインタフェース６１６は、本明細書に記載のユーザインタフェースデバイス機能を実施できる任意のコンポーネントとすることができる。ユーザインタフェースは、キーボード、マウス、および／または表示装置（表示装置６１２など）を含むかまたは組み込むことができる。ユーザインタフェースデバイスは、ユーザ特性（表示デバイス６１２の表示デバイスユーザの年齢など）を得ることができる。

プロビジョニングデバイスは、可能性の中でもとりわけ例えば表示装置６１２、センサ６１４、ユーザインタフェース６１６、および／またはデータ記憶装置８０４から、知覚特性を得るように構成されてよい。プロビジョニングデバイスは、得られた知覚特性をビデオフィルタリングデバイス６０４に提供することができる。

ビデオシステム６００のエンティティのうちの任意の１または複数は、ビデオシステムの他の任意のエンティティ（entity or entities）と結合されてもよく、かつ／またはそれに組み込まれてもよいことを理解されたい。例えば、ビデオフィルタリングデバイス６０４はビデオエンコーダ６０６と結合されてもよく、かつ／または、ビデオデコーダ６１０は表示装置６１２と結合されてもよい。表示装置６１２、センサ６１４、およびユーザインタフェース６１６のうちの任意の１または複数が結合されて、１つのコンポーネントにされてもよい。

図９は、例示的な実施形態によるビデオストリームを示す。図９に示されるように、ビデオストリーム９００は、複数のビデオフレーム９０２から９０８を含む。ビデオストリームは、空間的ｘ軸９１０およびｙ軸９１２、ならびに時間的ｔ軸９１４に沿った、３次元である。

図１０は、例示的な実施形態によるビデオフレームを示す。図１０に示されるように、ビデオフレーム９０２は、Ｎ個の画素行およびＭ個の画素列を含む。ｘ軸およびｙ軸が、ビデオフレームに沿って水平および垂直にそれぞれ延びる。ビデオフレーム中の各画素Ｐ_0,0からＰ_M-1,N-1は、Ｐ_x,yとして参照されることが可能であり、ここで、ｘおよびｙはそれぞれのｘ値およびｙ値で置き換えられる。各画素は、画素の輝度、クロミナンス、色、または他の値をおそらく示す、１または複数の対応する値を有することができる。

３．例示的な動作
３．１．ビデオフレームの受領
図１１は、例示的な実施形態による方法のフローチャートである。図１１に示されるように、方法１１００はステップ１１０２で開始し、ビデオフィルタリングデバイス６０４が複数のビデオフレーム９０２から９０８を受け取る。実施形態では、各フレームは、複数の画素Ｐ_0,0からＰ_M-1,N-1を有する。図１２Ａ〜１２Ｇは、知覚フィルタを採用する例示的な前処理プロセス中の様々な状態における、例示的な入力ビデオおよび／または画像を示す。図１２Ａは、受け取られる（例えばフルカラーで）であろう入力ビデオおよび／または画像を示す。

３．２．局所的コントラスト感度の決定
３．２．１．色空間の変更
ステップ１１０４で、ビデオフィルタリングデバイス６０４は、各画素Ｐ_0,0からＰ_M-1,N-1について、それぞれの局所的コントラスト感度ＣＳ_x,yを決定する。それぞれの局所的コントラスト感度ＣＳ_x,yを決定することは、ビデオフレームの色空間を変更することを伴う場合がある。入力ビデオおよび／または画像は、線形空間に変換されてよい。例えば、入力ビデオおよび／または画像がＹＵＶ４：２：０フォーマットのものである場合は、入力ビデオおよび／または画像は、ＹＵＶ入力がＩＴＵ−Ｒｅｃ、ＢＴ．６０１、ＢＴ．７０９、および／またはＳＭＰＴＥ２４０規格を使用して生成されたかどうかに例えば基づいて、色変換行列を使用してガンマ領域ＲＧＢ色空間に変換されてよい。ガンマ領域ＲＧＢは、例えば逆ガンマ操作を適用することによって、線形ＲＧＢフレームに変換されてよい。ＡＶＩ、ＢＭＰ、またはＰＮＧフォーマットの入力ビデオおよび／または画像の場合は、入力ビデオおよび／または画像からｓＲＧＢ画像が抽出されてよく、デガンマ操作が入力ビデオおよび／または画像に適用されて、線形ＲＧＢフレームが生成されてよい。他の色空間変更も可能である。

３．２．２．知覚特性の取得
それぞれのコントラスト感度ＣＳ_x,yの決定は、少なくとも１つの知覚特性に、少なくとも部分的に基づくことができる。実施形態では、表示装置６１２の表示特性と、表示装置６１２の視聴条件と、表示装置６１２のユーザのユーザ特性とからなるグループから、知覚ファクタが選択される。受信デバイスの表示特性は、例えば、表示装置６１２の画素密度、表示装置６１２の高さおよび／もしくは幅、表示装置６１２のネイティブコントラスト比、ならびに／または、表示装置６１２の反射率とすることができる。視聴条件は、可能性の中でもとりわけ、表示装置６１２におけるアンビエント照明、および／または、ユーザと表示装置６１２との間の距離（「視聴距離」と呼ばれる）とすることができる。ユーザ特性は、ユーザの、年齢および／または他の特性とすることができる。表１に、例示的な知覚特性の要約リストが列挙される。

表示特性、視聴条件、および／またはユーザ特性は、他の形をとることもでき、知覚特性は、上に明示的に列挙されていない他のタイプの特性を含むこともできる。

知覚特性は、ビデオフィルタリングデバイス６０４の通信インタフェース７０８を介して得られることがある。得られる特性は、フォトダイオードの電流または電圧など、アナログ信号とすることができる。別の可能性として、得られる知覚特性は、ディジタルフォーマットで表されることもある。例えば、３２インチ（８１．２８センチ）の表示装置高さは、バイナリフォーマットで００１０００００として受け取られてよい。得られたディジタルフォーマット知覚特性は、可能性の中でもとりわけ、ＩＰパケットなどのデータグラム中にカプセル化されることが可能である。

実施形態では、知覚特性は、プロビジョニングデバイス６２０から得られる。別の実施形態では、知覚特性を得ることは、知覚情報（知覚特性以外の）をプロビジョニングデバイス６２０から受け取ることを伴う。知覚情報は、例えば、ユーザ名、デバイスシリアル番号、デバイスモデル番号等とすることができる。ビデオフィルタリングデバイス６０４は、知覚情報を受け取ると、受け取った知覚情報に少なくとも部分的に基づいてクエリをデータベースサーバ６０８に送ることができる。

クエリを受け取るのに応答して、データベースサーバは、受け取ったクエリに関連する知覚特性を選択する。例えば、データベースは、１または複数のモデルまたはシリアル番号と、各モデルまたはシリアル番号に関連して１または複数の知覚特性とを記憶することができる。いくつかの実施形態では、データベースは、シリアル番号に基づいてモデル番号を決定することができる。所与のモデルまたはシリアル番号に基づくクエリを受け取ると、データベースサーバは、例えば、所与の番号に関連付けられたデバイスの、画素密度、高さおよび幅、ならびに／または反射率を選択する。ユーザ名に基づくクエリをサーバが受け取った場合、データベースサーバは、ユーザ名に関連づけられたユーザの年齢を選択することができる。受け取ったクエリに基づいて知覚特性を選択した後、データベースサーバは、選択した知覚特性をビデオフィルタリングデバイス６０４に送ることができる。ビデオフィルタリングデバイス６０４は、知覚特性をデータベースサーバ６０８から受け取り、受け取った知覚特性に基づいてそれぞれの局所的コントラスト感度を決定することができる。

知覚特性は他の形をとることもでき、他の知覚特性取得方法も可能であることは、当業者なら認識するであろう。

３．２．３．黒レベルの調整
いくつかの実施形態で、それぞれの局所的コントラスト感度ＣＳ_x,yを決定することは、各画素Ｐ_0,0からＰ_M-1,N-1の黒レベルを調整することを伴う場合がある。例示的な入力ビデオおよび／または画像に対して、黒レベル調整が実施されてよい。例えば［０，１］の範囲を有する、正規化された輝度成分が、線形ＲＧＢフレームから抽出されてよい。例えば表示装置の１または複数の特性のせいで、表示装置上の黒色が、照度測定値０に対応しない場合があり、そうではなく正の値を有する場合がある。表示装置上の黒の照度と、実際の黒画素値との不一致を補償するために、黒レベル調整が輝度フレームに適用されてよい。表示装置のコントラスト比Ｃ_dが、以下のように表現されることが可能である。

逆数αが、α＝１／Ｃ_dとして定義されることが可能である。黒レベル調整は、例えば、以下の演算をルマ成分ｘに適用することによって実施されてよい。
ｙ＝α＋（１−α）ｘ （式６）
図１２Ｂおよび１２Ｃは、例示的な入力ビデオおよび／または画像の、正規化済みルマ成分および黒レベル調整済みルマ成分をそれぞれ描く。

表示装置を特徴付けることのできるコントラスト比は、暗所で測定されてよく、表示装置のネイティブコントラスト比と呼ばれることがある。アンビエント光がある場合、図１３に示されるように、表示面は、光の一部を反射することがあり、この光は白と黒の両方の輝度レベルを増大させることがある。この結果、コントラスト比が低減されることがある。黒レベル調整に使用され得るコントラスト比は、アンビエント照明の推定値Ｉ（ａ）（例えばルクスで表された）、表示装置反射率の推定値（例えばパーセンテージ、例えば４％Ｒｄとして表現された）、アンビエント光がない場合の表示装置白の輝度Ｗ、および／またはネイティブコントラスト比ＣＲ０、との相関関係とすることができる。アンビエントコントラスト比は、以下のように計算されることが可能である。

上式で、図１３に示される

の値は、

によって与えられるものとすることができる。ファクタπは、ルクスをｃｄ／ｍ²単位に変換することができる。

アンビエント照明は、表示デバイス上のセンサによって供給されてもよく、または、例えば時刻から推定されてもよい。白の輝度は、相対的な表示明るさおよびピーク明るさによって決定されてよい。ネイティブコントラスト比および表示装置反射率の値は、表示装置仕様によって決定されてもよく、または、典型的な値、例えばＣＲ０＝１０００およびＲｄ＝４％を想定することによって決定されてもよい。図１４は、アンビエントコントラスト比算出への、アンビエントルクス１４０２、表示装置反射率１４０４、表示装置ホワイトポイント１４０６、および表示装置ネイティブＣＲ１４０８の例示的な入力を示すブロック図である。

図１１の方法１１００に戻るが、ステップ１１０４での決定は、各画素Ｐ_0,0からＰ_M-1,N-1について黒レベルを調整し、黒レベル調整された各画素についてそれぞれの局所的コントラスト感度を決定することを伴う場合がある。実施形態では、画素ごとの黒レベルの調整は、表示装置６１２のアンビエントコントラスト比Ｃ₁に基づく。アンビエントコントラスト比に基づいて画素ごとに黒レベルを調整することは、ビデオフィルタリングデバイス６０４が、表示装置６１２におけるアンビエント照度と、表示装置６１２の反射率と、表示装置６１２のピーク輝度と、表示装置６１２のネイティブコントラスト比と、からなるグループから選択された少なくとも１つの知覚特性を得ることを伴う場合がある。ビデオフィルタリングデバイスは、得られた前述のような少なくとも１つの知覚特性に（少なくとも）基づいて、アンビエントコントラスト比Ｃ₁を決定することができる。次いでビデオフィルタは、前述のように、決定したアンビエントコントラスト比Ｃ₁に基づいて、画素ごとに黒レベルを調整することができる。実施形態では、決定されたアンビエントコントラスト比Ｃ₁に基づいて各画素の黒レベルを調整することは、それぞれの画素値の調整済み値

を以下のように決定することを含む。

上式で、Ｐ_x,yは、それぞれの画素の値である。

３．２．４．局所ピーク振幅に対する局所平均の比率の決定
それぞれの画素Ｐ_x,yについてのそれぞれの局所的コントラスト感度ＣＳ_x,yは、画素Ｐ_x,yの周りのそれぞれの局所的領域Ｒ_x,y内の画素のそれぞれの値に、少なくとも部分的に基づくことができる。いくつかの実施形態では、ＣＳ_x,yはまた（または代わりに）、少なくとも１つの知覚ファクタに、少なくとも部分的に基づくことができる。Ｒ_x,yに含めるための画素の選択は、少なくとも１つの知覚ファクタに基づくことができる。少なくとも１つの知覚ファクタは、例えば、以下に説明される可能性の中でもとりわけ、表示装置６１２における視聴条件、表示装置の表示特性、および／または、表示装置ユーザのユーザ特性とすることができる。

コントラスト感度が推定されてよい（例えば画素ごとに）。例えば、位置（ｉ，ｊ）（本明細書では座標（ｘ，ｙ）を使用して参照されることもある）の各入力画素について、コントラスト感度が、それぞれのＤＣと振幅（例えば本明細書に記載のように計算された）との比率をとることによって計算されてよく、これは以下のように表現されることが可能である。

実施形態では、ステップ１１０４での決定は、各画素Ｐ_0,0からＰ_M-1,N-1について、それぞれのＤＣ（または「局所平均」）ＤＣ_x,yと、それぞれの振幅（または「局所ピーク振幅」）Ａ_x,yの両方を決定することを伴う。それぞれの画素Ｐ_x,yについての、それぞれの局所平均ＤＣ_x,yとそれぞれの局所ピーク振幅Ａ_x,yのいずれかまたは両方は、それぞれの局所的領域Ｒ_x,y内の画素の値に基づくことができる。

例示的な入力ビデオおよび／または画像の、黒レベル調整済みルマ成分のＤＣが、以下のように表現されるガウシアンローパスフィルタを例えば適用することによって、推定されてよい。

上式で、後者の公式中のブラケットで囲まれた演算（

）は、フロア演算を表すことができ、σ₁は標準偏差とすることができる。σ₁の選択は、例えば、人間の視力に基づくことができる。図１５に描かれるように、人間の目の中の中心窩は、約２度の視野を見ることができる。入力が正弦波格子であった場合、ＤＣは、中心窩の視界中の最大２分の１周期に対応するものとすることができる。ローパスフィルタの最大カットオフ周波数は、以下のように表現されることが可能である。

例えば、３ｄＢカットオフ周波数＝１／２ＣＰＤが選ばれてよい。ＤＣ_ijは、位置（ｉ，ｊ）におけるＤＣ値を表すことができる。図１２Ｄは、カットオフ周波数１／２ＣＰＤを使用したローパスフィルタリング後の、例示的な入力ビデオおよび／または画像に対応するＤＣ推定を描く。

ＣＰＤで表されたカットオフ周波数は、１画素当たりの周期に変換されてよく、関連するσ₁が計算されてよい。図１６に描かれるように、ＣＰＤで表されたカットオフ周波数を１画素当たりの周期に変換する際、ｎは、１周期中の画素数とすることができ、ｄは、画素数で表された視聴距離とすることができ、βは、１周期当たりの度数で表された視野角とすることができる。画素で表された視聴距離は、以下のように表されることが可能である。

視聴距離と表示装置画素密度は両方とも、例えば図２または図３に描かれるように、知覚フィルタ２０２または３０２への入力パラメータとすることができる。

図１６は、以下の関係をもたらすことができる。

βは１周期当たりの度数とすることができるので、１度当たりの周期で表された周波数は、ｃｐｄ＝１／βとすることができる。上式（１９）は、以下のように表現されることが可能である。

この式（２０）は、以下のように表現されることが可能である。

カットオフ周波数は、σから計算されてよい。例えば、式（２１）を使用して、１画素当たりの周期で表されたカットオフ周波数を導出することができる。１画素当たりの周期で表されたカットオフ周波数ｆ_cからσ₁を計算するための公式が導出されてよい。式（１６）に離散フーリエ変換を適用して、以下によって与えられる周波数応答を得ることができる。

３ｄＢカットオフ周波数ｆ_cでは、以下のとおりである。

図１８に、振幅包絡線推定のための例示的なプロセスフロー１６００を描く。１６０２で、推定されたＤＣとルマ画像との絶対差分を計算して、差分画像を得ることができる。サイズ１１×１１画素のスライディングフィルタ内で最大値を例えば見つけることによって、マックスフィルタが差分画像に適用されてよい。マックスフィルタは、差分画像の包絡線を推定することができる。１６０４で、式（１６）と同様のガウシアンローパスフィルタを例えば使用して差分画像を平滑化して、推定振幅包絡線画像を得ることができる。

例えば、ガウシアンローパスフィルタパラメータσおよびＮが、以下のように計算されてよい。

σ＝０．１３２５×２×（２．５Ｎ₂＋１） （式２１）

上式で、Ｎ₂＝４である。位置（ｉ，ｊ）における振幅包絡線推定値は、振幅_ijによって表されてよい。図１２Ｅは、図１２Ａに描かれる例示的なテスト画像に対応する振幅包絡線推定を描く。

図１７は、いくつかの実施形態による、Ｒ_x,yに含めるための画素を選択する方法のフローチャートである。図１７に示されるように、方法１７００はステップ１７０２で開始し、ビデオフィルタリングデバイス６０４が、カットオフ周波数として、１度当たりの周期数を選択する。実施形態では、選択される１度当たりの周期は、１／４または１／２である。特許請求の範囲を逸脱することなく他のカットオフ周波数が選択されてもよいことは、当業者なら認識するであろう。

ステップ１７０４で、ビデオフィルタリングデバイス６０４は、１度当たりの周期数に基づいて、１画素当たりの周期数を決定する。１度当たりの画素の決定はさらに、例えば、表示装置６１２の１度当たりの画素数、および／または、ユーザと表示装置６１２との間の視聴距離に基づくことができる。実施形態では、１画素当たりの周期数は、以下のように決定される。

上式で、Ｄは、画素で表された視聴距離であり、ＣＰＤは、選択された１度当たりの周期数である。

ステップ１７０６で、ビデオフィルタデバイスは、決定された１画素当たりの周期数に基づいて、ガウシアンフィルタの標準偏差σ₁を決定する。実施形態では、標準偏差σ₁は、以下のように決定される。

上式で、ｆは、決定された１画素当たりの周期数である。

ステップ１７０８で、ビデオフィルタリングデバイス６０４は、標準偏差σ₁の値に少なくとも部分的に基づいて、Ｒ_x,yに含めるための画素を選択する。実施形態では、ビデオフィルタリングデバイス６０４は、Ｒ_x,yに含めるために、Ｐ_x,yの周りで、Ｐ_x-N,y-N、Ｐ_x-N,y+N、Ｐ_x+N,y-N、Ｐ_x+N,y+Nによって境界を画された画素を選択し、ここで、Ｎの値は、標準偏差σ₁の値に少なくとも部分的に基づく。実施形態では、

である。特許請求の範囲を逸脱することなく他の値のＮが代わりに使用されてもよいことは、当業者なら認識するであろう。

いくつかの実施形態では、ビデオフィルタリングデバイス６０４は、Ｒ_x,yに含めるために、Ｐ_x,yの周りで、Ｐ_x-N,y-N、Ｐ_x-N,y+N、Ｐ_x+N,y-N、Ｐ_x+N,y+Nによって境界を画された画素を選択することができ、ここで、Ｎは所定の値である。実施形態では、Ｎ＝９である。他の値のＮも可能である。

実施形態では、それぞれの局所的領域Ｒ_x,yは、それぞれの局所的ＤＣ領域Ｒ^DC _x,y、およびそれぞれの局所的振幅領域Ｒ^A _x,yを含む。ビデオフィルタリングデバイス６０４は、それぞれの局所的ＤＣ領域Ｒ^DC _x,y内の画素の値に少なくとも部分的に基づいて、それぞれの局所平均ＤＣ_x,yを決定し、それぞれの局所的振幅領域Ｒ^A _x,y内の画素の値に少なくとも部分的に基づいて、それぞれの局所ピーク振幅Ａ_x,yを決定する。Ｒ^DC _x,y中の画素のセットは、Ｒ^DC _x,y中の画素のセットと同じである場合もあり、そうでない場合もある。

実施形態では、それぞれの画素Ｐ_x,yについてのそれぞれの局所平均ＤＣ_x,yは、Ｒ^DC _x,y中の画素の値の平均として決定される。実施形態では、ビデオフィルタリングデバイス６０４は、Ｒ_x,yに含めるために、Ｐ_x,yの周りで、Ｐ_x-N,y-N、Ｐ_x-N,y+N、Ｐ_x+N,y-N、Ｐ_x+N,y+Nによって境界を画された画素を選択する。ここで、

である。中央傾向の他の尺度（例えば、メジアン、モード）または他の任意の手段を使用してそれぞれの局所平均ＤＣ_x,yを決定することもできる。

実施形態では、それぞれの画素Ｐ_x,yについてそれぞれのローカルピーク振幅Ａ_x,yを決定することは、ビデオフィルタリングデバイス６０４が、各画素Ｐ_0,0からＰ_M-1,N-1についてそれぞれの絶対差分値Ｄ_x,y＝｜Ｐ_x,y−ＤＣ_x,y｜を決定することを伴う。次いでビデオフィルタリングデバイスは、「マックス」フィルタを使用して、それぞれの画素の周りのそれぞれのウィンドウＲ^W _x,y中の画素について、決定したそれぞれの絶対差分値の最大値を選択する。「マックス」フィルタは、それぞれの画素Ｐ_x,yについて、それぞれのスライディングウィンドウＲ^W _x,y内の画素のうちから、それぞれの局所的最大値Ｄ^max _x,yを選択する。実施形態では、それぞれのウィンドウＲ^W _x,yは、１１×１１画素領域である。

実施形態では、ビデオフィルタリングデバイス６０４は、Ｐ_x,yの周りのそれぞれの局所的振幅領域Ｒ^A _x,y内の画素の値に少なくとも部分的に基づいて、それぞれの画素Ｐ_x,yについてのそれぞれの各局所的最大値Ｄ^max _x,yにガウシアンフィルタを適用する。ビデオフィルタリングデバイス６０４は、Ｒ^A _x,yに含めるために、Ｐ_x,yの周りで、Ｐ_x-N,y-N、Ｐ_x-N,y+N、Ｐ_x+N,y-N、Ｐ_x+N,y+Nによって境界を画された画素を選択する。ここで、例えばＮ＝９である。ビデオフィルタリングデバイスは、それぞれの画素Ｐ_x,yについてのそれぞれの局所ピーク振幅Ａ_x,yとして、それぞれのフィルタリング済み値Ｄ^max _x,yを選択する。

３．３フィルタ帯域幅の設定
図１１に戻るが、ビデオフィルタリングデバイスは、ステップ１１０６で、それぞれの画素のそれぞれの局所的コントラスト感度ＣＳ_x,yに少なくとも部分的に基づいて、各画素Ｐ_0,0からＰ_M-1,N-1についてのそれぞれのフィルタ帯域幅ｆ^c _x,yを選択する。それぞれのフィルタ帯域幅の選択は、以下に説明されるように、それぞれのコントラスト感度にコントラスト感度モデルを適用することを伴う場合がある。

モブションおよびキォープスＣＳＦモデルは、３パラメータ指数関数を採用してＣＳＦをモデル化することができ、これは以下のように表現されることが可能である。
ｃｓｆ（ｆ）＝ａｆ^cｅ^-bf （式２４）
上式で、例えば、ａ＝７５、ｂ＝０．２、およびｃ＝０．８であり、ｆは、ＣＰＤで表された空間周波数とすることができる。図１７は、例えば４ｃｐｄでピークに達する帯域フィルタ特性を呈することのできる例示的なモブションおよびキォープスＣＳＦモデルを描く。

バルテンＣＳＦモデルは、いくつかの視聴パラメータを含むことができる。このモデルは、以下のように表現されることが可能である。

上式で、Ａ、Ｂ、Ｃ、およびＤは、その値が例えば下式によって与えられることが可能な定数とすることができる。

値Ｘ₀は、視度で表されたオブジェクトサイズとすることができる。値Ｌは、ｃｄ／ｍ²で表されたオブジェクト輝度とすることができる。Ｓ（ｕ）についての表現は、以下のように近似されることが可能である。

この近似公式は、ランベルトＷ関数を使用して解析的に反転されて、下式を与えることが可能である。

この逆関数は、下式によって近似されることが可能である。

バルテンＣＳＦの逆関数に対するこの近似の精度は、図１８に示されるように、この近似の逆関数ｌ^-1（ｕ）と共にバルテンＣＳＦ（例えば元のバルテンＣＳＦ）をプロットすることによって評価されることが可能である。ＣＳＦのピークを過ぎると、近似逆関数は、バルテンＣＳＦに近いものとすることができる。

カットオフ周波数が算出されてよい。例えば、コントラスト感度は、適応ローパスフィルタのカットオフ周波数にマッピングされてよい。ＣＳＦモデル（例えば、モブションおよびキォープスのＣＳＦモデル）に基づいて、カットオフ周波数を計算するための逆関係がコントラスト感度から構築されてよい。例示的なモデルは、以下のように表現されることが可能である。

上式で、以下のとおりである。

ｆ_ij＝−４２．２６＋７８．４６３ｃｓ_ij ^-0.079−０．０４８９４ｃｓ_ij ^1.0809 （式３１）
Ｆ_min＝４ＣＰＤ （式３２）
Ｆ_max＝３５．９ＣＰＤ （式３３）

バルテンＣＳＦが使用される場合、カットオフ周波数は、関係（２６）中で表現されるモデルではなく、例えば本明細書に開示される関係（８）中の逆関数Ｉ（ｓ）を使用して、選択されてよい。

このモデルは、４ＣＰＤ未満の周波数に対する通過帯域を有するローパスフィルタとして、ＣＳＦを近似することができる。適応ローパスフィルタは、それぞれ４ＣＰＤおよび３５．９ＣＰＤの最小および最大カットオフ周波数を有することができる。図１９は、例示的なモデルが、例えば４ＣＰＤおよび３５．９ＣＰＤを含む範囲で、どのようにモブションおよびキォープスのモデルにぴったり合うことができるかを描く。前述のプロセスを採用して、１または複数の入力画素（例えば各入力画素）についてそれぞれのカットオフ周波数を計算することができる。図１２Ｆに、例示的な入力ビデオおよび／または画像についての、画素ごとの例示的なカットオフ周波数が描かれている。

方法１１００に戻るが、それぞれのフィルタ帯域幅の選択は、逆コントラスト感度関数に少なくとも部分的に基づくことができる。逆コントラスト感度関数は、モブションおよびキォープスコントラスト感度モデルの逆関数に少なくとも部分的に基づくことができる。追加でまたは代替として、逆コントラスト感度関数は、バルテンコントラスト感度モデルの逆関数に少なくとも部分的に基づくこともできる。

実施形態では、逆コントラスト感度関数は、下式を使用して、それぞれの画素Ｐ_x,yについてのカットオフ周波数ｆ^c _x、yを提供する。

ｆ^c _x、y＝−４２．２６＋７８．４６３ＣＳ_x、y ^-0.079−０．０４８９４ＣＳ_x、y ^1.0809 （式３４）
上式で、ＣＳ_x、yは、Ｐ_x,yについてのそれぞれのコントラスト感度である。逆コントラスト感度関数は他のコントラスト感度モデルおよびコントラスト感度関数に基づいてもよいことは、当業者なら認識するであろう。

テスト用パターンの平均ＤＣに等しいテストを囲む視野を用いて、コントラスト感度測定が実施されてよい。視野の環境が異なるとき、ＨＶＳ感度は変化する場合がある。例えば、夜と昼とでは、ヘッドライトによって発せられる光がほぼ同じであるかもしれなくても、点灯されたヘッドライトの外観は大きく変化する場合がある。バルテンモデルは、テスト用オブジェクト（例えばＣＳＦテストパターン）の輝度に対する周囲輝度の比率に依存する、ＣＳＦについてのスケーリング関数を導入することによって、この挙動をモデル化する。例えば、本明細書で式（５）に開示されるバルテンモデルのコントラストＡは、ファクタｆによってスケーリングされてよい。このスケーリングファクタｆが、モブションおよびキォープスＣＳＦモデルに適用されてよい。スケーリングファクタｆは、以下のように表現されることが可能である。

上式で、Ｌ_Sは周囲輝度であり、Ｌ_Oはオブジェクトの輝度であり、Ｘ_Oは、視度で表されたオブジェクトのサイズである。図２０に、例として、周囲輝度とオブジェクト輝度との比率に応じたスケーリングファクタｆを示す。

ＣＳＦは、年齢に伴う減少を特徴とする場合がある。図２１に、年齢に伴うＣＳＦ変動の例を示す。ＣＳＦに適用され得るスケーリングファクタが決定されてよい。２０代の年齢に対応するＣＳＦがベースラインとして使用されてよい。図２３に示されるデータから計算されたスケーリングファクタが、年齢に伴うスケーリングの包絡線を近似できる線形モデルと共に、図２２に描かれている。

年齢に依存するスケーリングファクタを計算できるモデルが導出されてよい。年齢に依存するスケーリングファクタは、本明細書で式（５）に開示されるバルテンモデルの定数Ａに、かつ／またはモブションおよびキォープスＣＳＦモデルに、適用されてよい。スケーリングファクタは、以下のように表現されることが可能である。

サラウンド効果が使用されてよい。サラウンド効果を利用するために、ＣＳＦを適切に修正するためのスケーリングファクタｆが決定されてよい。モデルは、３つの定数、例えば、サラウンドの輝度ＬＳ、オブジェクトの輝度ＬＯ、およびオブジェクトのサイズＸＯを使用することができる。

ＸＯには、表示装置サイズが使用されてよい。ＸＯの値は、視度で表現されてよい。視聴距離を使用して、視角と画素寸法との間で変換することができる。

オブジェクト輝度は、オブジェクト輝度に対して直接に表示装置ピーク輝度を例えば使用することによって、対応する明るさ設定における表示装置ピーク輝度を使用して決定されてよい。平均表示装置輝度を使用して、ピーク輝度をスケーリングすることができる。この算出のために、平均表示装置輝度が時間の経過に伴って平滑化されてよい。

オブジェクト輝度は、ＤＣ画像の平均を計算することにより画像全体にわたる大域ＤＣを計算することによって、推定されてよい。大域ＤＣは、以下のように定義される１タップＩＩＲフィルタを例えば使用して、時間的にフィルタリングされてよい。

上式で、

は、時間的にフィルタリングされた大域ＤＣとすることができ、ＤＣ_jは、フレームｊの大域ＤＣとすることができる。フィルタリング済みＤＣをピーク輝度によってスケーリングして、オブジェクト輝度ＬＯをもたらすことができる。

サラウンド輝度は、アンビエントコントラスト比の場合と同様に、アンビエント光レベルＡ（例えばルクスで表された）を使用して推定されてよい。一様な背景反射率値ＲＳが想定されてよい。サラウンド輝度ＬＳ（例えばｃｄ／ｍ²で表された）は、以下のように算出されてよい。

ＣＳＦスケーリングファクタｆは、例えばＣＳＦを使用してカットオフ周波数を決定する前に、パラメータＬＳ、ＬＯ、およびＸＯから計算されてよい。ＣＳＦは一定に維持されてよく、感度値は、例えばカットオフ周波数を計算する前に、スケーリングファクタの逆数によってスケーリングされてよい。

サラウンド効果と同様、年齢効果がスケーリングファクタによって反映されてよい。年齢をスケーリングファクタに変換する例示的な数学モデルが、関係（１０）として本明細書に開示される。ユーザは、構成（例えば初期構成）の一部として、年齢値を供給することができる。代替としてまたはそれに加えて、ビデオコンテンツの人口統計を使用して年齢値を選択することもできる。例えば、ゴルフイベントには、音楽ビデオと比較してより高い年齢値が割り当てられるものとすることができる。追加の情報が利用可能でない場合は、デフォルト年齢値、例えば２０が年齢パラメータに使用されてよい。

実施形態では、ステップ１１０６でそれぞれのフィルタ帯域幅ｆ^c _x,yを選択することは、それぞれの画素Ｐ_x,yについてそれぞれのスケーリング済みコントラスト感度ＣＳ^s _x,yを得て、それぞれのスケーリング済み局所的コントラスト感度に少なくとも部分的に基づいてそれぞれのフィルタ帯域幅を選択することを伴う。実施形態では、スケーリング済みコントラスト感度は、スケーリングファクタｆ^sを使用して得られる。例えば、ビデオフィルタリングデバイス６０２は、スケーリングファクタｆ^sの値を選択し、それぞれの局所的コントラスト感度ＣＳ^s _x,yに、選択したスケーリングファクタを掛けることができる。

実施形態では、スケーリングファクタｆ^sは、表示装置６１２におけるアンビエント照度と、表示装置のピーク輝度と、表示装置６１２のサイズとを含めた、知覚特性のセットに基づいて選択される。別の実施形態では、スケーリングファクタｆ^sは、表示装置６１２のユーザの年齢に基づいて選択される。フィルタ帯域幅は、下式を使用して選択されてよい。

上式で、年齢は、ユーザの年齢である。スケーリングファクタは、年齢、アンビエント照度、ピーク輝度、表示装置サイズ、または他の任意の知覚特性の、任意の組合せに基づくことができる。

３．４．ビデオフレームのフィルタリング
ステップ１１０８で、ビデオフィルタリングデバイス６０４は、画素のそれぞれの選択されたフィルタ帯域幅ｆ^c _x,yに従って各画素Ｐ_0,0からＰ_M-1,N-1をフィルタリングすることによって、フィルタリング済みビデオフレームを生成する。各フィルタリング済み画素は、それぞれのフィルタリング済み値

を有することができる。

適応ローパスフィルタ（例えば知覚フィルタ）は、例えばランチョスフィルタに基づくことができる。１または複数の入力線形ＲＧＢ画素が、ランチョスフィルタを使用してフィルタリングされてよい。位置（ｉ，ｊ）におけるランチョスフィルタは、以下のように定義されることが可能である。

上式で、ｆ_c（ｉ，ｊ）は、位置（ｉ，ｊ）におけるカットオフ周波数とすることができ、ｎはフィルタ次数（例えばｎ＝４）とすることができる。２つの分離可能ランチョスフィルタが使用されてよい。例えば、第１のランチョスフィルタは、１または複数の行の画素に沿ったフィルタリングに使用されてよく、第２のランチョスフィルタは、１または複数の列の画素に沿ったフィルタリングに使用されてよい。ランチョスフィルタによってフィルタリングされることになる１または複数の入力画素（例えば各入力画素）に対して、それぞれのカットオフ周波数、例えば本明細書に記載のように計算されたそれぞれのカットオフ周波数ｆ_cが、使用されてよい。ランチョスフィルタは、画素ベースで適応することができる。２つの分離可能ランチョスフィルタは、水平方向と垂直方向のうちの一方または両方で、カットオフ周波数ｆ_cを有することができる。この結果、例えば図２３に描かれるような周波数特性となる場合がある。カットオフ周波数ｆ_cは、局所コントラスト比に適応することができる（例えば適応されられることができる）。

ｆ_c値のセットに対応するランチョスフィルタのバンクが、事前に計算されてよい。例えば、ｆ_c値のセットは、Ｆ＝｛ｆ_c1，ｆ_c2，．．．，ｆ_cM｝とすることができ、ここで、Ｍはフィルタバンクの総数とすることができる。式（２７）を使用して画素についてのカットオフ周波数ｆ_c（ｉ，ｊ）が計算されると、これは、セットＦ中の最も近いカットオフ周波数に近似されてよく、これを使用してフィルタバンクからフィルタを選ぶことができる。

例えば水平および／または垂直パターンと比較して、斜めに配向されたパターンの、低下した可視性は、斜め効果と呼ばれることがある。生理学的実験は、パターンの配向が人間の視覚系のコントラスト感度に影響を及ぼす場合があることを示している。斜めパターンは、水平および／または垂直パターンと比較して、劣った感度を有する場合がある。ダリーＣＳＦモデルは、入力配向を考慮することによって、斜め効果の現象を反映することができる。

斜め効果は、適応ローパスフィルタ（例えば知覚フィルタ）に組み込まれる（例えばその内部で反映される）ことが可能であり、したがって、適応ローパスまたは知覚フィルタは、知覚斜めフィルタと呼ばれることがある。例えば、これは、カットオフ周波数を周波数領域における配向角度に適応させることによって達成されるであろう。斜め効果現象をモデル化するために、カットオフ周波数ｆ_cと周波数配向角度θとの以下の関係が使用されてよい。

上式で、ｆ_cは、式（２６）を使用して得られるであろう。図２４に、式（２８）の例証が描かれている。図２６に示されるように、カットオフ周波数ｆ_cが水平方向と垂直方向の両方に使用されてよく、一方でより小さいカットオフ周波数０．７８ｆ_cがθ＝４５°に使用されてよい。

異方性２次元有限インパルス応答（ＦＩＲ）フィルタを実装して、図２６に示される周波数特性などの周波数特性を得ることができる。図２７に描かれるように、いくつかの分離可能フィルタ対を使用して周波数特性を近似させることができる。図２７に示されるように、分離可能フィルタの３つの対を使用して、周波数特性を達成することができる。図２８に、分離可能フィルタの３つの対２１０２、２１０４、２１０６を使用して周波数特性を達成することの例が描かれている。分離可能フィルタ対２１０２、２１０４、２１０６のうちの１または複数（例えば各分離可能フィルタ対）が、水平および／または垂直方向について指定されたそれぞれのカットオフ周波数を有することができる。図２８に描かれるように、所望の周波数特性を有するフィルタリング済み出力を得るために、分離可能フィルタ対２１０２および２１０４からのフィルタリング済み出力が加算されてよく、フィルタ対２１０６からの出力が減算されてよい。

実施形態では、フィルタ７１０は、３つの分離可能フィルタＦ₁、Ｆ₂、およびＦ₃の形の非分離可能フィルタである。３つのフィルタは、それぞれの水平カットオフ周波数ｆ₁ ^H、ｆ₂ ^H、およびｆ₃ ^H、ならびにそれぞれの垂直カットオフ周波数ｆ₁ ^V、ｆ₂ ^V、およびｆ₃ ^Vを有することができる。

Ｆ₁、Ｆ₂、およびＦ₃の水平および垂直カットオフ周波数の値は、以下のように選択されてよい。

ｆ₁ ^H＝ｆ₂ ^V＝ｆ₃ ^V
ｆ₁ ^V＝ｆ₂ ^H＝ｆ₃ ^H
カットオフ周波数は、ｆ₁ ^H≠ｆ₁ ^V、またはｆ₁ ^H＝ｆ₁ ^Vのように選択されてよい。

さらに、カットオフ周波数の値は、以下のように選択されてよい。

ｆ₁ ^H＝ｓ₁×ｆ₂ ^H＝ｓ₁×ｆ₃ ^H
ｆ₁ ^V＝ｓ₂×ｆ₂ ^V＝ｓ₂×ｆ₃ ^V
上式で、ｓ₁およびｓ₂はスケーリングファクタである。スケーリングファクタｓ₁は、ｓ₂と同じである可能性もあり、またはｓ₂とは異なる可能性もある。実施形態では、ｓ₁＝ｓ₂＝．５５１５である。他の値のｓ₁およびｓ₂が使用されてもよい。

実施形態では、それぞれの画素Ｐ_x,yをＦ₁、Ｆ₂、およびＦ₃の各々でフィルタリングすることは、３つのそれぞれのフィルタリング済み値

、

、および

を与える。それぞれの画素Ｐ_x,yについてのそれぞれの合成フィルタリング済み値

が、以下のように決定されてよい。

実施形態では、分離可能フィルタＦ₁、Ｆ₂、およびＦ₃のうちの少なくとも１つは、２つの１次元分離可能フィルタ（それぞれのカットオフ周波数を有する、１つの水平フィルタおよび１つの垂直フィルタ）の形の、２次元分離可能フィルタである。

３．５．ビデオフレームの提供
ステップ１１１０で、ビデオフィルタリングデバイス６０４は、フィルタリング済みビデオフレームをビデオエンコーダ６０６に提供している。フレームをエンコーダ６０６に提供する前に、ガンマ操作をフィルタリング済み線形ＲＧＢ画像に適用して、フィルタリング済み線形ＲＧＢ画像をｓＲＧＢ画像に変換することができる。入力がＹＵＶ４：２：０フォーマットのものであった場合、ｓＲＧＢはＹＵＶ４：２：０色空間に変換し戻されることが可能である。図１２Ｇは、モバイルデバイスの表示装置上でレンダリング（例えばフルカラーで）されたときに現れるであろう、例示的な入力ビデオおよび／または画像のフィルタリング済み出力画像を描く。

４．例示的なシステム
本開示の実施形態は、データ記憶装置と、受信機と、コントラスト感度決定モジュールと、フィルタ帯域幅選択モジュールと、ビデオフィルタモジュールとを備えるビデオフィルタリング装置の形をとる。

実施形態では、データ記憶装置は、１または複数のビデオフレームを記憶するように構成され、これらのビデオフレームは、受信フレームおよびフィルタリング済みフレーム、ならびに、ビデオフィルタリングプロセスの前、間、または後における他の中間状態のビデオフレーム（例の中でもとりわけ、ルマフレーム、色空間変換済みフレーム、および黒レベル調整済みフレームなど）を含む。ビデオフィルタリング装置の機能モジュールが、データ記憶装置に記憶されたビデオフレームに対して操作を実施することができ、この操作の結果を、他の機能モジュールによって使用されるようにデータ記憶装置に記憶することができる。データ記憶装置は、例えば、前述のデータ記憶装置７０４の形をとることができる。実施形態では、ビデオフレームは、それぞれの画素値を有する複数の画素を含む。

実施形態では、受信機は、少なくとも１つの知覚特性を受信することができる。知覚特性は、例として、表示装置における視聴条件、表示装置の表示特性、および／またはユーザ特性とすることができる。受信機は、可能性の中でもとりわけ、黒レベル調整モジュール、コントラスト感度決定モジュール、および／またはフィルタ選択モジュールなど、１または複数の他のモジュールに、得られた特性を提供することができる。

実施形態では、ビデオフィルタリング装置は、表示装置における視聴条件、表示装置の表示特性、および／またはユーザ特性に関連付けられた知覚情報を受け取るように構成された、知覚相関モジュールを備える。知覚情報は、可能性の中でもとりわけ、表示装置のシリアル識別子、表示装置のモデル識別子、表示装置の地理的位置、表示装置における時刻、および／または表示装置のユーザのユーザ名とすることができる。

実施形態では、知覚相関モジュールは、知覚情報に少なくとも部分的に基づいて知覚特性を得るように構成される。例えば、知覚相関モジュールは、１または複数のモデルまたはシリアル番号と、各モデルまたはシリアル番号に関連して１または複数の知覚特性とを記憶するように構成された、ルックアップテーブルを備える。知覚相関モジュールは、シリアル番号に基づいてモデル番号を決定することができる。知覚相関モジュールは、モデルまたはシリアル番号に関連付けられて記憶された知覚特性を得ることができ、知覚特性は、所与の番号に関連するデバイスの、画素密度、高さおよび幅、ならびに／または反射率などである。知覚情報がユーザ名を含む場合、知覚相関モジュールは、ユーザ名に関連付けられたユーザの年齢を得ることができる。知覚情報が表示装置の地理的位置、および／または表示装置における時刻を含む場合、知覚相関モジュールは、表示装置における推定されたアンビエント照度を得ることができる。他の例も可能である。

実施形態では、ビデオフィルタリング装置は、ビデオフレームの色空間を第１の色空間から第２の色空間に変換するように構成された色空間変換モジュールを備える。例えば、ビデオフィルタリング装置は、ＣＭＹＫ、ＨＳＶ／ＨＳＬ、ＹＩＱ、ＹＵＶ、ＹＰｂＰｒ、および／またはｘｖＹＣＣ色空間で色を表すビデオフレームを受信する場合がある。色空間変換モジュールは、ｓＲＧＢ（単純化されたフレーム変換機能を可能にすることのできる線形色空間）など、装置互換性のある色空間内で一般に動作するビデオフィルタリング装置の実施形態で、採用されてよい。装置互換性のある色空間以外の色空間を有する受信ビデオフレームの変換を可能にするために、色空間変換モジュールは、１または複数の色空間特有の変換を実施する前に、受信ビデオフレームの色空間を装置互換性のある色空間に変換することができる。実施形態では、色空間変換モジュールは、受信ビデオフレームの色空間を、元の色空間から線形ＲＧＢ色空間（ｓＲＧＢまたはガンマ補正された線形色空間）に変換し、フィルタリング済みビデオフレームの色空間を元の色空間に変換して戻す。

実施形態では、ビデオフィルタリング装置は、表示装置におけるアンビエントコントラスト比に少なくとも部分的に基づいて各画素のそれぞれの黒レベルを調整するように構成された、黒レベル調整モジュールを備える。黒レベル調整モジュールは、１つの可能性として、それぞれのコントラスト感度をコントラスト感度決定モジュールが決定する前にそれぞれの黒レベルを調整するビデオフィルタリング装置の実施形態で、採用されてよい。黒レベル調整モジュールは、例として、受信ビデオフレームおよび／または色空間変換済みビデオフレームの、それぞれの画素の黒レベルを調整することができる。実施形態では、黒レベル調整モジュールは、下式を使用して、各画素値Ｐについてのそれぞれの調整済み値Ｐ^Aを決定する。

上式で、Ｃ₁はアンビエントコントラスト比である。

実施形態では、黒レベル調整モジュールは、デバイスにおけるアンビエントコントラスト比を決定するように構成されたアンビエントコントラスト比決定モジュールを備える。アンビエントコントラスト比決定モジュールは、知覚特性のセットに少なくとも部分的に基づいてアンビエントコントラスト比を決定することができ、知覚特性のセットは、表示装置におけるアンビエント照度、表示装置の最大輝度、表示装置の反射率、および表示装置のネイティブコントラスト比、のうちの１または複数を含む。例えば、アンビエントコントラスト比決定モジュールの実施形態は、以下のようにアンビエントコントラスト比ＣＲ（ａ）を決定する。

上式で、Ｉ（ａ）はアンビエント照明であり、Ｒｄは表示装置反射率であり、Ｗは、アンビエント光がない場合の表示装置白の輝度であり、ＣＲ０はネイティブコントラスト比である。黒レベル調整モジュールは、可能性の中でもとりわけ、アンビエントコントラスト比決定モジュールによって決定されたアンビエントコントラスト比に基づいて、各画素の黒レベルを調整することができる。

実施形態では、コントラスト感度決定モジュールは、ビデオフレームのそれぞれの画素ごとに、それぞれの局所的コントラスト感度を決定するように構成される。コントラスト感度モジュールは、それぞれの画素の周りのそれぞれの局所的領域内の画素のそれぞれの値と、少なくとも１つの知覚特性とに（少なくとも部分的に）基づいて、それぞれのコントラスト感度を決定するように構成されてよい。他の構成も可能である。

実施形態では、コントラスト感度決定モジュールは、局所平均推定モジュール、局所極大推定モジュール、およびコントラスト感度比率モジュールを備える。実施形態では、コントラスト感度比率モジュールは、各画素についてそれぞれの比率を決定するように構成され、それぞれの比率は、それぞれの局所極大に対するそれぞれの局所平均の比率である。コントラスト感度決定モジュールは、決定されたそれぞれの比率を、それぞれの画素についてのそれぞれの局所的コントラスト感度として選択するように構成されてよい。

局所平均推定モジュールは、それぞれの局所的領域内の画素の値に少なくとも部分的に基づいて、それぞれの局所平均を決定するように構成されてよい。実施形態では、局所平均推定モジュールは、それぞれの局所的領域内の画素の値の和を得て、得られた和を領域内の画素の数で割ることによって、それぞれの局所平均を決定するように構成されてよい。他の構成も可能であろう。

実施形態では、それぞれの画素の周りのそれぞれの局所的領域は、それぞれの局所平均領域とそれぞれの局所極大領域の両方を含み、コントラスト感度決定モジュールは、局所平均領域に含めるための画素を選択するように構成された局所平均領域選択モジュールを備える。局所平均領域選択モジュールは、視野の１度当たりの空間的振動数を有する局所的カットオフ周波数を選択して、この局所的カットオフ周波数を視野の１度当たりの画素数に変換することによって、画素を選択することができる。このモジュールは、変換済み局所的カットオフ周波数に少なくとも部分的に基づいて、それぞれの局所平均領域に含めるための画素を選択することができる。実施形態では、局所平均領域選択モジュールは、変換済み局所的カットオフ周波数に（少なくとも部分的に）基づいてガウシアンフィルタの標準偏差値を決定し、次いで、それぞれの画素から所与の数の標準偏差内にある画素を選択する。例えば、実施形態では、局所平均領域選択モジュールは、それぞれの画素から

画素内にある画素を選択する。局所平均推定モジュールは、局所平均領域選択モジュールによって選択された画素のそれぞれの局所平均を決定するように構成されてよい。他の構成も可能である。

実施形態では、コントラスト感度決定モジュールは、それぞれの絶対差分値を決定するように構成された差分モジュールを備える。それぞれの画素についてそれぞれの絶対差分値を決定するために、差分モジュールは、それぞれの画素の、それぞれの値とそれぞれの局所平均との差の絶対値を決定することができる。それぞれの画素値は、可能性の中でもとりわけ、元の画素値、それぞれの色空間変換済み値、または黒レベル調整済み値とすることができる。

実施形態では、局所極大推定モジュールは、それぞれの局所極大領域内の画素のそれぞれの絶対差分値のそれぞれの局所極大を決定するように構成される。実施形態では、局所極大領域選択モジュールが、それぞれの局所極大領域に含めるために、それぞれの画素から所定数の画素内にある画素を選択する。例えば、実施形態では、局所極大領域選択モジュールは、それぞれの画素から５画素内にある画素を選択し、この結果、１１画素×１１画素の局所極大領域となる。実施形態では、局所極大領域選択モジュールは、局所平均領域選択モジュールについて記述されたのと同様にして、画素を選択する。他の構成も可能であろう。

実施形態では、局所極大推定モジュールはさらに、それぞれの局所極大を決定する前に、各画素のそれぞれの絶対差分値にガウシアンフィルタを適用するように構成される。例えば、実施形態では、局所極大推定モジュールは、下式によって与えられるガウシアンフィルタを適用する。

σ＝０．１３２５×２×（２．５Ｎ₂＋１） （式４４）
上式で、

であり、Ｎ₂＝４である。σ、Ｎ、およびＮ₂の、他の値が使用されてもよい。

実施形態では、コントラスト感度決定モジュールは、スケーリングファクタに（少なくとも部分的に）基づいて画素のそれぞれの局所的コントラスト感度を調整するように構成された、コントラスト感度スケーリングモジュールを備える。スケーリングファクタは、少なくとも１つの知覚特性に（少なくとも部分的に）基づいて決定されてよい。例えば、実施形態では、コントラスト感度モジュールは、知覚特性のセットに（少なくとも部分的に）基づいてスケーリングファクタを決定するように構成されたサラウンド輝度スケーリングファクタモジュールを備え、知覚特性のセットは、表示装置におけるアンビエント照度、表示装置の最大輝度、表示装置の反射率、および表示装置のネイティブコントラスト比を含む。同様に、実施形態では、コントラスト感度モジュールは、表示装置のユーザの表示装置ユーザ年齢に（少なくとも部分的に）基づいてスケーリングファクタを決定するように構成された年齢スケーリングファクタモジュールを備える。サラウンド輝度スケーリングファクタモジュールおよび年齢スケーリングファクタモジュールは、方法ステップ１００６に関して上述されたように、それぞれの知覚特性を使用してそれぞれのスケーリングファクタを決定することができる。

実施形態では、フィルタ帯域幅選択モジュールは、画素のそれぞれの局所的コントラスト感度に少なくとも部分的に基づいて、各画素についてそれぞれのフィルタ帯域幅ｆ_cを決定するように構成される。例えば、フィルタ帯域幅選択モジュールは、方法ステップ１１０６に関して上述されたように、それぞれの局所的コントラスト感度を逆コントラスト感度関数に提供してカットオフ周波数を得るように構成されてよい。

実施形態では、フィルタ帯域幅選択モジュールは、それぞれのフィルタ帯域幅に少なくとも部分的に基づいて、画素ごとの対応するフィルタを選択するように構成される。例えば、実施形態では、フィルタ帯域幅選択モジュールは、所与のフィルタ帯域幅に対応するフィルタのルックアップテーブルを備える。モジュールは、決定されたそれぞれのフィルタ帯域幅に対応するフィルタを、ルックアップテーブルから選択する。

実施形態では、対応するフィルタは、フィルタ係数のセットとして表される。例えば、フィルタ帯域幅ｆ¹に対するフィルタは、フィルタ係数のセット｛ｆ₀ ¹，ｆ₁ ¹，ｆ₂ ¹，ｆ₃ ¹，およびｆ₄ ¹｝として表されてよく、フィルタ帯域幅ｆ¹に対するフィルタは、フィルタ係数のセット｛ｆ₀ ²，ｆ₁ ²，ｆ₂ ²，ｆ₃ ²，およびｆ₄ ²｝として表されてよい。実施形態では、所与のフィルタ帯域幅に対する係数は、ステップ１１０８に関して上述されたランチョスフィルタから導出される。

実施形態では、フィルタ帯域幅選択モジュールは、各画素について、それぞれの水平帯域幅とそれぞれの垂直帯域幅の両方を選択するように構成される。水平帯域幅と垂直帯域幅のいずれか（または両方）は、逆コントラスト感度関数によって提供されるカットオフ周波数とすることができ、次いでこれにスカラｓが掛けられる。実施形態では、ｓ＝．５５１５である。実施形態では、フィルタ帯域幅選択モジュールは、各画素について、水平帯域幅と垂直帯域幅の３つの対、すなわちＦ₁＝｛ｓ×ｆ_c，ｆ_c｝、Ｆ₁＝｛ｆ_c，ｓ×ｆ_c｝、およびＦ₃＝｛ｓ×ｆ_c，ｓ×ｆ_c｝を選択するように構成され、ここで、各対の中の１番目の帯域幅は水平帯域幅であり、２番目の帯域幅は垂直帯域幅である。

実施形態では、ビデオフィルタモジュールは、各画素についてのそれぞれの選択されたフィルタに従って各画素をフィルタリングすることによって、フィルタリング済みビデオフレームを生成するように構成される。例えば、ビデオフィルタモジュールは、それぞれの画素についての選択されたフィルタに対応するそれぞれのフィルタ係数セットを使用して、フィルタリング済みビデオフレームを生成するように構成されてよい。実施形態では、ビデオフィルタモジュールは、画素ごとに選択されたそれぞれの水平および垂直フィルタに従って、各画素をフィルタリングするように構成される。例えば、実施形態では、ビデオフィルタモジュールは、フィルタ対Ｆ₁、Ｆ₂、およびＦ₃に従って各画素をフィルタリングしてそれぞれのフィルタ結果Ｒ₁、Ｒ₂、およびＲ₃を得ることによって、フィルタリング済みビデオフレームを生成する。ビデオフィルタリング装置のフィルタ合計モジュールが、生成されたフィルタリング済みビデオフレーム中の各画素についてのそれぞれのフィルタリング済み値として、総計フィルタ結果Ｒ₁＋Ｒ₂−Ｒ₃を決定するように構成される。

５．結び
知覚フィルタおよび知覚斜めフィルタのそれぞれの性能は、テスト画像を両方のフィルタでフィルタリングすることによって例証されるであろう。例えば、本明細書に記載のような知覚フィルタと知覚斜めフィルタの両方を使用して、図２９Ａに描かれる「星」テスト画像がフィルタリングされた。図２９Ｂは、図２９Ａのテスト画像を知覚フィルタでフィルタリングすることによって生み出された例示的な出力画像を描く。図２９Ｃは、図２９Ａのテスト画像を知覚斜めフィルタでフィルタリングすることによって生み出された例示的な出力画像を描く。図２２Ｂおよび２２Ｃに描かれる画像は、同じ（例えばほぼ同じ）視聴条件を使用して得られた。図２９Ｄに描かれるような差分画像が得られた。図２９Ｄに示されるように、知覚斜めフィルタは、垂直および水平方向に沿って知覚フィルタと実質的に同一に機能することができるが、１または複数の斜め方向に沿って追加のフィルタリングを実施することができる。

知覚斜めフィルタは、ビデオエンコーダに対する前処理ステップとして使用されてよい。例えば一様プレフィルタ方式および／またはフィルタリングなし方式ではなく、知覚斜めフィルタを採用することによって、利益が実現され得る。一様プレフィルタは、視聴条件に基づく空間カットオフ周波数を使用することができ、この空間カットオフ周波数は、視力限度に対応するものとすることができる。対照的に、知覚斜めフィルタは、局所コントラスト感度と、１もしくは複数の空間的振動の配向とのうちの一方または両方に例えば基づいて、そのカットオフ周波数を画素ベースで適応させることができる。

知覚斜めフィルタを採用することの結果は、角度特性（例えば、ユーザが視聴している表示装置の幅を取り込むことのできる、ユーザの観察角度）の点から提示されることが可能である。これは、視野角γと呼ばれることがある。視野角γは、例えば、以下のように表示装置幅ｗおよび視聴距離ｄに結び付けられることが可能である。

この測定基準は、例えば、結果が種々の画面密度および／またはサイズに適用可能になるので、好都合な場合がある。この定義を使用して、６°から４５°の観察角度の範囲をカバーするユーザ位置を記述するために１２個の例示的な動作ポイントが選択された。画面の実効コントラスト比についての以下の例示的なテストポイント、すなわち、ＣＲ∈｛２：１，３：１，５：１，１０：１，１００：１，および１０００００：１｝が選択された。１番目の例示的なコントラスト比は、表示装置が日光の下にあるときの状況に対応するものとすることができ、一方で最後の例示的なコントラスト比は、暗い室内のスタジオモニタの等価物に対応するものとすることができる。知覚斜めフィルタを採用することの結果は、他の適切な点から、例えば種々の視聴距離などの点から提示されてもよい。

知覚斜めフィルタは、「ＩｎｔｏＴｒｅｅ」１０８０ｐビデオテストシーケンスを使用してテストされた。テストでは、定数量子化パラメータ（ＱＰ）レート制御を伴うｘ２６４高プロファイルビデオエンコーダが使用された。図３０に、知覚斜めフィルタと一様プレフィルタの両方に使用された実験用テストセットアップが描かれている。

図３１に、知覚プレフィルタ（例えば知覚斜めフィルタ）を使用することによってフィルタリングなし（例えば元の符号化）に勝って達成され得る、例示的なビット節約が示されている。図示のように、知覚斜めフィルタは、より狭い視野角および／またはより小さいコントラスト比で、大幅なビット節約を達成することができ、フィルタリングなし方式に勝る例えば７５％の最大ビット節約を生むことができる。

図３２に、知覚斜めフィルタを採用することによって一様プレフィルタに勝って達成され得る、同じ視聴条件（例えばほぼ同じ視聴条件）の下における性能の例が示されている。図示のように、かなりのビットレート節約、例えば、１５°と３５°の間の視野角では１０％よりも大きく、約２０°の視野角では４０％のビットレート節約が、達成され得る。知覚斜めフィルタは、例えばより低いコントラスト比では、一様プレフィルタに勝るより高いビット節約を生むことができる。

図３３に示されるような例示的な結果を比較することによって、アンビエント適応フィルタリングの利益がわかるであろう。図３３に示される結果は、５０ルクス、５００ルクス、および１００００ルクスの、３つの例示的なアンビエントレベルに対応する。表示明るさは、相対的な輝度比率が５００ルクスの中間アンビエントレベルで最大となれるようなものとすることができる。アンビエントルクスが、表示装置の対応する表示明るさよりも大幅に低いかまたは高いとき、ビットレート節約は増大することができる。これは、サラウンド対オブジェクトの相対的な輝度比率を、５０ルクスの場合のより低い輝度比率または１００００ルクスの場合のより高い輝度比率から離すことに対応するものとすることができる。いずれの場合も、スケーリングファクタは、低減されたビットレート節約または増大されたビットレート節約を引き起こすことがある。この効果は、ピクチャコンテンツに適応できる適応フィルタで見ることができ、また、カットオフ周波数選択がピクチャコンテンツに適応されない、非適応フィルタでも見ることができる。

本明細書に開示される知覚フィルタと知覚斜めフィルタのうちの一方または両方、およびそれらに関連する対応する技法は、図２７Ａ〜２７Ｅに示される例示的なワイヤレス通信システム２７００および／またはそのコンポーネントなど、ワイヤレス通信システムにおいて、ビデオ（例えばビデオストリーミング）を搬送することに従って実現されることが可能である。

図３４Ａは、１または複数の開示される実施形態がその中で実現され得る例示的な通信システム３４００の図である。通信システム３４００は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数のワイヤレスユーザに提供する多元接続システムであってよい。通信システム３４００は、複数のワイヤレスユーザが、ワイヤレス帯域幅を含めたシステムリソースの共有を通してこのようなコンテンツにアクセスするのを可能にすることができる。例えば、通信システム３４００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）など、１または複数のチャネルアクセス方法を採用することができる。

図３４Ａに示されるように、通信システム３４００は、少なくとも１つのワイヤレス送受信ユニット（ＷＴＲＵ）（複数のＷＴＲＵなど、例えばＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄ）、無線アクセスネットワーク（ＲＡＮ）３４０４、コアネットワーク３４０６、公衆交換電話網（ＰＳＴＮ）３４０８、インターネット３４１０、および他のネットワーク３４１２を含んでよいが、開示される実施形態は任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することを理解されたい。各ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄは、ワイヤレス環境で動作および／または通信するように構成された任意のタイプのデバイスであってよい。例として、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄは、ワイヤレス信号を送信および／または受信するように構成されてよく、ユーザ機器（ＵＥ）、移動局、固定またはモバイルの加入者ユニット、ページャ、セルラ電話機、パーソナルディジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、消費者電子機器などを含み得る。

通信システム３４００はまた、基地局３４１４ａおよび基地局３４１４ｂを含んでよい。各基地局３４１４ａ、３４１４ｂは、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのうちの少なくとも１つとワイヤレスにインタフェースして、コアネットワーク３４０６、インターネット３４１０、および／またはネットワーク３４１２など、１または複数の通信ネットワークへのアクセスを容易にするように構成された、任意のタイプのデバイスであってよい。例として、基地局３４１４ａ、３４１４ｂは、ベーストランシーバステーション（ＢＴＳ）、Ｎｏｄｅ−Ｂ、ｅＮｏｄｅ Ｂ、Ｈｏｍｅ Ｎｏｄｅ Ｂ、Ｈｏｍｅ ｅＮｏｄｅ Ｂ、サイトコントローラ、アクセスポイント（ＡＰ）、ワイヤレスルータなどであってよい。基地局３４１４ａ、３４１４ｂはそれぞれ単一の要素として描かれているが、基地局３４１４ａ、３４１４ｂは任意の数の相互接続された基地局および／またはネットワーク要素を含んでよいことを理解されたい。

基地局３４１４ａはＲＡＮ３４０４の一部であってよく、ＲＡＮ３４０４はまた、基地局コントローラ（ＢＳＣ）や無線ネットワークコントローラ（ＲＮＣ）や中継ノードなど、他の基地局および／またはネットワーク要素（図示せず）を含んでもよい。基地局３４１４ａおよび／または基地局３４１４ｂは、特定の地理領域内でワイヤレス信号を送信および／または受信するように構成されてよく、この地理領域はセル（図示せず）と呼ばれることがある。セルはさらに、セルセクタに分割されてよい。例えば、基地局３４１４ａに関連付けられたセルが、３つのセクタに分割されてよい。よって、一実施形態では、基地局３４１４ａは、３つの送受信機、例えば、セルの各セクタにつき１つの送受信機を備えることができる。別の実施形態では、基地局３４１４ａは、多入力多出力（ＭＩＭＯ）技術を採用することができ、したがって、セルの各セクタにつき複数の送受信機を利用することができる。

基地局３４１４ａ、３４１４ｂは、エアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのうちの１または複数と通信することができ、エアインタフェース３４１６は、任意の適切なワイヤレス通信リンク（例えば、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であってよい。エアインタフェース３４１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立されてよい。

より具体的には、上記のように、通信システム３４００は、多元接続システムであってよく、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡなど、１または複数のチャネルアクセス方式を採用することができる。例えば、ＲＡＮ３４０４中の基地局３４１４ａ、およびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ユニバーサルモバイルテレコミュニケーションズシステム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実装することができ、これは、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインタフェース３４１６を確立することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。

別の実施形態では、基地局３４１４ａおよびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、進化型ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実装することができ、これは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を使用してエアインタフェース３４１６を確立することができる。

他の実施形態では、基地局３４１４ａおよびＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃは、ＩＥＥＥ８０２．１６（例えばワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ（登録商標））、エンハンストデータレートフォーＧＳＭエボリューション（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装することができる。

図３４Ａ中の基地局３４１４ｂは、例えば、ワイヤレスルータ、Ｈｏｍｅ Ｎｏｄｅ Ｂ、Ｈｏｍｅ ｅＮｏｄｅ Ｂ、またはアクセスポイントを含んでよく、事業所、家庭、車両、キャンパスなどの局所化されたエリア中でのワイヤレス接続性を容易にするために任意の適切なＲＡＴを利用することができる。一実施形態では、基地局３４１４ｂおよびＷＴＲＵ３４０２ｃ、３４０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装して、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。別の実施形態では、基地局３４１４ｂおよびＷＴＲＵ３４０２ｃ、３４０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装して、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。さらに別の実施形態では、基地局３４１４ｂおよびＷＴＲＵ３４０２ｃ、３４０２ｄは、セルラベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図３４Ａに示されるように、基地局３４１４ｂは、インターネット３４１０への直接接続を有することができる。よって、基地局３４１４ｂは、コアネットワーク３４０６を介してインターネット３４１０にアクセスすることは必要とされなくてよい。

ＲＡＮ３４０４は、コアネットワーク３４０６と通信してよく、コアネットワーク３４０６は、音声、データ、アプリケーション、および／またはボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのうちの１または複数に提供するように構成された、任意のタイプのネットワークであってよい。例えば、コアネットワーク３４０６は、呼制御、料金請求サービス、モバイル位置ベースサービス、前払い電話、インターネット接続性、ビデオ配信などを提供することができ、かつ／または、ユーザ認証など、高レベルのセキュリティ機能を実施することができる。図３４Ａには示されていないが、ＲＡＮ３４０４および／またはコアネットワーク３４０６は、ＲＡＮ３４０４と同じＲＡＴまたは異なるＲＡＴを採用する他のＲＡＮと、直接的または間接的に通信してもよいことを理解されたい。例えば、コアネットワーク３４０６は、Ｅ−ＵＴＲＡ無線技術を利用しているであろうＲＡＮ３４０４に接続されるのに加えて、ＧＳＭ無線技術を採用する別のＲＡＮ（図示せず）と通信してもよい。

コアネットワーク３４０６はまた、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄがＰＳＴＮ３４０８、インターネット３４１０、および／または他のネットワーク３４１２にアクセスするためのゲートウェイとしての働きをすることができる。ＰＳＴＮ３４０８は、プレーンオールドテレフォンサービス（ＰＯＴＳ）を提供する回路交換電話網を含んでよい。インターネット３４１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート中の、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、およびインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスの地球規模のシステムを含んでよい。ネットワーク３４１２は、他のサービスプロバイダによって所有および／または運営される、有線またはワイヤレス通信ネットワークを含んでよい。例えば、ネットワーク３４１２は、ＲＡＮ３４０４と同じＲＡＴまたは異なるＲＡＴを採用するであろう１または複数のＲＡＮに接続された、別のコアネットワークを含んでよい。

通信システム３４００中のＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄのいくつかまたは全ては、マルチモード能力を備えることができる。例えば、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、３４０２ｄは、種々のワイヤレスリンクを介して種々のワイヤレスネットワークと通信するために、複数の送受信機を備えることができる。例えば、図３４Ａに示されるＷＴＲＵ３４０２ｃは、セルラベースの無線技術を採用するであろう基地局３４１４ａと、かつＩＥＥＥ８０２無線技術を採用するであろう基地局３４１４ｂと、通信するように構成されてよい。

図３４Ｂは、例示的なＷＴＲＵ３４０２のシステム図である。図３４Ｂに示されるように、ＷＴＲＵ３４０２は、プロセッサ３４１８、送受信機３４２０、送受信要素３４２２、スピーカ／マイクロホン３４２４、キーパッド３４２６、表示装置／タッチパッド３４２８、非取外し可能メモリ３４３０、取外し可能メモリ３４３２、電源３４３４、全地球測位システム（ＧＰＳ）チップセット３４３６、および他の周辺装置３４３８を備えてよい。ＷＴＲＵ３４０２は実施形態との整合性を維持しながら前述の要素の任意のサブコンビネーションを備えてよいことを理解されたい。

プロセッサ３４１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連する１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、状態機械などを含み得る。プロセッサ３４１８は、信号符号化、データ処理、電力制御、入出力処理、および／または、ＷＴＲＵ３４０２がワイヤレス環境で動作できるようにする他の任意の機能を実施することができる。プロセッサ３４１８は送受信機３４２０に結合されてよく、送受信機３４２０は送受信要素３４２２に結合されてよい。図３４Ｂはプロセッサ３４１８と送受信機３４２０とを別々のコンポーネントとして描いているが、プロセッサ３４１８と送受信機３４２０とが共に電子パッケージまたはチップ中で統合されてもよいことを理解されたい。

送受信要素３４２２は、エアインタフェース３４１６を介して基地局（例えば基地局３４１４ａ）との間で信号を送信または受信するように構成されてよい。例えば、一実施形態では、送受信要素３４２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであってよい。別の実施形態では、送受信要素３４２２は、例えばＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された、エミッタ／検出器であってよい。さらに別の実施形態では、送受信要素３４２２は、ＲＦ信号と光信号の両方を送受信するように構成されてよい。送受信要素３４２２は任意の組合せのワイヤレス信号を送信および／または受信するように構成されてよいことを理解されたい。

加えて、図３４Ｂでは送受信要素３４２２が単一の要素として描かれているが、ＷＴＲＵ３４０２は、任意の数の送受信要素３４２２を備えてよい。より具体的には、ＷＴＲＵ３４０２は、ＭＩＭＯ技術を採用することができる。よって、一実施形態では、ＷＴＲＵ３４０２は、エアインタフェース３４１６を介してワイヤレス信号を送受信するために、２つ以上の送受信要素３４２２（例えば複数のアンテナ）を備えることができる。

送受信機３４２０は、送受信要素３４２２によって送信されることになる信号を変調し、送受信要素３４２２によって受信された信号を復調するように構成されてよい。上記のように、ＷＴＲＵ３４０２は、マルチモード能力を有することができる。よって、送受信機３４２０は、ＷＴＲＵ３４０２が複数のＲＡＴ（例えばＵＴＲＡおよびＩＥＥＥ８０２．１１など）を介して通信できるようにするために、複数の送受信機を備えることができる。

ＷＴＲＵ３４０２のプロセッサ３４１８は、スピーカ／マイクロホン３４２４、キーパッド３４２６、および／または、表示装置／タッチパッド３４２８（例えば、液晶表示装置（ＬＣＤ）表示ユニットもしくは有機発光ダイオード（ＯＬＥＤ）表示ユニット）に結合されてよく、これらからユーザ入力データを受け取ることができる。プロセッサ３４１８はまた、スピーカ／マイクロホン３４２４、キーパッド３４２６、および／または、表示装置／タッチパッド３４２８にユーザデータを出力することができる。加えて、プロセッサ３４１８は、非取外し可能メモリ３４３０および／または取外し可能メモリ３４３２など、任意のタイプの適切なメモリからの情報にアクセスすること、およびそのようなメモリにデータを記憶することができる。非取外し可能メモリ３４３０は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含んでよい。取外し可能メモリ３４３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアディジタル（ＳＤ）メモリカードなどを含んでよい。他の実施形態では、プロセッサ３４１８は、サーバやホームコンピュータ（図示せず）上のメモリなど、ＷＴＲＵ３４０２上に物理的に位置しないメモリからの情報にアクセスすること、およびそのようなメモリにデータを記憶することができる。

プロセッサ３４１８は、電源３４３４から電力を受け取ることができ、ＷＴＲＵ３４０２中の他のコンポーネントへの電力を分配および／または制御するように構成されてよい。電源３４３４は、ＷＴＲＵ３４０２に電力を供給するための任意の適切なデバイスであってよい。例えば、電源３４３４は、１または複数の乾電池バッテリ（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル金属水素化物（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、燃料電池などを含み得る。

プロセッサ３４１８はまた、ＧＰＳチップセット３４３６に結合されてよく、ＧＰＳチップセット３４３６は、ＷＴＲＵ３４０２の現在位置に関する位置情報（例えば経度と緯度）を提供するように構成されてよい。ＧＰＳチップセット３４３６からの情報に加えて、またはそれに代えて、ＷＴＲＵ３４０２は、基地局（例えば基地局１１４ａ、１１４ｂ）からエアインタフェース３４１６を介して位置情報を受信することができ、かつ／または、２つ以上の近隣基地局から受信されている信号のタイミングに基づいてその位置を決定することができる。ＷＴＲＵ３４０２は実施形態との整合性を維持しながら任意の適切な位置決定方法によって位置情報を取得できることを理解されたい。

プロセッサ３４１８はさらに、他の周辺装置３４３８に結合されてよく、周辺装置３４３８は、追加の特徴、機能、および／または有線もしくはワイヤレス接続性を提供する、１または複数のソフトウェアおよび／またはハードウェアモジュールを含み得る。例えば、周辺装置３４３８は、加速度計、電子コンパス、衛星送受信機、ディジタルカメラ（写真またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビジョン送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、ディジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含み得る。

図３４Ｃは、ＲＡＮ３４０４ａとコアネットワーク３４０６ａとを含む通信システム３４００の実施形態のシステム図であり、ＲＡＮ３４０４ａおよびコアネットワーク３４０６ａは、ＲＡＮ３４０４およびコアネットワーク３４０６の例示的な実装形態をそれぞれ構成する。上記のように、ＲＡＮ３４０４、例えばＲＡＮ３４０４ａは、ＵＴＲＡ無線技術を採用して、エアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信することができる。ＲＡＮ３４０４ａはまた、コアネットワーク３４０６ａとも通信してよい。図３４Ｃに示されるように、ＲＡＮ３４０４ａは、Ｎｏｄｅ−Ｂ３４４０ａ、３４４０ｂ、３４４０ｃを含んでよく、これらのＮｏｄｅ−Ｂはそれぞれ、エアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信するために、１または複数の送受信機を備えてよい。Ｎｏｄｅ−Ｂ３４４０ａ、３４４０ｂ、３４４０ｃはそれぞれ、ＲＡＮ３４０４ａ内の特定のセル（図示せず）に関連付けられてもよい。ＲＡＮ３４０４ａはまた、ＲＮＣ３４４２ａ、３４４２ｂを含んでよい。ＲＡＮ３４０４ａは実施形態との整合性を維持しながら任意の数のＮｏｄｅ−ＢおよびＲＮＣを含んでよいことを理解されたい。

図３４Ｃに示されるように、Ｎｏｄｅ−Ｂ３４４０ａ、３４４０ｂは、ＲＮＣ３４４２ａと通信してよい。加えて、Ｎｏｄｅ−Ｂ３４４０ｃは、ＲＮＣ３４４２ｂと通信してよい。Ｎｏｄｅ−Ｂ３４４０ａ、３４４０ｂ、３４４０ｃは、Ｉｕｂインタフェースを介してそれぞれのＲＮＣ３４４２ａ、３４４２ｂと通信することができる。ＲＮＣ３４４２ａ、３４４２ｂは、Ｉｕｒインタフェースを介して相互と通信してよい。各ＲＮＣ３４４２ａ、３４４２ｂは、それが接続されたそれぞれのＮｏｄｅ−Ｂ３４４０ａ、３４４０ｂ、３４４０ｃを制御するように構成されてよい。加えて、各ＲＮＣ３４４２ａ、３４４２ｂは、アウターループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化など、他の機能を実施またはサポートするように構成されてよい。

図３４Ｃに示されるコアネットワーク３４０６ａは、媒体ゲートウェイ（ＭＧＷ）３４４４、モバイル交換センタ（ＭＳＣ）３４４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）３４４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）３４５０を含んでよい。前述の要素の各々はコアネットワーク３４０６ａの一部として描かれているが、これらの要素の任意の１つがコアネットワークオペレータ以外のエンティティによって所有および／または運営されてもよいことを理解されたい。

ＲＡＮ３４０４ａ中のＲＮＣ３４４２ａは、ＩｕＣＳインタフェースを介して、コアネットワーク３４０６ａ中のＭＳＣ３４４６に接続されてよい。ＭＳＣ３４４６は、ＭＧＷ３４４４に接続されてよい。ＭＳＣ３４４６およびＭＧＷ３４４４は、ＰＳＴＮ３４０８などの回路交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。

ＲＡＮ３４０４ａ中のＲＮＣ３４４２ａはまた、ＩｕＰＳインタフェースを介して、コアネットワーク３４０６ａ中のＳＧＳＮ３４４８に接続されてよい。ＳＧＳＮ３４４８は、ＧＧＳＮ３４５０に接続されてよい。ＳＧＳＮ３４４８およびＧＧＳＮ３４５０は、インターネット３４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。

上記のように、コアネットワーク３４０６ａはネットワーク３４１２にも接続されてよく、ネットワーク３４１２は、他のサービスプロバイダによって所有および／または運営される他の有線またはワイヤレスネットワークを含み得る。

図３４Ｄは、ＲＡＮ３４０４ｂとコアネットワーク３４０６ｂとを含む通信システム３４００の実施形態のシステム図であり、ＲＡＮ３４０４ｂおよびコアネットワーク３４０６ｂは、ＲＡＮ３４０４およびコアネットワーク３４０６の例示的な実装形態をそれぞれ構成する。上記のように、ＲＡＮ３４０４、例えばＲＡＮ３４０４ｂは、Ｅ−ＵＴＲＡ無線技術を採用して、エアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信することができる。ＲＡＮ３４０４ｂはまた、コアネットワーク３４０６ｂとも通信してよい。

ＲＡＮ３４０４ｂは、ｅＮｏｄｅ−Ｂ３４４０ｄ、３４４０ｅ、３４４０ｆを含んでよいが、ＲＡＮ３４０４ｂは実施形態との整合性を維持しながら任意の数のｅＮｏｄｅ−Ｂを含んでよいことを理解されたい。ｅＮｏｄｅ−Ｂ３４４０ｄ、３４４０ｅ、３４４０ｆはそれぞれ、エアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信するために、１または複数の送受信機を備えてよい。一実施形態では、ｅＮｏｄｅ−Ｂ３４４０ｄ、３４４０ｅ、３４４０ｆは、ＭＩＭＯ技術を実装することができる。よって、例えばｅＮｏｄｅ−Ｂ３４４０ｄは、複数のアンテナを使用して、ＷＴＲＵ３４０２ａとの間でワイヤレス信号を送受信することができる。

各ｅＮｏｄｅ−Ｂ３４４０ｄ、３４４０ｅ、および３４４０ｆは、特定のセル（図示せず）に関連付けられてもよく、無線リソース管理決定、ハンドオーバ決定、アップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを扱うように構成されてよい。図３４Ｄに示されるように、ｅＮｏｄｅ−Ｂ３４４０ｄ、３４４０ｅ、３４４０ｆは、Ｘ２インタフェースを介して相互と通信することができる。

図３４Ｄに示されるコアネットワーク３４０６ｂは、モビリティ管理エンティティゲートウェイ（ＭＭＥ）３４４３、サービングゲートウェイ３４４５、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ３４４７を含んでよい。前述の各要素はコアネットワーク３４０６ｂの一部として描かれているが、これらの要素の任意の１つがコアネットワークオペレータ以外のエンティティによって所有および／または運営されてもよいことを理解されたい。

ＭＭＥ３４４３は、Ｓ１インタフェースを介してＲＡＮ３４０４ｂ中の各ｅＮｏｄｅ−Ｂ３４４０ｄ、３４４０ｅ、３４４０ｆに接続されてよく、制御ノードとしての働きをすることができる。例えば、ＭＭＥ３４４３は、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのユーザを認証すること、ベアラをアクティブ化／非アクティブ化すること、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃの最初の帰属中に特定のサービングゲートウェイを選択することなどを担うことができる。ＭＭＥ３４４３はまた、ＲＡＮ３４０４ｂと、ＧＳＭやＷＣＤＭＡなど他の無線技術を採用する他のＲＡＮ（図示せず）との間で切り替えるための制御プレーン機能を提供することができる。

サービングゲートウェイ３４４５は、Ｓ１インタフェースを介してＲＡＮ３４０４ｂ中の各ｅＮｏｄｅ Ｂ３４４０ｄ、３４４０ｅ、３４４０ｆに接続されてよい。サービングゲートウェイ３４４５は一般に、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとの間でユーザデータパケットをルーティングおよび転送することができる。サービングゲートウェイ３４４５はまた、ｅＮｏｄｅ Ｂ間ハンドオーバ中にユーザプレーンをアンカリングすること、ダウンリンクデータがＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに利用可能なときにページングをトリガすること、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのコンテキストを管理および記憶することなど、他の機能を実施することもできる。

サービングゲートウェイ３４４５はまた、ＰＤＮゲートウェイ３４４７にも接続されてよく、ＰＤＮゲートウェイ３４４７は、インターネット３４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。

コアネットワーク３４０６ｂは、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク３４０６ｂは、ＰＳＴＮ３４０８などの回路交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク３４０６ｂは、コアネットワーク３４０６ｂとＰＳＴＮ３４０８との間のインタフェースとしての働きをするＩＰゲートウェイ（例えばＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むか、またはそのようなＩＰゲートウェイと通信することができる。加えて、コアネットワーク３４０６ｂは、他のサービスプロバイダによって所有および／または運営される他の有線またはワイヤレスネットワークを含み得るネットワーク３４１２へのアクセスを、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供することができる。

図３４Ｅは、ＲＡＮ３４０４ｃとコアネットワーク３４０６ｃとを含む通信システム３４００の実施形態のシステム図であり、ＲＡＮ３４０４ｃおよびコアネットワーク３４０６ｃは、ＲＡＮ３４０４およびコアネットワーク３４０６の例示的な実装形態をそれぞれ構成する。ＲＡＮ３４０４、例えばＲＡＮ３４０４ｃは、ＩＥＥＥ８０２．１６無線技術を採用してエアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、および３４０２ｃと通信するアクセスサービスネットワーク（ＡＳＮ）であってよい。本明細書に記載のように、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、ＲＡＮ３４０４ｃ、およびコアネットワーク３４０６ｃの種々の機能エンティティ間の通信リンクは、参照ポイントとして定義されてよい。

図３４Ｅに示されるように、ＲＡＮ３４０４ｃは、基地局３４０２ａ、３４０２ｂ、３４０２ｃ、およびＡＳＮゲートウェイ３４４１を含んでよいが、ＲＡＮ３４０４ｃは実施形態との整合性を維持しながら任意の数の基地局およびＡＳＮゲートウェイを含んでよいことを理解されたい。基地局３４０２ａ、３４０２ｂ、３４０２ｃはそれぞれ、ＲＡＮ３４０４ｃ中の特定のセル（図示せず）に関連付けられてもよく、それぞれ、エアインタフェース３４１６を介してＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと通信するために１または複数の送受信機を備えてよい。一実施形態では、基地局３４４０ｇ、３４４０ｈ、３４４０ｉは、ＭＩＭＯ技術を実装することができる。よって、例えば基地局３４４０ｇは、複数のアンテナを使用して、ＷＴＲＵ３４０２ａとの間でワイヤレス信号を送受信することができる。基地局３４４０ｇ、３４４０ｈ、３４４０ｉはまた、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質（ＱｏＳ）ポリシ施行など、モビリティ管理機能を提供することができる。ＡＳＮゲートウェイ３４４１は、トラフィック集約ポイントとしての働きをすることができ、ページング、加入者プロファイルのキャッシング、コアネットワーク３４０６ｃへのルーティングなどを担うことができる。

ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃ、とＲＡＮ３４０４ｃとの間のエアインタフェース３４１６は、ＩＥＥＥ８０２．１６仕様を実装するＲ１参照ポイントとして定義されてよい。加えて、各ＷＴＲＵ３４０２ａ、３４０２ｂ、および３４０２ｃは、コアネットワーク３４０６ｃとの論理インタフェース（図示せず）を確立することができる。ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとコアネットワーク３４０６ｃとの間の論理インタフェースは、Ｒ２参照ポイントとして定義されてよく、Ｒ２参照ポイントは、認証、許可、ＩＰホスト構成管理、および／またはモビリティ管理のために使用されることがある。

各基地局３４４０ｇ、３４４０ｈ、３４４０ｉ間の通信リンクは、Ｒ８参照ポイントとして定義されてよく、Ｒ８参照ポイントは、ＷＴＲＵハンドオーバおよび基地局間のデータ転送を容易にするためのプロトコルを含む。基地局３４４０ｇ、３４４０ｈ、３４４０ｉとＡＳＮゲートウェイ３４４１との間の通信リンクは、Ｒ６参照ポイントとして定義されてよい。Ｒ６参照ポイントは、各ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに関連付けられたモビリティイベントに基づくモビリティ管理を容易にするためのプロトコルを含むことができる。

図３４Ｅに示されるように、ＲＡＮ３４０４ｃは、コアネットワーク３４０６ｃに接続されてよい。ＲＡＮ３４０４ｃとコアネットワーク３４０６ｃとの間の通信リンクは、Ｒ３参照ポイントとして定義されてよく、Ｒ３参照ポイントは、例えば、データ転送およびモビリティ管理能力を容易にするためのプロトコルを含む。コアネットワーク３４０６ｃは、モバイルＩＰホームエージェント（ＭＩＰ−ＨＡ）３４４４、認証許可アカウンティング（ＡＡＡ）サーバ３４５６、およびゲートウェイ３４５８を備えてよい。前述の各要素はコアネットワーク３４０６ｃの一部として描かれているが、これらの要素の任意の１つがコアネットワークオペレータ以外のエンティティによって所有および／または運営されてもよいことを理解されたい。

ＭＩＰ−ＨＡは、ＩＰアドレス管理を担うことができ、ＷＴＲＵ３４０２ａ、３４０２ｂ、および３４０２ｃが種々のＡＳＮおよび／または種々のコアネットワーク間でローミングするのを可能にすることができる。ＭＩＰ−ＨＡ１３５４は、インターネット３４１０などのパケット交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃとＩＰ対応デバイスとの間の通信を容易にすることができる。ＡＡＡサーバ３４５６は、ユーザ認証、およびユーザサービスのサポートを担うことができる。ゲートウェイ３４５８は、他のネットワークとのインターワーキングを容易にすることができる。例えば、ゲートウェイ３４５８は、ＰＳＴＮ３４０８などの回路交換ネットワークへのアクセスをＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供して、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃと従来の陸線通信デバイスとの間の通信を容易にすることができる。加えて、ゲートウェイ３４５８は、他のサービスプロバイダによって所有および／または運営される他の有線またはワイヤレスネットワークを含み得るネットワーク３４１２へのアクセスを、ＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃに提供することができる。

図３４Ｅには示されていないが、ＲＡＮ３４０４ｃは他のＡＳＮに接続されてもよく、コアネットワーク３４０６ｃは他のコアネットワークに接続されてもよいことを理解されたい。ＲＡＮ３４０４ｃと他のＡＳＮとの間の通信リンクは、Ｒ４参照ポイントとして定義されてよく、Ｒ４参照ポイントは、ＲＡＮ３４０４ｃと他のＡＳＮとの間におけるＷＴＲＵ３４０２ａ、３４０２ｂ、３４０２ｃのモビリティの協調をとるためのプロトコルを含むことができる。コアネットワーク３４０６ｃと他のコアネットワークとの間の通信リンクは、Ｒ５参照ポイントとして定義されてよく、Ｒ５参照ポイントは、ホームコアネットワークと訪問先コアネットワークとの間のインターワーキングを容易にするためのプロトコルを含むことができる。

本明細書に記載のプロセスおよび手段は、任意の組合せで適用されてよく、他のワイヤレス技術に適用されてもよく、他のサービス（例えば近接サービスに限定されない）のために適用されてもよい。

ＷＴＲＵは、物理デバイスの識別、またはユーザの識別（加入関係の識別など、例えばＭＳＩＳＤＮ、ＳＩＰ ＵＲＩ等）を指す場合がある。ＷＴＲＵは、アプリケーションベースの識別、例えばアプリケーションごとに使用され得るユーザ名を指す場合がある。

以上では特徴および要素が特定の組合せで記述されているが、各特徴または要素は、単独で、または他の特徴および要素との任意の組合せで使用されてよいことを、当業者なら理解するであろう。加えて、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行されるようにコンピュータ可読媒体に組み入れられたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実現されてよい。コンピュータ可読媒体の例は、電子信号（有線またはワイヤレス接続を介して伝送される）、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクや取外し可能ディスクなどの磁気媒体、光磁気媒体、および、ＣＤ−ＲＯＭディスクやディジタル多用途ディスク（ＤＶＤ）などの光学媒体を含むが、これらに限定されない。プロセッサがソフトウェアと共に使用されて、ＷＴＲＵ、ＷＴＲＵ、端末、基地局、ＲＮＣ、または任意のホストコンピュータ中で使用される無線周波数送受信機が実現されてよい。

Claims (30)

1. ビデオソースから複数のビデオフレームを受け取ることであって、各フレームは複数の画素を有し、前記画素の各々はそれぞれの値を有する、ことと、
   各画素の周りのそれぞれの局所的領域内の画素の前記それぞれの値と、表示装置における視聴条件、前記表示装置の表示特性、およびユーザ特性、からなるグループから選択された少なくとも１つの知覚特性と、に少なくとも部分的に基づいて、各画素についてそれぞれの局所的コントラスト感度を決定することと、
   各画素の前記それぞれの局所的コントラスト感度に少なくとも部分的に基づいて、各画素についてそれぞれのフィルタ帯域幅を選択することと、
   各画素の前記それぞれの選択されたフィルタ帯域幅に従って各画素をフィルタリングすることによって、フィルタリング済みビデオフレームを生成することと、
   前記フィルタリング済みビデオフレームをビデオエンコーダに提供することと
   を含むことを特徴とする方法。
2. それぞれの画素の前記それぞれの局所的コントラスト感度を決定することは、アンビエントコントラスト比に基づいて前記画素の前記値を調整することと、前記それぞれの調整済みの値に基づいて前記それぞれの局所的コントラスト感度を決定することとを含むことを特徴とする請求項１に記載の方法。
3. 前記知覚特性は、受信デバイスにおけるアンビエント照度、前記受信デバイスの反射率、前記受信デバイスのピーク輝度、および前記受信デバイスのネイティブコントラスト比、のうちの少なくとも１つを含み、前記アンビエントコントラスト比に基づいて前記それぞれの画素値を調整することは、前記知覚特性に基づいて前記値を調整することを含むことを特徴とする請求項２に記載の方法。
4. 前記知覚特性は、前記表示装置の画素密度、および表示装置ユーザと前記表示装置との間の視聴距離、のうちの少なくとも一方を含み、前記それぞれの局所的コントラスト感度を決定することは、前記画素密度および前記視聴距離に少なくとも基づいて、前記それぞれの局所的領域に含めるための画素を選択することを含むことを特徴とする請求項１に記載の方法。
5. 前記それぞれの局所的領域に含めるための前記画素を選択することは、ガウシアンフィルタの標準偏差値に基づいて前記画素を選択することを含むことを特徴とする請求項４に記載の方法。
6. 前記標準偏差値に基づいて前記画素を選択することは、画素に対する周期の比率を選択することと、前記選択された比率に基づいて前記標準偏差値を決定することとを含むことを特徴とする請求項５に記載の方法。
7. 画素に対する周期の前記比率を選択することは、
   視野の度に対する周期の比率を選択することと、前記画素密度および前記視聴距離に基づいて度に対する画素の比率を決定することと、度に対する周期の前記選択された比率と、度に対する画素の前記決定された比率とに少なくとも基づいて、画素に対する周期の比率を決定することとを含むことを特徴とする請求項６に記載の方法。
8. それぞれの画素について前記それぞれの局所的コントラスト感度を決定することは、
   前記それぞれの局所的領域内の前記画素の前記値に少なくとも部分的に基づいてそれぞれの局所平均を決定することと、
   前記それぞれの局所平均と、前記それぞれの局所的領域内の前記画素の前記値とに少なくとも部分的に基づいて、それぞれの局所ピーク振幅を決定することと、
   前記それぞれの局所ピーク振幅に対する前記それぞれの局所平均のそれぞれの比率を、前記それぞれの局所的コントラスト感度として決定することと
   を含むことを特徴とする請求項１に記載の方法。
9. 前記それぞれの局所ピーク振幅を決定することは、
   前記複数の画素の各々についてそれぞれの絶対差分を決定することであって、前記それぞれの絶対差分は前記それぞれの局所平均と前記それぞれの画素値との間のそれぞれの絶対差分を含む、ことと、
   前記それぞれの局所的領域内の前記それぞれの絶対差分のうちの最大絶対差分を、前記それぞれの局所ピーク振幅として選択することと
   を含むことを特徴とする請求項８に記載の方法。
10. 前記それぞれの局所ピーク振幅の各々にガウシアンフィルタを適用することをさらに含み、前記最大絶対差分を前記それぞれの局所ピーク振幅として選択することは、最大フィルタリング済み絶対差分を前記それぞれの局所ピーク振幅として選択することを含むことを特徴とする請求項９に記載の方法。
11. 前記それぞれの局所的コントラスト感度に少なくとも部分的に基づいてそれぞれの画素についてそれぞれのフィルタ帯域幅を選択することは、逆コントラスト感度関数を使用して得られた帯域幅に少なくとも部分的に基づいて前記それぞれのフィルタ帯域幅を選択することを含むことを特徴とする請求項１に記載の方法。
12. 前記逆コントラスト感度関数は、モブションおよびキォープスコントラスト感度モデルとバルテンコントラスト感度モデルとのうちの少なくとも一方の逆関数に少なくとも部分的に基づくことを特徴とする請求項１１に記載の方法。
13. それぞれの画素についてそれぞれのフィルタ帯域幅を選択することは、少なくとも１つの知覚ファクタに少なくとも部分的に基づいてスケーリングファクタを選択することと、前記スケーリングファクタを使用して前記それぞれの局所的コントラスト感度を調整することと、前記それぞれの調整済み局所的コントラスト感度に少なくとも部分的に基づいて前記それぞれのフィルタ帯域幅を選択することとを含むことを特徴とする請求項１に記載の方法。
14. 前記少なくとも１つの知覚ファクタは、前記表示装置におけるアンビエント照度、前記表示装置のピーク輝度、表示装置ユーザと前記表示装置との間の視聴距離、および前記表示装置の画素密度、のうちの少なくとも１つを含むことを特徴とする請求項１３に記載の方法。
15. 前記少なくとも１つの知覚ファクタは表示装置ユーザの年齢を含むことを特徴とする請求項１３に記載の方法。
16. フィルタリング済みビデオフレームを生成することは、３つの２次元分離可能フィルタのセットを使用して各画素をフィルタリングすることを含み、前記セット中の各２次元分離可能フィルタはそれぞれの水平カットオフ周波数およびそれぞれの垂直カットオフ周波数を有し、第１の２次元分離可能フィルタの前記水平カットオフ周波数は、第３の２次元分離可能フィルタの前記水平カットオフ周波数に等しく、第２の２次元分離可能フィルタの前記垂直カットオフ周波数は、前記第３の２次元分離可能フィルタの前記垂直カットオフ周波数に等しく、２次元分離可能フィルタの前記セットを使用して各画素をフィルタリングすることは、前記第１の２次元分離可能フィルタおよび前記第２の２次元分離可能フィルタのそれぞれのフィルタリング結果の和を得ることと、前記和と、前記第３の２次元分離可能フィルタの前記それぞれのフィルタリング結果との間の差を得ることとを含むことを特徴とする請求項１に記載の方法。
17. 前記２次元分離可能フィルタの各々は、それぞれの１次元水平フィルタおよびそれぞれの１次元垂直フィルタを備え、前記それぞれの１次元水平フィルタのカットオフ周波数は、前記それぞれの２次元フィルタの前記それぞれの水平カットオフ周波数に等しく、前記それぞれの１次元垂直フィルタのカットオフ周波数は、前記それぞれの２次元フィルタの前記それぞれの垂直カットオフ周波数に等しいことを特徴とする請求項１６に記載の方法。
18. 前記それぞれの１次元水平フィルタおよび前記それぞれの１次元垂直フィルタはランチョスフィルタを含むことを特徴とする請求項１７に記載の方法。
19. ビデオフィルタリング装置であって、
    複数のビデオフレームを記憶するように構成された記憶要素であって、各フレームは複数の画素を有し、前記画素の各々はそれぞれの値を有し、ビデオエンコーダに利用可能な１または複数のフィルタリング済みビデオフレームを作成するように構成された記憶要素と、
    表示装置における視聴条件、前記表示装置の表示特性、およびユーザ特性、からなるグループから選択された少なくとも１つの知覚特性を受け取るように構成された受信機と、
    各画素の周りのそれぞれの局所的領域内の画素の前記それぞれの値と、前記少なくとも１つの知覚特性とに少なくとも部分的に基づいて、各画素についてそれぞれの局所的コントラスト感度を決定するように構成されたコントラスト感度決定モジュールと、
    （ｉ）各画素の前記それぞれの局所的コントラスト感度に少なくとも部分的に基づいて各画素についてそれぞれのフィルタ帯域幅を決定し、（ｉｉ）前記それぞれのフィルタ帯域幅に少なくとも部分的に基づいて各画素についての対応するフィルタを選択するように構成されたコントラスト感度フィルタ選択モジュールと、
    各画素についての前記それぞれの選択されたフィルタに従って各画素をフィルタリングすることによって、フィルタリング済みビデオフレームを生成するように構成されたビデオフィルタモジュールと
    を備えることを特徴とする装置。
20. 知覚特性の前記グループから選択された少なくとも１つの知覚特性に関連付けられた知覚情報を受け取り、
    前記知覚情報に少なくとも部分的に基づいて知覚特性を得る
    ように構成された知覚相関モジュールをさらに備えることを特徴とする請求項１９に記載の装置。
21. 前記知覚情報は、前記表示装置のシリアル識別子、前記表示装置のモデル識別子、前記表示装置の地理的位置、前記表示装置における時刻、および前記表示装置のユーザのユーザ名、からなるグループから選択されることを特徴とする請求項２０に記載の方法。
22. 前記受け取られたビデオフレームの色空間を元の色空間から線形ＲＧＢ色空間に変換し、
    前記フィルタリング済みビデオフレームの色空間を前記線形ＲＧＢ色空間から前記元の色空間に変換する
    ように構成された色空間変換モジュールをさらに備えることを特徴とする請求項１９に記載の装置。
23. 前記コントラスト感度決定モジュールが各画素について前記それぞれの局所的コントラスト感度を決定する前に、各画素の黒レベルを調整するように構成された黒レベル調整モジュールをさらに備え、前記調整は前記表示装置におけるアンビエントコントラスト比に少なくとも部分的に基づくことを特徴とする請求項１９に記載の装置。
24. 前記少なくとも１つの知覚特性は、前記表示装置におけるアンビエント照度、前記表示装置の最大輝度、前記表示装置の反射率、および前記表示装置のネイティブコントラスト比、を含む知覚特性のセットを含み、前記黒レベル調整モジュールは、知覚特性の前記セットに少なくとも部分的に基づいて前記アンビエントコントラスト比を決定するように構成されたアンビエントコントラスト比決定モジュールを備えることを特徴とする請求項２２に記載の装置。
25. それぞれの画素の周りの前記それぞれの局所的領域は、それぞれの局所平均領域およびそれぞれの局所極大領域を含み、
    前記コントラスト感度決定モジュールは、
    前記それぞれの局所平均領域内の前記値のそれぞれの局所平均を決定するように構成された局所平均推定モジュールと、
    前記それぞれの局所極大領域内の画素のそれぞれの絶対差分値のそれぞれの局所極大を決定するように構成された局所極大推定モジュールと、
    前記それぞれの局所極大に対する前記それぞれの局所平均のそれぞれの比率を決定するように構成されたコントラスト感度比率モジュールと
    を備え、
    前記コントラスト感度決定モジュールは、前記決定されたそれぞれの比率を前記それぞれの局所的コントラスト感度として選択するように構成されたことを特徴とする請求項１９に記載の装置。
26. 前記コントラスト感度決定モジュールは局所平均領域選択モジュールをさらに備え、前記局所平均領域選択モジュールは、
    視野の１度当たりの空間的振動数を有する局所的カットオフ周波数を選択し、
    前記局所的カットオフ周波数を、前記視野の１度当たりの画素数を有する変換済み局所的カットオフ周波数に変換し、
    前記変換済み局所的カットオフ周波数に少なくとも部分的に基づいて、前記それぞれの画素の周りの前記それぞれの局所平均領域に含めるための画素を選択する
    ように構成されたことを特徴とする請求項２５に記載の装置。
27. 前記少なくとも１つの知覚特性は、前記表示装置の画素密度と、前記表示装置から前記表示装置のユーザまでの視聴距離とを含む知覚特性のセットを含み、前記局所平均領域選択モジュールは、知覚特性の前記セットに少なくとも部分的に基づいて、前記局所的カットオフ周波数を前記変換済み局所的カットオフ周波数に変換することを特徴とする請求項２６に記載の装置。
28. 前記コントラスト感度決定モジュールは、前記少なくとも１つの知覚特性に少なくとも部分的に基づいて決定されたスケーリングファクタに少なくとも部分的に基づいて前記それぞれの局所的コントラスト感度を調整するように構成されたコントラスト感度スケーリングモジュールをさらに備えることを特徴とする請求項１９に記載の装置。
29. 前記少なくとも１つの知覚特性は、前記表示装置におけるアンビエント照度、前記表示装置の最大輝度、前記表示装置の反射率、および前記表示装置のネイティブコントラスト比、を含む知覚特性のセットを含み、
    前記コントラスト感度スケーリングモジュールは、知覚特性の前記セットに少なくとも部分的に基づいて前記スケーリングファクタを決定するように構成されたサラウンド輝度スケーリングファクタ決定モジュールを備えることを特徴とする請求項２８に記載の装置。
30. 前記少なくとも１つの知覚特性は前記表示装置のユーザの表示装置ユーザ年齢を含み、
    前記コントラスト感度スケーリングモジュールは、前記表示装置ユーザ年齢に少なくとも部分的に基づいて前記スケーリングファクタを決定するように構成された年齢スケーリングファクタ決定モジュールを備えることを特徴とする請求項２８に記載の装置。