JP2013251765A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】 映像処理においてより適正な輪郭強調をすることができる技術を提供する。
【解決手段】 映像フレームに含まれる複数の画素を複数のブロックに分割し、前記複数のブロックそれぞれに含まれる複数の画素の輝度値を用いて、前記複数のブロックに対応する複数のブロック特徴量を算出する映像解析部と、前記複数のブロック特徴量を用いて、輪郭強調制御のための補正信号を生成する輪郭強調制御部と、前記生成された補正信号を用いて、前記映像フレームに含まれる複数の画素の輝度値を補正することによって、補正された映像フレームを生成する映像補正部とを備える映像処理装置。
【選択図】 図２

Description

本発明の実施形態は、映像処理装置及び映像処理方法に関する。

映像処理において輪郭強調の補正度合いを制御することが行われてきている。

例えば特許文献１では、輝度値に応じて、輪郭強調の補正度合いを制御しており、輝度値が低いほどノイズが強調されやすいため、補正強度を小さくしている旨が記載されている。

また特許文献２では、動き量に代表される符号化情報に基づいて、画質補正量を制御する手法なるものが記載されている。

しかしながらこれら従来法の多くは、輝度値の分散や輝度値の明るさに応じて補正量を制御していたが、符号化効率が低い場合、ノイズを誤強調してしまうケースが多く見受けられた。

また、特許文献２では、動き量の大きさに関する記述があるが、あくまでもブロック単位で判断しており、フレーム全体の動きや隣接ブロックとの相関を考慮してはいない。輪郭強調にて誤強調されやすいリンギングノイズ等単一ブロックの動きの大小でなく、隣接ブロックとの動きの連続性を考慮すべきである。

即ち、映像処理においてより適正な輪郭強調をすることができる技術への要望があるが、かかる要望を実現するための手段は知られていない。

特開４７１４０９６号公報 特開４７４７９１７号公報

本発明の実施の形態は、映像処理においてより適正な輪郭強調をすることができる技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば映像処理装置は、映像フレームに含まれる複数の画素を複数のブロックに分割し、前記複数のブロックそれぞれに含まれる複数の画素の輝度値を用いて、前記複数のブロックに対応する複数のブロック特徴量を算出する映像解析部と、前記複数のブロック特徴量を用いて、輪郭強調制御のための補正信号を生成する輪郭強調制御部と、前記生成された補正信号を用いて、前記映像フレームに含まれる複数の画素の輝度値を補正することによって、補正された映像フレームを生成する映像補正部とを備える。

この発明の一実施形態を示す基本ブロック構成図。 同実施形態の装置（システム）を示す機能ブロック構成図。 同実施形態の動き解析部の処理構成を説明するために示す図。 同実施形態のテクスチャ解析部の処理構成の例を示す説明図。 同実施形態に用いられる平均輝度と分散を示す特性図。 実施形態に係わる電子機器の外観を示す斜視図。 同実施形態の電子機器の構成を示すブロック図。 同実施形態に用いられる要部の動作の一例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。先に図６は、一実施形態に係わる電子機器の外観を示す斜視図である。

この電子機器は、例えばタブレットタイプのパーソナルコンピュータ（ＰＣ）１０として実現される。また、この電子機器は、スマートフォン、ＰＤＡ、ノートブックタイプのＰＣ、テレビジョン受信機等としても実現され得る。図６に示すように、本コンピュータ１０は、コンピュータ本体１１とタッチスクリーンディスプレイ１７とから構成される。

コンピュータ本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、ＬＣＤ（liquid crystal display）１７Ａ及びタッチパネル１７Ｂが組み込まれている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、コンピュータ本体１１の上面に重ね合わせるように取り付けられている。

コンピュータ本体１１の上側面には、本コンピュータ１０を電源オン／電源オフするためのパワーボタン、音量調節ボタン、メモリカードスロット等が配置されている。コンピュータ本体１１の下側面には、スピーカ等が配置されている。コンピュータ本体の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１３、ＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子１等が設けられている。この外部ディスプレイ接続端子１は、デジタル映像信号を外部ディスプレイに出力するために用いられる。

次に図７は、本コンピュータ１０のシステム構成を示す図である。

本コンピュータ１０は、図７に示されるように、ＣＰＵ１０１、主メモリ１０３、Ｉ／Ｏコントローラ１０４、グラフィクスコントローラ１０５、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ソリッドステートドライブ（ＳＳＤ）１０９、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ（ＥＣ）１１３、ＥＥＰＲＯＭ１１４、ＨＤＭＩ制御回路２等を備える。

ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＳＳＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び映像処理プログラム２０２のような各種アプリケーションプログラム等を実行する。映像処理プログラム２０２は、例えばＳＳＤ１０９等に格納された各種デジタルコンテンツデータ（例えば、映像データ）を再生するソフトウェアである。映像処理プログラム２０２は、再生される映像の画質（例えば、コントラスト）を補正する画質補正機能を有する。映像処理プログラム２０２は、例えば、映像データを再生し、画質が補正された映像を画面（ＬＣＤ１７）に表示する。

映像処理プログラム２０２は、例えばユーザによる操作に応じて、指定された動画像データを再生する。動画像データは、例えばＳＳＤ１０９のような記憶装置に格納されたデータである。動画像データは、ネットワークを介して受信されたデータであってもよい。また、動画像データは、ＵＳＢフラッシュメモリやＳＤカードのような外部記憶メディアに格納されたデータであってもよい。映像処理プログラム２０２は、符号化（圧縮符号化）された動画像データを復号することによって動画像データを再生する。

映像処理プログラム２０２は、さらに、上述のように、再生される映像の画質を補正する機能を有する。より具体的には、映像処理プログラム２０２は、処理対象のフレームの特徴を考慮した大域的な動きに関する動き解析と、処理対象のフレームに含まれる複数のブロックそれぞれの特徴を考慮した局所的な動きに関する動き解析との処理構成を備えている。

タブレットタイプのコンピュータ１０では、一般に、通常のノートブックタイプやデスクトップタイプのコンピュータよりも、ユーザとディスプレイ１７との間の距離（視聴距離）が短く、またユーザがディスプレイ１７を見る角度が変動しやすい。さらに、タブレットタイプのコンピュータ１０では、ディスプレイ１７に用いられる液晶の応答速度が遅いことがある。そのため、フリッカのようなノイズが、ユーザによる動画像の観賞等に影響を与えやすい。映像処理プログラム２０２は、タブレットタイプのコンピュータ１０のようにフリッカ等のノイズの影響を受けやすい構成においても、ユーザが快適に観賞できる動画像を表示する。

また、映像処理プログラム２０２では、複数のフレームを用いた演算や、フレーム内の多数の画素を用いた演算を要するため、演算量が大きくなる可能性がある。このような演算は、例えば、１画素毎の演算ではなく、複数の画素（例えば、８画素）の演算を同時に実行できるような並列演算のための命令（コマンド）を用いることによって実現される。そのため、コンピュータ１０には、並列演算のためのコマンド群が格納されていてもよい。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。ＣＰＵ１０１には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ＣＰＵ１０１は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０５との通信を実行する機能も有している。

グラフィクスコントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０５によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて映像を表示する。

ＨＤＭＩ端子１は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子１は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置に送出することができる。ＨＤＭＩ制御回路２は、ＨＤＭＩモニタと称される外部ディスプレイ装置にデジタル映像信号をＨＤＭＩ端子１を介して送出するためのインタフェースである。

Ｉ／Ｏコントローラ１０４は、ＣＰＵ１０１に接続され、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、Ｉ／Ｏコントローラ１０４は、ＳＳＤ１０９を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。

Ｉ／Ｏコントローラ１０４は、タッチパネル１７Ｂを制御するためのＵＳＢコントローラを内蔵している。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル１７Ｂを用いて、ＬＣＤ１７Ａの画面に表示されたグラフィカルユーザインタフェース（ＧＵＩ）等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。また、このＵＳＢコントローラは、例えば、ＵＳＢコネクタ１３に接続されたＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。

さらに、Ｉ／Ｏコントローラ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスである。無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ ８０２．１１ｇ規格の無線通信を実行する無線通信デバイスである。Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール１１０は、外部機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を実行する通信モジュールである。

ＥＣ１１３は、電力管理のためのエンベデッドコントローラを含む１チップマイクロコンピュータである。ＥＣ１１３は、ユーザによるパワーボタンの操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

さて図１に輪郭強調の基本構成を示す。以下の図では映像処理プログラム２０２に基本的に拠る。動的な輪郭強調を行う場合、入力された画像信号は、一旦映像解析部１１で必要な特徴量算出を行う。輪郭強調制御部１２は、左記特徴量に基いて入力された画像信号の映像補正部１３における、輪郭強調を制御するよう構成されている。

本実施形態の映像解析部１１は、図２のように動き解析部２１、テクスチャ解析部２２、平均輝度算出部２３、分散算出部２４からなる４機能ブロックで構成されており、これらの機能ブロックが算出した特徴量に応じて輪郭強調の補正強度やフィルタ形状を制御する。なお破線で示した係数部２５はこれらの機能ブロックの出力に線形または非線形な正規化をしてその結果の値を輪郭強調制御部１２へ出力するためのものである。この正規化としては例えば各々０から１０までの整数表現をする。

また外部情報EXは映像のビットレートや照度の情報を輪郭強調制御部１２に入力するためのものである。この入力を加味して上記結果の値を輪郭強調制御部１２は総合判定して制御信号を出力する。

図８はこれらの機能ブロックにおける映像処理プログラム２０２による処理のフローである。

ステップＳ８１： 動き解析部２１は、動きがあるほど大きな整数値を出力する。

ステップＳ８２： テクスチャ解析部２２は、細かな点があるほど大きな整数値を出力する。

ステップＳ８３： 平均輝度算出部２３は、輝度が高いほど大きな整数値を出力する。

ステップＳ８４： 分散算出部２４は、分散が大きいほど大きな整数値を出力する。

図３に動き解析部２１の処理構成を示す。まず画像信号の動き量を算出し、動きマップを作成する。動き量は、図３（ａ）のような大域的な動きと図３（ｂ）のような局所的な動きの２つに分類される。これら２つの性質を持つ動き量に応じて補正強度を決定する。具体的には、大域的な動きが大きい場合、補正強度が小さくなるように設定する。また局所的な動きに偏り(一貫性)がない場合、符号化効率が低くなっている可能性があるため、補正強度が小さくなるように設定する。また、動きが大きい場合は、動きにより輪郭に幅が生じ、ボケる可能性があるため、タップ数が大きく中域成分を強調できるフィルタを用いるように制御する。本制御は符号化の際の発生符号量と動き予測の推定精度を反映したものである。

即ち、補正強度＝デフォルト補正強度×(局所的な動きの偏り/255)という定式化をしている。また、一例として局所的な動きの偏りは動き量のヒストグラム値の50%を255として正規化して用いる。

図４にテクスチャ解析部２２の処理構成を示す。まず画像信号を任意のブロックに分割し、それらブロックのテクスチャ情報を抽出する。テクスチャは、平坦、水平エッジ、垂直エッジ、斜めエッジ、水平垂直エッジの５種類に分類する。抽出されたテクスチャが平坦な場合、補正強度を小さく設定し、インパルスノイズのような誤強調を抑制する。エッジ成分が検出された場合、下記順番で補正強度を設定する。また、テクスチャ情報は隣接ブロックとの連続性を考慮し、隣接Ｍブロックの補正強度を平均し、利用してもよい。

即ち補正強度として順に、平坦部：1 ＜ 斜めエッジ：2 ＜ 水平エッジ・垂直エッジ：３ ＜ 水平垂直エッジ：５という値を付与する。

図４では、ブロックのサイズは縦横３画素の計９画素である。テクスチャマップTでは縦２横４の計８の自由度があり、ブロックは４番目の位置にある。補正強度の係数alpha iのうちこの位置に対応するalpha4は図４（ｂ）のような計算で、値は3(=２７/９)となっている。

照度とビットレートを利用する場合は、図５に従い、輪郭補正強度を決定する。図５（ｂ）の横軸のビットレート／解像度は、画素単位のビットレートを表している。図５（ａ）のように一般的な執務室環境照では照度が４００ルクス以上ではより補正強度を上げている。照度が高いときはよりコントラストが求められていることに対応している。

また、図５（ｂ）のようにビットレート／解像度が１０００ｋｂｐｓ以上ではより補正強度を上げている。映像が綺麗（ノイズが少ない）であることが期待される場合はより強調されることが求められることに対応している。

一般的に照度によって知覚できる明るさのダイナミックレンジも変化する。特に暗い時は明るさの変動を感じやすいため補正強度を弱くするようにすることで画像がギラつかず見やすくする効果がある。逆に明るい時は、補正強度を強くすることでメリハリのある映像を得ることができる。また、外部からの情報に応じてフィルタ形状を制御することも可能である。フィルタ形状を制御する場合、照度値が大きくなるにつれ、フィルタ特性を中域側にシフトするよう制御することを特徴とする。

本実施形態では、フレーム全体の動き量や局所ブロックの動きのバタつきや、局所ブロックの動きヒストグラムを算出し、それら動き情報とエッジ特徴量を考慮することで補正量を制御する。また、対象領域のエッジ方向とエッジ特徴を解析することで、補正量だけでなくフィルタ特性を制御することで、より効果的な映像効果を得ることができる。

即ち画像品質とエッジ情報に応じた動的な輪郭強調により、映像内の構造物に合った補正が可能となり、従来に比べ、誤強調を抑制しつつ、クッキリした映像を視聴することができる。

例えばノイズ量とエッジ情報を考慮した輪郭強調手法により、ノイズが多い領域では補正量を小さくし、ノイズの誤強調を抑制し、ノイズが少ない領域では、補正量を大きくすることで、クッキリした輪郭を作り出すことができる。また様々な解析情報や環境情報に基づき、フィルタ特性を制御することで更に効果を大きくすることが可能となる。

本実施形態は、映像信号を解析して、映像品質に関わる特徴量を抽出する。抽出された特徴量に応じて、映像補正技術の一つである輪郭強調処理を制御する装置に関する発明である。

輪郭強調処理は、入力された映像信号に対して、任意のフィルタ(一般的にはハイパスフィルタ)を施すことでエッジ成分を抽出し、左記抽出されたエッジ成分を任意の補正係数にて強調し、入力された映像信号に戻すことにより、メリハリのある映像に変換する技術である。本技術をより効果的にする手法として、輝度信号に応じて輪郭強調の補正係数を制御する手法が提案されている。しかしながら、従来手法を映像品質にバラつきがあるネット動画などに適用した場合、輝度が高いほど補正強度を大きくするため、ノイズが目立ちやすくなるという課題もある。

そこで、本実施形態は局所（個別）領域のテクスチャ(絵柄)情報と動き量に応じて、輪郭強調を行うべきか否かを判定することでノイズの誤強調することなく、常に適切な輪郭強調が可能となる。更に動きが大きい場合には、フィルタ特性を高域から中域へシフトすることでリンギングなどのノイズを誤強調せずに輪郭強調することが可能となる。下記に実施形態の特徴を示す。

（実施形態の補足）
（１）．画像を任意の領域に分割し、画像特徴量を抽出する。

（２）．画像（ブロック）特徴量は、以下のようなものとする。

即ち、フレームの平均輝度、個別領域の平均輝度、個別領域の輝度の分散、個別領域の(最大輝度値‐最小輝度値)、照度、フレームの動き量、個別領域の動き量、ビットレート(またはノイズ量を映像から解析したもの)、個別領域のテクスチャ情報(平坦、エッジ(垂直、水平)、エッジ(斜め)、テクスチャ（絵柄）)、などである。

（３）．上記画像特徴量に応じて、輪郭強調のフィルタ数、フィルタ係数、補正強度、Coring閾値を制御する。Coring閾値は、強度が高いときにインパルス的な大きなノイズが見込まれるので強度をクランプするものである。また強度が低いときにリンギングノイズが見込まれるのでこれを抑制するものである。

（４）．動き量(フレーム、または個別領域)が大きい時、ノイズが発生している可能性があるため、フィルタ形状を中域強調に切り替える。

（５）．動きのヒストグラムにバラつきがあるとき、ノイズが発生している可能性があるため、フィルタ形状を中域強調に切り替える。

（６）．ビットレートが小さい時、ノイズが発生している可能性があるため、フィルタ形状を中域強調に切り替える。

（７）．項目（３）〜（６）を行う際にフレーム(または個別領域)の平均輝度に応じて、輝度が高いときによりエッジを強調する補正量を制御する。

（８）．項目（３）〜（６）を行う際に個別領域のテクスチャ情報に応じて、エッジを強調する補正量を制御する（図３など参照）。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１１…映像解析部、１２…輪郭強調制御部、１３…映像補正部、２１…動き解析部、２２…テクスチャ解析部、２３…平均輝度算出部、２４…分散算出部、2０２…映像処理プログラム。

特許第４７１４０９６号 特許第４７４７９１７号

Claims (6)

1. 映像フレームに含まれる複数の画素を複数のブロックに分割し、前記複数のブロックそれぞれに含まれる複数の画素の輝度値を用いて、前記複数のブロックに対応する複数のブロック特徴量を算出する映像解析部と、
   前記複数のブロック特徴量を用いて、輪郭強調制御のための補正信号を生成する輪郭強調制御部と、
   前記生成された補正信号を用いて、前記映像フレームに含まれる複数の画素の輝度値を補正することによって、補正された映像フレームを生成する映像補正部とを
   備える映像処理装置。
2. 更に動き解析部を備え、この動き解析部は、前記複数のブロック特徴量として動き解析結果を出力する請求項１に記載の映像処理装置。
3. 更にテクスチャ解析部を備え、このテクスチャ解析部は、前記複数のブロック特徴量としてテクスチャ解析結果を出力する請求項１に記載の映像処理装置。
4. 更に平均輝度算出部を備え、この平均輝度算出部は、前記複数のブロック特徴量として平均輝度算出結果を出力する請求項１に記載の映像処理装置。
5. 更に輝度の分散算出部を備え、この分散算出部は、前記複数のブロック特徴量として輝度の分散算出結果を出力する請求項１に記載の映像処理装置。
6. 映像フレームに含まれる複数の画素を複数のブロックに分割し、前記複数のブロックそれぞれに含まれる複数の画素の輝度値を用いて、前記複数のブロックに対応する複数のブロック特徴量を算出する映像解析工程と、
   前記複数のブロック特徴量を用いて、輪郭強調制御のための補正信号を生成する輪郭強調制御工程と、
   前記生成された補正信号を用いて、前記映像フレームに含まれる複数の画素の輝度値を補正することによって、補正された映像フレームを生成する映像補正工程とを含む映像処理方法。

Images