JP2011250038A - 符号化ブロックサイズ及び位置推定方法並びにプログラム - Google Patents

Abstract

【課題】符号化ブロックサイズ及び符号化ブロック位置を把握することを目的とする。
【解決手段】映像信号から、映像符号化の離散コサイン変換の処理単位である符号化ブロックの水平方向及び垂直方向のサイズを示す符号化ブロックサイズと、符号化ブロックの境界線の位置を示す符号化ブロック位置とを推定する装置における符号化ブロックサイズ及び位置推定方法は、エッジ抽出部が、前記映像信号からエッジ映像信号を抽出するステップと、符号化ブロックサイズ抽出部が、前記エッジ映像信号の周波数に対応する振幅値を示す周波数情報を抽出し、前記周波数情報に基づいて水平方向の符号化ブロックサイズと垂直方向の符号化ブロックサイズとを抽出するステップと、符号化ブロック位置抽出部が、前記水平方向の符号化ブロックサイズと前記垂直方向の符号化ブロックサイズと前記エッジ映像信号とに基づいて符号化ブロック位置を抽出するステップとを有する。
【選択図】図５

Description

本発明は、符号化ブロックサイズ及び位置推定方法並びにプログラムに関する。特に、本発明は、映像信号から、映像符号化の離散コサイン変換の処理単位である矩形ブロック（符号化ブロック）の水平方向及び垂直方向のサイズを示す符号化ブロックサイズと、符号化ブロックの境界線の位置を示す符号化ブロック位置とを推定するための技術に関する。

情報技術の発展により、デジタル映像メディアを利用したサービス（IPTVサービス、TV会議システムなど）や商品（ブルーレイ、DVDなど）が普及している。これらの映像メディアは、一般にデータ量の削減のため、情報圧縮（映像符号化）が行われるが、映像符号化に伴い、映像メディアに劣化（ブロック状の歪（ブロックノイズ）、ぼけ、ちらつきなど）が生じ、映像メディアに対して人間が知覚する品質（ユーザ体感品質（QoE：Quality of Experience））が低下する。

上記のように映像品質が低下したことを適切に把握するためには、映像メディアに対するユーザ体感品質を評価可能な映像客観品質評価技術が必須である。

映像客観品質評価技術は、映像信号（つまり、画素信号）、パケットヘッダ情報、ビットストリーム情報（つまり、動きベクトルなどの符号化情報）、または、これらの組み合わせを入力とし、ユーザ体感品質を評価する技術である。特に、映像符号化、ネットワーク及び受信端末による品質劣化を考慮するためには、受信した映像を用いて品質評価をすることが重要である。

映像信号を用いる映像客観品質評価技術の中には、符号化ブロックサイズ及び符号化ブロック位置の情報を基にユーザ体感品質を評価するものがある（例えば、非特許文献１、２及び３）。

しかしながら、非特許文献１、２及び３に示される技術は、映像メディアのフォーマット変換やパケット損失劣化などによる映像信号の空間的なずれが発生した場合、符号化ブロックサイズ及び符号化ブロック位置を事前に把握することが難しい。このような場合、符号化ブロックサイズ及び符号化ブロック位置を推定する技術が必要になる。

前述のように、映像符号化により映像品質は低下する。そのため、映像符号化された映像信号に発生したブロックノイズを低減させ、映像品質を向上させるブロックノイズ除去フィルタが開発されている。

ブロックノイズ除去技術は、画素信号の画素空間又は周波数空間からブロックノイズを推定し減算することにより、ブロックノイズを低減させる技術である。フィルタ強度を上げ過ぎると、ブロックノイズだけではなく原映像の精細度の情報まで削減してしまい、映像メディアに劣化が生じてしまうため、フィルタ強度の最適化技術も重要になる。

ブロックノイズ除去フィルタ及びフィルタ強度の最適化には、符号化ブロックサイズ及び符号化ブロック位置の情報を基にしているものがある（例えば、非特許文献４及び５）。

しかしながら、これらの技術は、映像メディアのフォーマット変換やパケット損失劣化などによる映像信号の空間的なずれが発生した場合、符号化ブロックサイズ及び符号化ブロック位置を事前に把握することが難しい。このような場合、符号化ブロックサイズ及び符号化ブロック位置を推定する技術が必要になる。

このように、映像客観品質評価技術やブロックノイズ除去フィルタにおいて、符号化ブロックサイズ及び符号化ブロック位置が適切にわからないことで、品質推定精度が低下するといった問題や、ブロックノイズを除去できないといった問題がある。

これらの課題を解決するために、以下のような解決策が提案されている。非特許文献６は、映像信号にエッジ抽出フィルタを適用し、生成したエッジ映像信号と、図１に示すようなグリッド画像との相互相関を利用して符号化ブロック位置を推定する方法を記載している。また、非特許文献７は、ブロックノイズ量抽出フィルタを利用して符号化ブロックサイズ及び符号化ブロック位置を推定する方法を記載している。

河野，山岸，岡本，"IPTVサービスを対象としたNR型メディアレイヤモデルの提案," 信学技報, CQ2009-76, Jan. 2010. O. Sugimoto1, S. Naito, S. Sakazawa, and A. Koike, "Objective perceptual video quality measurement method based on hybrid no reference framework," IEEE International Conference on Image Processing (ICIP), pp.2237-2240, Nov. 2009. S. Qiu, H. Rui, and L. Zhang, "No-reference perceptual quality assessment for streaming video based on simple end-to-end network measures, proceedings of the international conference on networking and services (ICNS) 2006. S. Liu and A. C. Bovik, "Efficient DCT-domain blind measurement and reduction of blocking artifacts," IEEE Transactions on Circuits and Systems for Video Technology, vol. 12, no. 12, pp.1139-1149, 2002. 杉山, 相良, 横山, "符号化ブロックひずみ軽減のためのひずみ量客観評価方法," 電子情報通信学会論文誌A, Vol.J91-A, No.6, pp.643-646, 2008. R. Dosselmann, X. D. Yang, "A Prototype No-Reference Video Quality System," Proceedings of the Fourth Canadian Conference on Computer and Robot Vision, p.411-417, May 2007 大川，相良，杉山，"フォーマット変換画像からの符号化ブロック位置検出," 映情学技報, vol.33, No.10, pp.33-36, Feb. 2010.

しかしながら、非特許文献６は、映像信号の空間的なずれのみを想定した符号化ブロック位置推定技術であり、符号化ブロックサイズを事前に把握する必要がある。そのため、映像信号がフォーマット変換（例えば、1440x1080から1920x1080への変換）などにより拡大または縮小された場合、符号化ブロックサイズも拡大または縮小されるため、符号化ブロックサイズを知ることができないといった問題がある。

また、非特許文献７は、予め符号化ブロックサイズ及び符号化ブロック位置を複数指定し、その中から符号化ブロックサイズ及び符号化ブロック位置を推定する技術である。しかし、図２に示すように映像フォーマットの種類は非常に多いといった問題があることに加え、映像フォーマットを変換した場合は、事前に、符号化ブロックサイズ及び符号化ブロック位置を指定することができないといった問題がある。

本発明は、例えば、映像信号のフォーマット変換やパケット損失劣化などによる映像信号の空間的ずれが生じて、符号化ブロックサイズ及び符号化ブロック位置に関する情報が未知の場合であっても、符号化ブロックサイズ及び符号化ブロック位置を推定することを目的とする。

上記の課題を解決するため、本発明の符号化ブロックサイズ及び位置推定方法は、
映像信号から、映像符号化の離散コサイン変換の処理単位である符号化ブロックの水平方向及び垂直方向のサイズを示す符号化ブロックサイズと、符号化ブロックの境界線の位置を示す符号化ブロック位置とを推定する装置における符号化ブロックサイズ及び位置推定方法であって、
エッジ抽出部が、前記映像信号からエッジ映像信号を抽出するエッジ抽出ステップと、
符号化ブロックサイズ抽出部が、前記エッジ映像信号の周波数に対応する振幅値を示す周波数情報を抽出し、前記周波数情報に基づいて水平方向の符号化ブロックサイズと垂直方向の符号化ブロックサイズとを抽出する符号化ブロックサイズ抽出ステップと、
符号化ブロック位置抽出部が、前記水平方向の符号化ブロックサイズと前記垂直方向の符号化ブロックサイズと前記エッジ映像信号とに基づいて符号化ブロック位置を抽出する符号化ブロック位置抽出ステップと、
を有することを特徴とする。

また、本発明のプログラムは、
映像信号から、映像符号化の離散コサイン変換の処理単位である符号化ブロックの水平方向及び垂直方向のサイズを示す符号化ブロックサイズと、符号化ブロックの境界線の位置を示す符号化ブロック位置とを推定するための装置を、
前記映像信号からエッジ映像信号を抽出するエッジ抽出手段、
前記エッジ映像信号の周波数に対応する振幅値を示す周波数情報を抽出し、前記周波数情報に基づいて符号化ブロックサイズを抽出する符号化ブロックサイズ抽出手段、及び
前記符号化ブロックサイズと前記エッジ映像信号とに基づいて符号化ブロック位置を抽出する符号化ブロック位置抽出手段、
として機能させることを特徴とする。

本発明によれば、符号化ブロックサイズ及び符号化ブロック位置に関する情報が未知の場合であっても、符号化ブロックサイズ及び符号化ブロック位置を推定することが可能になる。

グリッド画像の例 映像フォーマットの例 水平方向周波数情報及び垂直方向周波数情報を示す図 ２次元周波数情報を示す図 基準画素位置と符号化ブロック境界線との関係を示す図 符号化ブロックサイズ及び位置推定装置のブロック図 符号化ブロックサイズ及び位置推定方法のフローチャート

以下、図面を参照して本発明の実施形態を説明する。

本発明の実施形態では、映像符号化により符号化ブロック位置に現れるエッジ状の歪（ブロックノイズ）を基に、符号化ブロックサイズ及び符号化ブロック位置を推定する。より具体的には、ブロックノイズによって発生したエッジは水平方向及び垂直方向に一定の周波数（符号化ブロック周波数）を有する。そのため、符号化ブロック周波数の振幅値が近隣の周波数の振幅値よりも高くなる。本発明の実施形態では、符号化ブロック周波数の振幅値に基づいて、符号化ブロックサイズ及び符号化ブロック位置を推定する。この符号化ブロックサイズ及び位置推定方法について以下に説明する。

まず、入力された映像信号のフレーム毎にエッジ抽出フィルタ（例えば、Canny edge detector、Sobelフィルタ、Laplacianフィルタ、Prewittフィルタなど）を適用し、エッジ映像信号を生成する。

符号化により発生したエッジを含むエッジ映像信号から、符号化ブロックのサイズを抽出するため、エッジ映像信号の水平方向の周波数情報（水平方向周波数情報）と垂直方向の周波数情報（垂直方向周波数情報）を得る。水平方向周波数情報及び垂直方向周波数情報は、図３に示すように、水平方向及び垂直方向の配列番号を周波数とし、その配列番号に対応する振幅値の１次元配列で表現できる。以下に、２通りの水平方向周波数情報及び垂直方向周波数情報の算出方法を説明する。

第１の算出方法は、エッジ映像信号の各フレームに対し、フーリエ変換のような２次元の周波数抽出フィルタを適用し、水平方向及び垂直方向の周波数情報（２次元周波数情報）を抽出する。２次元周波数情報は、図４に示すように、水平方向及び垂直方向の配列番号を周波数とし、その配列番号に対応する振幅値の２次元配列である。２次元周波数情報の水平方向の配列番号が０である１次元配列の各要素を、全フレームにおいて平均した１次元配列を水平方向周波数情報とする。２次元周波数情報の垂直方向の配列番号が０である１次元配列の各要素を、全フレームにおいて平均した１次元配列を垂直方向周波数情報とする。

第２の算出方法は、エッジ映像信号の各フレームの各水平方向画素列に対し、フーリエ変換のような１次元の周波数抽出フィルタを適用し、水平方向の周波数情報を抽出する。この周波数情報は、水平方向の配列番号を周波数とし、その配列番号に対応する振幅値の１次元配列である。抽出した周波数情報の各要素を、全てのフレームの全ての水平方向画素列において平均した１次元配列を水平方向周波数情報とする。また、エッジ映像信号の各フレームの各垂直方向画素列に対し、フーリエ変換のような１次元の周波数抽出フィルタを適用し、垂直方向の周波数情報を抽出する。この周波数情報は、垂直方向の配列番号を周波数とし、その配列番号に対応する振幅値の１次元配列である。抽出した周波数情報の各要素を、全てのフレームの全ての垂直方向画素列において平均した１次元配列を垂直方向周波数情報とする。

ブロックノイズは、符号化ブロックの境界線に発生しているため、ブロックノイズによって発生したエッジは水平方向及び垂直方向に一定の周波数（符号化ブロック周波数）を有する。そのため、符号化ブロック周波数の振幅値が近隣の周波数の振幅値よりも高くなる。ある配列番号の振幅値からその配列番号の近隣の配列番号の振幅値の平均値又は中間値を減算した値をその配列番号のピーク強度と定義し、また、ピーク強度が最大となる配列番号をピーク周波数と定義し、水平方向周波数情報のピーク周波数を水平方向符号化ブロック周波数とする。水平方向符号化ブロック周波数は全配列番号の範囲の中で抽出されてもよいが、一般にブロックノイズの発生の有無によらず映像信号の低周波数成分の振幅値は極端に高くなる。原映像信号の性質に起因するピーク周波数を水平方向符号化ブロック周波数として誤って抽出しないために、配列番号の閾値を設定し、閾値よりも高い配列番号の範囲から、水平方向符号化ブロック周波数を抽出してもよい。すなわち、水平方向符号化ブロック周波数は、所定の配列番号の範囲の中で抽出されてもよい。なお、所定の配列番号は、全配列番号の範囲でもよく、予め指定した配列番号の範囲でもよい。

垂直方向周波数情報から、同様の方法で抽出した配列番号を垂直方向符号化ブロック周波数とする。水平方向の総画素数を水平方向符号化ブロック周波数で割った値が符号化ブロックの横のサイズである水平方向符号化ブロックサイズになり、垂直方向の総画素数を垂直方向符号化ブロック周波数で割った値が符号化ブロックの縦のサイズである垂直方向符号化ブロックサイズになる。

次に、図５に示すように、エッジ映像信号のフレーム内のある画素位置を基準画素位置としたときに、基準画素位置から水平方向符号化ブロックサイズの倍数画素水平方向に離れた垂直線群と基準画素位置から垂直方向符号化ブロックサイズの倍数画素垂直方向に離れた水平線群を符号化ブロック境界線とする。フレーム内の所定の範囲内で、エッジ映像信号にブロックノイズ量抽出フィルタ（例えば、非特許文献１、２及び３など）を適用し、得られるブロックノイズ量が最大になる基準画素位置のときの符号化ブロック境界線の位置を符号化ブロック位置とする。なお、フレーム内の所定の範囲は、フレーム内の全範囲でもよく、フレーム内の指定した範囲でもよい。

＜実施形態：符号化ブロックサイズ及び位置推定装置の説明＞
次に、本発明の実施形態を実現する符号化ブロックサイズ及び位置推定装置について説明する。図５は、本発明の実施形態の一例である符号化ブロックサイズ及び位置推定装置１０のブロック図である。符号化ブロックサイズ及び位置推定装置１０は、エッジ抽出部１００と、符号化ブロックサイズ抽出部１１０と、符号化ブロック位置抽出部１２０とを有する。符号化ブロックサイズ抽出部１１０は、周波数抽出部１１１と、水平方向符号化ブロックサイズ抽出部１１２と、垂直方向符号化ブロックサイズ抽出部１１３とを有する。

エッジ抽出部１００は、ディスプレイ（又はセットトップなど）の出力受信映像信号をキャプチャする、或いは、映像ファイルを読み込む。映像信号内には、輝度信号や色差信号を表す画素値が存在する。キャプチャした映像信号内の輝度信号に、エッジ抽出フィルタを適用し、エッジ映像信号を生成し、周波数抽出部１１１及び符号化ブロック位置抽出部１２０に入力する。本実施形態では、エッジ抽出フィルタとしてCanny Edge Detectorを使用するが、Sobelフィルタ、Laplacianフィルタ、Prewittフィルタなどを使用してもよい。本実施形態では、輝度信号を用いて、エッジ映像信号を抽出するが、色差信号又は輝度信号と色差信号の両方を用いてもよい。

周波数抽出部１１１は、入力されたエッジ映像信号に、周波数抽出フィルタを適用し、水平方向周波数情報及び垂直方向周波数情報を抽出し、それぞれ水平方向符号化ブロックサイズ抽出部１１２及び垂直方向符号化ブロックサイズ抽出部１１３に入力する。本実施形態では、周波数抽出フィルタとして、離散フーリエ変換を用いる。水平方向周波数情報及び垂直方向周波数情報は、図３に示すように、水平方向及び垂直方向の配列番号を周波数とし、その配列番号に対応する振幅値の１次元配列である。以下に、２通りの水平方向周波数情報及び垂直方向周波数情報の算出方法を説明する。

第１の算出方法は、エッジ映像信号の各フレームに対し、２次元の離散フーリエ変換を次式のように適用する。

ここでF(u,v,f)は、図４に示すように、エッジ映像信号のf番目のフレームの水平方向の周波数がu、垂直方向の周波数がvのときの振幅値、Hは垂直方向の総画素数、Wは水平方向の総画素数、y(w,h,f)は、エッジ映像信号のf番目のフレームの画素位置(w,h)の輝度値、exp()は底がネイピア数eである指数関数を示す。F(u,v,f)は複素数を含むため、次式のように絶対値を算出し、実数に変換する。

abs()は、絶対値を出力する関数を示す。F'(u,v,f)の垂直方向の周波数vが0である１次元配列を次式のように、全てのフレームにおいて平均した水平方向符号化ブロック周波数Fw(u)を算出する。

ここでNはフレームの総数を示す。同様に、F'(u,v,f)の水平方向の周波数uが0である１次元配列を次式のように、全てのフレームにおいて平均した垂直方向符号化ブロック周波数Fh(v)を算出する。

第２の算出方法は、エッジ映像信号の各フレームの各水平画素列に対し、１次元の離散フーリエ変換を次式のように適用する。

ここでFwtmp(u,h,f)は、エッジ映像信号のf番目のフレームのh行目の水平方向の周波数がuのときの振幅値を示す。F(u,v,f)は複素数を含むため、次式のように絶対値を算出し、実数に変換する。

Fwtmp'(u,h,f)を次式のように、全てのフレームの全ての水平画素列において平均した水平方向符号化ブロック周波数Fw(u)を算出する。

同様に、垂直方向に対しても次式のように垂直方向符号化ブロック周波数Fw(u)を算出する。

ここでFhtmp(w,v,f)は、エッジ映像信号のf番目のフレームのw列目の垂直方向の周波数がvのときの振幅値を示す。

水平方向符号化ブロックサイズ抽出部１１２は、入力された水平方向周波数情報から水平方向符号化ブロックサイズを抽出し、符号化ブロック位置抽出部１２０に入力する。水平方向符号化ブロックサイズの抽出方法を詳述する。

水平方向周波数情報Fw(u)から、次式のようにDw(u)を算出する。

或いは、次式のようにDw(u)を算出してもよい。

ここでm（m≧1）は定数であり、予め設定される。本実施形態では、mは5とする。また、median()は、入力された集合の中間値を出力する関数を示す。このとき、uの範囲は、mからW-m-1になるが、一般に低周波数成分の振幅値が極端に高くなっており、適切にブロックノイズによる振幅のピークを抽出できない場合がある。そのため、予め閾値Tを設定し、uの範囲をTからW-m-1にしてもよい。Dw(u)が最大になるuを水平符号化ブロック周波数umaxとする。水平符号化ブロックサイズCwは水平符号化ブロック周波数umaxから次式のように算出する。

Dw(umax)の値が極端に小さい場合、ブロックノイズが発生しておらず、符号化ブロックの周波数を適切に抽出できていない可能性がある。そのため、閾値を設定し、Dw(umax)がその閾値以下のときは、ブロックノイズが発生していないとし、符号化ブロックサイズ及び符号化ブロック位置を出力せずに、ブロックノイズが発生していないという情報を出力する。本実施形態は、映像品質の定量化や改善のための技術であり、映像品質に影響を与える主要因であるブロックノイズを定量化又は低減させるための情報として。符号化ブロックサイズ及び符号化ブロック位置を推定している。従って、映像品質の定量化においては、ブロックノイズが発生していない場合は、ブロックノイズ量を下限値に設定するなどの処理を行えばよい。また、ブロックノイズ除去フィルタにおいても、ブロックノイズが発生していない映像に対しては、ブロックノイズを除去する必要がないため、フィルタを適用しないなどの処理を行えばよい。

垂直方向符号化ブロックサイズ抽出部１１３は、入力された垂直方向周波数情報から垂直方向符号化ブロックサイズを抽出し、符号化ブロック位置抽出部１２０に入力する。垂直方向符号化ブロックサイズの抽出方法を詳述する。

垂直方向周波数情報Fh(v)から、次式のようにDh(v)を算出する。

或いは、次式のようにDh(v)を算出してもよい。

このとき、vの範囲は、mからH-m-1になるが、一般に低周波数成分の振幅値が極端に高くなっており、適切にブロックノイズによる振幅のピークを抽出できない場合がある。そのため、予め閾値Tを設定し、vの範囲をTからH-m-1にしてもよい。Dh(v)が最大になるvを垂直符号化ブロック周波数vmaxとする。垂直符号化ブロックサイズChは垂直符号化ブロック周波数vmaxから次式のように算出する。

Dh(vmax)の値が極端に小さい場合、ブロックノイズが発生しておらず、符号化ブロックの周波数を適切に抽出できていない可能性がある。そのため、閾値を設定し、Dh(vmax)がその閾値以下のときは、ブロックノイズが発生していないとし、符号化ブロックサイズ及び符号化ブロック位置を出力せずに、ブロックノイズが発生していないという情報を出力する。本実施形態は、映像品質の定量化や改善のための技術であり、映像品質に影響を与える主要因であるブロックノイズを定量化又は低減させるための情報として。符号化ブロックサイズ及び符号化ブロック位置を推定している。従って、映像品質の定量化においては、ブロックノイズが発生していない場合は、ブロックノイズ量を下限値に設定するなどの処理を行えばよい。また、ブロックノイズ除去フィルタにおいても、ブロックノイズが発生していない映像に対しては、ブロックノイズを除去する必要がないため、フィルタを適用しないなどの処理を行えばよい。

符号化ブロック位置抽出部１２０は、入力されたエッジ映像信号と水平方向符号化ブロックサイズと垂直方向符号化ブロックサイズから符号化ブロック位置を抽出する。符号化ブロック位置の抽出方法を詳述する。

まず、エッジ映像信号の各フレーム内の任意の画素を暫定的に基準画素位置とする。図５に示すように、基準画素位置から垂直方向に水平方向符号化ブロックサイズChの倍数画素離れた水平線群及び基準画素位置から水平方向に垂直方向符号化ブロックサイズCwの倍数画素離れた垂直線群を符号化ブロック境界線とする。基準画素位置を水平方向及び垂直方向に並行移動したときに、エッジ映像信号にブロックノイズ抽出フィルタを適用して得られるブロックノイズ量が最大になる基準画素位置を符号化ブロック位置とする。本実施形態では、ブロックノイズ抽出フィルタとして、非特許文献１に記載のものを用いる。ブロックノイズ抽出フィルタとしては、非特許文献２や非特許文献３に記載のものなどを用いてもよい。

＜実施形態：符号化ブロックサイズ及び位置推定方法の説明＞
次に、本発明の実施形態に係る符号化ブロックサイズ及び位置推定方法について説明する。図６は、本発明の実施形態に係る符号化ブロックサイズ及び位置推定方法のフローチャートである。

ステップＳ１０において、エッジ抽出部１００は、映像信号をキャプチャし、キャプチャした映像信号から、エッジ映像信号を抽出し、周波数抽出部１１１及び符号化ブロック位置抽出部１２０に入力する。

ステップＳ１１において、周波数抽出部１１１は、入力されたエッジ映像信号から水平方向周波数情報及び垂直方向周波数情報を抽出し、それぞれ水平方向符号化ブロックサイズ抽出部１１２及び垂直方向符号化ブロックサイズ抽出部１１３に入力する。

ステップＳ１２において、水平方向符号化ブロックサイズ抽出部１１２は、入力された水平方向周波数情報から水平方向符号化ブロックサイズを抽出し、符号化ブロック位置抽出部１２０に入力する。

ステップＳ１３において、垂直方向符号化ブロックサイズ抽出部１１３は、入力された垂直方向周波数情報から垂直方向符号化ブロックサイズを抽出し、符号化ブロック位置抽出部１２０に入力する。

ステップＳ１４において、符号化ブロック位置抽出部１２０は、入力されたエッジ映像信号と水平方向周波数情報と垂直方向周波数情報から符号化ブロック位置を抽出する。

従って、最終的な出力として、水平方向符号化ブロックサイズ抽出部１１２より、水平方向符号化ブロックサイズ、垂直方向符号化ブロックサイズ抽出部１１３より、垂直方向符号化ブロックサイズ、符号化ブロック位置抽出部１２０より、符号化ブロック位置を得ることができる。最終的な出力は、上記の３つの情報以外にも、水平方向符号化ブロックサイズ、垂直方向ブロックサイズ及び符号化ブロック位置から、符号化ブロックの境界線の全ての画素位置情報に変換したものでもよい。

＜実施形態の効果＞
以上のように、本発明の実施形態によれば、映像信号のフォーマット変換やパケット損失劣化などによる映像信号の空間的ずれが生じて符号化ブロックサイズが未知の場合においても、符号化ブロックサイズ及び符号化ブロック位置を把握することが可能になる。

これより、映像信号のフォーマット変換やパケット損失劣化などによる映像信号の空間的ずれが発生している映像に対しても、適切にユーザ体感品質を推定することができる。したがって、IPTVサービスなどのメディア信号を用いたサービスに対して、ユーザ体感品質に即した品質設計や品質管理を実施することにより、高品質なサービスが提供でき、サービスの市場価値の向上が望める。

上記のように、本発明は、映像信号のフォーマット変換やパケット損失劣化などによる映像信号の空間的ずれが発生している映像に対して適用できるため、符号化サイズ及び符号化ブロック位置を考慮してブロックノイズ除去フィルタを適用することができ、映像信号のブロックノイズを低減させることができる。

したがって、モニタに出力されるメディア信号を品質よく表示させることにより、ユーザの顧客満足度を高めることができ、サービスや商品の市場価値が向上する。

説明の便宜上、本発明の実施形態に係る符号化ブロックサイズ及び位置推定装置は機能的なブロック図を用いて説明しているが、本発明の符号化ブロックサイズ及び位置推定装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、符号化ブロックサイズ及び位置推定装置の各機能部がソフトウェアで実現され、コンピュータ内に実現されてもよい。また、実施形態の各構成要素が必要に応じて組み合わせて使用されてもよい。

以上、本発明の実施形態について説明したが、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。

本発明は、映像信号から得られる物理量からユーザ体感品質を推定する映像品質客観評価技術に適用することができる。また、本発明は、映像符号化により発生するブロックノイズを低減させるブロックノイズ除去フィルタ技術に適用することができる。

１０ 符号化ブロックサイズ及び位置推定装置
１００ エッジ抽出部
１１０ 符号化ブロックサイズ抽出部
１１１ 周波数抽出部
１１２ 水平方向符号化ブロックサイズ抽出部
１１３ 垂直方向符号化ブロックサイズ抽出部
１２０ 符号化ブロック位置抽出部

Claims (9)

1. 映像信号から、映像符号化の離散コサイン変換の処理単位である符号化ブロックの水平方向及び垂直方向のサイズを示す符号化ブロックサイズと、符号化ブロックの境界線の位置を示す符号化ブロック位置とを推定する装置における符号化ブロックサイズ及び位置推定方法であって、
   エッジ抽出部が、前記映像信号からエッジ映像信号を抽出するエッジ抽出ステップと、
   符号化ブロックサイズ抽出部が、前記エッジ映像信号の周波数に対応する振幅値を示す周波数情報を抽出し、前記周波数情報に基づいて水平方向の符号化ブロックサイズと垂直方向の符号化ブロックサイズとを抽出する符号化ブロックサイズ抽出ステップと、
   符号化ブロック位置抽出部が、前記水平方向の符号化ブロックサイズと前記垂直方向の符号化ブロックサイズと前記エッジ映像信号とに基づいて符号化ブロック位置を抽出する符号化ブロック位置抽出ステップと、
   を有する符号化ブロックサイズ及び位置推定方法。
2. 前記エッジ抽出ステップは、
   前記映像信号のフレーム毎にエッジ抽出フィルタを適用し、前記エッジ映像信号を抽出する、請求項１に記載の符号化ブロックサイズ及び位置推定方法。
3. 前記符号化ブロックサイズ抽出ステップは、
   前記エッジ映像信号から水平方向の周波数情報及び垂直方向の周波数情報を抽出する周波数抽出ステップと、
   水平方向の周波数の振幅値の比較に基づいて前記水平方向の符号化ブロックサイズを抽出する水平方向符号化ブロックサイズ抽出ステップと、
   垂直方向の周波数の振幅値の比較に基づいて前記垂直方向の符号化ブロックサイズを抽出する垂直方向符号化ブロックサイズ抽出ステップと、
   を有する、請求項１又は２に記載の符号化ブロックサイズ及び位置推定方法。
4. 前記周波数抽出ステップは、
   前記エッジ映像信号に対し周波数抽出フィルタを適用し、前記水平方向の周波数情報を抽出し、前記エッジ映像信号に対し周波数抽出フィルタを適用し、前記垂直方向の周波数情報を抽出する、請求項３に記載の符号化ブロックサイズ及び位置推定方法。
5. 前記周波数抽出ステップは、
   前記エッジ映像信号の各フレームに対し、フーリエ変換を適用し、得られるエッジ映像信号の水平方向の周波数を配列番号とした当該配列番号に対応する振幅値の１次元配列を、配列の要素毎に全てのフレームにおいて平均した１次元配列として、前記水平方向の周波数情報を抽出し、
   前記エッジ映像信号の各フレームに対し、フーリエ変換を適用し、得られるエッジ映像信号の垂直方向の周波数を配列番号とした当該配列番号に対応する振幅値の１次元配列を、配列の要素毎に全てのフレームにおいて平均した１次元配列として、前記垂直方向の周波数情報を抽出する、請求項４に記載の符号化ブロックサイズ及び位置指定方法。
6. 前記水平方向符号化ブロックサイズ抽出ステップは、
   ある配列番号の振幅値から当該配列番号の近隣の配列番号の振幅値の平均値又は中間値を減算した値を当該配列番号のピーク強度としたときに、前記水平方向の周波数情報の所定の配列番号の範囲の中で、ピーク強度が最大になる配列番号を示すピーク周波数を抽出し、水平方向の総画素数を前記ピーク周波数で割算することにより、前記水平方向の符号化ブロックサイズを抽出する、請求項５に記載の符号化ブロックサイズ及び位置推定方法。
7. 前記垂直方向符号化ブロックサイズ抽出ステップは、
   ある配列番号の振幅値から当該配列番号の近隣の配列番号の振幅値の平均値又は中間値を減算した値を当該配列番号のピーク強度としたときに、前記垂直方向の周波数情報の所定の配列番号の範囲の中で、ピーク強度が最大になる配列番号を示すピーク周波数を抽出し、垂直方向の総画素数を前記ピーク周波数で割算することにより、前記垂直方向の符号化ブロックサイズを抽出する、請求項５又は６に記載の符号化ブロックサイズ及び位置推定方法。
8. 前記符号化ブロック位置抽出ステップは、
   前記エッジ映像信号のフレーム内のある画素位置を基準画素位置とし、前記基準画素位置から水平方向に前記水平方向の符号化ブロックサイズの倍数の画素数離れている垂直線群と、前記基準画素位置から垂直方向に前記垂直方向の符号化ブロックサイズの倍数の画素数離れている水平線群を符号化ブロック境界線としたときに、フレーム内の所定の範囲内で、前記エッジ映像信号にブロックノイズ量を抽出するブロックノイズ量抽出フィルタを適用して得られるブロックノイズ量が最大となる基準画素位置を抽出することにより、前記符号化ブロック位置を抽出する、請求項１乃至７のうちいずれか１項に記載の符号化ブロックサイズ及び位置推定方法。
9. 映像信号から、映像符号化の離散コサイン変換の処理単位である符号化ブロックの水平方向及び垂直方向のサイズを示す符号化ブロックサイズと、符号化ブロックの境界線の位置を示す符号化ブロック位置とを推定するための装置を、
   前記映像信号からエッジ映像信号を抽出するエッジ抽出手段、
   前記エッジ映像信号の周波数に対応する振幅値を示す周波数情報を抽出し、前記周波数情報に基づいて符号化ブロックサイズを抽出する符号化ブロックサイズ抽出手段、及び
   前記符号化ブロックサイズと前記エッジ映像信号とに基づいて符号化ブロック位置を抽出する符号化ブロック位置抽出手段、
   として機能させるためのプログラム。

Images