JP2007267123A - 動画像符号化装置 - Google Patents
動画像符号化装置 Download PDFInfo
- Publication number
- JP2007267123A JP2007267123A JP2006090503A JP2006090503A JP2007267123A JP 2007267123 A JP2007267123 A JP 2007267123A JP 2006090503 A JP2006090503 A JP 2006090503A JP 2006090503 A JP2006090503 A JP 2006090503A JP 2007267123 A JP2007267123 A JP 2007267123A
- Authority
- JP
- Japan
- Prior art keywords
- block
- image data
- auxiliary information
- unit
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】画像データ転送命令の発行回数を抑えて、転送時間を抑えること。
【解決手段】ブロック抽出部102は、画像データ取り込み部101からの動画像信号からブロック単位に画像データを抽出し、プリ演算部103がそのブロック単位の画像データからブロック補助情報を求める。データ転送制御部104は、ブロック抽出部102からのブロック画像データと、プリ演算部103からのブロック補助情報とを対応させてメモリ105に記憶する。符号化部106は、データ転送制御部104を介しメモリ105から一度に読み出されるブロック画像データとブロック補助情報とを入力して、ブロック画像データをブロック補助情報に基づいてブロック単位に符号化をする。これにより、メモリ105への画像データの転送(読み出し)命令の発行回数を抑えることができる。
【選択図】図1
【解決手段】ブロック抽出部102は、画像データ取り込み部101からの動画像信号からブロック単位に画像データを抽出し、プリ演算部103がそのブロック単位の画像データからブロック補助情報を求める。データ転送制御部104は、ブロック抽出部102からのブロック画像データと、プリ演算部103からのブロック補助情報とを対応させてメモリ105に記憶する。符号化部106は、データ転送制御部104を介しメモリ105から一度に読み出されるブロック画像データとブロック補助情報とを入力して、ブロック画像データをブロック補助情報に基づいてブロック単位に符号化をする。これにより、メモリ105への画像データの転送(読み出し)命令の発行回数を抑えることができる。
【選択図】図1
Description
本発明は、入力された動画像信号をブロック単位に符号化をする動画像符号化装置に関するものである。
デジタル動画像符号化は、画像信号の情報量、符号化演算を行う演算回路規模ともに膨大であり、扱う画像の高精細化や符号化方式の複雑化によりその傾向は益々強まっている。効率よく演算を行って演算回路の規模や演算時間を抑える工夫が求められている。
そこで、従来より、動画像信号の圧縮符号化では、近傍画素間の相関を利用して符号量を圧縮する方法が用いられている。
近傍画素間の相関による冗長度は、DCT(Discrete Cosine Transform)に代表される直交変換を行うことにより削減できる。
JPEG(Joint Photographic Experts Group)に代表される時間方向の相関を利用しないフレーム内の圧縮符号化の場合、対象ブロックの原画像信号をそのまま直交変換していた。しかし、対象ブロックの原画像信号をそのまま直交変換するだけでは、隣接ブロック間の画素の相関による冗長度を削減できない。そこで、隣接ブロック間の画素の相関による冗長度を削減するため、隣接ブロックの隣接画素からイントラ予測(画面内予測ともいう。)を行う符号化方法がある。
イントラ予測では、イントラ予測のブロックサイズとして、4×4画素ブロックや、8×8画素ブロック、16×16画素ブロックを採用することが可能であり、それぞれのブロックサイズに対して全ての予測モードを算出し、データ量が小さくなるブロックサイズおよび予測モードを選択している。
このため、従来の動画像符号化装置では、イントラ予測を行う際に、すべてのブロックサイズの各予測モードに対して予測画像信号を算出し、原画像信号と予測画像信号との誤差信号に対して誤差評価値を算出し、最適なイントラ予測モードを決定するものがある(例えば、特許文献1参照)。
また、別の動画像符号化装置では、符号化の際に、ブロック画像データを符号化する前にプリ演算を行ってブロック毎のアクティビィテイ等のブロック特徴量を算出したり、そのブロック特徴量を累積してピクチャ全体の特徴量を算出しておき、ブロック画像データを符号化する際に、そのブロック特徴量やピクチャ全体の特徴量を算出して、符号化データ量を削減するようにするものもある(例えば、特許文献2参照)。
特許第3369573号公報
特開平5−227525号公報
しかし、上述した特許文献2の従来の画像符号化装置では、ブロック画像データと、そのブロック特徴量やピクチャ全体の特徴量とを、別々に転送(読み出し)して符号化処理を行うので、その都度、発生する転送(読み出し)命令発行の時間的オーバヘッドを無視できない、という問題があった。
また、上述した特許文献1の従来の画像符号化装置では、すべてのブロックサイズの各予測モードに対して予測画像信号を算出し、原画像信号と予測画像信号との誤差信号に対して誤差評価値を算出する必要があるため、ブロックサイズやその予測モードの数が増加すればするほど、イントラ予測の演算量が増大する、という問題があった。
そこで、本発明は、画像データ転送命令の発行回数を抑えて、転送時間を抑えることができる動画像符号化装置、さらには画像データ転送(読み出し)命令の発行回数を抑えて、転送時間を抑えることができるだけでなく、イントラ予測の演算量も削減することができる動画像符号化装置を提供することを目的とする。
上記目的を達成するため本発明に係る動画像符号化装置では、入力された動画像信号をブロック単位に符号化をする動画像符号化装置において、前記動画像信号から前記ブロック単位に画像データを抽出するブロック抽出手段と、前記ブロックデータ抽出手段によって抽出されたブロック単位の画像データを入力し前記画像データの特徴量に基づいてブロック補助情報を求めるプリ演算手段と、前記ブロック抽出手段によって抽出された前記ブロック画像データと、前記プリ演算手段によって生成された前記ブロック補助情報とを対応させて記憶するメモリと、前記メモリに記憶された前記ブロック画像データと前記ブロック補助情報とを一度に読み出すデータ転送制御手段と、前記データ転送制御手段によって前記メモリから一度に読み出される前記ブロック画像データと前記ブロック補助情報とを入力して、前記ブロック画像データを前記ブロック補助情報に基づいてブロック単位に符号化をする符号化手段と、を有するものである。
ここで、前記プリ演算手段は、前記ブロックデータ抽出手段によって抽出された前記動画像信号からイントラ予測対象ブロック単位の前記画像データを入力して、各イントラ予測対象ブロックにおいてイントラ予測をする際、同一の予測画素値を用いる方向の隣接画素間の誤差の絶対値和を前記画像データの特徴量として算出し、前記隣接画素間の誤差の絶対値和の大きさが小さい所定数のイントラ予測モードを前記ブロック補助情報として求め、前記符号化手段は、イントラ予測をする際、前記データ転送制御手段によって前記メモリから一度に読み出される前記ブロック画像データと前記ブロック補助情報とを入力して、前記ブロック画像データを前記ブロック補助情報に基づいて、前記所定数のイントラ予測モードによりブロック単位に符号化をする、ようにすると良い。
本発明の動画像符号化装置によれば、動画像信号からブロック単位に画像データを抽出し、抽出したブロック単位の画像データを入力してブロック単位にブロック補助情報を求めて、ブロック画像データとブロック補助情報とを対応させてメモリに記憶し、メモリから一度に読み出されるブロック画像データとブロック補助情報とを入力して、ブロック画像データをブロック補助情報に基づいてブロック単位に符号化をするようにしたので、メモリへの画像データの転送(読み出し)命令の発行回数を抑えることができ、転送(読み出し)処理時間を抑えることができる。
また、抽出した前記動画像信号からイントラ予測対象ブロック単位の前記動画像信号を入力し、各イントラ予測対象ブロックにおいてイントラ予測をする際、同一の予測画素値を用いる方向の隣接画素間の誤差の絶対値和を特徴量として算出し、その隣接画素間の誤差の絶対値和の大きさが小さい所定数のイントラ予測モードをブロック補助情報とし、メモリから一度に読み出されるブロック画像データとブロック補助情報とを入力して、ブロック画像データをブロック補助情報に基づいて、所定数のイントラ予測モードによりブロック単位に符号化をするようにすれば、ブロック補助情報により所定数のイントラ予測モードに抑えることが可能となり、転送(読み出し)処理時間を抑えることができるだけでなく、イントラ予測の回数を削減することができる。
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明に係る動画像符号化装置の実施の形態の構成例を示す図である。
図1において、本実施の形態の動画像符号化装置は、画像データ取り込み部101と、ブロック抽出手段としてのブロック抽出部102と、プリ演算手段としてのプリ演算部103と、メモリ105と、データ転送制御手段としてのデータ転送制御部104と、符号化手段としての符号化部106と、出力インターフェース(I/F)107とを有している。
図2は、図1に示すブロック抽出部102の内部構成例を示す図である。
図2において、本実施の形態のブロック抽出部102は、例えば、第1のバッファ202と、データ抽出・管理手段201と、第2のバッファ203とを有している。
図3は、図1に示すプリ演算部103の内部構成例を示す図である。
図3において、本実施の形態のプリ演算部103は、例えば、ブロック補助情報生成部301と、ピクチャ補助情報生成手段302とを有している。
次に動作を説明する。
図1に示すように、画像データ取り込み部101は、デジタル変調された動画像データを任意のライン数ずつラスタスキャン順に取り込み、ブロック抽出部102へ出力する。例として、本実施の形態では、水平画素数1280、走査線数720、画像フォーマットYUV=4:2:0の画像を40ラインずつ取り込むものとして説明する。この場合、輝度成分Yを1280画素ずつ40回、色差成分Uを720画素ずつ20回、色差成分Vを720画素ずつ20回順次読み込む。この操作を18回繰り返し1ピクチャ分の画像データを得る。
ブロック抽出部102は、画像データ取り込み部101からの画像データを入力してバッファリングし、ブロック単位に画像データを抽出して、ブロック画像データとして出力する。
つまり、ブロック抽出部102内では、図2に示すように、画像データ取り込み部101から入力された任意のライン数単位のピクチャ画像データを第1のバッファ202がバッファリングする。そして、データ抽出・管理手段201が、第1のバッファ202に一時記憶されたピクチャ画像データから所定のブロック単位にデータを抽出して、ブロック画像データとして第2のバッファ203へ送り、第2のバッファ203はブロック単位のブロック画像データを保持する。
すると、データ転送制御部104は、ブロック抽出部102の第2のバッファ203にバッファリングされたブロック画像データを読み出し、メモリ105およびプリ演算部103へ転送する。
プリ演算部103は、符号化部106がブロック画像データの符号化を行う前に、その符号化が効率良く行えるようプリ演算を行ってブロック補助情報およびピクチャ補助情報等を生成するので、データ転送制御部104からのブロック画像データを入力して、後述するように、ブロック特徴量およびピクチャ特徴量を算出すると共に、ブロック補助情報およびピクチャ補助情報を生成する。
つまり、プリ演算部103内では、図3の例に示すように、ブロック補助情報生成部301がブロック画像データを入力して、ブロック特徴量を算出し、ピクチャ補助情報生成部302へ出力すると共に、そのブロック特徴量を基にブロック補助情報を生成して、データ転送制御部104へ出力する。
また、プリ演算部103内では、図3の例に示すように、ピクチャ補助情報生成部302がブロック補助情報生成部301からのブロック特徴量をピクチャ単位に集積してピクチャ特徴量を算出し、そのピクチャ特徴量を基にピクチャ補助情報を生成して、符号化部106へ出力する。なお、ピクチャ補助情報生成部302は、生成したピクチャ補助情報を、データ転送制御部104を介して符号化部106へ出力するようにしても勿論よい。このようにすると、図6に示すように、プリ演算部103から符号化部10へピクチャ補助情報を直接出力するためのプリ演算部103と符号化部10とを直接結ぶ出力線は不要となる。
次に、プリ演算部103のブロック補助情報生成部301が算出および生成するブロック特徴量およびブロック補助情報について説明する。
プリ演算部103内では、ブロック補助情報生成部301がブロック抽出部102より入力したブロック画像データから、ブロック特徴量を算出すると共に、そのブロック特徴量からブロック補助情報を生成する。
ここで、本実施の形態では、プリ演算部103は、符号化部106がイントラ予測をする場合にプリ演算を行って、この場合に、ブロック補助情報生成部301がブロック抽出部102からのブロック画像データからブロック特徴量として、各イントラ予測対象ブロックにおいてイントラ予測をする際、同一の予測画素値を用いる方向の隣接画素間の誤差絶対値和である原画誤差評価値を算出すると共に、その原画誤差評価値からブロック補助情報として、ブロック内のイントラ(画面内)予測モードにて実行すべき予測モードを絞った予測モードの絞込み候補情報を生成する。その際、ブロック補助情報生成部301は、生成したブロック補助情報を、さらにブロック単位でまとめてフラグ化して、ビット量を削減するようにしても良い。
ここで、本実施の形態の符号化部106では、たとえば、符号化方式として、H.264/AVC符号化方式を採用し、4×4画素ブロック、8×8画素ブロック、16×16画素ブロックのブロックサイズ単位でイントラ予測を行うものとする。4×4画素ブロックのイントラ予測の場合、後述する図4に示すように、9個の予測モードがあり、16×16画素ブロックでは、3個の予測モードがある。そのため、ブロック補助情報生成部301は、例えば、4×4画素ブロックの場合は、同一の予測画素値を用いる方向として、例えば、垂直方向、水平方向および斜め45度方向についての隣接画素間の誤差絶対値和を原画誤差評価値として求め、16×16画素ブロック場合は、垂直方向および水平方向についての隣接画素間の誤差絶対値和を原画誤差評価値として求めることになる。
次に、ブロック補助情報生成部301がブロック特徴量として算出する原画誤差評価値について説明する。
図4(a)〜(i)は、それぞれ、H.264/AVC符号化方式における4×4画素ブロックのイントラ予測の9つの予測モードを示している。
イントラ予測では、4×4画素の対象ブロック40に隣接する周辺画素A〜Mの値を用いて予測画像を作成する。H.264では、4×4画素ブロックのイントラ予測の場合、図4(a)〜(i)に示す予測モード(Mode)0〜予測モード(Mode)8の9種類の予測モードが規定されており、矢印の起点により予測値となる画素値を示している。
例えば、予測モード(Mode)0は、図4(a)に示すように、対象ブロック40内の左から1列目の画素a,e,i,mは画素値Aを用いて、2列目の画素b,f,j,nは画素値Bを、3列目の画素c,g,k,oは画素値C、4列目の画素d,h,l,pは、画素値Dを用いて予測するモードである。なお、図4(c)に示す予測モード(Mode)2のみ、画素A〜Hの平均値を用いている。
そして、図4(a)に示す予測モード0と、図4(b)に示す予測モード1の場合の原画誤差評価値、すなわち各イントラ予測対象ブロックにおいてイントラ予測をする際、同一の予測画素値を用いる方向の隣接画素間の誤差絶対値和の例は、以下のようになる。
これは、図4(a)に示す予測モード0の場合、予測モード0において同一の予測画素値を用いる方向は、図上、矢印が示す垂直方向であり、図4(b)に示す予測モード1の場合、予測モード1において同一の予測画素値を用いる方向は、図上、矢印が示す水平方向であるからである。なお、図4(d)〜(i)に示す予測モード3〜8の場合は、原画誤差評価値は、代表して、斜め45度方向の隣接画素間の誤差絶対値和を求める。
つまり、本実施の形態では、4×4画素ブロックのイントラ予測の場合、同一の予測画素値を用いる方向の隣接画素間の誤差絶対値和については、垂直方向(モード0相当)と、水平方向(モード1相当)、45度方向(モード3およびモード4相当)について求め、その結果同士を比較し、
1)モード0とモード1のどちらが原画誤差評価値が小さいか。
2)モード3とモード4のどちらが原画誤差評価値が小さいか。
を判定し、判定して得た上記4つの候補の組み合わせによってさらに残りのモード5,6,7,8を類推・決定して、実行すべき予測モードを所定数に絞る。
1)モード0とモード1のどちらが原画誤差評価値が小さいか。
2)モード3とモード4のどちらが原画誤差評価値が小さいか。
を判定し、判定して得た上記4つの候補の組み合わせによってさらに残りのモード5,6,7,8を類推・決定して、実行すべき予測モードを所定数に絞る。
このように、原画誤差評価値は、イントラ予測を行う際、同一の予測画素値が入る方向(画素位置)の隣接画素間の誤差絶対値和としている。この誤差絶対値が小さいほど原画像信号の相違が小さいことを意味し、予測画素値は同一なので、原画像信号の相違が小さいほど誤差信号の相違も小さくなる。誤差信号の相違が小さくなることは、直交変換後の高域成分が少なくなることを意味する。つまり、本実施の形態のように、原画誤差評価値が小さい予測モードに絞り込み、原画誤差評価値が大きいイントラ予測モードを候補から除外しても、イントラ予測効率は低下しないことになる。
また、原画誤差評価値は、イントラ予測モードに対応した予測画像信号を必要とせず原画像信号のみから算出できるため、被イントラ予測対象ブロック単位で処理を行う必要がなく、MB(マクロブロック)単位やピクチャ単位でも処理を行うことができる。そのため、他の符号化処理との並列処理が可能となり、並列処理することにより高速化ができる。なお、ここでは、一例として、誤差絶対値和を用いた原画誤差評価値の例を示したが、原画誤差評価値は原画像信号のみから算出できる値であればどのような値でも良い。
さて、図4(a)〜(i)に示すように、4×4画素ブロックのイントラ予測(以下、イントラ4×4予測と略す。)の場合には、9つの予測モードがあるので、符号化部106がイントラ4×4予測を実行する場合、9つの予測モード全てについてイントラ予測を行い、各予測モードのコスト値等を算出して、一つの予測モードを決定していたのでは、非常に演算量が大きくなる。
そこで、本実施の形態では、プリ演算部103のブロック補助情報生成部301が、ブロック画像データを入力して、ブロック画像データのみより、各イントラ予測モードにおいて同一の予測画素値が入る方向、すなわち同一の予測画素値を用いる画素位置の誤差絶対値和である原画誤差評価値を求めて、原画誤差評価値が小さい方から所定数の予測モードに絞り込んだ予測モードの絞込み候補情報を、ブロック補助情報としてデータ転送制御部104を介しメモリ105へ出力する。
例えば、ブロック補助情報生成部301は、9つの予測モードから3つの予測モードに絞り込んだ予測モードの絞込み候補情報や、9つの予測モードから1つの予測モードに絞り込んだ予測モードの絞込み候補情報を、ブロック補助情報としてデータ転送制御部104へ出力し、ブロック符号化データに対応させてメモリ105に記憶させる。これにより、符号化部106は、ブロック画像データをイントラ4×4予測する際、9つの予測モード全てでイントラ予測全てを実行する必要はなく、プリ演算部103のブロック補助情報生成部301により生成されたブロック補助情報である予測モードの絞込み候補情報に基づいて、例えば、3つや1つ等の所定数の予測モードを実行すれば良いので、イントラ予測の回数を削減できることになる。
このようにして、プリ演算部103内では、ブロック補助情報生成部301が生成したブロック特徴量である原画誤差評価値をピクチャ補助情報生成手段302へ出力する一方、ブロック特徴量である原画誤差評価値に基づき生成したブロック補助情報である予測モードの絞込み候補情報をデータ転送制御部104を介しメモリ105へ出力する。
ピクチャ補助情報生成手段302では、ブロック特徴量である原画誤差評価値をピクチャ単位に集積しつつピクチャ特徴量を算出し、ピクチャ特徴量よりピクチャ補助情報を生成して、符号化部106へ出力する。
ここで、ピクチャ補助情報生成部302が生成するピクチャ補助情報とは、ピクチャ単位で符号化演算を制御する補助情報のことであり、例えば、シーンチェンジ等のピクチャ単位の検出を行ってシーン検出時に専用の符号化制御を行うなど際の制御用パラメータである。これにより、符号化部106は、そのピクチャ補助情報からシーンチェンジ等のピクチャ単位の変化を認識することができ、シーン検出時に専用の符号化制御を行うことが可能となる。
メモリ105では、データ転送制御部104によって、ブロック抽出部102からのブロック単位データと、プリ演算部103からのブロック補助情報である予測モードの絞込み候補情報とが転送されるので、それらを対応付け一連のブロックデータとして配置して記憶する。
図5は、本実施の形態のメモリ105に記憶されるブロック単位データと、ブロック補助情報との状態を示している。
図5に示すように、本実施の形態のメモリ105では、符号化単位であるブロック単位のブロック輝度信号(Y)と色差信号(U),(V)とからなるブロック単位データと、ブロック補助情報である予測モードの絞込み候補情報とがブロック毎、すなわちブロック番号毎に対応されて、1ブロック分のブロックデータを構築して記憶される。
そのため、本実施の形態では、メモリ105に配置する画像データを、ピクチャ単位の配置からブロックごとの配置に並べ替え、さらに格納する段階でプリ演算部103がブロック特徴量の算出を行ってブロック補助情報を生成し、図5に示すようにブロック画像データと併せて一連のブロックデータとして配置するので、このメモリ105から符号化部106へのブロックデータの転送(読み出し)命令の発行回数を1ブロックあたり数十回程度から1回に減らすことができる。これにより、データ転送制御部104は、このメモリ105に一連のブロックデータとして記憶されたブロック単位データとブロック補助情報とからなる符号化生成に必要なブロックデータを、一度の転送(読み出し)命令で、符号化部106に転送することが可能となる。その結果、データ転送の効率が向上し、符号化部106等の他の演算部における処理時間を確保することができることになる。
そして、データ転送制御部104は、プリ演算部103から符号化部106へと出力されるピクチャ補助情報に合わせて、メモリ104に配置されたブロックデータをブロック単位に読み出し、符号化部106へと転送する。
その際、ブロックデータは、図5に示すようにブロック画像データとブロック補助情報とが連なったデータ列となっているので、データ転送制御部104は、一度の命令で1ブロック分のブロック画像データとブロック補助情報とを符号化部106へ転送することが可能となる。
これにより、本装置では、転送(読み出し)命令や転送(読み出し)命令に付随する転送パラメータも1度で済ませることが可能となる。その結果、転送にまつわるオーバヘッドが削減され、転送時間を削減できるので、符号化部106等における処理時間を稼ぐことも可能となる。
そして、符号化部106では、プリ演算部103からのピクチャ補助情報と、データ転送制御部104を介したメモリ105からの当該ピクチャを構成する複数のブロックデータとを入力して、これらのデータをもとにブロック単位でイントラ予測およびインター予測を行ってそのイントラ予測とインター予測の結果を比較し、符号化効率のよい方を選択して直交変換およびエントロピー符号化を行い動画像圧縮データを得る。
そのイントラ予測の際、本実施の形態では、メモリ105からの当該ピクチャを構成する複数のブロックデータには、ブロック補助情報としてイントラ予測の予測モードの絞込み候補情報が含まれているので、本実施の形態の符号化部106では、4×4画素ブロックや、8×8画素ブロック、16×16画素ブロック単位にイントラ予測をする際、ブロック補助情報である予測モードの絞込み候補情報に基づき、予測モードを絞ってイントラ予測を実行することができる。つまり、4×4画素ブロックのイントラ予測の場合、図4に示すように、9個の予測モードがあるが、ブロック補助情報である予測モードの絞込み候補情報により例えば、3つや、1つに予測モードを絞ることができる。これにより、本実施の形態の符号化部106では、ブロック補助情報である予測モードの絞込み候補情報に基づき、予測モードを絞ってイントラ予測を実行することができるので、イントラ予測の回数を削減することができる。
そして、出力インターフェース(I/F)107は、符号化部106の出力する動画像圧縮データを、出力相手となる通信手段や復号化手段に合わせ必要に応じデータ変換を行ってから出力する。
このように、本実施の形態の動画像符号化装置によれば、ブロック抽出部102が動画像信号からブロック単位に画像データを抽出し、プリ演算部103がそのブロック単位の画像データを入力してブロック単位にブロック補助情報を求めて、データ転送制御部104がブロック画像データとブロック補助情報とを対応させてメモリ105に記憶し、符号化部106はメモリ105から一度に読み出されるブロック画像データとブロック補助情報とを入力して、ブロック画像データをブロック補助情報に基づいてブロック単位に符号化するようにしたので、メモリ105への画像データの転送(読み出し)命令の発行回数を抑えることができ、転送(読み出し)処理時間を抑えることができる。
また、本実施の形態では、プリ演算部103のブロック補助情報生成部301がその動画像信号からイントラ予測対象ブロック単位のブロック画像データを入力し、各イントラ予測対象ブロックにおいてイントラ予測をする際、同一の予測画素値を用いる方向の隣接画素間の誤差絶対値和である原画誤差評価値を算出すると共に、その原画誤差評価値からブロック補助情報として、ブロック内のイントラ(画面内)予測モードにて実行すべき予測モードを絞った予測モードの絞込み候補情報を生成し、符号化部106は、ブロック画像データをブロック補助情報に基づいてイントラ予測モードを絞ってイントラ予測モードに抑えるようにしたので、転送(読み出し)処理時間を抑えることができるだけでなく、イントラ予測の回数を削減することができる。
また、本実施の形態では、プリ演算部103のピクチャ補助情報生成部302がブロック補助情報生成部301からのブロック特徴量を累積してピクチャ補助情報を生成するようにしたので、符号化部106は、ブロック画像データをピクチャ補助情報に基づいてピクチャ単位で符号化を制御することができ、例えば、ピクチャ補助情報に基づいてシーンチェンジ等を検出して符号化を制御することができる。
また、本実施の形態では、データ転送制御部104は、プリ演算部103が生成したブロック補助情報をメモリ105に転送して符号化データに対応して記憶させる一方、プリ演算部103が生成したピクチャ補助情報はメモリ105に記憶せずに符号化部106に転送するようにしたので、ブロック補助情報とピクチャ補助情報とが別途保持されることになり、次のような効果も得ることができる。
1)メモリ105はピクチャ補助情報をブロック単位で保持しなくてよいので、メモリ空間の肥大化を避けることができる。
2)データ転送制御部104はピクチャ補助情報をブロック単位で毎回転送しなくてよいので、転送オーバヘッドを抑制することができる。
1)メモリ105はピクチャ補助情報をブロック単位で保持しなくてよいので、メモリ空間の肥大化を避けることができる。
2)データ転送制御部104はピクチャ補助情報をブロック単位で毎回転送しなくてよいので、転送オーバヘッドを抑制することができる。
なお、上記本実施の形態では、プリ演算部103がブロック特徴量として、各イントラ予測モードにおいて同一の予測画素値が入る方向の隣接画素間の誤差絶対値和である原画誤差評価値を求めるように説明したが、本発明では、このような原画誤差評価値に限らず、(1)ブロック内の画素の値の平均値と各画素の値の誤差の絶対値和や、(2)ブロック内の画素の値の平均値と各画素の値の誤差の2乗和、(3)隣接画素との誤差値の絶対値和、あるいは(4)DCT変換係数の直流成分を除く係数の絶対値和、といった値も考えられる。
また、上記本実施の形態では、プリ演算部103のピクチャ補助情報生成部302がブロック特徴量を基にピクチャ補助情報を生成するように説明したが、本発明では、これに限らず、プリ演算部103からピクチャ補助情報生成部302を省略して、ピクチャ補助情報を生成しないようにしても勿論よい。すると、図6に示すように、プリ演算部103から符号化部106へはピクチャ補助情報が出力されないことになる。
101 画像データ取り込み部
102 ブロック抽出部(ブロック抽出手段)
103 プリ演算部(プリ演算手段)
104 データ転送制御部(データ転送制御手段)
105 メモリ
106 符号化部(符号化手段)
107 出力インターフェース(I/F)
102 ブロック抽出部(ブロック抽出手段)
103 プリ演算部(プリ演算手段)
104 データ転送制御部(データ転送制御手段)
105 メモリ
106 符号化部(符号化手段)
107 出力インターフェース(I/F)
Claims (2)
- 入力された動画像信号をブロック単位に符号化をする動画像符号化装置において、
前記動画像信号から前記ブロック単位に画像データを抽出するブロック抽出手段と、
前記ブロックデータ抽出手段によって抽出されたブロック単位の画像データを入力し前記画像データの特徴量に基づいてブロック補助情報を求めるプリ演算手段と、
前記ブロック抽出手段によって抽出された前記ブロック画像データと、前記プリ演算手段によって生成された前記ブロック補助情報とを対応させて記憶するメモリと、
前記メモリに記憶された前記ブロック画像データと前記ブロック補助情報とを一度に読み出すデータ転送制御手段と、
前記データ転送制御手段によって前記メモリから一度に読み出される前記ブロック画像データと前記ブロック補助情報とを入力して、前記ブロック画像データを前記ブロック補助情報に基づいてブロック単位に符号化をする符号化手段と、
を有することを特徴とする動画像符号化装置。 - 請求項1記載の動画像符号化装置において、
前記プリ演算手段は、
前記ブロックデータ抽出手段によって抽出された前記動画像信号からイントラ予測対象ブロック単位の前記画像データを入力して、各イントラ予測対象ブロックにおいてイントラ予測をする際、同一の予測画素値を用いる方向の隣接画素間の誤差の絶対値和を前記画像データの特徴量として算出し、前記隣接画素間の誤差の絶対値和の大きさが小さい所定数のイントラ予測モードを前記ブロック補助情報として求め、
前記符号化手段は、
イントラ予測をする際、前記データ転送制御手段によって前記メモリから一度に読み出される前記ブロック画像データと前記ブロック補助情報とを入力して、前記ブロック画像データを前記ブロック補助情報に基づいて、前記所定数のイントラ予測モードによりブロック単位に符号化をする、
ことを特徴とする動画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006090503A JP2007267123A (ja) | 2006-03-29 | 2006-03-29 | 動画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006090503A JP2007267123A (ja) | 2006-03-29 | 2006-03-29 | 動画像符号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007267123A true JP2007267123A (ja) | 2007-10-11 |
Family
ID=38639653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006090503A Pending JP2007267123A (ja) | 2006-03-29 | 2006-03-29 | 動画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007267123A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013531445A (ja) * | 2010-07-09 | 2013-08-01 | クゥアルコム・インコーポレイテッド | サイズとイントラモードとに基づいて又はエッジ検出に基づいてイントラブロック符号化の周波数変換を適応させること |
US10306229B2 (en) | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
US10623774B2 (en) | 2016-03-22 | 2020-04-14 | Qualcomm Incorporated | Constrained block-level optimization and signaling for video coding tools |
US10992958B2 (en) | 2010-12-29 | 2021-04-27 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
US11323748B2 (en) | 2018-12-19 | 2022-05-03 | Qualcomm Incorporated | Tree-based transform unit (TU) partition for video coding |
-
2006
- 2006-03-29 JP JP2006090503A patent/JP2007267123A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013531445A (ja) * | 2010-07-09 | 2013-08-01 | クゥアルコム・インコーポレイテッド | サイズとイントラモードとに基づいて又はエッジ検出に基づいてイントラブロック符号化の周波数変換を適応させること |
JP2013534794A (ja) * | 2010-07-09 | 2013-09-05 | クゥアルコム・インコーポレイテッド | サイズとイントラモードとに基づいて又はエッジ検出に基づいてイントラブロック符号化の周波数変換を適応させること |
US9172968B2 (en) | 2010-07-09 | 2015-10-27 | Qualcomm Incorporated | Video coding using directional transforms |
US9215470B2 (en) | 2010-07-09 | 2015-12-15 | Qualcomm Incorporated | Signaling selected directional transform for video coding |
US9661338B2 (en) | 2010-07-09 | 2017-05-23 | Qualcomm Incorporated | Coding syntax elements for adaptive scans of transform coefficients for video coding |
US10390044B2 (en) | 2010-07-09 | 2019-08-20 | Qualcomm Incorporated | Signaling selected directional transform for video coding |
US10992958B2 (en) | 2010-12-29 | 2021-04-27 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
US11601678B2 (en) | 2010-12-29 | 2023-03-07 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
US11838548B2 (en) | 2010-12-29 | 2023-12-05 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
US10306229B2 (en) | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
US10623774B2 (en) | 2016-03-22 | 2020-04-14 | Qualcomm Incorporated | Constrained block-level optimization and signaling for video coding tools |
US11323748B2 (en) | 2018-12-19 | 2022-05-03 | Qualcomm Incorporated | Tree-based transform unit (TU) partition for video coding |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102124495B (zh) | 用于对数字化图像序列进行编码的方法 | |
JP2005318497A (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。 | |
US9596467B2 (en) | Motion estimation device for predicting a vector by referring to motion vectors of adjacent blocks, motion estimation method and storage medium of motion estimation program | |
WO2009130886A1 (ja) | 動画像符号化装置、撮像装置及び動画像符号化方法 | |
JP2023156438A (ja) | データ符号化方法及び装置、データ復号化方法及び装置、画像処理装置 | |
WO2009087783A1 (ja) | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 | |
US20160050431A1 (en) | Method and system for organizing pixel information in memory | |
JP2012129888A (ja) | 画像符号化装置及び画像符号化方法 | |
JP2008182527A (ja) | 画像符号化装置及び方法、並びに撮像システム | |
JP2007267123A (ja) | 動画像符号化装置 | |
JP4772607B2 (ja) | 2次元直交変換装置、2次元直交変換方法および撮像システム | |
JP2017192078A (ja) | 画像符号化装置及びその制御方法 | |
JP6077811B2 (ja) | 画像符号化装置、画像符号化方法およびプログラム | |
JP5178616B2 (ja) | シーンチェンジ検出装置および映像記録装置 | |
JP4684701B2 (ja) | スクランブル処理装置、デスクランブル処理装置、スクランブル処理方法及びデスクランブル処理方法 | |
JP4971817B2 (ja) | 画像符号化装置 | |
JP2008053848A (ja) | 画像処理装置及び画像処理方法 | |
JP6065090B2 (ja) | 動画像復号装置、動画像復号方法、動画像復号プログラム | |
JP4451759B2 (ja) | 可逆ビデオ符号化装置,可逆ビデオ符号化方法,可逆ビデオ復号装置,可逆ビデオ復号方法,可逆ビデオ符号化プログラム,可逆ビデオ復号プログラムおよびそれらのプログラムの記録媒体 | |
JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
JP2006074520A (ja) | 動きベクトル検出装置 | |
JP2009038740A (ja) | 画像符号化装置 | |
JP6825699B2 (ja) | 動画像処理装置、動画像処理方法、及び、動画像処理プログラム | |
JP2010021892A (ja) | 動きベクトル探索装置及びその制御方法、及び動画像撮像装置 | |
JP6311821B2 (ja) | 動画像処理装置及び動画像処理方法 |