JP2008061133A - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
JP2008061133A
JP2008061133A JP2006238168A JP2006238168A JP2008061133A JP 2008061133 A JP2008061133 A JP 2008061133A JP 2006238168 A JP2006238168 A JP 2006238168A JP 2006238168 A JP2006238168 A JP 2006238168A JP 2008061133 A JP2008061133 A JP 2008061133A
Authority
JP
Japan
Prior art keywords
image
processing target
target block
frame
frame prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006238168A
Other languages
English (en)
Other versions
JP2008061133A5 (ja
JP4993676B2 (ja
Inventor
Susumu Igarashi
進 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006238168A priority Critical patent/JP4993676B2/ja
Priority to US11/844,677 priority patent/US8891621B2/en
Publication of JP2008061133A publication Critical patent/JP2008061133A/ja
Publication of JP2008061133A5 publication Critical patent/JP2008061133A5/ja
Application granted granted Critical
Publication of JP4993676B2 publication Critical patent/JP4993676B2/ja
Priority to US14/520,880 priority patent/US9948944B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 フレーム内予測符号化及びフレーム間予測符号化を併用するとともに、フレーム間予測符号化における動き検出に用いる参照データの転送量を抑制することの可能な符号化装置を提供すること。
【解決手段】
動画像を圧縮符号化する符号化装置において、フレーム内予測符号化方式及びフレーム間予測符号化方式の両方を適用し、符号化効率が高くなると考えられる符号化方式による予測画像を用いて予測符号化を行なう。効率の高い予測符号化方式を利用するので、高い符号化効率を実現することができる。
【選択図】 図１

Description

本発明は、画像符号化技術に関し、特に動き補償を用いた画像符号化技術に関する。
国際標準として定められた動画像の圧縮符号化方式として、ITU-T Recommendation H.264又はISO/IEC International Standard 14496-10（以下、単にH.264と記す）や、MPEG2方式等が知られている。
これらの符号化方式では、画像を複数の矩形ブロック（マクロブロック）に分割し、マクロブロック単位で符号化を行う。また、動画像を構成するフレーム画像が時間的及び空間的に大きな相関を持つ性質を利用して符号量を削減している。
時間的な相関性を利用した符号化方式としては、動き補償フレーム間予測符号化方式が広く用いられている。これは、符号化対象マクロブロックの動き情報（動きベクトル）を検出し、この動き情報を用いて生成した予測画像と、符号化対象マクロブロックとの差分を符号化するものである。
また、空間的な相関性を利用した符号化方式としては、フレーム内予測符号化方式が広く用いられている。これは、同一フレーム内の、符号化対象マクロブロックの周囲のマクロブロック内の画素を用いて予測画像を生成し、その予測画像と符号化対象マクロブロックとの差分を符号化するものである。
特にこのフレーム内予測方式は、複数の予測方向に対応する多くの予測モードを有し、他の符号化方式と比べてフレーム内における予測精度が高い。H.264におけるフレーム内予測符号化ツール及び他の符号化ツールの詳細は、それぞれの勧告書を参照されたい。
符号化対象となる画像の多様化などにより、様々な符号化方式が標準化されてきているが、動き補償フレーム間予測符号化方式における動き検出については、新しく標準化された符号化方式であっても、従前の手法が踏襲されたままである。
従前の動き検出の手法としては、例えば、特許文献１、非特許文献１、非特許文献２及び非特許文献３に記載されるようなものがある。
ここで、従前から行なわれている、一般的なブロックマッチングによる動き検出手法について簡単に説明する。
図６は、従来の符号化装置における動き検出処理に係る構成を模式的に示した図である。
図において、動き検出装置６０１は、参照フレームメモリ６０４とバス６０３を介して接続されている。参照フレームメモリ６０４には、現処理対象フレームの動き検出のために参照する参照フレームが格納される。動き検出装置６０１はさらに、現処理対象ブロックの動き検出処理に必要な探索範囲の参照データを格納する、探索範囲ＲＡＭ６０２を備える。
動き検出装置６０１は、現処理対象ブロックの動き検出処理を行う際に、まず参照フレームメモリ６０４より、探索範囲の参照データをバス６０３を介して読み出し、探索範囲ＲＡＭ６０２に格納する。そして、現処理対象ブロックのデータと、探索範囲ＲＡＭ６０２内の参照データとの位置をずらしながら、順次マッチングをとり、最も類似度の高い位置を動きベクトルとして検出する。
参照データは処理対象ブロック毎に異なるが、図５に示すように、現在処理中のブロックの探索範囲と、直前に処理したブロックの探索範囲とには重複部分がある。そのため、参照データを探索範囲ＲＡＭ６０２へ書き込む際には、重複部分を除いた探索範囲のデータのみを書き込むのが普通である。
近年、符号化対象となる動画像コンテンツは、１フレーム当たりの画素数及びフレーム・レートが増加する傾向にあり、単位時間あたりに符号化処理すべきデータ量が増加している。
そのため、参照フレームメモリ６０４から動き検出範囲の参照データをバス６０３を介して読み出し、探索範囲ＲＡＭ６０２に格納する処理における、バス６０３の単位時間当たりのデータ転送量が増大することになる。一般的に、参照フレームメモリ６０４は、動き検出装置６０１を含む画像符号化装置等におけるＣＰＵや他の画像処理部なども用いる共用メモリ空間の一部であることが多い。
そのため、参照フレームメモリ６０４から探索範囲ＲＡＭ６０２への転送量の増大は、共用メモリを使用する他の構成要素の処理に影響を及ぼし、場合によって画像符号化装置全体の正常動作を妨げる事態を招く。
このような事態を防止するには、参照フレームメモリ６０４を共用メモリの一部空間ではなく、専用メモリとして設ける等の対策が必要である。しかし、このような対策は、回路規模やコストの増加を伴うため、好ましくない。
特開平７−１５４８０１号公報 R. Li, B. Zeng, and M. L. Liou, "A new three-step search algorithm for block estimation," IEEE Trans. Circuits Syst. Video Technol., vol. 4, pp.438-442, Aug. 1994. L. M. Po and W. C. Ma, "A Novel four-step search algorithm for fast block estimation," IEEE Trans. Circuits Syst. Video Technol., vol. 6, pp.313-317, June 1996. S. Zhu and K.-K. Ma, "A new diamond-search algorithm for fast block-matching motion estimation," IEEE Trans. Image Processing, vol. 9, pp.287-290, Feb. 2000.
H.264等、フレーム内予測符号化及びフレーム間予測符号化を併用する符号化方式を実現する従来の符号化装置において、フレーム間予測符号化に用いる動き検出処理に際し、フレーム内予測符号化との親和性は考慮されてこなかった。
また、H.264など新しい符号化方式は、それ以前の符号化方式と比べて符号化効率が高い反面複雑であり、多くの演算を必要とする。そのため、符号化処理時間の増大や回路規模の増大を抑制するのが困難であった。
また、従来の動き検出処理では、探索範囲の参照データ群を準備するためのデータ伝送量が多く、バスの帯域を圧迫していた。
本発明はこのような従来技術の課題に鑑みなされたものであり、フレーム内予測符号化及びフレーム間予測符号化を併用する画像符号化装置及び画像符号化方法において、動き検出に必要なデータ転送量及び符号化に必要な演算量を低減することにある。
上述の目的は、動画像のフレームをブロック単位で符号化する画像符号化装置であって、フレーム内予測符号化方式を用いて、入力動画像の処理対象ブロックに対する処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測符号化手段と、動き補償フレーム間予測符号化方式を用いて、処理対象ブロックに対する処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測符号化手段と、予め定められた評価方法に従って、フレーム内予測手段とフレーム間予測手段を選択する選択手段と、選択された、第１及び第２の予測画像ブロックの一方と、処理対象ブロックとの差分である予測差分画像を符号化する符号化手段とを有し、フレーム間予測符号化手段が、処理対象ブロックと、処理対象ブロックの動きを検出するための参照フレーム画像の階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロック及びＮ値化参照フレーム画像を生成するＮ値化画像生成手段と、Ｎ値化画像生成手段の出力を記憶する記憶手段を有し、フレーム間予測手段は、Ｎ値化画像生成手段の出力と記憶手段からの出力処理対象ブロック及びＮ値化参照フレーム画像とを用いてＮ値化処理対象ブロックの動きを検出をする動き検出手段と、動き検出手段が検出した検出結果動きに基づいて、第２の予測画像ブロックを生成する予測画像生成手段とを有することを特徴とする本発明の画像符号化装置によって達成される。
また、上述の目的は、動画像フレームをブロック単位で符号化する画像符号化方法であって、入力動画像の処理対象ブロックに対する処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測工程と、処理対象ブロックに対する処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測工程と、予め定められた評価方法に従って、フレーム内予測工程とフレーム間予測工程を選択する選択工程と、処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成するＮ値化画像生成工程と、Ｎ値化画像生成工程の結果を記憶する記憶工程を有し、前期フレーム間予測工程は、Ｎ値化画像生成工程の結果と記憶工程からの記憶情報を用いてＮ値化処理対象ブロックの動き検出をする動き検出工程と、動き検出工程が検出した検出結果に基づいて、第２の予測画像ブロックを生成する予測画像生成工程とを有することを特徴とする本発明の画像符号化方法によっても達成される。
このような構成により、フレーム内予測符号化及びフレーム間予測符号化を併用する符号化装置及び画像符号化方法において、動き検出に必要なデータ転送量及び符号化に必要な演算量を低減することが可能となる。
以下、図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る画像符号化装置の構成例を示す図である。
動画像符号化装置１００は、以下の構成要素を有してなる。フレーム内予測部１０１、二値化画像生成部１０２、二値化画像フレームバッファ１０３、フレーム間予測部１０４、選択器１０５、差分生成器１０６、直交変換部１０７、エントロピー符号化部１０８、局所復号部１０９及び、フレームバッファ１１０。
符号化対象動画像として入力される原画像は、フレームを矩形領域に分割した、複数の画素群よりなるブロックの単位でそれぞれフレーム内予測部１０１、二値化画像生成部１０２、フレーム間予測部１０４、及び差分生成器１０６へと入力される。
フレーム内予測部１０１は、入力された原画像よりフレーム内予測を行ない、フレーム内予測画像を生成して選択器１０５へと出力する。
二値化画像生成部１０２は、入力された原画像の高周波成分の特徴を抽出して二値化画像を生成し、フレーム間予測部１０４及び二値化画像フレームバッファ１０３へと出力する。
二値化画像フレームバッファ１０３は、二値化画像生成部１０２より出力された二値化画像を記憶保持し、少なくとも次のフレームまで遅延させた後、二値化遅延フレーム画像つまり参照フレーム画像としてフレーム間予測部１０４へと出力する。
フレーム間予測部１０４は、原画像、二値化画像、二値化遅延フレーム画像及び遅延フレーム画像を元にフレーム間予測を行ない、フレーム間予測画像を生成して選択器１０５へと出力する。
選択器１０５は、フレーム内予測部１０１より出力されるフレーム内予測画像及び、フレーム間予測部より出力されるフレーム間予測画像のうち、いずれか一方を選択して被選択予測画像として差分生成器１０６へと出力する。
差分生成器１０６は、原画像と選択器１０５より出力される被選択予測画像との差分をとり、予測差分画像として直交変換部１０７へと出力する。
直交変換部１０７は、差分生成器１０６より出力される予測差分画像に直交変換及び量子化処理を施し、量子化変換係数としてエントロピー符号化部１０８及び局所復号部１０９へと出力する。
エントロピー符号化部１０８は、直交変換部１０７より出力される変換係数、フレーム内予測のモード情報（図示されない）及びフレーム間予測の動き情報（図示されない）についてそれぞれエントロピー符号化を施し、符号化ストリームとして出力する。
選択器１０５、差分生成器１０６、直交変換部１０７及びエントロピー符号化部１０８は、全体として符号化部１２０を構成する。符号化部１２０は、フレーム内予測画像とフレーム間予測画像の選択された一方と処理対象ブロックとの予測差分画像を符号化する手段として機能する。
局所復号部１０９は、直交変換部１０７より出力される変換係数に対して逆量子化及び逆直交変換を施し、局所復号画像としてフレームバッファ１１０へと出力する。
フレームバッファ１１０は、局所復号部１０９より出力される局所復号画像を記憶保持し、少なくとも次のフレームまで遅延させた後、遅延フレーム画像としてフレーム間予測部１０４へと出力する。
次に、本発明の実施形態の動画像符号化装置の動作について説明する。
多値画像（Ｍ（Ｍ＞２）値画像）である原画像が入力されると、フレーム内予測部１０１では、所定サイズの矩形ブロック（以下、単にブロックという）を単位としたフレーム内予測を行なう。フレーム内予測部１０１は、適切なモード（予測方向、予測単位ブロックサイズ等）を決定し、対応する近隣画素からブロック内の画素を予測したフレーム内予測画像（第１の予測画像ブロック）を生成して出力する。
また、フレーム内予測部１０１は、生成したフレーム内予測画像と、処理対象ブロックの画像との類似度を評価する指標として、例えば後述するSAD値を算出する。この指標の値は、例えば選択器１０５において予測画像を選択する際の評価基準として利用することができる。
一方、原画像は二値化画像生成部１０２へも入力され、ブロック単位で二値化処理が適用される。
図２は二値化画像生成部１０２の内部構成例を示した図である。
二値化画像生成部１０２はフィルタ部１０２１、差分生成器１０２２、及び二値化部１０２３より構成される。原画像はブロック単位でフィルタ部１０２１及び差分生成器１０２２へと入力される。フィルタ部１０２１において、入力された原画像ブロックはフィルタ処理が施され、被フィルタ画像として差分生成器１０２２へと出力される。
フィルタ部１０２１は、後述の差分生成器１０２２と組合わせて原画像の高周波成分の特徴を抽出するためのフィルタであり、例えば原画像の有する空間周波数成分より低いカットオフ周波数である低域通過フィルタを用いることができる。フィルタ部１０２１に用いる低域通過フィルタとしては、例えば図３（ａ）〜図３（ｃ）に示されるような２次元タップ係数を有する空間フィルタを例示することができる。この時フィルタのタップ数に応じて、ブロックの周辺画素を多く用いる事でブロック分割によるブロック端部の悪影響が低減される。差分生成器１０２２は、原画像とフィルタ部１０２１より出力される被フィルタ画像との差分を求め、高周波成分抽出画像として二値化部１０２３へ出力する。
原画像の持つ各画素値と、低域通過フィルタ処理が施された被フィルタ画像の対応画素値との差分をとることによって、原画像の高周波成分の持つ特徴画像を得ることができる。差分生成器１０２２より出力される高周波成分抽出画像は、二値化部１０２３において二値化処理が施され、二値化画像として出力される。二値化部１０２３は、高周波成分抽出画像が持つ各画素値について、所定値以上、例えば１以上の画素は「１」、そうでない画素は「０」として二値化する。
こうして二値化画像生成部１０２によって得られた二値化画像は、原画像の高周波成分の特徴が反映された二値化画像となる。このように原画像の高周波成分の特徴が反映された二値化画像を用いる理由は、概ね以下に述べる理由による。
第一の理由は、二値化画像を用いることによって画像データ量が大幅に減少することである。これにより、二値化フレームバッファ１０３へのアクセス量及び、動き検出のための演算量を低減させることが可能となる。
第二の理由としては、高周波成分の特徴が反映された二値化画像は、フレーム間の差分、即ち動きの特徴が現れやすいためである。そのため、高周波成分の特徴が反映された二値化画像を用いて動き検出を行なうことによって、原画像が高周波成分を十分に有する画像であれば、精度良く動きを検出することが可能となる。
第三の理由としては、空間的相関を利用したフレーム内予測と併用する場合、結果として高い符号化効率を得られるためである。前述したように、原画像が高周波成分を十分に有する画像であれば、二値化画像を用いることで精度良く動き検出ができる。しかし反面、原画像の高周波成分が少ない場合には、二値化画像に画像の特徴が反映されにくくなり、動き検出の精度は低下する。この点、フレーム内予測においては、近隣の画素から予測画素を生成するため、画素間相関が高いほど、すなわち高周波成分が少ない画像であるほど予測精度が向上する。従って、高周波成分が少ない原画像に対してはフレーム内予測が有効である。
実際の動画像では、高速なパニング等によって画面内の動きが大きくなっているようなケースでは、隣接画素間相関が高くなり、高周波成分が少なくなる傾向があるため、フレーム内予測の予測精度が高くなる。従って高周波成分の特徴が反映された二値化画像を用いて動き検出を行ないフレーム間予測を行なうと同時に、空間的相関を利用したフレーム内予測を行なうことによって、全体で高い符号化効率を得ることができる。
二値化画像生成部１０２において得られた二値化画像ブロックは、現在処理対象となっている原画像ブロックの動き検出に用いるため、フレーム間予測部１０４へと送られる。さらに、次フレーム画像以降の動き検出時に参照画像として用いるために、一旦、二値化画像フレームバッファ１０３へ送られ、記憶保持される。
フレーム間予測部１０４において、二値化画像及び原画像を用いて動き検出処理に基づくフレーム間予測が行なわれる。図４は、フレーム間予測部１０４の内部構成例を示す図である。以下、図４を用いてフレーム間予測部１０４の動作を説明する。
ブロック単位で入力される原画像は、ブロックＲＡＭ１０４１に格納される。また、同じくブロック単位で入力される二値化画像は、二値化画像ブロックＲＡＭ１０４２に格納される。また、二値化画像フレームバッファ１０３から読み出された二値化遅延フレーム画像は二値化画像探索範囲ＲＡＭ１０４３に格納される。
二値化画像ブロックＲＡＭ１０４２及び二値化画像探索範囲ＲＡＭ１０４３への格納がそれぞれ終了すると、二値化画像動き検出部１０４５においてブロックマッチング処理に基づく動き検出処理が開始される。二値化画像ブロックＲＡＭ１０４２は、二値化画像動き検出部１０４５の必要に応じて、適宜処理対象二値化画像ブロックのデータを出力する。二値化画像探索範囲ＲＡＭ１０４３は、参照フレームとして用いる二値化遅延フレーム画像の参照データのうち、探索範囲として設定された二値化画像参照データ群を格納し、二値化画像動き検出部１０４５の必要に応じて、参照データを出力する。
二値化画像動き検出部１０４５は、処理対象ブロックに対応する探索範囲を計算する。そして、計算された探索範囲に含まれる参照データ群のうち、既に二値化画像探索範囲ＲＡＭ１０４３内に書き込まれている参照データを除いた新規部分のみを二値化画像フレームバッファ１０３から取得し、二値化画像探索範囲ＲＡＭ１０４３を更新する。
ところで、探索範囲参照データをバッファから取得する処理において、参照データを本来の階調のまま取得する場合と、本実施形態のように二値化したものを取得する場合とではデータ量に大幅な差が生じる。例えば、原画像が２５６階調を持っていたとすると、１画素当り８ビット必要であり、二値化画像の８倍のデータを取得する必要がある。このように、二値化画像を用いて動き検出処理を行なうことで、探索範囲の参照データの転送量を大きく低減させることが可能である。
また、二値化画像動き検出部１０４５は、二値化画像ブロックＲＡＭ１０４２より処理対象二値化画像ブロックのデータを読み出し、二値化画像探索範囲ＲＡＭ１０４３より読み出した探索範囲内の二値化画像参照データとブロックマッチングを行なう。探索範囲内における二値化画像参照データに対し、処理対象二値化画像ブロックデータを順次ずらしていきながら順次マッチングを行う。そして、最も高い類似度と評価された際の位置をもとに第１の動きベクトルＭＶｂｉｎを算出し、動き検出部１０４６へと出力する。
二値化画像ブロック相互の類似度の指標としては、対応画素間の排他的論理和の合計(XORSUM)が一般的によく用いられる。例えば、処理対象二値化画像ブロック（ｘ画素×ｙ画素）の各画素値をOrgbin(0,0)〜Orgbin(x-1,y-1)とし、マッチング対象として対応する二値化画像参照データ（ｘ画素×ｙ画素）の各画素値をRefbin(0,0)〜Refbin(x-1,y-1)とすると、これらのXORSUM値は、下記式（１）より得られる。
Figure 2008061133
排他的論理和は、入力値が異なる際に真となるため、XORSUM値が小さいほど類似度が高く、大きいほど類似度が低いと見なすことができる。
本実施形態において、二値化画像動き検出部１０４５は、探索範囲内の全候補点に対してブロックマッチング評価を行なう全探索法により動き検出を行なう。しかしながら、処理時間や回路コスト等に応じて探索方法を適宜選択することが可能であり、全探索法の利用は必須ではない。
動き検出処理が終了すると、二値化画像動き検出部１０４５は、検出結果である第１の動きベクトルＭＶｂｉｎを出力する。動き検出部１０４６は、第１の動きベクトルＭＶｂｉｎを基に、処理対象ブロックに対応する探索範囲の位置を計算する。そして、動き検出部１０４６は、探索範囲の位置に含まれる参照データ群をフレームバッファ１１０より読み出し、探索範囲ＲＡＭ１０４４へ格納する。二値化画像から検出された第１の動きベクトルを利用することにより、動き検出部１０４６が計算する探索範囲の大きさは、二値化画像動き検出部１０４５が計算する探索範囲の大きさよりも小さくすることが可能である。そのため、二値化画像から検出した第１の動きベクトルを利用しない場合に比べ、フレームバッファ１１０から探索範囲ＲＡＭ１０４４へ読み込むデータ量を大幅に削減することが可能である。
次いで、動き検出部１０４６は、ブロックＲＡＭ１０４１から読み出した処理対象ブロックのデータと、探索範囲ＲＡＭ１０４４より読み出した、処理対象ブロックに対応する探索範囲内の参照データとの類似度を評価する。類似度は、第１の動きベクトルＭＶｂｉｎで示される探索点を中心に、探索範囲内における参照データの位置をずらしながら順次ブロックマッチングした結果により評価する。最も類似度が高いと評価された位置をもとに、最終的な動きベクトル（第２の動きベクトル）が検出される。
多値画像の類似度を評価する指標として、例えば対応画素同士の差分絶対値和(SAD, Sum of Absolute Difference)がよく用いられており、本実施形態においても利用可能である。処理対象ブロック（ｘ画素×ｙ画素）の各画素値をOrg(0,0)〜Org(x-1,y-1)とし、マッチング対象として用いる参照データ（ｘ画素×ｙ画素）の各画素値をRef(0,0)〜Ref(x-1,y-1)とすると、これらのSAD値は、下記式（２）より得られる。
Figure 2008061133
対応画素の値の差が小さければSAD値も小さくなる。従って、SAD値がが小さいほど類似度が高く、大きいほど類似度が低いと評価することができる。
ここで、二値化画像動き検出部１０４５及び動き検出部１０４６において実行するブロックマッチング処理に必要な、類似度を表す指標値（二値化画像においてはXORSUM、それ以外の通常の階調を有する画像においてはSAD）の算出負荷について考える。それぞれの類似度の指標値の算出式（１）及び（２）とを比較すれば明らかなように、多値の減算処理及び加算処理を行なう式（２）に対し、論理演算と１ビット値の加算処理である式（１）の演算量は非常に少なくて済む。従って、同じ計算負荷であれば、二値化画像を用いて動き検出処理を行なうことにより、ずっと多くの探索点について類似度を評価することが可能となり、動きベクトルの検出精度を向上することが可能となる。
上述したように、動き検出部１０４６における動き検出処理は、ＭＶｂｉｎの示す探索点を中心に比較的狭い探索範囲で行なわれればよく、必要であれば半画素単位、1/4画素単位の探索が行なわれるようにしてもよい。本実施形態では、ＭＶｂｉｎの示す探索点を中心に周辺の８点を探索し、類似度が最も高い点を決定する。次いで、この点を中心に半画素単位、1/4画素単位の動き検出を行なう。しかし、必ずしもこれらの手順が全て行なわれなくてもよい。動き検出部１０４６は、探索処理によって決定した第２の動きベクトルを用い、処理対象ブロックに対応する予測画像を生成して、フレーム間予測画像（第２の予測画像ブロック）として出力する。
フレーム内予測部１０１より出力されるフレーム内予測画像、及びフレーム間予測部１０４より出力されるフレーム間予測画像はそれぞれ、選択器１０５へと入力される。
選択器１０５は、予め定められた評価方法に従い、フレーム内予測画像とフレーム間予測画像のうち、符号化効率が高くなると判定される一方を選択し、予測画像として差分生成器１０６へと出力する。
選択器１０５における具体的な評価方法としては、例えば、フレーム内予測部１０１及びフレーム間予測部１０４において算出した類似度の指標の値（例えばSAD値）を比較し、類似度の高い（SAD値の小さい）方の予測画像を選択する方法がある。すなわち、処理対象ブロックとの類似度が高い予測画像を選択することで、符号量を抑制し、符号化効率を高めることができる。
また、コスト情報の比較により選択を行なっても良い。コスト情報とは、符号化効率が最も良くなる選択を行なうために使用する指標値であり、原画像と予測画像の予測差分量に加え、モード情報や動き情報等を符号化したときのビット量を考慮して算出することができる。
フレーム内予測画像のコスト情報は、上述したSAD値及び、フレーム内予測を行なう際に発生するモード情報とに基いて算出することができる。
また、フレーム間予測画像のコスト情報は、上述したSAD値、フレーム間予測を行なう際に発生するモード情報、及び、動き情報とに基いて算出することができる。
コスト情報を算出する具体的な計算式の例を、式（３）に示す。
ＣＯＳＴ＝ＳＡＤ＋Ｑ×HeaderBits・・・（３）
式（３）において、COSTは、フレーム内予測画像及びフレーム間予測画像それぞれに求めるコスト情報である。また、SADは、フレーム内予測画像及びフレーム間予測画像それぞれにおいて得られるSAD値である。Qは、予測差分情報に対して量子化処理を施す際に用いる量子化スケール情報である。また、HeaderBitsは、フレーム内予測画像に対してはフレーム内予測モード情報、フレーム間予測画像に対しては動き情報を表す。
量子化スケール情報Ｑは、画像情報を符号化する際に量子化処理を行う場合に用いる量子化ステップ値を基に算出する。以下に、量子化スケール情報Ｑの算出例を示す。
上記量子化ステップ値をＱｓとしたとき、量子化パラメータ値Ｑｐを式（４）によって定義する。
Ｑｐ＝６・Ｑｓ＋２・・・（４）
さらに、上記量子化パラメータＱｐの関数として、ラグランジュ乗数を近似的に求め、これをＱとする。ＱｐとＱとの対応表の一例を、表１に示す。
Figure 2008061133
次に、HeaderBitsの算出例を以下に示す。
本例では、HeaderBitsを予測モード情報もしくは動き情報をビット列に変換した際のビット数を表すものとする。例えば該動き情報は前記第２の動きベクトルと、予め定めた方法で導出した予測動きベクトルとの差分ベクトルを各成分ごとに絶対値をとり、それぞれ足し合わせた値を abs_mvd とすると、表２に示すような対応表でHeaderBits を得る。
Figure 2008061133
選択器１０５は、フレーム内予測画像及びフレーム間予測画像のそれぞれについてこのコスト値を求め、コスト値の小さい（符号量の少ない）と判定される方の予測画像を選択して出力する。
差分生成器１０６は、原画像ブロックと、選択器１０５より出力される予測画像との差分をとり、予測差分画像として直交変換部１０７へと出力する。
直交変換部１０７は、差分生成器１０６より出力される予測差分画像に直交変換を行って変換係数を求めた後、変換係数に所定の量子化スケールを適用して量子化し、量子化変換係数としてエントロピー符号化部１０８及び局所復号部１０９へと出力する。直交変換部１０７が適用する直交変換には、DCT(Discrete Cosine Transfer) や、アダマール変換等が一般的に用いられるが、これらに制限されない。
エントロピー符号化部１０８は、直交変換部１０７の出力する量子化変換係数と、フレーム内予測のモード情報（図示されない）又はフレーム間予測の動き情報（図示されない）についてそれぞれエントロピー符号化を施し、符号化ストリームとして出力する。
一方、局所復号部１０９は、直交変換部１０７より出力される量子化変換係数に対して逆量子化及び逆直交変換を施し、局所復号画像としてフレームバッファ１１０へと出力する。フレームバッファ１１０は、局所復号部１０９より出力される局所復号画像を保持し、少なくとも次のフレームまで遅延させた後、フレーム間予測部１０４の要求に応じて遅延フレーム画像としてフレーム間予測部１０４へと出力する。遅延フレーム画像は、フレーム間予測画像を生成するために用いられる。
以上説明したように、本実施形態によれば、動画像を圧縮符号化する符号化装置において、フレーム内予測符号化方式及びフレーム間予測符号化方式の両方を適用し、符号化効率が高くなると考えられる符号化方式による予測画像を用いて予測符号化を行なう。このように、常に効率の高い予測符号化方式を利用するので、高い符号化効率を実現することができる。
また、フレーム間予測画像の生成において、まず原画像よりも階調数の少ない画像を用いて動きベクトルを検出し、次いで、この動きベクトルを用いて定めた探索範囲で原画像を用いた動き検出を行なう。
階調数を落とした画像を用いた動き検出により、参照画像のデータ転送量も演算量も削減しながら、高精度で動きベクトルを検出することができる。そして、この動きベクトルを元に、元の階調数の原画像と参照データとを用いた動き検出の探索範囲を定めるため、十分小さな探索範囲とすることが可能となる。従って、フレームバッファから読み出す、探索に用いる多階調の参照データの量を大幅に削減することができる。
このようにして、本実施形態によれば、演算量やデータ転送量を削減しながら、符号化効率の高い動画像の符号化を行なうことが可能となる。
＜第２の実施形態＞
第２の実施形態として、図１の二値化画像フレームバッファ１０３の入力を局所復号の二値化画像に変える事でも同様な効果を得る事ができる。新たに二値化処理部を設けて局所復号化部１０９の出力を二値化画像処理して二値化画像フレームバッファ１０３に入力する。この実施形態の場合は、新たに二値化処理部を必要とするが、局所復号後の画像を用いる事でより予測符号化精度の高い符号化が実現可能となる。
＜他の実施形態＞
上述の実施形態においては、二値化画像を用いて第１の動きベクトルを検出する構成について説明した。しかし、原画像の高周波成分を抽出して階調数を低減した任意の階調数を有する画像を用いることによっても同様の効果を達成することが可能であることは、本技術分野の当業者には容易に理解されるところであろう。従って、二値化画像生成部１０２をＮ値化画像生成部（Ｍ＞Ｎ≧２。Ｍ＞２で、Ｍは原画像の階調数）とし、二値化画像の代わりにＮ値化画像を用いて、評価値をXORSUMの代りにSADを用いる構成としてもよい。
また、上述の実施形態の動画符号化装置は、フレーム内予測部１０１及びフレーム間予測部１０４において予測画像をそれぞれ生成し、選択器１０５で一方を選択して差分生成器１０６に供給して予測差分画像を生成する構成であった。しかしながら、フレーム内予測部１０１及びフレーム間予測部１０４において予測差分画像を生成して出力し、選択器１０５でいずれかを選択して直接直交変換部１０７へ供給する構成としても良い。
この場合、フレーム内予測部１０１では、原画像と生成したフレーム内予測画像との差分をフレーム内予測差分画像として出力し、フレーム間予測部１０４では原画像と生成したフレーム間予測画像との差分をフレーム間予測差分画像として出力すればよい。
さらに、上述の実施形態は、システムあるいはコンピュータ（ＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一実施形態である。
なお、上述の実施形態をコンピュータで実現するためのプログラムは、コンピュータで実行可能な形式に変換可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態を取りうるが、これらに限るものではない。
上述の実施形態をコンピュータで実現するためのプログラムは、コンピュータが読み取り可能な記憶媒体や、有線／無線通信を通じてコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、コンピュータに上述の実施形態を実現させるプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルは、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
従って、上述の実施形態をコンピュータで実現するためのプログラムファイルを、クライアントコンピュータに提供するサーバも本発明の一実施形態である。
また、上述の実施形態をコンピュータで実現するためのプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによってユーザのコンピュータに供給することができる。
また、上述の実施形態をコンピュータで実現するためのプログラムは、コンピュータ上で通常稼働している他のソフトウェア、代表的には基本ソフトウェア（ＯＳ）の機能を利用するものであってもよい。
さらに、上述の実施形態をコンピュータで実現するためのプログラムは、その一部をコンピュータに装着される拡張ボード等で動作するファームウェアで構成してもよいし、あるいは拡張ボード等が備えるＣＰＵで一部を実行するようにしてもよい。
本発明の第１の実施形態に係る動画像符号化装置の構成例を示す図である。 図１における二値化画像生成部１０２の内部構成例を示した図である。 図２に示す二値化画像生成部１０２のフィルタ部１０２１として適用可能な空間フィルタの２次元タップ係数の例を示す図である。 図１におけるフレーム間予測部１０４の内部構成例を示す図である。 動き検出時の探索範囲の重複について説明する図である。 従来の符号化装置における動き検出処理に係る構成を模式的に示した図である。

Claims (9)

  1. 動画像のフレームをブロック単位で符号化する画像符号化装置であって、
    入力動画像の処理対象ブロックに対する前記処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測手段と、
    前記処理対象ブロックに対する前記処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測手段と、
    予め定められた評価方法に従って、前記フレーム内予測手段と前記フレーム間予測手段を選択する選択手段と、
    前記処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成するＮ値化画像生成手段と、
    前記Ｎ値化画像生成手段の出力を記憶する記憶手段を有し、
    前記フレーム間予測手段は、
    前記Ｎ値化画像生成手段の出力と前記記憶手段からの出力を用いて前記Ｎ値化処理対象ブロックの動き検出をする動き検出手段と、
    前記動き検出手段が検出した検出結果に基づいて、前記第２の予測画像ブロックを生成する予測画像生成手段とを有することを特徴とする画像符号化装置。
  2. 前記Ｎ値化画像生成手段は、画像の高域成分抽出手段を有し、前記高域成分抽出手段の出力をＮ値化する事を特徴とする請求項１記載の画像符号化装置。
  3. 前記高域成分抽出手段は、低域通過フィルタ手段を有し、前記低域通過フィルタ手段の適用前と適応後の差分から高域成分を抽出することを特徴とする請求項１記載の画像符号化装置。
  4. 前記選択手段が、前記第１及び第２の予測画像ブロックのうち、前記処理対象ブロックとの類似度が高い方を選択することを特徴とする請求項１乃至請求項３いずれか１項に記載の画像符号化装置。
  5. 前記選択手段が、前記第１の予測画像ブロックについて、前記処理対象ブロックとの類似度及び前記フレーム内予測手段における予測モード情報とを用いて算出される第１のコスト情報と、前記第２の予測画像ブロックについて、前記処理対象ブロックとの類似度及び前記フレーム間予測手段における動き検出情報とを用いて算出される第２のコスト情報との比較に基づいて、前記第１の予測画像ブロック及び前記第２の予測画像ブロックの一方を選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像符号化装置。
  6. 前記Ｎ値化画像生成手段が、二値化画像生成手段であることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像符号化装置。
  7. 動画像のフレームをブロック単位で符号化する画像符号化装置であって、
    入力動画像の処理対象ブロックに対する前記処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測手段と、
    前記処理対象ブロックに対する前記処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測手段と、
    予め定められた評価方法に従って、前記フレーム内予測手段と前記フレーム間予測手段を選択する選択手段と、
    符号化画像を局所復号化する局所復号化手段と、
    前記処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成する第１のＮ値化画像生成手段と、
    前記局所復号化手段の出力画像の階調数を低減し、Ｎ値化（Ｎは２以上の整数）画像を生成する第２のＮ値化画像生成手段と、
    前記第２のＮ値化画像生成手段の出力を記憶する記憶手段を有し、
    前記フレーム間予測手段は、
    前記第１のＮ値化画像生成手段の出力と前記記憶手段からの出力を用いてＮ値化された処理対象ブロックの動き検出をする動き検出手段と、
    前記動き検出手段が検出した検出結果に基づいて、前記第２の予測画像ブロックを生成する予測画像生成手段とを有することを特徴とする画像符号化装置。
  8. 動画像フレームをブロック単位で符号化する画像符号化方法であって、
    入力動画像の処理対象ブロックに対する前記処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測工程と、
    、前記処理対象ブロックに対する前記処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測工程と、
    予め定められた評価方法に従って、前記フレーム内予測工程と前記フレーム間予測工程を選択する選択工程と、
    前記処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成するＮ値化画像生成工程と
    前記Ｎ値化画像生成工程の結果を記憶する記憶工程を有し、
    前期フレーム間予測工程は、
    前記Ｎ値化画像生成工程の結果と前記記憶工程からの記憶情報を用いて前記Ｎ値化処理対象ブロックの動き検出をする動き検出工程と、
    前記動き検出工程が検出した検出結果に基づいて、前記第２の予測画像ブロックを生成する予測画像生成工程とを有することを特徴とする画像符号化方法。
  9. コンピュータを請求項１乃至請求項７のいずれか１項に記載の画像符号化装置として機能させるプログラム。
JP2006238168A 2006-09-01 2006-09-01 画像符号化装置及び画像符号化方法 Expired - Fee Related JP4993676B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006238168A JP4993676B2 (ja) 2006-09-01 2006-09-01 画像符号化装置及び画像符号化方法
US11/844,677 US8891621B2 (en) 2006-09-01 2007-08-24 Image coding apparatus and image coding method
US14/520,880 US9948944B2 (en) 2006-09-01 2014-10-22 Image coding apparatus and image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006238168A JP4993676B2 (ja) 2006-09-01 2006-09-01 画像符号化装置及び画像符号化方法

Publications (3)

Publication Number Publication Date
JP2008061133A true JP2008061133A (ja) 2008-03-13
JP2008061133A5 JP2008061133A5 (ja) 2009-10-15
JP4993676B2 JP4993676B2 (ja) 2012-08-08

Family

ID=39151487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006238168A Expired - Fee Related JP4993676B2 (ja) 2006-09-01 2006-09-01 画像符号化装置及び画像符号化方法

Country Status (2)

Country Link
US (2) US8891621B2 (ja)
JP (1) JP4993676B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002557A3 (ko) * 2011-06-27 2013-03-14 삼성전자 주식회사 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2015122573A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 動き検出装置、動き検出方法及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110211A (ja) * 2007-10-29 2009-05-21 Sony Corp 情報符号化装置および方法、情報検索装置および方法、情報検索システムおよび方法、並びにプログラム
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
CN102656886B (zh) * 2009-12-14 2016-08-10 汤姆逊许可证公司 知晓对象的视频编码策略
JP6016332B2 (ja) * 2011-05-12 2016-10-26 キヤノン株式会社 画像処理装置、画像処理方法
US20140092969A1 (en) * 2012-10-01 2014-04-03 Mediatek Inc. Method and Apparatus for Data Reduction of Intermediate Data Buffer in Video Coding System
KR101491591B1 (ko) * 2012-11-05 2015-02-09 주식회사 케이티 웹앱 가상화 서비스를 제공하는 가상화 서버 및 웹앱 가상화 서비스 제공을 위한 데이터 전송방법
EP3271524A4 (en) 2015-03-18 2018-11-21 Solatube International, Inc. Daylight collectors with diffuse and direct light collection
US9816675B2 (en) 2015-03-18 2017-11-14 Solatube International, Inc. Daylight collectors with diffuse and direct light collection
JP7171322B2 (ja) * 2018-09-04 2022-11-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN112330618B (zh) * 2020-10-29 2023-09-01 浙江大华技术股份有限公司 图像偏移检测方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63209383A (ja) * 1987-02-26 1988-08-30 Matsushita Electric Ind Co Ltd 画像の動き情報抽出装置
JPS6427380A (en) * 1987-07-23 1989-01-30 Fujitsu Ltd Inter-frame coding system
JPH0447788A (ja) * 1990-06-14 1992-02-17 Sony Corp テレビジョン受像機
JPH07123406A (ja) * 1993-10-22 1995-05-12 Canon Inc 動きベクトル検出装置
JPH08126013A (ja) * 1994-10-27 1996-05-17 Meidensha Corp 画像伝送装置
JPH08298665A (ja) * 1994-04-21 1996-11-12 Sanyo Electric Co Ltd 動きベクトル検出回路、検出方法、及び動画像圧縮回路
JP2006020217A (ja) * 2004-07-05 2006-01-19 Sharp Corp 画像符号化装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5658368A (en) * 1979-10-17 1981-05-21 Matsushita Electric Ind Co Ltd Band compressing method
US4470772A (en) * 1982-05-20 1984-09-11 Tecumseh Products Company Direct suction radial compressor
FR2668288B1 (fr) * 1990-10-19 1993-01-15 Di Francesco Renaud Procede de transmission, a bas debit, par codage celp d'un signal de parole et systeme correspondant.
JP3513160B2 (ja) * 1991-12-06 2004-03-31 キヤノン株式会社 動画像信号符号化装置及びその方法
JPH07154801A (ja) 1993-11-29 1995-06-16 Ricoh Co Ltd 階層型動きベクトル検出方法
US5650829A (en) * 1994-04-21 1997-07-22 Sanyo Electric Co., Ltd. Motion video coding systems with motion vector detection
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
JP2671820B2 (ja) * 1994-09-28 1997-11-05 日本電気株式会社 両方向予測方法及び両方向予測装置
EP0717554B1 (en) 1994-12-16 2001-06-06 Canon Kabushiki Kaisha Coding/decoding apparatus and coding/decoding method
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
ES2184117T3 (es) * 1996-07-31 2003-04-01 Matsushita Electric Ind Co Ltd Decodificador de imagen y procedimiento de decodificado de imagen.
JP3294510B2 (ja) * 1996-09-27 2002-06-24 シャープ株式会社 動画像符号化装置及び動画像復号装置
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6614847B1 (en) * 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
EP0926899A3 (en) * 1997-12-25 1999-12-15 SANYO ELECTRIC Co., Ltd. An apparatus and process for decoding motion pictures
US6470050B1 (en) * 1999-04-09 2002-10-22 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and its motion vector detection method
JP2001268565A (ja) * 2000-03-15 2001-09-28 Fuji Xerox Co Ltd 画像符号化装置および画像復号装置
US6411229B2 (en) * 2000-04-28 2002-06-25 Matsushita Electric Industrial Co., Ltd. Variable length decoder
EP1217843B1 (en) 2000-12-19 2012-11-28 Canon Kabushiki Kaisha Image processing method, apparatus, and storage medium
JP4644939B2 (ja) * 2001-01-17 2011-03-09 日本電気株式会社 動画像符号化装置および動画像符号化方法
US6603413B2 (en) 2001-02-07 2003-08-05 Canon Kabushiki Kaisha Variable-length decoding apparatus and method
JP3977087B2 (ja) 2001-02-13 2007-09-19 キヤノン株式会社 画像符号化装置、方法及びプログラム
JP2002261623A (ja) 2001-02-28 2002-09-13 Canon Inc 復号装置、復号方法、記憶媒体及びプログラムソフトウェア
JP3984877B2 (ja) 2001-10-05 2007-10-03 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN1240225C (zh) * 2002-02-13 2006-02-01 松下电器产业株式会社 图像编码装置以及图像编码方法
JP3534742B1 (ja) * 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
TWI231101B (en) * 2004-04-21 2005-04-11 Faraday Tech Corp Method and processing circuit of the data encoder
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
JP5062968B2 (ja) * 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP2461590A3 (en) * 2005-04-13 2012-08-29 NTT DoCoMo, Inc. Image prediction on the basis of a frequency band analysis of the to be predicted image
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
JP4197695B2 (ja) * 2005-08-11 2008-12-17 株式会社東芝 動画像符号化方法、装置及びプログラム
KR101456495B1 (ko) * 2008-08-28 2014-10-31 삼성전자주식회사 무손실 부호화/복호화 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63209383A (ja) * 1987-02-26 1988-08-30 Matsushita Electric Ind Co Ltd 画像の動き情報抽出装置
JPS6427380A (en) * 1987-07-23 1989-01-30 Fujitsu Ltd Inter-frame coding system
JPH0447788A (ja) * 1990-06-14 1992-02-17 Sony Corp テレビジョン受像機
JPH07123406A (ja) * 1993-10-22 1995-05-12 Canon Inc 動きベクトル検出装置
JPH08298665A (ja) * 1994-04-21 1996-11-12 Sanyo Electric Co Ltd 動きベクトル検出回路、検出方法、及び動画像圧縮回路
JPH08126013A (ja) * 1994-10-27 1996-05-17 Meidensha Corp 画像伝送装置
JP2006020217A (ja) * 2004-07-05 2006-01-19 Sharp Corp 画像符号化装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002557A3 (ko) * 2011-06-27 2013-03-14 삼성전자 주식회사 움직임 정보의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9137543B2 (en) 2011-06-27 2015-09-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9204160B2 (en) 2011-06-27 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9204162B2 (en) 2011-06-27 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9253501B2 (en) 2011-06-27 2016-02-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9253500B2 (en) 2011-06-27 2016-02-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
US9432680B2 (en) 2011-06-27 2016-08-30 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information, and method and apparatus for decoding same
JP2015122573A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 動き検出装置、動き検出方法及びプログラム
US10063880B2 (en) 2013-12-20 2018-08-28 Canon Kabushiki Kaisha Motion detecting apparatus, motion detecting method and program

Also Published As

Publication number Publication date
US20080056365A1 (en) 2008-03-06
US20150071354A1 (en) 2015-03-12
US8891621B2 (en) 2014-11-18
US9948944B2 (en) 2018-04-17
JP4993676B2 (ja) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4993676B2 (ja) 画像符号化装置及び画像符号化方法
JP5669278B2 (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
RU2695776C1 (ru) Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений
US8098940B2 (en) Method of and apparatus for encoding signals, and method of and apparatus for decoding the encoded signals
US7848579B2 (en) Image coding device, method and computer program with data coding amount prediction
US9031125B2 (en) Image predictive encoding and decoding device
US20040081238A1 (en) Asymmetric block shape modes for motion estimation
JP2013511874A (ja) 画像のブロックを符号化する方法及び画像のブロックを再構成する方法
JP4762938B2 (ja) データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
JP4785678B2 (ja) 画像符号化装置および画像符号化方法
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
JP5788952B2 (ja) 動画像復号化方法
JP5375697B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム
JP2006074520A (ja) 動きベクトル検出装置
JP5887020B1 (ja) 動画像復号化方法
JP2008258769A (ja) 画像符号化装置及びその制御方法、並びに、コンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4993676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees