JP2004007360A - 動画像符号化方法、動画像符号化装置および動画像符号化処理プログラム - Google Patents
動画像符号化方法、動画像符号化装置および動画像符号化処理プログラム Download PDFInfo
- Publication number
- JP2004007360A JP2004007360A JP2002297589A JP2002297589A JP2004007360A JP 2004007360 A JP2004007360 A JP 2004007360A JP 2002297589 A JP2002297589 A JP 2002297589A JP 2002297589 A JP2002297589 A JP 2002297589A JP 2004007360 A JP2004007360 A JP 2004007360A
- Authority
- JP
- Japan
- Prior art keywords
- block
- predetermined
- processing
- encoding
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Abstract
【課題】動画像を符号化する処理の高速化および効率化を図ること。
【解決手段】処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化方法であって、処理対象であるブロックと符号化の際に参照されるフレーム（動きベクトル検出を行う際に参照するフレーム）の参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理（例えば、ＤＣＴ処理および量子化処理）を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする。
【選択図】 図１
【解決手段】処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化方法であって、処理対象であるブロックと符号化の際に参照されるフレーム（動きベクトル検出を行う際に参照するフレーム）の参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理（例えば、ＤＣＴ処理および量子化処理）を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化処理を行うための動画像符号化方法、動画像符号化装置および動画像符号化処理プログラムに関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを通じて動画像の送受信が行われるようになっている。ネットワークを通じて動画像の送受信を行う場合、送信側において動画像を圧縮する処理が行われている。
これら送信側において行われる処理のうち、量子化処理は、動画像データを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：以下、「ＤＣＴ」と言う。）して得られるＤＣＴ係数を除算する処理を含む。そのため、量子化処理は、処理負荷が大きく、量子化処理の負荷を軽減するための方法が種々考案されている。
【０００３】
例えば、特開平１０−１９１３３４号公報あるいは特開平１０−１１６２６７号公報等には、量子化処理における除算を所定の場合にスキップし、全体として処理負荷を軽減するための方法が開示されている。
これらの方法においては、量子化処理前に、ブロックに含まれる各ＤＣＴ係数が量子化処理において全て“０”となるか否かを個別に判定し、“０”となると判定された場合には、量子化処理をスキップする。
【０００４】
例えば、“ｘ”を量子化する対象であるＤＣＴ係数、“Ｋ”を量子化パラメータに基づく除数とし、量子化における演算をｘ／Ｋによって行う場合、ｙ＝ｘ／Ｋによって得られる“ｙ”は、−Ｋ＜｜ｘ｜＜Ｋであれば、除算を行うことなくｙ＝０と判定できる。なお、この場合、除算結果のうち小数点以下は切り捨てられる。
【０００５】
【特許文献１】
特開平１０−１９１３３４号公報
【特許文献２】
特開平１０−１１６２６７号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法においては、動画像データの各ブロックに含まれる全てのＤＣＴ係数（例えば、６４個）について、それぞれ量子化結果が“０”となるか否かを判定している。
ところが、このように判定した結果、ブロックに含まれる全てのＤＣＴ係数について、量子化結果が“０”となる場合が少なくない。そして、この場合、ＤＣＴ係数を算出する処理および上述のような各ＤＣＴ係数について判定する処理の結果が破棄されることとなる。
【０００７】
即ち、量子化結果が“０”となる場合、ＤＣＴの対象となる信号を計算する処理、複雑な演算を含むＤＣＴ処理および各ブロックに含まれるＤＣＴ係数についての判定処理が無駄となり、処理効率が低下する原因となっていた。
本発明の課題は、動画像を符号化する処理の高速化および効率化を図ることである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明は、
処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレーム（動きベクトル検出を行う際に参照するフレーム）の参照ブロックとの差分に関する情報（例えば、差分二乗和、差分絶対値和あるいは動き検出処理において算出される差分に関するパラメータ等）と、前記動画像の量子化処理において用いられる量子化パラメータ（例えば、発明の実施の形態中の「ＱＰ」）とに基づいて、該ブロックについての所定処理（例えば、ＤＣＴ処理および量子化処理）を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【０００９】
ここで、所定処理を省略可能な場合には、発明の実施の形態中の（６）式あるいは（７）式に挙げる条件を厳密に満たす場合（例えば、図２の▲１▼の領域に相当する場合）に加え、この条件を一定範囲で緩和した場合（例えば、図２の▲２▼の領域に相当する場合）を含めることが可能である。
請求項２記載の発明は、
請求項１記載の動画像符号化方法であって、
前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定し、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定することを特徴としている。
【００１０】
即ち、図２において、差分絶対値和がより小さい領域で所定処理を省略したり、量子化パラメータがより大きい領域で所定処理を省略したりするように、判定条件を示す所定の特性を設定される。
請求項３記載の発明は、
請求項１または２記載の動画像符号化方法であって、
前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いることを特徴としている。
【００１１】
請求項４記載の発明は、
請求項３記載の動画像符号化方法であって、
前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００１２】
【数４】
【００１３】
ここで、Ｓ＜Ｋ（ＱＰ）の比較式の具体例として、
【００１４】
【数５】
【００１５】
あるいは、
【００１６】
【数６】
【００１７】
等を用いることが可能である。
なお、上２式において、左辺中のΣΣ｜ｆ（ｘ，ｙ）｜の部分は、前記差分絶対値和Ｓを意味し、上２式における前者はＨ．２６３方式の場合、後者はＭＰＥＧ方式の場合の比較式である。
さらに、動き検出処理のパターンマッチングにおいて、ブロック相互間の類似を判定するための指標として、差分絶対値和を用いている場合には、これをそのまま差分に関する情報とすることができる。また、動き検出処理のパターンマッチングにおいて、ブロック相互間の類似を判定するための指標として、差分二乗和を用いている場合には、発明の実施の形態中、（９）式に示すように、（差分絶対値和）≒（差分二乗和の平方根）と変換して用いることが可能であり、特許請求の範囲で言う「差分絶対値和」には、この近似によって得られる差分絶対値和を含むものとする。
【００１８】
請求項５記載の発明は、
請求項１〜４のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００１９】
請求項６記載の発明は、
請求項１〜４のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００２０】
請求項７記載の発明は、
請求項１〜３のいずれかに記載の動画像符号化方法であって、
前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値（例えば、図３および図４の境界座標によって定められる差分絶対値和、量子化パラメータの値）と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００２１】
請求項８記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２２】
ここで、符号化処理の予測時間は、所定の計算によって算出される予測値や、従前のフレームの処理時間の実測値を用いることが可能である。
請求項９記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２３】
請求項１０記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２４】
ここで、テクスチャとは、画像において人間の視覚に認識され易い程度を示すパラメータであり、差分絶対値和等から算出可能である。
請求項１１記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２５】
即ち、ユーザが任意に選択したパラメータによって、判定条件を定めることが可能である。
請求項１２記載の発明は、
請求項１〜１１のいずれかに記載の動画像符号化方法であって、
符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させることを特徴としている。
【００２６】
したがって、符号化処理の負荷が増大してきた場合等には、より多くのブロックについて所定処理を省略するような判定条件に逐次変更することが可能である。
請求項１３記載の発明は、
請求項１〜１２のいずれかに記載の動画像符号化方法であって、
前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴としている。
【００２７】
請求項１４記載の発明は、
処理対象である動画像に対し、所定処理（例えば、ＤＣＴあるいは量子化等）を含むフレーム内符号化を行うための動画像符号化方法であって、処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【００２８】
例えば、符号化対象ブロックに含まれる画素値を加算し、その加算結果が、ＤＣＴおよび量子化処理等をした場合に、全てのブロックについて“０”となるものであるか否かを判定することにより、全て“０”と判定される場合には所定処理を省略し、全ては“０”でないと判定される場合には所定処理を行なうといったことが可能である。
【００２９】
請求項１５記載の発明は、
処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【００３０】
請求項１６記載の発明は、
請求項１５記載の動画像符号化装置であって、
前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定可能であり、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定することを特徴としている。
【００３１】
請求項１７記載の発明は、
請求項１５または１６記載の動画像符号化装置であって、
前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いることを特徴としている。
【００３２】
請求項１８記載の発明は、
請求項１７記載の動画像符号化装置であって、
前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００３３】
【数７】
【００３４】
請求項１９記載の発明は、
請求項１５〜１８のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００３５】
請求項２０記載の発明は、
請求項１５〜１８のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００３６】
請求項２１記載の発明は、
請求項１５〜１７のいずれかに記載の動画像符号化装置であって、
前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００３７】
請求項２２記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００３８】
請求項２３記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００３９】
請求項２４記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００４０】
請求項２５記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
請求項２６記載の発明は、
請求項１５〜２５のいずれかに記載の動画像符号化装置であって、
符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させることを特徴としている。
【００４１】
請求項２７記載の発明は、
請求項１５〜２６のいずれかに記載の動画像符号化装置であって、
前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴としている。
請求項２８記載の発明は、
処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化装置であって、処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【００４２】
請求項２９記載の発明は、
処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化処理プログラムであって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする機能をコンピュータに実現させることを特徴としている。
【００４３】
請求項３０記載の発明は、
請求項２９記載の動画像符号化処理プログラムであって、
前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定可能であり、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００４４】
請求項３１記載の発明は、
請求項２９または３０記載の動画像符号化処理プログラムであって、
前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いる機能をコンピュータに実現させることを特徴としている。
【００４５】
請求項３２記載の発明は、
請求項３１記載の動画像符号化処理プログラムであって、
前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００４６】
【数８】
【００４７】
請求項３３記載の発明は、
請求項２９〜３２のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とする機能をコンピュータに実現させることを特徴としている。
【００４８】
請求項３４記載の発明は、
請求項２９〜３２のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とする機能をコンピュータに実現させることを特徴としている。
【００４９】
請求項３５記載の発明は、
請求項２９〜３１のいずれかに記載の動画像符号化処理プログラムであって、前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５０】
請求項３６記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５１】
請求項３７記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５２】
請求項３８記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５３】
請求項３９記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
請求項４０記載の発明は、
請求項２９〜３９のいずれかに記載の動画像符号化処理プログラムであって、符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させる機能をコンピュータに実現させることを特徴としている。
【００５４】
請求項４１記載の発明は、
請求項２９〜４０のいずれかに記載の動画像符号化処理プログラムであって、前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴としている。
請求項４２記載の発明は、
処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化処理プログラムであって、処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする機能をコンピュータに実現させることを特徴としている。
【００５５】
本発明によれば、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報（各ブロックの差分絶対値和あるいは差分二乗和）を利用して、所定処理を省略可能であるか否かの判定を行い、所定処理を省略可能であると判定されたブロックについては、該所定処理を行わず、規定値を処理結果とする。即ち、各画素について、条件判定を行うのではなく、ブロックを単位として、その判定を行う。
【００５６】
したがって、動画像の符号化において、所定処理、特に、処理負荷が小さくなく、符号化の条件等に依らず必要となる処理負荷を有するＤＣＴ処理および量子化処理を省略可能であるか否かを効率的に判定できる。また、その判定条件は、動画像の劣化を抑えつつ、ＤＣＴ処理および量子化処理等の所定処理を省略可能なものであり、動画像符号化処理を高速かつ効率的に行うことが可能となる。
【００５７】
また、本発明において、所定処理の省略の判定に用いる情報（差分絶対値和あるいは差分二乗和等）は、符号化のための動き検出において取得されるものであるため、条件判定のための演算を軽減することができ、より効率的な処理が可能となる。
さらに、判定の結果、所定処理の省略が可能である場合には、所定処理の前段階において、符号化の際に参照されるフレームの所定ブロックとの差分を求める演算を行う必要もなくなり、さらに符号化処理を高速かつ効率的に行うことができる。
【００５８】
また、判定条件を一定範囲で緩和した場合には、画質の劣化は許容できる範囲である一方、符号化処理をより高速化することができる。
具体的には、判定条件を厳密に充足するブロックのみならず、判定条件を満たさないブロックのうち、所定処理を省略した場合に動画像の画質に与える影響が小さいブロックについて、所定処理を優先的に省略する。それにより、符号化処理を高速化できると共に、処理負荷の増大に伴って画質が極端に低下する事態を防ぐことができる。
【００５９】
【発明の実施の形態】
以下、図を参照して本発明に係る動画像符号化装置の実施の形態を詳細に説明する。
図１は、本発明を適用した動画像符号化装置１の機能構成の概略を示すブロック図である。動画像符号化装置１は、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）に基づく動画像を符号化処理する装置である。
【００６０】
図１において、動画像符号化装置１は、動き検出部（ＭＥ）１０と、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部２０と、量子化部（Ｑ）３０と、エントロピー符号化部４０とを含んで構成される。なお、エントロピー符号化部４０は、従来と同様の可変長符号化処理等を行う部分であるため説明を省略し、動き検出部１０、ＤＣＴ部２０、量子化部３０のみについて説明する。また、動画像には、フレーム間符号化ブロックと、フレーム内符号化ブロックとが含まれるが、本実施の形態においては、フレーム間符号化ブロックを対象とする処理について説明する。
【００６１】
動き検出部１０は、符号化対象であるブロック（マクロブロックの場合を含む。）について、符号化の際に参照されるフレームの各ブロックとパターンマッチングを行い、最も類似するブロックとの間における動きベクトルを取得する。
このとき、パターンマッチングにおいて、ブロック相互間の類似を判定するための指標として、差分絶対値和あるいは差分二乗和を用いる。
【００６２】
具体的には、符号化対象のブロックの画素データをａ（ｘ，ｙ）、動き検出の参照先であるフレームの各ブロックの画素データをｂ（ｘ’，ｙ’）とすると、差分絶対値和は、
【００６３】
【数９】
【００６４】
で与えられ、差分二乗和は、
【００６５】
【数１０】
【００６６】
で与えられる。なお、（１）式および（２）式において、Ｎはブロックの縦および横のサイズ（画素数）である。
そして、差分絶対値和あるいは差分二乗和が最小となるブロックを最も類似するブロックとして動きベクトルを取得する。
ＤＣＴ部２０は、符号化対象であるフレームの画素データを離散コサイン変換し、基底波の和に変換（周波数成分に分解）する。
【００６７】
具体的には、画素データの関数をｆ（ｘ，ｙ）とすると、離散コサイン変換して得られる関数Ｆ（ｕ，ｖ）は、次式で与えられる。
【００６８】
【数１１】
【００６９】
次に、量子化部３０は、ＤＣＴ部２０によって算出されたＤＣＴ係数を量子化する。なお、量子化の方法は、ＭＰＥＧ−４においては、Ｈ．２６３方式およびＭＰＥＧ方式の２つが定義されている。
量子化部３０は、具体的には、所定の量子化パラメータでＤＣＴ係数を除算する処理を含む演算を行い、量子化によって得られたより小さな値（量子化結果）をＤＣＴ係数とする。この結果、特に符号化ビットレートが低い場合には、大半のＤＣＴ係数が“０”となる場合が少なくない。そのため、従来、以下に示す方法により量子化処理をスキップする方法が用いられている。
【００７０】
例えば、Ｈ．２６３方式においては、量子化パラメータがＱＰである場合、ｆ（ｘ，ｙ）の量子化結果ＱＦ（ｕ，ｖ）は、Ｆ（ｕ，ｖ）が０以上のとき、ＱＦ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）−ＱＰ／２）／（２ＱＰ）、Ｆ（ｕ，ｖ）が０未満のとき、ＱＦ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）＋ＱＰ／２）／（２ＱＰ）により求められる。
【００７１】
そこで、Ｆ（ｕ，ｖ）とＱＰとを各ＤＣＴ係数についてそれぞれ比較し、比較結果に基づいて、ＱＦ（ｕ，ｖ）が“０”となる場合には、そのＤＣＴ係数について量子化処理をスキップする。
しかし、この方法では、ブロック内の全てのＤＣＴ係数における比較結果が“０”である場合にも、各ＤＣＴ係数について比較していくこととなる。
【００７２】
一方、全てのＤＣＴ係数について比較結果が“０”であれば、動き検出部１０において算出された差分絶対値和あるいは差分二乗和は一定の範囲内になると考えられる。
したがって、本発明においては、動き検出部１０において算出された差分絶対値和あるいは差分二乗和を利用して、ブロック内の全てのＤＣＴ係数が“０”となるか否かを判定し、全て“０”の場合には、量子化処理をスキップすることとする。
【００７３】
以下、ブロックに含まれる全てのＤＣＴ係数が“０”となると判定するための判定条件について説明する。なお、ここでは、主に差分絶対値和について説明することとする。
まず、上述の（３）式より、ＤＣＴ係数として算出され得る最大値を求める。（３）式より、
【００７４】
【数１２】
【００７５】
また、Ｆ（ｕ，ｖ）を量子化した場合に“０”となるＦ（ｕ，ｖ）の条件（ＱＦ（ｕ，ｖ）＝０となる条件）は、
【００７６】
【数１３】
【００７７】
即ち、ＤＣＴ処理後のＤＣＴ係数の最大値が、量子化結果が“０”となるＦ（ｕ，ｖ）の範囲内となる場合には、量子化結果において、全てのＤＣＴ係数が“０”となる。したがって、ＤＣＴ処理および量子化を行うことなく、量子化結果が“０”であると判定可能な条件は、（４）式および（５）式より、
【００７８】
【数１４】
【００７９】
となる。ここで、ｆ（ｘ）の絶対値和は、動き検出部１０において算出されている。
したがって、動き検出部１０による処理の後、ｆ（ｘ）の絶対値和が（６）式を満たすか否かを判定し、（６）式を満たすと判定された場合には、ＤＣＴ部２０および量子化部３０による処理をスキップし、そのブロックについては、量子化後のＤＣＴ係数（ＱＦ（ｕ，ｖ））を全て“０”とする。
【００８０】
なお、上述の説明においては、量子化の方法が、Ｈ．２６３の場合について述べたが、ＭＰＥＧ方式の場合も同様の考え方により、ｆ（ｘ，ｙ）についての判定が可能である。即ち、ＭＰＥＧ方式においては、量子化パラメータがＱＰである場合、ｆ（ｘ、ｙ）の量子化結果ＱＦ（ｕ，ｖ）は、
【００８１】
【数１５】
【００８２】
で表される。ただし、（７）式において、Ｘ／／Ｙは、Ｘが０以上のとき、（Ｘ＋Ｙ／２）／Ｙ、Ｘが０未満のとき、（Ｘ−Ｙ／２）／Ｙであることを意味する。また、ＱＭ（ｕ，ｖ）は、量子化行列である。
そして、ＭＰＥＧ方式の場合の条件式は、Ｈ．２６３方式と同様の演算を行うと、
【００８３】
【数１６】
【００８４】
となる。
なお、ここでは、Ｈ．２６３方式およびＭＰＥＧ方式の場合の条件式を例として示したが、量子化方法としては、これらの方式に限られず、上述の条件式以外の条件式を用いることも可能である。
さらに、上述の判定条件は、動き検出部１０において、差分絶対値和を用いて動き検出を行う場合に基づくものであるが、この判定条件を用いて、動き検出部１０が差分二乗和を用いる場合の近似的な判定条件を得ることができる。
【００８５】
即ち、（６）式において、
【００８６】
【数１７】
【００８７】
とおくと、差分二乗和Ｔは、
【００８８】
【数１８】
【００８９】
の関係を有すると考えられる。
したがって、（６）式と（１０）式とに基づいて、動き検出部１０が差分二乗和を用いている場合にも、各ブロックの量子化後のＤＣＴ係数が全て“０”となるか否かを一定の正確性をもって判定できる。この場合、実際には量子化後のＤＣＴ係数が全て“０”でないブロックについても、量子化後のＤＣＴ係数が“０”と判定し、処理することとなる。しかし、厳密な正確性と引き換えに、処理の高速化を求める場合等には、ある程度の画質の劣化を伴うとしても、このように処理することは意義があり、特にリアルタイム処理において、円滑な画像転送が要求される場合に有用である。
【００９０】
また、本実施の形態においては、フレーム間符号化を行なう場合を例に挙げて説明したが、フレーム内符号化を行なう場合には、差分絶対値和あるいは差分二乗和といった参照ブロックとの差分に関する情報でなく、符号化対象ブロックの画素値そのものを用いて、ＤＣＴおよび量子化処理を省略可能であるか否かの判定を行なうことも可能である。
【００９１】
即ち、符号化対象ブロックに含まれる画素値を加算し、その加算結果が、ＤＣＴおよび量子化処理をした場合に、全てのブロックについて“０”となるものであるか否かを判定することにより、フレーム間符号化の場合と同様に処理を省略することが可能である。
以上のように、本発明を適用した動画像符号化装置１は、各ブロックの差分絶対値和あるいは差分二乗和を利用して、所定条件（（６）式あるいは（７）式等）に基づく判定を行い、量子化後にブロックのＤＣＴ係数の全てが“０”となると判定されたブロックについては、ＤＣＴ処理および量子化処理を行わず、量子化後のＤＣＴ係数を“０”とする。即ち、各画素について、量子化後のＤＣＴ係数が“０”であるか否かを行うのではなく、ブロックを単位として、その判定を行う。
【００９２】
したがって、動画像の符号化において、処理負荷が小さくなく、符号化の条件等に依らず必要となる処理負荷を有するＤＣＴ処理および量子化処理を省略可能であるか否かを効率的に判定できる。また、その判定条件は、動画像の劣化を抑えつつ、ＤＣＴ処理および量子化処理を省略可能なものであり、動画像符号化処理を高速かつ効率的に行うことが可能となる。
【００９３】
また、動画像符号化装置１が、ＤＣＴ処理および量子化処理の省略の判定に用いる差分絶対値和あるいは差分二乗和は、符号化のための動き検出において取得されるものであるため、条件判定のための演算を軽減することができ、より効率的な処理が可能となる。
さらに、判定の結果、ＤＣＴ処理および量子化処理の省略が可能である場合には、ＤＣＴ処理の前段階において、符号化の際に参照されるフレームの所定ブロックとの差分を求める演算を行う必要もなくなり、さらに符号化処理を高速かつ効率的に行うことができる。
【００９４】
なお、本実施の形態において、差分絶対値和を用いる場合の判定条件（（６）式参照）は、量子化後のＤＣＴ係数が確実に全て“０”となる場合の条件を示した。図２は、差分絶対値和Ｓと、量子化パラメータとの関係における判定条件を示す図である。図２において、（６）式に基づく判定条件は、▲１▼の領域を示しており、この領域では、確実に量子化後のＤＣＴ係数が全て“０”となる。
【００９５】
一方、▲２▼の領域は、一定割合以下（例えば、５０％以下あるいは３０％以下等）で、量子化後のＤＣＴ係数が全ては“０”でないブロックが含まれる領域を示している。（６）式に示す判定条件に加え、所定割合であれば、量子化後のＤＣＴ係数が“０”とならないブロックを、量子化後のＤＣＴ係数が“０”となると判定したとしても、画質の劣化は許容できる程度である。その反面、符号化処理の高速化を期待できるため、所定割合まで（▲２▼の領域）であれば、上述の判定条件を緩和することも可能である。
【００９６】
即ち、従来、動画像のリアルタイムエンコードを行う際、動画像の符号化が所定時間内に終了しない場合には、エンコード中のフレームについて、符号化処理を途中で中止したり、エンコード中のフレームを破棄したりするといった処理が行われている。
このような場合、画像の一部が欠ける、あるいは、コマ落ちが発生する等、符号化後の動画像の質が極端に低下する事態が発生する。
【００９７】
そこで、量子化後のＤＣＴ係数が全ては“０”とならないブロックの一部を、量子化後のＤＣＴ係数が全て“０”となると判定し、符号化における処理負荷を軽減することにより、動画像の質を極端に低下させる事態を避けることが考えられる。
このとき、フレームの各ブロックに優先順位を与え、符号化された動画像の質に影響を与え難いブロックの符号化をスキップすることで、より適切に、動画像の質を維持しつつ、符号化処理を高速化することが可能である。
【００９８】
以下、上述の▲２▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定する場合を含め、符号化処理を高速化する種々の方法について説明する。
第１の方法として、上述のように、図２の▲２▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定することが可能である。
図２において、差分絶対値和の小さい領域ほど量子化後のＤＣＴ係数が全て“０”となる割合が高い傾向にある。また、量子化後のＤＣＴ係数が全ては“０”とならないブロックであっても、差分絶対値和のより小さい領域にあるものほど、量子化後のＤＣＴ係数を全て“０”と判定したとしても、動画像の質に与える影響が少ないものである。
【００９９】
そこで、図２における境界条件を示す関数（以下、「境界線」と言う。）の傾きを所定のパラメータ（符号化処理において取得可能なパラメータあるいは任意に入力されたパラメータ）に基づいて変化させ、量子化後のＤＣＴ係数が全て“０”であると判定する領域を▲１▼の領域から拡大し、▲２▼の領域とする。
ここで、境界線の傾きを変化させる際の基準となるパラメータについて説明する。
【０１００】
図２において、差分絶対値和をＤｉｆｆと置くと、量子化パラメータＱＰおよび傾きＫとの間には、
【０１０１】
【数１９】
【０１０２】
の関係が成立する。
さらに、（１１）式の傾きＫとして、例えば、
【０１０３】
【数２０】
【０１０４】
なる関数を採用することが可能である。
ただし、ｔ’＝ｍｉｎ（Ｔ，ｔ）であり、“Ｔ”は、符号化処理に許容される最大の時間、“ｔ”は、符号化処理に既に要した時間である。そのため、ここでは、ｔ＝０の場合、傾きＫは“０”となり、ｔ＞Ｔの場合、傾きＫは無限大となる。
【０１０５】
なお、ここで言う「符号化処理に許容される最大の時間」として、符号化処理時間として予定されているフレーム単位の時間あるいはブロック（マクロブロック）単位の時間等が採用可能である。
そして、（１２）式における“Ｔ”として、計算により予測された値を用いることや、従前の処理実績（例えば、符号化の際に参照されるフレームの処理時間）を用いること等が可能である。
【０１０６】
また、（１２）式においては、符号化処理時間を基準として傾きＫを定めることとしたが、処理された符号量に基づいて傾きＫを定めたり、符号化される画像のテクスチャに基づいて傾きＫを定めたり、あるいは、符号化処理を行う際に、ユーザが傾きＫをマニュアル入力するといったことが可能である。
ここで、符号化される画像のテクスチャに基づいて傾きＫを定める場合には、画像全体において、人間の視覚に認識され易い部分は通常の符号化処理を行い、人間の視覚に認識され難い部分は符号化処理をスキップするように、傾きＫが変化される。このテクスチャは、差分絶対値和に基づいて特徴付けたり、動き検出部１０において算出される各種パラメータによって特徴付けたりすることが可能である。
【０１０７】
次に、第２の方法として、図３に示す▲３▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定することが可能である。なお、図３において点線によって表される特性は、図２における▲１▼の領域の境界線を表している。
この場合、境界線を規定する座標（以下、「境界座標」と言う。）は、第１の方法において傾きＫを定める場合と同様に、処理された符号量あるいは符号化される画像のテクスチャに基づいて定めたり、符号化処理を行う際に、ユーザが境界座標をマニュアル入力するといったことが可能である。
【０１０８】
また、第３の方法として、図４に示す▲４▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定することが可能である。なお、図４において点線によって表される特性は、図２における▲１▼の領域の境界線を表している。
この場合も、第１の方法の場合と同様に、処理された符号量あるいは符号化される画像のテクスチャに基づいて境界座標を定めたり、符号化処理を行う際に、ユーザが境界座標をマニュアル入力するといったことが可能である。
【０１０９】
なお、第１〜第３の方法において、上述のように、差分絶対値和との関係において、傾きＫあるいは境界座標を定める場合の他、（１０）式等に従って、差分二乗和との関係において傾きＫあるいは境界座標を定めたり、その他、動き検出処理において得られた種々のパラメータとの関係において傾きＫあるいは境界座標を定めることも可能である。
【０１１０】
また、第１〜第３の方法において、境界線は直線であるものとして説明したが、直線に限定されるものではなく、所定の曲線とすることも可能である。
さらに、第１〜第３の方法において、符号化処理の状態（処理能力に余裕があるか否か）によって、傾きＫあるいは境界座標を動的に変化させることが可能である。
【０１１１】
このように、量子化後のＤＣＴ係数が全て“０”となるブロックのみならず、量子化後のＤＣＴ係数が全ては“０”とならないブロックのうち、量子化後のＤＣＴ係数のほとんどが“０”となるブロックについて符号化処理をスキップすることで、符号化対象フレームのうち、目立たない部分の符号化を省略し、重要な部分の符号化を優先して行なうことができる。
【０１１２】
即ち、符号化するフレームの途中で符号化処理を打ち切るといったことを行なうことなく、フレームの画質をある程度維持できるため、符号化処理の負荷が増大した場合であっても動画像の質を極端に低下させることがないと共に、符号化処理の高速化を実現することができる。
【０１１３】
【発明の効果】
本発明によれば、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報（各ブロックの差分絶対値和あるいは差分二乗和）を利用して、所定処理を省略可能であるか否かの判定を行い、所定処理を省略可能であると判定されたブロックについては、該所定処理を行わず、規定値を処理結果とする。即ち、各画素について、条件判定を行うのではなく、ブロックを単位として、その判定を行う。
【０１１４】
したがって、動画像の符号化において、所定処理、特に、処理負荷が小さくなく、符号化の条件等に依らず必要となる処理負荷を有するＤＣＴ処理および量子化処理を省略可能であるか否かを効率的に判定できる。また、その判定条件は、動画像の劣化を抑えつつ、ＤＣＴ処理および量子化処理等の所定処理を省略可能なものであり、動画像符号化処理を高速かつ効率的に行うことが可能となる。
【０１１５】
また、本発明において、所定処理の省略の判定に用いる情報（差分絶対値和あるいは差分二乗和等）は、符号化のための動き検出において取得されるものであるため、条件判定のための演算を軽減することができ、より効率的な処理が可能となる。
さらに、判定の結果、所定処理の省略が可能である場合には、所定処理の前段階において、符号化の際に参照されるフレームの所定ブロックとの差分を求める演算を行う必要もなくなり、さらに符号化処理を高速かつ効率的に行うことができる。
【０１１６】
また、判定条件を一定範囲で緩和した場合には、画質の劣化は許容できる範囲である一方、符号化処理をより高速化することができる。
具体的には、判定条件を厳密に充足するブロックのみならず、判定条件を満たさないブロックのうち、所定処理を省略した場合に動画像の画質に与える影響が小さいブロックについて、所定処理を優先的に省略する。それにより、符号化処理を高速化できると共に、処理負荷の増大に伴って画質が極端に低下する事態を防ぐことができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像符号化装置１の機能構成の概略を示すブロック図である。
【図２】差分絶対値和Ｓと、量子化パラメータとの関係における判定条件を示す図である。
【図３】差分絶対値和Ｓと、量子化パラメータとの関係における判定条件の一例を示す図である。
【図４】差分絶対値和Ｓと、量子化パラメータとの関係における判定条件の他の例を示す図である。
【符号の説明】
１ 動画像符号化装置，１０ 動き検出部，２０ ＤＣＴ部，３０ 量子化部，４０ エントロピー符号化部
【発明の属する技術分野】
本発明は、動画像の符号化処理を行うための動画像符号化方法、動画像符号化装置および動画像符号化処理プログラムに関する。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを通じて動画像の送受信が行われるようになっている。ネットワークを通じて動画像の送受信を行う場合、送信側において動画像を圧縮する処理が行われている。
これら送信側において行われる処理のうち、量子化処理は、動画像データを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：以下、「ＤＣＴ」と言う。）して得られるＤＣＴ係数を除算する処理を含む。そのため、量子化処理は、処理負荷が大きく、量子化処理の負荷を軽減するための方法が種々考案されている。
【０００３】
例えば、特開平１０−１９１３３４号公報あるいは特開平１０−１１６２６７号公報等には、量子化処理における除算を所定の場合にスキップし、全体として処理負荷を軽減するための方法が開示されている。
これらの方法においては、量子化処理前に、ブロックに含まれる各ＤＣＴ係数が量子化処理において全て“０”となるか否かを個別に判定し、“０”となると判定された場合には、量子化処理をスキップする。
【０００４】
例えば、“ｘ”を量子化する対象であるＤＣＴ係数、“Ｋ”を量子化パラメータに基づく除数とし、量子化における演算をｘ／Ｋによって行う場合、ｙ＝ｘ／Ｋによって得られる“ｙ”は、−Ｋ＜｜ｘ｜＜Ｋであれば、除算を行うことなくｙ＝０と判定できる。なお、この場合、除算結果のうち小数点以下は切り捨てられる。
【０００５】
【特許文献１】
特開平１０−１９１３３４号公報
【特許文献２】
特開平１０−１１６２６７号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法においては、動画像データの各ブロックに含まれる全てのＤＣＴ係数（例えば、６４個）について、それぞれ量子化結果が“０”となるか否かを判定している。
ところが、このように判定した結果、ブロックに含まれる全てのＤＣＴ係数について、量子化結果が“０”となる場合が少なくない。そして、この場合、ＤＣＴ係数を算出する処理および上述のような各ＤＣＴ係数について判定する処理の結果が破棄されることとなる。
【０００７】
即ち、量子化結果が“０”となる場合、ＤＣＴの対象となる信号を計算する処理、複雑な演算を含むＤＣＴ処理および各ブロックに含まれるＤＣＴ係数についての判定処理が無駄となり、処理効率が低下する原因となっていた。
本発明の課題は、動画像を符号化する処理の高速化および効率化を図ることである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明は、
処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレーム（動きベクトル検出を行う際に参照するフレーム）の参照ブロックとの差分に関する情報（例えば、差分二乗和、差分絶対値和あるいは動き検出処理において算出される差分に関するパラメータ等）と、前記動画像の量子化処理において用いられる量子化パラメータ（例えば、発明の実施の形態中の「ＱＰ」）とに基づいて、該ブロックについての所定処理（例えば、ＤＣＴ処理および量子化処理）を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【０００９】
ここで、所定処理を省略可能な場合には、発明の実施の形態中の（６）式あるいは（７）式に挙げる条件を厳密に満たす場合（例えば、図２の▲１▼の領域に相当する場合）に加え、この条件を一定範囲で緩和した場合（例えば、図２の▲２▼の領域に相当する場合）を含めることが可能である。
請求項２記載の発明は、
請求項１記載の動画像符号化方法であって、
前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定し、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定することを特徴としている。
【００１０】
即ち、図２において、差分絶対値和がより小さい領域で所定処理を省略したり、量子化パラメータがより大きい領域で所定処理を省略したりするように、判定条件を示す所定の特性を設定される。
請求項３記載の発明は、
請求項１または２記載の動画像符号化方法であって、
前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いることを特徴としている。
【００１１】
請求項４記載の発明は、
請求項３記載の動画像符号化方法であって、
前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００１２】
【数４】
ここで、Ｓ＜Ｋ（ＱＰ）の比較式の具体例として、
【００１４】
【数５】
あるいは、
【００１６】
【数６】
等を用いることが可能である。
なお、上２式において、左辺中のΣΣ｜ｆ（ｘ，ｙ）｜の部分は、前記差分絶対値和Ｓを意味し、上２式における前者はＨ．２６３方式の場合、後者はＭＰＥＧ方式の場合の比較式である。
さらに、動き検出処理のパターンマッチングにおいて、ブロック相互間の類似を判定するための指標として、差分絶対値和を用いている場合には、これをそのまま差分に関する情報とすることができる。また、動き検出処理のパターンマッチングにおいて、ブロック相互間の類似を判定するための指標として、差分二乗和を用いている場合には、発明の実施の形態中、（９）式に示すように、（差分絶対値和）≒（差分二乗和の平方根）と変換して用いることが可能であり、特許請求の範囲で言う「差分絶対値和」には、この近似によって得られる差分絶対値和を含むものとする。
【００１８】
請求項５記載の発明は、
請求項１〜４のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００１９】
請求項６記載の発明は、
請求項１〜４のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００２０】
請求項７記載の発明は、
請求項１〜３のいずれかに記載の動画像符号化方法であって、
前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値（例えば、図３および図４の境界座標によって定められる差分絶対値和、量子化パラメータの値）と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００２１】
請求項８記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２２】
ここで、符号化処理の予測時間は、所定の計算によって算出される予測値や、従前のフレームの処理時間の実測値を用いることが可能である。
請求項９記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２３】
請求項１０記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２４】
ここで、テクスチャとは、画像において人間の視覚に認識され易い程度を示すパラメータであり、差分絶対値和等から算出可能である。
請求項１１記載の発明は、
請求項１〜７のいずれかに記載の動画像符号化方法であって、
任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００２５】
即ち、ユーザが任意に選択したパラメータによって、判定条件を定めることが可能である。
請求項１２記載の発明は、
請求項１〜１１のいずれかに記載の動画像符号化方法であって、
符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させることを特徴としている。
【００２６】
したがって、符号化処理の負荷が増大してきた場合等には、より多くのブロックについて所定処理を省略するような判定条件に逐次変更することが可能である。
請求項１３記載の発明は、
請求項１〜１２のいずれかに記載の動画像符号化方法であって、
前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴としている。
【００２７】
請求項１４記載の発明は、
処理対象である動画像に対し、所定処理（例えば、ＤＣＴあるいは量子化等）を含むフレーム内符号化を行うための動画像符号化方法であって、処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【００２８】
例えば、符号化対象ブロックに含まれる画素値を加算し、その加算結果が、ＤＣＴおよび量子化処理等をした場合に、全てのブロックについて“０”となるものであるか否かを判定することにより、全て“０”と判定される場合には所定処理を省略し、全ては“０”でないと判定される場合には所定処理を行なうといったことが可能である。
【００２９】
請求項１５記載の発明は、
処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【００３０】
請求項１６記載の発明は、
請求項１５記載の動画像符号化装置であって、
前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定可能であり、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定することを特徴としている。
【００３１】
請求項１７記載の発明は、
請求項１５または１６記載の動画像符号化装置であって、
前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いることを特徴としている。
【００３２】
請求項１８記載の発明は、
請求項１７記載の動画像符号化装置であって、
前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００３３】
【数７】
請求項１９記載の発明は、
請求項１５〜１８のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００３５】
請求項２０記載の発明は、
請求項１５〜１８のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴としている。
【００３６】
請求項２１記載の発明は、
請求項１５〜１７のいずれかに記載の動画像符号化装置であって、
前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴としている。
【００３７】
請求項２２記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００３８】
請求項２３記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００３９】
請求項２４記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
【００４０】
請求項２５記載の発明は、
請求項１５〜２１のいずれかに記載の動画像符号化装置であって、
任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴としている。
請求項２６記載の発明は、
請求項１５〜２５のいずれかに記載の動画像符号化装置であって、
符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させることを特徴としている。
【００４１】
請求項２７記載の発明は、
請求項１５〜２６のいずれかに記載の動画像符号化装置であって、
前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴としている。
請求項２８記載の発明は、
処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化装置であって、処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴としている。
【００４２】
請求項２９記載の発明は、
処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化処理プログラムであって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする機能をコンピュータに実現させることを特徴としている。
【００４３】
請求項３０記載の発明は、
請求項２９記載の動画像符号化処理プログラムであって、
前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定可能であり、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００４４】
請求項３１記載の発明は、
請求項２９または３０記載の動画像符号化処理プログラムであって、
前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いる機能をコンピュータに実現させることを特徴としている。
【００４５】
請求項３２記載の発明は、
請求項３１記載の動画像符号化処理プログラムであって、
前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００４６】
【数８】
請求項３３記載の発明は、
請求項２９〜３２のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とする機能をコンピュータに実現させることを特徴としている。
【００４８】
請求項３４記載の発明は、
請求項２９〜３２のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とする機能をコンピュータに実現させることを特徴としている。
【００４９】
請求項３５記載の発明は、
請求項２９〜３１のいずれかに記載の動画像符号化処理プログラムであって、前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５０】
請求項３６記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５１】
請求項３７記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５２】
請求項３８記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
【００５３】
請求項３９記載の発明は、
請求項２９〜３５のいずれかに記載の動画像符号化処理プログラムであって、任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴としている。
請求項４０記載の発明は、
請求項２９〜３９のいずれかに記載の動画像符号化処理プログラムであって、符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させる機能をコンピュータに実現させることを特徴としている。
【００５４】
請求項４１記載の発明は、
請求項２９〜４０のいずれかに記載の動画像符号化処理プログラムであって、前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴としている。
請求項４２記載の発明は、
処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化処理プログラムであって、処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする機能をコンピュータに実現させることを特徴としている。
【００５５】
本発明によれば、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報（各ブロックの差分絶対値和あるいは差分二乗和）を利用して、所定処理を省略可能であるか否かの判定を行い、所定処理を省略可能であると判定されたブロックについては、該所定処理を行わず、規定値を処理結果とする。即ち、各画素について、条件判定を行うのではなく、ブロックを単位として、その判定を行う。
【００５６】
したがって、動画像の符号化において、所定処理、特に、処理負荷が小さくなく、符号化の条件等に依らず必要となる処理負荷を有するＤＣＴ処理および量子化処理を省略可能であるか否かを効率的に判定できる。また、その判定条件は、動画像の劣化を抑えつつ、ＤＣＴ処理および量子化処理等の所定処理を省略可能なものであり、動画像符号化処理を高速かつ効率的に行うことが可能となる。
【００５７】
また、本発明において、所定処理の省略の判定に用いる情報（差分絶対値和あるいは差分二乗和等）は、符号化のための動き検出において取得されるものであるため、条件判定のための演算を軽減することができ、より効率的な処理が可能となる。
さらに、判定の結果、所定処理の省略が可能である場合には、所定処理の前段階において、符号化の際に参照されるフレームの所定ブロックとの差分を求める演算を行う必要もなくなり、さらに符号化処理を高速かつ効率的に行うことができる。
【００５８】
また、判定条件を一定範囲で緩和した場合には、画質の劣化は許容できる範囲である一方、符号化処理をより高速化することができる。
具体的には、判定条件を厳密に充足するブロックのみならず、判定条件を満たさないブロックのうち、所定処理を省略した場合に動画像の画質に与える影響が小さいブロックについて、所定処理を優先的に省略する。それにより、符号化処理を高速化できると共に、処理負荷の増大に伴って画質が極端に低下する事態を防ぐことができる。
【００５９】
【発明の実施の形態】
以下、図を参照して本発明に係る動画像符号化装置の実施の形態を詳細に説明する。
図１は、本発明を適用した動画像符号化装置１の機能構成の概略を示すブロック図である。動画像符号化装置１は、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）に基づく動画像を符号化処理する装置である。
【００６０】
図１において、動画像符号化装置１は、動き検出部（ＭＥ）１０と、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部２０と、量子化部（Ｑ）３０と、エントロピー符号化部４０とを含んで構成される。なお、エントロピー符号化部４０は、従来と同様の可変長符号化処理等を行う部分であるため説明を省略し、動き検出部１０、ＤＣＴ部２０、量子化部３０のみについて説明する。また、動画像には、フレーム間符号化ブロックと、フレーム内符号化ブロックとが含まれるが、本実施の形態においては、フレーム間符号化ブロックを対象とする処理について説明する。
【００６１】
動き検出部１０は、符号化対象であるブロック（マクロブロックの場合を含む。）について、符号化の際に参照されるフレームの各ブロックとパターンマッチングを行い、最も類似するブロックとの間における動きベクトルを取得する。
このとき、パターンマッチングにおいて、ブロック相互間の類似を判定するための指標として、差分絶対値和あるいは差分二乗和を用いる。
【００６２】
具体的には、符号化対象のブロックの画素データをａ（ｘ，ｙ）、動き検出の参照先であるフレームの各ブロックの画素データをｂ（ｘ’，ｙ’）とすると、差分絶対値和は、
【００６３】
【数９】
で与えられ、差分二乗和は、
【００６５】
【数１０】
で与えられる。なお、（１）式および（２）式において、Ｎはブロックの縦および横のサイズ（画素数）である。
そして、差分絶対値和あるいは差分二乗和が最小となるブロックを最も類似するブロックとして動きベクトルを取得する。
ＤＣＴ部２０は、符号化対象であるフレームの画素データを離散コサイン変換し、基底波の和に変換（周波数成分に分解）する。
【００６７】
具体的には、画素データの関数をｆ（ｘ，ｙ）とすると、離散コサイン変換して得られる関数Ｆ（ｕ，ｖ）は、次式で与えられる。
【００６８】
【数１１】
次に、量子化部３０は、ＤＣＴ部２０によって算出されたＤＣＴ係数を量子化する。なお、量子化の方法は、ＭＰＥＧ−４においては、Ｈ．２６３方式およびＭＰＥＧ方式の２つが定義されている。
量子化部３０は、具体的には、所定の量子化パラメータでＤＣＴ係数を除算する処理を含む演算を行い、量子化によって得られたより小さな値（量子化結果）をＤＣＴ係数とする。この結果、特に符号化ビットレートが低い場合には、大半のＤＣＴ係数が“０”となる場合が少なくない。そのため、従来、以下に示す方法により量子化処理をスキップする方法が用いられている。
【００７０】
例えば、Ｈ．２６３方式においては、量子化パラメータがＱＰである場合、ｆ（ｘ，ｙ）の量子化結果ＱＦ（ｕ，ｖ）は、Ｆ（ｕ，ｖ）が０以上のとき、ＱＦ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）−ＱＰ／２）／（２ＱＰ）、Ｆ（ｕ，ｖ）が０未満のとき、ＱＦ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）＋ＱＰ／２）／（２ＱＰ）により求められる。
【００７１】
そこで、Ｆ（ｕ，ｖ）とＱＰとを各ＤＣＴ係数についてそれぞれ比較し、比較結果に基づいて、ＱＦ（ｕ，ｖ）が“０”となる場合には、そのＤＣＴ係数について量子化処理をスキップする。
しかし、この方法では、ブロック内の全てのＤＣＴ係数における比較結果が“０”である場合にも、各ＤＣＴ係数について比較していくこととなる。
【００７２】
一方、全てのＤＣＴ係数について比較結果が“０”であれば、動き検出部１０において算出された差分絶対値和あるいは差分二乗和は一定の範囲内になると考えられる。
したがって、本発明においては、動き検出部１０において算出された差分絶対値和あるいは差分二乗和を利用して、ブロック内の全てのＤＣＴ係数が“０”となるか否かを判定し、全て“０”の場合には、量子化処理をスキップすることとする。
【００７３】
以下、ブロックに含まれる全てのＤＣＴ係数が“０”となると判定するための判定条件について説明する。なお、ここでは、主に差分絶対値和について説明することとする。
まず、上述の（３）式より、ＤＣＴ係数として算出され得る最大値を求める。（３）式より、
【００７４】
【数１２】
また、Ｆ（ｕ，ｖ）を量子化した場合に“０”となるＦ（ｕ，ｖ）の条件（ＱＦ（ｕ，ｖ）＝０となる条件）は、
【００７６】
【数１３】
即ち、ＤＣＴ処理後のＤＣＴ係数の最大値が、量子化結果が“０”となるＦ（ｕ，ｖ）の範囲内となる場合には、量子化結果において、全てのＤＣＴ係数が“０”となる。したがって、ＤＣＴ処理および量子化を行うことなく、量子化結果が“０”であると判定可能な条件は、（４）式および（５）式より、
【００７８】
【数１４】
となる。ここで、ｆ（ｘ）の絶対値和は、動き検出部１０において算出されている。
したがって、動き検出部１０による処理の後、ｆ（ｘ）の絶対値和が（６）式を満たすか否かを判定し、（６）式を満たすと判定された場合には、ＤＣＴ部２０および量子化部３０による処理をスキップし、そのブロックについては、量子化後のＤＣＴ係数（ＱＦ（ｕ，ｖ））を全て“０”とする。
【００８０】
なお、上述の説明においては、量子化の方法が、Ｈ．２６３の場合について述べたが、ＭＰＥＧ方式の場合も同様の考え方により、ｆ（ｘ，ｙ）についての判定が可能である。即ち、ＭＰＥＧ方式においては、量子化パラメータがＱＰである場合、ｆ（ｘ、ｙ）の量子化結果ＱＦ（ｕ，ｖ）は、
【００８１】
【数１５】
で表される。ただし、（７）式において、Ｘ／／Ｙは、Ｘが０以上のとき、（Ｘ＋Ｙ／２）／Ｙ、Ｘが０未満のとき、（Ｘ−Ｙ／２）／Ｙであることを意味する。また、ＱＭ（ｕ，ｖ）は、量子化行列である。
そして、ＭＰＥＧ方式の場合の条件式は、Ｈ．２６３方式と同様の演算を行うと、
【００８３】
【数１６】
となる。
なお、ここでは、Ｈ．２６３方式およびＭＰＥＧ方式の場合の条件式を例として示したが、量子化方法としては、これらの方式に限られず、上述の条件式以外の条件式を用いることも可能である。
さらに、上述の判定条件は、動き検出部１０において、差分絶対値和を用いて動き検出を行う場合に基づくものであるが、この判定条件を用いて、動き検出部１０が差分二乗和を用いる場合の近似的な判定条件を得ることができる。
【００８５】
即ち、（６）式において、
【００８６】
【数１７】
とおくと、差分二乗和Ｔは、
【００８８】
【数１８】
の関係を有すると考えられる。
したがって、（６）式と（１０）式とに基づいて、動き検出部１０が差分二乗和を用いている場合にも、各ブロックの量子化後のＤＣＴ係数が全て“０”となるか否かを一定の正確性をもって判定できる。この場合、実際には量子化後のＤＣＴ係数が全て“０”でないブロックについても、量子化後のＤＣＴ係数が“０”と判定し、処理することとなる。しかし、厳密な正確性と引き換えに、処理の高速化を求める場合等には、ある程度の画質の劣化を伴うとしても、このように処理することは意義があり、特にリアルタイム処理において、円滑な画像転送が要求される場合に有用である。
【００９０】
また、本実施の形態においては、フレーム間符号化を行なう場合を例に挙げて説明したが、フレーム内符号化を行なう場合には、差分絶対値和あるいは差分二乗和といった参照ブロックとの差分に関する情報でなく、符号化対象ブロックの画素値そのものを用いて、ＤＣＴおよび量子化処理を省略可能であるか否かの判定を行なうことも可能である。
【００９１】
即ち、符号化対象ブロックに含まれる画素値を加算し、その加算結果が、ＤＣＴおよび量子化処理をした場合に、全てのブロックについて“０”となるものであるか否かを判定することにより、フレーム間符号化の場合と同様に処理を省略することが可能である。
以上のように、本発明を適用した動画像符号化装置１は、各ブロックの差分絶対値和あるいは差分二乗和を利用して、所定条件（（６）式あるいは（７）式等）に基づく判定を行い、量子化後にブロックのＤＣＴ係数の全てが“０”となると判定されたブロックについては、ＤＣＴ処理および量子化処理を行わず、量子化後のＤＣＴ係数を“０”とする。即ち、各画素について、量子化後のＤＣＴ係数が“０”であるか否かを行うのではなく、ブロックを単位として、その判定を行う。
【００９２】
したがって、動画像の符号化において、処理負荷が小さくなく、符号化の条件等に依らず必要となる処理負荷を有するＤＣＴ処理および量子化処理を省略可能であるか否かを効率的に判定できる。また、その判定条件は、動画像の劣化を抑えつつ、ＤＣＴ処理および量子化処理を省略可能なものであり、動画像符号化処理を高速かつ効率的に行うことが可能となる。
【００９３】
また、動画像符号化装置１が、ＤＣＴ処理および量子化処理の省略の判定に用いる差分絶対値和あるいは差分二乗和は、符号化のための動き検出において取得されるものであるため、条件判定のための演算を軽減することができ、より効率的な処理が可能となる。
さらに、判定の結果、ＤＣＴ処理および量子化処理の省略が可能である場合には、ＤＣＴ処理の前段階において、符号化の際に参照されるフレームの所定ブロックとの差分を求める演算を行う必要もなくなり、さらに符号化処理を高速かつ効率的に行うことができる。
【００９４】
なお、本実施の形態において、差分絶対値和を用いる場合の判定条件（（６）式参照）は、量子化後のＤＣＴ係数が確実に全て“０”となる場合の条件を示した。図２は、差分絶対値和Ｓと、量子化パラメータとの関係における判定条件を示す図である。図２において、（６）式に基づく判定条件は、▲１▼の領域を示しており、この領域では、確実に量子化後のＤＣＴ係数が全て“０”となる。
【００９５】
一方、▲２▼の領域は、一定割合以下（例えば、５０％以下あるいは３０％以下等）で、量子化後のＤＣＴ係数が全ては“０”でないブロックが含まれる領域を示している。（６）式に示す判定条件に加え、所定割合であれば、量子化後のＤＣＴ係数が“０”とならないブロックを、量子化後のＤＣＴ係数が“０”となると判定したとしても、画質の劣化は許容できる程度である。その反面、符号化処理の高速化を期待できるため、所定割合まで（▲２▼の領域）であれば、上述の判定条件を緩和することも可能である。
【００９６】
即ち、従来、動画像のリアルタイムエンコードを行う際、動画像の符号化が所定時間内に終了しない場合には、エンコード中のフレームについて、符号化処理を途中で中止したり、エンコード中のフレームを破棄したりするといった処理が行われている。
このような場合、画像の一部が欠ける、あるいは、コマ落ちが発生する等、符号化後の動画像の質が極端に低下する事態が発生する。
【００９７】
そこで、量子化後のＤＣＴ係数が全ては“０”とならないブロックの一部を、量子化後のＤＣＴ係数が全て“０”となると判定し、符号化における処理負荷を軽減することにより、動画像の質を極端に低下させる事態を避けることが考えられる。
このとき、フレームの各ブロックに優先順位を与え、符号化された動画像の質に影響を与え難いブロックの符号化をスキップすることで、より適切に、動画像の質を維持しつつ、符号化処理を高速化することが可能である。
【００９８】
以下、上述の▲２▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定する場合を含め、符号化処理を高速化する種々の方法について説明する。
第１の方法として、上述のように、図２の▲２▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定することが可能である。
図２において、差分絶対値和の小さい領域ほど量子化後のＤＣＴ係数が全て“０”となる割合が高い傾向にある。また、量子化後のＤＣＴ係数が全ては“０”とならないブロックであっても、差分絶対値和のより小さい領域にあるものほど、量子化後のＤＣＴ係数を全て“０”と判定したとしても、動画像の質に与える影響が少ないものである。
【００９９】
そこで、図２における境界条件を示す関数（以下、「境界線」と言う。）の傾きを所定のパラメータ（符号化処理において取得可能なパラメータあるいは任意に入力されたパラメータ）に基づいて変化させ、量子化後のＤＣＴ係数が全て“０”であると判定する領域を▲１▼の領域から拡大し、▲２▼の領域とする。
ここで、境界線の傾きを変化させる際の基準となるパラメータについて説明する。
【０１００】
図２において、差分絶対値和をＤｉｆｆと置くと、量子化パラメータＱＰおよび傾きＫとの間には、
【０１０１】
【数１９】
の関係が成立する。
さらに、（１１）式の傾きＫとして、例えば、
【０１０３】
【数２０】
なる関数を採用することが可能である。
ただし、ｔ’＝ｍｉｎ（Ｔ，ｔ）であり、“Ｔ”は、符号化処理に許容される最大の時間、“ｔ”は、符号化処理に既に要した時間である。そのため、ここでは、ｔ＝０の場合、傾きＫは“０”となり、ｔ＞Ｔの場合、傾きＫは無限大となる。
【０１０５】
なお、ここで言う「符号化処理に許容される最大の時間」として、符号化処理時間として予定されているフレーム単位の時間あるいはブロック（マクロブロック）単位の時間等が採用可能である。
そして、（１２）式における“Ｔ”として、計算により予測された値を用いることや、従前の処理実績（例えば、符号化の際に参照されるフレームの処理時間）を用いること等が可能である。
【０１０６】
また、（１２）式においては、符号化処理時間を基準として傾きＫを定めることとしたが、処理された符号量に基づいて傾きＫを定めたり、符号化される画像のテクスチャに基づいて傾きＫを定めたり、あるいは、符号化処理を行う際に、ユーザが傾きＫをマニュアル入力するといったことが可能である。
ここで、符号化される画像のテクスチャに基づいて傾きＫを定める場合には、画像全体において、人間の視覚に認識され易い部分は通常の符号化処理を行い、人間の視覚に認識され難い部分は符号化処理をスキップするように、傾きＫが変化される。このテクスチャは、差分絶対値和に基づいて特徴付けたり、動き検出部１０において算出される各種パラメータによって特徴付けたりすることが可能である。
【０１０７】
次に、第２の方法として、図３に示す▲３▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定することが可能である。なお、図３において点線によって表される特性は、図２における▲１▼の領域の境界線を表している。
この場合、境界線を規定する座標（以下、「境界座標」と言う。）は、第１の方法において傾きＫを定める場合と同様に、処理された符号量あるいは符号化される画像のテクスチャに基づいて定めたり、符号化処理を行う際に、ユーザが境界座標をマニュアル入力するといったことが可能である。
【０１０８】
また、第３の方法として、図４に示す▲４▼の領域を量子化後のＤＣＴ係数が全て“０”となる領域と判定することが可能である。なお、図４において点線によって表される特性は、図２における▲１▼の領域の境界線を表している。
この場合も、第１の方法の場合と同様に、処理された符号量あるいは符号化される画像のテクスチャに基づいて境界座標を定めたり、符号化処理を行う際に、ユーザが境界座標をマニュアル入力するといったことが可能である。
【０１０９】
なお、第１〜第３の方法において、上述のように、差分絶対値和との関係において、傾きＫあるいは境界座標を定める場合の他、（１０）式等に従って、差分二乗和との関係において傾きＫあるいは境界座標を定めたり、その他、動き検出処理において得られた種々のパラメータとの関係において傾きＫあるいは境界座標を定めることも可能である。
【０１１０】
また、第１〜第３の方法において、境界線は直線であるものとして説明したが、直線に限定されるものではなく、所定の曲線とすることも可能である。
さらに、第１〜第３の方法において、符号化処理の状態（処理能力に余裕があるか否か）によって、傾きＫあるいは境界座標を動的に変化させることが可能である。
【０１１１】
このように、量子化後のＤＣＴ係数が全て“０”となるブロックのみならず、量子化後のＤＣＴ係数が全ては“０”とならないブロックのうち、量子化後のＤＣＴ係数のほとんどが“０”となるブロックについて符号化処理をスキップすることで、符号化対象フレームのうち、目立たない部分の符号化を省略し、重要な部分の符号化を優先して行なうことができる。
【０１１２】
即ち、符号化するフレームの途中で符号化処理を打ち切るといったことを行なうことなく、フレームの画質をある程度維持できるため、符号化処理の負荷が増大した場合であっても動画像の質を極端に低下させることがないと共に、符号化処理の高速化を実現することができる。
【０１１３】
【発明の効果】
本発明によれば、処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報（各ブロックの差分絶対値和あるいは差分二乗和）を利用して、所定処理を省略可能であるか否かの判定を行い、所定処理を省略可能であると判定されたブロックについては、該所定処理を行わず、規定値を処理結果とする。即ち、各画素について、条件判定を行うのではなく、ブロックを単位として、その判定を行う。
【０１１４】
したがって、動画像の符号化において、所定処理、特に、処理負荷が小さくなく、符号化の条件等に依らず必要となる処理負荷を有するＤＣＴ処理および量子化処理を省略可能であるか否かを効率的に判定できる。また、その判定条件は、動画像の劣化を抑えつつ、ＤＣＴ処理および量子化処理等の所定処理を省略可能なものであり、動画像符号化処理を高速かつ効率的に行うことが可能となる。
【０１１５】
また、本発明において、所定処理の省略の判定に用いる情報（差分絶対値和あるいは差分二乗和等）は、符号化のための動き検出において取得されるものであるため、条件判定のための演算を軽減することができ、より効率的な処理が可能となる。
さらに、判定の結果、所定処理の省略が可能である場合には、所定処理の前段階において、符号化の際に参照されるフレームの所定ブロックとの差分を求める演算を行う必要もなくなり、さらに符号化処理を高速かつ効率的に行うことができる。
【０１１６】
また、判定条件を一定範囲で緩和した場合には、画質の劣化は許容できる範囲である一方、符号化処理をより高速化することができる。
具体的には、判定条件を厳密に充足するブロックのみならず、判定条件を満たさないブロックのうち、所定処理を省略した場合に動画像の画質に与える影響が小さいブロックについて、所定処理を優先的に省略する。それにより、符号化処理を高速化できると共に、処理負荷の増大に伴って画質が極端に低下する事態を防ぐことができる。
【図面の簡単な説明】
【図１】本発明を適用した動画像符号化装置１の機能構成の概略を示すブロック図である。
【図２】差分絶対値和Ｓと、量子化パラメータとの関係における判定条件を示す図である。
【図３】差分絶対値和Ｓと、量子化パラメータとの関係における判定条件の一例を示す図である。
【図４】差分絶対値和Ｓと、量子化パラメータとの関係における判定条件の他の例を示す図である。
【符号の説明】
１ 動画像符号化装置，１０ 動き検出部，２０ ＤＣＴ部，３０ 量子化部，４０ エントロピー符号化部
Claims (42)
- 処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化方法であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴とする動画像符号化方法。 - 前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定し、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定することを特徴とする請求項１記載の動画像符号化方法。
- 前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いることを特徴とする請求項１または２記載の動画像符号化方法。
- 前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴とする請求項３記載の動画像符号化方法。
- 処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴とする請求項１〜４のいずれかに記載の動画像符号化方法。
- 処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴とする請求項１〜４のいずれかに記載の動画像符号化方法。
- 前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴とする請求項１〜３のいずれかに記載の動画像符号化方法。
- 処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１〜７のいずれかに記載の動画像符号化方法。
- 処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１〜７のいずれかに記載の動画像符号化方法。
- 処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１〜７のいずれかに記載の動画像符号化方法。
- 任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１〜７のいずれかに記載の動画像符号化方法。
- 符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させることを特徴とする請求項１〜１１のいずれかに記載の動画像符号化方法。
- 前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴とする請求項１〜１２のいずれかに記載の動画像符号化方法。
- 処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化方法であって、
処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴とする動画像符号化方法。 - 処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化装置であって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴とする動画像符号化装置。 - 前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定可能であり、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定することを特徴とする請求項１５記載の動画像符号化装置。
- 前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いることを特徴とする請求項１５または１６記載の動画像符号化装置。
- 前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴とする請求項１７記載の動画像符号化装置。
- 処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴とする請求項１５〜１８のいずれかに記載の動画像符号化装置。
- 処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とすることを特徴とする請求項１５〜１８のいずれかに記載の動画像符号化装置。
- 前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定することを特徴とする請求項１５〜１７のいずれかに記載の動画像符号化装置。
- 処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１５〜２１のいずれかに記載の動画像符号化装置。
- 処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１５〜２１のいずれかに記載の動画像符号化装置。
- 処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１５〜２１のいずれかに記載の動画像符号化装置。
- 任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定することを特徴とする請求項１５〜２１のいずれかに記載の動画像符号化装置。
- 符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させることを特徴とする請求項１５〜２５のいずれかに記載の動画像符号化装置。
- 前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴とする請求項１５〜２６のいずれかに記載の動画像符号化装置。
- 処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化装置であって、
処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とすることを特徴とする動画像符号化装置。 - 処理対象である動画像に対し、動き検出処理を含む所定処理を施して符号化を行うための動画像符号化処理プログラムであって、
処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする機能をコンピュータに実現させることを特徴とする動画像符号化処理プログラム。 - 前記差分に関する情報と、前記量子化パラメータとの対応関係において、前記ブロックについての所定処理を省略した場合に、動画像の画質に対する影響がより小さいものとなるように、前記ブロックについての所定処理を省略可能であるか否かの判定条件を示す所定の特性を設定可能であり、該所定の特性に基づいて、前記ブロックについての所定処理を省略可能であるか否かを判定する機能をコンピュータに実現させることを特徴とする請求項２９記載の動画像符号化処理プログラム。
- 前記動き検出処理において、前記処理対象であるブロックと前記参照ブロックとの差分絶対値和あるいは差分二乗和を算出し、前記差分に関する情報として、該差分絶対値和あるいは差分二乗和を用いる機能をコンピュータに実現させることを特徴とする請求項２９または３０記載の動画像符号化処理プログラム。
- 前記差分絶対値和と、前記量子化パラメータとを以下の式によって比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴とする請求項３１記載の動画像符号化処理プログラム。
- 処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果が全ては“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果が全て“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とする機能をコンピュータに実現させることを特徴とする請求項２９〜３２のいずれかに記載の動画像符号化処理プログラム。
- 処理対象であるブロックと符号化の際に参照されるフレームの参照ブロックとの差分に関する情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”とならない場合には、前記所定処理を省略可能でないと判定し、処理対象であるブロックの前記所定処理結果のうち所定割合以上が“０”となる場合には、前記所定処理を省略可能であると判定すると共に、“０”を前記規定値とする機能をコンピュータに実現させることを特徴とする請求項２９〜３２のいずれかに記載の動画像符号化処理プログラム。
- 前記差分に関する情報および前記量子化パラメータそれぞれを、所定の閾値と比較した結果に基づいて、前記ブロックの前記所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴とする請求項２９〜３１のいずれかに記載の動画像符号化処理プログラム。
- 処理対象であるブロックに対して行なわれている符号化処理の所要時間を参照し、該所要時間と符号化処理の予定時間とに基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴とする請求項２９〜３５のいずれかに記載の動画像符号化処理プログラム。
- 処理対象であるブロックに対して行なわれている符号化処理において発生した符号量を参照し、該符号量に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴とする請求項２９〜３５のいずれかに記載の動画像符号化処理プログラム。
- 処理対象であるブロックのテクスチャに関する情報を参照し、該テクスチャに関する情報に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴とする請求項２９〜３５のいずれかに記載の動画像符号化処理プログラム。
- 任意に入力された判定条件に基づいて、該ブロックについての所定処理を省略するか否かを判定する機能をコンピュータに実現させることを特徴とする請求項２９〜３５のいずれかに記載の動画像符号化処理プログラム。
- 符号化処理の負荷状態に応じて、処理対象であるブロックについての所定処理を省略するか否かを判定する判定条件を動的に変化させる機能をコンピュータに実現させることを特徴とする請求項２９〜３９のいずれかに記載の動画像符号化処理プログラム。
- 前記所定処理には、ＤＣＴ処理と、量子化処理とが含まれることを特徴とする請求項２９〜４０のいずれかに記載の動画像符号化処理プログラム。
- 処理対象である動画像に対し、所定処理を含むフレーム内符号化を行うための動画像符号化処理プログラムであって、
処理対象であるフレームに含まれるブロックの値を加算して得られる情報と、前記動画像の量子化処理において用いられる量子化パラメータとに基づいて、該ブロックについての所定処理を省略可能であるか否かを判定し、省略可能でないと判定した場合、該所定処理を行い、省略可能であると判定した場合、該所定処理を省略し、該ブロックについて、設定された規定値を前記所定処理結果とする機能をコンピュータに実現させることを特徴とする動画像符号化処理プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002297589A JP4151374B2 (ja) | 2002-03-29 | 2002-10-10 | 動画像符号化装置および動画像符号化方法 |
| US10/365,499 US7116713B2 (en) | 2002-03-29 | 2003-02-13 | Moving picture coding method, moving picture coding apparatus, and moving picture coding program |
| EP20030004285 EP1349395A3 (en) | 2002-03-29 | 2003-02-27 | Moving picture coding method, moving picture coding apparatus, and moving picture coding program |
| TW92105942A TWI221390B (en) | 2002-03-29 | 2003-03-18 | Animation encoding method, animation encoding device |
| CN03108000A CN1449198A (zh) | 2002-03-29 | 2003-03-28 | 活动图象编码方法、活动图象编码设备、和活动图象编码程序 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002097287 | 2002-03-29 | ||
| JP2002297589A JP4151374B2 (ja) | 2002-03-29 | 2002-10-10 | 動画像符号化装置および動画像符号化方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004007360A true JP2004007360A (ja) | 2004-01-08 |
| JP2004007360A5 JP2004007360A5 (ja) | 2005-11-24 |
| JP4151374B2 JP4151374B2 (ja) | 2008-09-17 |
Family
ID=27807052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002297589A Expired - Fee Related JP4151374B2 (ja) | 2002-03-29 | 2002-10-10 | 動画像符号化装置および動画像符号化方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7116713B2 (ja) |
| EP (1) | EP1349395A3 (ja) |
| JP (1) | JP4151374B2 (ja) |
| CN (1) | CN1449198A (ja) |
| TW (1) | TWI221390B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005025226A1 (ja) * | 2003-09-02 | 2005-03-17 | Sony Corporation | 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム |
| JP2008154060A (ja) * | 2006-12-19 | 2008-07-03 | Toshiba Corp | 動画像符号化装置 |
| US8040951B2 (en) | 2004-09-30 | 2011-10-18 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| ES2610430T3 (es) | 2001-12-17 | 2017-04-27 | Microsoft Technology Licensing, Llc | Codificación por omisión de macrobloques |
| GB0323038D0 (en) * | 2003-10-02 | 2003-11-05 | Koninkl Philips Electronics Nv | Method and apparatus for improved inverse transform calculation |
| US9077960B2 (en) * | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| EP1755341A1 (en) * | 2005-08-19 | 2007-02-21 | Texas Instruments Incorporated | Method of quantization of transform coefficients |
| EP1761069A1 (en) * | 2005-09-01 | 2007-03-07 | Thomson Licensing | Method and apparatus for encoding video data using block skip mode |
| GB2432985A (en) * | 2005-12-05 | 2007-06-06 | Univ Robert Gordon | Encoder control system based on a target encoding value |
| DE602006004428D1 (de) * | 2006-04-13 | 2009-02-05 | Thomson Licensing | Verfahren und Vorrichtung zum Bestimmen eines Grenzwertes eines SKIP-Modes in Videokodierung |
| US8306126B2 (en) * | 2006-12-13 | 2012-11-06 | Sharp Kabushiki Kaisha | Moving picture encoding apparatus and moving picture decoding apparatus |
| JP4843482B2 (ja) * | 2006-12-27 | 2011-12-21 | 株式会社東芝 | 情報処理装置およびプログラム |
| US8259793B2 (en) * | 2007-03-19 | 2012-09-04 | Sony Corporation | System and method of fast MPEG-4/AVC quantization |
| CN105684409B (zh) | 2013-10-25 | 2019-08-13 | 微软技术许可有限责任公司 | 在视频和图像编码和解码中使用散列值来表示各块 |
| EP3061253A1 (en) | 2013-10-25 | 2016-08-31 | Microsoft Technology Licensing, LLC | Hash-based block matching in video and image coding |
| US10368092B2 (en) | 2014-03-04 | 2019-07-30 | Microsoft Technology Licensing, Llc | Encoder-side decisions for block flipping and skip mode in intra block copy prediction |
| US10567754B2 (en) | 2014-03-04 | 2020-02-18 | Microsoft Technology Licensing, Llc | Hash table construction and availability checking for hash-based block matching |
| WO2015196322A1 (en) | 2014-06-23 | 2015-12-30 | Microsoft Technology Licensing, Llc | Encoder decisions based on results of hash-based block matching |
| KR102490706B1 (ko) | 2014-09-30 | 2023-01-19 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 코딩을 위한 해시 기반 인코더 결정 |
| US10390039B2 (en) | 2016-08-31 | 2019-08-20 | Microsoft Technology Licensing, Llc | Motion estimation for screen remoting scenarios |
| US11095877B2 (en) | 2016-11-30 | 2021-08-17 | Microsoft Technology Licensing, Llc | Local hash-based motion estimation for screen remoting scenarios |
| US10375131B2 (en) * | 2017-05-19 | 2019-08-06 | Cisco Technology, Inc. | Selectively transforming audio streams based on audio energy estimate |
| US11202085B1 (en) | 2020-06-12 | 2021-12-14 | Microsoft Technology Licensing, Llc | Low-cost hash table construction and hash-based block matching for variable-size blocks |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719961A (en) | 1994-07-22 | 1998-02-17 | Apple Computer, Inc. | Adaptive technique for encoder and decoder signal transformation |
| US5552832A (en) * | 1994-10-26 | 1996-09-03 | Intel Corporation | Run-length encoding sequence for video signals |
| US6222881B1 (en) * | 1994-10-18 | 2001-04-24 | Intel Corporation | Using numbers of non-zero quantized transform signals and signal differences to determine when to encode video signals using inter-frame or intra-frame encoding |
| US5737537A (en) | 1995-09-29 | 1998-04-07 | Intel Corporation | Two-measure block classification scheme for encoding video images |
| JP3244629B2 (ja) * | 1996-08-20 | 2002-01-07 | 株式会社日立製作所 | シーン変化点検出方法 |
| JPH10116267A (ja) | 1996-10-09 | 1998-05-06 | Sony Corp | 演算装置及び情報処理装置 |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
| JP3282527B2 (ja) | 1996-12-27 | 2002-05-13 | 富士ゼロックス株式会社 | 画像符号化装置 |
| CN1067832C (zh) | 1997-05-23 | 2001-06-27 | 清华大学 | 视频编码器实现的改进方法 |
| US6275527B1 (en) | 1998-01-14 | 2001-08-14 | Conexant Systems, Inc. | Pre-quantization in motion compensated video coding |
| EP0973336A2 (en) | 1998-07-15 | 2000-01-19 | Sony Corporation | Motion vector detecting, picture encoding and recording method and apparatus |
| JP3748717B2 (ja) * | 1998-08-31 | 2006-02-22 | シャープ株式会社 | 動画像符号化装置 |
| US6310915B1 (en) * | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
| US6711212B1 (en) * | 2000-09-22 | 2004-03-23 | Industrial Technology Research Institute | Video transcoder, video transcoding method, and video communication system and method using video transcoding with dynamic sub-window skipping |
| JP4644939B2 (ja) * | 2001-01-17 | 2011-03-09 | 日本電気株式会社 | 動画像符号化装置および動画像符号化方法 |
| EP1345450A3 (en) | 2002-01-16 | 2005-04-20 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus, image coding method, and image coding program |
-
2002
- 2002-10-10 JP JP2002297589A patent/JP4151374B2/ja not_active Expired - Fee Related
-
2003
- 2003-02-13 US US10/365,499 patent/US7116713B2/en active Active
- 2003-02-27 EP EP20030004285 patent/EP1349395A3/en not_active Withdrawn
- 2003-03-18 TW TW92105942A patent/TWI221390B/zh not_active IP Right Cessation
- 2003-03-28 CN CN03108000A patent/CN1449198A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005025226A1 (ja) * | 2003-09-02 | 2005-03-17 | Sony Corporation | 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム |
| US8665966B2 (en) | 2003-09-02 | 2014-03-04 | Sony Corporation | Video coding apparatus, method of controlling video coding and program of controlling video coding |
| US8040951B2 (en) | 2004-09-30 | 2011-10-18 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
| JP2008154060A (ja) * | 2006-12-19 | 2008-07-03 | Toshiba Corp | 動画像符号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1349395A2 (en) | 2003-10-01 |
| CN1449198A (zh) | 2003-10-15 |
| JP4151374B2 (ja) | 2008-09-17 |
| EP1349395A3 (en) | 2004-06-23 |
| TWI221390B (en) | 2004-09-21 |
| US7116713B2 (en) | 2006-10-03 |
| TW200307463A (en) | 2003-12-01 |
| US20030185300A1 (en) | 2003-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4151374B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| CA2295689C (en) | Apparatus and method for object based rate control in a coding system | |
| JP5717465B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| US20200275104A1 (en) | System and method for controlling video coding at frame level | |
| US11134250B2 (en) | System and method for controlling video coding within image frame | |
| JP2007281949A (ja) | 画像符号化装置、画像符号化復号システム、画像符号化方法、および画像符号化復号方法 | |
| KR20030069282A (ko) | 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치 | |
| US20120195364A1 (en) | Dynamic mode search order control for a video encoder | |
| JP2000152241A (ja) | ブロック化現象及びリング現象を除去するための圧縮動画像の復元方法及びその装置 | |
| JP2003230142A (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
| JP2006352198A (ja) | 画像符号化装置及び画像符号化プログラム | |
| JP2001251627A (ja) | 符号化装置、符号化方法及びプログラムを記録した記録媒体 | |
| JPWO2012121211A1 (ja) | 量子化制御装置及び方法、及び量子化制御プログラム | |
| JP5295089B2 (ja) | 画像符号化装置 | |
| JP2000270323A (ja) | 画像信号の符号化制御装置 | |
| JP5171658B2 (ja) | 画像符号化装置 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| JP2005020294A (ja) | ブロック歪低減装置 | |
| JP2002516528A (ja) | ブロック編成されたデータの符号化 | |
| US20090279607A1 (en) | Method and apparatus for video coding | |
| KR101583870B1 (ko) | 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법 | |
| JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
| JP6270293B1 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2009118097A (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
| KR20150096353A (ko) | 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051007 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051007 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051007 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |