JP2004208146A - 動画像符号化装置および動画像符号化方法 - Google Patents
動画像符号化装置および動画像符号化方法 Download PDFInfo
- Publication number
- JP2004208146A JP2004208146A JP2002376563A JP2002376563A JP2004208146A JP 2004208146 A JP2004208146 A JP 2004208146A JP 2002376563 A JP2002376563 A JP 2002376563A JP 2002376563 A JP2002376563 A JP 2002376563A JP 2004208146 A JP2004208146 A JP 2004208146A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- coding
- skip
- scheduled
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】フレーム１枚ごとの画質を劣化させることなく、フレームスキップが発生しても視覚的に滑らかな動きの動画像符号化方式および動画像符号化装置を提供する。
【解決手段】バッファにおける符号化データの占有量を監査し、それに応じた制御信号を送信する発生符号量制御部１７と、上記制御信号によってフレームの符号化とフレームスキップを選択的に行なうスイッチ２０４と、スキップしたスキップフレームデータを保持するスキップフレームメモリ２００〜２０２と、複数ある上記スキップフレームメモリを管理するスキップフレームメモリ管理部２０３と、上記スキップフレームメモリ２００〜２０２に保持されたスキップフレームデータを読み出して、適切な係数を乗じた後、次に符号化されるフレームデータに加算することによって作成された残像効果フレームデータを保持する残像効果フレームメモリ２１３を有する。
【選択図】 図２
【解決手段】バッファにおける符号化データの占有量を監査し、それに応じた制御信号を送信する発生符号量制御部１７と、上記制御信号によってフレームの符号化とフレームスキップを選択的に行なうスイッチ２０４と、スキップしたスキップフレームデータを保持するスキップフレームメモリ２００〜２０２と、複数ある上記スキップフレームメモリを管理するスキップフレームメモリ管理部２０３と、上記スキップフレームメモリ２００〜２０２に保持されたスキップフレームデータを読み出して、適切な係数を乗じた後、次に符号化されるフレームデータに加算することによって作成された残像効果フレームデータを保持する残像効果フレームメモリ２１３を有する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビ電話やカメラ付き携帯電話でのビデオ録画などに適用される動画像符号化方式および動画像符号化装置に関する。
【０００２】
【従来の技術】
テレビ電話やカメラ付き携帯電話でのビデオ録画などに適用される、低ビットレート動画像符号化方式では、定められたビットレートの範囲に発生符号量を押さえるため、様々な符号化制御が行なわれる。発生符号量制御には大きくわけて、（１）量子化ステップサイズ調整による発生符号量制御と（２）フレームスキップによる発生符号量制御の２通りある。
【０００３】
（１）は量子化ステップサイズを大きくすることにより、圧縮率を高めて各フレーム毎の発生符号量を減少させるものである。そのため、フレーム１枚ごとの画質は劣化するという特徴をもつ。（２）は、フレーム１枚ごとの圧縮率は上げないが、符号化するフレームの数自体を減らして、全体としての発生符号量を抑えるものである。そのため、各フレームの画質は劣化しないが、動きが滑らかでなくなるという特徴をもつ。フレームごとの画質と動きの滑らかさはトレードオフの関係にあり、一般的に（１）と（２）の方法を組み合わせて発生符号量を制御する。
【０００４】
図５に、上記のような発生符号量制御を行なう従来の動画像符号化装置の概略構成を示す。この動画像符号化装置は、動画像入力部１、フレームメモリ２、ブロック化部３、離散コサイン変換部４、量子化部５、符号変換部６、バッファ７、逆量子化部８、逆離散コサイン変換部９、参照フレームメモリ１０、予測画像生成部１１、動き検出部１２、スイッチ１３、スイッチ１４、減算器１５、加算器１６、発生符号量制御部１７を有する。
【０００５】
動画像入力部１は、ＣＭＯＳカメラ、ＣＣＤカメラなどの撮像装置を備え、この撮像装置を介して所望の連続フレームを取り込むことができる。取り込まれたフレームは、スイッチ１３を介してフレームメモリ２に保存される。本例では、フレームメモリを２面有する場合を示しており、１面を動画像入力部１から取り込まれたフレームを保存する入力用フレームメモリとして、もう１面をブロック化部３がアクセスする出力用フレームメモリとして使用する。この２面はトグルで切り替わっており、スイッチ１３およびスイッチ１４がこれを切り替える。すなわち、一方のフレームメモリにスイッチ１３を介して動画像入力部が接続されている時、他方のフレームメモリにスイッチ１４を介してブロック化部が接続される。
【０００６】
以下、インターフレームの一般的な符号化方式について説明する。ブロック化部３は、フレームメモリ２に保持されたフレームデータを、符号化単位となるｍ×ｎ（ｍ、ｎは自然数）のブロックに区切り、ブロックごとに画像データ（ブロックデータ）を出力する。このブロック化部３の出力は、減算器１５、動き検出部１２に供給される。動き検出部１２は参照フレームメモリ１０にも接続されており、参照フレームメモリ１０には、時間的に前のフレーム（参照フレーム）が保持されている。動き検出部１２は参照フレームとブロック化部３から供給されるブロックデータ間で動き検出を行ない、動きベクトルを計算する。動きベクトルは予測画像生成部１１に供給され、ここで参照フレームから予測画像が生成される。減算器１５では、ブロックデータと予測画像の差分ブロックデータが出力され、離散コサイン変換部４に供給される。
【０００７】
離散コサイン変換部４は、差分ブロックデータに離散コサイン変換（ＤＣＴ）を施す。この離散コサイン変換部４の出力は量子化部５に供給される。量子化部５は、離散コサイン変換部４の出力であるＤＣＴ係数を量子化する。この量子化部５の出力は符号変換部６および逆量子化部８に供給される。
【０００８】
逆量子化部８は、量子化されたデータを逆量子化する。逆量子化されたデータは逆離散コサイン変換部９によって逆離散コサイン変換（ＩＤＣＴ）を施された後、加算器１６によって予測画像生成部１１からの出力である予測画像と加算されて、参照フレームデータとして復元される。参照フレームデータは参照フレームメモリ１０に保存され、次のフレームの参照フレームとして使用される。
【０００９】
符号変換部６は、量子化部５の出力データに可変長符号化を施す。符号変換部６の出力データ（符号化データ）は、バッファ７に出力される。バッファ７からは、例えば６４ｋｂｐｓなどのレートで定期的に符号化データが引き抜かれ、伝送路などに送信されるものとする。
【００１０】
発生符号量制御部１７はバッファ７における符号化データの占有量を監査し、占有量に応じて、量子化部６とスイッチ１４を制御する。例えば、量子化ステップ変更閾値とフレームスキップ閾値を予め設定しておき（量子化ステップ変更閾値＜フレームスキップ閾値）、バッファ占有量が、量子化ステップ変更閾値を超えた場合、発生符号量制御部１７は、発生符号量を抑制すべく、量子化ステップサイズを大きくするよう量子化部５に制御信号を送信する。情報量が多く、前記制御によっても発生符号量を抑制しきれずさらにフレームスキップ閾値を超えた場合、発生符号量制御部１７は、スイッチ１４にフレームスキップ信号を送信する。すなわち、スイッチ１４は非接続となり、フレームメモリ２に保存されるフレームデータはブロック化部３に入力されず、符号化されない。したがってここでフレームスキップが生じ、動きが不連続になる。
【００１１】
また、先行技術文献（例えば特許文献１参照）には、映像の動き量に応じて複数フレームを選択し、該フレームを重ね合わせて一枚の静止画像を作成し、残像効果のように表現しそれを符号化することにより、全ての映像データを受信しなくても映像情報の欠落を防ぐ伝送装置及び方法が開示されている。
【００１２】
【特許文献１】
特開平１０−１１２８５２号公報
【００１３】
【発明が解決しようとする課題】
上記従来の技術では、被写体の動きが激しいなど発生符号量が激増し、フレームスキップが発生した場合、動きの不連続さが目立つ。しかし、フレームスキップの発生を防ごうと、量子化ステップサイズの調整のみで発生符号量を抑制しようとした場合、フレーム１枚ごとの画質の劣化が目立つ。
【００１４】
本発明の目的は、フレーム１枚ごとの画質を劣化させることなく、フレームスキップが発生しても視覚的に滑らかな動きの動画像符号化方式および動画像符号化装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、本発明の動画像符号化装置は、符号化データの発生量に従い、入力フレームの符号化予定と非符号化予定（フレームスキップ）を選択的に決定する動画像符号化装置において、非符号化予定フレーム（スキップフレーム）を保持する手段と、前記スキップフレームの保持状況を管理する手段と、時間的に連続する複数スキップフレームと符号化予定フレームから残像効果付きフレームを作成する手段と、前記符号化予定フレームにかえて前記残像効果付きフレームを符号化する手段を有することを特徴とする。
【００１６】
上記の場合、前記残像効果付きフレーム作成手段は、前記複数スキップフレームのフレーム数に応じて定められた係数群を前記スキップフレームおよび前記符号化予定フレームに乗じて加算してもよい。
【００１７】
またさらに、前記スキップフレームと前記符号化予定フレームの画素の差分値に応じて動的に決定される係数を前記スキップフレームおよび前記符号化予定フレームの画素毎に乗じて加算してもよい。
【００１８】
本発明の動画像符号化方法は、符号化データの発生量に従い、入力フレームの符号化予定と非符号化予定を選択的に決定する動画像符号化方法において、スキップフレームを保持する第１のステップと、前記スキップフレームの保持状況を管理する第２のステップと、時間的に連続する複数スキップレームと符号化予定フレームから残像効果付きフレームを作成する第３のステップと、前記符号化予定フレームにかえて前記残像効果付きフレームを符号化する第４のステップを含むことを特徴とする。
【００１９】
上記の場合、前記第３のステップは、前記複数スキップフレームのフレーム数に応じて定められた係数群を前記スキップフレームおよび前記符号化予定フレームに乗じて加算してもよい。
【００２０】
またさらに、前記第３のステップは、前記スキップフレームと前記符号化予定フレームの画素の差分値に応じて動的に決定される係数を前記スキップフレームおよび前記符号化予定フレームの画素毎に乗じて加算してもよい。
【００２１】
上記のとおり本発明においては、符号化予定フレームにスキップフレームを合成した残像効果付きフレームを、前記符号化予定フレームにかえて符号化を行なっている。したがって、スキップフレームが発生した際にも、残像効果によって動きの不連続さを緩和することができる。
【００２２】
【発明の実施の形態】
以下、本発明の第１の実施の形態に係る動画像符号化装置及び方法について図面を参照して説明する。
【００２３】
図１および図２は本発明の第1の実施の形態に係る動画像符号化装置の概略構成を示すブロック図である。本実施の形態の動画像符号化装置は、残像効果フレーム作成部１００が設けられ、発生符号量制御部１７がスイッチ１４でなく、残像効果フレーム作成部１００に接続されている以外は、図５に示したものとほぼ同様の構成のものである。図１中、図５に示す従来の動画像符号化装置と同じ部分には同じ符号を付している。説明を簡略化するために、ここでは同じ部分の動作説明は省略する。
【００２４】
図１において、フレームメモリの入力切り替えスイッチであるスイッチ１４は、残像効果フレーム作成部１００に接続される。図２に残像効果フレーム作成部１００の詳細な構成を示す。
【００２５】
スイッチ２０４は、フレームメモリ２の接続先を端子Ａ、Ｂで切り替える。端子Ａの場合、スイッチ２１２を経てブロック化部３に接続される。端子Ｂの場合、スイッチ２０５を経て、第１〜第３のスキップフレームメモリ２００〜２０２に接続される。
【００２６】
スイッチ２０４の切り替えは、バッファ７における符号化データの占有量に応じて発生符号量制御部１７から送信される制御信号によって行なわれる。すなわち、バッファの占有量によって制御を行なう。以下、バッファ占有量がフレームスキップ閾値以上の場合とフレームスキップ閾値以下の場合に分けて説明する。尚、バッファ占有量には、従来の動画像符号化装置と同様にフレームスキップ閾値が予め設定されているものとする。
【００２７】
（１）バッファ占有量がフレームスキップ閾値以上の場合
入力されるフレームをスキップする。スキップされるフレームはスキップフレームメモリに保存される。スイッチ２０４において、フレームメモリ２は端子Ｂに接続され、スイッチ２０５を介して第1〜第３のスキップフレームメモリ２００〜２０２のいずれかに接続される。この時、スイッチ２１１は非接続とする。第１〜第３のスキップフレームメモリ２００〜２０２のいずれに接続するかは、スキップフレームメモリ管理部２０３の制御によってスイッチ２０５で行う。スキップフレームメモリ管理部２０３は、どのスキップフレームメモリにスキップフレームデータが保持されているかということと、そのスキップフレームデータの時間的順序を管理する。本例では、３つのスキップフレームメモリをもつ場合について示している。この場合、３枚のスキップフレームまで保持することが可能であり、それ以上のスキップフレームが連続して発生した場合は、時間が古いものから上書きされる。
【００２８】
（２）バッファ占有量がフレームスキップ閾値以下の場合
フレームメモリ２から入力されるフレームを符号化する。もし、このフレームの直前にフレームスキップが起こっている場合は、それらのスキップフレームデータを合成した残像効果付きのフレームデータを作成する。この仕組みを説明する。スイッチ２０４は端子Ａに接続される。スキップフレームメモリ管理部２０３では、第１〜３のスキップフレームメモリ２００〜２０２に保持されるスキップフレーム情報を保持しており、これらの情報によってスイッチ２１１およびスイッチ２１２を切り替える。
【００２９】
例えば、第１〜３のスキップフレームメモリ２００〜２０２のいずれにもスキップフレームデータが保存されていない場合、スイッチ２１１は非接続、スイッチ２１２は端子Ｃに接続されて、フレームメモリ２から入力されたフレームデータがそのままブロック化部３に入力される。
【００３０】
第１のスキップフレームメモリ２００にのみスキップフレームデータが保存されている場合、スイッチ２１１において第１のスキップフレームメモリのみ接続され、スイッチ２１２は端子Ｄに接続される。フレームメモリ２からのフレームデータは、乗算器２０９において適当な係数ｋ０を、第１のスキップフレームメモリに保存されているスキップフレームデータは、乗算器２０６において適当な係数ｋ１を乗じられた後、加算器２１０で加算されて、残像効果フレームメモリ２１３に保存される。すなわち、ブロック化部３の入力となる、符号化されるフレームデータは、
（ｋ０×入力フレームデータ ＋ ｋ１×第１のスキップフレームデータ）
で計算される。なお、係数ｋ０およびｋ１は予め設定された定数で、ｋ１＜ｋ０であるとする。
【００３１】
第１および第２のスキップフレームメモリ２００、２０１にスキップフレームデータが保存されている場合、スイッチ２１１において第１および第２のスキップフレームメモリが接続され、スイッチ２１２は端子Ｄに接続される。フレームメモリ２からのフレームデータは、乗算器２０９において適当な係数ｋ２を、第１のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０６において適当な係数ｋ３を、第２のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０７において適当な係数ｋ４を乗じられた後、加算器２１０で加算されて、残像効果フレームメモリ２１３に保存される。すなわち、ブロック化部３の入力となる、符号化されるフレームデータは、
（ｋ２×入力フレームデータ＋ｋ３×第１のスキップフレームデータ＋ｋ４×第２のスキップフレームデータ）
で計算される。なお、係数ｋ２、ｋ３、およびｋ４は予め設定された定数であり、ｋ４＜ｋ３＜ｋ２であるとする。
【００３２】
第１〜３のスキップフレームメモリ２００、２０１、２０２に全てスキップフレームデータが保存されている場合、スイッチ２１１は全て接続、スイッチ２１２は端子Ｄに接続される。フレームメモリ２からのフレームデータは、乗算器２０９において適当な係数ｋ５を、第１のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０６において適当な係数ｋ６を、第２のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０７において適当な係数ｋ７を、第３のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０８において適当な係数ｋ８を乗じられた後、加算器２１０で加算されて、残像効果フレームメモリに保存される。すなわち、ブロック化部３の入力となる、符号化されるフレームデータは、
（ｋ５×入力フレームデータ＋ｋ６×第１のスキップフレームデータ＋ｋ７×第２のスキップフレームデータ＋ｋ８×第２のスキップフレームデータ）
で計算される。なお、係数ｋ５、ｋ６、ｋ７およびｋ８は予め設定された定数であり、ｋ８＜ｋ７＜ｋ６＜ｋ５であるとする。
【００３３】
以降、ブロック化部３に入力されたフレームデータを、符号化する方法は従来の方法と同様である。なお、スキップフレームメモリ管理部２０３が保持する第１〜３のスキップフレームメモリ２００〜２０２に関する情報は、スキップフレームデータが保存されていない初期化状態にリセットされる。
【００３４】
以上のように、本実施の形態の動画像符号化装置では、従来符号化されなかったスキップフレームデータを、スキップフレーム後の符号化予定フレームに合成して符号化を行なっているので、スキップフレームが発生した際にも、残像効果によって動きの不連続さを緩和することができる。
【００３５】
次に、本発明の第２の実施の形態に係る動画像符号化装置及び方法について図面を参照して説明する。
【００３６】
図１および図３は本発明の第２の実施の形態に係る動画像符号化装置の概略構成を示すブロック図である。本実施の形態の動画像符号化装置は、残像効果フレーム作成部が異なっている以外は、第１の実施の形態と同様の構成のものである。本実施の形態の残像効果フレーム作成部を図３に示す。図３中、図２に示す第１の実施の形態と同じ部分には同じ符号を付している。
【００３７】
スイッチ２０４の切り替えが、バッファ７における符号化データの占有量に応じて発生符号量制御部１７から送信される制御信号によって行なわれるのは第1の実施の形態と同様である。すなわちバッファの占有量によって制御を行なう。以下、バッファ占有量がフレームスキップ閾値以上の場合とフレームスキップ閾値以下の場合に分けて説明する。尚、バッファ占有量には、従来の動画像符号化装置と同様にフレームスキップ閾値が予め設定されているものとする。
【００３８】
（１）バッファ占有量がフレームスキップ閾値以上の場合
入力されるフレームをスキップする。スキップされるフレームはスキップフレームメモリに保存される。この仕組みは第１の実施の形態と同様であるので説明を省略する。
【００３９】
（２）バッファ占有量がフレームスキップ閾値以下の場合
フレームメモリ２から入力されるフレームを符号化する。仮に、このフレームの直前にフレームスキップが起こっている場合は、それらのスキップフレームデータを加味した残像効果付きのフレームデータを作成する。この仕組みを説明する。
【００４０】
スイッチ２０４は端子Ａに接続される。スキップフレームメモリ管理部２０３では、第１〜３のスキップフレームメモリ２００〜２０２に保持されるスキップフレーム情報を保持しており、これらの情報によってスイッチ２１１およびスイッチ２１２を切り替える。
【００４１】
例えば、第１〜３のスキップフレームメモリ２００〜２０２のいずれにもスキップフレームデータが保存されていない場合、スイッチ２１１は非接続、スイッチ２１２は端子Ｃに接続されて、フレームメモリ２から入力されたフレームデータがそのままブロック化部３に入力される。
【００４２】
第１のスキップフレームメモリ２００にスキップフレームデータが保存されている場合、スイッチ３０３で第１のスキップフレームメモリ２００が選択され、差分比較部３０２と接続される。差分比較部３０２では、フレームメモリ２からのフレームデータと第１のスキップフレームメモリ２００に保存されているスキップフレームデータの各画素の差分値をとって、その差分値によって係数算出部３０１が適切な係数を算出する。算出された係数は乗算器３０７、乗算器３０４に送信され、それぞれフレームメモリ２からのフレームデータ、第１のスキップフレームメモリに保存されるスキップフレームデータの各画素毎に乗じられる。係数を乗じられた各画素データは加算器２１０で加算され、残像効果フレームデータとして残像効果フレームメモリ２１３に保存される。
【００４３】
第２のスキップフレームメモリ、第３のスキップフレームメモリにスキップフレームデータが保存されている場合も、順次スイッチ３０３によって差分比較部３０２に接続され、前記と同様の手続きが行なわれる。
【００４４】
以上のように、本実施の形態の動画像符号化装置では、各画素の相関性に応じて乗じる係数を変更できるため、より効果的な残像付きのフレームを作成することができる。
【００４５】
以上説明した各実施の形態は、スキップフレームを保持するスキップフレームメモリを三面とった場合について説明しているが、環境や用途に合わせてスキップフレームメモリの数は増減してもよい。
【００４６】
なお、図４に本発明と従来の動画像符号化方式による符号化フレームの比較イメージ図を示す。図４中の上段に示すような連続フレーム１、２、３、４が入力フレームであり、フレーム２、３がスキップされる場合、従来の方式による符号化フレームでは、中段に示すようにフレーム１の直後にフレーム４がきて動きが不連続になってしまうのに対し、本発明による符号化フレームでは下段に示すように、フレーム１の後にスキップフレーム２、３をフレーム４に合成した残像効果付きフレームがくるため、視覚的に不連続さが緩和できる。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、従来符号化されなかったスキップフレームデータを、スキップフレーム後の符号化予定フレームに合成して符号化を行うため、スキップフレームが発生した際にも残像効果によって動きの不連続さを効果的に緩和できる。
【図面の簡単な説明】
【図１】本発明の実施の形態の動画像符号化装置の概略構成を示すブロック図である。
【図２】図１に示す残像効果フレーム作成部の一構成例を示すブロック図である。
【図３】図１に示す残像効果フレーム作成部の一構成例を示すブロック図である。
【図４】本発明と従来の動画像符号化方式による符号化フレームの比較イメージ図である。
【図５】従来の動画像符号化装置の概略構成を示すブロック図である。
【符号の説明】
１ 動画像入力部
２ フレームメモリ
３ ブロック化部
４ 離散コサイン変換部
５ 量子化部
６ 符号変換部
７ バッファ
８ 逆量子化部
９ 逆離散コサイン変換部
１０ 参照フレームメモリ
１１ 予測画像生成部
１２ 動き検出部
１３，１４ スイッチ
１５ 減算器
１６ 加算器
１７ 発生符号量制御部
１００ 残像効果フレーム作成部
２００ 第１のスキップフレームメモリ
２０１ 第２のスキップフレームメモリ
２０２ 第３のスキップフレームメモリ
２０３ スキップフレームメモリ管理部
２０４，２０５，２１１，２１２ スイッチ
２０６，２０７，２０８，２０９ 乗算器
２１０ 加算器
２１３ 残像効果フレームメモリ
３０１ 係数算出部
３０２ 差分比較部
３０４，３０５，３０６，３０７ 乗算器
【発明の属する技術分野】
本発明は、テレビ電話やカメラ付き携帯電話でのビデオ録画などに適用される動画像符号化方式および動画像符号化装置に関する。
【０００２】
【従来の技術】
テレビ電話やカメラ付き携帯電話でのビデオ録画などに適用される、低ビットレート動画像符号化方式では、定められたビットレートの範囲に発生符号量を押さえるため、様々な符号化制御が行なわれる。発生符号量制御には大きくわけて、（１）量子化ステップサイズ調整による発生符号量制御と（２）フレームスキップによる発生符号量制御の２通りある。
【０００３】
（１）は量子化ステップサイズを大きくすることにより、圧縮率を高めて各フレーム毎の発生符号量を減少させるものである。そのため、フレーム１枚ごとの画質は劣化するという特徴をもつ。（２）は、フレーム１枚ごとの圧縮率は上げないが、符号化するフレームの数自体を減らして、全体としての発生符号量を抑えるものである。そのため、各フレームの画質は劣化しないが、動きが滑らかでなくなるという特徴をもつ。フレームごとの画質と動きの滑らかさはトレードオフの関係にあり、一般的に（１）と（２）の方法を組み合わせて発生符号量を制御する。
【０００４】
図５に、上記のような発生符号量制御を行なう従来の動画像符号化装置の概略構成を示す。この動画像符号化装置は、動画像入力部１、フレームメモリ２、ブロック化部３、離散コサイン変換部４、量子化部５、符号変換部６、バッファ７、逆量子化部８、逆離散コサイン変換部９、参照フレームメモリ１０、予測画像生成部１１、動き検出部１２、スイッチ１３、スイッチ１４、減算器１５、加算器１６、発生符号量制御部１７を有する。
【０００５】
動画像入力部１は、ＣＭＯＳカメラ、ＣＣＤカメラなどの撮像装置を備え、この撮像装置を介して所望の連続フレームを取り込むことができる。取り込まれたフレームは、スイッチ１３を介してフレームメモリ２に保存される。本例では、フレームメモリを２面有する場合を示しており、１面を動画像入力部１から取り込まれたフレームを保存する入力用フレームメモリとして、もう１面をブロック化部３がアクセスする出力用フレームメモリとして使用する。この２面はトグルで切り替わっており、スイッチ１３およびスイッチ１４がこれを切り替える。すなわち、一方のフレームメモリにスイッチ１３を介して動画像入力部が接続されている時、他方のフレームメモリにスイッチ１４を介してブロック化部が接続される。
【０００６】
以下、インターフレームの一般的な符号化方式について説明する。ブロック化部３は、フレームメモリ２に保持されたフレームデータを、符号化単位となるｍ×ｎ（ｍ、ｎは自然数）のブロックに区切り、ブロックごとに画像データ（ブロックデータ）を出力する。このブロック化部３の出力は、減算器１５、動き検出部１２に供給される。動き検出部１２は参照フレームメモリ１０にも接続されており、参照フレームメモリ１０には、時間的に前のフレーム（参照フレーム）が保持されている。動き検出部１２は参照フレームとブロック化部３から供給されるブロックデータ間で動き検出を行ない、動きベクトルを計算する。動きベクトルは予測画像生成部１１に供給され、ここで参照フレームから予測画像が生成される。減算器１５では、ブロックデータと予測画像の差分ブロックデータが出力され、離散コサイン変換部４に供給される。
【０００７】
離散コサイン変換部４は、差分ブロックデータに離散コサイン変換（ＤＣＴ）を施す。この離散コサイン変換部４の出力は量子化部５に供給される。量子化部５は、離散コサイン変換部４の出力であるＤＣＴ係数を量子化する。この量子化部５の出力は符号変換部６および逆量子化部８に供給される。
【０００８】
逆量子化部８は、量子化されたデータを逆量子化する。逆量子化されたデータは逆離散コサイン変換部９によって逆離散コサイン変換（ＩＤＣＴ）を施された後、加算器１６によって予測画像生成部１１からの出力である予測画像と加算されて、参照フレームデータとして復元される。参照フレームデータは参照フレームメモリ１０に保存され、次のフレームの参照フレームとして使用される。
【０００９】
符号変換部６は、量子化部５の出力データに可変長符号化を施す。符号変換部６の出力データ（符号化データ）は、バッファ７に出力される。バッファ７からは、例えば６４ｋｂｐｓなどのレートで定期的に符号化データが引き抜かれ、伝送路などに送信されるものとする。
【００１０】
発生符号量制御部１７はバッファ７における符号化データの占有量を監査し、占有量に応じて、量子化部６とスイッチ１４を制御する。例えば、量子化ステップ変更閾値とフレームスキップ閾値を予め設定しておき（量子化ステップ変更閾値＜フレームスキップ閾値）、バッファ占有量が、量子化ステップ変更閾値を超えた場合、発生符号量制御部１７は、発生符号量を抑制すべく、量子化ステップサイズを大きくするよう量子化部５に制御信号を送信する。情報量が多く、前記制御によっても発生符号量を抑制しきれずさらにフレームスキップ閾値を超えた場合、発生符号量制御部１７は、スイッチ１４にフレームスキップ信号を送信する。すなわち、スイッチ１４は非接続となり、フレームメモリ２に保存されるフレームデータはブロック化部３に入力されず、符号化されない。したがってここでフレームスキップが生じ、動きが不連続になる。
【００１１】
また、先行技術文献（例えば特許文献１参照）には、映像の動き量に応じて複数フレームを選択し、該フレームを重ね合わせて一枚の静止画像を作成し、残像効果のように表現しそれを符号化することにより、全ての映像データを受信しなくても映像情報の欠落を防ぐ伝送装置及び方法が開示されている。
【００１２】
【特許文献１】
特開平１０−１１２８５２号公報
【００１３】
【発明が解決しようとする課題】
上記従来の技術では、被写体の動きが激しいなど発生符号量が激増し、フレームスキップが発生した場合、動きの不連続さが目立つ。しかし、フレームスキップの発生を防ごうと、量子化ステップサイズの調整のみで発生符号量を抑制しようとした場合、フレーム１枚ごとの画質の劣化が目立つ。
【００１４】
本発明の目的は、フレーム１枚ごとの画質を劣化させることなく、フレームスキップが発生しても視覚的に滑らかな動きの動画像符号化方式および動画像符号化装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、本発明の動画像符号化装置は、符号化データの発生量に従い、入力フレームの符号化予定と非符号化予定（フレームスキップ）を選択的に決定する動画像符号化装置において、非符号化予定フレーム（スキップフレーム）を保持する手段と、前記スキップフレームの保持状況を管理する手段と、時間的に連続する複数スキップフレームと符号化予定フレームから残像効果付きフレームを作成する手段と、前記符号化予定フレームにかえて前記残像効果付きフレームを符号化する手段を有することを特徴とする。
【００１６】
上記の場合、前記残像効果付きフレーム作成手段は、前記複数スキップフレームのフレーム数に応じて定められた係数群を前記スキップフレームおよび前記符号化予定フレームに乗じて加算してもよい。
【００１７】
またさらに、前記スキップフレームと前記符号化予定フレームの画素の差分値に応じて動的に決定される係数を前記スキップフレームおよび前記符号化予定フレームの画素毎に乗じて加算してもよい。
【００１８】
本発明の動画像符号化方法は、符号化データの発生量に従い、入力フレームの符号化予定と非符号化予定を選択的に決定する動画像符号化方法において、スキップフレームを保持する第１のステップと、前記スキップフレームの保持状況を管理する第２のステップと、時間的に連続する複数スキップレームと符号化予定フレームから残像効果付きフレームを作成する第３のステップと、前記符号化予定フレームにかえて前記残像効果付きフレームを符号化する第４のステップを含むことを特徴とする。
【００１９】
上記の場合、前記第３のステップは、前記複数スキップフレームのフレーム数に応じて定められた係数群を前記スキップフレームおよび前記符号化予定フレームに乗じて加算してもよい。
【００２０】
またさらに、前記第３のステップは、前記スキップフレームと前記符号化予定フレームの画素の差分値に応じて動的に決定される係数を前記スキップフレームおよび前記符号化予定フレームの画素毎に乗じて加算してもよい。
【００２１】
上記のとおり本発明においては、符号化予定フレームにスキップフレームを合成した残像効果付きフレームを、前記符号化予定フレームにかえて符号化を行なっている。したがって、スキップフレームが発生した際にも、残像効果によって動きの不連続さを緩和することができる。
【００２２】
【発明の実施の形態】
以下、本発明の第１の実施の形態に係る動画像符号化装置及び方法について図面を参照して説明する。
【００２３】
図１および図２は本発明の第1の実施の形態に係る動画像符号化装置の概略構成を示すブロック図である。本実施の形態の動画像符号化装置は、残像効果フレーム作成部１００が設けられ、発生符号量制御部１７がスイッチ１４でなく、残像効果フレーム作成部１００に接続されている以外は、図５に示したものとほぼ同様の構成のものである。図１中、図５に示す従来の動画像符号化装置と同じ部分には同じ符号を付している。説明を簡略化するために、ここでは同じ部分の動作説明は省略する。
【００２４】
図１において、フレームメモリの入力切り替えスイッチであるスイッチ１４は、残像効果フレーム作成部１００に接続される。図２に残像効果フレーム作成部１００の詳細な構成を示す。
【００２５】
スイッチ２０４は、フレームメモリ２の接続先を端子Ａ、Ｂで切り替える。端子Ａの場合、スイッチ２１２を経てブロック化部３に接続される。端子Ｂの場合、スイッチ２０５を経て、第１〜第３のスキップフレームメモリ２００〜２０２に接続される。
【００２６】
スイッチ２０４の切り替えは、バッファ７における符号化データの占有量に応じて発生符号量制御部１７から送信される制御信号によって行なわれる。すなわち、バッファの占有量によって制御を行なう。以下、バッファ占有量がフレームスキップ閾値以上の場合とフレームスキップ閾値以下の場合に分けて説明する。尚、バッファ占有量には、従来の動画像符号化装置と同様にフレームスキップ閾値が予め設定されているものとする。
【００２７】
（１）バッファ占有量がフレームスキップ閾値以上の場合
入力されるフレームをスキップする。スキップされるフレームはスキップフレームメモリに保存される。スイッチ２０４において、フレームメモリ２は端子Ｂに接続され、スイッチ２０５を介して第1〜第３のスキップフレームメモリ２００〜２０２のいずれかに接続される。この時、スイッチ２１１は非接続とする。第１〜第３のスキップフレームメモリ２００〜２０２のいずれに接続するかは、スキップフレームメモリ管理部２０３の制御によってスイッチ２０５で行う。スキップフレームメモリ管理部２０３は、どのスキップフレームメモリにスキップフレームデータが保持されているかということと、そのスキップフレームデータの時間的順序を管理する。本例では、３つのスキップフレームメモリをもつ場合について示している。この場合、３枚のスキップフレームまで保持することが可能であり、それ以上のスキップフレームが連続して発生した場合は、時間が古いものから上書きされる。
【００２８】
（２）バッファ占有量がフレームスキップ閾値以下の場合
フレームメモリ２から入力されるフレームを符号化する。もし、このフレームの直前にフレームスキップが起こっている場合は、それらのスキップフレームデータを合成した残像効果付きのフレームデータを作成する。この仕組みを説明する。スイッチ２０４は端子Ａに接続される。スキップフレームメモリ管理部２０３では、第１〜３のスキップフレームメモリ２００〜２０２に保持されるスキップフレーム情報を保持しており、これらの情報によってスイッチ２１１およびスイッチ２１２を切り替える。
【００２９】
例えば、第１〜３のスキップフレームメモリ２００〜２０２のいずれにもスキップフレームデータが保存されていない場合、スイッチ２１１は非接続、スイッチ２１２は端子Ｃに接続されて、フレームメモリ２から入力されたフレームデータがそのままブロック化部３に入力される。
【００３０】
第１のスキップフレームメモリ２００にのみスキップフレームデータが保存されている場合、スイッチ２１１において第１のスキップフレームメモリのみ接続され、スイッチ２１２は端子Ｄに接続される。フレームメモリ２からのフレームデータは、乗算器２０９において適当な係数ｋ０を、第１のスキップフレームメモリに保存されているスキップフレームデータは、乗算器２０６において適当な係数ｋ１を乗じられた後、加算器２１０で加算されて、残像効果フレームメモリ２１３に保存される。すなわち、ブロック化部３の入力となる、符号化されるフレームデータは、
（ｋ０×入力フレームデータ ＋ ｋ１×第１のスキップフレームデータ）
で計算される。なお、係数ｋ０およびｋ１は予め設定された定数で、ｋ１＜ｋ０であるとする。
【００３１】
第１および第２のスキップフレームメモリ２００、２０１にスキップフレームデータが保存されている場合、スイッチ２１１において第１および第２のスキップフレームメモリが接続され、スイッチ２１２は端子Ｄに接続される。フレームメモリ２からのフレームデータは、乗算器２０９において適当な係数ｋ２を、第１のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０６において適当な係数ｋ３を、第２のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０７において適当な係数ｋ４を乗じられた後、加算器２１０で加算されて、残像効果フレームメモリ２１３に保存される。すなわち、ブロック化部３の入力となる、符号化されるフレームデータは、
（ｋ２×入力フレームデータ＋ｋ３×第１のスキップフレームデータ＋ｋ４×第２のスキップフレームデータ）
で計算される。なお、係数ｋ２、ｋ３、およびｋ４は予め設定された定数であり、ｋ４＜ｋ３＜ｋ２であるとする。
【００３２】
第１〜３のスキップフレームメモリ２００、２０１、２０２に全てスキップフレームデータが保存されている場合、スイッチ２１１は全て接続、スイッチ２１２は端子Ｄに接続される。フレームメモリ２からのフレームデータは、乗算器２０９において適当な係数ｋ５を、第１のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０６において適当な係数ｋ６を、第２のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０７において適当な係数ｋ７を、第３のスキップフレームメモリに保存されているスキップフレームデータは乗算器２０８において適当な係数ｋ８を乗じられた後、加算器２１０で加算されて、残像効果フレームメモリに保存される。すなわち、ブロック化部３の入力となる、符号化されるフレームデータは、
（ｋ５×入力フレームデータ＋ｋ６×第１のスキップフレームデータ＋ｋ７×第２のスキップフレームデータ＋ｋ８×第２のスキップフレームデータ）
で計算される。なお、係数ｋ５、ｋ６、ｋ７およびｋ８は予め設定された定数であり、ｋ８＜ｋ７＜ｋ６＜ｋ５であるとする。
【００３３】
以降、ブロック化部３に入力されたフレームデータを、符号化する方法は従来の方法と同様である。なお、スキップフレームメモリ管理部２０３が保持する第１〜３のスキップフレームメモリ２００〜２０２に関する情報は、スキップフレームデータが保存されていない初期化状態にリセットされる。
【００３４】
以上のように、本実施の形態の動画像符号化装置では、従来符号化されなかったスキップフレームデータを、スキップフレーム後の符号化予定フレームに合成して符号化を行なっているので、スキップフレームが発生した際にも、残像効果によって動きの不連続さを緩和することができる。
【００３５】
次に、本発明の第２の実施の形態に係る動画像符号化装置及び方法について図面を参照して説明する。
【００３６】
図１および図３は本発明の第２の実施の形態に係る動画像符号化装置の概略構成を示すブロック図である。本実施の形態の動画像符号化装置は、残像効果フレーム作成部が異なっている以外は、第１の実施の形態と同様の構成のものである。本実施の形態の残像効果フレーム作成部を図３に示す。図３中、図２に示す第１の実施の形態と同じ部分には同じ符号を付している。
【００３７】
スイッチ２０４の切り替えが、バッファ７における符号化データの占有量に応じて発生符号量制御部１７から送信される制御信号によって行なわれるのは第1の実施の形態と同様である。すなわちバッファの占有量によって制御を行なう。以下、バッファ占有量がフレームスキップ閾値以上の場合とフレームスキップ閾値以下の場合に分けて説明する。尚、バッファ占有量には、従来の動画像符号化装置と同様にフレームスキップ閾値が予め設定されているものとする。
【００３８】
（１）バッファ占有量がフレームスキップ閾値以上の場合
入力されるフレームをスキップする。スキップされるフレームはスキップフレームメモリに保存される。この仕組みは第１の実施の形態と同様であるので説明を省略する。
【００３９】
（２）バッファ占有量がフレームスキップ閾値以下の場合
フレームメモリ２から入力されるフレームを符号化する。仮に、このフレームの直前にフレームスキップが起こっている場合は、それらのスキップフレームデータを加味した残像効果付きのフレームデータを作成する。この仕組みを説明する。
【００４０】
スイッチ２０４は端子Ａに接続される。スキップフレームメモリ管理部２０３では、第１〜３のスキップフレームメモリ２００〜２０２に保持されるスキップフレーム情報を保持しており、これらの情報によってスイッチ２１１およびスイッチ２１２を切り替える。
【００４１】
例えば、第１〜３のスキップフレームメモリ２００〜２０２のいずれにもスキップフレームデータが保存されていない場合、スイッチ２１１は非接続、スイッチ２１２は端子Ｃに接続されて、フレームメモリ２から入力されたフレームデータがそのままブロック化部３に入力される。
【００４２】
第１のスキップフレームメモリ２００にスキップフレームデータが保存されている場合、スイッチ３０３で第１のスキップフレームメモリ２００が選択され、差分比較部３０２と接続される。差分比較部３０２では、フレームメモリ２からのフレームデータと第１のスキップフレームメモリ２００に保存されているスキップフレームデータの各画素の差分値をとって、その差分値によって係数算出部３０１が適切な係数を算出する。算出された係数は乗算器３０７、乗算器３０４に送信され、それぞれフレームメモリ２からのフレームデータ、第１のスキップフレームメモリに保存されるスキップフレームデータの各画素毎に乗じられる。係数を乗じられた各画素データは加算器２１０で加算され、残像効果フレームデータとして残像効果フレームメモリ２１３に保存される。
【００４３】
第２のスキップフレームメモリ、第３のスキップフレームメモリにスキップフレームデータが保存されている場合も、順次スイッチ３０３によって差分比較部３０２に接続され、前記と同様の手続きが行なわれる。
【００４４】
以上のように、本実施の形態の動画像符号化装置では、各画素の相関性に応じて乗じる係数を変更できるため、より効果的な残像付きのフレームを作成することができる。
【００４５】
以上説明した各実施の形態は、スキップフレームを保持するスキップフレームメモリを三面とった場合について説明しているが、環境や用途に合わせてスキップフレームメモリの数は増減してもよい。
【００４６】
なお、図４に本発明と従来の動画像符号化方式による符号化フレームの比較イメージ図を示す。図４中の上段に示すような連続フレーム１、２、３、４が入力フレームであり、フレーム２、３がスキップされる場合、従来の方式による符号化フレームでは、中段に示すようにフレーム１の直後にフレーム４がきて動きが不連続になってしまうのに対し、本発明による符号化フレームでは下段に示すように、フレーム１の後にスキップフレーム２、３をフレーム４に合成した残像効果付きフレームがくるため、視覚的に不連続さが緩和できる。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、従来符号化されなかったスキップフレームデータを、スキップフレーム後の符号化予定フレームに合成して符号化を行うため、スキップフレームが発生した際にも残像効果によって動きの不連続さを効果的に緩和できる。
【図面の簡単な説明】
【図１】本発明の実施の形態の動画像符号化装置の概略構成を示すブロック図である。
【図２】図１に示す残像効果フレーム作成部の一構成例を示すブロック図である。
【図３】図１に示す残像効果フレーム作成部の一構成例を示すブロック図である。
【図４】本発明と従来の動画像符号化方式による符号化フレームの比較イメージ図である。
【図５】従来の動画像符号化装置の概略構成を示すブロック図である。
【符号の説明】
１ 動画像入力部
２ フレームメモリ
３ ブロック化部
４ 離散コサイン変換部
５ 量子化部
６ 符号変換部
７ バッファ
８ 逆量子化部
９ 逆離散コサイン変換部
１０ 参照フレームメモリ
１１ 予測画像生成部
１２ 動き検出部
１３，１４ スイッチ
１５ 減算器
１６ 加算器
１７ 発生符号量制御部
１００ 残像効果フレーム作成部
２００ 第１のスキップフレームメモリ
２０１ 第２のスキップフレームメモリ
２０２ 第３のスキップフレームメモリ
２０３ スキップフレームメモリ管理部
２０４，２０５，２１１，２１２ スイッチ
２０６，２０７，２０８，２０９ 乗算器
２１０ 加算器
２１３ 残像効果フレームメモリ
３０１ 係数算出部
３０２ 差分比較部
３０４，３０５，３０６，３０７ 乗算器
Claims (6)
- 符号化データの発生量に従い、入力フレームの符号化予定と非符号化予定を選択的に決定する動画像符号化装置において、
非符号化予定フレームを保持する手段と、
前記非符号化予定フレームの保持状況を管理する手段と、
時間的に連続する複数非符号化予定フレームと符号化予定フレームから残像効果付きフレームを作成する手段と、
前記符号化予定フレームにかえて前記残像効果付きフレームを符号化する手段
を有することを特徴とする動画像符号化装置。 - 前記残像効果付きフレーム作成手段は、前記複数非符号化予定フレームのフレーム数に応じて定められた係数群を前記非符号化予定フレームおよび前記符号化予定フレームに乗じて加算することを特徴とする請求項１に記載の動画像符号化装置。
- 前記残像効果付きフレーム作成手段は、前記非符号化予定フレームと前記符号化予定フレームの画素の差分値に応じて動的に決定される係数を前記非符号化予定フレームおよび前記符号化予定フレームの画素毎に乗じて加算することを特徴とする請求項１に記載の動画像符号化装置。
- 符号化データの発生量に従い、入力フレームの符号化予定と非符号化予定を選択的に決定する動画像符号化方法において、
非符号化予定フレームを保持する第１のステップと、
前記非符号化予定フレームの保持状況を管理する第２のステップと、
時間的に連続する複数非符号化予定フレームと符号化予定フレームから残像効果付きフレームを作成する第３のステップと、
前記符号化予定フレームにかえて前記残像効果付きフレームを符号化する第４のステップ
を含むことを特徴とする動画像符号化方法。 - 前記第３のステップは、前記複数非符号化予定フレームのフレーム数に応じて定められた係数群を前記非符号化予定フレームおよび前記符号化予定フレームに乗じて加算することを特徴とする請求項４に記載の動画像符号化方法。
- 前記第３のステップは、前記非符号化予定フレームと前記符号化予定フレームの画素の差分値に応じて動的に決定される係数を前記非符号化予定フレームおよび前記符号化予定フレームの画素毎に乗じて加算することを特徴とする請求項４に記載の動画像符号化方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002376563A JP4240200B2 (ja) | 2002-12-26 | 2002-12-26 | 動画像符号化装置および動画像符号化方法 |
| EP20030090455 EP1434443B1 (en) | 2002-12-26 | 2003-12-23 | Video encoding for low bitrates |
| DE60324759T DE60324759D1 (de) | 2002-12-26 | 2003-12-23 | Videokodierung für niedrige Bitraten |
| CNB2003101147378A CN1225916C (zh) | 2002-12-26 | 2003-12-26 | 用于编码动态图像的设备及其方法 |
| US10/745,631 US20040184527A1 (en) | 2002-12-26 | 2003-12-29 | Apparatus for encoding dynamic images and method of doing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002376563A JP4240200B2 (ja) | 2002-12-26 | 2002-12-26 | 動画像符号化装置および動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004208146A true JP2004208146A (ja) | 2004-07-22 |
| JP4240200B2 JP4240200B2 (ja) | 2009-03-18 |
Family
ID=32463570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002376563A Expired - Fee Related JP4240200B2 (ja) | 2002-12-26 | 2002-12-26 | 動画像符号化装置および動画像符号化方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040184527A1 (ja) |
| EP (1) | EP1434443B1 (ja) |
| JP (1) | JP4240200B2 (ja) |
| CN (1) | CN1225916C (ja) |
| DE (1) | DE60324759D1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049365A (ja) * | 2005-08-09 | 2007-02-22 | Kyoto Univ | 画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体 |
| JP2012109746A (ja) * | 2010-11-16 | 2012-06-07 | Canon Inc | 送信装置および送信方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100714695B1 (ko) * | 2005-07-16 | 2007-05-04 | 삼성전자주식회사 | 픽쳐 드롭 및 합성을 통하여 레이트 컨트롤을 수행하는비디오 코딩 방법, 그 방법을 이용한 비디오 인코더, 및트랜스코더 |
| JP4743007B2 (ja) * | 2006-06-16 | 2011-08-10 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| JP5077003B2 (ja) | 2008-03-25 | 2012-11-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| EP2962639A1 (en) * | 2014-06-30 | 2016-01-06 | Agfa Healthcare | A fluoroscopy system for detection and real-time display of fluoroscopy images |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4214263A (en) * | 1978-09-20 | 1980-07-22 | Cbs Inc. | Television system for displaying and recording paths of motion |
| EP0291347B1 (en) * | 1987-05-15 | 1994-01-05 | Pioneer Electronic Corporation | Image processing method and apparatus |
| GB2255466B (en) * | 1991-04-30 | 1995-01-25 | Sony Broadcast & Communication | Digital video effects system for producing moving effects |
| GB2266025B (en) * | 1992-04-10 | 1995-09-13 | Grass Valley Group | Auto-translating recursive effects apparatus and method |
| KR950002658B1 (ko) * | 1992-04-11 | 1995-03-24 | 주식회사금성사 | 영상신호의 압축 부호화 및 복호화장치 |
| GB2283636B (en) * | 1992-06-29 | 1996-04-24 | British Telecomm | Coding and decoding video signals |
| US5742707A (en) * | 1995-06-27 | 1998-04-21 | Motorola, Inc. | Method and system for compressing a pixel map signal using a hybrid polynomial coefficient signal |
| DE69733007T2 (de) * | 1996-02-07 | 2006-02-16 | Sharp K.K. | Vorrichtung zur codierung und decodierung von bewegtbildern |
| JP3535672B2 (ja) * | 1996-10-04 | 2004-06-07 | 日本電信電話株式会社 | 映像データ伝送装置及び映像データ伝送方法 |
| JP3560217B2 (ja) * | 1998-04-30 | 2004-09-02 | ソニー株式会社 | データ符号化装置、データ符号化方法及びデータ伝送方法 |
-
2002
- 2002-12-26 JP JP2002376563A patent/JP4240200B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-23 DE DE60324759T patent/DE60324759D1/de not_active Expired - Lifetime
- 2003-12-23 EP EP20030090455 patent/EP1434443B1/en not_active Expired - Fee Related
- 2003-12-26 CN CNB2003101147378A patent/CN1225916C/zh not_active Expired - Fee Related
- 2003-12-29 US US10/745,631 patent/US20040184527A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049365A (ja) * | 2005-08-09 | 2007-02-22 | Kyoto Univ | 画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体 |
| JP4599561B2 (ja) * | 2005-08-09 | 2010-12-15 | 国立大学法人京都大学 | 画像処理装置、画像形成装置、画像処理方法、画像処理装置制御プログラム及び、コンピュータ読み取り可能な記録媒体 |
| JP2012109746A (ja) * | 2010-11-16 | 2012-06-07 | Canon Inc | 送信装置および送信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1434443B1 (en) | 2008-11-19 |
| DE60324759D1 (de) | 2009-01-02 |
| US20040184527A1 (en) | 2004-09-23 |
| JP4240200B2 (ja) | 2009-03-18 |
| CN1225916C (zh) | 2005-11-02 |
| CN1512786A (zh) | 2004-07-14 |
| EP1434443A1 (en) | 2004-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3659161B2 (ja) | 動画像符号化装置及びそれを用いたテレビ電話端末 | |
| US6507615B1 (en) | Video signal processing apparatus and video signal processing method | |
| US9414086B2 (en) | Partial frame utilization in video codecs | |
| US20070199011A1 (en) | System and method for high quality AVC encoding | |
| US20080049837A1 (en) | Image Processing Apparatus, Program for Same, and Method of Same | |
| JPH1169345A (ja) | フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法 | |
| JPH02285816A (ja) | 適応型フレーム間予測符号化方法及び復号方法 | |
| JPWO2006082690A1 (ja) | 画像符号化方法および画像符号化装置 | |
| JPH0795584A (ja) | 画像符号化装置 | |
| US20080219571A1 (en) | Moving Image Coding Apparatus, Moving Image Decoding Apparatus, Control Method Therefor, Computer Program, and Computer-Readable Storage Medium | |
| JP2004015501A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP4240200B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JPH07143495A (ja) | 動画像の符号化装置 | |
| JP2002199392A (ja) | 映像符号化方法および装置 | |
| KR20110024574A (ko) | 통합 영상 부호화 방법 및 장치 | |
| KR100845623B1 (ko) | 변환 도메인 비디오 편집 방법 및 장치 | |
| JPH08307860A (ja) | シーン再エンコード装置 | |
| KR101774237B1 (ko) | 적응적 부호화 구조를 이용한 영상의 부호화 방법 및 이를 이용한 인코딩 시스템 | |
| JP4399794B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JPH0984024A (ja) | 動画像信号の符号化装置 | |
| JPH0775095A (ja) | レート制御回路 | |
| KR100255761B1 (ko) | 영상부호화시스템의부호화모드절환제어장치 | |
| JPH0646411A (ja) | 画像符号化装置 | |
| US6501795B1 (en) | Adaptable intraframe/interframe motion video encoder | |
| JP2004222262A (ja) | 動画圧縮のための内蔵型メモリ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050412 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |