JP2002101417A - 動画像符号化方法および装置 - Google Patents
動画像符号化方法および装置Info
- Publication number
- JP2002101417A JP2002101417A JP2000288452A JP2000288452A JP2002101417A JP 2002101417 A JP2002101417 A JP 2002101417A JP 2000288452 A JP2000288452 A JP 2000288452A JP 2000288452 A JP2000288452 A JP 2000288452A JP 2002101417 A JP2002101417 A JP 2002101417A
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- frame
- encoding
- moving image
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 フレーム化された動画像データを、フレーム
毎に符号化して伝送する符号化方法、および符号化装置
において、画質やフレームレートが不安定になり、復元
画像が不自然になってしまうおそれをなくす。 【解決手段】 この発明の動画像符号化装置は、フレー
ムについての予測符号量を算出する手段と、目標ビット
レートおよび先行フレームについての符号量情報に基づ
いて、現フレームを符号化するに際しての目標符号量を
算出する手段、そして目標符号量、および予測符号量に
基づいて、現フレームの符号化を行うか否かを決定する
手段とを有する。予測符号量に基づいて、現フレームの
全体を符号化するか、あるいは現フレームの部分的な領
域を符号化するかが決定される。さらに、現フレームに
ついての符号量が目標符号量に対して所定の閾値を超え
た場合には、当該フレームの符号化を停止する。
毎に符号化して伝送する符号化方法、および符号化装置
において、画質やフレームレートが不安定になり、復元
画像が不自然になってしまうおそれをなくす。 【解決手段】 この発明の動画像符号化装置は、フレー
ムについての予測符号量を算出する手段と、目標ビット
レートおよび先行フレームについての符号量情報に基づ
いて、現フレームを符号化するに際しての目標符号量を
算出する手段、そして目標符号量、および予測符号量に
基づいて、現フレームの符号化を行うか否かを決定する
手段とを有する。予測符号量に基づいて、現フレームの
全体を符号化するか、あるいは現フレームの部分的な領
域を符号化するかが決定される。さらに、現フレームに
ついての符号量が目標符号量に対して所定の閾値を超え
た場合には、当該フレームの符号化を停止する。
Description
【０００１】
【発明の属する技術分野】この発明は、動画像の符号化
方法、および符号化装置に関する。より詳細には、フレ
ーム化された動画像データを、フレーム毎に符号化して
出力する符号化方法、および符号化装置に関するもので
ある。
方法、および符号化装置に関する。より詳細には、フレ
ーム化された動画像データを、フレーム毎に符号化して
出力する符号化方法、および符号化装置に関するもので
ある。
【０００２】
【従来の技術】ＴＶ電話、携帯情報端末、ビデオ・オン
・デマンド、デジタルＴＶ放送システムのように、動画
像を伝送するサービスは、これから大きな普及が見込ま
れている。
・デマンド、デジタルＴＶ放送システムのように、動画
像を伝送するサービスは、これから大きな普及が見込ま
れている。
【０００３】ここで動画像を伝送する場合、伝送帯域に
合わせて、画像を符号化することが一般的である。動画
像符号化のためには、ＩＳＯで規定されるＭＰＥＧ１や
ＭＰＥＧ２、ＩＴＵ−Ｔで規定されるＨ．２６２やＨ．
２６３などの方式が用いられる。
合わせて、画像を符号化することが一般的である。動画
像符号化のためには、ＩＳＯで規定されるＭＰＥＧ１や
ＭＰＥＧ２、ＩＴＵ−Ｔで規定されるＨ．２６２やＨ．
２６３などの方式が用いられる。
【０００４】一般に、動画像を圧縮符号化する場合に
は、符号化される画像データの符号量を制御（符号化制
御）している。符号化制御方法として最も一般的な方法
は、フレーム毎の発生符号量に応じて、フレームレート
を調整するという方法である。また、あるフレームでの
発生符号量が大きい場合、次の数フレーム分の量子化幅
を大きくして発生符号量を抑える方法も一般的である。
さらに、符号化フレームレートを状況に応じて可変にす
る技術が知られている。このような技術は、たとえば特
開平９−１３０７８７号公報に開示されている。
は、符号化される画像データの符号量を制御（符号化制
御）している。符号化制御方法として最も一般的な方法
は、フレーム毎の発生符号量に応じて、フレームレート
を調整するという方法である。また、あるフレームでの
発生符号量が大きい場合、次の数フレーム分の量子化幅
を大きくして発生符号量を抑える方法も一般的である。
さらに、符号化フレームレートを状況に応じて可変にす
る技術が知られている。このような技術は、たとえば特
開平９−１３０７８７号公報に開示されている。
【０００５】ところで、符号化された動画像を伝送する
際には、複数の連続するフレームで構成される動画像デ
ータをパケット化して、パケット枚に符号化して伝送す
る方法が一般的に用いられる。このとき、１のパケット
に、動画像を構成する１フレーム全体を符号化したこと
で発生する符号を格納するか、フレームの一部を符号化
したことで発生する符号を格納するか、いずれかの方法
が採用される。
際には、複数の連続するフレームで構成される動画像デ
ータをパケット化して、パケット枚に符号化して伝送す
る方法が一般的に用いられる。このとき、１のパケット
に、動画像を構成する１フレーム全体を符号化したこと
で発生する符号を格納するか、フレームの一部を符号化
したことで発生する符号を格納するか、いずれかの方法
が採用される。
【０００６】ここで、伝送路におけるパケットのロス等
により、パケットが復号装置側に届かない場合がある。
こうした場合、復号装置では、その部分を復号すること
はできない。この時に、パケットに１フレーム分の符号
を格納していると、そのフレーム全体が復号できないこ
とになる。そのため、１フレームの画像を複数の領域に
分割し、分割された画像領域を符号化して、それぞれパ
ケットとして送信する方法（パケット分割）が用いられ
ることが一般的である。
により、パケットが復号装置側に届かない場合がある。
こうした場合、復号装置では、その部分を復号すること
はできない。この時に、パケットに１フレーム分の符号
を格納していると、そのフレーム全体が復号できないこ
とになる。そのため、１フレームの画像を複数の領域に
分割し、分割された画像領域を符号化して、それぞれパ
ケットとして送信する方法（パケット分割）が用いられ
ることが一般的である。
【０００７】分割された画像領域を符号化したパケット
は、他のパケット符号化された情報を参照せずに復号す
ることができる。したがって、符号化された画像領域を
独立して復号することが可能となる。
は、他のパケット符号化された情報を参照せずに復号す
ることができる。したがって、符号化された画像領域を
独立して復号することが可能となる。
【０００８】このパケット分割方法を用い、送信レート
を監視しながら、パケットを送信することが困難である
と判断すると、送信装置は該パケットを意図的に送信し
ないといった符号送信制御も行われている。
を監視しながら、パケットを送信することが困難である
と判断すると、送信装置は該パケットを意図的に送信し
ないといった符号送信制御も行われている。
【０００９】
【発明が解決しようとする課題】しかしながら、以上述
べた方法では、画質やフレームレートが不安定になって
しまい、復元画像が不自然になってしまうというおそれ
がある。
べた方法では、画質やフレームレートが不安定になって
しまい、復元画像が不自然になってしまうというおそれ
がある。
【００１０】たとえばフレームレートを調整する方法で
は、送信側のバッファに余裕があるのにもかかわらず、
ある時間にはデータを送信しないという状況が生まれ、
時間的に表示画面にむらが生じる。また、量子化幅を調
整する方法では、符号量の予測を正確に行うことは困難
であり、復元画像の画質が不安定となったり、遅延が生
じたりするという問題がある。
は、送信側のバッファに余裕があるのにもかかわらず、
ある時間にはデータを送信しないという状況が生まれ、
時間的に表示画面にむらが生じる。また、量子化幅を調
整する方法では、符号量の予測を正確に行うことは困難
であり、復元画像の画質が不安定となったり、遅延が生
じたりするという問題がある。
【００１１】またパケット分割を行う場合、送信レート
の余裕度に応じてパケットの送信・非送信を制御する制
御では、符号化装置と復号化装置で、次のフレームの符
号／復号時に用いる参照画像が異なることとなり、画質
の劣化に繋がるといったことが問題となっている。
の余裕度に応じてパケットの送信・非送信を制御する制
御では、符号化装置と復号化装置で、次のフレームの符
号／復号時に用いる参照画像が異なることとなり、画質
の劣化に繋がるといったことが問題となっている。
【００１２】よってこの発明は、安定した画質やフレー
ムレートを得られ、したがって自然な復元画像を得るこ
とのできる動画像符号化装置および方法を提供する。
ムレートを得られ、したがって自然な復元画像を得るこ
とのできる動画像符号化装置および方法を提供する。
【００１３】
【課題を解決するための手段】上記課題を解決するた
め、この発明の動画像符号化装置は、動画像を構成する
個々のフレームについて、予測符号量を算出する。ま
た、あらかじめ与えられている目標ビットレート、およ
び先行フレームについての符号量情報に基づいて、現フ
レームを符号化するに際しての目標符号量を算出する。
そして、目標符号量、および予測符号量に基づいて、現
フレームの符号化を行うか否かを決定する。
め、この発明の動画像符号化装置は、動画像を構成する
個々のフレームについて、予測符号量を算出する。ま
た、あらかじめ与えられている目標ビットレート、およ
び先行フレームについての符号量情報に基づいて、現フ
レームを符号化するに際しての目標符号量を算出する。
そして、目標符号量、および予測符号量に基づいて、現
フレームの符号化を行うか否かを決定する。
【００１４】この発明の動画像符号化装置は、また、現
フレームの符号化を行うとした場合には、予測符号量に
基づいて、現フレームの全体を符号化するか、あるいは
現フレームの部分的な領域を符号化するかを決定する。
この場合、現フレーム中、符号化されない部分について
のデータを補完することが有益である。さらに、現フレ
ームについての符号量が目標符号量に対して所定の閾値
を超えた場合には、当該フレームの符号化を停止する。
フレームの符号化を行うとした場合には、予測符号量に
基づいて、現フレームの全体を符号化するか、あるいは
現フレームの部分的な領域を符号化するかを決定する。
この場合、現フレーム中、符号化されない部分について
のデータを補完することが有益である。さらに、現フレ
ームについての符号量が目標符号量に対して所定の閾値
を超えた場合には、当該フレームの符号化を停止する。
【００１５】
【発明の実施の形態】以下、この発明の第１の実施形態
を、図面を用いて説明する。図１は、第１の実施形態の
動画像符号化装置１０の構成を示すブロック図である。
を、図面を用いて説明する。図１は、第１の実施形態の
動画像符号化装置１０の構成を示すブロック図である。
【００１６】動画像符号化装置１０は、目標ビットレー
トsi1が入力される入力端子１１、および、符号化すべ
き動画像データsi2が入力される入力端子１２を有す
る。さらに、符号化された動画像データである符号化信
号so1が出力される出力端子１３を有する。
トsi1が入力される入力端子１１、および、符号化すべ
き動画像データsi2が入力される入力端子１２を有す
る。さらに、符号化された動画像データである符号化信
号so1が出力される出力端子１３を有する。
【００１７】入力端子１１は、目標符号量設定手段２１
に接続される。したがって、入力端子１１に与えられた
目標ビットレートsi1は、この目標符号量設定手段２１
に与えられる。
に接続される。したがって、入力端子１１に与えられた
目標ビットレートsi1は、この目標符号量設定手段２１
に与えられる。
【００１８】入力端子１２に与えられた動画像データsi
2は、目標符号量設定手段２１およびパケット符号化手
段３１に与えられる。このパケット符号化手段３１は、
動画像データsi2を構成する各々のフレーム毎に、その
フレーム内の所定の領域をパケットに分割する。ここで
パケットとは、各フレームを構成するマクロブロック
（詳しくは後述する）を１ないし複数包含する。パケッ
ト符号化手段３１は、分割された各々のパケットについ
て符号化を行なう。パケット符号化手段３１の詳細な構
成は、後に説明する。
2は、目標符号量設定手段２１およびパケット符号化手
段３１に与えられる。このパケット符号化手段３１は、
動画像データsi2を構成する各々のフレーム毎に、その
フレーム内の所定の領域をパケットに分割する。ここで
パケットとは、各フレームを構成するマクロブロック
（詳しくは後述する）を１ないし複数包含する。パケッ
ト符号化手段３１は、分割された各々のパケットについ
て符号化を行なう。パケット符号化手段３１の詳細な構
成は、後に説明する。
【００１９】パケット符号化手段３１によって符号化さ
れた動画像データは、符号化信号so1として、出力バッ
ファ４１に蓄積される。この出力バッファ４１の出力が
出力端子１３に接続されている。この結果、符号化信号
so1は出力端子１３から受信側に向けて送出される。
れた動画像データは、符号化信号so1として、出力バッ
ファ４１に蓄積される。この出力バッファ４１の出力が
出力端子１３に接続されている。この結果、符号化信号
so1は出力端子１３から受信側に向けて送出される。
【００２０】パケット符号化手段３１はまた、動画像デ
ータsi2を符号化した結果、符号量情報sc1を出力する。
この符号量情報sc1は、目標符号量設定手段２１に与え
られる。
ータsi2を符号化した結果、符号量情報sc1を出力する。
この符号量情報sc1は、目標符号量設定手段２１に与え
られる。
【００２１】目標符号量設定手段２１は、目標ビットレ
ートsi1と、符号量情報sc1とに基づいて、目標符号量si
3を算出する。目標符号量設定手段２１は同時に、入力
された動画像データsi2に基づいて、予測符号量s14を算
出する。目標符号量設定手段２１には、符号化判定手段
５１が接続されている。したがって、これら目標符号量
si3、および予測符号量s14は、符号化判定手段５１に与
えられる。
ートsi1と、符号量情報sc1とに基づいて、目標符号量si
3を算出する。目標符号量設定手段２１は同時に、入力
された動画像データsi2に基づいて、予測符号量s14を算
出する。目標符号量設定手段２１には、符号化判定手段
５１が接続されている。したがって、これら目標符号量
si3、および予測符号量s14は、符号化判定手段５１に与
えられる。
【００２２】符号化判定手段５１は、与えられた目標符
号量si3、および予測符号量s14に基づいて、現フレーム
の符号化を行うかどうかを決定する。符号化判定手段５
１は、現フレームの符号化を行うと決定した場合には、
さらに、現フレームの全体をパケットとして符号化する
か、現フレームを部分的にパケットとして符号化するか
を決定する。この判定結果s11は、パケット符号化手段
３１に与えられる。
号量si3、および予測符号量s14に基づいて、現フレーム
の符号化を行うかどうかを決定する。符号化判定手段５
１は、現フレームの符号化を行うと決定した場合には、
さらに、現フレームの全体をパケットとして符号化する
か、現フレームを部分的にパケットとして符号化するか
を決定する。この判定結果s11は、パケット符号化手段
３１に与えられる。
【００２３】パケット符号化手段３１は、マクロブロッ
ク（以下、ＭＢと称する）の符号化を行うＭＢ符号化手
段３２、各フレームについて符号量の判定を行う符号量
判定手段３３、参照用画像を保管するフレームメモリ３
４、および、符号化されない画像領域をコンシールする
画像補完手段３５を有する。
ク（以下、ＭＢと称する）の符号化を行うＭＢ符号化手
段３２、各フレームについて符号量の判定を行う符号量
判定手段３３、参照用画像を保管するフレームメモリ３
４、および、符号化されない画像領域をコンシールする
画像補完手段３５を有する。
【００２４】入力端子２から与えられる動画像データsi
2は、ＭＢ符号化手段３２に入力される。ＭＢ符号化手
段３２には、さらに、符号化判定手段５１の判定結果s1
1が与えられる。
2は、ＭＢ符号化手段３２に入力される。ＭＢ符号化手
段３２には、さらに、符号化判定手段５１の判定結果s1
1が与えられる。
【００２５】ＭＢ符号化手段３２と符号量判定手段３３
とは、双方向に接続されている。ここで、ＭＢ符号化手
段３２から符号量判定手段３３に対する出力信号をs1
2、逆に符号量判定手段３３からＭＢ符号化手段３２に
対する出力信号をs13と定義する。出力信号s12は、ＭＢ
の符号化を行った結果として求められる、そのＭＢの符
号量を表わす値である。出力信号s13は、ＭＢ符号化手
段３２における符号化動作を制御する信号である。
とは、双方向に接続されている。ここで、ＭＢ符号化手
段３２から符号量判定手段３３に対する出力信号をs1
2、逆に符号量判定手段３３からＭＢ符号化手段３２に
対する出力信号をs13と定義する。出力信号s12は、ＭＢ
の符号化を行った結果として求められる、そのＭＢの符
号量を表わす値である。出力信号s13は、ＭＢ符号化手
段３２における符号化動作を制御する信号である。
【００２６】さらに、ＭＢ符号化手段３２とフレームメ
モリ３４との間、また、フレームメモリ３４と画像補完
手段３５との間も、双方向に接続されている。以下、Ｍ
Ｂ符号化手段３２とフレームメモリ３４との間で送受さ
れる信号を、それぞれs15およびs16と定義する。同様
に、フレームメモリ３４と画像補完手段３５との間で送
受される信号を、それぞれs17およびs18と定義する。
モリ３４との間、また、フレームメモリ３４と画像補完
手段３５との間も、双方向に接続されている。以下、Ｍ
Ｂ符号化手段３２とフレームメモリ３４との間で送受さ
れる信号を、それぞれs15およびs16と定義する。同様
に、フレームメモリ３４と画像補完手段３５との間で送
受される信号を、それぞれs17およびs18と定義する。
【００２７】以下、第１の実施形態の動画像符号化装置
１０の動作について、やはり図１を用いて説明する。目
標符号量設定手段２１は、入力端子１１に与えられる目
標ビットレートsi1に対して、フレームレート、符号量
情報sc1、あるいは通信速度や出力バッファ４１の残量
から、現フレームに対する目標符号量si3を算出する。
１０の動作について、やはり図１を用いて説明する。目
標符号量設定手段２１は、入力端子１１に与えられる目
標ビットレートsi1に対して、フレームレート、符号量
情報sc1、あるいは通信速度や出力バッファ４１の残量
から、現フレームに対する目標符号量si3を算出する。
【００２８】目標ビットレートsi1は、たとえば固定的
に設定されていても良い。または、符号量や通信速度に
応じて可変する値であってもよい。可変である場合に
は、目標ビットレートsi1は、動画像符号化装置１０内
に設けられる何らかのフィードバック手段（図示せず）
から与えられるものでも良いし、あるいは外部の管理手
段（図示せず）等から、適宜指示されるものでも良い。
目標ビットレートsi1算出のため、フレームレート、通
信速度、出力バッファ４１の残量も、図示していないが
適切な方法で目標符号量設定手段２１に与えられる。
に設定されていても良い。または、符号量や通信速度に
応じて可変する値であってもよい。可変である場合に
は、目標ビットレートsi1は、動画像符号化装置１０内
に設けられる何らかのフィードバック手段（図示せず）
から与えられるものでも良いし、あるいは外部の管理手
段（図示せず）等から、適宜指示されるものでも良い。
目標ビットレートsi1算出のため、フレームレート、通
信速度、出力バッファ４１の残量も、図示していないが
適切な方法で目標符号量設定手段２１に与えられる。
【００２９】ここで目標符号量設定手段２１に与えられ
る符号量情報sc1は、パケット符号化手段３１が符号化
した前フレームのものであることに注意する必要があ
る。すなわちパケット符号化手段３１は、あるフレーム
を符号化した結果、その符号化済みの前フレームに関す
る符号量情報sc1を算出し、これを目標符号量設定手段
２１に与える。目標符号量設定手段２１では、この前フ
レームに関する符号量情報sc1と、目標ビットレートsi1
とに基づいて、新たに入力された現フレームに対する目
標符号量si3を算出する。
る符号量情報sc1は、パケット符号化手段３１が符号化
した前フレームのものであることに注意する必要があ
る。すなわちパケット符号化手段３１は、あるフレーム
を符号化した結果、その符号化済みの前フレームに関す
る符号量情報sc1を算出し、これを目標符号量設定手段
２１に与える。目標符号量設定手段２１では、この前フ
レームに関する符号量情報sc1と、目標ビットレートsi1
とに基づいて、新たに入力された現フレームに対する目
標符号量si3を算出する。
【００３０】そして前述したように、目標符号量設定手
段２１は、入力端子１２に与えられた動画像データsi2
の現フレームについて、予測符号量s14を算出する。こ
れら目標符号量si3、および予測符号量s14が、符号化判
定手段５１に与えられる。
段２１は、入力端子１２に与えられた動画像データsi2
の現フレームについて、予測符号量s14を算出する。こ
れら目標符号量si3、および予測符号量s14が、符号化判
定手段５１に与えられる。
【００３１】符号化判定手段５１は、目標符号量si3の
値に基づいて２種類の符号化判定閾値th1、およびth2を
求める。そして、これらの閾値と予測符号量s14の値と
を比較することで、現フレームの符号化を行う方法を決
定する。これらの閾値は、目標符号量si3に比例して算
出される値であり、以下の式（１）および式（２）によ
って求められる。
値に基づいて２種類の符号化判定閾値th1、およびth2を
求める。そして、これらの閾値と予測符号量s14の値と
を比較することで、現フレームの符号化を行う方法を決
定する。これらの閾値は、目標符号量si3に比例して算
出される値であり、以下の式（１）および式（２）によ
って求められる。
【００３２】 th1=si3×α（1≦α） ・・・式（１） th2=si3×β（1≦β≦α） ・・・式（２） ここでαおよびβは係数であり、伝送路の特性などに応
じて設定される。
じて設定される。
【００３３】符号化判定手段５１は、これらの閾値と予
測符号量s14の値とを比較した結果、以下のようにし
て、現フレームの符号化を行う方法を決定する。すなわ
ち： （１）予測符号量s14がth2より小さければ、現フレーム
の全ての領域を符号化する。 （２）予測符号量s14がth2以上、かつth1以下であれ
ば、現フレームの一部の画像領域のみを符号化する、部
分的パケット符号化を行う。 （３）予測符号量s14がth1以上であれば、現フレームの
符号化を行わない。
測符号量s14の値とを比較した結果、以下のようにし
て、現フレームの符号化を行う方法を決定する。すなわ
ち： （１）予測符号量s14がth2より小さければ、現フレーム
の全ての領域を符号化する。 （２）予測符号量s14がth2以上、かつth1以下であれ
ば、現フレームの一部の画像領域のみを符号化する、部
分的パケット符号化を行う。 （３）予測符号量s14がth1以上であれば、現フレームの
符号化を行わない。
【００３４】次に、符号化判定手段５１が部分的パケッ
ト符号化を行うと決定した場合の動作について説明す
る。
ト符号化を行うと決定した場合の動作について説明す
る。
【００３５】符号化判定手段５１は、まず、符号化する
画像領域の先頭のＭＢ位置番号を決定する。このＭＢ位
置番号は任意で、常に一定であっても、可変であっても
構わない。例えば、常に１番目のＭＢから符号化しても
よいし、フレーム内でランダムに設定してもよい。ある
いは、現フレーム以前のフレームについて部分的パケッ
ト符号化を行っていた場合に、その以前のフレームで符
号化されたＭＢの次のＭＢを、符号化する画像領域の先
頭としてもよい。
画像領域の先頭のＭＢ位置番号を決定する。このＭＢ位
置番号は任意で、常に一定であっても、可変であっても
構わない。例えば、常に１番目のＭＢから符号化しても
よいし、フレーム内でランダムに設定してもよい。ある
いは、現フレーム以前のフレームについて部分的パケッ
ト符号化を行っていた場合に、その以前のフレームで符
号化されたＭＢの次のＭＢを、符号化する画像領域の先
頭としてもよい。
【００３６】また、符号化する画像領域はフレーム内で
単一の領域とは限らない。すなわちフレーム内で複数の
領域を符号化するような選択が可能である。従って符号
化判定手段５１が決定する先頭ＭＢ位置番号も、複数個
存在して構わない。
単一の領域とは限らない。すなわちフレーム内で複数の
領域を符号化するような選択が可能である。従って符号
化判定手段５１が決定する先頭ＭＢ位置番号も、複数個
存在して構わない。
【００３７】符号化判定手段５１は次に、先頭ＭＢの位
置番号、符号化するＭＢの数、そして符号化するパケッ
トの数を、判定結果s11として、パケット符号化手段３
１に与える。
置番号、符号化するＭＢの数、そして符号化するパケッ
トの数を、判定結果s11として、パケット符号化手段３
１に与える。
【００３８】一方、符号化判定手段５１は、現フレーム
の全ての領域を符号化すると決定した場合、または現フ
レームの符号化を行わないと決定した場合は、判定結果
s11として、その旨の特定の信号をパケット符号化手段
３１に与える。こうすると、判定結果s11として出力す
るデータ量が少なくて済むようになる。
の全ての領域を符号化すると決定した場合、または現フ
レームの符号化を行わないと決定した場合は、判定結果
s11として、その旨の特定の信号をパケット符号化手段
３１に与える。こうすると、判定結果s11として出力す
るデータ量が少なくて済むようになる。
【００３９】あるいは、現フレームの全ての領域を符号
化すると決定した場合、判定結果s11として、前述した
先頭ＭＢの位置番号、符号化するＭＢの数、そして符号
化するパケットの数を、現フレームの全画面分を表わす
ような値とすればよい。または現フレームの符号化を行
わないと決定した場合は、判定結果s11として、上述し
た各パラメーターを、たとえばすべて０とするなど、実
質的に何れのＭＢも指定しないようにしてもよい。こう
すれば、判定結果s11として、何れの場合も同じフォー
マットを用いることができる。
化すると決定した場合、判定結果s11として、前述した
先頭ＭＢの位置番号、符号化するＭＢの数、そして符号
化するパケットの数を、現フレームの全画面分を表わす
ような値とすればよい。または現フレームの符号化を行
わないと決定した場合は、判定結果s11として、上述し
た各パラメーターを、たとえばすべて０とするなど、実
質的に何れのＭＢも指定しないようにしてもよい。こう
すれば、判定結果s11として、何れの場合も同じフォー
マットを用いることができる。
【００４０】次に、判定結果s11が与えられたパケット
符号化手段３１が、画像データの符号化を行う動作を説
明する。
符号化手段３１が、画像データの符号化を行う動作を説
明する。
【００４１】パケット符号化手段３１は、判定結果s11
によって指定されたＭＢを、分割したパケット内から探
し、これをＭＢ符号化手段３２で符号化する。一方、指
定されなかったＭＢの画像領域に対しては、符号化は行
わない。ＭＢ符号化手段３２は、符号化の際に、フレー
ムメモリ３４に蓄積されている前フレームのデータを、
参照画像として用いる（s16）。
によって指定されたＭＢを、分割したパケット内から探
し、これをＭＢ符号化手段３２で符号化する。一方、指
定されなかったＭＢの画像領域に対しては、符号化は行
わない。ＭＢ符号化手段３２は、符号化の際に、フレー
ムメモリ３４に蓄積されている前フレームのデータを、
参照画像として用いる（s16）。
【００４２】フレームメモリ３４は、参照画像を記憶す
るため、数フレーム分の記憶バンクを有している。した
がってフレームメモリ３４内には、符号化中の現フレー
ムを参照画像として蓄積していく記憶バンクとともに、
すでに符号化の行われた少なくとも１つの、以前のフレ
ームが、それぞれの記憶バンクに参照画像として記憶さ
れている。
るため、数フレーム分の記憶バンクを有している。した
がってフレームメモリ３４内には、符号化中の現フレー
ムを参照画像として蓄積していく記憶バンクとともに、
すでに符号化の行われた少なくとも１つの、以前のフレ
ームが、それぞれの記憶バンクに参照画像として記憶さ
れている。
【００４３】こうして符号化された画像領域は、パケッ
ト毎に、発生符号が符号化信号so1として出力される。
この符号化信号so1は、出力バッファ４１に与えられ
る。それと同時に、ＭＢ符号化手段３２は、いったん符
号化した画像領域を複号化する。ここで複号化された画
像領域は、参照画像として用いるために、フレームメモ
リ３４に記憶される（s15）。
ト毎に、発生符号が符号化信号so1として出力される。
この符号化信号so1は、出力バッファ４１に与えられ
る。それと同時に、ＭＢ符号化手段３２は、いったん符
号化した画像領域を複号化する。ここで複号化された画
像領域は、参照画像として用いるために、フレームメモ
リ３４に記憶される（s15）。
【００４４】一方、判定結果s11によって指定されず、
符号化されないＭＢの画像領域に対しては、画像補完手
段３５が、何らかのコンシールメントを行う。コンシー
ルメントは、たとえば、前フレームの同位置の画像をそ
のまま用いて、現フレームの符号化しない画像領域を埋
めることで行う。もちろん、これ以外のコンシールメン
トを行ってもよい。このために画像補完手段３５は、フ
レームメモリ３４内に蓄積されている前フレームの参照
画像を読み出し（s17）、現フレームの符号化されない
ＭＢの画像領域のコンシールメントに利用する（s1
8）。こうして画像補完手段３５でコンシールメントさ
れた画像領域も、フレームメモリ３４に記憶される。
符号化されないＭＢの画像領域に対しては、画像補完手
段３５が、何らかのコンシールメントを行う。コンシー
ルメントは、たとえば、前フレームの同位置の画像をそ
のまま用いて、現フレームの符号化しない画像領域を埋
めることで行う。もちろん、これ以外のコンシールメン
トを行ってもよい。このために画像補完手段３５は、フ
レームメモリ３４内に蓄積されている前フレームの参照
画像を読み出し（s17）、現フレームの符号化されない
ＭＢの画像領域のコンシールメントに利用する（s1
8）。こうして画像補完手段３５でコンシールメントさ
れた画像領域も、フレームメモリ３４に記憶される。
【００４５】ＭＢ符号化手段３２は、符号化したＭＢに
ついて、発生符号量を符号量判定手段３３に与える（s1
2）。符号量判定手段３３は、符号化中の現フレームに
ついて、発生符号量を与えられる毎にその値を加算し、
合計符号量を算出する。そして都度、合計符号量が閾値
th3に達したかを判定する。
ついて、発生符号量を符号量判定手段３３に与える（s1
2）。符号量判定手段３３は、符号化中の現フレームに
ついて、発生符号量を与えられる毎にその値を加算し、
合計符号量を算出する。そして都度、合計符号量が閾値
th3に達したかを判定する。
【００４６】閾値th3としては、任意の値を設定すれば
良い。たとえば、合計符号量が目標符号量si3と等しく
なることが望ましい場合には、閾値th3は、目標符号量s
i3と等しく設定されるか、この場合であっても、目標符
号量si3以下の任意の値に設定されることができる。
良い。たとえば、合計符号量が目標符号量si3と等しく
なることが望ましい場合には、閾値th3は、目標符号量s
i3と等しく設定されるか、この場合であっても、目標符
号量si3以下の任意の値に設定されることができる。
【００４７】パケット符号化手段３１は、合計符号量が
閾値th3に達していなければ、判定結果s11で指定された
ＭＢ以外のＭＢも、符号化を行うことができる。一方、
合計符号量が閾値th3に達した場合、そこで符号化を止
める。この場合に符号量判定手段３３は、ＭＢ符号化手
段３２に出力信号s13を出力する。ＭＢ符号化手段３２
は、出力信号s13を受けた時点で、その後の符号化動作
を止める。
閾値th3に達していなければ、判定結果s11で指定された
ＭＢ以外のＭＢも、符号化を行うことができる。一方、
合計符号量が閾値th3に達した場合、そこで符号化を止
める。この場合に符号量判定手段３３は、ＭＢ符号化手
段３２に出力信号s13を出力する。ＭＢ符号化手段３２
は、出力信号s13を受けた時点で、その後の符号化動作
を止める。
【００４８】なお、合計符号量が閾値th3に達した時点
で符号化途中であったＭＢについては、そのＭＢの符号
化を完了してから、その後のＭＢについて符号化動作を
止めるという制御が考えられる。あるいは、符号化途中
であったＭＢについても符号化結果を出力しないという
制御も考えられる。この場合は、途中まで符号化してい
た結果を廃棄することになる。いずれの制御を行なうか
は、適宜選択すれば良い。
で符号化途中であったＭＢについては、そのＭＢの符号
化を完了してから、その後のＭＢについて符号化動作を
止めるという制御が考えられる。あるいは、符号化途中
であったＭＢについても符号化結果を出力しないという
制御も考えられる。この場合は、途中まで符号化してい
た結果を廃棄することになる。いずれの制御を行なうか
は、適宜選択すれば良い。
【００４９】こうして現フレームの符号化が終了した時
点で、パケット符号化手段３１は、現フレームに関する
符号量情報sc1を、次のフレームの目標符号量si3を設定
するために、目標符号量設定手段２１に与える。
点で、パケット符号化手段３１は、現フレームに関する
符号量情報sc1を、次のフレームの目標符号量si3を設定
するために、目標符号量設定手段２１に与える。
【００５０】なお、現フレームの符号化を行わないと決
定された場合は、そのフレームの符号化はスキップされ
る。この場合は、入力端子１２に与えられる次のフレー
ムについて、符号化するか否かの判断が行われる。ただ
しこの場合、現フレームについては符号化を行っていな
いので、現フレームについての符号量情報を算出するこ
とができない。したがって、目標符号量設定手段２１
は、引き続き前フレームの符号量情報sc1を基に目標符
号量si3を算出する。これを繰り返すことにより、動画
像データを構成するフレーム毎の符号化が行われる。
定された場合は、そのフレームの符号化はスキップされ
る。この場合は、入力端子１２に与えられる次のフレー
ムについて、符号化するか否かの判断が行われる。ただ
しこの場合、現フレームについては符号化を行っていな
いので、現フレームについての符号量情報を算出するこ
とができない。したがって、目標符号量設定手段２１
は、引き続き前フレームの符号量情報sc1を基に目標符
号量si3を算出する。これを繰り返すことにより、動画
像データを構成するフレーム毎の符号化が行われる。
【００５１】なお、符号化の行われなかった画像領域に
ついては、復号化装置側ではパケットロスとして、何ら
かのコンシールメントを行い、画像を表示する。コンシ
ールメントの方法は特に限定しないが、符号化装置にお
けるコンシールメント方法と同様のものが望ましい。例
えば、前フレームの同位置の画像をそのままコピーする
といった方法でコンシールメントを行う。
ついては、復号化装置側ではパケットロスとして、何ら
かのコンシールメントを行い、画像を表示する。コンシ
ールメントの方法は特に限定しないが、符号化装置にお
けるコンシールメント方法と同様のものが望ましい。例
えば、前フレームの同位置の画像をそのままコピーする
といった方法でコンシールメントを行う。
【００５２】以上のように、第１の実施形態によれば、
符号化するフレームの目標符号量が小さく設定された場
合、フレームの中の部分的な画像領域のみをパケットと
して符号化する。したがって、そのフレームの発生符号
量を調整することが可能となる。この制御では、量子化
幅を変えて符号量を調整する制御と異なり、一定の画質
を維持することができる。また、符号化したくない画像
領域の発生符号量はゼロになるため、効率の良い符号化
が行われる。さらに、各ＭＢの符号化の後に符号量の判
定が行われるため、目標符号量si3に非常に近い符号量
を発生させることができる。したがって、目標ビットレ
ートsi1を有効に使用し、量子化幅の変更によるフレー
ム毎、あるいはフレーム内の画質を変化させない画像の
符号化ができる。
符号化するフレームの目標符号量が小さく設定された場
合、フレームの中の部分的な画像領域のみをパケットと
して符号化する。したがって、そのフレームの発生符号
量を調整することが可能となる。この制御では、量子化
幅を変えて符号量を調整する制御と異なり、一定の画質
を維持することができる。また、符号化したくない画像
領域の発生符号量はゼロになるため、効率の良い符号化
が行われる。さらに、各ＭＢの符号化の後に符号量の判
定が行われるため、目標符号量si3に非常に近い符号量
を発生させることができる。したがって、目標ビットレ
ートsi1を有効に使用し、量子化幅の変更によるフレー
ム毎、あるいはフレーム内の画質を変化させない画像の
符号化ができる。
【００５３】この第１の実施形態における符号化方法
は、符号を送信する時に目標符号量や通信レートに合わ
せて各パケットを送信するか否かを判断する伝送法と違
い、符号化装置で送信するパケットの位置を決定してい
る。このため、符号化装置においても、送信しない部分
に対して何らかのコンシールメントを行う。このように
符号化装置でもコンシールメントを行うことにより、復
号化装置の参照画像との一致度が高まり、画質の劣化も
少なく、品質の高い画像を得られる。
は、符号を送信する時に目標符号量や通信レートに合わ
せて各パケットを送信するか否かを判断する伝送法と違
い、符号化装置で送信するパケットの位置を決定してい
る。このため、符号化装置においても、送信しない部分
に対して何らかのコンシールメントを行う。このように
符号化装置でもコンシールメントを行うことにより、復
号化装置の参照画像との一致度が高まり、画質の劣化も
少なく、品質の高い画像を得られる。
【００５４】次に、この発明の第２の実施形態について
説明する。図２は、この発明の第２の実施形態の動画像
符号化装置６０の構成を示すブロック図である。以下、
第２の実施形態の構成および動作を、第１の実施形態と
異なる部分を中心に説明する。
説明する。図２は、この発明の第２の実施形態の動画像
符号化装置６０の構成を示すブロック図である。以下、
第２の実施形態の構成および動作を、第１の実施形態と
異なる部分を中心に説明する。
【００５５】符号化判定手段５１の後段に、符号量予測
手段７１が配置されている。この符号量予測手段７１に
は、動画像データsi2が与えられる。と同時に、符号化
判定手段５１より、判定結果S21が与えられる。符号量
予測手段７１には、さらに、前フレーム情報格納手段３
６より、前フレーム情報s22が与えられる。符号量予測
手段７１は、動画像データsi2および前フレーム情報s22
に基づいて、予測結果s23を求める。この予測結果s23
は、ブロック位置決定手段７２に与えられる。ブロック
位置決定手段７２の出力は、パケット符号化手段３１内
のＭＢ符号化手段３２に与えられる。
手段７１が配置されている。この符号量予測手段７１に
は、動画像データsi2が与えられる。と同時に、符号化
判定手段５１より、判定結果S21が与えられる。符号量
予測手段７１には、さらに、前フレーム情報格納手段３
６より、前フレーム情報s22が与えられる。符号量予測
手段７１は、動画像データsi2および前フレーム情報s22
に基づいて、予測結果s23を求める。この予測結果s23
は、ブロック位置決定手段７２に与えられる。ブロック
位置決定手段７２の出力は、パケット符号化手段３１内
のＭＢ符号化手段３２に与えられる。
【００５６】第１の実施形態と同様に、目標ビットレー
トsi1と、前フレームの符号量情報sc1が、目標符号量設
定手段２１に与えられる。目標符号量設定手段２１は、
これらの情報に基づいて、目標符号量si3を算出し、こ
れを符号化判定手段５１に与える。目標符号量設定手段
２１は予測符号量s14を算出し、これを符号化判定手段
５１に送る。
トsi1と、前フレームの符号量情報sc1が、目標符号量設
定手段２１に与えられる。目標符号量設定手段２１は、
これらの情報に基づいて、目標符号量si3を算出し、こ
れを符号化判定手段５１に与える。目標符号量設定手段
２１は予測符号量s14を算出し、これを符号化判定手段
５１に送る。
【００５７】符号化判定手段５１は、与えられた目標符
号量si3、および予測符号量s14に基づいて、現フレーム
の符号化を行うかどうかを決定する。これは第１の実施
形態における動作と同様であり、判定結果s21は、符号
量予測手段７１に与えられる。
号量si3、および予測符号量s14に基づいて、現フレーム
の符号化を行うかどうかを決定する。これは第１の実施
形態における動作と同様であり、判定結果s21は、符号
量予測手段７１に与えられる。
【００５８】符号量予測手段７１は、判定結果s21と、
前フレーム情報格納手段３６から与えられた前フレーム
情報ｓ22とに基づき、現フレームの各ＭＢについて、発
生符号量を予測する。ここで前フレーム情報s22には、
前フレームの画像データと、ＭＢ符号化手段３２内で動
き検出を行った時に得られる各ＭＢの画像の特徴量や発
生符号量が含まれる。たとえば特徴量には、各画素につ
いての前フレーム画素との差分の絶対値の和（ＳＡＤ：
Sum of Absolute Difference）等が使用される。また、
現フレームの画像データを用いて、より正確な予測を行
うこともできる。符号量予測手段７１が予測した発生符
号量は、予測結果s23としてブロック位置決定手段７２
に与えられる。
前フレーム情報格納手段３６から与えられた前フレーム
情報ｓ22とに基づき、現フレームの各ＭＢについて、発
生符号量を予測する。ここで前フレーム情報s22には、
前フレームの画像データと、ＭＢ符号化手段３２内で動
き検出を行った時に得られる各ＭＢの画像の特徴量や発
生符号量が含まれる。たとえば特徴量には、各画素につ
いての前フレーム画素との差分の絶対値の和（ＳＡＤ：
Sum of Absolute Difference）等が使用される。また、
現フレームの画像データを用いて、より正確な予測を行
うこともできる。符号量予測手段７１が予測した発生符
号量は、予測結果s23としてブロック位置決定手段７２
に与えられる。
【００５９】ブロック位置決定手段７２は、予測結果s2
3を与えられ、いずれのＭＢを符号化するかを決定す
る。ここで、符号化判定手段５１が現フレームの全体を
符号化すると決定していた場合は、ブロック位置決定手
段７２は、すべてのＭＢを符号化対象として指定し、こ
れをブロック位置情報s24としてＭＢ符号化手段３２に
与える。
3を与えられ、いずれのＭＢを符号化するかを決定す
る。ここで、符号化判定手段５１が現フレームの全体を
符号化すると決定していた場合は、ブロック位置決定手
段７２は、すべてのＭＢを符号化対象として指定し、こ
れをブロック位置情報s24としてＭＢ符号化手段３２に
与える。
【００６０】また、符号化判定手段５１が現フレームの
一部を符号化すると決定していた場合は、ブロック位置
決定手段７２は、符号化するＭＢを決定し、これをブロ
ック位置情報s24としてＭＢ符号化手段３２に与える。
ここでブロック位置決定手段７２は、目標符号量si3を
超えないように、予測結果s23の各ＭＢの予測発生符号
量を基に、符号化すべきＭＢの位置を決定する。
一部を符号化すると決定していた場合は、ブロック位置
決定手段７２は、符号化するＭＢを決定し、これをブロ
ック位置情報s24としてＭＢ符号化手段３２に与える。
ここでブロック位置決定手段７２は、目標符号量si3を
超えないように、予測結果s23の各ＭＢの予測発生符号
量を基に、符号化すべきＭＢの位置を決定する。
【００６１】パケット符号化手段３１は、ブロック位置
決定手段７２から与えられたブロック位置情報s24に基
づいて、そのＭＢについて符号化を行う。ＭＢ符号化手
段３２での処理は、第1の実施形態と同様、発生符号量
を判定しながらＭＢ毎に符号化を行い、符号化しない領
域は何らかのコンシールメントを行うものである。ただ
し第２の実施形態における処理では、次フレームの符号
量予測のために、符号化したＭＢの個数、または、各Ｍ
ＢのＳＡＤや各ＭＢの発生符号量などを、前フレーム情
報格納手段３６に保管する。すなわち、第２の実施形態
における前フレーム情報格納手段３６は、第１の実施形
態におけるフレームメモリ３４に、これら各種情報を格
納するエリアを追加したものである。
決定手段７２から与えられたブロック位置情報s24に基
づいて、そのＭＢについて符号化を行う。ＭＢ符号化手
段３２での処理は、第1の実施形態と同様、発生符号量
を判定しながらＭＢ毎に符号化を行い、符号化しない領
域は何らかのコンシールメントを行うものである。ただ
し第２の実施形態における処理では、次フレームの符号
量予測のために、符号化したＭＢの個数、または、各Ｍ
ＢのＳＡＤや各ＭＢの発生符号量などを、前フレーム情
報格納手段３６に保管する。すなわち、第２の実施形態
における前フレーム情報格納手段３６は、第１の実施形
態におけるフレームメモリ３４に、これら各種情報を格
納するエリアを追加したものである。
【００６２】以上のように、第２の実施形態によって
も、フレームの目標符号量に応じてフレーム全体を符号
化するか、フレーム内の一部を符号化するかを決定して
いる。したがって第２の実施形態でも、第１の実施形態
と同様の効果が得られる。第２の実施形態によれば、こ
れに加えて、符号化するＭＢの決定に際して前フレーム
情報を参照している。このため、例えば、符号化するフ
レーム内で動きの大きな部分などを限定し、符号化する
ことが可能となる。この結果、動きのある対象物が存在
する場合、その対象物、あるいはその対象物を中心とす
る領域のみの符号化を行うことも可能となる。これによ
って、動きのスムーズな復元画像を得ることができる。
また、目標符号量si3が小さい場合は、発生符号量の少
ないと予測された部分を中心に符号化することにより、
発生符号量を抑えることが可能となる。
も、フレームの目標符号量に応じてフレーム全体を符号
化するか、フレーム内の一部を符号化するかを決定して
いる。したがって第２の実施形態でも、第１の実施形態
と同様の効果が得られる。第２の実施形態によれば、こ
れに加えて、符号化するＭＢの決定に際して前フレーム
情報を参照している。このため、例えば、符号化するフ
レーム内で動きの大きな部分などを限定し、符号化する
ことが可能となる。この結果、動きのある対象物が存在
する場合、その対象物、あるいはその対象物を中心とす
る領域のみの符号化を行うことも可能となる。これによ
って、動きのスムーズな復元画像を得ることができる。
また、目標符号量si3が小さい場合は、発生符号量の少
ないと予測された部分を中心に符号化することにより、
発生符号量を抑えることが可能となる。
【００６３】このように、動きのある部分、あるいは動
きの無い部分を中心に符号化が行われると、画面上で
の、符号化したパケット部分と符号化されなかったパケ
ット部分での境界における時間的なずれがあまり感じら
れなくなり、自然な画像が得られる。
きの無い部分を中心に符号化が行われると、画面上で
の、符号化したパケット部分と符号化されなかったパケ
ット部分での境界における時間的なずれがあまり感じら
れなくなり、自然な画像が得られる。
【００６４】なお、動画像データを符号化する手法とし
て、イントラ（フレーム内）フレーム符号化と、インタ
ーフレーム（フレーム間）符号化という２種類があるこ
とは周知である。第２の実施形態において、動画像デー
タsi2に対してイントラフレーム符号化を行う場合に
は、以下のような制御を行うことができる。
て、イントラ（フレーム内）フレーム符号化と、インタ
ーフレーム（フレーム間）符号化という２種類があるこ
とは周知である。第２の実施形態において、動画像デー
タsi2に対してイントラフレーム符号化を行う場合に
は、以下のような制御を行うことができる。
【００６５】すなわち、イントラフレーム符号化の際に
は動き補償を行わないため、各ＭＢにおける発生符号量
は、前フレームの符号量や動き情報に依存しない。した
がって、前フレームの発生符号量を基に得られた目標符
号量si3に基づく符号化判断を行うのではなく、すべて
のイントラフレームについて部分的パケット符号化を行
うものである。
は動き補償を行わないため、各ＭＢにおける発生符号量
は、前フレームの符号量や動き情報に依存しない。した
がって、前フレームの発生符号量を基に得られた目標符
号量si3に基づく符号化判断を行うのではなく、すべて
のイントラフレームについて部分的パケット符号化を行
うものである。
【００６６】具体的には、ブロック位置決定手段７２
は、イントラフレーム符号化を行う場合には、フレーム
内のいずれのＭＢについて符号化を行うかを決定する。
これがブロック位置情報s24としてパケット符号化手段
３１に与えられる。これを受けてパケット符号化手段３
１では、発生符号量と閾値th3との比較をしながら、Ｍ
Ｂ毎に符号化を行う。また、符号化を行わないＭＢにつ
いては、画像補完手段３５によってコンシールメントが
行われる。
は、イントラフレーム符号化を行う場合には、フレーム
内のいずれのＭＢについて符号化を行うかを決定する。
これがブロック位置情報s24としてパケット符号化手段
３１に与えられる。これを受けてパケット符号化手段３
１では、発生符号量と閾値th3との比較をしながら、Ｍ
Ｂ毎に符号化を行う。また、符号化を行わないＭＢにつ
いては、画像補完手段３５によってコンシールメントが
行われる。
【００６７】インターフレーム符号化と比較して非常に
大きな符号量を発生するイントラフレーム符号化を行う
際に、フレーム全体より小さい画像領域を規定して、こ
の領域のみを符号化することによって、発生符号量を抑
え、伝送路の目標ビットレートに適した符号量で符号化
が可能となる。したがって、低遅延での動画像伝送の場
合、復号装置側で、イントラフレームの表示の遅延も少
なくできる。また上記イントラフレームに続くインター
フレームの符号化も目標フレームレートに対してほぼ一
定に行うことが可能となるため、復元画像が自然な動画
像となる。
大きな符号量を発生するイントラフレーム符号化を行う
際に、フレーム全体より小さい画像領域を規定して、こ
の領域のみを符号化することによって、発生符号量を抑
え、伝送路の目標ビットレートに適した符号量で符号化
が可能となる。したがって、低遅延での動画像伝送の場
合、復号装置側で、イントラフレームの表示の遅延も少
なくできる。また上記イントラフレームに続くインター
フレームの符号化も目標フレームレートに対してほぼ一
定に行うことが可能となるため、復元画像が自然な動画
像となる。
【００６８】なお、第２の実施形態においては、量子化
幅を変えずに符号化を行うことも、あるいは量子化幅を
予測符号量に応じて変更しながら符号化することもでき
る。量子化幅を変更する場合には、符号量予測手段７１
において、量子化幅を予測符号量に応じて変更する。量
子化幅を大きくした場合は、第２の実施形態における部
分的パケット分割符号化を行う際に、より大きな領域の
符号化を可能とすることができる。
幅を変えずに符号化を行うことも、あるいは量子化幅を
予測符号量に応じて変更しながら符号化することもでき
る。量子化幅を変更する場合には、符号量予測手段７１
において、量子化幅を予測符号量に応じて変更する。量
子化幅を大きくした場合は、第２の実施形態における部
分的パケット分割符号化を行う際に、より大きな領域の
符号化を可能とすることができる。
【００６９】
【発明の効果】以上説明したように、この発明の動画像
符号化方法および装置によれば、効率の良い符号化を行
うことでフレームの発生符号量を調整し、スムーズで良
好な復号画質を維持することができる。
符号化方法および装置によれば、効率の良い符号化を行
うことでフレームの発生符号量を調整し、スムーズで良
好な復号画質を維持することができる。
【図１】この発明の第１の実施形態の動画像符号化装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】この発明の第２の実施形態の動画像符号化装置
の構成を示すブロック図である。
の構成を示すブロック図である。
１０、６０・・・動画像符号化装置 ２１・・・目標符号量設定手段 ３１・・・パケット符号化手段 ３２・・・ＭＢ符号化手段 ３３・・・符号量判定手段 ３４・・・フレームメモリ ３５・・・画像補完手段 ４１・・・出力バッファ ５１・・・符号化判定手段 ７１・・・符号量予測手段 ７２・・・ブロック位置決定手段
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 LA00 LC08 TA80 TB04 TC18 TD05 TD14 5J064 AA01 BB03 BB12 BB13 BC01 BC26 BD02
Claims (20)
- 【請求項１】 動画像データを、この動画像データを構
成するフレーム毎に符号化する動画像符号化装置におい
て、 動画像を構成する個々のフレームを符号化し、当該フレ
ームについての符号量情報を出力するパケット符号化手
段と、 前記動画像のフレームを与えられ、これに基づいて前記
フレームについての予測符号量を算出するとともに、目
標ビットレート、および前記フレームについての前記符
号量情報を与えられ、これらに基づいて前記フレームに
ついての目標符号量を算出する目標符号量設定手段と、 前記目標符号量、および予測符号量に基づいて、前記フ
レームの符号化を行うか否かを決定する符号化判定手段
とを有することを特徴とする、動画像符号化装置。 - 【請求項２】 動画像データを、この動画像データを構
成するフレーム毎に符号化する動画像符号化装置におい
て、 動画像を構成する個々のフレームを符号化し、当該フレ
ームについての符号量情報を出力するパケット符号化手
段と、 前記動画像の現フレームを与えられ、これに基づいて前
記現フレームについての予測符号量を算出するととも
に、目標ビットレート、および先行フレームについての
前記符号量情報を与えられ、これらに基づいて前記現フ
レームについての目標符号量を算出する目標符号量設定
手段と、 前記目標符号量、および予測符号量に基づいて、前記現
フレームの符号化を行うか否かを決定する符号化判定手
段とを有することを特徴とする、動画像符号化装置。 - 【請求項３】 請求項２記載の動画像符号化装置におい
て、前記パケット符号化手段は、 前記動画像データを構成する各々のフレーム毎に、その
フレーム内の所定の領域をパケットとして符号化するこ
とを特徴とする、動画像符号化装置。 - 【請求項４】 請求項３記載の動画像符号化装置におい
て、前記符号化判定手段は、 前記現フレームの符号化を行うとした場合に、前記予測
符号量に基づいて、前記現フレームの全体を符号化する
か、あるいは前記現フレームの部分的な領域を符号化す
るかを決定することを特徴とする、動画像符号化装置。 - 【請求項５】 請求項４記載の動画像符号化装置におい
て、前記符号化判定手段は、 前記現フレームを部分的に符号化すると決定した場合
に、符号化する領域を前記パケット符号化手段に対して
指示することを特徴とする、動画像符号化装置。 - 【請求項６】 請求項５記載の動画像符号化装置におい
て、前記パケット符号化手段は、 前記現フレーム中、符号化されない部分についてのデー
タを補完することを特徴とする、動画像符号化装置。 - 【請求項７】 請求項３記載の動画像符号化装置におい
て、前記パケット符号化手段は、 前記現フレームについての符号量を監視し、この符号量
が前記目標符号量に対して所定の閾値を超えた場合に、
当該フレームの符号化を停止することを特徴とする、動
画像符号化装置。 - 【請求項８】 請求項３記載の動画像符号化装置におい
て、前記パケット符号化手段は、 前記動画像データを構成する各々のフレームをマクロブ
ロックに分割して、当該マクロブロック毎に符号化を行
うマクロブロック符号化手段を有することを特徴とす
る、動画像符号化装置。 - 【請求項９】 請求項８記載の動画像符号化装置におい
て、前記パケット符号化手段は、 前記マクロブロックの各々について符号量を算出し、フ
レームについての符号量を求めて前記符号量情報を出力
する符号量判定手段を有することを特徴とする、動画像
符号化装置。 - 【請求項１０】 請求項９記載の動画像符号化装置にお
いて、前記符号化判定手段は、 前記現フレームの符号化を行うとした場合に、前記予測
符号量に基づいて、前記マクロブロックのいずれについ
て符号化を行うかを決定することを特徴とする、動画像
符号化装置。 - 【請求項１１】 請求項１０記載の動画像符号化装置に
おいて、前記パケット符号化手段は、 前記前フレームについての符号化データを格納しておく
記憶手段を有し、 この記憶手段に格納されているデータにより、前記現フ
レームの、符号化が行われないマクロブロックについて
のデータをコンシールメントすることを特徴とする、動
画像符号化装置。 - 【請求項１２】 請求項８記載の動画像符号化装置にお
いて、前記パケット符号化手段は、 前記マクロブロック各々について発生符号量を求め、前
記マクロブロック毎の発生符号量を積算していき、 積算した値が前記目標符号量に対して所定の閾値を超え
る場合に、当該フレームの符号化を停止することを特徴
とする、動画像符号化装置。 - 【請求項１３】 動画像データを、この動画像データを
構成するフレーム毎に符号化する動画像符号化装置にお
いて、 動画像を構成する個々のフレームを符号化し、当該フレ
ームについての符号量情報を出力するパケット符号化手
段と、 前記動画像の現フレームを与えられ、これに基づいて前
記現フレームについての予測符号量を算出する符号量予
測手段と、 目標ビットレート、および先行フレームについての前記
符号量情報を与えられ、これらに基づいて前記現フレー
ムについての目標符号量を算出する目標符号量設定手段
と、 前記目標符号量、および予測符号量に基づいて、前記現
フレームの符号化を行うか否かを決定する符号化判定手
段とを有することを特徴とする、動画像符号化装置。 - 【請求項１４】 請求項１３記載の動画像符号化装置に
おいて、 前記予測符号量に基づいて、前記現フレームのいずれの
領域を符号化するかを決定する位置決定手段を有するこ
とを特徴とする、動画像符号化装置。 - 【請求項１５】 動画像データを、この動画像データを
構成するフレーム毎に符号化する動画像符号化方法にお
いて、 動画像を構成する個々のフレームを符号化し、当該フレ
ームについての符号量情報を出力するステップと、 前記動画像のフレームについて、予測符号量を算出する
ステップと、 目標ビットレート、およびフレームについての前記符号
量情報に基づいて、目標符号量を算出するステップと、 前記目標符号量、および予測符号量に基づいて、前記動
画像の個々のフレームの符号化を行うか否かを決定する
ステップとを有することを特徴とする、動画像符号化方
法。 - 【請求項１６】 動画像データを、この動画像データを
構成するフレーム毎に符号化する動画像符号化方法にお
いて、 動画像を構成する個々のフレームを符号化し、当該フレ
ームについての符号量情報を出力するステップと、 前記動画像の現フレームについて、予測符号量を算出す
るステップと、 目標ビットレート、および先行フレームについての前記
符号量情報に基づいて、前記現フレームについての目標
符号量を算出するステップと、 前記目標符号量、および予測符号量に基づいて、前記現
フレームの符号化を行うか否かを決定するステップとを
有することを特徴とする、動画像符号化方法。 - 【請求項１７】 請求項１６記載の動画像符号化方法に
おいて、 前記現フレームの符号化を行うとした場合には、前記予
測符号量に基づいて、現フレームの全体を符号化する
か、あるいは現フレームの部分的な領域を符号化するか
を決定するステップをさらに有することを特徴とする、
動画像符号化方法。 - 【請求項１８】 請求項１７記載の動画像符号化方法に
おいて、 前記現フレーム中、符号化されない部分についてのデー
タを補完するステップをさらに有することを特徴とす
る、動画像符号化方法。 - 【請求項１９】 請求項１８記載の動画像符号化方法に
おいて、 前記現フレームについての符号量を監視するステップ
と、 この符号量が前記目標符号量に対して所定の閾値を超え
た場合に、当該フレームの符号化を停止するステップを
さらに有することを特徴とする、動画像符号化方法。 - 【請求項２０】 動画像データを、この動画像データを
構成するフレーム毎に符号化する動画像符号化装置にお
いて、 動画像を構成する個々のフレームを符号化し、当該フレ
ームについての符号量情報を出力するパケット符号化手
段と、 前記動画像のフレームを与えられ、これに基づいて前記
フレームについての予測符号量を算出するとともに、目
標ビットレート、および前記フレームについての前記符
号量情報を与えられ、これらに基づいて前記フレームに
ついての目標符号量を算出する目標符号量設定手段と、 前記目標符号量、および予測符号量に基づいて、前記フ
レームの符号化を行うか否かを決定する符号化判定手段
とを有し、 前記符号化判定手段は、与えられた前記動画像のフレー
ムがイントラフレームである場合は、前記符号量情報に
かかわらず、当該フレームの所定の領域をパケットとし
て符号化することを特徴とする、動画像符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000288452A JP2002101417A (ja) | 2000-09-22 | 2000-09-22 | 動画像符号化方法および装置 |
| US09/956,225 US6836513B2 (en) | 2000-09-22 | 2001-09-20 | Moving picture encoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000288452A JP2002101417A (ja) | 2000-09-22 | 2000-09-22 | 動画像符号化方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002101417A true JP2002101417A (ja) | 2002-04-05 |
Family
ID=18772038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000288452A Pending JP2002101417A (ja) | 2000-09-22 | 2000-09-22 | 動画像符号化方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6836513B2 (ja) |
| JP (1) | JP2002101417A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008032660A1 (en) * | 2006-09-11 | 2008-03-20 | Panasonic Corporation | Image decoding device, image decoding method, image decoding system, and system lsi |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE521600C2 (sv) * | 2001-12-04 | 2003-11-18 | Global Ip Sound Ab | Lågbittaktskodek |
| JP5116704B2 (ja) * | 2009-02-02 | 2013-01-09 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
| GB2514540B (en) * | 2013-04-10 | 2020-01-08 | Microsoft Technology Licensing Llc | Resource for encoding a video signal |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3651706B2 (ja) | 1995-10-27 | 2005-05-25 | 株式会社東芝 | 動画像符号化装置 |
| JPH10243399A (ja) * | 1997-02-25 | 1998-09-11 | Sharp Corp | 符号量制御装置及び該符号量制御装置を含む動画像符号化装置 |
| DE60035740T2 (de) * | 1999-06-22 | 2007-12-06 | Victor Company of Japan, Ltd., Yokohama | Vorrichtung und Verfahren zur Kodierung von Bewegtbildsignalen |
-
2000
- 2000-09-22 JP JP2000288452A patent/JP2002101417A/ja active Pending
-
2001
- 2001-09-20 US US09/956,225 patent/US6836513B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008032660A1 (en) * | 2006-09-11 | 2008-03-20 | Panasonic Corporation | Image decoding device, image decoding method, image decoding system, and system lsi |
| US8320686B2 (en) | 2006-09-11 | 2012-11-27 | Panasonic Corporation | Detailed description of the invention |
| JP5307545B2 (ja) * | 2006-09-11 | 2013-10-02 | パナソニック株式会社 | 画像復号化装置、画像復号化方法、画像復号化システム、及びシステムｌｓｉ |
Also Published As
| Publication number | Publication date |
|---|---|
| US6836513B2 (en) | 2004-12-28 |
| US20020037049A1 (en) | 2002-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100329892B1 (ko) | 다수의 비디오 프레임 스트림 처리 방법 및 그 장치 | |
| EP1170957B1 (en) | Video encoding and decoding apparatus | |
| US8374236B2 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
| EP0804035B1 (en) | Moving picture encoding apparatus and method | |
| AU676436B2 (en) | A method for determining whether to intra code a video block | |
| JP2004507178A (ja) | ビデオ信号符号化方法 | |
| CN101171844A (zh) | 视频速率控制中的上下文自适应带宽调整 | |
| US20090310672A1 (en) | Method and System for Rate Control in a Video Encoder | |
| US20040218672A1 (en) | Video transmission system video transmission unit and methods of encoding decoding video data | |
| JPH04262694A (ja) | 画像信号符号化装置 | |
| US7826529B2 (en) | H.263/MPEG video encoder for efficiently controlling bit rates and method of controlling the same | |
| JPH07112284B2 (ja) | 予測符号化装置及び復号化装置 | |
| JP4133346B2 (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
| JPH10336670A (ja) | 画像伝送装置および画像伝送方法、提供媒体 | |
| JP2002101417A (ja) | 動画像符号化方法および装置 | |
| JP3218994B2 (ja) | 画像符号化方法および装置 | |
| Kim et al. | An accurate bit-rate control for real-time MPEG video encoder | |
| JP3581382B2 (ja) | 符号化装置及びその方法 | |
| KR0123243B1 (ko) | 장면 전환시의 비트율 제어 방법 | |
| KR100923961B1 (ko) | 저지연 영상 통신 시스템 및 방법 | |
| KR20040046055A (ko) | 동영상 전송 비트율 조절방법 | |
| JPH06153181A (ja) | 予測符号化方法、予測復号化方法、予測符号化装置及び予測復号化装置 | |
| JPH02222388A (ja) | 動画像符号化方法 | |
| KR100397133B1 (ko) | 영상 데이터 압축 전송 시스템 및 그 방법 | |
| JPH089374A (ja) | 符号化情報量制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050621 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060923 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060929 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080212 |