JP2004104694A - 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム - Google Patents
符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム Download PDFInfo
- Publication number
- JP2004104694A JP2004104694A JP2002267122A JP2002267122A JP2004104694A JP 2004104694 A JP2004104694 A JP 2004104694A JP 2002267122 A JP2002267122 A JP 2002267122A JP 2002267122 A JP2002267122 A JP 2002267122A JP 2004104694 A JP2004104694 A JP 2004104694A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- encoding
- bit rate
- sum
- difference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 112
- 238000004364 calculation method Methods 0.000 claims description 11
- 101100440985 Danio rerio crad gene Proteins 0.000 abstract description 15
- 101100440987 Mus musculus Cracd gene Proteins 0.000 abstract description 15
- 101100467905 Mus musculus Rdh16 gene Proteins 0.000 abstract description 15
- 230000006835 compression Effects 0.000 abstract description 9
- 238000007906 compression Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 230000001934 delay Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】高画質・高圧縮率で高い編集精度を得ることができるとともに、種々の画像圧縮技術を容易に利用可能とする符号化を可能とする。
【解決手段】演算ブロック１１では、入力画像信号ＤＶｉｎから２フレーム毎にフレーム間の画像信号の和信号ＤＶａｄと差信号ＤＶｓｕを生成する。ビットレート割合制御ブロック１３では、和信号ＤＶａｄと差信号ＤＶｓｕに基づき、符号化ビットレートにおける和信号と差信号の符号化ビットレートとの割合を制御するための制御信号ＣＲａｄ，ＣＲｓｕを生成する。符号化処理ブロック１２では、制御信号ＣＲａｄ，ＣＲｓｕに基づいて符号化ビットレートを可変できる符号化処理を用いて、和信号ＤＶａｄから制御信号ＣＲａｄに基づく符号化ビットレートの符号化信号ＤＴａｄを生成する。また、差信号ＤＶｓｕから制御信号ＣＲｓｕに基づく符号化ビットレートの符号化信号ＤＴｓｕを生成する。
【選択図】 図２
【解決手段】演算ブロック１１では、入力画像信号ＤＶｉｎから２フレーム毎にフレーム間の画像信号の和信号ＤＶａｄと差信号ＤＶｓｕを生成する。ビットレート割合制御ブロック１３では、和信号ＤＶａｄと差信号ＤＶｓｕに基づき、符号化ビットレートにおける和信号と差信号の符号化ビットレートとの割合を制御するための制御信号ＣＲａｄ，ＣＲｓｕを生成する。符号化処理ブロック１２では、制御信号ＣＲａｄ，ＣＲｓｕに基づいて符号化ビットレートを可変できる符号化処理を用いて、和信号ＤＶａｄから制御信号ＣＲａｄに基づく符号化ビットレートの符号化信号ＤＴａｄを生成する。また、差信号ＤＶｓｕから制御信号ＣＲｓｕに基づく符号化ビットレートの符号化信号ＤＴｓｕを生成する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
この発明は、符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラムに関する。詳しくは、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、この和信号と差信号に基づき、符号化ビットレートにおける和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、この制御信号に基づいた符号化ビットレートで和信号と差信号の符号化処理を行い符号化信号を生成するものである。また、この符号化信号を復号化するものである。
【０００２】
【従来の技術】
テレビジョン放送では、放送のディジタル化に伴い、走査線数が５２５本でフィールド周波数が５９．９４Ｈｚの５２５／６０ｉと呼ばれる画像信号や、走査線数が６２５本でフィールド周波数が５０Ｈｚの６２５／５０ｉと呼ばれる画像信号だけでなく、走査線数が５２５本でフレーム周波数を５９．９４Ｈｚとした５２５／６０ｐとよばれる画像信号、有効走査線数が７２０本でフレーム周波数を５９．９４Ｈｚとした７２０／６０ｐと呼ばれる画像信号、有効走査線数が１０８０本でフィールド周波数を５９．９４Ｈｚとした１０８０／６０ｉと呼ばれる画像信号等が用いられている。
【０００３】
ここで、５２５／６０ｐや７２０／６０ｐ，１０８０／６０ｉ等の画像信号は、５２５／６０ｉや６２５／５０ｉの画像信号に比べてデータ量が多く高解像度の画像信号であり、高画質で高圧縮率の符号化装置が必要になってきている。例えば５２５／６０ｐの画像信号を符号化しようとした場合、ビデオテープレコーダ等で用いられているフレーム内（Ｉｎｔｒａ Ｆｒａｍｅ）符号化を行うものとすると、５２５／６０ｉの画像信号に対してフレーム周波数が倍、すなわち画像データ量も倍になっているので、高品質な符号化を行うためには非常に高いビットレートを必要とする。このため、例えば特許文献１では、直交変換された変換係数を符号化する際に、変換係数列を予め所定の順序で並べ換えることで符号化効率を向上させることが行われている。また、特許文献２では、フレーム間差の絶対値の総和とフィールド間差の絶対値の総和を比較して、比較結果に基づきフレーム内直交変換あるいはフィールド内直交変換を行うことでデータ量の削減を効率的に行うことが示されている。
【０００４】
【特許文献１】
特開平５−３００４９１号公報
【特許文献２】
特開平６−２９２１７９号公報
【０００５】
【発明が解決しようとする課題】
ところで、符号化技術については、さらなる高画質や高効率化が進められている。このため、符号化装置や復号化装置では、種々の符号化処理技術や復号化処理技術を容易に利用可能とする構成が望ましい。しかし、変換係数の並べ換えや変換の切り換えを行うものとすると、専用の符号化回路や復号化回路を構成することが必要となり、種々の画像圧縮技術等を容易に利用することができなくなってしまう。
【０００６】
また、符号化効率を高めるために、パッケージメディアや通信等では、予測を使わずそのまま符号化するフレームと片方向や双方向の動き予測フレームを複数用いて所謂Ｌｏｎｇ−ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が構成されている。このように、Ｌｏｎｇ−ＧＯＰ構造とすることで、高圧縮率を実現できる。しかし、編集前の素材の画像信号をＬｏｎｇ−ＧＯＰで構成すると、所望のフレーム位置から画像信号の切り出し等を行うものとしても、編集がＧＯＰ単位で行われてしまい編集精度が低下してしまう。また、編集精度を高めるためには、符号化されている信号を復号化する必要があり簡単に編集精度を高めることができない。さらに、動き予測フレームを生成するためには、動きベクトルの検出や動き補償など非常に負荷の大きい処理が必要となり回路規模が大きくなってしまう。
【０００７】
そこで、この発明では、高画質・高圧縮率で高い編集精度を得ることができるとともに、種々の画像圧縮技術を容易に利用できる符号化装置と復号化装置および符号化方法と復号化方法とプログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る符号化装置は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成する演算手段と、前記和信号と差信号の符号化処理を行い符号化信号を生成する符号化処理手段と、前記符号化処理手段で符号化処理を行う前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成するビットレート割合制御手段を有し、前記符号化処理手段では、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行うものである。
【０００９】
また、符号化方法は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、前記和信号と差信号の符号化処理を行い符号化信号を生成するものとし、前記符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、前記和信号と差信号の符号化処理を前記制御信号に基づいた符号化ビットレートで行うものである。
【００１０】
さらに符号化プログラムは、コンピュータに、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成する手順と、前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成する手順と、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行い符号化信号を生成する手順とを実行させるものである。
【００１１】
この発明に係る復号化装置は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する復号化処理手段と、前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成する演算手段と、前記２フレーム分の画像信号を所定のフレーム順で出力する出力処理手段とを有するものである。
【００１２】
また復号化方法は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成し、前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成し、前記２フレーム分の画像信号を所定のフレーム順で出力するものである。
【００１３】
さらに復号化プログラムは、コンピュータに、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する手順と、前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成する手順と、前記２フレーム分の画像信号を所定のフレーム順で出力する手順とを実行させるものである。
【００１４】
この発明においては、２フレーム毎にフレーム間の画像信号の和信号と差信号が生成されるとともに、和信号と差信号の符号化処理が行われて符号化信号が生成される。この符号化処理する和信号と差信号に基づき、例えば和信号における各画素の信号レベルのばらつきと差信号における各画素の信号レベルのばらつき、あるいは和信号を符号化したときのデータ量と差信号を符号化したときのデータ量の比に基づいて、符号化ビットレートにおける和信号と差信号の符号化ビットレートの割合を制御するため制御信号が生成される。この生成された制御信号に基づいた符号化ビットレートとなるように符号化処理が行われて符号化信号が生成される。さらに、符号化処理では信号レベルが調整された和信号と差信号を用いることも行われる。
【００１５】
また、このようにして生成された符号化信号を用いて、符号化処理に対応した復号化処理が行われて和信号と差信号が生成される。この和信号および／または差信号の信号レベルが調整されて、信号レベルの調整された和信号と差信号を用いて演算を行うことにより２フレーム分の画像信号が生成される。この２フレーム分の画像信号が所定のフレーム順で出力される。
【００１６】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。この発明では、符号化効率を高めるとともに高い編集精度を得るために、図１に示すように２フレーム単位を符号化処理単位として、２フレーム内符号化を行う。例えば、プログレッシブ走査の画像信号では、図１Ａに示すように２フレーム単位を符号化処理単位とし、インタレース走査の画像信号では図１Ｂに示すように４フィールド分（＝２フレーム単位）の画像信号を符号化処理単位とする。この符号化処理単位を構成する第１フレームと第２フレームの画像信号を用いて画素毎にフレーム間の和信号と差信号を生成して、和信号と差信号の符号化処理を行うとともに、この符号化処理を和信号と差信号に基づいて制御することにより、２フレームで圧縮処理が完結された２フレーム内符号化の符号化信号を生成する。また、この２フレーム内符号化により得られて符号化信号信号の復号化を行うものである。
【００１７】
図２は、符号化装置１０の構成を示している。入力画像信号ＤＶｉｎは、演算ブロック１１を構成する信号切換部１１１の可動端子ａに供給される。信号切換部１１１の端子ｂは、遅延部１１３に接続するとともに、端子ｃは加算器１１４と減算器１１５に接続する。また可動端子ａは、信号切換制御部１１２からの切換制御信号ＣＳａによって、端子ｂ側あるいは端子ｃ側に交互に切り換えられる。信号切換制御部１１２では、信号切換部１１１の端子ｂ側に入力画像信号ＤＶｉｎの第１フレームの信号を供給するとともに、端子ｃ側に入力画像信号ＤＶｉｎの第２フレームの信号を供給するように切換制御信号ＣＳａを生成する。
【００１８】
遅延部１１３では、信号切換部１１１を介して供給された第１フレームの画像信号を１フレーム期間遅延させて画像信号ＤＶａとして加算器１１４と減算器１１５に供給する。
【００１９】
加算器１１４では、遅延部１１３から供給された画像信号ＤＶａと、信号切換部１１１を介して供給された第２フレームの画像信号である画像信号ＤＶｂとを等しい画素位置どうしで加算して、得られた和信号ＤＶａｄを符号化処理ブロック１２の信号レベル調整部１２１とビットレート割合制御ブロック１３に供給する。減算器１１５では、画像信号ＤＶａと画像信号ＤＶｂとを等しい画素位置どうしで減算して、得られた差信号ＤＶｓｕを信号レベル調整部１２１とビットレート割合制御ブロック１３に供給する。
【００２０】
また、上述したように、信号切換部１１１の可動端子ａは、切換制御信号ＣＳａによって端子ｂ側あるいは端子ｃ側にフレーム単位で切り換えられるので、和信号ＤＶａｄと差信号ＤＶｓｕは、２フレーム毎に順次生成されることとなる。
【００２１】
信号レベル調整部１２１のダイナミックレンジ調整部１２１ａでは、このダイナミックレンジ調整部１２１ａに接続されているエンコーダ１２２の入力ダイナミックレンジに応じて和信号ＤＶａｄの信号レベルを調整する。例えば、エンコーダ１２２の入力ダイナミックレンジが入力画像信号ＤＶｉｎのダイナミックレンジと等しいものとされている場合、和信号ＤＶａｄは入力画像信号ＤＶｉｎの２倍のダイナミックレンジとなる。このため、ダイナミックレンジ調整部１２１ａでは、和信号ＤＶａｄの信号レベルを０．５倍とする。この信号レベル調整後の和信号ＤＶａｄｃは、エンコーダ１２２に供給する。
【００２２】
ダイナミックレンジ調整部１２１ｂでは、ダイナミックレンジ調整部１２１ａと同様に、後述するエンコーダ１２３の入力ダイナミックレンジに応じて差信号ＤＶｓｕの信号レベルを調整する。例えば、エンコーダ１２３の入力ダイナミックレンジが入力画像信号ＤＶｉｎのダイナミックレンジと等しいものとされている場合、差信号ＤＶｓｕのダイナミックレンジも入力画像信号ＤＶｉｎの２倍となる。このため、ダイナミックレンジ調整部１２１ｂでは、差信号ＤＶｓｕの信号レベルを０．５倍とする。この信号レベル調整後の差信号ＤＶｓｕｃは、レベルシフト部１２１ｃに供給する。
【００２３】
レベルシフト部１２１ｃでは、このレベルシフト部１２１ｃに接続されているエンコーダ１２３の入力信号レベルに応じて、差信号ＤＶｓｕｃの信号レベルをオフセットする。差信号ＤＶｓｕは、画像信号ＤＶａと画像信号ＤＶｂとの減算結果であるので、画像信号ＤＶａ，ＤＶｂの最小値が「０」で最大値が「Ｌ」とすると、差信号ＤＶｓｕの信号レベル範囲は「±Ｌ」となる。また、ダイナミックレンジ調整部１２１ｂで差信号ＤＶｓｕの信号レベルを０．５倍すると、信号レベル調整後の差信号ＤＶｓｕｃがとりうる信号レベルの範囲は「±Ｌ／２」となる。このため、差信号ＤＶｓｕｃに補正値Ｈ（＝Ｌ／２）を加算してオフセットさせると、オフセット後の差信号である差信号ＤＶｓｕｓが採りうる信号レベルの範囲は「０〜Ｌ」となり、画像信号ＤＶａ，ＤＶｂと等しくできる。例えば入力画像信号ＤＶｉｎが８ビットの信号であるときには補正値Ｈとして「１２８」を加算することで、差信号ＤＶｓｕｓがとりうる信号レベルの範囲を入力画像信号ＤＶｉｎと同等にできる。このように、差信号ＤＶｓｕｃに補正値Ｈを加えてオフセットさせたのち、このオフセット後の信号である差信号ＤＶｓｕｓをエンコーダ１２３に供給する。
【００２４】
エンコーダ１２２，１２３は、和信号や差信号を符号化したときの符号化信号の符号化ビットレートを、後述するビットレート割合制御ブロック１３からの制御信号に基づいて調整できるものであれば良く、符号化処理のアルゴリズムは既に一般的に利用されているアルゴリズムあるいはオリジナルのアルゴリズムを用いるものである。
【００２５】
このエンコーダ１２２では、和信号ＤＶａｄｃの符号化処理を行い、後述するビットレート割合制御ブロック１３からの制御信号ＣＲａｄに基づいた符号化ビットレートで符号化信号ＤＴａｄを生成する。また符号化処理は、既に利用されている符号化処理、例えばＤＶやＭｏｔｉｏｎ−ＪＰＥＧ２０００等の既存の符号化処理を用いても良いし、あるいは全くオリジナルのアルゴリズムによる符号化処理等を用いても良い。このエンコーダ１２２で生成した符号化信号ＤＴａｄは、出力部１５に供給する。
【００２６】
エンコーダ１２３では、差信号ＤＶｓｕｓの符号化処理を行い、ビットレート割合制御ブロック１３からの制御信号ＣＲｓｕに基づいた符号化ビットレートで符号化信号ＤＴｓｕを生成する。符号化処理は、エンコーダ１２２と同様な符号化処理を用いるものとし、エンコーダ１２３で生成した符号化信号ＤＴｓｕは、出力部１５に供給する。
【００２７】
ビットレート割合制御ブロック１３では、符号化処理ブロック１２で符号化する和信号と差信号に基づいて、エンコーダ１２２で生成する符号化信号ＤＴａｄとエンコーダ１２３で生成する符号化信号ＤＴｓｕとの符号化ビットレートの割合を決定する。さらに、和信号に対して決定された符号化ビットレートの割合となるように符号化処理動作を制御する制御信号ＣＲａｄを生成してエンコーダ１２２に供給する。また、差信号に対して決定された符号化ビットレートの割合となるように符号化処理動作を制御する制御信号ＣＲｓｕを生成してエンコーダ１２３に供給する。この符号化ビットレートの割合の決定では、情報量の多い信号に対して符号化ビットレートをより多く割り当てるように制御信号ＣＲａｄ，ＣＲｓｕを生成する。
【００２８】
ここで、和信号や差信号の情報量が多いと、例えば信号レベルのばらつきが大きいものとなったり信号レベルの分布が広くなる。また、符号化処理後のデータ量が多くなる。このため、このような特性を利用して情報量の多い信号に対して符号化ビットレートをより多く割り当てるように制御信号ＣＲａｄ，ＣＲｓｕを生成する。
【００２９】
図３は、情報量が多いか否かの判別に信号レベルのばらつきを用いた場合でのビットレート割合制御ブロック１３の構成を示している。このブロック化回路１３１では、和信号ＤＶａｄのブロック化を行い、各ブロックの画像信号を偏差算出回路１３２に供給する。例えば水平方向が８画素で垂直方向が８画素程度の小ブロックに和信号ＤＶａｄを分割して、各ブロックの画像信号を偏差算出回路１３２に供給する。偏差算出回路１３２では、ブロック毎にブロック内の各画素の信号レベルを用いて標準偏差を計算する。さらに、算出した各ブロックの標準偏差を用いて１画面における平均標準偏差ＳＤａｄを算出して、割合決定回路１３５に供給する。
【００３０】
ブロック化回路１３３では、差信号ＤＶｓｕのブロック化をブロック化回路１３１と同様に行い、各ブロックの画像信号を偏差算出回路１３４に供給する。偏差算出回路１３４では、偏差算出回路１３２と同様にして平均標準偏差ＳＤｓｕを算出して、割合決定回路１３５に供給する。
【００３１】
割合決定回路１３５では、偏差算出回路１３２で算出した平均標準偏差ＳＤａｄと偏差算出回路１３４で算出した平均標準偏差ＳＤｓｕの比を符号化ビットレートの割合とする。さらに、決定した割合に基づいて制御信号ＣＲａｄ，ＣＲｓｕを生成して、制御信号ＣＲａｄをエンコーダ１２２に供給するとともに制御信号ＣＲｓｕをエンコーダ１２３に供給する。
【００３２】
また、情報量が多いか否かの判別に符号化処理して得られる符号化信号のデータ量を用いれば、符号化ビットレートの割り当てを更に最適化できる。図４は、符号化信号のデータ量に基づいて制御信号ＣＲａｄ，ＣＲｓｕを生成するビットレート割合制御ブロック１３’の構成を示している。
【００３３】
エンコーダ１３６では、和信号ＤＶａｄの符号化を行い、生成した符号化信号ＥＶａｄをデータ量判別回路１３７に供給する。データ量判別回路１３７では、符号化信号ＥＶａｄのデータ量を判別して、判別結果を示すデータ量信号ＶＤａｄを割合決定回路１４０に供給する。
【００３４】
エンコーダ１３８では差信号ＤＶｓｕの符号化を行い、生成した符号化信号ＥＶｓｕをデータ量判別回路１３９に供給する。データ量判別回路１３９では、符号化信号ＥＶｓｕのデータ量を判別して、判別結果を示すデータ量信号ＶＤｓｕを割合決定回路１４０に供給する。
【００３５】
割合決定回路１４０では、データ量判別回路１３７からのデータ量信号ＶＤａｄとデータ量判別回路１３９からのデータ量信号ＶＤｓｕに基づき、データ量の比を符号化ビットレートの割合とする。さらに、決定した割合に基づいて制御信号ＣＲａｄ，ＣＲｓｕを生成して、制御信号ＣＲａｄをエンコーダ１２２に供給するとともに制御信号ＣＲｓｕをエンコーダ１２３に供給する。
【００３６】
また、ビットレート割合制御ブロック１３（１３’）では、和信号ＤＶａｄと差信号ＤＶｓｕを用いて符号化ビットレートの割合の決定を行うものとしたが、信号レベル調整後の和信号ＤＶａｄｃと差信号ＤＶｓｕｓを用いても、同様にして符号化ビットレートの割合を決定できる。
【００３７】
さらに、ビットレート割合制御ブロック１３（１３’）では、現在から所定符号化処理単位前までの和信号と差信号に基づいて符号化ビットレートの割合を決定したり、符号化ビットレートの割合の切換を所定数の符号化処理単位毎に行うこともできる。
【００３８】
図２に示す出力部１５では、符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて出力信号ＤＴｏｕｔを生成する。ここで、入力画像信号ＤＶｉｎを記録媒体に記録する場合、あるいは無線や有線の伝送路を介して入力画像信号ＤＶｉｎを伝送する場合等では、誤り検出訂正符号の付加、記録媒体や伝送プロトコル等に応じたフォーマット化やビットストリーム化なども行って出力信号ＤＴｏｕｔを生成する。また、符号化信号ＤＴａｄに基づいた出力信号と符号化信号ＤＴｓｕに基づいた出力信号を個々に生成するものとしても良い。
【００３９】
次に、符号化装置１０から出力された信号の復号化を行う復号化装置２０の構成を図５に示す。記録媒体を再生して得られた信号、あるいは有線あるいは無線の伝送路を介して供給された信号等は、入力信号ＤＴｉｎとして復号化処理ブロック２１の入力部２１１に供給する。この入力信号ＤＴｉｎは、符号化装置１０から出力された出力信号ＤＴｏｕｔと等しいものである。
【００４０】
入力部２１１では、入力信号ＤＴｉｎから符号化信号ＤＴａｄと符号化信号ＤＴｓｕを分離して、符号化信号ＤＴａｄをデコーダ２１２に供給するとともに、符号化信号ＤＴｓｕをデコーダ２１３に供給する。なお、入力部２１１では、符号化信号ＤＴａｄと符号化信号ＤＴｓｕの誤り検出訂正処理等も行う。
【００４１】
デコーダ２１２では、符号化信号ＤＴａｄの復号化処理を行い、和信号ＤＶａｄｃを生成して演算ブロック２２の加算器２２１と減算器２２２に供給する。この復号化処理は、エンコーダ１２２で用いられた符号化処理と対応するものであり、エンコーダ１２２で例えばＤＶフォーマットに対応したビデオテープレコーダで用いられている符号化処理を行ったときには、この符号化処理に対応した復号化処理を行うことで、符号化処理前の信号を生成できる。
【００４２】
デコーダ２１３では、符号化信号ＤＴｓｕの復号化処理を行い、差信号ＤＶｓｕｓを生成して信号レベル調整部２１４のレベル逆シフト部２１４ａに供給する。この復号化処理は、エンコーダ１２３で用いられた符号化処理と対応するものである。
【００４３】
レベル逆シフト部２１４ａでは、レベルシフト部１２１ｃでのオフセット分だけ差信号ＤＶｓｕｓの信号レベルを逆方向にオフセットさせて、オフセット前の差信号ＤＶｓｕｃを生成する。この差信号ＤＶｓｕｃは加算器２２１と減算器２２２に供給する。
【００４４】
ここで、デコーダ２１２から演算ブロック２２に供給する和信号ＤＶａｄとレベル逆シフト部２１４から演算ブロック２２に供給する差信号ＤＶｓｕｃのタイミングを調整して、演算ブロック２２の加算器２２１では、デコーダ２１２から供給された和信号ＤＶａｄｃとレベル逆シフト部２１４ａから供給された差信号ＤＶｓｕｃとを等しい画素位置どうしで加算する。この加算処理により得られた信号を画像信号ＤＶｃとして出力処理ブロック２３の信号切換部２３２の端子ａに供給する。減算器２２２では、和信号ＤＶａｄｃと差信号ＤＶｓｕｃとを等しい画素位置どうしで減算する。この減算処理により得られた信号を画像信号ＤＶｄとして出力処理ブロック２３の遅延部２３１に供給する。このように演算処理を行うことで、１フレームの和信号と差信号から２フレーム分の画像信号を生成する。
【００４５】
出力処理ブロック２３の遅延部２３１では、画像信号ＤＶｄを１フレーム期間だけ遅延させて画像信号ＤＶｅとして信号切換部２３２の端子ｂに供給する。
【００４６】
信号切換部２３２では、信号切換制御部２３３から供給された切換制御信号ＣＳｂに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて、この信号切換部２３２で選択した信号を出力画像信号ＤＶｏｕｔとして出力する。
【００４７】
信号切換制御部２３３では、加算器２２１から画像信号ＤＶｃが信号切換部２３２の端子ａに供給されるタイミングで信号切換部２３２の可動端子ｃを端子ａに切り換えるとともに、遅延部２３１から画像信号ＤＶｅが信号切換部２３２の端子ｂに供給されるタイミングで、信号切換部２３２の可動端子ｃを端子ｂに切り換える切換制御信号ＣＳｂを生成して信号切換部２３２に供給する。
【００４８】
このように遅延部２３１で画像信号ＤＶｄを１フレーム期間だけ遅延させて画像信号ＤＶｅとするとともに、信号切換部２３２を制御して画像信号ＤＶｃと画像信号ＤＶｅを交互に選択することで、演算ブロック２２で生成された２フレーム分の画像信号を所定のフレーム順として出力することで、符号化装置１０に入力した入力画像信号ＤＶｉｎと等しい出力画像信号ＤＶｏｕｔを得ることができる。
【００４９】
図６は、符号化装置１０の動作を説明するためのものである（なお、図６および後述する図７，図１０，図１１は、符号化装置や復号化装置における各信号の生成順序を示したものであり、各信号のタイミングをすべて正しく示したものではない）。図６Ａに示す入力画像信号ＤＶｉｎが符号化装置１０に入力されると、信号切換部１１１によって第１フレームの信号が遅延部１１３に振り分けられるとともに第２フレームの信号が減算器１１５に振り分けられる。このため、遅延部１１３から出力される画像信号ＤＶａは、図６Ｂに示すように第１フレームの信号「Ｏ１」が第２フレームの信号「Ｅ１」と等しいタイミングとされる。加算器１１４では、第１フレームの信号「Ｏ１」と第２フレームの信号「Ｅ１」を加算して図６Ｃに示す和信号ＤＶａｄ（＝「Ｏ１＋Ｅ１」）を生成する。また、減算器１１５では、例えば第１フレームの信号「Ｏ１」から第２フレームの信号「Ｅ１」を減算して図６Ｄに示す差信号ＤＶｓｕ（＝「Ｏ１−Ｅ１」）を生成する。
【００５０】
信号レベル調整部１２１のダイナミックレンジ調整部１２１ａでは、和信号ＤＶａｄの信号レベルを例えば０．５倍して図６Ｅに示す和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）を生成する。同様に、ダイナミックレンジ調整部１２１ｂでは、差信号ＤＶｓｕの信号レベルを例えば０．５倍して図６Ｆに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００５１】
レベルシフト部１２１ｃでは、差信号ＤＶｓｕｃの信号レベルをエンコーダ１２３の入力レベルに応じて調整する。すなわち差信号ＤＶｓｕｃに補正量Ｈを加算して図６Ｇに示す差信号ＤＶｓｕｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）を生成する。
【００５２】
エンコーダ１２２では、和信号ＤＶａｄｃの符号化処理を行い、制御信号ＣＲａｄに基づいた符号化ビットレートでの図６Ｈに示す符号化信号ＤＴａｄ（＝「Ｂａ１」）を生成する。同様に、エンコーダ１２３では、差信号ＤＶｓｕｓから図６Ｊに示す符号化信号ＤＴｓｕ（＝「Ｂｓ１」）を生成する。このようにして生成された符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて、図６Ｋに示す出力信号ＤＴｏｕｔ（＝「Ｂ１」）を生成できる。
【００５３】
また、次の第１フレームの信号「Ｏ２」および第２フレームの信号「Ｅ２」も同様に処理することで、符号化信号ＤＴａｄ（＝「Ｂａ２」）と符号化信号ＤＴｓｕ（＝「Ｂｓ２」）を生成できる。さらに、生成された符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて出力信号ＤＴｏｕｔ（＝「Ｂ２」）を生成できる。
【００５４】
図７は、復号化装置２０の動作を説明するためのものである。符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて構成された図７Ａに示す入力信号ＤＴｉｎが復号化装置２０に入力されると、入力部２１１では入力信号ＤＴｉｎ（＝「Ｂ１」）から図７Ｂに示す符号化信号ＤＴａｄ（＝「Ｂａ１」）と、図７Ｃに示す符号化信号ＤＴｓｕ（＝「Ｂｓ１」）を分離する。
【００５５】
この符号化信号ＤＴａｄ（＝「Ｂａ１」）の復号化をデコーダ２１２で行うと、図７Ｄに示す和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）が生成される。また、符号化信号ＤＴｓｕ（＝「Ｂｓ１」）の復号化をデコーダ２１３で行うと、図７Ｅに示す差信号ＤＶｓｕｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）が生成される。
【００５６】
レベル逆シフト部２１４ａでは、デコーダ２１３で生成した差信号ＤＶｓｕｓから符号化装置１０のレベルシフト部１２１ｃで加算した補正量Ｈを減算して、オフセット前の信号レベルである図７Ｆに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００５７】
加算器２２１では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）と差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を加算して、図７Ｇに示す画像信号ＤＶｃ（＝「Ｏ１」）を生成する。また、減算器２２２では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）から差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を減算して、図７Ｈに示す画像信号ＤＶｄ（＝「Ｅ１」）を生成する。さらに、遅延部２３１は、画像信号ＤＶｄ（＝「Ｅ１」）を１フレーム遅延させて図７Ｊに示す画像信号ＤＶｅ（＝「Ｅ１」）とする。
【００５８】
信号切換部２３２では、画像信号ＤＶｃ（＝「Ｏ１」）に続けて画像信号ＤＶｅ（＝「Ｅ１」）を選択することで、図７Ｋに示す出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ１」「Ｅ１」）生成できる。
【００５９】
また、入力信号ＤＴｉｎ（＝「Ｂ２」）についても同様に処理することで、出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ２」「Ｅ２」）生成できる。さらに、入力信号ＤＴｉｎの復号化処理を順次行うことで、出力画像信号ＤＶｏｕｔを順次出力することができる。また、出力画像信号ＤＶｏｕｔは、入力信号ＤＴｉｎの生成に用いた入力画像信号ＤＶｉｎと等しいものとなる。
【００６０】
なお、上述の実施の形態では、符号化装置１０のダイナミックレンジ調整部１２１ａ，１２１ｂで和信号と差信号を０．５倍したため、復号化装置２０の演算ブロック２２では、和信号と差信号を加算および減算することで正しい信号レベルの画像信号を得ることができる。すなわち、復号化装置の構成が簡単となるものであるが、例えばエンコーダ１２２，１２３の入力ダイナミックレンジが和信号ＤＶａｄや差信号ＤＶｓｕと等しく、ダイナミックレンジの調整が行われないときには、復号化装置２０の信号レベル調整部２１４に、和信号ＤＶａｄｃと差信号ＤＶｓｕｃのダイナミックレンジを０．５倍とするダイナミックレンジ調整部を設けることで、正しい信号レベルの画像信号を得ることができる。
【００６１】
このように、符号化装置１０では、２フレーム内符号化を行うことから、従来のフレーム内符号化と比較して同じ画質あれば、出力信号ＤＴｏｕｔのビットレートを低くできる。また同じビットレートであれば、画像を高画質にできる。
【００６２】
さらに、２フレーム単位で符号化信号の生成が行われているので、符号化されている出力信号ＤＴｏｕｔを用いてもＬｏｎｇ−ＧＯＰ構造に比べて高精度の編集を行うことができる。また、動きベクトルの検出や動き補償など非常に負荷の大きい処理が必要とされないので構成を簡単にできる。
【００６３】
さらに、符号化装置１０のエンコーダや復号化装置２０のデコーダは、符号化ビットレートを制御できるものであれば良いことから、種々の画像圧縮技術を容易に流用できる。
【００６４】
ところで、上述の実施の形態では、和信号と差信号に対してそれぞれエンコーダおよびデコーダを設けるものとしたが、１つのエンコーダとデコーダを切り換えて使用すれば、さらに符号化装置と復号化装置の構成を簡単にできる。
【００６５】
次に、和信号と差信号とでエンコーダを共用する場合の符号化装置３０の構成を図８に示す。なお、図８において、図２と対応する部分については同一符号を付し、詳細な説明は省略する。
【００６６】
符号化処理ブロック３２のダイナミックレンジ調整部１２１ａから出力される和信号ＤＶａｄｃは信号切換部３２２の端子ａに供給する。また、レベルシフト部１２１ｃから出力される差信号ＤＶｓｕｓは遅延部３２１に供給する。遅延部３２１では、差信号ＤＶｓｕｓを１フレーム遅延して差信号ＤＶｓｕｄとして信号切換部３２２の端子ｂに供給する。
【００６７】
信号切換部３２２では、信号切換制御部３２３からの切換制御信号ＣＳｃに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて、和信号ＤＶａｄｃあるいは差信号ＤＶｓｕｄを選択する。この信号切換部３２２で選択した信号は選択信号ＤＶａｓとしてエンコーダ３２４に供給する。
【００６８】
信号切換制御部３２３では、可動端子ｃを切り換えて、ダイナミックレンジ調整部１２１ａから信号切換部３２２の端子ａに供給される和信号ＤＶａｄｃと、遅延部３２１から信号切換部３２２の端子ｂに供給される差信号ＤＶｓｕｄを交互に選択するための切換制御信号ＣＳｃを生成して信号切換部３２２に供給する。
【００６９】
エンコーダ３２４では、選択信号ＤＶａｓの符号化処理を行い、符号化信号ＤＴａｓを生成して出力部３５に供給する。ここで、選択信号ＤＶａｓの符号化処理を行う際には、後述するビットレート割合制御ブロック３３から供給された制御信号ＣＲａｓに基づいた符号化ビットレートの符号化信号ＤＴａｓを生成する。また、エンコーダ３２４で行う符号化処理は、エンコーダ１２２，１２３と同様に、既に利用されている符号化処理やオリジナルのアルゴリズムによる符号化処理等を用いる。なお、エンコーダ１２２，１２３では、符号化処理単位の期間内で和信号あるいは差信号の符号化処理を完了できれば、リアルタイムで符号化処理を完了できる。しかし、符号化装置３０おいて、リアルタイムで符号化処理を完了するためには、符号化処理単位の期間内で和信号と差信号の符号化処理を行える能力のエンコーダ３２４を用いる必要がある。
【００７０】
ビットレート割合制御ブロック３３では、ビットレート割合制御ブロック１３と同様に、和信号ＤＶａｄと差信号ＤＶｓｕに基づいて、和信号ＤＶａｄｃを符号化処理して得られる符号化信号と差信号ＤＶｓｕｄを符号化処理して得られる符号化信号との符号化ビットレートの割合を決定する。さらに、切換制御信号ＣＳｃに基づいて、和信号ＤＶａｄｃあるいは差信号ＤＶｓｕｄのいずれの信号が選択信号ＤＶａｓとしてエンコーダ３２４に供給されるかを判別して、エンコーダ３２４に供給される信号に応じた制御信号ＣＲａｓをエンコーダ３２４に供給する。例えば、切換制御信号ＣＳｃに基づき、和信号ＤＶａｄｃを選択信号ＤＶａｓとしてエンコーダ３２４に供給すると判別したときには、上述のビットレート割合制御ブロック１３（１３’）と同様にして生成した制御信号ＣＲａｄを制御信号ＣＲａｓとしてエンコーダ３２４に供給する。また、差信号ＤＶｓｕｄを選択信号ＤＶａｓとしてエンコーダ３２４に供給すると判別したときには、ビットレート割合制御ブロック１３（１３’）と同様にして生成した制御信号ＣＲｓｕを制御信号ＣＲａｓとしてエンコーダ３２４に供給する。
【００７１】
出力部３５では、符号化信号ＤＴａｓを用いて出力信号ＤＴｏｕｔを生成する。また出力部１５と同様に、誤り検出訂正符号の付加、記録媒体や伝送プロトコル等に応じたフォーマット化やビットストリーム化なども行って出力信号ＤＴｏｕｔを生成する。
【００７２】
図９は、符号化装置３０から出力された信号を復号化する復号化装置４０の構成を示している。なお、図９において、図５と対応する部分については同一符号を付し、詳細な説明は省略する。
【００７３】
復号化処理ブロック４１の入力部４１１では、入力信号ＤＴｉｎから符号化信号ＤＴａｓを取り出してデコーダ４１２に供給する。なお、入力部４１１では、符号化信号ＤＴａｓの誤り検出訂正処理等も行う。
【００７４】
デコーダ４１２では、符号化信号ＤＴａｓの復号化処理を行う。この復号化処理によって得られた選択信号ＤＶａｓは、信号切換部４１３の可動端子ａに供給する。さらにデコーダ４１２では、選択信号ＤＶａｓに基づき和信号ＤＶａｄｃと差信号ＤＶｓｕｄの境界で信号切換部４１３の可動端子ａを端子ｂ側あるいは端子ｃ側に切り換える切換制御信号ＣＳｄを生成して、信号切換部４１３に供給する。和信号ＤＶａｄｃと差信号ＤＶｓｕｄの境界は、上述の入力部２１１と同様にヘッダ情報を利用したり、ＥＯＢ符号に基づいたブロック数、あるいは復号化処理したブロック数等に基づいて判別でき、この判別結果に基づいて切換制御信号ＣＳｄを生成する。
【００７５】
信号切換部４１３では、切換制御信号ＣＳｄに基づき可動端子ａを端子ｂ側あるいは端子ｃ側に切り換えて、選択信号ＤＶａｓにおける和信号ＤＶａｄｃの信号部分を遅延部４１４に供給するとともに、選択信号ＤＶａｓにおける差信号ＤＶｓｕｄの信号部分をレベル逆シフト部４１５ａに供給する。
【００７６】
遅延部４１４では、和信号ＤＶａｄｃを１フレーム期間分だけ遅延させて和信号ＤＶａｄｄとして加算器２２１と減算器２２２に供給する。また、信号レベル調整部のレベル逆シフト部４１５ａでは、レベルシフト部１２１ｃでのオフセット量だけ差信号ＤＶｓｕｄの信号レベルを逆方向にオフセットさせて、オフセット前の差信号ＤＶｓｕｃを加算器２２１と減算器２２２に供給する。
【００７７】
このように、遅延部４１４を設けることで、加算器２２１と減算器２２２に供給する和信号ＤＶａｄｃと差信号ＤＶｓｕｃのタイミングを等しくする。加算器２２１では、和信号ＤＶａｄｄと差信号ＤＶｓｕｃとを等しい画素位置どうしで加算して画像信号ＤＶｃを生成する。また、減算器２２２では、和信号ＤＶａｄｃと差信号ＤＶｓｕｃとを等しい画素位置どうしで減算して画像信号ＤＶｄを生成する。その後、復号化装置２０と同様に、画像信号ＤＶｄを遅延部２３１で１フレーム期間分遅延させて画像信号ＤＶｅとし、信号切換部２３２によって画像信号ＤＶｃと画像信号ＤＶｅをフレーム毎に交互に選択することで、符号化装置３０に入力した入力画像信号ＤＶｉｎと等しい出力画像信号ＤＶｏｕｔを得ることができる。
【００７８】
図１０は、符号化装置３０の動作を説明するためのものである。図１０Ａに示す入力画像信号ＤＶｉｎが符号化装置３０に入力されると、信号切換部１１１によって第１フレームの信号が遅延部１１３に振り分けられるとともに第２フレームの信号が減算器１１５に振り分けられる。このため、遅延部１１３から出力される画像信号ＤＶａは、図１０Ｂに示すように第１フレームの信号「Ｏ１」が第２フレームの信号「Ｅ１」と等しいタイミングとされる。加算器１１４では、第１フレームの信号「Ｏ１」と第２フレームの信号「Ｅ１」を加算して図１０Ｃに示す和信号ＤＶａｄ（＝「Ｏ１＋Ｅ１」）を生成する。また、減算器１１５では、例えば第１フレームの信号「Ｏ１」から第２フレームの信号「Ｅ１」を減算して図１０Ｄに示す差信号ＤＶｓｕ（＝「Ｏ１−Ｅ１」）を生成する。
【００７９】
信号レベル調整部１２１のダイナミックレンジ調整部１２１ａでは、和信号ＤＶａｄの信号レベルを例えば０．５倍して図１０Ｅに示す和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）を生成する。同様に、ダイナミックレンジ調整部１２１ｂでは、差信号ＤＶｓｕの信号レベルを例えば０．５倍して図１０Ｆに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００８０】
レベルシフト部１２１ｃでは、差信号ＤＶｓｕｃの信号レベルをエンコーダ３２４の入力レベルに応じて調整する。すなわち差信号ＤＶｓｕｃに補正量Ｈを加算して図１０Ｇに示す差信号ＤＶｓｕｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）を生成する。
【００８１】
遅延部３２１では、差信号ＤＶｓｕｓを１フレーム期間分遅延させて図１０Ｈに示す差信号ＤＶｓｕｄとする。
【００８２】
信号切換部３２２では、１符号化処理単位の和信号ＤＶａｄｃと差信号ＤＶｓｕｄを交互に選択して、図１０Ｊに示す選択信号ＤＶａｓをエンコーダ３２４に供給する。
【００８３】
エンコーダ３２４では、和信号ＤＶａｄと差信号ＤＶｓｕに基づいたビットレートの割合で選択信号ＤＶａｓの符号化を行い図１０Ｋに示す符号化信号ＤＴａｓを生成する。例えば選択信号ＤＶａｓ（＝「（Ｏ１＋Ｅ１）／２」）を符号化して符号化信号ＤＴａｓ（＝「Ｂａ１」）を生成し、選択信号ＤＶａｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）を符号化して符号化信号ＤＴａｓ（＝「Ｂｓ１」）を生成する。このようにして生成された符号化信号ＤＴａｓを用いて、図１０Ｌに示す出力信号ＤＴｏｕｔ（＝「Ｂ１」）を生成する。
【００８４】
次の第１フレームの信号「Ｏ２」および第２フレームの信号「Ｅ２」も同様に処理することで、符号化信号ＤＴａｓ（＝「Ｂａ２」）と符号化信号ＤＴａｓ（＝「Ｂｓ２」）を生成できる。さらに、生成された符号化信号ＤＴａｓを用いて出力信号ＤＴｏｕｔ（＝「Ｂ２」）を生成できる。
【００８５】
図１１は、復号化装置４０の動作を示している。符号化信号ＤＴａｓを用いて構成された図１１Ａに示す入力信号ＤＴｉｎが復号化装置４０に入力されると、入力部４１１では、入力信号ＤＴｉｎ（＝「Ｂ１」）から図１１Ｂに示す符号化信号ＤＴａｓ（＝「Ｂａ１」）と符号化信号ＤＴａｓ（＝「Ｂｓ１」）を生成してデコーダ４１２に供給する。
【００８６】
この符号化信号ＤＴａｓ（＝「Ｂａ１」）と符号化信号ＤＴａｓ（＝「Ｂｓ１」）の復号化をデコーダ４１２で順次行うと、図１１Ｃに示す選択信号ＤＶａｓ（＝「（Ｏ１＋Ｅ１）／２」，「（（Ｏ１−Ｅ１）／２）＋Ｈ」）が生成される。信号切換部４１３では、選択信号ＤＶａｓから和信号部分を抽出して和信号ＤＶａｄｃとして遅延部４１４に供給する。遅延部４１４では、この和信号ＤＶａｄｃを１フレーム期間遅延させて図１１Ｄに示す和信号ＤＶａｄｄとして加算器２２１に供給する。また信号切換部４１３では、選択信号ＤＶａｓから差信号部分を抽出して差信号ＤＶｓｕｄ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）としてレベル逆シフト部４１５ａに供給する。
【００８７】
レベル逆シフト部４１５ａでは、差信号ＤＶｓｕｄから符号化装置３０のレベルシフト部１２１ｃで加算した補正量Ｈを減算して、オフセット前の信号レベルである図１１Ｅに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００８８】
加算器２２１では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）と差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を加算して、図１１Ｆに示す画像信号ＤＶｃ（＝「Ｏ１」）を生成する。また、減算器２２２では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）から差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を減算して、図１１Ｇに示す画像信号ＤＶｄ（＝「Ｅ１」）を生成する。さらに、遅延部２３１は、画像信号ＤＶｄ（＝「Ｅ１」）を１フレーム遅延させて図１１Ｈに示す画像信号ＤＶｅ（＝「Ｅ１」）とする。
【００８９】
信号切換部２３２では、画像信号ＤＶｃ（＝「Ｏ１」）に続けて画像信号ＤＶｅ（＝「Ｅ１」）を選択することで、図１１Ｊに示す出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ１」「Ｅ１」）生成できる。
【００９０】
また、入力信号ＤＴｉｎ（＝「Ｂ２」）についても同様に処理することで、出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ２」「Ｅ２」）生成できる。さらに、入力信号ＤＴｉｎの復号化処理を順次行うことで、出力画像信号ＤＶｏｕｔを順次出力することができる。この出力画像信号ＤＶｏｕｔは、入力信号ＤＴｉｎの生成に用いた入力画像信号ＤＶｉｎと等しいものとなる。
【００９１】
このように、符号化装置３０では、エンコーダ３２４を共用して和信号ＤＶａｄｃと差信号ＤＶｓｕｄの符号化処理を行い、復号化装置４０では、デコーダ４１２で復号化処理を行うことにより和信号ＤＶａｄｃと差信号ＤＶｓｕｄを生成する。このため、和信号と差信号のそれぞれに対してエンコーダやデコーダを設ける必要が無く、符号化装置や復号化装置をさらに安価に構成できる。
【００９２】
また、上述の符号化装置や復号化装置の動作は、ハードウェアだけでなくソフトウェアで実現することもできる。この場合の構成を図１２に示す。コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１を内蔵しており、このＣＰＵ５０１にはバス５２０を介してＲＯＭ５０２，ＲＡＭ５０３，ハード・ディスク・ドライブ５０４，入出力インタフェース５０５が接続されている。さらに、入出力インタフェース５０５には入力部５１１や記録媒体ドライブ５１２，通信部５１３，信号入力部５１４，信号出力部５１５が接続されている。
【００９３】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部５１１から命令が入力されると、この命令が入出力インタフェース５０５を介してＣＰＵ５０１に供給される。
【００９４】
ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５０３あるいはハード・ディスク・ドライブ５０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ５０２やＲＡＭ５０３あるいはハード・ディスク・ドライブ５０４には、上述の符号化装置や復号化装置と同様な処理をコンピュータで実行させるためのプログラムを予め記憶させて、信号入力部５１４に入力された入力画像信号ＤＶｉｎに基づき出力信号ＤＴｏｕｔを生成して、信号出力部５１５から出力する。あるいは、信号入力部５１４に入力された入力信号ＤＴｉｎに基づき出力画像信号ＤＶｏｕｔを生成して、信号出力部５１５から出力する。
【００９５】
また、記録媒体にプログラムを記録しておくものとし、記録媒体ドライブ５１２によって、プログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部５１３によって、伝送路を介したプログラムの送信あるいは受信を行うものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【００９６】
図１３は、符号化動作を示すフローチャートである。ステップＳＴ１では、信号入力部５１４に入力された入力画像信号ＤＶｉｎから符号化処理単位である２フレーム分の画像信号を用いて、フレーム間の画像信号の和信号と差信号を画素毎に生成してステップＳＴ２に進む。
【００９７】
ステップＳＴ２では、和信号を符号化処理して生成する符号化信号の符号化ビットレートと、差信号を符号化処理して生成する符号化信号の符号化ビットレートとの割合を、和信号と差信号に基づいて決定する。例えば、上述のように和信号と差信号のブロック化を行い、各ブロックの標準偏差を用いて１画面における平均標準偏差を和信号と差信号のそれぞれに対して算出し、この平均標準偏差の比を符号化ビットレートの割合とする。あるいは、和信号と差信号の符号化を行い、得られた符号化信号のデータ量の比を符号化ビットレートの割合とする。
【００９８】
ステップＳＴ３では、ステップＳＴ２で決定された符号化ビットレートの割合に基づいて和信号と差信号の符号化処理を行う。この符号化処理は、符号化ビットレートを調整できる処理であれば良く、既に一般的に利用されている符号化処理やオリジナルのアルゴリズムによる符号化処理を用いる。
【００９９】
ステップＳＴ４では、和信号を符号化処理して得られた符号化信号と差信号を符号化処理して得られた符号化信号を用いて出力信号を生成して信号出力部５１５から出力する。
【０１００】
図１４は、図２や図８に示す符号化装置あるいは図１３に示すフローチャートの処理によって生成された信号を用いる復号化動作を示すフローチャートである。
【０１０１】
ステップＳＴ１１では、信号入力部５１４から入力された入力信号ＤＴｉｎの復号化処理を行い、和信号と差信号を生成してステップＳＴ１２に進む。また、ステップＳＴ１１では、符号化処理に対応した既に一般的に利用されている復号化処理やオリジナルのアルゴリズムによる復号化処理を用いる。
【０１０２】
ステップＳＴ１２では、和信号と差信号を用いて演算処理を行い２フレーム分の画像信号を生成してステップＳＴ１３に進む。
【０１０３】
ステップＳＴ１３では、生成された２フレーム分の画像信号を時間軸方向に並べて信号出力部５１５から出力画像信号ＤＶｏｕｔとして出力する。
【０１０４】
なお、入力画像信号ＤＶｉｎがインタレース走査である場合、エンコーダ１２２，１２３，３２４やエンコーダ１３６，１３７に供給される信号は、第１フィールドの和信号，差信号の次に第２フィールドの和信号，差信号が供給されることとなる。このため、エンコーダ１２２，１２３やエンコーダ１３６，１３７への信号供給前にフレーム化を行い、１フレームの和信号や差信号がエンコーダ１２２，１２３やエンコーダ１３６，１３７に供給されるようにすれば、入力画像信号ＤＶｉｎがインタレース走査であってもプログレッシブ走査と等しい出力信号ＤＴｏｕｔを得ることができる。
【０１０５】
【発明の効果】
この発明によれば、２フレーム内符号化を行うとともに和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御して符号化処理が行われて出力信号が生成される。このため、画質を低下させることなく出力信号のビットレートを低くしたり、ビットレートを高くしなくとも復号画像を高画質にできる。また、２フレーム単位で符号化信号の生成が行われているので、符号化されている出力信号を用いても高精度の編集を行うことができる。また、動きベクトル検出等の負荷の大きい処理が必要とされないので構成を簡単にできる。さらに、符号化処理は符号化ビットレートを制御できるものであれば良いことから、種々の画像圧縮技術を容易に流用できる。
【０１０６】
また、和信号や差信号における各画素の信号レベルのばらつき、あるいは和信号や差信号の符号化処理後のデータ量に基づいて和信号の符号化ビットレートと差信号の符号化ビットレートとの割合が制御されるので、和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を最適な状態に設定できる。また、和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行うことで、和信号と差信号のそれぞれに符号化処理を行う回路を設ける必要がなく構成を簡単にできる。
【０１０７】
さらに、和信号と差信号の信号レベルを調整して符号化処理を行うことから、符号化処理を正しく行うことができるとともに、復号化動作を簡単とすることも可能となる。また、復号化処理して得た和信号および／または差信号の信号レベルの調整が行われるので、復号化して得られる２フレーム分の画像信号の信号レベルを正しいものとすることができる。
【図面の簡単な説明】
【図１】符号化処理単位を示す図である。
【図２】符号化装置の構成を示す図である。
【図３】ビットレート割合制御ブロックの構成を示す図である。
【図４】ビットレート割合制御ブロックの他の構成を示す図である。
【図５】復号化装置の構成を示す図である。
【図６】符号化装置の動作を示す図である。
【図７】復号化装置の動作を示す図である。
【図８】符号化装置の他の構成を示す図である。
【図９】復号化装置の他の構成を示す図である。
【図１０】符号化装置の他の構成での動作を示す図である。
【図１１】復号化装置の他の構成での動作を示す図である。
【図１２】コンピュータを用いた構成を示す図である。
【図１３】符号化動作を示すフローチャートである。
【図１４】復号化動作を示すフローチャートである。
【符号の説明】
１０，３０・・・符号化装置、１１・・・演算ブロック、１２，３２・・・符号化処理ブロック、１３，１３’，３３・・・ビットレート割合制御ブロック、１５，３５・・・出力部、２０，４０・・・復号化装置、２１，４１・・・復号化処理ブロック、２２・・・演算ブロック、２３・・・出力処理ブロック、１１１・・・信号切換部、１１２・・・信号切換制御部、１１３，２３１，３２１，４１４・・・遅延部、１１４，２２１・・・加算器、１１５，２２２・・・減算器、１２１，２１４・・・信号レベル調整部、１２１ａ，１２１ｂ・・・ダイナミックレンジ調整部、１２１ｃ・・・レベルシフト部、１２２，１２３，１３６，１３８，３２４・・・エンコーダ、１３１，１３３・・・ブロック化回路、１３２，１３４・・・偏差算出回路、１３５，１４０・・・割合決定回路、１３７，１３９・・・データ量判別回路、２１１，４１１・・・入力部、２１２，２１３，４１２・・・デコーダ、２１４ａ，４１５ａ・・・レベル逆シフト部、２３２，３２２，４１３・・・信号切換部、２３３，３２３・・・信号切換制御部
【発明の属する技術分野】
この発明は、符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラムに関する。詳しくは、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、この和信号と差信号に基づき、符号化ビットレートにおける和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、この制御信号に基づいた符号化ビットレートで和信号と差信号の符号化処理を行い符号化信号を生成するものである。また、この符号化信号を復号化するものである。
【０００２】
【従来の技術】
テレビジョン放送では、放送のディジタル化に伴い、走査線数が５２５本でフィールド周波数が５９．９４Ｈｚの５２５／６０ｉと呼ばれる画像信号や、走査線数が６２５本でフィールド周波数が５０Ｈｚの６２５／５０ｉと呼ばれる画像信号だけでなく、走査線数が５２５本でフレーム周波数を５９．９４Ｈｚとした５２５／６０ｐとよばれる画像信号、有効走査線数が７２０本でフレーム周波数を５９．９４Ｈｚとした７２０／６０ｐと呼ばれる画像信号、有効走査線数が１０８０本でフィールド周波数を５９．９４Ｈｚとした１０８０／６０ｉと呼ばれる画像信号等が用いられている。
【０００３】
ここで、５２５／６０ｐや７２０／６０ｐ，１０８０／６０ｉ等の画像信号は、５２５／６０ｉや６２５／５０ｉの画像信号に比べてデータ量が多く高解像度の画像信号であり、高画質で高圧縮率の符号化装置が必要になってきている。例えば５２５／６０ｐの画像信号を符号化しようとした場合、ビデオテープレコーダ等で用いられているフレーム内（Ｉｎｔｒａ Ｆｒａｍｅ）符号化を行うものとすると、５２５／６０ｉの画像信号に対してフレーム周波数が倍、すなわち画像データ量も倍になっているので、高品質な符号化を行うためには非常に高いビットレートを必要とする。このため、例えば特許文献１では、直交変換された変換係数を符号化する際に、変換係数列を予め所定の順序で並べ換えることで符号化効率を向上させることが行われている。また、特許文献２では、フレーム間差の絶対値の総和とフィールド間差の絶対値の総和を比較して、比較結果に基づきフレーム内直交変換あるいはフィールド内直交変換を行うことでデータ量の削減を効率的に行うことが示されている。
【０００４】
【特許文献１】
特開平５−３００４９１号公報
【特許文献２】
特開平６−２９２１７９号公報
【０００５】
【発明が解決しようとする課題】
ところで、符号化技術については、さらなる高画質や高効率化が進められている。このため、符号化装置や復号化装置では、種々の符号化処理技術や復号化処理技術を容易に利用可能とする構成が望ましい。しかし、変換係数の並べ換えや変換の切り換えを行うものとすると、専用の符号化回路や復号化回路を構成することが必要となり、種々の画像圧縮技術等を容易に利用することができなくなってしまう。
【０００６】
また、符号化効率を高めるために、パッケージメディアや通信等では、予測を使わずそのまま符号化するフレームと片方向や双方向の動き予測フレームを複数用いて所謂Ｌｏｎｇ−ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が構成されている。このように、Ｌｏｎｇ−ＧＯＰ構造とすることで、高圧縮率を実現できる。しかし、編集前の素材の画像信号をＬｏｎｇ−ＧＯＰで構成すると、所望のフレーム位置から画像信号の切り出し等を行うものとしても、編集がＧＯＰ単位で行われてしまい編集精度が低下してしまう。また、編集精度を高めるためには、符号化されている信号を復号化する必要があり簡単に編集精度を高めることができない。さらに、動き予測フレームを生成するためには、動きベクトルの検出や動き補償など非常に負荷の大きい処理が必要となり回路規模が大きくなってしまう。
【０００７】
そこで、この発明では、高画質・高圧縮率で高い編集精度を得ることができるとともに、種々の画像圧縮技術を容易に利用できる符号化装置と復号化装置および符号化方法と復号化方法とプログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る符号化装置は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成する演算手段と、前記和信号と差信号の符号化処理を行い符号化信号を生成する符号化処理手段と、前記符号化処理手段で符号化処理を行う前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成するビットレート割合制御手段を有し、前記符号化処理手段では、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行うものである。
【０００９】
また、符号化方法は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、前記和信号と差信号の符号化処理を行い符号化信号を生成するものとし、前記符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、前記和信号と差信号の符号化処理を前記制御信号に基づいた符号化ビットレートで行うものである。
【００１０】
さらに符号化プログラムは、コンピュータに、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成する手順と、前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成する手順と、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行い符号化信号を生成する手順とを実行させるものである。
【００１１】
この発明に係る復号化装置は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する復号化処理手段と、前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成する演算手段と、前記２フレーム分の画像信号を所定のフレーム順で出力する出力処理手段とを有するものである。
【００１２】
また復号化方法は、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成し、前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成し、前記２フレーム分の画像信号を所定のフレーム順で出力するものである。
【００１３】
さらに復号化プログラムは、コンピュータに、２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する手順と、前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成する手順と、前記２フレーム分の画像信号を所定のフレーム順で出力する手順とを実行させるものである。
【００１４】
この発明においては、２フレーム毎にフレーム間の画像信号の和信号と差信号が生成されるとともに、和信号と差信号の符号化処理が行われて符号化信号が生成される。この符号化処理する和信号と差信号に基づき、例えば和信号における各画素の信号レベルのばらつきと差信号における各画素の信号レベルのばらつき、あるいは和信号を符号化したときのデータ量と差信号を符号化したときのデータ量の比に基づいて、符号化ビットレートにおける和信号と差信号の符号化ビットレートの割合を制御するため制御信号が生成される。この生成された制御信号に基づいた符号化ビットレートとなるように符号化処理が行われて符号化信号が生成される。さらに、符号化処理では信号レベルが調整された和信号と差信号を用いることも行われる。
【００１５】
また、このようにして生成された符号化信号を用いて、符号化処理に対応した復号化処理が行われて和信号と差信号が生成される。この和信号および／または差信号の信号レベルが調整されて、信号レベルの調整された和信号と差信号を用いて演算を行うことにより２フレーム分の画像信号が生成される。この２フレーム分の画像信号が所定のフレーム順で出力される。
【００１６】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。この発明では、符号化効率を高めるとともに高い編集精度を得るために、図１に示すように２フレーム単位を符号化処理単位として、２フレーム内符号化を行う。例えば、プログレッシブ走査の画像信号では、図１Ａに示すように２フレーム単位を符号化処理単位とし、インタレース走査の画像信号では図１Ｂに示すように４フィールド分（＝２フレーム単位）の画像信号を符号化処理単位とする。この符号化処理単位を構成する第１フレームと第２フレームの画像信号を用いて画素毎にフレーム間の和信号と差信号を生成して、和信号と差信号の符号化処理を行うとともに、この符号化処理を和信号と差信号に基づいて制御することにより、２フレームで圧縮処理が完結された２フレーム内符号化の符号化信号を生成する。また、この２フレーム内符号化により得られて符号化信号信号の復号化を行うものである。
【００１７】
図２は、符号化装置１０の構成を示している。入力画像信号ＤＶｉｎは、演算ブロック１１を構成する信号切換部１１１の可動端子ａに供給される。信号切換部１１１の端子ｂは、遅延部１１３に接続するとともに、端子ｃは加算器１１４と減算器１１５に接続する。また可動端子ａは、信号切換制御部１１２からの切換制御信号ＣＳａによって、端子ｂ側あるいは端子ｃ側に交互に切り換えられる。信号切換制御部１１２では、信号切換部１１１の端子ｂ側に入力画像信号ＤＶｉｎの第１フレームの信号を供給するとともに、端子ｃ側に入力画像信号ＤＶｉｎの第２フレームの信号を供給するように切換制御信号ＣＳａを生成する。
【００１８】
遅延部１１３では、信号切換部１１１を介して供給された第１フレームの画像信号を１フレーム期間遅延させて画像信号ＤＶａとして加算器１１４と減算器１１５に供給する。
【００１９】
加算器１１４では、遅延部１１３から供給された画像信号ＤＶａと、信号切換部１１１を介して供給された第２フレームの画像信号である画像信号ＤＶｂとを等しい画素位置どうしで加算して、得られた和信号ＤＶａｄを符号化処理ブロック１２の信号レベル調整部１２１とビットレート割合制御ブロック１３に供給する。減算器１１５では、画像信号ＤＶａと画像信号ＤＶｂとを等しい画素位置どうしで減算して、得られた差信号ＤＶｓｕを信号レベル調整部１２１とビットレート割合制御ブロック１３に供給する。
【００２０】
また、上述したように、信号切換部１１１の可動端子ａは、切換制御信号ＣＳａによって端子ｂ側あるいは端子ｃ側にフレーム単位で切り換えられるので、和信号ＤＶａｄと差信号ＤＶｓｕは、２フレーム毎に順次生成されることとなる。
【００２１】
信号レベル調整部１２１のダイナミックレンジ調整部１２１ａでは、このダイナミックレンジ調整部１２１ａに接続されているエンコーダ１２２の入力ダイナミックレンジに応じて和信号ＤＶａｄの信号レベルを調整する。例えば、エンコーダ１２２の入力ダイナミックレンジが入力画像信号ＤＶｉｎのダイナミックレンジと等しいものとされている場合、和信号ＤＶａｄは入力画像信号ＤＶｉｎの２倍のダイナミックレンジとなる。このため、ダイナミックレンジ調整部１２１ａでは、和信号ＤＶａｄの信号レベルを０．５倍とする。この信号レベル調整後の和信号ＤＶａｄｃは、エンコーダ１２２に供給する。
【００２２】
ダイナミックレンジ調整部１２１ｂでは、ダイナミックレンジ調整部１２１ａと同様に、後述するエンコーダ１２３の入力ダイナミックレンジに応じて差信号ＤＶｓｕの信号レベルを調整する。例えば、エンコーダ１２３の入力ダイナミックレンジが入力画像信号ＤＶｉｎのダイナミックレンジと等しいものとされている場合、差信号ＤＶｓｕのダイナミックレンジも入力画像信号ＤＶｉｎの２倍となる。このため、ダイナミックレンジ調整部１２１ｂでは、差信号ＤＶｓｕの信号レベルを０．５倍とする。この信号レベル調整後の差信号ＤＶｓｕｃは、レベルシフト部１２１ｃに供給する。
【００２３】
レベルシフト部１２１ｃでは、このレベルシフト部１２１ｃに接続されているエンコーダ１２３の入力信号レベルに応じて、差信号ＤＶｓｕｃの信号レベルをオフセットする。差信号ＤＶｓｕは、画像信号ＤＶａと画像信号ＤＶｂとの減算結果であるので、画像信号ＤＶａ，ＤＶｂの最小値が「０」で最大値が「Ｌ」とすると、差信号ＤＶｓｕの信号レベル範囲は「±Ｌ」となる。また、ダイナミックレンジ調整部１２１ｂで差信号ＤＶｓｕの信号レベルを０．５倍すると、信号レベル調整後の差信号ＤＶｓｕｃがとりうる信号レベルの範囲は「±Ｌ／２」となる。このため、差信号ＤＶｓｕｃに補正値Ｈ（＝Ｌ／２）を加算してオフセットさせると、オフセット後の差信号である差信号ＤＶｓｕｓが採りうる信号レベルの範囲は「０〜Ｌ」となり、画像信号ＤＶａ，ＤＶｂと等しくできる。例えば入力画像信号ＤＶｉｎが８ビットの信号であるときには補正値Ｈとして「１２８」を加算することで、差信号ＤＶｓｕｓがとりうる信号レベルの範囲を入力画像信号ＤＶｉｎと同等にできる。このように、差信号ＤＶｓｕｃに補正値Ｈを加えてオフセットさせたのち、このオフセット後の信号である差信号ＤＶｓｕｓをエンコーダ１２３に供給する。
【００２４】
エンコーダ１２２，１２３は、和信号や差信号を符号化したときの符号化信号の符号化ビットレートを、後述するビットレート割合制御ブロック１３からの制御信号に基づいて調整できるものであれば良く、符号化処理のアルゴリズムは既に一般的に利用されているアルゴリズムあるいはオリジナルのアルゴリズムを用いるものである。
【００２５】
このエンコーダ１２２では、和信号ＤＶａｄｃの符号化処理を行い、後述するビットレート割合制御ブロック１３からの制御信号ＣＲａｄに基づいた符号化ビットレートで符号化信号ＤＴａｄを生成する。また符号化処理は、既に利用されている符号化処理、例えばＤＶやＭｏｔｉｏｎ−ＪＰＥＧ２０００等の既存の符号化処理を用いても良いし、あるいは全くオリジナルのアルゴリズムによる符号化処理等を用いても良い。このエンコーダ１２２で生成した符号化信号ＤＴａｄは、出力部１５に供給する。
【００２６】
エンコーダ１２３では、差信号ＤＶｓｕｓの符号化処理を行い、ビットレート割合制御ブロック１３からの制御信号ＣＲｓｕに基づいた符号化ビットレートで符号化信号ＤＴｓｕを生成する。符号化処理は、エンコーダ１２２と同様な符号化処理を用いるものとし、エンコーダ１２３で生成した符号化信号ＤＴｓｕは、出力部１５に供給する。
【００２７】
ビットレート割合制御ブロック１３では、符号化処理ブロック１２で符号化する和信号と差信号に基づいて、エンコーダ１２２で生成する符号化信号ＤＴａｄとエンコーダ１２３で生成する符号化信号ＤＴｓｕとの符号化ビットレートの割合を決定する。さらに、和信号に対して決定された符号化ビットレートの割合となるように符号化処理動作を制御する制御信号ＣＲａｄを生成してエンコーダ１２２に供給する。また、差信号に対して決定された符号化ビットレートの割合となるように符号化処理動作を制御する制御信号ＣＲｓｕを生成してエンコーダ１２３に供給する。この符号化ビットレートの割合の決定では、情報量の多い信号に対して符号化ビットレートをより多く割り当てるように制御信号ＣＲａｄ，ＣＲｓｕを生成する。
【００２８】
ここで、和信号や差信号の情報量が多いと、例えば信号レベルのばらつきが大きいものとなったり信号レベルの分布が広くなる。また、符号化処理後のデータ量が多くなる。このため、このような特性を利用して情報量の多い信号に対して符号化ビットレートをより多く割り当てるように制御信号ＣＲａｄ，ＣＲｓｕを生成する。
【００２９】
図３は、情報量が多いか否かの判別に信号レベルのばらつきを用いた場合でのビットレート割合制御ブロック１３の構成を示している。このブロック化回路１３１では、和信号ＤＶａｄのブロック化を行い、各ブロックの画像信号を偏差算出回路１３２に供給する。例えば水平方向が８画素で垂直方向が８画素程度の小ブロックに和信号ＤＶａｄを分割して、各ブロックの画像信号を偏差算出回路１３２に供給する。偏差算出回路１３２では、ブロック毎にブロック内の各画素の信号レベルを用いて標準偏差を計算する。さらに、算出した各ブロックの標準偏差を用いて１画面における平均標準偏差ＳＤａｄを算出して、割合決定回路１３５に供給する。
【００３０】
ブロック化回路１３３では、差信号ＤＶｓｕのブロック化をブロック化回路１３１と同様に行い、各ブロックの画像信号を偏差算出回路１３４に供給する。偏差算出回路１３４では、偏差算出回路１３２と同様にして平均標準偏差ＳＤｓｕを算出して、割合決定回路１３５に供給する。
【００３１】
割合決定回路１３５では、偏差算出回路１３２で算出した平均標準偏差ＳＤａｄと偏差算出回路１３４で算出した平均標準偏差ＳＤｓｕの比を符号化ビットレートの割合とする。さらに、決定した割合に基づいて制御信号ＣＲａｄ，ＣＲｓｕを生成して、制御信号ＣＲａｄをエンコーダ１２２に供給するとともに制御信号ＣＲｓｕをエンコーダ１２３に供給する。
【００３２】
また、情報量が多いか否かの判別に符号化処理して得られる符号化信号のデータ量を用いれば、符号化ビットレートの割り当てを更に最適化できる。図４は、符号化信号のデータ量に基づいて制御信号ＣＲａｄ，ＣＲｓｕを生成するビットレート割合制御ブロック１３’の構成を示している。
【００３３】
エンコーダ１３６では、和信号ＤＶａｄの符号化を行い、生成した符号化信号ＥＶａｄをデータ量判別回路１３７に供給する。データ量判別回路１３７では、符号化信号ＥＶａｄのデータ量を判別して、判別結果を示すデータ量信号ＶＤａｄを割合決定回路１４０に供給する。
【００３４】
エンコーダ１３８では差信号ＤＶｓｕの符号化を行い、生成した符号化信号ＥＶｓｕをデータ量判別回路１３９に供給する。データ量判別回路１３９では、符号化信号ＥＶｓｕのデータ量を判別して、判別結果を示すデータ量信号ＶＤｓｕを割合決定回路１４０に供給する。
【００３５】
割合決定回路１４０では、データ量判別回路１３７からのデータ量信号ＶＤａｄとデータ量判別回路１３９からのデータ量信号ＶＤｓｕに基づき、データ量の比を符号化ビットレートの割合とする。さらに、決定した割合に基づいて制御信号ＣＲａｄ，ＣＲｓｕを生成して、制御信号ＣＲａｄをエンコーダ１２２に供給するとともに制御信号ＣＲｓｕをエンコーダ１２３に供給する。
【００３６】
また、ビットレート割合制御ブロック１３（１３’）では、和信号ＤＶａｄと差信号ＤＶｓｕを用いて符号化ビットレートの割合の決定を行うものとしたが、信号レベル調整後の和信号ＤＶａｄｃと差信号ＤＶｓｕｓを用いても、同様にして符号化ビットレートの割合を決定できる。
【００３７】
さらに、ビットレート割合制御ブロック１３（１３’）では、現在から所定符号化処理単位前までの和信号と差信号に基づいて符号化ビットレートの割合を決定したり、符号化ビットレートの割合の切換を所定数の符号化処理単位毎に行うこともできる。
【００３８】
図２に示す出力部１５では、符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて出力信号ＤＴｏｕｔを生成する。ここで、入力画像信号ＤＶｉｎを記録媒体に記録する場合、あるいは無線や有線の伝送路を介して入力画像信号ＤＶｉｎを伝送する場合等では、誤り検出訂正符号の付加、記録媒体や伝送プロトコル等に応じたフォーマット化やビットストリーム化なども行って出力信号ＤＴｏｕｔを生成する。また、符号化信号ＤＴａｄに基づいた出力信号と符号化信号ＤＴｓｕに基づいた出力信号を個々に生成するものとしても良い。
【００３９】
次に、符号化装置１０から出力された信号の復号化を行う復号化装置２０の構成を図５に示す。記録媒体を再生して得られた信号、あるいは有線あるいは無線の伝送路を介して供給された信号等は、入力信号ＤＴｉｎとして復号化処理ブロック２１の入力部２１１に供給する。この入力信号ＤＴｉｎは、符号化装置１０から出力された出力信号ＤＴｏｕｔと等しいものである。
【００４０】
入力部２１１では、入力信号ＤＴｉｎから符号化信号ＤＴａｄと符号化信号ＤＴｓｕを分離して、符号化信号ＤＴａｄをデコーダ２１２に供給するとともに、符号化信号ＤＴｓｕをデコーダ２１３に供給する。なお、入力部２１１では、符号化信号ＤＴａｄと符号化信号ＤＴｓｕの誤り検出訂正処理等も行う。
【００４１】
デコーダ２１２では、符号化信号ＤＴａｄの復号化処理を行い、和信号ＤＶａｄｃを生成して演算ブロック２２の加算器２２１と減算器２２２に供給する。この復号化処理は、エンコーダ１２２で用いられた符号化処理と対応するものであり、エンコーダ１２２で例えばＤＶフォーマットに対応したビデオテープレコーダで用いられている符号化処理を行ったときには、この符号化処理に対応した復号化処理を行うことで、符号化処理前の信号を生成できる。
【００４２】
デコーダ２１３では、符号化信号ＤＴｓｕの復号化処理を行い、差信号ＤＶｓｕｓを生成して信号レベル調整部２１４のレベル逆シフト部２１４ａに供給する。この復号化処理は、エンコーダ１２３で用いられた符号化処理と対応するものである。
【００４３】
レベル逆シフト部２１４ａでは、レベルシフト部１２１ｃでのオフセット分だけ差信号ＤＶｓｕｓの信号レベルを逆方向にオフセットさせて、オフセット前の差信号ＤＶｓｕｃを生成する。この差信号ＤＶｓｕｃは加算器２２１と減算器２２２に供給する。
【００４４】
ここで、デコーダ２１２から演算ブロック２２に供給する和信号ＤＶａｄとレベル逆シフト部２１４から演算ブロック２２に供給する差信号ＤＶｓｕｃのタイミングを調整して、演算ブロック２２の加算器２２１では、デコーダ２１２から供給された和信号ＤＶａｄｃとレベル逆シフト部２１４ａから供給された差信号ＤＶｓｕｃとを等しい画素位置どうしで加算する。この加算処理により得られた信号を画像信号ＤＶｃとして出力処理ブロック２３の信号切換部２３２の端子ａに供給する。減算器２２２では、和信号ＤＶａｄｃと差信号ＤＶｓｕｃとを等しい画素位置どうしで減算する。この減算処理により得られた信号を画像信号ＤＶｄとして出力処理ブロック２３の遅延部２３１に供給する。このように演算処理を行うことで、１フレームの和信号と差信号から２フレーム分の画像信号を生成する。
【００４５】
出力処理ブロック２３の遅延部２３１では、画像信号ＤＶｄを１フレーム期間だけ遅延させて画像信号ＤＶｅとして信号切換部２３２の端子ｂに供給する。
【００４６】
信号切換部２３２では、信号切換制御部２３３から供給された切換制御信号ＣＳｂに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて、この信号切換部２３２で選択した信号を出力画像信号ＤＶｏｕｔとして出力する。
【００４７】
信号切換制御部２３３では、加算器２２１から画像信号ＤＶｃが信号切換部２３２の端子ａに供給されるタイミングで信号切換部２３２の可動端子ｃを端子ａに切り換えるとともに、遅延部２３１から画像信号ＤＶｅが信号切換部２３２の端子ｂに供給されるタイミングで、信号切換部２３２の可動端子ｃを端子ｂに切り換える切換制御信号ＣＳｂを生成して信号切換部２３２に供給する。
【００４８】
このように遅延部２３１で画像信号ＤＶｄを１フレーム期間だけ遅延させて画像信号ＤＶｅとするとともに、信号切換部２３２を制御して画像信号ＤＶｃと画像信号ＤＶｅを交互に選択することで、演算ブロック２２で生成された２フレーム分の画像信号を所定のフレーム順として出力することで、符号化装置１０に入力した入力画像信号ＤＶｉｎと等しい出力画像信号ＤＶｏｕｔを得ることができる。
【００４９】
図６は、符号化装置１０の動作を説明するためのものである（なお、図６および後述する図７，図１０，図１１は、符号化装置や復号化装置における各信号の生成順序を示したものであり、各信号のタイミングをすべて正しく示したものではない）。図６Ａに示す入力画像信号ＤＶｉｎが符号化装置１０に入力されると、信号切換部１１１によって第１フレームの信号が遅延部１１３に振り分けられるとともに第２フレームの信号が減算器１１５に振り分けられる。このため、遅延部１１３から出力される画像信号ＤＶａは、図６Ｂに示すように第１フレームの信号「Ｏ１」が第２フレームの信号「Ｅ１」と等しいタイミングとされる。加算器１１４では、第１フレームの信号「Ｏ１」と第２フレームの信号「Ｅ１」を加算して図６Ｃに示す和信号ＤＶａｄ（＝「Ｏ１＋Ｅ１」）を生成する。また、減算器１１５では、例えば第１フレームの信号「Ｏ１」から第２フレームの信号「Ｅ１」を減算して図６Ｄに示す差信号ＤＶｓｕ（＝「Ｏ１−Ｅ１」）を生成する。
【００５０】
信号レベル調整部１２１のダイナミックレンジ調整部１２１ａでは、和信号ＤＶａｄの信号レベルを例えば０．５倍して図６Ｅに示す和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）を生成する。同様に、ダイナミックレンジ調整部１２１ｂでは、差信号ＤＶｓｕの信号レベルを例えば０．５倍して図６Ｆに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００５１】
レベルシフト部１２１ｃでは、差信号ＤＶｓｕｃの信号レベルをエンコーダ１２３の入力レベルに応じて調整する。すなわち差信号ＤＶｓｕｃに補正量Ｈを加算して図６Ｇに示す差信号ＤＶｓｕｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）を生成する。
【００５２】
エンコーダ１２２では、和信号ＤＶａｄｃの符号化処理を行い、制御信号ＣＲａｄに基づいた符号化ビットレートでの図６Ｈに示す符号化信号ＤＴａｄ（＝「Ｂａ１」）を生成する。同様に、エンコーダ１２３では、差信号ＤＶｓｕｓから図６Ｊに示す符号化信号ＤＴｓｕ（＝「Ｂｓ１」）を生成する。このようにして生成された符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて、図６Ｋに示す出力信号ＤＴｏｕｔ（＝「Ｂ１」）を生成できる。
【００５３】
また、次の第１フレームの信号「Ｏ２」および第２フレームの信号「Ｅ２」も同様に処理することで、符号化信号ＤＴａｄ（＝「Ｂａ２」）と符号化信号ＤＴｓｕ（＝「Ｂｓ２」）を生成できる。さらに、生成された符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて出力信号ＤＴｏｕｔ（＝「Ｂ２」）を生成できる。
【００５４】
図７は、復号化装置２０の動作を説明するためのものである。符号化信号ＤＴａｄと符号化信号ＤＴｓｕを用いて構成された図７Ａに示す入力信号ＤＴｉｎが復号化装置２０に入力されると、入力部２１１では入力信号ＤＴｉｎ（＝「Ｂ１」）から図７Ｂに示す符号化信号ＤＴａｄ（＝「Ｂａ１」）と、図７Ｃに示す符号化信号ＤＴｓｕ（＝「Ｂｓ１」）を分離する。
【００５５】
この符号化信号ＤＴａｄ（＝「Ｂａ１」）の復号化をデコーダ２１２で行うと、図７Ｄに示す和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）が生成される。また、符号化信号ＤＴｓｕ（＝「Ｂｓ１」）の復号化をデコーダ２１３で行うと、図７Ｅに示す差信号ＤＶｓｕｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）が生成される。
【００５６】
レベル逆シフト部２１４ａでは、デコーダ２１３で生成した差信号ＤＶｓｕｓから符号化装置１０のレベルシフト部１２１ｃで加算した補正量Ｈを減算して、オフセット前の信号レベルである図７Ｆに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００５７】
加算器２２１では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）と差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を加算して、図７Ｇに示す画像信号ＤＶｃ（＝「Ｏ１」）を生成する。また、減算器２２２では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）から差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を減算して、図７Ｈに示す画像信号ＤＶｄ（＝「Ｅ１」）を生成する。さらに、遅延部２３１は、画像信号ＤＶｄ（＝「Ｅ１」）を１フレーム遅延させて図７Ｊに示す画像信号ＤＶｅ（＝「Ｅ１」）とする。
【００５８】
信号切換部２３２では、画像信号ＤＶｃ（＝「Ｏ１」）に続けて画像信号ＤＶｅ（＝「Ｅ１」）を選択することで、図７Ｋに示す出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ１」「Ｅ１」）生成できる。
【００５９】
また、入力信号ＤＴｉｎ（＝「Ｂ２」）についても同様に処理することで、出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ２」「Ｅ２」）生成できる。さらに、入力信号ＤＴｉｎの復号化処理を順次行うことで、出力画像信号ＤＶｏｕｔを順次出力することができる。また、出力画像信号ＤＶｏｕｔは、入力信号ＤＴｉｎの生成に用いた入力画像信号ＤＶｉｎと等しいものとなる。
【００６０】
なお、上述の実施の形態では、符号化装置１０のダイナミックレンジ調整部１２１ａ，１２１ｂで和信号と差信号を０．５倍したため、復号化装置２０の演算ブロック２２では、和信号と差信号を加算および減算することで正しい信号レベルの画像信号を得ることができる。すなわち、復号化装置の構成が簡単となるものであるが、例えばエンコーダ１２２，１２３の入力ダイナミックレンジが和信号ＤＶａｄや差信号ＤＶｓｕと等しく、ダイナミックレンジの調整が行われないときには、復号化装置２０の信号レベル調整部２１４に、和信号ＤＶａｄｃと差信号ＤＶｓｕｃのダイナミックレンジを０．５倍とするダイナミックレンジ調整部を設けることで、正しい信号レベルの画像信号を得ることができる。
【００６１】
このように、符号化装置１０では、２フレーム内符号化を行うことから、従来のフレーム内符号化と比較して同じ画質あれば、出力信号ＤＴｏｕｔのビットレートを低くできる。また同じビットレートであれば、画像を高画質にできる。
【００６２】
さらに、２フレーム単位で符号化信号の生成が行われているので、符号化されている出力信号ＤＴｏｕｔを用いてもＬｏｎｇ−ＧＯＰ構造に比べて高精度の編集を行うことができる。また、動きベクトルの検出や動き補償など非常に負荷の大きい処理が必要とされないので構成を簡単にできる。
【００６３】
さらに、符号化装置１０のエンコーダや復号化装置２０のデコーダは、符号化ビットレートを制御できるものであれば良いことから、種々の画像圧縮技術を容易に流用できる。
【００６４】
ところで、上述の実施の形態では、和信号と差信号に対してそれぞれエンコーダおよびデコーダを設けるものとしたが、１つのエンコーダとデコーダを切り換えて使用すれば、さらに符号化装置と復号化装置の構成を簡単にできる。
【００６５】
次に、和信号と差信号とでエンコーダを共用する場合の符号化装置３０の構成を図８に示す。なお、図８において、図２と対応する部分については同一符号を付し、詳細な説明は省略する。
【００６６】
符号化処理ブロック３２のダイナミックレンジ調整部１２１ａから出力される和信号ＤＶａｄｃは信号切換部３２２の端子ａに供給する。また、レベルシフト部１２１ｃから出力される差信号ＤＶｓｕｓは遅延部３２１に供給する。遅延部３２１では、差信号ＤＶｓｕｓを１フレーム遅延して差信号ＤＶｓｕｄとして信号切換部３２２の端子ｂに供給する。
【００６７】
信号切換部３２２では、信号切換制御部３２３からの切換制御信号ＣＳｃに基づき可動端子ｃを端子ａ側あるいは端子ｂ側に切り換えて、和信号ＤＶａｄｃあるいは差信号ＤＶｓｕｄを選択する。この信号切換部３２２で選択した信号は選択信号ＤＶａｓとしてエンコーダ３２４に供給する。
【００６８】
信号切換制御部３２３では、可動端子ｃを切り換えて、ダイナミックレンジ調整部１２１ａから信号切換部３２２の端子ａに供給される和信号ＤＶａｄｃと、遅延部３２１から信号切換部３２２の端子ｂに供給される差信号ＤＶｓｕｄを交互に選択するための切換制御信号ＣＳｃを生成して信号切換部３２２に供給する。
【００６９】
エンコーダ３２４では、選択信号ＤＶａｓの符号化処理を行い、符号化信号ＤＴａｓを生成して出力部３５に供給する。ここで、選択信号ＤＶａｓの符号化処理を行う際には、後述するビットレート割合制御ブロック３３から供給された制御信号ＣＲａｓに基づいた符号化ビットレートの符号化信号ＤＴａｓを生成する。また、エンコーダ３２４で行う符号化処理は、エンコーダ１２２，１２３と同様に、既に利用されている符号化処理やオリジナルのアルゴリズムによる符号化処理等を用いる。なお、エンコーダ１２２，１２３では、符号化処理単位の期間内で和信号あるいは差信号の符号化処理を完了できれば、リアルタイムで符号化処理を完了できる。しかし、符号化装置３０おいて、リアルタイムで符号化処理を完了するためには、符号化処理単位の期間内で和信号と差信号の符号化処理を行える能力のエンコーダ３２４を用いる必要がある。
【００７０】
ビットレート割合制御ブロック３３では、ビットレート割合制御ブロック１３と同様に、和信号ＤＶａｄと差信号ＤＶｓｕに基づいて、和信号ＤＶａｄｃを符号化処理して得られる符号化信号と差信号ＤＶｓｕｄを符号化処理して得られる符号化信号との符号化ビットレートの割合を決定する。さらに、切換制御信号ＣＳｃに基づいて、和信号ＤＶａｄｃあるいは差信号ＤＶｓｕｄのいずれの信号が選択信号ＤＶａｓとしてエンコーダ３２４に供給されるかを判別して、エンコーダ３２４に供給される信号に応じた制御信号ＣＲａｓをエンコーダ３２４に供給する。例えば、切換制御信号ＣＳｃに基づき、和信号ＤＶａｄｃを選択信号ＤＶａｓとしてエンコーダ３２４に供給すると判別したときには、上述のビットレート割合制御ブロック１３（１３’）と同様にして生成した制御信号ＣＲａｄを制御信号ＣＲａｓとしてエンコーダ３２４に供給する。また、差信号ＤＶｓｕｄを選択信号ＤＶａｓとしてエンコーダ３２４に供給すると判別したときには、ビットレート割合制御ブロック１３（１３’）と同様にして生成した制御信号ＣＲｓｕを制御信号ＣＲａｓとしてエンコーダ３２４に供給する。
【００７１】
出力部３５では、符号化信号ＤＴａｓを用いて出力信号ＤＴｏｕｔを生成する。また出力部１５と同様に、誤り検出訂正符号の付加、記録媒体や伝送プロトコル等に応じたフォーマット化やビットストリーム化なども行って出力信号ＤＴｏｕｔを生成する。
【００７２】
図９は、符号化装置３０から出力された信号を復号化する復号化装置４０の構成を示している。なお、図９において、図５と対応する部分については同一符号を付し、詳細な説明は省略する。
【００７３】
復号化処理ブロック４１の入力部４１１では、入力信号ＤＴｉｎから符号化信号ＤＴａｓを取り出してデコーダ４１２に供給する。なお、入力部４１１では、符号化信号ＤＴａｓの誤り検出訂正処理等も行う。
【００７４】
デコーダ４１２では、符号化信号ＤＴａｓの復号化処理を行う。この復号化処理によって得られた選択信号ＤＶａｓは、信号切換部４１３の可動端子ａに供給する。さらにデコーダ４１２では、選択信号ＤＶａｓに基づき和信号ＤＶａｄｃと差信号ＤＶｓｕｄの境界で信号切換部４１３の可動端子ａを端子ｂ側あるいは端子ｃ側に切り換える切換制御信号ＣＳｄを生成して、信号切換部４１３に供給する。和信号ＤＶａｄｃと差信号ＤＶｓｕｄの境界は、上述の入力部２１１と同様にヘッダ情報を利用したり、ＥＯＢ符号に基づいたブロック数、あるいは復号化処理したブロック数等に基づいて判別でき、この判別結果に基づいて切換制御信号ＣＳｄを生成する。
【００７５】
信号切換部４１３では、切換制御信号ＣＳｄに基づき可動端子ａを端子ｂ側あるいは端子ｃ側に切り換えて、選択信号ＤＶａｓにおける和信号ＤＶａｄｃの信号部分を遅延部４１４に供給するとともに、選択信号ＤＶａｓにおける差信号ＤＶｓｕｄの信号部分をレベル逆シフト部４１５ａに供給する。
【００７６】
遅延部４１４では、和信号ＤＶａｄｃを１フレーム期間分だけ遅延させて和信号ＤＶａｄｄとして加算器２２１と減算器２２２に供給する。また、信号レベル調整部のレベル逆シフト部４１５ａでは、レベルシフト部１２１ｃでのオフセット量だけ差信号ＤＶｓｕｄの信号レベルを逆方向にオフセットさせて、オフセット前の差信号ＤＶｓｕｃを加算器２２１と減算器２２２に供給する。
【００７７】
このように、遅延部４１４を設けることで、加算器２２１と減算器２２２に供給する和信号ＤＶａｄｃと差信号ＤＶｓｕｃのタイミングを等しくする。加算器２２１では、和信号ＤＶａｄｄと差信号ＤＶｓｕｃとを等しい画素位置どうしで加算して画像信号ＤＶｃを生成する。また、減算器２２２では、和信号ＤＶａｄｃと差信号ＤＶｓｕｃとを等しい画素位置どうしで減算して画像信号ＤＶｄを生成する。その後、復号化装置２０と同様に、画像信号ＤＶｄを遅延部２３１で１フレーム期間分遅延させて画像信号ＤＶｅとし、信号切換部２３２によって画像信号ＤＶｃと画像信号ＤＶｅをフレーム毎に交互に選択することで、符号化装置３０に入力した入力画像信号ＤＶｉｎと等しい出力画像信号ＤＶｏｕｔを得ることができる。
【００７８】
図１０は、符号化装置３０の動作を説明するためのものである。図１０Ａに示す入力画像信号ＤＶｉｎが符号化装置３０に入力されると、信号切換部１１１によって第１フレームの信号が遅延部１１３に振り分けられるとともに第２フレームの信号が減算器１１５に振り分けられる。このため、遅延部１１３から出力される画像信号ＤＶａは、図１０Ｂに示すように第１フレームの信号「Ｏ１」が第２フレームの信号「Ｅ１」と等しいタイミングとされる。加算器１１４では、第１フレームの信号「Ｏ１」と第２フレームの信号「Ｅ１」を加算して図１０Ｃに示す和信号ＤＶａｄ（＝「Ｏ１＋Ｅ１」）を生成する。また、減算器１１５では、例えば第１フレームの信号「Ｏ１」から第２フレームの信号「Ｅ１」を減算して図１０Ｄに示す差信号ＤＶｓｕ（＝「Ｏ１−Ｅ１」）を生成する。
【００７９】
信号レベル調整部１２１のダイナミックレンジ調整部１２１ａでは、和信号ＤＶａｄの信号レベルを例えば０．５倍して図１０Ｅに示す和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）を生成する。同様に、ダイナミックレンジ調整部１２１ｂでは、差信号ＤＶｓｕの信号レベルを例えば０．５倍して図１０Ｆに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００８０】
レベルシフト部１２１ｃでは、差信号ＤＶｓｕｃの信号レベルをエンコーダ３２４の入力レベルに応じて調整する。すなわち差信号ＤＶｓｕｃに補正量Ｈを加算して図１０Ｇに示す差信号ＤＶｓｕｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）を生成する。
【００８１】
遅延部３２１では、差信号ＤＶｓｕｓを１フレーム期間分遅延させて図１０Ｈに示す差信号ＤＶｓｕｄとする。
【００８２】
信号切換部３２２では、１符号化処理単位の和信号ＤＶａｄｃと差信号ＤＶｓｕｄを交互に選択して、図１０Ｊに示す選択信号ＤＶａｓをエンコーダ３２４に供給する。
【００８３】
エンコーダ３２４では、和信号ＤＶａｄと差信号ＤＶｓｕに基づいたビットレートの割合で選択信号ＤＶａｓの符号化を行い図１０Ｋに示す符号化信号ＤＴａｓを生成する。例えば選択信号ＤＶａｓ（＝「（Ｏ１＋Ｅ１）／２」）を符号化して符号化信号ＤＴａｓ（＝「Ｂａ１」）を生成し、選択信号ＤＶａｓ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）を符号化して符号化信号ＤＴａｓ（＝「Ｂｓ１」）を生成する。このようにして生成された符号化信号ＤＴａｓを用いて、図１０Ｌに示す出力信号ＤＴｏｕｔ（＝「Ｂ１」）を生成する。
【００８４】
次の第１フレームの信号「Ｏ２」および第２フレームの信号「Ｅ２」も同様に処理することで、符号化信号ＤＴａｓ（＝「Ｂａ２」）と符号化信号ＤＴａｓ（＝「Ｂｓ２」）を生成できる。さらに、生成された符号化信号ＤＴａｓを用いて出力信号ＤＴｏｕｔ（＝「Ｂ２」）を生成できる。
【００８５】
図１１は、復号化装置４０の動作を示している。符号化信号ＤＴａｓを用いて構成された図１１Ａに示す入力信号ＤＴｉｎが復号化装置４０に入力されると、入力部４１１では、入力信号ＤＴｉｎ（＝「Ｂ１」）から図１１Ｂに示す符号化信号ＤＴａｓ（＝「Ｂａ１」）と符号化信号ＤＴａｓ（＝「Ｂｓ１」）を生成してデコーダ４１２に供給する。
【００８６】
この符号化信号ＤＴａｓ（＝「Ｂａ１」）と符号化信号ＤＴａｓ（＝「Ｂｓ１」）の復号化をデコーダ４１２で順次行うと、図１１Ｃに示す選択信号ＤＶａｓ（＝「（Ｏ１＋Ｅ１）／２」，「（（Ｏ１−Ｅ１）／２）＋Ｈ」）が生成される。信号切換部４１３では、選択信号ＤＶａｓから和信号部分を抽出して和信号ＤＶａｄｃとして遅延部４１４に供給する。遅延部４１４では、この和信号ＤＶａｄｃを１フレーム期間遅延させて図１１Ｄに示す和信号ＤＶａｄｄとして加算器２２１に供給する。また信号切換部４１３では、選択信号ＤＶａｓから差信号部分を抽出して差信号ＤＶｓｕｄ（＝「（（Ｏ１−Ｅ１）／２）＋Ｈ」）としてレベル逆シフト部４１５ａに供給する。
【００８７】
レベル逆シフト部４１５ａでは、差信号ＤＶｓｕｄから符号化装置３０のレベルシフト部１２１ｃで加算した補正量Ｈを減算して、オフセット前の信号レベルである図１１Ｅに示す差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を生成する。
【００８８】
加算器２２１では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）と差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を加算して、図１１Ｆに示す画像信号ＤＶｃ（＝「Ｏ１」）を生成する。また、減算器２２２では、和信号ＤＶａｄｃ（＝「（Ｏ１＋Ｅ１）／２」）から差信号ＤＶｓｕｃ（＝「（Ｏ１−Ｅ１）／２」）を減算して、図１１Ｇに示す画像信号ＤＶｄ（＝「Ｅ１」）を生成する。さらに、遅延部２３１は、画像信号ＤＶｄ（＝「Ｅ１」）を１フレーム遅延させて図１１Ｈに示す画像信号ＤＶｅ（＝「Ｅ１」）とする。
【００８９】
信号切換部２３２では、画像信号ＤＶｃ（＝「Ｏ１」）に続けて画像信号ＤＶｅ（＝「Ｅ１」）を選択することで、図１１Ｊに示す出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ１」「Ｅ１」）生成できる。
【００９０】
また、入力信号ＤＴｉｎ（＝「Ｂ２」）についても同様に処理することで、出力画像信号ＤＶｏｕｔを２フレーム期間分（＝「Ｏ２」「Ｅ２」）生成できる。さらに、入力信号ＤＴｉｎの復号化処理を順次行うことで、出力画像信号ＤＶｏｕｔを順次出力することができる。この出力画像信号ＤＶｏｕｔは、入力信号ＤＴｉｎの生成に用いた入力画像信号ＤＶｉｎと等しいものとなる。
【００９１】
このように、符号化装置３０では、エンコーダ３２４を共用して和信号ＤＶａｄｃと差信号ＤＶｓｕｄの符号化処理を行い、復号化装置４０では、デコーダ４１２で復号化処理を行うことにより和信号ＤＶａｄｃと差信号ＤＶｓｕｄを生成する。このため、和信号と差信号のそれぞれに対してエンコーダやデコーダを設ける必要が無く、符号化装置や復号化装置をさらに安価に構成できる。
【００９２】
また、上述の符号化装置や復号化装置の動作は、ハードウェアだけでなくソフトウェアで実現することもできる。この場合の構成を図１２に示す。コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１を内蔵しており、このＣＰＵ５０１にはバス５２０を介してＲＯＭ５０２，ＲＡＭ５０３，ハード・ディスク・ドライブ５０４，入出力インタフェース５０５が接続されている。さらに、入出力インタフェース５０５には入力部５１１や記録媒体ドライブ５１２，通信部５１３，信号入力部５１４，信号出力部５１５が接続されている。
【００９３】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部５１１から命令が入力されると、この命令が入出力インタフェース５０５を介してＣＰＵ５０１に供給される。
【００９４】
ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５０３あるいはハード・ディスク・ドライブ５０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ５０２やＲＡＭ５０３あるいはハード・ディスク・ドライブ５０４には、上述の符号化装置や復号化装置と同様な処理をコンピュータで実行させるためのプログラムを予め記憶させて、信号入力部５１４に入力された入力画像信号ＤＶｉｎに基づき出力信号ＤＴｏｕｔを生成して、信号出力部５１５から出力する。あるいは、信号入力部５１４に入力された入力信号ＤＴｉｎに基づき出力画像信号ＤＶｏｕｔを生成して、信号出力部５１５から出力する。
【００９５】
また、記録媒体にプログラムを記録しておくものとし、記録媒体ドライブ５１２によって、プログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部５１３によって、伝送路を介したプログラムの送信あるいは受信を行うものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【００９６】
図１３は、符号化動作を示すフローチャートである。ステップＳＴ１では、信号入力部５１４に入力された入力画像信号ＤＶｉｎから符号化処理単位である２フレーム分の画像信号を用いて、フレーム間の画像信号の和信号と差信号を画素毎に生成してステップＳＴ２に進む。
【００９７】
ステップＳＴ２では、和信号を符号化処理して生成する符号化信号の符号化ビットレートと、差信号を符号化処理して生成する符号化信号の符号化ビットレートとの割合を、和信号と差信号に基づいて決定する。例えば、上述のように和信号と差信号のブロック化を行い、各ブロックの標準偏差を用いて１画面における平均標準偏差を和信号と差信号のそれぞれに対して算出し、この平均標準偏差の比を符号化ビットレートの割合とする。あるいは、和信号と差信号の符号化を行い、得られた符号化信号のデータ量の比を符号化ビットレートの割合とする。
【００９８】
ステップＳＴ３では、ステップＳＴ２で決定された符号化ビットレートの割合に基づいて和信号と差信号の符号化処理を行う。この符号化処理は、符号化ビットレートを調整できる処理であれば良く、既に一般的に利用されている符号化処理やオリジナルのアルゴリズムによる符号化処理を用いる。
【００９９】
ステップＳＴ４では、和信号を符号化処理して得られた符号化信号と差信号を符号化処理して得られた符号化信号を用いて出力信号を生成して信号出力部５１５から出力する。
【０１００】
図１４は、図２や図８に示す符号化装置あるいは図１３に示すフローチャートの処理によって生成された信号を用いる復号化動作を示すフローチャートである。
【０１０１】
ステップＳＴ１１では、信号入力部５１４から入力された入力信号ＤＴｉｎの復号化処理を行い、和信号と差信号を生成してステップＳＴ１２に進む。また、ステップＳＴ１１では、符号化処理に対応した既に一般的に利用されている復号化処理やオリジナルのアルゴリズムによる復号化処理を用いる。
【０１０２】
ステップＳＴ１２では、和信号と差信号を用いて演算処理を行い２フレーム分の画像信号を生成してステップＳＴ１３に進む。
【０１０３】
ステップＳＴ１３では、生成された２フレーム分の画像信号を時間軸方向に並べて信号出力部５１５から出力画像信号ＤＶｏｕｔとして出力する。
【０１０４】
なお、入力画像信号ＤＶｉｎがインタレース走査である場合、エンコーダ１２２，１２３，３２４やエンコーダ１３６，１３７に供給される信号は、第１フィールドの和信号，差信号の次に第２フィールドの和信号，差信号が供給されることとなる。このため、エンコーダ１２２，１２３やエンコーダ１３６，１３７への信号供給前にフレーム化を行い、１フレームの和信号や差信号がエンコーダ１２２，１２３やエンコーダ１３６，１３７に供給されるようにすれば、入力画像信号ＤＶｉｎがインタレース走査であってもプログレッシブ走査と等しい出力信号ＤＴｏｕｔを得ることができる。
【０１０５】
【発明の効果】
この発明によれば、２フレーム内符号化を行うとともに和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御して符号化処理が行われて出力信号が生成される。このため、画質を低下させることなく出力信号のビットレートを低くしたり、ビットレートを高くしなくとも復号画像を高画質にできる。また、２フレーム単位で符号化信号の生成が行われているので、符号化されている出力信号を用いても高精度の編集を行うことができる。また、動きベクトル検出等の負荷の大きい処理が必要とされないので構成を簡単にできる。さらに、符号化処理は符号化ビットレートを制御できるものであれば良いことから、種々の画像圧縮技術を容易に流用できる。
【０１０６】
また、和信号や差信号における各画素の信号レベルのばらつき、あるいは和信号や差信号の符号化処理後のデータ量に基づいて和信号の符号化ビットレートと差信号の符号化ビットレートとの割合が制御されるので、和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を最適な状態に設定できる。また、和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行うことで、和信号と差信号のそれぞれに符号化処理を行う回路を設ける必要がなく構成を簡単にできる。
【０１０７】
さらに、和信号と差信号の信号レベルを調整して符号化処理を行うことから、符号化処理を正しく行うことができるとともに、復号化動作を簡単とすることも可能となる。また、復号化処理して得た和信号および／または差信号の信号レベルの調整が行われるので、復号化して得られる２フレーム分の画像信号の信号レベルを正しいものとすることができる。
【図面の簡単な説明】
【図１】符号化処理単位を示す図である。
【図２】符号化装置の構成を示す図である。
【図３】ビットレート割合制御ブロックの構成を示す図である。
【図４】ビットレート割合制御ブロックの他の構成を示す図である。
【図５】復号化装置の構成を示す図である。
【図６】符号化装置の動作を示す図である。
【図７】復号化装置の動作を示す図である。
【図８】符号化装置の他の構成を示す図である。
【図９】復号化装置の他の構成を示す図である。
【図１０】符号化装置の他の構成での動作を示す図である。
【図１１】復号化装置の他の構成での動作を示す図である。
【図１２】コンピュータを用いた構成を示す図である。
【図１３】符号化動作を示すフローチャートである。
【図１４】復号化動作を示すフローチャートである。
【符号の説明】
１０，３０・・・符号化装置、１１・・・演算ブロック、１２，３２・・・符号化処理ブロック、１３，１３’，３３・・・ビットレート割合制御ブロック、１５，３５・・・出力部、２０，４０・・・復号化装置、２１，４１・・・復号化処理ブロック、２２・・・演算ブロック、２３・・・出力処理ブロック、１１１・・・信号切換部、１１２・・・信号切換制御部、１１３，２３１，３２１，４１４・・・遅延部、１１４，２２１・・・加算器、１１５，２２２・・・減算器、１２１，２１４・・・信号レベル調整部、１２１ａ，１２１ｂ・・・ダイナミックレンジ調整部、１２１ｃ・・・レベルシフト部、１２２，１２３，１３６，１３８，３２４・・・エンコーダ、１３１，１３３・・・ブロック化回路、１３２，１３４・・・偏差算出回路、１３５，１４０・・・割合決定回路、１３７，１３９・・・データ量判別回路、２１１，４１１・・・入力部、２１２，２１３，４１２・・・デコーダ、２１４ａ，４１５ａ・・・レベル逆シフト部、２３２，３２２，４１３・・・信号切換部、２３３，３２３・・・信号切換制御部
Claims (16)
- ２フレーム毎にフレーム間の画像信号の和信号と差信号を生成する演算手段と、
前記和信号と差信号の符号化処理を行い符号化信号を生成する符号化処理手段と、
前記符号化処理手段で符号化処理を行う前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成するビットレート割合制御手段を有し、
前記符号化処理手段では、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行う
ことを特徴とする符号化装置。 - 前記ビットレート割合制御手段は、前記和信号における各画素の信号レベルのばらつきと前記差信号における各画素の信号レベルのばらつきに基づいて前記制御信号を生成する
ことを特徴とする請求項１記載の符号化装置。 - 前記ビットレート割合制御手段は、前記和信号を符号化したときのデータ量と前記差信号を符号化したときのデータ量の比に基づいて前記制御信号を生成する
ことを特徴とする請求項１記載の符号化装置。 - 前記符号化処理手段は、前記和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行う
ことを特徴とする請求項１記載の符号化装置。 - 前記符号化処理手段は、前記和信号と差信号の信号レベルを調整する信号レベル調整手段を有する
ことを特徴とする請求項１記載の符号化装置。 - ２フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、
前記和信号と差信号の符号化処理を行い符号化信号を生成するものとし、
前記符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、
前記和信号と差信号の符号化処理を前記制御信号に基づいた符号化ビットレートで行う
ことを特徴とする符号化方法。 - 前記和信号における各画素の信号レベルのばらつきと前記差信号における各画素の信号レベルのばらつきに基づいて前記制御信号を生成することを特徴とする請求項６記載の符号化方法。
- 前記和信号を符号化したときのデータ量と前記差信号を符号化したときのデータ量の比に基づいて前記制御信号を生成する
ことを特徴とする請求項６記載の符号化方法。 - 前記和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行う
ことを特徴とする請求項６記載の符号化方法。 - 前記和信号と差信号の信号レベルを調整して符号化処理を行う
ことを特徴とする請求項６記載の符号化方法。 - コンピュータに、
２フレーム毎にフレーム間の画像信号の和信号と差信号を生成する手順と、
前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成する手順と、
前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行い符号化信号を生成する手順
とを実行させるための符号化プログラム。 - ２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する復号化処理手段と、
前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成する演算手段と、
前記２フレーム分の画像信号を所定のフレーム順で出力する出力処理手段とを有する
ことを特徴とする復号化装置。 - 前記復号化処理手段では、前記和信号および／または差信号の信号レベルを調整する信号レベル調整手段を有する
ことを特徴とする請求項１２記載の復号化装置。 - ２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成し、
前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成し、
前記２フレーム分の画像信号を所定のフレーム順で出力する
ことを特徴とする復号化方法。 - 前記和信号および／または差信号の信号レベルを調整してから演算を行う
ことを特徴とする請求項１４記載の復号化方法。 - コンピュータに、
２フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する手順と、
前記和信号と差信号を用いて演算を行い、２フレーム分の画像信号を生成する手順と、
前記２フレーム分の画像信号を所定のフレーム順で出力する手順
とを実行させるための復号化プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002267122A JP2004104694A (ja) | 2002-09-12 | 2002-09-12 | 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム |
| EP20030255533 EP1398971A1 (en) | 2002-09-12 | 2003-09-04 | Video encoding and decoding |
| US10/659,231 US20040062311A1 (en) | 2002-09-12 | 2003-09-10 | Encoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002267122A JP2004104694A (ja) | 2002-09-12 | 2002-09-12 | 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004104694A true JP2004104694A (ja) | 2004-04-02 |
| JP2004104694A5 JP2004104694A5 (ja) | 2005-04-07 |
Family
ID=31884798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002267122A Pending JP2004104694A (ja) | 2002-09-12 | 2002-09-12 | 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040062311A1 (ja) |
| EP (1) | EP1398971A1 (ja) |
| JP (1) | JP2004104694A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007066710A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| WO2007066709A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| US8605793B2 (en) | 2006-10-16 | 2013-12-10 | Sony Corporation | Information processing device and method, and program |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706440B2 (en) * | 2005-02-08 | 2010-04-27 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Method for reducing bit rate requirements for encoding multimedia data |
| US20100166053A1 (en) * | 2007-01-31 | 2010-07-01 | Sony Corporation | Information processing device and method |
| RU2479937C2 (ru) | 2007-03-30 | 2013-04-20 | Сони Корпорейшн | Устройство и способ обработки информации |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5134475A (en) * | 1990-12-11 | 1992-07-28 | At&T Bell Laboratories | Adaptive leak hdtv encoder |
| CA2088082C (en) * | 1992-02-07 | 1999-01-19 | John Hartung | Dynamic bit allocation for three-dimensional subband video coding |
| US5313298A (en) * | 1992-03-05 | 1994-05-17 | Rubin, Bednarek And Associates, Inc. | Video companding method and system |
| US5592302A (en) * | 1992-03-23 | 1997-01-07 | Canon Kabushiki Kaisha | Coding method for coding pixel blocks and apparatus therefor |
| JP3348310B2 (ja) * | 1992-09-28 | 2002-11-20 | ソニー株式会社 | 動画像符号化方法および動画像符号化装置 |
| JPH06292179A (ja) * | 1993-04-01 | 1994-10-18 | Matsushita Electric Ind Co Ltd | 直交変換符号化装置および直交変換復号化装置 |
| US6226414B1 (en) * | 1994-04-20 | 2001-05-01 | Oki Electric Industry Co., Ltd. | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform |
| CA2163178C (en) * | 1994-11-18 | 1999-11-16 | Norio Suzuki | Tv signal codec with amplitude limitation and a shift |
-
2002
- 2002-09-12 JP JP2002267122A patent/JP2004104694A/ja active Pending
-
2003
- 2003-09-04 EP EP20030255533 patent/EP1398971A1/en not_active Withdrawn
- 2003-09-10 US US10/659,231 patent/US20040062311A1/en not_active Abandoned
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007066710A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| WO2007066709A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| JPWO2007066709A1 (ja) * | 2005-12-07 | 2009-05-21 | ソニー株式会社 | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| JPWO2007066710A1 (ja) * | 2005-12-07 | 2009-05-21 | ソニー株式会社 | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| US8254707B2 (en) | 2005-12-07 | 2012-08-28 | Sony Corporation | Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning |
| US8665943B2 (en) | 2005-12-07 | 2014-03-04 | Sony Corporation | Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program |
| US8605793B2 (en) | 2006-10-16 | 2013-12-10 | Sony Corporation | Information processing device and method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1398971A1 (en) | 2004-03-17 |
| US20040062311A1 (en) | 2004-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3877234B2 (ja) | ビデオデータを有するビットストリームを符号変換する方法および装置 | |
| KR100965881B1 (ko) | 비디오 데이터 인코딩 시스템 및 디코딩 시스템 | |
| JP5174581B2 (ja) | 順方向予測インターレース映像フレームのフィールド用の動きベクトルの予測 | |
| US8630347B2 (en) | Video decoding apparatus and video decoding method | |
| JP3358620B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| US20030035481A1 (en) | Method for transcoding compressed image bit stream | |
| JP5090158B2 (ja) | 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体 | |
| KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
| JP2008005145A (ja) | 画像処理システムおよび方法、復号装置および方法、符号化装置および方法、並びにプログラム | |
| JP2004096757A (ja) | 動き補償のための補間方法及びその装置 | |
| JP2007124564A (ja) | 画像符号化装置、方法、及びプログラム | |
| WO2002001883A1 (en) | Image encoder and image encoding method | |
| KR100364312B1 (ko) | 블록간예측부호화복호화장치및그방법 | |
| JPS61118085A (ja) | 画像信号の符号化方式およびその装置 | |
| JP2005318297A (ja) | 動画像符号化・復号方法及び装置 | |
| JP2013172374A (ja) | 画像処理装置、画像処理方法、および画像処理システム | |
| JP2003348597A (ja) | 画像符号化装置および画像符号化方法 | |
| JP2004104694A (ja) | 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム | |
| JP4357560B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
| JP2016158282A (ja) | 動画像予測復号方法及び動画像予測復号装置 | |
| JP5471328B2 (ja) | 動画像再生装置及び動画像再生方法並びにプログラム | |
| JP4806888B2 (ja) | 復号化装置及び復号化方法 | |
| JP2010010917A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 | |
| JP2008187694A (ja) | 画像符号化装置およびその方法 | |
| JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040430 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071106 |