JP2004104694A - 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム - Google Patents

符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム Download PDF

Info

Publication number
JP2004104694A
JP2004104694A JP2002267122A JP2002267122A JP2004104694A JP 2004104694 A JP2004104694 A JP 2004104694A JP 2002267122 A JP2002267122 A JP 2002267122A JP 2002267122 A JP2002267122 A JP 2002267122A JP 2004104694 A JP2004104694 A JP 2004104694A
Authority
JP
Japan
Prior art keywords
signal
encoding
bit rate
sum
difference signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002267122A
Other languages
English (en)
Other versions
JP2004104694A5 (ja
Inventor
Tsukasa Hashino
橋野 司
Akira Sugiyama
杉山 晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002267122A priority Critical patent/JP2004104694A/ja
Priority to EP20030255533 priority patent/EP1398971A1/en
Priority to US10/659,231 priority patent/US20040062311A1/en
Publication of JP2004104694A publication Critical patent/JP2004104694A/ja
Publication of JP2004104694A5 publication Critical patent/JP2004104694A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】高画質・高圧縮率で高い編集精度を得ることができるとともに、種々の画像圧縮技術を容易に利用可能とする符号化を可能とする。
【解決手段】演算ブロック11では、入力画像信号DVinから2フレーム毎にフレーム間の画像信号の和信号DVadと差信号DVsuを生成する。ビットレート割合制御ブロック13では、和信号DVadと差信号DVsuに基づき、符号化ビットレートにおける和信号と差信号の符号化ビットレートとの割合を制御するための制御信号CRad,CRsuを生成する。符号化処理ブロック12では、制御信号CRad,CRsuに基づいて符号化ビットレートを可変できる符号化処理を用いて、和信号DVadから制御信号CRadに基づく符号化ビットレートの符号化信号DTadを生成する。また、差信号DVsuから制御信号CRsuに基づく符号化ビットレートの符号化信号DTsuを生成する。
【選択図】    図2

Description

【0001】
【発明の属する技術分野】
この発明は、符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラムに関する。詳しくは、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、この和信号と差信号に基づき、符号化ビットレートにおける和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、この制御信号に基づいた符号化ビットレートで和信号と差信号の符号化処理を行い符号化信号を生成するものである。また、この符号化信号を復号化するものである。
【0002】
【従来の技術】
テレビジョン放送では、放送のディジタル化に伴い、走査線数が525本でフィールド周波数が59.94Hzの525/60iと呼ばれる画像信号や、走査線数が625本でフィールド周波数が50Hzの625/50iと呼ばれる画像信号だけでなく、走査線数が525本でフレーム周波数を59.94Hzとした525/60pとよばれる画像信号、有効走査線数が720本でフレーム周波数を59.94Hzとした720/60pと呼ばれる画像信号、有効走査線数が1080本でフィールド周波数を59.94Hzとした1080/60iと呼ばれる画像信号等が用いられている。
【0003】
ここで、525/60pや720/60p,1080/60i等の画像信号は、525/60iや625/50iの画像信号に比べてデータ量が多く高解像度の画像信号であり、高画質で高圧縮率の符号化装置が必要になってきている。例えば525/60pの画像信号を符号化しようとした場合、ビデオテープレコーダ等で用いられているフレーム内(Intra Frame)符号化を行うものとすると、525/60iの画像信号に対してフレーム周波数が倍、すなわち画像データ量も倍になっているので、高品質な符号化を行うためには非常に高いビットレートを必要とする。このため、例えば特許文献1では、直交変換された変換係数を符号化する際に、変換係数列を予め所定の順序で並べ換えることで符号化効率を向上させることが行われている。また、特許文献2では、フレーム間差の絶対値の総和とフィールド間差の絶対値の総和を比較して、比較結果に基づきフレーム内直交変換あるいはフィールド内直交変換を行うことでデータ量の削減を効率的に行うことが示されている。
【0004】
【特許文献1】
特開平5−300491号公報
【特許文献2】
特開平6−292179号公報
【0005】
【発明が解決しようとする課題】
ところで、符号化技術については、さらなる高画質や高効率化が進められている。このため、符号化装置や復号化装置では、種々の符号化処理技術や復号化処理技術を容易に利用可能とする構成が望ましい。しかし、変換係数の並べ換えや変換の切り換えを行うものとすると、専用の符号化回路や復号化回路を構成することが必要となり、種々の画像圧縮技術等を容易に利用することができなくなってしまう。
【0006】
また、符号化効率を高めるために、パッケージメディアや通信等では、予測を使わずそのまま符号化するフレームと片方向や双方向の動き予測フレームを複数用いて所謂Long−GOP(Group of Pictures)が構成されている。このように、Long−GOP構造とすることで、高圧縮率を実現できる。しかし、編集前の素材の画像信号をLong−GOPで構成すると、所望のフレーム位置から画像信号の切り出し等を行うものとしても、編集がGOP単位で行われてしまい編集精度が低下してしまう。また、編集精度を高めるためには、符号化されている信号を復号化する必要があり簡単に編集精度を高めることができない。さらに、動き予測フレームを生成するためには、動きベクトルの検出や動き補償など非常に負荷の大きい処理が必要となり回路規模が大きくなってしまう。
【0007】
そこで、この発明では、高画質・高圧縮率で高い編集精度を得ることができるとともに、種々の画像圧縮技術を容易に利用できる符号化装置と復号化装置および符号化方法と復号化方法とプログラムを提供するものである。
【0008】
【課題を解決するための手段】
この発明に係る符号化装置は、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成する演算手段と、前記和信号と差信号の符号化処理を行い符号化信号を生成する符号化処理手段と、前記符号化処理手段で符号化処理を行う前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成するビットレート割合制御手段を有し、前記符号化処理手段では、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行うものである。
【0009】
また、符号化方法は、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、前記和信号と差信号の符号化処理を行い符号化信号を生成するものとし、前記符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、前記和信号と差信号の符号化処理を前記制御信号に基づいた符号化ビットレートで行うものである。
【0010】
さらに符号化プログラムは、コンピュータに、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成する手順と、前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成する手順と、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行い符号化信号を生成する手順とを実行させるものである。
【0011】
この発明に係る復号化装置は、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する復号化処理手段と、前記和信号と差信号を用いて演算を行い、2フレーム分の画像信号を生成する演算手段と、前記2フレーム分の画像信号を所定のフレーム順で出力する出力処理手段とを有するものである。
【0012】
また復号化方法は、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成し、前記和信号と差信号を用いて演算を行い、2フレーム分の画像信号を生成し、前記2フレーム分の画像信号を所定のフレーム順で出力するものである。
【0013】
さらに復号化プログラムは、コンピュータに、2フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する手順と、前記和信号と差信号を用いて演算を行い、2フレーム分の画像信号を生成する手順と、前記2フレーム分の画像信号を所定のフレーム順で出力する手順とを実行させるものである。
【0014】
この発明においては、2フレーム毎にフレーム間の画像信号の和信号と差信号が生成されるとともに、和信号と差信号の符号化処理が行われて符号化信号が生成される。この符号化処理する和信号と差信号に基づき、例えば和信号における各画素の信号レベルのばらつきと差信号における各画素の信号レベルのばらつき、あるいは和信号を符号化したときのデータ量と差信号を符号化したときのデータ量の比に基づいて、符号化ビットレートにおける和信号と差信号の符号化ビットレートの割合を制御するため制御信号が生成される。この生成された制御信号に基づいた符号化ビットレートとなるように符号化処理が行われて符号化信号が生成される。さらに、符号化処理では信号レベルが調整された和信号と差信号を用いることも行われる。
【0015】
また、このようにして生成された符号化信号を用いて、符号化処理に対応した復号化処理が行われて和信号と差信号が生成される。この和信号および/または差信号の信号レベルが調整されて、信号レベルの調整された和信号と差信号を用いて演算を行うことにより2フレーム分の画像信号が生成される。この2フレーム分の画像信号が所定のフレーム順で出力される。
【0016】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。この発明では、符号化効率を高めるとともに高い編集精度を得るために、図1に示すように2フレーム単位を符号化処理単位として、2フレーム内符号化を行う。例えば、プログレッシブ走査の画像信号では、図1Aに示すように2フレーム単位を符号化処理単位とし、インタレース走査の画像信号では図1Bに示すように4フィールド分(=2フレーム単位)の画像信号を符号化処理単位とする。この符号化処理単位を構成する第1フレームと第2フレームの画像信号を用いて画素毎にフレーム間の和信号と差信号を生成して、和信号と差信号の符号化処理を行うとともに、この符号化処理を和信号と差信号に基づいて制御することにより、2フレームで圧縮処理が完結された2フレーム内符号化の符号化信号を生成する。また、この2フレーム内符号化により得られて符号化信号信号の復号化を行うものである。
【0017】
図2は、符号化装置10の構成を示している。入力画像信号DVinは、演算ブロック11を構成する信号切換部111の可動端子aに供給される。信号切換部111の端子bは、遅延部113に接続するとともに、端子cは加算器114と減算器115に接続する。また可動端子aは、信号切換制御部112からの切換制御信号CSaによって、端子b側あるいは端子c側に交互に切り換えられる。信号切換制御部112では、信号切換部111の端子b側に入力画像信号DVinの第1フレームの信号を供給するとともに、端子c側に入力画像信号DVinの第2フレームの信号を供給するように切換制御信号CSaを生成する。
【0018】
遅延部113では、信号切換部111を介して供給された第1フレームの画像信号を1フレーム期間遅延させて画像信号DVaとして加算器114と減算器115に供給する。
【0019】
加算器114では、遅延部113から供給された画像信号DVaと、信号切換部111を介して供給された第2フレームの画像信号である画像信号DVbとを等しい画素位置どうしで加算して、得られた和信号DVadを符号化処理ブロック12の信号レベル調整部121とビットレート割合制御ブロック13に供給する。減算器115では、画像信号DVaと画像信号DVbとを等しい画素位置どうしで減算して、得られた差信号DVsuを信号レベル調整部121とビットレート割合制御ブロック13に供給する。
【0020】
また、上述したように、信号切換部111の可動端子aは、切換制御信号CSaによって端子b側あるいは端子c側にフレーム単位で切り換えられるので、和信号DVadと差信号DVsuは、2フレーム毎に順次生成されることとなる。
【0021】
信号レベル調整部121のダイナミックレンジ調整部121aでは、このダイナミックレンジ調整部121aに接続されているエンコーダ122の入力ダイナミックレンジに応じて和信号DVadの信号レベルを調整する。例えば、エンコーダ122の入力ダイナミックレンジが入力画像信号DVinのダイナミックレンジと等しいものとされている場合、和信号DVadは入力画像信号DVinの2倍のダイナミックレンジとなる。このため、ダイナミックレンジ調整部121aでは、和信号DVadの信号レベルを0.5倍とする。この信号レベル調整後の和信号DVadcは、エンコーダ122に供給する。
【0022】
ダイナミックレンジ調整部121bでは、ダイナミックレンジ調整部121aと同様に、後述するエンコーダ123の入力ダイナミックレンジに応じて差信号DVsuの信号レベルを調整する。例えば、エンコーダ123の入力ダイナミックレンジが入力画像信号DVinのダイナミックレンジと等しいものとされている場合、差信号DVsuのダイナミックレンジも入力画像信号DVinの2倍となる。このため、ダイナミックレンジ調整部121bでは、差信号DVsuの信号レベルを0.5倍とする。この信号レベル調整後の差信号DVsucは、レベルシフト部121cに供給する。
【0023】
レベルシフト部121cでは、このレベルシフト部121cに接続されているエンコーダ123の入力信号レベルに応じて、差信号DVsucの信号レベルをオフセットする。差信号DVsuは、画像信号DVaと画像信号DVbとの減算結果であるので、画像信号DVa,DVbの最小値が「0」で最大値が「L」とすると、差信号DVsuの信号レベル範囲は「±L」となる。また、ダイナミックレンジ調整部121bで差信号DVsuの信号レベルを0.5倍すると、信号レベル調整後の差信号DVsucがとりうる信号レベルの範囲は「±L/2」となる。このため、差信号DVsucに補正値H(=L/2)を加算してオフセットさせると、オフセット後の差信号である差信号DVsusが採りうる信号レベルの範囲は「0〜L」となり、画像信号DVa,DVbと等しくできる。例えば入力画像信号DVinが8ビットの信号であるときには補正値Hとして「128」を加算することで、差信号DVsusがとりうる信号レベルの範囲を入力画像信号DVinと同等にできる。このように、差信号DVsucに補正値Hを加えてオフセットさせたのち、このオフセット後の信号である差信号DVsusをエンコーダ123に供給する。
【0024】
エンコーダ122,123は、和信号や差信号を符号化したときの符号化信号の符号化ビットレートを、後述するビットレート割合制御ブロック13からの制御信号に基づいて調整できるものであれば良く、符号化処理のアルゴリズムは既に一般的に利用されているアルゴリズムあるいはオリジナルのアルゴリズムを用いるものである。
【0025】
このエンコーダ122では、和信号DVadcの符号化処理を行い、後述するビットレート割合制御ブロック13からの制御信号CRadに基づいた符号化ビットレートで符号化信号DTadを生成する。また符号化処理は、既に利用されている符号化処理、例えばDVやMotion−JPEG2000等の既存の符号化処理を用いても良いし、あるいは全くオリジナルのアルゴリズムによる符号化処理等を用いても良い。このエンコーダ122で生成した符号化信号DTadは、出力部15に供給する。
【0026】
エンコーダ123では、差信号DVsusの符号化処理を行い、ビットレート割合制御ブロック13からの制御信号CRsuに基づいた符号化ビットレートで符号化信号DTsuを生成する。符号化処理は、エンコーダ122と同様な符号化処理を用いるものとし、エンコーダ123で生成した符号化信号DTsuは、出力部15に供給する。
【0027】
ビットレート割合制御ブロック13では、符号化処理ブロック12で符号化する和信号と差信号に基づいて、エンコーダ122で生成する符号化信号DTadとエンコーダ123で生成する符号化信号DTsuとの符号化ビットレートの割合を決定する。さらに、和信号に対して決定された符号化ビットレートの割合となるように符号化処理動作を制御する制御信号CRadを生成してエンコーダ122に供給する。また、差信号に対して決定された符号化ビットレートの割合となるように符号化処理動作を制御する制御信号CRsuを生成してエンコーダ123に供給する。この符号化ビットレートの割合の決定では、情報量の多い信号に対して符号化ビットレートをより多く割り当てるように制御信号CRad,CRsuを生成する。
【0028】
ここで、和信号や差信号の情報量が多いと、例えば信号レベルのばらつきが大きいものとなったり信号レベルの分布が広くなる。また、符号化処理後のデータ量が多くなる。このため、このような特性を利用して情報量の多い信号に対して符号化ビットレートをより多く割り当てるように制御信号CRad,CRsuを生成する。
【0029】
図3は、情報量が多いか否かの判別に信号レベルのばらつきを用いた場合でのビットレート割合制御ブロック13の構成を示している。このブロック化回路131では、和信号DVadのブロック化を行い、各ブロックの画像信号を偏差算出回路132に供給する。例えば水平方向が8画素で垂直方向が8画素程度の小ブロックに和信号DVadを分割して、各ブロックの画像信号を偏差算出回路132に供給する。偏差算出回路132では、ブロック毎にブロック内の各画素の信号レベルを用いて標準偏差を計算する。さらに、算出した各ブロックの標準偏差を用いて1画面における平均標準偏差SDadを算出して、割合決定回路135に供給する。
【0030】
ブロック化回路133では、差信号DVsuのブロック化をブロック化回路131と同様に行い、各ブロックの画像信号を偏差算出回路134に供給する。偏差算出回路134では、偏差算出回路132と同様にして平均標準偏差SDsuを算出して、割合決定回路135に供給する。
【0031】
割合決定回路135では、偏差算出回路132で算出した平均標準偏差SDadと偏差算出回路134で算出した平均標準偏差SDsuの比を符号化ビットレートの割合とする。さらに、決定した割合に基づいて制御信号CRad,CRsuを生成して、制御信号CRadをエンコーダ122に供給するとともに制御信号CRsuをエンコーダ123に供給する。
【0032】
また、情報量が多いか否かの判別に符号化処理して得られる符号化信号のデータ量を用いれば、符号化ビットレートの割り当てを更に最適化できる。図4は、符号化信号のデータ量に基づいて制御信号CRad,CRsuを生成するビットレート割合制御ブロック13’の構成を示している。
【0033】
エンコーダ136では、和信号DVadの符号化を行い、生成した符号化信号EVadをデータ量判別回路137に供給する。データ量判別回路137では、符号化信号EVadのデータ量を判別して、判別結果を示すデータ量信号VDadを割合決定回路140に供給する。
【0034】
エンコーダ138では差信号DVsuの符号化を行い、生成した符号化信号EVsuをデータ量判別回路139に供給する。データ量判別回路139では、符号化信号EVsuのデータ量を判別して、判別結果を示すデータ量信号VDsuを割合決定回路140に供給する。
【0035】
割合決定回路140では、データ量判別回路137からのデータ量信号VDadとデータ量判別回路139からのデータ量信号VDsuに基づき、データ量の比を符号化ビットレートの割合とする。さらに、決定した割合に基づいて制御信号CRad,CRsuを生成して、制御信号CRadをエンコーダ122に供給するとともに制御信号CRsuをエンコーダ123に供給する。
【0036】
また、ビットレート割合制御ブロック13(13’)では、和信号DVadと差信号DVsuを用いて符号化ビットレートの割合の決定を行うものとしたが、信号レベル調整後の和信号DVadcと差信号DVsusを用いても、同様にして符号化ビットレートの割合を決定できる。
【0037】
さらに、ビットレート割合制御ブロック13(13’)では、現在から所定符号化処理単位前までの和信号と差信号に基づいて符号化ビットレートの割合を決定したり、符号化ビットレートの割合の切換を所定数の符号化処理単位毎に行うこともできる。
【0038】
図2に示す出力部15では、符号化信号DTadと符号化信号DTsuを用いて出力信号DToutを生成する。ここで、入力画像信号DVinを記録媒体に記録する場合、あるいは無線や有線の伝送路を介して入力画像信号DVinを伝送する場合等では、誤り検出訂正符号の付加、記録媒体や伝送プロトコル等に応じたフォーマット化やビットストリーム化なども行って出力信号DToutを生成する。また、符号化信号DTadに基づいた出力信号と符号化信号DTsuに基づいた出力信号を個々に生成するものとしても良い。
【0039】
次に、符号化装置10から出力された信号の復号化を行う復号化装置20の構成を図5に示す。記録媒体を再生して得られた信号、あるいは有線あるいは無線の伝送路を介して供給された信号等は、入力信号DTinとして復号化処理ブロック21の入力部211に供給する。この入力信号DTinは、符号化装置10から出力された出力信号DToutと等しいものである。
【0040】
入力部211では、入力信号DTinから符号化信号DTadと符号化信号DTsuを分離して、符号化信号DTadをデコーダ212に供給するとともに、符号化信号DTsuをデコーダ213に供給する。なお、入力部211では、符号化信号DTadと符号化信号DTsuの誤り検出訂正処理等も行う。
【0041】
デコーダ212では、符号化信号DTadの復号化処理を行い、和信号DVadcを生成して演算ブロック22の加算器221と減算器222に供給する。この復号化処理は、エンコーダ122で用いられた符号化処理と対応するものであり、エンコーダ122で例えばDVフォーマットに対応したビデオテープレコーダで用いられている符号化処理を行ったときには、この符号化処理に対応した復号化処理を行うことで、符号化処理前の信号を生成できる。
【0042】
デコーダ213では、符号化信号DTsuの復号化処理を行い、差信号DVsusを生成して信号レベル調整部214のレベル逆シフト部214aに供給する。この復号化処理は、エンコーダ123で用いられた符号化処理と対応するものである。
【0043】
レベル逆シフト部214aでは、レベルシフト部121cでのオフセット分だけ差信号DVsusの信号レベルを逆方向にオフセットさせて、オフセット前の差信号DVsucを生成する。この差信号DVsucは加算器221と減算器222に供給する。
【0044】
ここで、デコーダ212から演算ブロック22に供給する和信号DVadとレベル逆シフト部214から演算ブロック22に供給する差信号DVsucのタイミングを調整して、演算ブロック22の加算器221では、デコーダ212から供給された和信号DVadcとレベル逆シフト部214aから供給された差信号DVsucとを等しい画素位置どうしで加算する。この加算処理により得られた信号を画像信号DVcとして出力処理ブロック23の信号切換部232の端子aに供給する。減算器222では、和信号DVadcと差信号DVsucとを等しい画素位置どうしで減算する。この減算処理により得られた信号を画像信号DVdとして出力処理ブロック23の遅延部231に供給する。このように演算処理を行うことで、1フレームの和信号と差信号から2フレーム分の画像信号を生成する。
【0045】
出力処理ブロック23の遅延部231では、画像信号DVdを1フレーム期間だけ遅延させて画像信号DVeとして信号切換部232の端子bに供給する。
【0046】
信号切換部232では、信号切換制御部233から供給された切換制御信号CSbに基づき可動端子cを端子a側あるいは端子b側に切り換えて、この信号切換部232で選択した信号を出力画像信号DVoutとして出力する。
【0047】
信号切換制御部233では、加算器221から画像信号DVcが信号切換部232の端子aに供給されるタイミングで信号切換部232の可動端子cを端子aに切り換えるとともに、遅延部231から画像信号DVeが信号切換部232の端子bに供給されるタイミングで、信号切換部232の可動端子cを端子bに切り換える切換制御信号CSbを生成して信号切換部232に供給する。
【0048】
このように遅延部231で画像信号DVdを1フレーム期間だけ遅延させて画像信号DVeとするとともに、信号切換部232を制御して画像信号DVcと画像信号DVeを交互に選択することで、演算ブロック22で生成された2フレーム分の画像信号を所定のフレーム順として出力することで、符号化装置10に入力した入力画像信号DVinと等しい出力画像信号DVoutを得ることができる。
【0049】
図6は、符号化装置10の動作を説明するためのものである(なお、図6および後述する図7,図10,図11は、符号化装置や復号化装置における各信号の生成順序を示したものであり、各信号のタイミングをすべて正しく示したものではない)。図6Aに示す入力画像信号DVinが符号化装置10に入力されると、信号切換部111によって第1フレームの信号が遅延部113に振り分けられるとともに第2フレームの信号が減算器115に振り分けられる。このため、遅延部113から出力される画像信号DVaは、図6Bに示すように第1フレームの信号「O1」が第2フレームの信号「E1」と等しいタイミングとされる。加算器114では、第1フレームの信号「O1」と第2フレームの信号「E1」を加算して図6Cに示す和信号DVad(=「O1+E1」)を生成する。また、減算器115では、例えば第1フレームの信号「O1」から第2フレームの信号「E1」を減算して図6Dに示す差信号DVsu(=「O1−E1」)を生成する。
【0050】
信号レベル調整部121のダイナミックレンジ調整部121aでは、和信号DVadの信号レベルを例えば0.5倍して図6Eに示す和信号DVadc(=「(O1+E1)/2」)を生成する。同様に、ダイナミックレンジ調整部121bでは、差信号DVsuの信号レベルを例えば0.5倍して図6Fに示す差信号DVsuc(=「(O1−E1)/2」)を生成する。
【0051】
レベルシフト部121cでは、差信号DVsucの信号レベルをエンコーダ123の入力レベルに応じて調整する。すなわち差信号DVsucに補正量Hを加算して図6Gに示す差信号DVsus(=「((O1−E1)/2)+H」)を生成する。
【0052】
エンコーダ122では、和信号DVadcの符号化処理を行い、制御信号CRadに基づいた符号化ビットレートでの図6Hに示す符号化信号DTad(=「Ba1」)を生成する。同様に、エンコーダ123では、差信号DVsusから図6Jに示す符号化信号DTsu(=「Bs1」)を生成する。このようにして生成された符号化信号DTadと符号化信号DTsuを用いて、図6Kに示す出力信号DTout(=「B1」)を生成できる。
【0053】
また、次の第1フレームの信号「O2」および第2フレームの信号「E2」も同様に処理することで、符号化信号DTad(=「Ba2」)と符号化信号DTsu(=「Bs2」)を生成できる。さらに、生成された符号化信号DTadと符号化信号DTsuを用いて出力信号DTout(=「B2」)を生成できる。
【0054】
図7は、復号化装置20の動作を説明するためのものである。符号化信号DTadと符号化信号DTsuを用いて構成された図7Aに示す入力信号DTinが復号化装置20に入力されると、入力部211では入力信号DTin(=「B1」)から図7Bに示す符号化信号DTad(=「Ba1」)と、図7Cに示す符号化信号DTsu(=「Bs1」)を分離する。
【0055】
この符号化信号DTad(=「Ba1」)の復号化をデコーダ212で行うと、図7Dに示す和信号DVadc(=「(O1+E1)/2」)が生成される。また、符号化信号DTsu(=「Bs1」)の復号化をデコーダ213で行うと、図7Eに示す差信号DVsus(=「((O1−E1)/2)+H」)が生成される。
【0056】
レベル逆シフト部214aでは、デコーダ213で生成した差信号DVsusから符号化装置10のレベルシフト部121cで加算した補正量Hを減算して、オフセット前の信号レベルである図7Fに示す差信号DVsuc(=「(O1−E1)/2」)を生成する。
【0057】
加算器221では、和信号DVadc(=「(O1+E1)/2」)と差信号DVsuc(=「(O1−E1)/2」)を加算して、図7Gに示す画像信号DVc(=「O1」)を生成する。また、減算器222では、和信号DVadc(=「(O1+E1)/2」)から差信号DVsuc(=「(O1−E1)/2」)を減算して、図7Hに示す画像信号DVd(=「E1」)を生成する。さらに、遅延部231は、画像信号DVd(=「E1」)を1フレーム遅延させて図7Jに示す画像信号DVe(=「E1」)とする。
【0058】
信号切換部232では、画像信号DVc(=「O1」)に続けて画像信号DVe(=「E1」)を選択することで、図7Kに示す出力画像信号DVoutを2フレーム期間分(=「O1」「E1」)生成できる。
【0059】
また、入力信号DTin(=「B2」)についても同様に処理することで、出力画像信号DVoutを2フレーム期間分(=「O2」「E2」)生成できる。さらに、入力信号DTinの復号化処理を順次行うことで、出力画像信号DVoutを順次出力することができる。また、出力画像信号DVoutは、入力信号DTinの生成に用いた入力画像信号DVinと等しいものとなる。
【0060】
なお、上述の実施の形態では、符号化装置10のダイナミックレンジ調整部121a,121bで和信号と差信号を0.5倍したため、復号化装置20の演算ブロック22では、和信号と差信号を加算および減算することで正しい信号レベルの画像信号を得ることができる。すなわち、復号化装置の構成が簡単となるものであるが、例えばエンコーダ122,123の入力ダイナミックレンジが和信号DVadや差信号DVsuと等しく、ダイナミックレンジの調整が行われないときには、復号化装置20の信号レベル調整部214に、和信号DVadcと差信号DVsucのダイナミックレンジを0.5倍とするダイナミックレンジ調整部を設けることで、正しい信号レベルの画像信号を得ることができる。
【0061】
このように、符号化装置10では、2フレーム内符号化を行うことから、従来のフレーム内符号化と比較して同じ画質あれば、出力信号DToutのビットレートを低くできる。また同じビットレートであれば、画像を高画質にできる。
【0062】
さらに、2フレーム単位で符号化信号の生成が行われているので、符号化されている出力信号DToutを用いてもLong−GOP構造に比べて高精度の編集を行うことができる。また、動きベクトルの検出や動き補償など非常に負荷の大きい処理が必要とされないので構成を簡単にできる。
【0063】
さらに、符号化装置10のエンコーダや復号化装置20のデコーダは、符号化ビットレートを制御できるものであれば良いことから、種々の画像圧縮技術を容易に流用できる。
【0064】
ところで、上述の実施の形態では、和信号と差信号に対してそれぞれエンコーダおよびデコーダを設けるものとしたが、1つのエンコーダとデコーダを切り換えて使用すれば、さらに符号化装置と復号化装置の構成を簡単にできる。
【0065】
次に、和信号と差信号とでエンコーダを共用する場合の符号化装置30の構成を図8に示す。なお、図8において、図2と対応する部分については同一符号を付し、詳細な説明は省略する。
【0066】
符号化処理ブロック32のダイナミックレンジ調整部121aから出力される和信号DVadcは信号切換部322の端子aに供給する。また、レベルシフト部121cから出力される差信号DVsusは遅延部321に供給する。遅延部321では、差信号DVsusを1フレーム遅延して差信号DVsudとして信号切換部322の端子bに供給する。
【0067】
信号切換部322では、信号切換制御部323からの切換制御信号CScに基づき可動端子cを端子a側あるいは端子b側に切り換えて、和信号DVadcあるいは差信号DVsudを選択する。この信号切換部322で選択した信号は選択信号DVasとしてエンコーダ324に供給する。
【0068】
信号切換制御部323では、可動端子cを切り換えて、ダイナミックレンジ調整部121aから信号切換部322の端子aに供給される和信号DVadcと、遅延部321から信号切換部322の端子bに供給される差信号DVsudを交互に選択するための切換制御信号CScを生成して信号切換部322に供給する。
【0069】
エンコーダ324では、選択信号DVasの符号化処理を行い、符号化信号DTasを生成して出力部35に供給する。ここで、選択信号DVasの符号化処理を行う際には、後述するビットレート割合制御ブロック33から供給された制御信号CRasに基づいた符号化ビットレートの符号化信号DTasを生成する。また、エンコーダ324で行う符号化処理は、エンコーダ122,123と同様に、既に利用されている符号化処理やオリジナルのアルゴリズムによる符号化処理等を用いる。なお、エンコーダ122,123では、符号化処理単位の期間内で和信号あるいは差信号の符号化処理を完了できれば、リアルタイムで符号化処理を完了できる。しかし、符号化装置30おいて、リアルタイムで符号化処理を完了するためには、符号化処理単位の期間内で和信号と差信号の符号化処理を行える能力のエンコーダ324を用いる必要がある。
【0070】
ビットレート割合制御ブロック33では、ビットレート割合制御ブロック13と同様に、和信号DVadと差信号DVsuに基づいて、和信号DVadcを符号化処理して得られる符号化信号と差信号DVsudを符号化処理して得られる符号化信号との符号化ビットレートの割合を決定する。さらに、切換制御信号CScに基づいて、和信号DVadcあるいは差信号DVsudのいずれの信号が選択信号DVasとしてエンコーダ324に供給されるかを判別して、エンコーダ324に供給される信号に応じた制御信号CRasをエンコーダ324に供給する。例えば、切換制御信号CScに基づき、和信号DVadcを選択信号DVasとしてエンコーダ324に供給すると判別したときには、上述のビットレート割合制御ブロック13(13’)と同様にして生成した制御信号CRadを制御信号CRasとしてエンコーダ324に供給する。また、差信号DVsudを選択信号DVasとしてエンコーダ324に供給すると判別したときには、ビットレート割合制御ブロック13(13’)と同様にして生成した制御信号CRsuを制御信号CRasとしてエンコーダ324に供給する。
【0071】
出力部35では、符号化信号DTasを用いて出力信号DToutを生成する。また出力部15と同様に、誤り検出訂正符号の付加、記録媒体や伝送プロトコル等に応じたフォーマット化やビットストリーム化なども行って出力信号DToutを生成する。
【0072】
図9は、符号化装置30から出力された信号を復号化する復号化装置40の構成を示している。なお、図9において、図5と対応する部分については同一符号を付し、詳細な説明は省略する。
【0073】
復号化処理ブロック41の入力部411では、入力信号DTinから符号化信号DTasを取り出してデコーダ412に供給する。なお、入力部411では、符号化信号DTasの誤り検出訂正処理等も行う。
【0074】
デコーダ412では、符号化信号DTasの復号化処理を行う。この復号化処理によって得られた選択信号DVasは、信号切換部413の可動端子aに供給する。さらにデコーダ412では、選択信号DVasに基づき和信号DVadcと差信号DVsudの境界で信号切換部413の可動端子aを端子b側あるいは端子c側に切り換える切換制御信号CSdを生成して、信号切換部413に供給する。和信号DVadcと差信号DVsudの境界は、上述の入力部211と同様にヘッダ情報を利用したり、EOB符号に基づいたブロック数、あるいは復号化処理したブロック数等に基づいて判別でき、この判別結果に基づいて切換制御信号CSdを生成する。
【0075】
信号切換部413では、切換制御信号CSdに基づき可動端子aを端子b側あるいは端子c側に切り換えて、選択信号DVasにおける和信号DVadcの信号部分を遅延部414に供給するとともに、選択信号DVasにおける差信号DVsudの信号部分をレベル逆シフト部415aに供給する。
【0076】
遅延部414では、和信号DVadcを1フレーム期間分だけ遅延させて和信号DVaddとして加算器221と減算器222に供給する。また、信号レベル調整部のレベル逆シフト部415aでは、レベルシフト部121cでのオフセット量だけ差信号DVsudの信号レベルを逆方向にオフセットさせて、オフセット前の差信号DVsucを加算器221と減算器222に供給する。
【0077】
このように、遅延部414を設けることで、加算器221と減算器222に供給する和信号DVadcと差信号DVsucのタイミングを等しくする。加算器221では、和信号DVaddと差信号DVsucとを等しい画素位置どうしで加算して画像信号DVcを生成する。また、減算器222では、和信号DVadcと差信号DVsucとを等しい画素位置どうしで減算して画像信号DVdを生成する。その後、復号化装置20と同様に、画像信号DVdを遅延部231で1フレーム期間分遅延させて画像信号DVeとし、信号切換部232によって画像信号DVcと画像信号DVeをフレーム毎に交互に選択することで、符号化装置30に入力した入力画像信号DVinと等しい出力画像信号DVoutを得ることができる。
【0078】
図10は、符号化装置30の動作を説明するためのものである。図10Aに示す入力画像信号DVinが符号化装置30に入力されると、信号切換部111によって第1フレームの信号が遅延部113に振り分けられるとともに第2フレームの信号が減算器115に振り分けられる。このため、遅延部113から出力される画像信号DVaは、図10Bに示すように第1フレームの信号「O1」が第2フレームの信号「E1」と等しいタイミングとされる。加算器114では、第1フレームの信号「O1」と第2フレームの信号「E1」を加算して図10Cに示す和信号DVad(=「O1+E1」)を生成する。また、減算器115では、例えば第1フレームの信号「O1」から第2フレームの信号「E1」を減算して図10Dに示す差信号DVsu(=「O1−E1」)を生成する。
【0079】
信号レベル調整部121のダイナミックレンジ調整部121aでは、和信号DVadの信号レベルを例えば0.5倍して図10Eに示す和信号DVadc(=「(O1+E1)/2」)を生成する。同様に、ダイナミックレンジ調整部121bでは、差信号DVsuの信号レベルを例えば0.5倍して図10Fに示す差信号DVsuc(=「(O1−E1)/2」)を生成する。
【0080】
レベルシフト部121cでは、差信号DVsucの信号レベルをエンコーダ324の入力レベルに応じて調整する。すなわち差信号DVsucに補正量Hを加算して図10Gに示す差信号DVsus(=「((O1−E1)/2)+H」)を生成する。
【0081】
遅延部321では、差信号DVsusを1フレーム期間分遅延させて図10Hに示す差信号DVsudとする。
【0082】
信号切換部322では、1符号化処理単位の和信号DVadcと差信号DVsudを交互に選択して、図10Jに示す選択信号DVasをエンコーダ324に供給する。
【0083】
エンコーダ324では、和信号DVadと差信号DVsuに基づいたビットレートの割合で選択信号DVasの符号化を行い図10Kに示す符号化信号DTasを生成する。例えば選択信号DVas(=「(O1+E1)/2」)を符号化して符号化信号DTas(=「Ba1」)を生成し、選択信号DVas(=「((O1−E1)/2)+H」)を符号化して符号化信号DTas(=「Bs1」)を生成する。このようにして生成された符号化信号DTasを用いて、図10Lに示す出力信号DTout(=「B1」)を生成する。
【0084】
次の第1フレームの信号「O2」および第2フレームの信号「E2」も同様に処理することで、符号化信号DTas(=「Ba2」)と符号化信号DTas(=「Bs2」)を生成できる。さらに、生成された符号化信号DTasを用いて出力信号DTout(=「B2」)を生成できる。
【0085】
図11は、復号化装置40の動作を示している。符号化信号DTasを用いて構成された図11Aに示す入力信号DTinが復号化装置40に入力されると、入力部411では、入力信号DTin(=「B1」)から図11Bに示す符号化信号DTas(=「Ba1」)と符号化信号DTas(=「Bs1」)を生成してデコーダ412に供給する。
【0086】
この符号化信号DTas(=「Ba1」)と符号化信号DTas(=「Bs1」)の復号化をデコーダ412で順次行うと、図11Cに示す選択信号DVas(=「(O1+E1)/2」,「((O1−E1)/2)+H」)が生成される。信号切換部413では、選択信号DVasから和信号部分を抽出して和信号DVadcとして遅延部414に供給する。遅延部414では、この和信号DVadcを1フレーム期間遅延させて図11Dに示す和信号DVaddとして加算器221に供給する。また信号切換部413では、選択信号DVasから差信号部分を抽出して差信号DVsud(=「((O1−E1)/2)+H」)としてレベル逆シフト部415aに供給する。
【0087】
レベル逆シフト部415aでは、差信号DVsudから符号化装置30のレベルシフト部121cで加算した補正量Hを減算して、オフセット前の信号レベルである図11Eに示す差信号DVsuc(=「(O1−E1)/2」)を生成する。
【0088】
加算器221では、和信号DVadc(=「(O1+E1)/2」)と差信号DVsuc(=「(O1−E1)/2」)を加算して、図11Fに示す画像信号DVc(=「O1」)を生成する。また、減算器222では、和信号DVadc(=「(O1+E1)/2」)から差信号DVsuc(=「(O1−E1)/2」)を減算して、図11Gに示す画像信号DVd(=「E1」)を生成する。さらに、遅延部231は、画像信号DVd(=「E1」)を1フレーム遅延させて図11Hに示す画像信号DVe(=「E1」)とする。
【0089】
信号切換部232では、画像信号DVc(=「O1」)に続けて画像信号DVe(=「E1」)を選択することで、図11Jに示す出力画像信号DVoutを2フレーム期間分(=「O1」「E1」)生成できる。
【0090】
また、入力信号DTin(=「B2」)についても同様に処理することで、出力画像信号DVoutを2フレーム期間分(=「O2」「E2」)生成できる。さらに、入力信号DTinの復号化処理を順次行うことで、出力画像信号DVoutを順次出力することができる。この出力画像信号DVoutは、入力信号DTinの生成に用いた入力画像信号DVinと等しいものとなる。
【0091】
このように、符号化装置30では、エンコーダ324を共用して和信号DVadcと差信号DVsudの符号化処理を行い、復号化装置40では、デコーダ412で復号化処理を行うことにより和信号DVadcと差信号DVsudを生成する。このため、和信号と差信号のそれぞれに対してエンコーダやデコーダを設ける必要が無く、符号化装置や復号化装置をさらに安価に構成できる。
【0092】
また、上述の符号化装置や復号化装置の動作は、ハードウェアだけでなくソフトウェアで実現することもできる。この場合の構成を図12に示す。コンピュータは、CPU(Central Processing Unit)501を内蔵しており、このCPU501にはバス520を介してROM502,RAM503,ハード・ディスク・ドライブ504,入出力インタフェース505が接続されている。さらに、入出力インタフェース505には入力部511や記録媒体ドライブ512,通信部513,信号入力部514,信号出力部515が接続されている。
【0093】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部511から命令が入力されると、この命令が入出力インタフェース505を介してCPU501に供給される。
【0094】
CPU501は、ROM502やRAM503あるいはハード・ディスク・ドライブ504に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ROM502やRAM503あるいはハード・ディスク・ドライブ504には、上述の符号化装置や復号化装置と同様な処理をコンピュータで実行させるためのプログラムを予め記憶させて、信号入力部514に入力された入力画像信号DVinに基づき出力信号DToutを生成して、信号出力部515から出力する。あるいは、信号入力部514に入力された入力信号DTinに基づき出力画像信号DVoutを生成して、信号出力部515から出力する。
【0095】
また、記録媒体にプログラムを記録しておくものとし、記録媒体ドライブ512によって、プログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部513によって、伝送路を介したプログラムの送信あるいは受信を行うものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【0096】
図13は、符号化動作を示すフローチャートである。ステップST1では、信号入力部514に入力された入力画像信号DVinから符号化処理単位である2フレーム分の画像信号を用いて、フレーム間の画像信号の和信号と差信号を画素毎に生成してステップST2に進む。
【0097】
ステップST2では、和信号を符号化処理して生成する符号化信号の符号化ビットレートと、差信号を符号化処理して生成する符号化信号の符号化ビットレートとの割合を、和信号と差信号に基づいて決定する。例えば、上述のように和信号と差信号のブロック化を行い、各ブロックの標準偏差を用いて1画面における平均標準偏差を和信号と差信号のそれぞれに対して算出し、この平均標準偏差の比を符号化ビットレートの割合とする。あるいは、和信号と差信号の符号化を行い、得られた符号化信号のデータ量の比を符号化ビットレートの割合とする。
【0098】
ステップST3では、ステップST2で決定された符号化ビットレートの割合に基づいて和信号と差信号の符号化処理を行う。この符号化処理は、符号化ビットレートを調整できる処理であれば良く、既に一般的に利用されている符号化処理やオリジナルのアルゴリズムによる符号化処理を用いる。
【0099】
ステップST4では、和信号を符号化処理して得られた符号化信号と差信号を符号化処理して得られた符号化信号を用いて出力信号を生成して信号出力部515から出力する。
【0100】
図14は、図2や図8に示す符号化装置あるいは図13に示すフローチャートの処理によって生成された信号を用いる復号化動作を示すフローチャートである。
【0101】
ステップST11では、信号入力部514から入力された入力信号DTinの復号化処理を行い、和信号と差信号を生成してステップST12に進む。また、ステップST11では、符号化処理に対応した既に一般的に利用されている復号化処理やオリジナルのアルゴリズムによる復号化処理を用いる。
【0102】
ステップST12では、和信号と差信号を用いて演算処理を行い2フレーム分の画像信号を生成してステップST13に進む。
【0103】
ステップST13では、生成された2フレーム分の画像信号を時間軸方向に並べて信号出力部515から出力画像信号DVoutとして出力する。
【0104】
なお、入力画像信号DVinがインタレース走査である場合、エンコーダ122,123,324やエンコーダ136,137に供給される信号は、第1フィールドの和信号,差信号の次に第2フィールドの和信号,差信号が供給されることとなる。このため、エンコーダ122,123やエンコーダ136,137への信号供給前にフレーム化を行い、1フレームの和信号や差信号がエンコーダ122,123やエンコーダ136,137に供給されるようにすれば、入力画像信号DVinがインタレース走査であってもプログレッシブ走査と等しい出力信号DToutを得ることができる。
【0105】
【発明の効果】
この発明によれば、2フレーム内符号化を行うとともに和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を制御して符号化処理が行われて出力信号が生成される。このため、画質を低下させることなく出力信号のビットレートを低くしたり、ビットレートを高くしなくとも復号画像を高画質にできる。また、2フレーム単位で符号化信号の生成が行われているので、符号化されている出力信号を用いても高精度の編集を行うことができる。また、動きベクトル検出等の負荷の大きい処理が必要とされないので構成を簡単にできる。さらに、符号化処理は符号化ビットレートを制御できるものであれば良いことから、種々の画像圧縮技術を容易に流用できる。
【0106】
また、和信号や差信号における各画素の信号レベルのばらつき、あるいは和信号や差信号の符号化処理後のデータ量に基づいて和信号の符号化ビットレートと差信号の符号化ビットレートとの割合が制御されるので、和信号の符号化ビットレートと差信号の符号化ビットレートとの割合を最適な状態に設定できる。また、和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行うことで、和信号と差信号のそれぞれに符号化処理を行う回路を設ける必要がなく構成を簡単にできる。
【0107】
さらに、和信号と差信号の信号レベルを調整して符号化処理を行うことから、符号化処理を正しく行うことができるとともに、復号化動作を簡単とすることも可能となる。また、復号化処理して得た和信号および/または差信号の信号レベルの調整が行われるので、復号化して得られる2フレーム分の画像信号の信号レベルを正しいものとすることができる。
【図面の簡単な説明】
【図1】符号化処理単位を示す図である。
【図2】符号化装置の構成を示す図である。
【図3】ビットレート割合制御ブロックの構成を示す図である。
【図4】ビットレート割合制御ブロックの他の構成を示す図である。
【図5】復号化装置の構成を示す図である。
【図6】符号化装置の動作を示す図である。
【図7】復号化装置の動作を示す図である。
【図8】符号化装置の他の構成を示す図である。
【図9】復号化装置の他の構成を示す図である。
【図10】符号化装置の他の構成での動作を示す図である。
【図11】復号化装置の他の構成での動作を示す図である。
【図12】コンピュータを用いた構成を示す図である。
【図13】符号化動作を示すフローチャートである。
【図14】復号化動作を示すフローチャートである。
【符号の説明】
10,30・・・符号化装置、11・・・演算ブロック、12,32・・・符号化処理ブロック、13,13’,33・・・ビットレート割合制御ブロック、15,35・・・出力部、20,40・・・復号化装置、21,41・・・復号化処理ブロック、22・・・演算ブロック、23・・・出力処理ブロック、111・・・信号切換部、112・・・信号切換制御部、113,231,321,414・・・遅延部、114,221・・・加算器、115,222・・・減算器、121,214・・・信号レベル調整部、121a,121b・・・ダイナミックレンジ調整部、121c・・・レベルシフト部、122,123,136,138,324・・・エンコーダ、131,133・・・ブロック化回路、132,134・・・偏差算出回路、135,140・・・割合決定回路、137,139・・・データ量判別回路、211,411・・・入力部、212,213,412・・・デコーダ、214a,415a・・・レベル逆シフト部、232,322,413・・・信号切換部、233,323・・・信号切換制御部

Claims (16)

  1. 2フレーム毎にフレーム間の画像信号の和信号と差信号を生成する演算手段と、
    前記和信号と差信号の符号化処理を行い符号化信号を生成する符号化処理手段と、
    前記符号化処理手段で符号化処理を行う前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成するビットレート割合制御手段を有し、
    前記符号化処理手段では、前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行う
    ことを特徴とする符号化装置。
  2. 前記ビットレート割合制御手段は、前記和信号における各画素の信号レベルのばらつきと前記差信号における各画素の信号レベルのばらつきに基づいて前記制御信号を生成する
    ことを特徴とする請求項1記載の符号化装置。
  3. 前記ビットレート割合制御手段は、前記和信号を符号化したときのデータ量と前記差信号を符号化したときのデータ量の比に基づいて前記制御信号を生成する
    ことを特徴とする請求項1記載の符号化装置。
  4. 前記符号化処理手段は、前記和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行う
    ことを特徴とする請求項1記載の符号化装置。
  5. 前記符号化処理手段は、前記和信号と差信号の信号レベルを調整する信号レベル調整手段を有する
    ことを特徴とする請求項1記載の符号化装置。
  6. 2フレーム毎にフレーム間の画像信号の和信号と差信号を生成し、
    前記和信号と差信号の符号化処理を行い符号化信号を生成するものとし、
    前記符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成し、
    前記和信号と差信号の符号化処理を前記制御信号に基づいた符号化ビットレートで行う
    ことを特徴とする符号化方法。
  7. 前記和信号における各画素の信号レベルのばらつきと前記差信号における各画素の信号レベルのばらつきに基づいて前記制御信号を生成することを特徴とする請求項6記載の符号化方法。
  8. 前記和信号を符号化したときのデータ量と前記差信号を符号化したときのデータ量の比に基づいて前記制御信号を生成する
    ことを特徴とする請求項6記載の符号化方法。
  9. 前記和信号と差信号の何れか一方を符号化処理してから他方の符号化処理を行う
    ことを特徴とする請求項6記載の符号化方法。
  10. 前記和信号と差信号の信号レベルを調整して符号化処理を行う
    ことを特徴とする請求項6記載の符号化方法。
  11. コンピュータに、
    2フレーム毎にフレーム間の画像信号の和信号と差信号を生成する手順と、
    前記和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成する手順と、
    前記制御信号に基づいた符号化ビットレートで前記和信号と差信号の符号化処理を行い符号化信号を生成する手順
    とを実行させるための符号化プログラム。
  12. 2フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する復号化処理手段と、
    前記和信号と差信号を用いて演算を行い、2フレーム分の画像信号を生成する演算手段と、
    前記2フレーム分の画像信号を所定のフレーム順で出力する出力処理手段とを有する
    ことを特徴とする復号化装置。
  13. 前記復号化処理手段では、前記和信号および/または差信号の信号レベルを調整する信号レベル調整手段を有する
    ことを特徴とする請求項12記載の復号化装置。
  14. 2フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成し、
    前記和信号と差信号を用いて演算を行い、2フレーム分の画像信号を生成し、
    前記2フレーム分の画像信号を所定のフレーム順で出力する
    ことを特徴とする復号化方法。
  15. 前記和信号および/または差信号の信号レベルを調整してから演算を行う
    ことを特徴とする請求項14記載の復号化方法。
  16. コンピュータに、
    2フレーム毎にフレーム間の画像信号の和信号と差信号を生成するとともに、該和信号と差信号の符号化処理を行い、該符号化処理する和信号と差信号に基づき、符号化ビットレートにおける前記和信号の符号化ビットレートと前記差信号の符号化ビットレートとの割合を制御するため制御信号を生成して、前記符号化処理を前記制御信号に基づいた符号化ビットレートで行うことにより生成された符号化信号を用い、前記符号化処理に対応した復号化処理を行うことで前記和信号と差信号を生成する手順と、
    前記和信号と差信号を用いて演算を行い、2フレーム分の画像信号を生成する手順と、
    前記2フレーム分の画像信号を所定のフレーム順で出力する手順
    とを実行させるための復号化プログラム。
JP2002267122A 2002-09-12 2002-09-12 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム Pending JP2004104694A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002267122A JP2004104694A (ja) 2002-09-12 2002-09-12 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム
EP20030255533 EP1398971A1 (en) 2002-09-12 2003-09-04 Video encoding and decoding
US10/659,231 US20040062311A1 (en) 2002-09-12 2003-09-10 Encoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002267122A JP2004104694A (ja) 2002-09-12 2002-09-12 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム

Publications (2)

Publication Number Publication Date
JP2004104694A true JP2004104694A (ja) 2004-04-02
JP2004104694A5 JP2004104694A5 (ja) 2005-04-07

Family

ID=31884798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002267122A Pending JP2004104694A (ja) 2002-09-12 2002-09-12 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム

Country Status (3)

Country Link
US (1) US20040062311A1 (ja)
EP (1) EP1398971A1 (ja)
JP (1) JP2004104694A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007066710A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
WO2007066709A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US8605793B2 (en) 2006-10-16 2013-12-10 Sony Corporation Information processing device and method, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706440B2 (en) * 2005-02-08 2010-04-27 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method for reducing bit rate requirements for encoding multimedia data
US20100166053A1 (en) * 2007-01-31 2010-07-01 Sony Corporation Information processing device and method
RU2479937C2 (ru) 2007-03-30 2013-04-20 Сони Корпорейшн Устройство и способ обработки информации

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134475A (en) * 1990-12-11 1992-07-28 At&T Bell Laboratories Adaptive leak hdtv encoder
CA2088082C (en) * 1992-02-07 1999-01-19 John Hartung Dynamic bit allocation for three-dimensional subband video coding
US5313298A (en) * 1992-03-05 1994-05-17 Rubin, Bednarek And Associates, Inc. Video companding method and system
US5592302A (en) * 1992-03-23 1997-01-07 Canon Kabushiki Kaisha Coding method for coding pixel blocks and apparatus therefor
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
JPH06292179A (ja) * 1993-04-01 1994-10-18 Matsushita Electric Ind Co Ltd 直交変換符号化装置および直交変換復号化装置
US6226414B1 (en) * 1994-04-20 2001-05-01 Oki Electric Industry Co., Ltd. Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
CA2163178C (en) * 1994-11-18 1999-11-16 Norio Suzuki Tv signal codec with amplitude limitation and a shift

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007066710A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
WO2007066709A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
JPWO2007066709A1 (ja) * 2005-12-07 2009-05-21 ソニー株式会社 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
JPWO2007066710A1 (ja) * 2005-12-07 2009-05-21 ソニー株式会社 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US8254707B2 (en) 2005-12-07 2012-08-28 Sony Corporation Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning
US8665943B2 (en) 2005-12-07 2014-03-04 Sony Corporation Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
US8605793B2 (en) 2006-10-16 2013-12-10 Sony Corporation Information processing device and method, and program

Also Published As

Publication number Publication date
EP1398971A1 (en) 2004-03-17
US20040062311A1 (en) 2004-04-01

Similar Documents

Publication Publication Date Title
JP3877234B2 (ja) ビデオデータを有するビットストリームを符号変換する方法および装置
KR100965881B1 (ko) 비디오 데이터 인코딩 시스템 및 디코딩 시스템
JP5174581B2 (ja) 順方向予測インターレース映像フレームのフィールド用の動きベクトルの予測
US8630347B2 (en) Video decoding apparatus and video decoding method
JP3358620B2 (ja) 画像符号化方法及び画像符号化装置
US20030035481A1 (en) Method for transcoding compressed image bit stream
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
KR19990072968A (ko) 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법
JP2008005145A (ja) 画像処理システムおよび方法、復号装置および方法、符号化装置および方法、並びにプログラム
JP2004096757A (ja) 動き補償のための補間方法及びその装置
JP2007124564A (ja) 画像符号化装置、方法、及びプログラム
WO2002001883A1 (en) Image encoder and image encoding method
KR100364312B1 (ko) 블록간예측부호화복호화장치및그방법
JPS61118085A (ja) 画像信号の符号化方式およびその装置
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JP2013172374A (ja) 画像処理装置、画像処理方法、および画像処理システム
JP2003348597A (ja) 画像符号化装置および画像符号化方法
JP2004104694A (ja) 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム
JP4357560B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2016158282A (ja) 動画像予測復号方法及び動画像予測復号装置
JP5471328B2 (ja) 動画像再生装置及び動画像再生方法並びにプログラム
JP4806888B2 (ja) 復号化装置及び復号化方法
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP2008187694A (ja) 画像符号化装置およびその方法
JP4906197B2 (ja) 復号装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040430

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071106