JP2004343278A - 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム - Google Patents
画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム Download PDFInfo
- Publication number
- JP2004343278A JP2004343278A JP2003135348A JP2003135348A JP2004343278A JP 2004343278 A JP2004343278 A JP 2004343278A JP 2003135348 A JP2003135348 A JP 2003135348A JP 2003135348 A JP2003135348 A JP 2003135348A JP 2004343278 A JP2004343278 A JP 2004343278A
- Authority
- JP
- Japan
- Prior art keywords
- value
- encoding
- quantization value
- quantization
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Abstract
【課題】量子化値を予め定められた最小値以上となるように制御する。
【解決手段】ステップＳ２１で、ヒストリー情報またはパラメータに含まれている再利用可能な量子化値Ｑｒｅｆが取得される。ステップＳ２２で、ステップＳ２１で取得された量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいか否かが判断される。量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいと判断された場合、ステップＳ２３で、量子化値Ｑ＝Ｑｍｉｎとして、処理が終了される。量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さくないと判断された場合、ステップＳ２４で、ヒストリー情報またはパラメータに含まれている量子化値Ｑｒｅｆが再利用されて、量子化値Ｑ＝Ｑｒｅｆとされ、処理が終了される。本発明は、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置またはＬｏｎｇ ＧＯＰ符号化装置に適用できる。
【選択図】 図１２
【解決手段】ステップＳ２１で、ヒストリー情報またはパラメータに含まれている再利用可能な量子化値Ｑｒｅｆが取得される。ステップＳ２２で、ステップＳ２１で取得された量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいか否かが判断される。量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいと判断された場合、ステップＳ２３で、量子化値Ｑ＝Ｑｍｉｎとして、処理が終了される。量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さくないと判断された場合、ステップＳ２４で、ヒストリー情報またはパラメータに含まれている量子化値Ｑｒｅｆが再利用されて、量子化値Ｑ＝Ｑｒｅｆとされ、処理が終了される。本発明は、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置またはＬｏｎｇ ＧＯＰ符号化装置に適用できる。
【選択図】 図１２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Ｍｂｐｓ）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）を構成するフレーム数が多いＬｏｎｇ ＧＯＰと、高ビットレート（１８乃至５０Ｍｂｐｓ）で転送される、ＧＯＰを構成するフレーム数が少ないＳｈｏｒｔ ＧＯＰとを、相互に変換する必要があった。
【０００５】
例えば、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）−ＡＳＩ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）変換装置１は、供給されたＳＤＩ入力画像を、ＭＰＥＧのＬｏｎｇ ＧＯＰ（ＡＳＩストリーム）となるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを出力する。ＳＤＩとは、Ｐｏｉｎｔ ｔｏ Ｐｏｉｎｔの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ＡＮＳＩ（Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ）／ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）２５９Ｍに規定されている。
【０００７】
ＡＳＩ−ＳＤＴＩ ＣＰ（Ｓｅｒｉａｌ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｅｎｔｓ Ｐａｃｋａｇｅ）変換装置２は、供給されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（Ａｌｌ Ｉｎｔｒａ）となるように符号化し、符号化された全てイントラフレームのストリームデータ（ＳＤＴＩ ＣＰストリーム）を、ＳＤＴＩ ＣＰインタフェースのフレーム編集装置３に出力する。ＳＤＴＩ ＣＰとは、Ｐｒｏ−ＭＰＥＧフォーラムの推進でＳＭＰＴＥ３２６Ｍとして標準化された、ＭＰＥＧデータをリアルタイムに伝送（同期転送）する伝送方式の世界標準規格である。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置４に供給される。ＳＤＴＩ ＣＰ−ＡＳＩ変換装置４は、供給された全てイントラフレームのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、ＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータ（ＡＳＩストリーム）を出力する。
【０００９】
また、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇ ＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
Ｌｏｎｇ ＧＯＰ符号化装置５１は、供給されたＳＤＩ入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。Ｌｏｎｇ ＧＯＰ符号化装置５２は、供給された高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集を行うことが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、ＡＳＩ−ＳＤＴＩ ＣＰ変換装置１０１は、図１と同様のＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのＬｏｎｇ ＧＯＰ（ＡＳＩストリーム）の供給を受ける。
【００１５】
ＭＰＥＧのＬｏｎｇ ＧＯＰはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがって、このビデオデータをＭＰＥＧのＬｏｎｇ ＧＯＰで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、ＡＳＩ−ＳＤＴＩＣＰ変換装置１０１は、供給されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、全てイントラフレームのＳＤＴＩ−ＣＰストリーム上に、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ ｄａｔａ）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２に供給される。ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２は、供給された、ヒストリー情報つきの全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Ｌｏｎｇ ＧＯＰに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇＧＯＰに再符号化することが可能なシステムにおいて、再符号化のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、ＬｏｎｇＧＯＰ符号化装置５１により符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたＬｏｎｇＧＯＰ符号化装置１３１は、高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、図３を用いて説明したシステムのように、過去のＭＰＥＧ ＬｏｎｇＧＯＰの符号化とパラメータ再利用符号化との間に、例えば、全てイントラフレームに符号化するような別の符号化を行っている場合、再符号化時にＶＢＶバッファ破綻を起こしてしまう可能性がある。
【００２１】
このような再符号化時のＶＢＶバッファ破綻は、間に入る符号化（全てイントラフレームとする符号化）のビットレートが十分に高くないなどの要因によって、過去の符号化画像が歪んでしまった場合、その歪んだ画像を再符号化するときに、歪んでいない画像の符号化において用いられた量子化値をそのまま適用してしまうことにより生じる。
【００２２】
具体的には、例えば、ＳＤＩの静止画を、ＳＤＩ−ＡＳＩ変換装置１においてＭＰＥＧのＬｏｎｇＧＯＰに符号化すると、図５に示されるＶＢＶバッファの軌跡のように、Ｉピクチャの発生符号量が大きくなり、ＰピクチャおよびＢピクチャの発生符号量は小さくなる。これはＩピクチャで十分に入力画に近い画をつくり、そこからの僅かな差分で、続くＰピクチャおよびＢピクチャを符号化するためである。これらのピクチャが、ＡＳＩ−ＳＤＴＩ ＣＰ符号化装置１０１において全てイントラフレームに符号化される場合、十分大きなビットレートで符号化すれば、過去に符号化された画像に忠実に符号化できるが、全てイントラフレームに符号化するときのビットレートが小さいと、過去に符号化された画像が歪んで符号化されてしまう。
【００２３】
ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２において、このような歪みを持った画像が、ＳＤＩ−ＡＳＩ変換装置１において過去に符号化したときの量子化値等を再利用して再符号化されると、図６に示されるように、過去にＩピクチャであった画像については主に高域成分のデータが落ちているため発生符号量は小さくなるが、ＰピクチャおよびＢピクチャであった画像については、歪により差分が増加したデータに対して、差分が小さかったデータを符号化したＳＤＩ−ＡＳＩ変換装置１において使用した量子化値を用いて符号化してしまう。このために、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２が実行する符号化において、発生符号量が大きくなり、ＶＢＶバッファ破綻が引き起こされてしまう。
【００２４】
本発明はこのような状況に鑑みてなされたものであり、ヒストリー情報、または、過去の符号化のパラメータを利用して実行される符号化において、過去の符号化の量子化値を再利用して使用する場合に、バッファ破綻を引き起こさないようにするものである。
【００２５】
【課題を解決するための手段】
本発明の第１の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００２６】
決定手段には、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００２７】
決定手段には、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００２８】
画像データのうちの量子化する部分が、イントラフレームである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００２９】
画像データのうちの量子化する部分が、イントラスライスである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる
【００３０】
画像データのうちの量子化する部分が、イントラマクロブロックである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００３１】
直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段を更に備えさせるようにすることができ、決定手段には、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択させ、選択された第２の量子化値以上となるように、量子化値を決定させるようにすることができる。
【００３２】
決定手段には、過去の符号化に関する情報が再利用可能であると判断され、更に、過去の符号化に関する情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００３３】
本発明の第１の画像処理方法は、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００３４】
本発明の第１の記録媒体に記録されているプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００３５】
本発明の第１のプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００３６】
本発明の第１の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得され、その情報に含まれる量子化値が再利用可能であるか否かが判断され、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を用いて、量子化が実行され、量子化された量子化係数データが符号化される。
【００３７】
本発明の第１の情報処理装置は、供給された画像データを完全に、または、不完全に復号する復号手段と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００３８】
本発明の第１の情報処理装置においては、供給された画像データが完全に、または、不完全に復号され、ベースバンドの画像データ、または、中途段階まで符号化された画像データが、中途段階まで、または、完全に符号化され、符号化において、画像データに対して過去に行われた符号化に関する情報が取得され、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を基に、量子化が実行され、量子化された量子化係数データが符号化される。
【００３９】
本発明の第２の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００４０】
決定手段には、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定されるようにすることができる。
【００４１】
決定手段には、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００４２】
画像データのうちの量子化する部分が、イントラフレームである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００４３】
画像データのうちの量子化する部分が、イントラスライスである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００４４】
画像データのうちの量子化する部分が、イントラマクロブロックである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００４５】
直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段を更に備えさせるようにすることができ、決定手段には、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択させるようにすることができ、選択された第２の量子化値以上となるように、量子化値を決定させるようにすることができる。
【００４６】
決定手段には、過去の符号化に関する情報が再利用可能であると判断され、更に、過去の符号化に関する情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００４７】
本発明の第２の画像処理方法は、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００４８】
本発明の第２の記録媒体に記録されているプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００４９】
本発明の第２のプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００５０】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得され、その情報に含まれる量子化値が再利用可能であるか否かが判断され、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を用いて、量子化が実行され、量子化された量子化係数データが符号化される。
【００５１】
本発明の第２の情報処理装置は、供給された画像データを完全に、または、不完全に復号する復号手段と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５２】
本発明の第２の情報処理装置においては、供給された画像データが完全に、または、不完全に復号され、ベースバンドの画像データ、または、中途段階まで符号化された画像データが、中途段階まで、または、完全に符号化され、符号化において、画像データに対して過去に行われた符号化に関する情報が取得され、所定の条件が満たされた場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を基に、量子化が実行され、量子化された量子化係数データが符号化される。
【００５３】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段またはステップなどの後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し、もちろんこの記載は、各手段またはステップなどを記載したものに限定することを意味するものではない。
【００５４】
請求項１に記載の画像処理装置（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５５】
請求項３に記載の画像処理装置の決定手段は、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分（例えば、Ｉピクチャ、イントラスライス、または、イントラマクロブロック）に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断し、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定することを特徴とする。
【００５６】
請求項７に記載の画像処理装置は、直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段（例えば、図１３または図１４のメモリ２６２）を更に備え、決定手段は、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択し、選択された第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５７】
請求項９に記載の画像処理方法、請求項１０に記載の記録媒体に記録されているプログラム、および、請求項１１に記載のプログラムは、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）に含まれる量子化値が再利用可能であるか否かを判断する判断ステップ（例えば、図１１のステップＳ２、または、図１６のステップＳ６２の処理）と、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップ（例えば、図１２のステップＳ２２乃至Ｓ２４の処理、または、図１５のステップＳ４５乃至Ｓ４７の処理）とを含むことを特徴とする。
【００５８】
請求項１２に記載の情報処理装置（例えば、図７のＳＤＩＴ ＣＰ−ＡＳＩ変換装置１５１、もしくは、図９のＬｏｎｇ ＧＯＰ符号化装置２０１）は、供給された画像データを完全に、または、不完全に復号する復号手段（例えば、図７の復号部１２１、もしくは、図９の復号部１４１）と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５９】
請求項１３に記載の画像処理装置（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格（例えば、ＭＰＥＧ２）において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００６０】
請求項１５に記載の画像処理装置の決定手段は、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分（例えば、Ｉピクチャ、イントラスライス、または、イントラマクロブロック）に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断し、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定することを特徴とする。
【００６１】
請求項１９に記載の画像処理装置は、直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段（例えば、図１３または図１４のメモリ２６２）を更に備え、決定手段は、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択し、選択された第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００６２】
請求項２１に記載の画像処理方法、請求項２２に記載の記録媒体に記録されているプログラム、および、請求項２３に記載のプログラムは、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）に含まれる量子化値が再利用可能であるか否かを判断する判断ステップ（例えば、図１１のステップＳ２、または、図１６のステップＳ６２の処理）と、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格（例えば、ＭＰＥＧ２）において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップ（例えば、図１２のステップＳ２２乃至Ｓ２４の処理、または、図１５のステップＳ４５乃至Ｓ４７の処理）とを含むことを特徴とする。
【００６３】
請求項２４に記載の情報処理装置（例えば、図７のＳＤＩＴ ＣＰ−ＡＳＩ変換装置１５１、もしくは、図９のＬｏｎｇ ＧＯＰ符号化装置２１１）は、供給された画像データを、完全に、または、不完全に復号する復号手段（例えば、図７の復号部１２１、もしくは、図９の復号部１４１）と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格（例えば、ＭＰＥＧ２）において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００６４】
以下、図を参照して、本発明の実施の形態について説明する。
【００６５】
図７は、本発明を適用した、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムの構成を示すブロックである。
【００６６】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、本発明を適用した、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムにおいては、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２に代わって、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１は、符号化部１２２に代わって、量子化値の最小値を、所定の値に設定可能な符号化部１６１が設けられているほかは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２と基本的に同様に構成されている。
【００６７】
ＡＳＩ−ＳＤＴＩ ＣＰ変換装置１０１は、ＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのＬｏｎｇ ＧＯＰ（ＡＳＩストリーム）の供給を受ける。
【００６８】
ＭＰＥＧのＬｏｎｇＧＯＰは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。ＡＳＩ−ＳＤＴＩ ＣＰ変換装置１０１は、供給されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがＬｏｎｇＧＯＰで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ ｄａｔａ）として、全てイントラフレームのＳＤＴＩ−ＣＰストリーム上に付加し、フレーム編集装置３に供給する。
【００６９】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１に供給される。ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１は、供給された、ヒストリー情報付の全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等のパラメータを、必要に応じて使用して、ＬｏｎｇＧＯＰに再符号化して出力する。
【００７０】
図８は、符号化部１６１の構成を示すブロック図である。
【００７１】
ヒストリー抽出部１７１は、復号部１２１により復号された、ヒストリー情報付のＳＤＩＴ ＣＰストリームから、ヒストリー情報を抽出して、量子化値決定部１７７に供給するとともに、映像ストリームを映像並べ替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００７２】
映像並べ替え部１７２は、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、画像データの各フレーム画像を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００７３】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出する。
【００７４】
演算部１７３は、映像並べ替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００７５】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００７６】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００７７】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅ；可変長符号化）部１７８および逆量子化部１７９に送出する。ここで、量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００７８】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００７９】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８０】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８１】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８２】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８３】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８４】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８５】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、出力する。
【００８６】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、ヒストリー抽出部１７１から供給されるヒストリー情報を基に量子化ステップサイズを決定するようになされている。
【００８７】
量子化値決定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、ヒストリー抽出部１７１からヒストリー情報が供給されたか否かを基に、ヒストリー情報を用いて符号化を行うことが可能か否かを判断する。ヒストリー抽出部１７１から供給されるヒストリー情報には、上述したように、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。量子化値決定部１７７は、ヒストリー情報を用いて符号化を行うことが可能であると判断した場合、ヒストリー抽出部１７１から供給されるヒストリー情報を基に、量子化値を再利用することが可能か否かを判断する。
【００８８】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、ヒストリー情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、ヒストリー情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定されるようにしても良い。
【００８９】
そして、ヒストリー情報を基に、量子化値を再利用することが可能であると判断された場合、量子化値決定部１７７は、ヒストリー情報に含まれる量子化値Ｑが、所定の値より大きいか否かを判断する。
【００９０】
上述したように、歪みを持った画像が、過去に符号化した量子化値等を用いて再符号化された場合、例えば、図６を用いて説明したように、過去にＩピクチャであった画像については、主に高域成分のデータが落ちているため発生符号量は小さくなるが、ＰピクチャおよびＢピクチャであった画像については、歪により差分が増加したデータに対して、過去に差分が小さかったときに使用した量子化値を用いて符号化してしまうことにより発生符号量が大きくなり、ＶＢＶバッファ破綻を引き起こしてしまう。このような、ＶＢＶバッファ破綻を防ぐためには、再符号化に用いられる量子化値を適切に調整する必要がある。
【００９１】
すなわち、過去の符号化において小さい量子化値で符号化されたマクロブロックは、情報量が少ないのであるから、再符号化時に発生した歪により増加した情報量によって発生符号量画像化することを防止するためには、量子化値が小さくなりすぎないように調整すればよい。
【００９２】
したがって、間に入る符号化のビットレート等の条件に基づいた適切な最小量子化値Ｑｍｉｎを設定し、ヒストリー情報に含まれる量子化値Ｑｒｅｆが、最小量子化値Ｑｍｉｎよりも小さい場合、量子化値Ｑｒｅｆを再利用せずに、最小量子化値Ｑｍｉｎを用いることにより発生符号量を抑えるようにすることができる。
【００９３】
ＭＰＥＧの規格によれば、量子化値Ｑは、１乃至１１２（ｑ＿ｓｃａｌｅ＿ｔｙｐｅ＝１、すなわち、非線形量子化である場合）、もしくは、２乃至６２（ｑ＿ｓｃａｌｅ＿ｔｙｐｅ＝０、すなわち、線形量子化である場合）の値をとることが可能である。通常、符号化装置、または、トランスコーダ等に含まれる符号化部においては、この範囲内に含まれるいずれかの量子化値Ｑを用いて量子化を実行するようになされている。換言すれば、符号化装置、または、トランスコーダ等に含まれる符号化部は、１乃至１１２、もしくは、２乃至６２の量子化値Ｑを用いるか、１乃至１１２よりも小さな所定の範囲、もしくは、２乃至６２よりも小さな所定の範囲の量子化値Ｑを用いるようになされている。
【００９４】
これに対して、本発明が適用された符号化部１６１は、ヒストリー情報に含まれる過去の符号化の量子化値Ｑｒｅｆを利用することができる場合、通常のレート制御において用いられる量子化値Ｑの範囲（ＭＰＥＧの規格によって定められた値の範囲よりも小さくても良いことは言うまでもない）の下限値よりも大きな所定の最小量子化値Ｑｍｉｎが設定される。符号化部１６１においては、量子化値Ｑｒｅｆが、最小量子化値Ｑｍｉｎよりも小さい場合、量子化値Ｑｒｅｆを再利用せずに、最小量子化値Ｑｍｉｎを用いるようになされている。
【００９５】
例えば、間に入る符号化が、全てのフレームをイントラフレームに符号化するものであり、ビットレートが５０Ｍｂｐｓであるときに、符号化部１６１で用いられるのに適切である最小量子化値Ｑｍｉｎが５であった場合、過去の符号化で使用した量子化値Ｑｒｅｆが２であれば、量子化値決定部１７７は、ヒストリー情報に含まれる量子化値Ｑｒｅｆ＝２を再利用せず、最小量子化値Ｑｍｉｎ＝５を用いる。
【００９６】
最小量子化値Ｑｍｉｎは、条件により適切に調整される。例えば、間に入る符号化が、全てのフレームをイントラフレームに符号化し、ビットレートが３０Ｍｂｐｓである場合、全てのフレームをイントラフレームに符号化し、ビットレートが５０Ｍｂｐｓである場合よりも歪が増加するため、最小量子化値Ｑｍｉｎは、例えば、Ｑｍｉｎ＝７など、上述したビットレート５０Ｍｂｐｓの場合に適切であるＱｍｉｎ＝５より大きな値に調整される。
【００９７】
また、量子化値決定部１７７は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９８】
すなわち、量子化値決定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部１７６に供給する。
【００９９】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（３）として表される。
【０１００】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−｛Ｔ×（ｊ−１）／ＭＢｃｎｔ｝・・・（１）
【０１０１】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、ＭＢｃｎｔは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０２】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｊ）−（Ｔ×ｊ）／ＭＢｃｎｔ・・・（２）
【０１０３】
ｄ（ｊ＋１）＝ｄ（ｊ）＋｛Ｂ（ｊ）−Ｂ（ｊ−１）｝−Ｔ／ＭＢｃｎｔ・・・（３）
【０１０４】
なお、量子化値決定部１７７は、ピクチャ内のマクロブロックが、例えば、イントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴｐｉおよびＴｐｐをそれぞれ個別に設定することができる。
【０１０５】
したがって、量子化値決定部１７７は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部１７６に供給する。
【０１０６】
ｒ＝（２×ｂｒ）／ｐｒ ・・・（４）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（５）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０７】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０８】
これにより、量子化部１７６は、実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０９】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１１０】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１１】
また、図４を用いて説明した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して、低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１２】
すなわち、図９のシステムは、ＬｏｎｇＧＯＰ符号化装置１３１に代わって、ＬｏｎｇＧＯＰ符号化装置２０１が備えられ、ＬｏｎｇＧＯＰ符号化装置２０１は、符号化部１４２に代わって、量子化値の設定値に所定の最低値を設けることが可能な符号化部２１１が設けられているほかは、基本的に、ＬｏｎｇＧＯＰ符号化装置１３１と同様の構成を有する。
【０１１３】
ＬｏｎｇＧＯＰ符号化装置５１により符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたＬｏｎｇＧＯＰ符号化装置２０１は、高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【０１１４】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図８の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１５】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得して量子化値決定部１７７に供給する、パラメータ入力部２２１が設けられているほかは、図８の符号化部１６１と、基本的に同様の構成を有するものである。
【０１１６】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、パラメータ入力部２２１から供給されるパラメータ情報を基に量子化ステップサイズを決定するようになされている。
【０１１７】
量子化値決定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、パラメータ入力部２２１からパラメータ情報が供給されたか否かを基に、パラメータ情報を用いて符号化を行うか否かを判断する。パラメータ入力部２２１から供給されるパラメータ情報には、上述したヒストリー情報と同様に、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。
【０１１８】
レート設定部１７７は、パラメータ情報を用いて符号化を行うことが可能であると判断した場合、パラメータ入力部２２１から供給されるパラメータ情報を基に、量子化値を再利用することが可能か否かを判断する。
【０１１９】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、パラメータ情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、パラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、パラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定される。
【０１２０】
そして、パラメータ情報を基に、量子化値を再利用することが可能であると判断された場合、量子化値決定部１７７は、パラメータ情報に含まれる量子化値Ｑが、所定の値より大きいか否かを判断する。
【０１２１】
最小量子化値Ｑｍｉｎには、間に入る符号化のビットレート等の条件に基づいた適切な値が設定され、量子化値決定部１７７は、パラメータ情報に含まれる量子化値Ｑｒｅｆが、最小量子化値Ｑｍｉｎよりも小さい場合、量子化値Ｑｒｅｆを再利用せずに、最小量子化値Ｑｍｉｎを用いることにより発生符号量を抑えるようにすることができる。
【０１２２】
次に、図１１のフローチャートを参照して、図８を用いて説明した符号化部１６１、または、図１０を用いて説明した符号化部２１１において実行される、量子化値決定処理１について説明する。
【０１２３】
ステップＳ１において、量子化値決定部１７７は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受けたか否かを基に、ヒストリー情報もしくはパラメータを再利用して符号化が実行されるか否かを判断する。
【０１２４】
ステップＳ１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されると判断された場合、ステップＳ２において、量子化値決定部１７７は、例えば、量子化値を再利用できないと予め設定されているか否か、ヒストリー情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１２５】
ステップＳ２において、量子化値は再利用可能であると判断された場合、ステップＳ３において、図１２を用いて後述する最低値制限量子化値設定処理が実行されて、処理が終了される。
【０１２６】
ステップＳ１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されないと判断された場合、もしくは、ステップＳ２において、量子化値は再利用可能ではないと判断された場合、ステップＳ４において、量子化値決定部１７７は、式（１）乃至式（５）を用いて説明したような演算処理を実行し、通常のレート制御によって、量子化値を決定し、処理が終了される。
【０１２７】
このような処理により、量子化値が再利用可能か否かが判断され、量子化値が再利用可能であると判断された場合、最低値制限量子化値設定処理が実行される。
【０１２８】
次に、図１２のフローチャートを参照して、図１１のステップＳ３において実行される、最低値制限量子化値設定処理１について説明する。
【０１２９】
ステップＳ２１において、量子化値決定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている再利用可能な量子化値Ｑｒｅｆを取得する。
【０１３０】
ステップＳ２２において、量子化値決定部１７７は、ステップＳ２１において取得された量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいか否かを判断する。
【０１３１】
ステップＳ２２において、量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいと判断された場合、ステップＳ２３において、量子化値決定部１７７は、量子化値Ｑ＝Ｑｍｉｎとして、処理が終了される。
【０１３２】
ステップＳ２２において、量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さくない、すなわち、大きいと判断された場合、ステップＳ２４において、量子化値決定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている量子化値Ｑｒｅｆを再利用して、量子化値Ｑ＝Ｑｒｅｆとし、処理が終了される。
【０１３３】
図１２を用いて説明した処理により、量子化値Ｑを、所定の値よりも小さな値にならないように制御することができる。このことにより、歪により差分が増加したデータに対して、小さすぎる量子化値を用いて量子化が実行されてしまうことにより、ＶＢＶバッファが破綻してしまうことを防ぐようにすることができる。
【０１３４】
なお、図１２を用いて説明した処理においては、予め定められた量子化値の最小値Ｑｍｉｎを用いて、量子化値Ｑが、最小値Ｑｍｉｎより小さな値にならないように制御するようにしたが、直前の符号化のビットレートを検出することができる場合、量子化値の最小値Ｑｍｉｎをビットレートに対応させて、複数用意しておき、検出された直前の符号化のビットレートに応じて、最適な量子化値の最小値Ｑｍｉｎを選択して、量子化値Ｑを、所定の値よりも小さな値にならないように制御するようにすることができる。
【０１３５】
図１３および図１４は、量子化値の最小値Ｑｍｉｎを複数用意し、直前の符号化のビットレートに応じて、最適な量子化値の最小値Ｑｍｉｎを選択することが可能な符号化部２５１および符号化部２８１の構成を示すブロック図である。
【０１３６】
図７のＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１において、符号化部１６１に代わって、図１３の符号化部２５１を設けるようにし、図９のＬｏｎｇ ＧＯＰ符号化装置２０１において、符号化部２１１に代わって、図１４の符号化部２８１を設けるようにすれば、直前の符号化のビットレートに応じて、複数の値の中から、最適な量子化値の最小値Ｑｍｉｎを選択することが可能となる。
【０１３７】
なお、図１３においては、図８の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図１４においては、図１０の符号化部２１１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１３の符号化部２５１は、量子化値決定部１７７に代わって、量子化値決定部２６１が設けられ、新たにメモリ２６２が設けられている以外は、図８の符号化部１６１と基本的に同様の構成を有するものであり、図１４の符号化部２８１は、量子化値決定部１７７に代わって、量子化値決定部２６１が設けられ、新たにメモリ２６２が設けられている以外は、図１０の符号化部２１１と基本的に同様の構成を有するものである。
【０１３８】
メモリ２６２には、直前の符号化のビットレートに対応付けられた複数の量子化値の最小値Ｑｍｉｎが記憶されている。量子化値決定部２６１は、供給されるヒストリー情報、もしくは、パラメータ情報から、直前の符号化のビットレートを検出することが可能である場合、または、直前の符号化のビットレートを予め認識している場合、メモリ２６２を参照して、直前の符号化のビットレートに対応する量子化値の最小値Ｑｍｉｎを選択して読み込む。
【０１３９】
そして、量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている再利用可能な量子化値Ｑｒｅｆを、直前の符号化のビットレートに対応して選択された量子化値の最小値Ｑｍｉｎと比較し、そのうちの大きい方の値を量子化部１７６に供給するようになされている。また、量子化値決定部２６１は、直前の符号化のビットレートを検出することができない場合、図１２を用いて説明した場合と同様に、予め定められた量子化値の最小値Ｑｍｉｎと量子化値Ｑｒｅｆとを比較して、そのうちの大きい方の値を量子化部１７６に供給するようになされている。
【０１４０】
図１３の符号化部２５１および図１４の符号化部２８１は、図１１のフローチャートを用いて説明した、量子化値決定処理１を実行可能であるが、図１１のステップＳ３においては、図１２のフローチャートを参照して説明した最低値制限量子化値設定処理１に代わって、図１５のフローチャートに示される最低値制限量子化値設定処理２を実行することができる。
【０１４１】
図１５のフローチャートを参照して、図１３の符号化部２５１または図１４の符号化部２８１が、図１１を用いて説明した量子化値決定処理１のステップＳ３において実行する、最低値制限量子化値設定処理２について説明する。
【０１４２】
ステップＳ４１において、量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている再利用可能な量子化値Ｑｒｅｆを取得する。
【０１４３】
ステップＳ４２において、量子化値決定部２６１は、直前の符号化のビットレートは既知であるか、または、検出可能であるか否かを判断する。
【０１４４】
ステップＳ４２において、直前の符号化のビットレートは既知である、または、検出可能であると判断された場合、ステップＳ４３において、量子化値決定部２６１は、直前の符号化のビットレートを検出してメモリ２６２を参照し、検出されたビットレートに対応した量子化値を選択して、最小値Ｑｍｉｎとして設定する。
【０１４５】
ステップＳ４２において、直前の符号化のビットレートは既知ではなく、検出可能でもないと判断された場合、ステップＳ４４において、量子化値決定部２６１は、量子化値の最小値Ｑｍｉｎを、間に入る符号化のビットレート等の条件に基づいて適切な値に予め定められた、所定の値に設定する。
【０１４６】
ステップＳ４３またはステップＳ４４の処理の終了後、ステップＳ４５において、量子化値決定部２６１は、ステップＳ４１において取得された量子化値Ｑｒｅｆは、ステップＳ４３の処理により設定された、ビットレートに対応した量子化値の最小値Ｑｍｉｎ、または、ステップＳ４４の処理により設定された、予め定められた量子化値の最小値Ｑｍｉｎより小さいか否かを判断する。
【０１４７】
ステップＳ４５において、量子化値Ｑｒｅｆは、設定された量子化値の最小値Ｑｍｉｎより小さいと判断された場合、ステップＳ４６において、量子化値決定部２６１は、量子化値Ｑ＝Ｑｍｉｎとして、処理が終了される。
【０１４８】
ステップＳ４５において、量子化値Ｑｒｅｆは、設定された量子化値の最小値Ｑｍｉｎより小さくない、すなわち、大きいと判断された場合、ステップＳ４７において、量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている量子化値Ｑｒｅｆを再利用して、量子化値Ｑ＝Ｑｒｅｆとし、処理が終了される。
【０１４９】
図１５を用いて説明した処理により、量子化値Ｑを、直前のフレームレートに対応して選択される量子化値よりも小さな値にならないように制御することができる。このことにより、歪により差分が増加したデータに対して、小さすぎる量子化値を用いて量子化が実行されてしまうことにより、ＶＢＶバッファが破綻してしまうこと、および、必要以上に画像が劣化してしまうことを防ぐようにすることができる。
【０１５０】
ところで、図１２および図１５を用いて説明した処理は、ＶＢＶバッファの破綻を防ぐために、量子化値Ｑが小さな値となり、発生符号量が増加するのを防ぐものである。すなわち、図１２を用いて説明した最低値制限量子化値設定処理１および図１５を用いて説明した最低値制限量子化値設定処理２が実行された場合、発生符号量が減少されるので、画像は劣化してしまう。
【０１５１】
例えば、ＰピクチャおよびＢピクチャであった画像に歪が生じてしまった場合、歪により差分が増加したピクチャまたはＢピクチャに対して、過去に差分が小さかったときに使用された量子化値が用いられて再符号化が施されてしまうことにより、発生符号量が大きくなり、ＶＢＶバッファ破綻が引き起こされてしまう。しかしながら、図６を用いて説明したように、過去にＩピクチャであった画像については、主に高域成分のデータが落ちているため、発生符号量は小さくなる。すなわち、符号化処理を行うピクチャがＩピクチャである場合、量子化値Ｑを更に小さな値に設定しなくても、発生符号量が減少するため、ＶＢＶバッファは破綻しない。
【０１５２】
また、符号化処理が、ピクチャ単位ではなく、スライス単位やマクロブロック単位の予測符号化モードで行われる場合においても、イントラスライスやイントラマクロブロックでは、同様にして、発生符号量が減少するため、量子化値Ｑを更に小さな値に設定しなくても、ＶＢＶバッファは破綻しない。
【０１５３】
したがって、図１２および図１５を用いて説明した最低値制限量子化値設定処理１および最低値制限量子化値設定処理２を、Ｉピクチャ、イントラスライス、または、イントラマクロブロック以外に対する処理において適用するようにすることにより、ＶＢＶバッファの破綻を防ぎつつ、画質の劣化を防ぐことが可能となる。
【０１５４】
図１６のフローチャートを参照して、図８の符号化部１６１、図１０の符号化部２１１、図１３の符号化部２５１、または、図１４の符号化部２８１が実行する、Ｉピクチャ、イントラスライス、または、イントラマクロブロックにおいては、量子化値Ｑを更に小さな値に設定しないようになされている、量子化決定処理２について説明する。
【０１５５】
ステップＳ６１において、量子化値決定部１７７または量子化値決定部２６１は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータの供給を受けるか否かなどを基に、ヒストリー情報もしくはパラメータを再利用して符号化が実行されるか否かを判断する。
【０１５６】
ステップＳ６１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されると判断された場合、ステップＳ６２において、量子化値決定部１７７または量子化値決定部２６１は、例えば、量子化値を再利用できないと予め設定されているか否か、ヒストリー情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１５７】
ステップＳ６１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されないと判断された場合、もしくは、ステップＳ６２において、量子化値は再利用可能ではないと判断された場合、ステップＳ６３において、量子化値決定部１７７または量子化値決定部２６１は、式（１）乃至式（５）を用いて説明したような演算処理を実行し、通常のレート制御によって、量子化値を決定し、処理が終了される。
【０１５８】
ステップＳ６２において、量子化値は再利用可能であると判断された場合、ステップＳ６４において、量子化値決定部１７７または量子化値決定部２６１は、符号化処理するデータは、Ｉピクチャ、イントラスライス、または、イントラマクロブロックのうちのいずれかであるか否かを判断する。
【０１５９】
ステップＳ６４において、符号化処理するデータは、Ｉピクチャ、イントラスライス、または、イントラマクロブロックのうちのいずれかであると判断された場合、ステップＳ６５において、量子化値決定部１７７または量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている、再利用可能な量子化値Ｑｒｅｆを取得する。
【０１６０】
ステップＳ６６において、量子化値決定部１７７または量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている量子化値Ｑｒｅｆを再利用して、量子化値Ｑ＝Ｑｒｅｆとし、処理が終了される。
【０１６１】
ステップＳ６４において、符号化処理するデータは、Ｉピクチャ、イントラスライス、または、イントラマクロブロックのうちのいずれでもないと判断された場合、ステップＳ６７において、図１２または図１５を用いて説明した最低値制限量子化値設定処理が実行されて、処理が終了される。
【０１６２】
このような処理により、Ｉピクチャ、イントラスライス、または、イントラマクロブロックにおいて、画像の劣化を防止することができるとともに、Ｂピクチャ、Ｐピクチャ、インタースライス、もしくは、インターマクロブロックの量子化に用いることができる量子化値Ｑを、所定の値よりも小さな値にならないように制御して、ＶＢＶバッファの破綻を防止するようにすることができる。
【０１６３】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能であり、１５フレームを、フレーム内符号化画像データ（Ｉピクチャ）、フレーム間順方向予測符号化画像データ（Ｐピクチャ）、もしくは、双方向予測符号化画像データ（Ｂピクチャ）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、もしくは、Ｂピクチャ）に応じて、フレーム画像を符号化するような場合にも適用可能である。
【０１６４】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１６５】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化部１６１、符号化部２１１、符号化部２５１、または、符号化部２８１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１６６】
なお、上述の実施の形態においては、ストリームデータを変換するそれぞれの変換装置やＬｏｎｇＧＯＰ符号化装置が、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部は、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１６７】
すなわち、上述の実施の形態においては、それぞれの変換装置やＬｏｎｇＧＯＰ符号化装置が、ストリームデータを変換するものとして説明したが、例えば、図１７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１６８】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、ＤＣＴ変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１６９】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、ＤＣＴ変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１７０】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１７１】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１や、Ｌｏｎｇ ＧＯＰ符号化装置２０１は、図１８に示されるようなパーソナルコンピュータ３０１により構成される。
【０１７２】
図１８において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７３】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１７４】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１７５】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１７６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１７７】
この記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク３３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１７８】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１７９】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、量子化値の最小値を、自分自身が設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【０１８０】
また、他の本発明によれば、画像データを変換することができるほか、変換処理のうちの符号化処理において、量子化値の最小値を、自分自身が設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【０１８１】
また、他の本発明によれば、画像データを符号化することができる。特に、量子化値の最小値を、符号化の規格において設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【０１８２】
また、他の本発明によれば、画像データを変換することができるほか、変換処理のうちの符号化処理において、量子化値の最小値を、符号化の規格において設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】ＭＰＥＧのＬｏｎｇ ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】ＭＰＥＧのＬｏｎｇ ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】ＳＤＩの静止画を、ＭＰＥＧのＬｏｎｇＧＯＰに符号化する場合のＶＢＶバッファの軌跡について、説明するための図である。
【図６】歪みを持った画像を、過去に符号化した量子化値等を用いて再符号化する場合のＶＢＶバッファの軌跡について、説明するための図である。
【図７】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図８】図７の符号化部の構成を示すブロック図である。
【図９】本発明を適用した、ＭＰＥＧのＬｏｎｇ ＧＯＰのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】量子化値決定処理１について説明するためのフローチャートである。
【図１２】最低値制限量子化値設定処理１について説明するためのフローチャートである。
【図１３】内部にメモリを有する図７の符号化部の構成を示すブロック図である。
【図１４】内部にメモリを有する図９の符号化部の構成を示すブロック図である。
【図１５】最低値制限量子化値設定処理２について説明するためのフローチャートである。
【図１６】量子化値決定処理２について説明するためのフローチャートである。
【図１７】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１８】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１ ＳＤＩ−ＡＳＩ変換装置， ３ フレーム編集装置， ５１ Ｌｏｎｇ ＧＯＰ符号化装置， ６１ 復号部， ６２ 符号化部， １０１ ＡＳＩ−ＳＤＴＩ変換装置， １１１ 復号部， １１２ 符号化部， １２１ 復号部， １４１復号部， １５１ ＳＤＴＩ ＣＰ−ＡＳＩ変換部， １６１ 符号化部， １７１ ヒストリー抽出部， １７２ 画像並べ替え部， １７３ 演算部， １７４ 動きベクトル検出部， １７５ ＤＣＴ部， １７６ 量子化部， １７７ 量子化値決定部， １７８ ＶＬＣ部， １７９ 逆量子化部， １８０逆ＤＣＴ部， １８１ 演算部， １８２ 動き補償部， １８３ フレームメモリ， １８４ バッファ， ２０１ Ｌｏｎｇ ＧＯＰ符号化装置， ２１１ 符号化部， ２２１ パラメータ入力部， ２６１ 量子化値決定部， ２６２ メモリ
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関し、特に、対応するデータに対して過去に施された符号化に関する情報を用いて再符号化することが可能なようになされている場合に用いて好適な、画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。
【０００３】
画像信号が圧縮符号化される場合、生成されるビットストリームが、所定のビットレートになるように符号化が行われる。しかしながら、実運用上において、伝送路の都合により、ビットストリームのビットレートを変換する必要が生じることがある。
【０００４】
また、例えば、伝送された画像信号が、放送局において編集される場合、編集は秒単位で行われるので、フレームの画像情報は、他のフレームの画像情報から独立しているほうがよい。そこで、低いビットレート（例えば、３乃至９Ｍｂｐｓ）で転送しても画質が劣化しないように、情報が相関関係にあるフレームの集合であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）を構成するフレーム数が多いＬｏｎｇ ＧＯＰと、高ビットレート（１８乃至５０Ｍｂｐｓ）で転送される、ＧＯＰを構成するフレーム数が少ないＳｈｏｒｔ ＧＯＰとを、相互に変換する必要があった。
【０００５】
例えば、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムについて、図１を用いて説明する。
【０００６】
ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）−ＡＳＩ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）変換装置１は、供給されたＳＤＩ入力画像を、ＭＰＥＧのＬｏｎｇ ＧＯＰ（ＡＳＩストリーム）となるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを出力する。ＳＤＩとは、Ｐｏｉｎｔ ｔｏ Ｐｏｉｎｔの伝送を基本に考えた、非圧縮のデジタルビデオ・オーディオの伝送方式であり、ＡＮＳＩ（Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ）／ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）２５９Ｍに規定されている。
【０００７】
ＡＳＩ−ＳＤＴＩ ＣＰ（Ｓｅｒｉａｌ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｅｎｔｓ Ｐａｃｋａｇｅ）変換装置２は、供給されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを、復号部２１で一旦復号した後、符号化部２２において、全てイントラフレーム（Ａｌｌ Ｉｎｔｒａ）となるように符号化し、符号化された全てイントラフレームのストリームデータ（ＳＤＴＩ ＣＰストリーム）を、ＳＤＴＩ ＣＰインタフェースのフレーム編集装置３に出力する。ＳＤＴＩ ＣＰとは、Ｐｒｏ−ＭＰＥＧフォーラムの推進でＳＭＰＴＥ３２６Ｍとして標準化された、ＭＰＥＧデータをリアルタイムに伝送（同期転送）する伝送方式の世界標準規格である。
【０００８】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置４に供給される。ＳＤＴＩ ＣＰ−ＡＳＩ変換装置４は、供給された全てイントラフレームのストリームデータを、復号部３１で一旦復号した後、符号化部３２において、ＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータ（ＡＳＩストリーム）を出力する。
【０００９】
また、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇ ＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰに再符号化することが可能なシステムについて、図２を用いて説明する。
【００１０】
Ｌｏｎｇ ＧＯＰ符号化装置５１は、供給されたＳＤＩ入力画像を、復号部６１で一旦復号した後、符号化部６２において、高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。Ｌｏｎｇ ＧＯＰ符号化装置５２は、供給された高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰを、復号部７１で一旦復号した後、符号化部７２において、低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【００１１】
このように、画像情報に対する符号化および復号が繰り返された場合、符号化の度に使用される符号化パラメータが変化してしまうと、画像情報が劣化してしまう。この画像情報の劣化を防止するため、ビットストリームのピクチャ層のユーザデータエリアに挿入された符号化履歴情報を用いることにより、再符号化に伴う画像の劣化を抑制することができる技術がある（例えば、特許文献１参照）。
【００１２】
【特許文献１】
特開２０００−０５９７８８号公報
【００１３】
例えば、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集を行うことが可能なシステムにおいて、符号化履歴情報を利用する場合について、図３を用いて説明する。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１４】
すなわち、ＡＳＩ−ＳＤＴＩ ＣＰ変換装置１０１は、図１と同様のＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのＬｏｎｇ ＧＯＰ（ＡＳＩストリーム）の供給を受ける。
【００１５】
ＭＰＥＧのＬｏｎｇ ＧＯＰはそれぞれ符号化の素性の異なる３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成されるため、それを復号したビデオデータにも、フレームによってそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャの素性を持ったものが存在する。したがって、このビデオデータをＭＰＥＧのＬｏｎｇ ＧＯＰで再符号化する場合、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、それぞれ別のピクチャタイプで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、ＩピクチャおよびＰピクチャより歪が多くなりやすいＢピクチャであったビデオデータをＩピクチャとして符号化してしまうと、その周辺のピクチャが、歪の多いＩピクチャを参照画像として予測符号化されてしまうため、画質が劣化してしまう。
【００１６】
このような再符号化による画質劣化を引き起こさないため、ＡＳＩ−ＳＤＴＩＣＰ変換装置１０１は、供給されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化するとき、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、全てイントラフレームのＳＤＴＩ−ＣＰストリーム上に、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ ｄａｔａ）として付加し、フレーム編集装置３に供給する。
【００１７】
フレーム編集装置３にてフレーム編集されたストリームデータは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２に供給される。ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２は、供給された、ヒストリー情報つきの全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１２２は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等の必要なパラメータを使用して、Ｌｏｎｇ ＧＯＰに再符号化して出力する。
【００１８】
また、図２を用いて説明したように、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＭＰＥＧのＬｏｎｇＧＯＰに再符号化することが可能なシステムにおいて、再符号化のための画像劣化が発生しないようになされている場合について、図４を用いて説明する。なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００１９】
すなわち、ＬｏｎｇＧＯＰ符号化装置５１により符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたＬｏｎｇＧＯＰ符号化装置１３１は、高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部１４２に供給する。符号化部１４２は、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【００２０】
【発明が解決しようとする課題】
上述したように、ヒストリー情報、または、符号化パラメータを用いて、過去の符号化の情報（過去に行われた符号化のピクチャタイプ、動きベクトル、量子化値等）を再利用して符号化することにより、画質劣化を防ぐことが可能である。しかしながら、図３を用いて説明したシステムのように、過去のＭＰＥＧ ＬｏｎｇＧＯＰの符号化とパラメータ再利用符号化との間に、例えば、全てイントラフレームに符号化するような別の符号化を行っている場合、再符号化時にＶＢＶバッファ破綻を起こしてしまう可能性がある。
【００２１】
このような再符号化時のＶＢＶバッファ破綻は、間に入る符号化（全てイントラフレームとする符号化）のビットレートが十分に高くないなどの要因によって、過去の符号化画像が歪んでしまった場合、その歪んだ画像を再符号化するときに、歪んでいない画像の符号化において用いられた量子化値をそのまま適用してしまうことにより生じる。
【００２２】
具体的には、例えば、ＳＤＩの静止画を、ＳＤＩ−ＡＳＩ変換装置１においてＭＰＥＧのＬｏｎｇＧＯＰに符号化すると、図５に示されるＶＢＶバッファの軌跡のように、Ｉピクチャの発生符号量が大きくなり、ＰピクチャおよびＢピクチャの発生符号量は小さくなる。これはＩピクチャで十分に入力画に近い画をつくり、そこからの僅かな差分で、続くＰピクチャおよびＢピクチャを符号化するためである。これらのピクチャが、ＡＳＩ−ＳＤＴＩ ＣＰ符号化装置１０１において全てイントラフレームに符号化される場合、十分大きなビットレートで符号化すれば、過去に符号化された画像に忠実に符号化できるが、全てイントラフレームに符号化するときのビットレートが小さいと、過去に符号化された画像が歪んで符号化されてしまう。
【００２３】
ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２において、このような歪みを持った画像が、ＳＤＩ−ＡＳＩ変換装置１において過去に符号化したときの量子化値等を再利用して再符号化されると、図６に示されるように、過去にＩピクチャであった画像については主に高域成分のデータが落ちているため発生符号量は小さくなるが、ＰピクチャおよびＢピクチャであった画像については、歪により差分が増加したデータに対して、差分が小さかったデータを符号化したＳＤＩ−ＡＳＩ変換装置１において使用した量子化値を用いて符号化してしまう。このために、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２が実行する符号化において、発生符号量が大きくなり、ＶＢＶバッファ破綻が引き起こされてしまう。
【００２４】
本発明はこのような状況に鑑みてなされたものであり、ヒストリー情報、または、過去の符号化のパラメータを利用して実行される符号化において、過去の符号化の量子化値を再利用して使用する場合に、バッファ破綻を引き起こさないようにするものである。
【００２５】
【課題を解決するための手段】
本発明の第１の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００２６】
決定手段には、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００２７】
決定手段には、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００２８】
画像データのうちの量子化する部分が、イントラフレームである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００２９】
画像データのうちの量子化する部分が、イントラスライスである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる
【００３０】
画像データのうちの量子化する部分が、イントラマクロブロックである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００３１】
直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段を更に備えさせるようにすることができ、決定手段には、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択させ、選択された第２の量子化値以上となるように、量子化値を決定させるようにすることができる。
【００３２】
決定手段には、過去の符号化に関する情報が再利用可能であると判断され、更に、過去の符号化に関する情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００３３】
本発明の第１の画像処理方法は、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００３４】
本発明の第１の記録媒体に記録されているプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００３５】
本発明の第１のプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００３６】
本発明の第１の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得され、その情報に含まれる量子化値が再利用可能であるか否かが判断され、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を用いて、量子化が実行され、量子化された量子化係数データが符号化される。
【００３７】
本発明の第１の情報処理装置は、供給された画像データを完全に、または、不完全に復号する復号手段と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００３８】
本発明の第１の情報処理装置においては、供給された画像データが完全に、または、不完全に復号され、ベースバンドの画像データ、または、中途段階まで符号化された画像データが、中途段階まで、または、完全に符号化され、符号化において、画像データに対して過去に行われた符号化に関する情報が取得され、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を基に、量子化が実行され、量子化された量子化係数データが符号化される。
【００３９】
本発明の第２の画像処理装置は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００４０】
決定手段には、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定されるようにすることができる。
【００４１】
決定手段には、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００４２】
画像データのうちの量子化する部分が、イントラフレームである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００４３】
画像データのうちの量子化する部分が、イントラスライスである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００４４】
画像データのうちの量子化する部分が、イントラマクロブロックである場合、決定手段には、画像データが、他の部分を参照せずに符号化可能な部分であると判断させるようにすることができる。
【００４５】
直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段を更に備えさせるようにすることができ、決定手段には、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択させるようにすることができ、選択された第２の量子化値以上となるように、量子化値を決定させるようにすることができる。
【００４６】
決定手段には、過去の符号化に関する情報が再利用可能であると判断され、更に、過去の符号化に関する情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断させるようにすることができ、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定させるようにすることができる。
【００４７】
本発明の第２の画像処理方法は、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００４８】
本発明の第２の記録媒体に記録されているプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００４９】
本発明の第２のプログラムは、画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップとを含むことを特徴とする。
【００５０】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データに対して過去に行われた符号化に関する情報が取得され、その情報に含まれる量子化値が再利用可能であるか否かが判断され、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を用いて、量子化が実行され、量子化された量子化係数データが符号化される。
【００５１】
本発明の第２の情報処理装置は、供給された画像データを完全に、または、不完全に復号する復号手段と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、量子化値を決定する決定手段と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５２】
本発明の第２の情報処理装置においては、供給された画像データが完全に、または、不完全に復号され、ベースバンドの画像データ、または、中途段階まで符号化された画像データが、中途段階まで、または、完全に符号化され、符号化において、画像データに対して過去に行われた符号化に関する情報が取得され、所定の条件が満たされた場合、符号化処理の規格において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値が決定され、決定された量子化値を基に、量子化が実行され、量子化された量子化係数データが符号化される。
【００５３】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段またはステップなどの後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し、もちろんこの記載は、各手段またはステップなどを記載したものに限定することを意味するものではない。
【００５４】
請求項１に記載の画像処理装置（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５５】
請求項３に記載の画像処理装置の決定手段は、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分（例えば、Ｉピクチャ、イントラスライス、または、イントラマクロブロック）に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断し、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定することを特徴とする。
【００５６】
請求項７に記載の画像処理装置は、直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段（例えば、図１３または図１４のメモリ２６２）を更に備え、決定手段は、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択し、選択された第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５７】
請求項９に記載の画像処理方法、請求項１０に記載の記録媒体に記録されているプログラム、および、請求項１１に記載のプログラムは、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）に含まれる量子化値が再利用可能であるか否かを判断する判断ステップ（例えば、図１１のステップＳ２、または、図１６のステップＳ６２の処理）と、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップ（例えば、図１２のステップＳ２２乃至Ｓ２４の処理、または、図１５のステップＳ４５乃至Ｓ４７の処理）とを含むことを特徴とする。
【００５８】
請求項１２に記載の情報処理装置（例えば、図７のＳＤＩＴ ＣＰ−ＡＳＩ変換装置１５１、もしくは、図９のＬｏｎｇ ＧＯＰ符号化装置２０１）は、供給された画像データを完全に、または、不完全に復号する復号手段（例えば、図７の復号部１２１、もしくは、図９の復号部１４１）と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、自分自身が設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００５９】
請求項１３に記載の画像処理装置（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格（例えば、ＭＰＥＧ２）において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００６０】
請求項１５に記載の画像処理装置の決定手段は、画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分（例えば、Ｉピクチャ、イントラスライス、または、イントラマクロブロック）に対応するものであり、かつ、取得手段により取得された情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、所定の条件が満たされたと判断し、第３の量子化値と第２の量子化値のうちの大きい値を量子化値として決定することを特徴とする。
【００６１】
請求項１９に記載の画像処理装置は、直前の符号化におけるビットレートに対応して、複数の第２の量子化値を記憶する記憶手段（例えば、図１３または図１４のメモリ２６２）を更に備え、決定手段は、直前の符号化におけるビットレートを基に、記憶手段により記憶されている複数の第２の量子化値から、直前の符号化におけるビットレートに対応した第２の量子化値を選択し、選択された第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００６２】
請求項２１に記載の画像処理方法、請求項２２に記載の記録媒体に記録されているプログラム、および、請求項２３に記載のプログラムは、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）に含まれる量子化値が再利用可能であるか否かを判断する判断ステップ（例えば、図１１のステップＳ２、または、図１６のステップＳ６２の処理）と、判断ステップの処理により、情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格（例えば、ＭＰＥＧ２）において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定する決定ステップ（例えば、図１２のステップＳ２２乃至Ｓ２４の処理、または、図１５のステップＳ４５乃至Ｓ４７の処理）とを含むことを特徴とする。
【００６３】
請求項２４に記載の情報処理装置（例えば、図７のＳＤＩＴ ＣＰ−ＡＳＩ変換装置１５１、もしくは、図９のＬｏｎｇ ＧＯＰ符号化装置２１１）は、供給された画像データを、完全に、または、不完全に復号する復号手段（例えば、図７の復号部１２１、もしくは、図９の復号部１４１）と、復号手段により完全に復号されたベースバンドの画像データ、または、復号手段により不完全に復号されて生成された、中途段階まで符号化された画像データを、中途段階まで、または、完全に符号化する符号化手段（例えば、図７の符号化部１６１、図９の符号化部２１１、図１３の符号化部２５１、もしくは、図１４の符号化部２８１）とを備え、符号化手段は、画像データに対して過去に行われた符号化に関する情報（例えば、ヒストリー情報、または、パラメータ）を取得する取得手段（例えば、図８もしくは図１３のヒストリー抽出部１７１、または、図１０または図１４のパラメータ入力部２２１）と、量子化値を決定する決定手段（例えば、図８もしくは図１０の量子化値決定部１７７、または、図１３もしくは図１４の量子化値決定部２６１）と、決定手段により決定された量子化値を基に、量子化を実行する量子化手段（例えば、図８、図１３、図１０、または、図１４の量子化部１７６）と、量子化手段により量子化された量子化係数データを符号化する符号化手段（例えば、図８、図１３、図１０、または、図１４のＶＬＣ部１７８）とを備え、決定手段は、所定の条件が満たされた場合、符号化手段により実行される符号化処理の規格（例えば、ＭＰＥＧ２）において設定可能な量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、量子化値を決定することを特徴とする。
【００６４】
以下、図を参照して、本発明の実施の形態について説明する。
【００６５】
図７は、本発明を適用した、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムの構成を示すブロックである。
【００６６】
なお、図３を用いて説明した従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、本発明を適用した、非圧縮のデータをＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータに符号化した後、フレーム編集することが可能なシステムにおいては、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２に代わって、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１が設けられているほかは、図３を用いて説明した従来の場合と基本的に同様に構成されており、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１は、符号化部１２２に代わって、量子化値の最小値を、所定の値に設定可能な符号化部１６１が設けられているほかは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１０２と基本的に同様に構成されている。
【００６７】
ＡＳＩ−ＳＤＴＩ ＣＰ変換装置１０１は、ＳＤＩ−ＡＳＩ変換装置１により符号化されて生成された、ＭＰＥＧのＬｏｎｇ ＧＯＰ（ＡＳＩストリーム）の供給を受ける。
【００６８】
ＭＰＥＧのＬｏｎｇＧＯＰは、３種類のピクチャタイプのピクチャ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）により構成される。ＡＳＩ−ＳＤＴＩ ＣＰ変換装置１０１は、供給されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリームデータを、復号部１１１で一旦復号した後、符号化部１１２において、全てイントラフレームとなるように符号化する場合、その後の処理において、これらのストリームデータがＬｏｎｇＧＯＰで再符号化されるにあたって、Ｉピクチャ、Ｐピクチャ、または、Ｂピクチャの素性を持ったビデオデータに対して、別のピクチャタイプで符号化されてしまうことを防ぐため、過去に実行された符号化、すなわち、ＳＤＩ−ＡＳＩ変換装置１による符号化のピクチャタイプや量子化値などのパラメータを、ＳＭＰＴＥ３２８Ｍのヒストリー情報（Ｈｉｓｔｏｒｙ ｄａｔａ）として、全てイントラフレームのＳＤＴＩ−ＣＰストリーム上に付加し、フレーム編集装置３に供給する。
【００６９】
フレーム編集装置３にてフレーム編集された、ヒストリー情報付のストリームデータは、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１に供給される。ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１は、供給された、ヒストリー情報付の全てイントラフレームのストリームデータを、復号部１２１で復号する。符号化部１６１は、復号されたヒストリー情報に含まれている、ピクチャタイプや量子化値等のパラメータを、必要に応じて使用して、ＬｏｎｇＧＯＰに再符号化して出力する。
【００７０】
図８は、符号化部１６１の構成を示すブロック図である。
【００７１】
ヒストリー抽出部１７１は、復号部１２１により復号された、ヒストリー情報付のＳＤＩＴ ＣＰストリームから、ヒストリー情報を抽出して、量子化値決定部１７７に供給するとともに、映像ストリームを映像並べ替え部１７２に供給する。ヒストリー情報には、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなど、過去に実行された符号化に関する情報が含まれている。
【００７２】
映像並べ替え部１７２は、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、画像データの各フレーム画像を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１７３、および、動きベクトル検出部１７４に供給する。
【００７３】
動きベクトル検出部１７４は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ１８３に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部１８２に送出する。
【００７４】
演算部１７３は、映像並べ替え部１７２から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１７３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。
【００７５】
ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。
【００７６】
まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１７３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ：離散コサイン変換）部１７５に送出する。ＤＣＴ部１７５は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１７６に送出する。
【００７７】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅ；可変長符号化）部１７８および逆量子化部１７９に送出する。ここで、量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御するようになされている。
【００７８】
逆量子化部１７９に送出された量子化ＤＣＴ係数データは、量子化部１７６と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８０に送出される。逆ＤＣＴ部１８０は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部１８１に送出され、参照画像データとしてフレームメモリ１８３に記憶される。
【００７９】
そして、演算部１７３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。
【００８０】
動き補償部１８２は、フレームメモリ１８３に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１７３は、マクロブロックデータについて、動き補償部１８２より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。
【００８１】
すなわち、順方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８２】
演算部１８１には、動き補償部１８２より順方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８３】
また、双方向予測モードにおいて、動き補償部１８２は、フレームメモリ１８３の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを双方向予測画像データとして演算部１７３および演算部１８１に供給する。演算部１７３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１７３は、差分データをＤＣＴ部１７５に送出する。
【００８４】
演算部１８１には、動き補償部１８２より双方向予測画像データが供給されており、演算部１８１は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ１８３に出力して記憶させる。
【００８５】
かくして、符号化部１６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１７８に供給される。ＶＬＣ部１７８は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ１８４に送出する。バッファ１８４は、供給された可変長符号化データをバッファリングした後、出力する。
【００８６】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、ヒストリー抽出部１７１から供給されるヒストリー情報を基に量子化ステップサイズを決定するようになされている。
【００８７】
量子化値決定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、ヒストリー抽出部１７１からヒストリー情報が供給されたか否かを基に、ヒストリー情報を用いて符号化を行うことが可能か否かを判断する。ヒストリー抽出部１７１から供給されるヒストリー情報には、上述したように、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。量子化値決定部１７７は、ヒストリー情報を用いて符号化を行うことが可能であると判断した場合、ヒストリー抽出部１７１から供給されるヒストリー情報を基に、量子化値を再利用することが可能か否かを判断する。
【００８８】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、ヒストリー情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、ヒストリー情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定されるようにしても良い。
【００８９】
そして、ヒストリー情報を基に、量子化値を再利用することが可能であると判断された場合、量子化値決定部１７７は、ヒストリー情報に含まれる量子化値Ｑが、所定の値より大きいか否かを判断する。
【００９０】
上述したように、歪みを持った画像が、過去に符号化した量子化値等を用いて再符号化された場合、例えば、図６を用いて説明したように、過去にＩピクチャであった画像については、主に高域成分のデータが落ちているため発生符号量は小さくなるが、ＰピクチャおよびＢピクチャであった画像については、歪により差分が増加したデータに対して、過去に差分が小さかったときに使用した量子化値を用いて符号化してしまうことにより発生符号量が大きくなり、ＶＢＶバッファ破綻を引き起こしてしまう。このような、ＶＢＶバッファ破綻を防ぐためには、再符号化に用いられる量子化値を適切に調整する必要がある。
【００９１】
すなわち、過去の符号化において小さい量子化値で符号化されたマクロブロックは、情報量が少ないのであるから、再符号化時に発生した歪により増加した情報量によって発生符号量画像化することを防止するためには、量子化値が小さくなりすぎないように調整すればよい。
【００９２】
したがって、間に入る符号化のビットレート等の条件に基づいた適切な最小量子化値Ｑｍｉｎを設定し、ヒストリー情報に含まれる量子化値Ｑｒｅｆが、最小量子化値Ｑｍｉｎよりも小さい場合、量子化値Ｑｒｅｆを再利用せずに、最小量子化値Ｑｍｉｎを用いることにより発生符号量を抑えるようにすることができる。
【００９３】
ＭＰＥＧの規格によれば、量子化値Ｑは、１乃至１１２（ｑ＿ｓｃａｌｅ＿ｔｙｐｅ＝１、すなわち、非線形量子化である場合）、もしくは、２乃至６２（ｑ＿ｓｃａｌｅ＿ｔｙｐｅ＝０、すなわち、線形量子化である場合）の値をとることが可能である。通常、符号化装置、または、トランスコーダ等に含まれる符号化部においては、この範囲内に含まれるいずれかの量子化値Ｑを用いて量子化を実行するようになされている。換言すれば、符号化装置、または、トランスコーダ等に含まれる符号化部は、１乃至１１２、もしくは、２乃至６２の量子化値Ｑを用いるか、１乃至１１２よりも小さな所定の範囲、もしくは、２乃至６２よりも小さな所定の範囲の量子化値Ｑを用いるようになされている。
【００９４】
これに対して、本発明が適用された符号化部１６１は、ヒストリー情報に含まれる過去の符号化の量子化値Ｑｒｅｆを利用することができる場合、通常のレート制御において用いられる量子化値Ｑの範囲（ＭＰＥＧの規格によって定められた値の範囲よりも小さくても良いことは言うまでもない）の下限値よりも大きな所定の最小量子化値Ｑｍｉｎが設定される。符号化部１６１においては、量子化値Ｑｒｅｆが、最小量子化値Ｑｍｉｎよりも小さい場合、量子化値Ｑｒｅｆを再利用せずに、最小量子化値Ｑｍｉｎを用いるようになされている。
【００９５】
例えば、間に入る符号化が、全てのフレームをイントラフレームに符号化するものであり、ビットレートが５０Ｍｂｐｓであるときに、符号化部１６１で用いられるのに適切である最小量子化値Ｑｍｉｎが５であった場合、過去の符号化で使用した量子化値Ｑｒｅｆが２であれば、量子化値決定部１７７は、ヒストリー情報に含まれる量子化値Ｑｒｅｆ＝２を再利用せず、最小量子化値Ｑｍｉｎ＝５を用いる。
【００９６】
最小量子化値Ｑｍｉｎは、条件により適切に調整される。例えば、間に入る符号化が、全てのフレームをイントラフレームに符号化し、ビットレートが３０Ｍｂｐｓである場合、全てのフレームをイントラフレームに符号化し、ビットレートが５０Ｍｂｐｓである場合よりも歪が増加するため、最小量子化値Ｑｍｉｎは、例えば、Ｑｍｉｎ＝７など、上述したビットレート５０Ｍｂｐｓの場合に適切であるＱｍｉｎ＝５より大きな値に調整される。
【００９７】
また、量子化値決定部１７７は、ヒストリー情報を基に量子化ステップサイズを決定しない場合においては、目標発生符号量よりも実際に発生したマクロブロックの発生符号量が多いとき、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量よりも実際の発生符号量が少ないとき、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９８】
すなわち、量子化値決定部１７７は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値Ｑを算出し、これを量子化部１７６に供給する。
【００９９】
ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）は、次の式（１）によって表され、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（２）によって表され、（１）式から（２）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）は、次の式（３）として表される。
【０１００】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−｛Ｔ×（ｊ−１）／ＭＢｃｎｔ｝・・・（１）
【０１０１】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、ＭＢｃｎｔは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０２】
ｄ（ｊ＋１）＝ｄ（０）＋Ｂ（ｊ）−（Ｔ×ｊ）／ＭＢｃｎｔ・・・（２）
【０１０３】
ｄ（ｊ＋１）＝ｄ（ｊ）＋｛Ｂ（ｊ）−Ｂ（ｊ−１）｝−Ｔ／ＭＢｃｎｔ・・・（３）
【０１０４】
なお、量子化値決定部１７７は、ピクチャ内のマクロブロックが、例えば、イントラスライス部分とインタースライス部分とに分かれている場合には、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴｐｉおよびＴｐｐをそれぞれ個別に設定することができる。
【０１０５】
したがって、量子化値決定部１７７は、バッファ占有量ｄ（ｊ＋１）、および、式（４）に示される定数ｒを、式（５）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部１７６に供給する。
【０１０６】
ｒ＝（２×ｂｒ）／ｐｒ ・・・（４）
Ｑ（ｊ＋１）＝ｄ（ｊ＋１）×（３１／ｒ） ・・・（５）
ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１０７】
量子化部１７６は、量子化値決定部１７７から供給される量子化値Ｑに基づいて、次のマクロブロックにおける量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１０８】
これにより、量子化部１７６は、実際の発生符号量に基づいて算出された、次のピクチャの目標発生符号量にとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１０９】
かくして、量子化部１７６では、バッファ１８４のデータ占有量に応じて、バッファ１８４がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１１０】
なお、以上においては、符号化処理を、ピクチャ単位で行う場合について説明したが、符号化処理が、ピクチャ単位ではなく、例えば、スライス単位や、マクロブロック単位で行われる場合にも、基本的に同様にして、符号化処理が実行される。
【０１１１】
また、図４を用いて説明した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して、低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、再符号化のための画像劣化が発生しないようになされているシステムについても、同様にして本発明を適用することが可能である。図９は、本発明を適用した、入力画像を高ビットレートでＭＰＥＧのＬｏｎｇＧＯＰに符号化し、それを復号して低ビットレートのＬｏｎｇＧＯＰに再符号化する場合に、ＶＢＶバッファの破綻を防止しつつ、再符号化のための画像劣化が発生しないようになされているシステムの構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１２】
すなわち、図９のシステムは、ＬｏｎｇＧＯＰ符号化装置１３１に代わって、ＬｏｎｇＧＯＰ符号化装置２０１が備えられ、ＬｏｎｇＧＯＰ符号化装置２０１は、符号化部１４２に代わって、量子化値の設定値に所定の最低値を設けることが可能な符号化部２１１が設けられているほかは、基本的に、ＬｏｎｇＧＯＰ符号化装置１３１と同様の構成を有する。
【０１１３】
ＬｏｎｇＧＯＰ符号化装置５１により符号化されたＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データの供給を受けたＬｏｎｇＧＯＰ符号化装置２０１は、高ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰを、復号部１４１で復号するときに、必要な符号化パラメータを取得して、復号されたビデオデータと取得された符号化パラメータを符号化部２１１に供給する。符号化部２１１は、必要に応じて、供給された符号化パラメータを用いて、ビデオデータを、低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰとなるように符号化し、符号化された低ビットレートのＭＰＥＧのＬｏｎｇ ＧＯＰのストリーム（ＡＳＩストリーム）データを出力する。
【０１１４】
図１０は、符号化部２１１の構成を示すブロック図である。なお、図１０においては、図８の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１５】
すなわち、符号化部２１１は、ヒストリー抽出部１７１が省略され、復号部１４１から供給されるパラメータを取得して量子化値決定部１７７に供給する、パラメータ入力部２２１が設けられているほかは、図８の符号化部１６１と、基本的に同様の構成を有するものである。
【０１１６】
量子化値決定部１７７は、バッファ１８４に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報、または、パラメータ入力部２２１から供給されるパラメータ情報を基に量子化ステップサイズを決定するようになされている。
【０１１７】
量子化値決定部１７７は、図示しない操作入力部から供給されるユーザの操作入力を示す信号、または、パラメータ入力部２２１からパラメータ情報が供給されたか否かを基に、パラメータ情報を用いて符号化を行うか否かを判断する。パラメータ入力部２２１から供給されるパラメータ情報には、上述したヒストリー情報と同様に、例えば、ピクチャタイプ、量子化値、動きベクトル、または、量子化マトリクスなどが含まれる。
【０１１８】
レート設定部１７７は、パラメータ情報を用いて符号化を行うことが可能であると判断した場合、パラメータ入力部２２１から供給されるパラメータ情報を基に、量子化値を再利用することが可能か否かを判断する。
【０１１９】
ここで、量子化値を再利用することが可能であるか否かは、例えば、量子化値を再利用できるか否かを、ユーザによって予め設定可能なようにしても良いし、パラメータ情報の中に、量子化値を再利用することが可能であるか否の情報が記載されているものとしても良いし、パラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、パラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件により決定される。
【０１２０】
そして、パラメータ情報を基に、量子化値を再利用することが可能であると判断された場合、量子化値決定部１７７は、パラメータ情報に含まれる量子化値Ｑが、所定の値より大きいか否かを判断する。
【０１２１】
最小量子化値Ｑｍｉｎには、間に入る符号化のビットレート等の条件に基づいた適切な値が設定され、量子化値決定部１７７は、パラメータ情報に含まれる量子化値Ｑｒｅｆが、最小量子化値Ｑｍｉｎよりも小さい場合、量子化値Ｑｒｅｆを再利用せずに、最小量子化値Ｑｍｉｎを用いることにより発生符号量を抑えるようにすることができる。
【０１２２】
次に、図１１のフローチャートを参照して、図８を用いて説明した符号化部１６１、または、図１０を用いて説明した符号化部２１１において実行される、量子化値決定処理１について説明する。
【０１２３】
ステップＳ１において、量子化値決定部１７７は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータ情報の供給を受けたか否かを基に、ヒストリー情報もしくはパラメータを再利用して符号化が実行されるか否かを判断する。
【０１２４】
ステップＳ１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されると判断された場合、ステップＳ２において、量子化値決定部１７７は、例えば、量子化値を再利用できないと予め設定されているか否か、ヒストリー情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１２５】
ステップＳ２において、量子化値は再利用可能であると判断された場合、ステップＳ３において、図１２を用いて後述する最低値制限量子化値設定処理が実行されて、処理が終了される。
【０１２６】
ステップＳ１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されないと判断された場合、もしくは、ステップＳ２において、量子化値は再利用可能ではないと判断された場合、ステップＳ４において、量子化値決定部１７７は、式（１）乃至式（５）を用いて説明したような演算処理を実行し、通常のレート制御によって、量子化値を決定し、処理が終了される。
【０１２７】
このような処理により、量子化値が再利用可能か否かが判断され、量子化値が再利用可能であると判断された場合、最低値制限量子化値設定処理が実行される。
【０１２８】
次に、図１２のフローチャートを参照して、図１１のステップＳ３において実行される、最低値制限量子化値設定処理１について説明する。
【０１２９】
ステップＳ２１において、量子化値決定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている再利用可能な量子化値Ｑｒｅｆを取得する。
【０１３０】
ステップＳ２２において、量子化値決定部１７７は、ステップＳ２１において取得された量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいか否かを判断する。
【０１３１】
ステップＳ２２において、量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さいと判断された場合、ステップＳ２３において、量子化値決定部１７７は、量子化値Ｑ＝Ｑｍｉｎとして、処理が終了される。
【０１３２】
ステップＳ２２において、量子化値Ｑｒｅｆは、予め定められた量子化値の最小値Ｑｍｉｎより小さくない、すなわち、大きいと判断された場合、ステップＳ２４において、量子化値決定部１７７は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている量子化値Ｑｒｅｆを再利用して、量子化値Ｑ＝Ｑｒｅｆとし、処理が終了される。
【０１３３】
図１２を用いて説明した処理により、量子化値Ｑを、所定の値よりも小さな値にならないように制御することができる。このことにより、歪により差分が増加したデータに対して、小さすぎる量子化値を用いて量子化が実行されてしまうことにより、ＶＢＶバッファが破綻してしまうことを防ぐようにすることができる。
【０１３４】
なお、図１２を用いて説明した処理においては、予め定められた量子化値の最小値Ｑｍｉｎを用いて、量子化値Ｑが、最小値Ｑｍｉｎより小さな値にならないように制御するようにしたが、直前の符号化のビットレートを検出することができる場合、量子化値の最小値Ｑｍｉｎをビットレートに対応させて、複数用意しておき、検出された直前の符号化のビットレートに応じて、最適な量子化値の最小値Ｑｍｉｎを選択して、量子化値Ｑを、所定の値よりも小さな値にならないように制御するようにすることができる。
【０１３５】
図１３および図１４は、量子化値の最小値Ｑｍｉｎを複数用意し、直前の符号化のビットレートに応じて、最適な量子化値の最小値Ｑｍｉｎを選択することが可能な符号化部２５１および符号化部２８１の構成を示すブロック図である。
【０１３６】
図７のＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１において、符号化部１６１に代わって、図１３の符号化部２５１を設けるようにし、図９のＬｏｎｇ ＧＯＰ符号化装置２０１において、符号化部２１１に代わって、図１４の符号化部２８１を設けるようにすれば、直前の符号化のビットレートに応じて、複数の値の中から、最適な量子化値の最小値Ｑｍｉｎを選択することが可能となる。
【０１３７】
なお、図１３においては、図８の符号化部１６１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図１４においては、図１０の符号化部２１１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１３の符号化部２５１は、量子化値決定部１７７に代わって、量子化値決定部２６１が設けられ、新たにメモリ２６２が設けられている以外は、図８の符号化部１６１と基本的に同様の構成を有するものであり、図１４の符号化部２８１は、量子化値決定部１７７に代わって、量子化値決定部２６１が設けられ、新たにメモリ２６２が設けられている以外は、図１０の符号化部２１１と基本的に同様の構成を有するものである。
【０１３８】
メモリ２６２には、直前の符号化のビットレートに対応付けられた複数の量子化値の最小値Ｑｍｉｎが記憶されている。量子化値決定部２６１は、供給されるヒストリー情報、もしくは、パラメータ情報から、直前の符号化のビットレートを検出することが可能である場合、または、直前の符号化のビットレートを予め認識している場合、メモリ２６２を参照して、直前の符号化のビットレートに対応する量子化値の最小値Ｑｍｉｎを選択して読み込む。
【０１３９】
そして、量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている再利用可能な量子化値Ｑｒｅｆを、直前の符号化のビットレートに対応して選択された量子化値の最小値Ｑｍｉｎと比較し、そのうちの大きい方の値を量子化部１７６に供給するようになされている。また、量子化値決定部２６１は、直前の符号化のビットレートを検出することができない場合、図１２を用いて説明した場合と同様に、予め定められた量子化値の最小値Ｑｍｉｎと量子化値Ｑｒｅｆとを比較して、そのうちの大きい方の値を量子化部１７６に供給するようになされている。
【０１４０】
図１３の符号化部２５１および図１４の符号化部２８１は、図１１のフローチャートを用いて説明した、量子化値決定処理１を実行可能であるが、図１１のステップＳ３においては、図１２のフローチャートを参照して説明した最低値制限量子化値設定処理１に代わって、図１５のフローチャートに示される最低値制限量子化値設定処理２を実行することができる。
【０１４１】
図１５のフローチャートを参照して、図１３の符号化部２５１または図１４の符号化部２８１が、図１１を用いて説明した量子化値決定処理１のステップＳ３において実行する、最低値制限量子化値設定処理２について説明する。
【０１４２】
ステップＳ４１において、量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている再利用可能な量子化値Ｑｒｅｆを取得する。
【０１４３】
ステップＳ４２において、量子化値決定部２６１は、直前の符号化のビットレートは既知であるか、または、検出可能であるか否かを判断する。
【０１４４】
ステップＳ４２において、直前の符号化のビットレートは既知である、または、検出可能であると判断された場合、ステップＳ４３において、量子化値決定部２６１は、直前の符号化のビットレートを検出してメモリ２６２を参照し、検出されたビットレートに対応した量子化値を選択して、最小値Ｑｍｉｎとして設定する。
【０１４５】
ステップＳ４２において、直前の符号化のビットレートは既知ではなく、検出可能でもないと判断された場合、ステップＳ４４において、量子化値決定部２６１は、量子化値の最小値Ｑｍｉｎを、間に入る符号化のビットレート等の条件に基づいて適切な値に予め定められた、所定の値に設定する。
【０１４６】
ステップＳ４３またはステップＳ４４の処理の終了後、ステップＳ４５において、量子化値決定部２６１は、ステップＳ４１において取得された量子化値Ｑｒｅｆは、ステップＳ４３の処理により設定された、ビットレートに対応した量子化値の最小値Ｑｍｉｎ、または、ステップＳ４４の処理により設定された、予め定められた量子化値の最小値Ｑｍｉｎより小さいか否かを判断する。
【０１４７】
ステップＳ４５において、量子化値Ｑｒｅｆは、設定された量子化値の最小値Ｑｍｉｎより小さいと判断された場合、ステップＳ４６において、量子化値決定部２６１は、量子化値Ｑ＝Ｑｍｉｎとして、処理が終了される。
【０１４８】
ステップＳ４５において、量子化値Ｑｒｅｆは、設定された量子化値の最小値Ｑｍｉｎより小さくない、すなわち、大きいと判断された場合、ステップＳ４７において、量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている量子化値Ｑｒｅｆを再利用して、量子化値Ｑ＝Ｑｒｅｆとし、処理が終了される。
【０１４９】
図１５を用いて説明した処理により、量子化値Ｑを、直前のフレームレートに対応して選択される量子化値よりも小さな値にならないように制御することができる。このことにより、歪により差分が増加したデータに対して、小さすぎる量子化値を用いて量子化が実行されてしまうことにより、ＶＢＶバッファが破綻してしまうこと、および、必要以上に画像が劣化してしまうことを防ぐようにすることができる。
【０１５０】
ところで、図１２および図１５を用いて説明した処理は、ＶＢＶバッファの破綻を防ぐために、量子化値Ｑが小さな値となり、発生符号量が増加するのを防ぐものである。すなわち、図１２を用いて説明した最低値制限量子化値設定処理１および図１５を用いて説明した最低値制限量子化値設定処理２が実行された場合、発生符号量が減少されるので、画像は劣化してしまう。
【０１５１】
例えば、ＰピクチャおよびＢピクチャであった画像に歪が生じてしまった場合、歪により差分が増加したピクチャまたはＢピクチャに対して、過去に差分が小さかったときに使用された量子化値が用いられて再符号化が施されてしまうことにより、発生符号量が大きくなり、ＶＢＶバッファ破綻が引き起こされてしまう。しかしながら、図６を用いて説明したように、過去にＩピクチャであった画像については、主に高域成分のデータが落ちているため、発生符号量は小さくなる。すなわち、符号化処理を行うピクチャがＩピクチャである場合、量子化値Ｑを更に小さな値に設定しなくても、発生符号量が減少するため、ＶＢＶバッファは破綻しない。
【０１５２】
また、符号化処理が、ピクチャ単位ではなく、スライス単位やマクロブロック単位の予測符号化モードで行われる場合においても、イントラスライスやイントラマクロブロックでは、同様にして、発生符号量が減少するため、量子化値Ｑを更に小さな値に設定しなくても、ＶＢＶバッファは破綻しない。
【０１５３】
したがって、図１２および図１５を用いて説明した最低値制限量子化値設定処理１および最低値制限量子化値設定処理２を、Ｉピクチャ、イントラスライス、または、イントラマクロブロック以外に対する処理において適用するようにすることにより、ＶＢＶバッファの破綻を防ぎつつ、画質の劣化を防ぐことが可能となる。
【０１５４】
図１６のフローチャートを参照して、図８の符号化部１６１、図１０の符号化部２１１、図１３の符号化部２５１、または、図１４の符号化部２８１が実行する、Ｉピクチャ、イントラスライス、または、イントラマクロブロックにおいては、量子化値Ｑを更に小さな値に設定しないようになされている、量子化決定処理２について説明する。
【０１５５】
ステップＳ６１において、量子化値決定部１７７または量子化値決定部２６１は、図示しない操作入力部から供給される、ユーザの操作入力を示す信号を基に、または、ヒストリー情報抽出部１７１からヒストリー情報、もしくは、パラメータ入力部２２１からパラメータの供給を受けるか否かなどを基に、ヒストリー情報もしくはパラメータを再利用して符号化が実行されるか否かを判断する。
【０１５６】
ステップＳ６１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されると判断された場合、ステップＳ６２において、量子化値決定部１７７または量子化値決定部２６１は、例えば、量子化値を再利用できないと予め設定されているか否か、ヒストリー情報の中に、量子化値を再利用することが可能であると記載されているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化が実行された画像枠と、再符号化時の画像枠が、位置および大きさとも一致しているか否か、ヒストリー情報やパラメータ情報に示されている以前の符号化におけるビットレートが、今回の符号化のビットレートよりも小さいか否か、または、以前の符号化におけるクロマフォーマットが、今回のクロマフォーマットより大きいか否かなどの所定の条件を満たしているか否かを基に、量子化値は再利用可能であるか否かを判断する。
【０１５７】
ステップＳ６１において、ヒストリー情報もしくはパラメータを再利用して符号化が実行されないと判断された場合、もしくは、ステップＳ６２において、量子化値は再利用可能ではないと判断された場合、ステップＳ６３において、量子化値決定部１７７または量子化値決定部２６１は、式（１）乃至式（５）を用いて説明したような演算処理を実行し、通常のレート制御によって、量子化値を決定し、処理が終了される。
【０１５８】
ステップＳ６２において、量子化値は再利用可能であると判断された場合、ステップＳ６４において、量子化値決定部１７７または量子化値決定部２６１は、符号化処理するデータは、Ｉピクチャ、イントラスライス、または、イントラマクロブロックのうちのいずれかであるか否かを判断する。
【０１５９】
ステップＳ６４において、符号化処理するデータは、Ｉピクチャ、イントラスライス、または、イントラマクロブロックのうちのいずれかであると判断された場合、ステップＳ６５において、量子化値決定部１７７または量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている、再利用可能な量子化値Ｑｒｅｆを取得する。
【０１６０】
ステップＳ６６において、量子化値決定部１７７または量子化値決定部２６１は、ヒストリー情報抽出部１７１から供給されたヒストリー情報、もしくは、パラメータ入力部２２１から供給されたパラメータに含まれている量子化値Ｑｒｅｆを再利用して、量子化値Ｑ＝Ｑｒｅｆとし、処理が終了される。
【０１６１】
ステップＳ６４において、符号化処理するデータは、Ｉピクチャ、イントラスライス、または、イントラマクロブロックのうちのいずれでもないと判断された場合、ステップＳ６７において、図１２または図１５を用いて説明した最低値制限量子化値設定処理が実行されて、処理が終了される。
【０１６２】
このような処理により、Ｉピクチャ、イントラスライス、または、イントラマクロブロックにおいて、画像の劣化を防止することができるとともに、Ｂピクチャ、Ｐピクチャ、インタースライス、もしくは、インターマクロブロックの量子化に用いることができる量子化値Ｑを、所定の値よりも小さな値にならないように制御して、ＶＢＶバッファの破綻を防止するようにすることができる。
【０１６３】
なお、本発明は、例えば、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされているローディレイエンコードを行う場合においても適用可能であり、１５フレームを、フレーム内符号化画像データ（Ｉピクチャ）、フレーム間順方向予測符号化画像データ（Ｐピクチャ）、もしくは、双方向予測符号化画像データ（Ｂピクチャ）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、もしくは、Ｂピクチャ）に応じて、フレーム画像を符号化するような場合にも適用可能である。
【０１６４】
また、本発明は、ローディレイコーディングとして各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合においても、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにした場合においても適用可能である。
【０１６５】
更に、上述の実施の形態においては、本発明をＭＰＥＧ方式によって圧縮符号化する符号化部１６１、符号化部２１１、符号化部２５１、または、符号化部２８１に適用するようにした場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０１６６】
なお、上述の実施の形態においては、ストリームデータを変換するそれぞれの変換装置やＬｏｎｇＧＯＰ符号化装置が、それぞれ、復号部と符号化部を有しているものとして説明したが、復号部および符号化部は、それぞれ、復号装置および符号化装置として、独立した装置として構成されている場合においても、本発明は適用可能である。
【０１６７】
すなわち、上述の実施の形態においては、それぞれの変換装置やＬｏｎｇＧＯＰ符号化装置が、ストリームデータを変換するものとして説明したが、例えば、図１７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置２５１、ベースバンド信号を符号化してストリームデータに変換する符号化装置２５２が、それぞれ独立した装置として構成されていても良い。更に、復号装置２５１が、供給されたストリームデータを完全に復号せず、対応する符号化装置２５２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
【０１６８】
例えば、復号装置２５１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していなかった場合、符号化装置２５２は、量子化および可変長符号化処理を行うが、ＤＣＴ変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行う符号化装置２５２の量子化における量子化値を再利用するか否かの決定において、本発明を適用することができるのは言うまでもない。
【０１６９】
更に、復号装置２５１が完全に復号したベースバンド信号を、符号化装置２５２が中途段階まで符号化する場合（例えば、ＤＣＴ変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置２５１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆ＤＣＴ変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置２５２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
【０１７０】
更に、このような部分的な復号を行う符号化装置２５１と部分的な符号化を行う符号化装置２５２で構成されたトランスコーダ２６１においても、本発明は適用可能である。このようなトランスコーダ２６１は、例えば、スプライシングなどの編集を行う編集装置２６２が利用される場合などに用いられる。
【０１７１】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ＳＤＴＩ ＣＰ−ＡＳＩ変換装置１５１や、Ｌｏｎｇ ＧＯＰ符号化装置２０１は、図１８に示されるようなパーソナルコンピュータ３０１により構成される。
【０１７２】
図１８において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７３】
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
【０１７４】
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１７５】
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
【０１７６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１７７】
この記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を含む）、光磁気ディスク３３３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
【０１７８】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０１７９】
【発明の効果】
このように、本発明によれば、画像データを符号化することができる。特に、量子化値の最小値を、自分自身が設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【０１８０】
また、他の本発明によれば、画像データを変換することができるほか、変換処理のうちの符号化処理において、量子化値の最小値を、自分自身が設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【０１８１】
また、他の本発明によれば、画像データを符号化することができる。特に、量子化値の最小値を、符号化の規格において設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【０１８２】
また、他の本発明によれば、画像データを変換することができるほか、変換処理のうちの符号化処理において、量子化値の最小値を、符号化の規格において設定可能な量子化値の範囲の最小値よりも大きな値に設定することができるので、画像の劣化を防ぐようにすることができる。
【図面の簡単な説明】
【図１】フレーム編集を行う場合の再符号化が行われる従来のシステムを説明するための図である。
【図２】ＭＰＥＧのＬｏｎｇ ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムについて説明するための図である。
【図３】フレーム編集を行う場合の再符号化が行われる従来のシステムにおいて、符号化履歴情報を利用する場合について、説明するための図である。
【図４】ＭＰＥＧのＬｏｎｇ ＧＯＰのビットレートを変更して再符号化することが可能な従来のシステムで符号化履歴情報を利用する場合について、説明するための図である。
【図５】ＳＤＩの静止画を、ＭＰＥＧのＬｏｎｇＧＯＰに符号化する場合のＶＢＶバッファの軌跡について、説明するための図である。
【図６】歪みを持った画像を、過去に符号化した量子化値等を用いて再符号化する場合のＶＢＶバッファの軌跡について、説明するための図である。
【図７】本発明を適用した、フレーム編集を行う場合の再符号化が行われるシステムの構成を示すブロックである。
【図８】図７の符号化部の構成を示すブロック図である。
【図９】本発明を適用した、ＭＰＥＧのＬｏｎｇ ＧＯＰのビットレートを変更して再符号化することが可能なシステムの構成を示すブロック図である。
【図１０】図９の符号化部の構成を示すブロック図である。
【図１１】量子化値決定処理１について説明するためのフローチャートである。
【図１２】最低値制限量子化値設定処理１について説明するためのフローチャートである。
【図１３】内部にメモリを有する図７の符号化部の構成を示すブロック図である。
【図１４】内部にメモリを有する図９の符号化部の構成を示すブロック図である。
【図１５】最低値制限量子化値設定処理２について説明するためのフローチャートである。
【図１６】量子化値決定処理２について説明するためのフローチャートである。
【図１７】本発明を適用可能な異なる装置の構成について説明するための図である。
【図１８】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
１ ＳＤＩ−ＡＳＩ変換装置， ３ フレーム編集装置， ５１ Ｌｏｎｇ ＧＯＰ符号化装置， ６１ 復号部， ６２ 符号化部， １０１ ＡＳＩ−ＳＤＴＩ変換装置， １１１ 復号部， １１２ 符号化部， １２１ 復号部， １４１復号部， １５１ ＳＤＴＩ ＣＰ−ＡＳＩ変換部， １６１ 符号化部， １７１ ヒストリー抽出部， １７２ 画像並べ替え部， １７３ 演算部， １７４ 動きベクトル検出部， １７５ ＤＣＴ部， １７６ 量子化部， １７７ 量子化値決定部， １７８ ＶＬＣ部， １７９ 逆量子化部， １８０逆ＤＣＴ部， １８１ 演算部， １８２ 動き補償部， １８３ フレームメモリ， １８４ バッファ， ２０１ Ｌｏｎｇ ＧＯＰ符号化装置， ２１１ 符号化部， ２２１ パラメータ入力部， ２６１ 量子化値決定部， ２６２ メモリ
Claims (24)
- 画像データを符号化する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
量子化値を決定する決定手段と、
前記決定手段により決定された前記量子化値を基に、量子化を実行する量子化手段と、
前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
を備え、
前記決定手段は、所定の条件が満たされた場合、自分自身が設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する
ことを特徴とする画像処理装置。 - 前記決定手段は、前記取得手段により取得された前記情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、前記所定の条件が満たされたと判断し、前記第３の量子化値と前記第２の量子化値のうちの大きい値を前記量子化値として決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記決定手段は、前記画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分に対応するものであり、かつ、前記取得手段により取得された前記情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、前記所定の条件が満たされたと判断し、前記第３の量子化値と前記第２の量子化値のうちの大きい値を前記量子化値として決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像データのうちの量子化する部分が、イントラフレームである場合、前記決定手段は、前記画像データが、他の部分を参照せずに符号化可能な部分であると判断する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記画像データのうちの量子化する部分が、イントラスライスである場合、前記決定手段は、前記画像データが、他の部分を参照せずに符号化可能な部分であると判断する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記画像データのうちの量子化する部分が、イントラマクロブロックである場合、前記決定手段は、前記画像データが、他の部分を参照せずに符号化可能な部分であると判断する
ことを特徴とする請求項３に記載の画像処理装置。 - 直前の符号化におけるビットレートに対応して、複数の前記第２の量子化値を記憶する記憶手段を更に備え、
前記決定手段は、直前の符号化における前記ビットレートを基に、前記記憶手段により記憶されている複数の前記第２の量子化値から、直前の符号化における前記ビットレートに対応した前記第２の量子化値を選択し、選択された前記第２の量子化値以上となるように、前記量子化値を決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記決定手段は、前記過去の符号化に関する情報が再利用可能であると判断され、更に、前記過去の符号化に関する情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、前記所定の条件が満たされたと判断し、前記第３の量子化値と前記第２の量子化値のうちの大きい値を前記量子化値として決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 画像データを符号化する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する決定ステップと
を含むことを特徴とする画像処理方法。 - 画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する決定ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記情報に含まれる量子化値が再利用可能であると判断された場合、自分自身が設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する決定ステップと
を含むことを特徴とするプログラム。 - 画像データを変換する情報処理装置において、
供給された前記画像データを完全に、または、不完全に復号する復号手段と、
前記復号手段により完全に復号されたベースバンドの前記画像データ、または、前記復号手段により不完全に復号されて生成された、中途段階まで符号化された前記画像データを、中途段階まで、または、完全に符号化する符号化手段と
を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得
する取得手段と、
量子化値を決定する決定手段と、
前記決定手段により決定された前記量子化値を基に、量子化を実行する量子化手段と、
前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
を備え、
前記決定手段は、所定の条件が満たされた場合、自分自身が設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する
ことを特徴とする情報処理装置。 - 画像データを符号化する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
量子化値を決定する決定手段と、
前記決定手段により決定された前記量子化値を基に、量子化を実行する量子化手段と、
前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
を備え、
前記決定手段は、所定の条件が満たされた場合、前記符号化手段により実行される符号化処理の規格において設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する
ことを特徴とする画像処理装置。 - 前記決定手段は、前記取得手段により取得された前記情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、前記所定の条件が満たされたと判断し、前記第３の量子化値と前記第２の量子化値のうちの大きい値を前記量子化値として決定する
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記決定手段は、前記画像データのうちの量子化する部分が、他の部分を参照せずに符号化可能な部分に対応するものであり、かつ、前記取得手段により取得された前記情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、前記所定の条件が満たされたと判断し、前記第３の量子化値と前記第２の量子化値のうちの大きい値を前記量子化値として決定する
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記画像データのうちの量子化する部分が、イントラフレームである場合、前記決定手段は、前記画像データが、他の部分を参照せずに符号化可能な部分であると判断する
ことを特徴とする請求項１５に記載の画像処理装置。 - 前記画像データのうちの量子化する部分が、イントラスライスである場合、前記決定手段は、前記画像データが、他の部分を参照せずに符号化可能な部分であると判断する
ことを特徴とする請求項１５に記載の画像処理装置。 - 前記画像データのうちの量子化する部分が、イントラマクロブロックである場合、前記決定手段は、前記画像データが、他の部分を参照せずに符号化可能な部分であると判断する
ことを特徴とする請求項１５に記載の画像処理装置。 - 直前の符号化におけるビットレートに対応して、複数の前記第２の量子化値を記憶する記憶手段を更に備え、
前記決定手段は、直前の符号化における前記ビットレートを基に、前記記憶手段により記憶されている複数の前記第２の量子化値から、直前の符号化における前記ビットレートに対応した前記第２の量子化値を選択し、選択された前記第２の量子化値以上となるように、前記量子化値を決定する
ことを特徴とする請求項１３に記載の画像処理装置。 - 前記決定手段は、前記過去の符号化に関する情報が再利用可能であると判断され、更に、前記過去の符号化に関する情報のうち、過去の符号化に用いられた第３の量子化値が再利用可能であると判断された場合、前記所定の条件が満たされたと判断し、前記第３の量子化値と前記第２の量子化値のうちの大きい値を前記量子化値として決定する
ことを特徴とする請求項１３に記載の画像処理装置。 - 画像データを符号化する画像処理装置の画像処理方法において、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する決定ステップと
を含むことを特徴とする画像処理方法。 - 画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する決定ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 画像データを符号化する処理をコンピュータに実行させるためのプログラムであって、
前記画像データに対して過去に行われた符号化に関する情報に含まれる量子化値が再利用可能であるか否かを判断する判断ステップと、
前記判断ステップの処理により、前記情報に含まれる量子化値が再利用可能であると判断された場合、符号化処理の規格において設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する決定ステップと
を含むことを特徴とするプログラム。 - 画像データを変換する情報処理装置において、
供給された前記画像データを完全に、または、不完全に復号する復号手段と、
前記復号手段により完全に復号されたベースバンドの前記画像データ、または、前記復号手段により不完全に復号されて生成された、中途段階まで符号化された前記画像データを、中途段階まで、または、完全に符号化する符号化手段と
を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手段と、
量子化値を決定する決定手段と、
前記決定手段により決定された前記量子化値を基に、量子化を実行する量子化手段と、
前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
を備え、
前記決定手段は、所定の条件が満たされた場合、前記符号化手段により実行される符号化処理の規格において設定可能な前記量子化値の範囲の最小値である第１の量子化値より大きな第２の量子化値以上となるように、前記量子化値を決定する
ことを特徴とする情報処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003135348A JP4224778B2 (ja) | 2003-05-14 | 2003-05-14 | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム |
| US10/844,997 US8107528B2 (en) | 2003-05-14 | 2004-05-13 | Picture processing apparatus, picture processing method, information processing apparatus, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003135348A JP4224778B2 (ja) | 2003-05-14 | 2003-05-14 | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004343278A true JP2004343278A (ja) | 2004-12-02 |
| JP4224778B2 JP4224778B2 (ja) | 2009-02-18 |
Family
ID=33525633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003135348A Expired - Fee Related JP4224778B2 (ja) | 2003-05-14 | 2003-05-14 | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8107528B2 (ja) |
| JP (1) | JP4224778B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009077105A (ja) * | 2007-09-20 | 2009-04-09 | Sony Corp | 編集装置および編集方法、プログラム、並びに記録媒体 |
| US8780123B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Interrupt handling techniques in the rasterizer of a GPU |
| US9064333B2 (en) * | 2007-12-17 | 2015-06-23 | Nvidia Corporation | Interrupt handling techniques in the rasterizer of a GPU |
| US8681861B2 (en) * | 2008-05-01 | 2014-03-25 | Nvidia Corporation | Multistandard hardware video encoder |
| US8923385B2 (en) | 2008-05-01 | 2014-12-30 | Nvidia Corporation | Rewind-enabled hardware encoder |
| US20110274162A1 (en) * | 2010-05-04 | 2011-11-10 | Minhua Zhou | Coding Unit Quantization Parameters in Video Coding |
| JP5879555B2 (ja) * | 2010-05-10 | 2016-03-08 | パナソニックＩｐマネジメント株式会社 | 動画像符号化装置 |
| US9510019B2 (en) | 2012-08-09 | 2016-11-29 | Google Inc. | Two-step quantization and coding method and apparatus |
| US20140078860A1 (en) * | 2012-09-19 | 2014-03-20 | Cgg Services Sa | Interference noise attenuation method and apparatus |
| US9253483B2 (en) | 2012-09-25 | 2016-02-02 | Google Technology Holdings LLC | Signaling of scaling list |
| CN105187835B (zh) * | 2014-05-30 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 基于内容的自适应视频转码方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3244399B2 (ja) | 1994-03-25 | 2002-01-07 | 三洋電機株式会社 | 圧縮動画像符号信号の情報量変換回路、及び方法 |
| US5731837A (en) * | 1996-01-25 | 1998-03-24 | Thomson Multimedia, S.A. | Quantization circuitry as for video signal compression systems |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| JP3724205B2 (ja) | 1998-03-10 | 2005-12-07 | ソニー株式会社 | 復号装置および方法、並びに記録媒体 |
| JP3871840B2 (ja) | 1999-12-24 | 2007-01-24 | 日本電気株式会社 | 圧縮動画像再符号化装置 |
| WO2001050771A1 (en) * | 1999-12-29 | 2001-07-12 | Koninklijke Philips Electronics N.V. | Device for image encoding and decoding |
| JP2002218464A (ja) | 2001-01-15 | 2002-08-02 | Yamaha Corp | 動画像符号化データのトランスコーディングを実行するための方法、装置、プログラムおよび記録媒体 |
-
2003
- 2003-05-14 JP JP2003135348A patent/JP4224778B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-13 US US10/844,997 patent/US8107528B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP4224778B2 (ja) | 2009-02-18 |
| US8107528B2 (en) | 2012-01-31 |
| US20050002454A1 (en) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9077968B2 (en) | Image processing apparatus and method, and program | |
| JP5429580B2 (ja) | 復号装置および方法、プログラム、並びに記録媒体 | |
| JP4196726B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| US8416850B2 (en) | Image encoding method, device using the same, and computer program | |
| JP2005323353A (ja) | 高忠実度のトランスコーディング | |
| US8155458B2 (en) | Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program | |
| JPH08111870A (ja) | 画像情報の再符号化方法及び装置 | |
| JP2004343278A (ja) | 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム | |
| JPH07312756A (ja) | 圧縮動画像符号信号の情報量変換回路、装置、及び方法 | |
| US8442113B2 (en) | Effective rate control for video encoding and transcoding | |
| JP2006295449A (ja) | レート変換方法及びレート変換装置 | |
| JP3807157B2 (ja) | 符号化装置及び符号化方法 | |
| JP4826533B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 | |
| JPH10174098A (ja) | 映像データ圧縮装置およびその方法 | |
| JP2000312362A (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| JP3963296B2 (ja) | 動画像の伝送レート変換装置 | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JPH10174106A (ja) | 映像データ圧縮装置およびその方法 | |
| JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4038774B2 (ja) | 符号化装置及び符号化方法 | |
| JP2003244706A (ja) | 画像符号化データ変換装置及び変換方法並びに変換プログラム | |
| JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
| JP2003264839A (ja) | 符号化動画像データのビットレート変換装置 | |
| JP2007135101A (ja) | 動画像のレート変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081030 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |