JP2002125227A - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法Info
- Publication number
- JP2002125227A JP2002125227A JP2000311317A JP2000311317A JP2002125227A JP 2002125227 A JP2002125227 A JP 2002125227A JP 2000311317 A JP2000311317 A JP 2000311317A JP 2000311317 A JP2000311317 A JP 2000311317A JP 2002125227 A JP2002125227 A JP 2002125227A
- Authority
- JP
- Japan
- Prior art keywords
- image
- intra
- information
- switching
- predetermined period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 シーンチェンジに起因する画質劣化を引き起
こすことなく、画像圧縮情報の変換を可能とする。 【解決手段】 コンプレキシティ算出部１７では、ＭＰ
ＥＧ２画像圧縮情報からコンプレキシティを求める。シ
ーンチェンジ検出部１８では、コンプレキシティなどに
基づいてシーンチェンジを検出する。ＧＯＶ構造決定部
２９では、シーンチェンジの検出出力に応じて、ＭＰＥ
Ｇ４のＧＯＶ構造を再構成する。ＭＰＥＧ４画像情報符
号化部１３では、コンプレキシティから求めた目標符号
量と、ＧＯＶ構造決定部２９により決定されたＧＯＶ構
造とに基づいて、ＭＰＥＧ２画像圧縮情報が復号され、
間引きされ、さらにビデオメモリ１２に一旦蓄えられた
画像情報を、ＭＰＥＧ４画像圧縮情報に符号化する。
こすことなく、画像圧縮情報の変換を可能とする。 【解決手段】 コンプレキシティ算出部１７では、ＭＰ
ＥＧ２画像圧縮情報からコンプレキシティを求める。シ
ーンチェンジ検出部１８では、コンプレキシティなどに
基づいてシーンチェンジを検出する。ＧＯＶ構造決定部
２９では、シーンチェンジの検出出力に応じて、ＭＰＥ
Ｇ４のＧＯＶ構造を再構成する。ＭＰＥＧ４画像情報符
号化部１３では、コンプレキシティから求めた目標符号
量と、ＧＯＶ構造決定部２９により決定されたＧＯＶ構
造とに基づいて、ＭＰＥＧ２画像圧縮情報が復号され、
間引きされ、さらにビデオメモリ１２に一旦蓄えられた
画像情報を、ＭＰＥＧ４画像圧縮情報に符号化する。
Description
【０００１】
【発明の属する技術分野】本発明は、ＭＰＥＧ（Moving
Picture image coding Experts Group）などのよう
に、離散コサイン変換等の直交変換と動き補償によって
圧縮された画像情報（ビットストリーム）を、例えば衛
星放送、ケーブルテレビジョン、インターネットなどの
ネットワークを介して受信する際、若しくは光、磁気デ
ィスクのような記憶メディア上で処理する際に好適な画
像情報変換装置及び方法に関する。
Picture image coding Experts Group）などのよう
に、離散コサイン変換等の直交変換と動き補償によって
圧縮された画像情報（ビットストリーム）を、例えば衛
星放送、ケーブルテレビジョン、インターネットなどの
ネットワークを介して受信する際、若しくは光、磁気デ
ィスクのような記憶メディア上で処理する際に好適な画
像情報変換装置及び方法に関する。
【０００２】
【従来の技術】近年、画像情報をディジタル情報として
取り扱い、その際に、効率の高い情報の伝送、蓄積を目
的とし、画像情報特有の冗長性を利用して、離散コサイ
ン変換等の直交変換と動き補償により当該画像情報を圧
縮するＭＰＥＧなどの方式に準拠した装置が、放送局な
どの情報配信、及び一般家庭における情報受信の双方に
おいて普及しつつある。
取り扱い、その際に、効率の高い情報の伝送、蓄積を目
的とし、画像情報特有の冗長性を利用して、離散コサイ
ン変換等の直交変換と動き補償により当該画像情報を圧
縮するＭＰＥＧなどの方式に準拠した装置が、放送局な
どの情報配信、及び一般家庭における情報受信の双方に
おいて普及しつつある。
【０００３】特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３
８１８−２）は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準とし
て、プロフェッショナル用途及びコンシューマー用途の
広範なアプリケーションに今後とも用いられるものと予
想される。このＭＰＥＧ２圧縮方式を用いることによ
り、例えば７２０×４８０画素を持つ標準解像度の飛び
越し走査画像であれば４Ｍ〜８Ｍｂｐｓ、１９２０×１
０８８画素を持つ高解像度の飛び越し走査画像であれば
１８Ｍ〜２２Ｍｂｐｓの符号量（ビットレート）を割り
当てることで、高い圧縮率と良好な画質の実現が可能で
ある。
８１８−２）は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準とし
て、プロフェッショナル用途及びコンシューマー用途の
広範なアプリケーションに今後とも用いられるものと予
想される。このＭＰＥＧ２圧縮方式を用いることによ
り、例えば７２０×４８０画素を持つ標準解像度の飛び
越し走査画像であれば４Ｍ〜８Ｍｂｐｓ、１９２０×１
０８８画素を持つ高解像度の飛び越し走査画像であれば
１８Ｍ〜２２Ｍｂｐｓの符号量（ビットレート）を割り
当てることで、高い圧縮率と良好な画質の実現が可能で
ある。
【０００４】ここで、上述のＭＰＥＧ２は、主として放
送用に適合する高画質符号化を対象としていたが、ＭＰ
ＥＧ１より低い符号量（ビットレート）、つまりより高
い圧縮率の符号化方式には対応していなかった。一方、
近年の携帯端末の普及により、今後そのような高い圧縮
率の符号化方式のニーズは高まると思われ、これに対応
してＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥ
Ｇ４の画像符号化方式に関しては、１９９８年１２月に
ＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際
標準に承認されている。
送用に適合する高画質符号化を対象としていたが、ＭＰ
ＥＧ１より低い符号量（ビットレート）、つまりより高
い圧縮率の符号化方式には対応していなかった。一方、
近年の携帯端末の普及により、今後そのような高い圧縮
率の符号化方式のニーズは高まると思われ、これに対応
してＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥ
Ｇ４の画像符号化方式に関しては、１９９８年１２月に
ＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際
標準に承認されている。
【０００５】ところで、ディジタル放送用に一度符号化
されたＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、携帯端末上などで処理するのにより適した、より低
い符号量（ビットレート）のＭＰＥＧ４画像圧縮情報
（ビットストリーム）に変換したいというニーズがあ
る。
されたＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、携帯端末上などで処理するのにより適した、より低
い符号量（ビットレート）のＭＰＥＧ４画像圧縮情報
（ビットストリーム）に変換したいというニーズがあ
る。
【０００６】かかる目的を達成する画像情報変換装置
（トランスコーダ）として、“Field-to-Frame Transco
ding with Spatial and Temporal Downsampling”（Sus
ie J.Wee, John G. Apostolopoulos, and Nick Feamste
r, ICIP '99、以下これを文献１と呼ぶ）では、図７に
示すような装置が提案されている。
（トランスコーダ）として、“Field-to-Frame Transco
ding with Spatial and Temporal Downsampling”（Sus
ie J.Wee, John G. Apostolopoulos, and Nick Feamste
r, ICIP '99、以下これを文献１と呼ぶ）では、図７に
示すような装置が提案されている。
【０００７】この図７において、入力端子１１０に供給
された飛び越し走査のＭＰＥＧ２画像圧縮情報（ビット
ストリーム）における各フレームのデータは、先ず、ピ
クチャタイプ判別部１１１に入力する。
された飛び越し走査のＭＰＥＧ２画像圧縮情報（ビット
ストリーム）における各フレームのデータは、先ず、ピ
クチャタイプ判別部１１１に入力する。
【０００８】当該ピクチャタイプ判別部１１１では、各
フレームの入力データがＩピクチャ（画像内符号化画
像）／Ｐピクチャ（前方予測符号化画像）に関するもの
か、Ｂピクチャ（両方向予測符号化画像）に関するもの
であるかを判別し、前者のときのみ、そのＩ／Ｐピクチ
ャに関する情報を後続のＭＰＥＧ２画像情報復号化部
（Ｉ／Ｐピクチャ）１１２に出力する。
フレームの入力データがＩピクチャ（画像内符号化画
像）／Ｐピクチャ（前方予測符号化画像）に関するもの
か、Ｂピクチャ（両方向予測符号化画像）に関するもの
であるかを判別し、前者のときのみ、そのＩ／Ｐピクチ
ャに関する情報を後続のＭＰＥＧ２画像情報復号化部
（Ｉ／Ｐピクチャ）１１２に出力する。
【０００９】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）１１２における処理は通常のＭＰＥＧ２画像情報
復号化装置と同様である。但し、Ｂピクチャに関するデ
ータはピクチャタイプ判別部１１１において廃棄される
ため、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）
１１２における機能としてはＩ ／ Ｐ ピクチャのみを
復号化出来ればよい。ＭＰＥＧ２画像情報復号化部（Ｉ
／Ｐピクチャ）１１２の出力となる画素値は、間引き部
１１３に入力される。
チャ）１１２における処理は通常のＭＰＥＧ２画像情報
復号化装置と同様である。但し、Ｂピクチャに関するデ
ータはピクチャタイプ判別部１１１において廃棄される
ため、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）
１１２における機能としてはＩ ／ Ｐ ピクチャのみを
復号化出来ればよい。ＭＰＥＧ２画像情報復号化部（Ｉ
／Ｐピクチャ）１１２の出力となる画素値は、間引き部
１１３に入力される。
【００１０】当該間引き部１１３は、水平方向について
は１／２の間引き処理を施し、垂直方向については第一
フィールド若しくは第二フィールドのどちらか一方のデ
ータのみを残し、もう一方を廃棄することにより、入力
となる画像情報の１／４の大きさを持つ順次走査画像を
生成する。間引き部１１３によって生成された順次走査
画像は、一旦、ビデオメモリ１１４に蓄積された後に読
み出され、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯ
Ｐ）１１５に入力する。
は１／２の間引き処理を施し、垂直方向については第一
フィールド若しくは第二フィールドのどちらか一方のデ
ータのみを残し、もう一方を廃棄することにより、入力
となる画像情報の１／４の大きさを持つ順次走査画像を
生成する。間引き部１１３によって生成された順次走査
画像は、一旦、ビデオメモリ１１４に蓄積された後に読
み出され、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯ
Ｐ）１１５に入力する。
【００１１】ここで、例えば、入力となるＭＰＥＧ２画
圧縮情報（ビットストリーム）がＮＴＳＣ（National T
elevision System Committee）の規格に準拠したもの、
つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画
像であった場合、上記間引き後の画枠は３６０×２４０
画素ということになるが、後続のＭＰＥＧ４画像情報符
号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符号化を行う
際、マクロブロック単位の処理を行うには、水平方向、
垂直方向ともに、その画素数が１６の倍数である必要が
ある。したがって、このための画素の補填若しくは廃棄
を上記間引き部１１３において同時に行う。すなわちこ
のときの間引き部１１３は、上記画素の補填若しくは廃
棄として、例えば水平方向の右端若しくは左端の８ライ
ンを廃棄して３５２×２４０画素とする。
圧縮情報（ビットストリーム）がＮＴＳＣ（National T
elevision System Committee）の規格に準拠したもの、
つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画
像であった場合、上記間引き後の画枠は３６０×２４０
画素ということになるが、後続のＭＰＥＧ４画像情報符
号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符号化を行う
際、マクロブロック単位の処理を行うには、水平方向、
垂直方向ともに、その画素数が１６の倍数である必要が
ある。したがって、このための画素の補填若しくは廃棄
を上記間引き部１１３において同時に行う。すなわちこ
のときの間引き部１１３は、上記画素の補填若しくは廃
棄として、例えば水平方向の右端若しくは左端の８ライ
ンを廃棄して３５２×２４０画素とする。
【００１２】上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ
−ＶＯＰ）１１５では、入力した順次走査画像の信号を
符号化してＭＰＥＧ４画像圧縮情報（ビットストリー
ム）を生成し、そのＭＰＥＧ４画像圧縮情報が出力端子
１１８から後段へ出力される。その際、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）中の動きベク
トル情報は、動きベクトル合成部１１６において間引き
後の画像情報に対する動きベクトルにマッピングされ、
また、動きベクトル検出部１１７では、動きベクトル合
成部１１６において合成された動きベクトル値を元に高
精度の動きベクトルを検出する。なお、ＭＰＥＧ４にお
いて、ＶＯＰ（Video Object Plane）とは、オブジェク
トを囲む１つまたは複数のマクロブロックから構成され
る領域を表し、ＭＰＥＧ２におけるフレームに相当する
ものである。このＶＯＰの領域は、符号化される方式に
したがって、Ｉピクチャ、Ｐピクチャ、およびＢピクチ
ャのうちのいずれかに分類される。Ｉ−ＶＯＰ（Ｉピク
チャのＶＯＰ）は、動き補償を行うことなく、画像（領
域）そのものが符号化（イントラ符号化）されるもので
ある。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的に
は、自身より時間的に前に位置する画像（ＩまたはＰ−
ＶＯＰ）に基づいて、前方予測符号化される。Ｂ−ＶＯ
Ｐ（ＢピクチャのＶＯＰ）は、基本的には、自身より時
間的に前と後ろに位置する２つの画像（ＩまたはＰ−Ｖ
ＯＰ）に基づいて両方向予測符号化されるものである。
−ＶＯＰ）１１５では、入力した順次走査画像の信号を
符号化してＭＰＥＧ４画像圧縮情報（ビットストリー
ム）を生成し、そのＭＰＥＧ４画像圧縮情報が出力端子
１１８から後段へ出力される。その際、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）中の動きベク
トル情報は、動きベクトル合成部１１６において間引き
後の画像情報に対する動きベクトルにマッピングされ、
また、動きベクトル検出部１１７では、動きベクトル合
成部１１６において合成された動きベクトル値を元に高
精度の動きベクトルを検出する。なお、ＭＰＥＧ４にお
いて、ＶＯＰ（Video Object Plane）とは、オブジェク
トを囲む１つまたは複数のマクロブロックから構成され
る領域を表し、ＭＰＥＧ２におけるフレームに相当する
ものである。このＶＯＰの領域は、符号化される方式に
したがって、Ｉピクチャ、Ｐピクチャ、およびＢピクチ
ャのうちのいずれかに分類される。Ｉ−ＶＯＰ（Ｉピク
チャのＶＯＰ）は、動き補償を行うことなく、画像（領
域）そのものが符号化（イントラ符号化）されるもので
ある。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的に
は、自身より時間的に前に位置する画像（ＩまたはＰ−
ＶＯＰ）に基づいて、前方予測符号化される。Ｂ−ＶＯ
Ｐ（ＢピクチャのＶＯＰ）は、基本的には、自身より時
間的に前と後ろに位置する２つの画像（ＩまたはＰ−Ｖ
ＯＰ）に基づいて両方向予測符号化されるものである。
【００１３】上述のように、文献１には、入力となるＭ
ＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×
１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧
縮情報（ビットストリーム）を生成する装置に関する技
術が述べられている。すなわち、入力となるＭＰＥＧ２
画圧縮情報（ビットストリーム）が例えばＮＴＳＣの規
格に準拠したものであった場合、出力となるＭＰＥＧ４
画像圧縮情報はＳＩＦサイズ（３５２×２４０）という
ことになるが、上記図５の構成によれば、上記間引き部
１１３における動作の変更を行うことにより、それ以外
の画枠、例えば上記の例では約１／４×１／４の画枠で
あるＱＳＩＦ（１７６×１１２画素）サイズの画像に変
換することも可能となっている。
ＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×
１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧
縮情報（ビットストリーム）を生成する装置に関する技
術が述べられている。すなわち、入力となるＭＰＥＧ２
画圧縮情報（ビットストリーム）が例えばＮＴＳＣの規
格に準拠したものであった場合、出力となるＭＰＥＧ４
画像圧縮情報はＳＩＦサイズ（３５２×２４０）という
ことになるが、上記図５の構成によれば、上記間引き部
１１３における動作の変更を行うことにより、それ以外
の画枠、例えば上記の例では約１／４×１／４の画枠で
あるＱＳＩＦ（１７６×１１２画素）サイズの画像に変
換することも可能となっている。
【００１４】また、文献１には、ＭＰＥＧ２画像情報復
号化部（Ｉ／Ｐピクチャ）１１２における処理として、
水平方向、垂直方向それぞれについて、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）内の、８次の
離散コサイン変換係数すべてを用いた復号処理を行う装
置について述べられているが、図７に示した装置に関し
てはその限りではなく、水平方向のみ、或いは水平方
向、垂直方向ともに、８次の離散コサイン変換係数のう
ちの低域成分のみを用いた復号処理を行い、画質劣化を
最小限に抑えながら、復号処理に伴う演算量とビデオメ
モリ容量を削減することが可能となされている。
号化部（Ｉ／Ｐピクチャ）１１２における処理として、
水平方向、垂直方向それぞれについて、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）内の、８次の
離散コサイン変換係数すべてを用いた復号処理を行う装
置について述べられているが、図７に示した装置に関し
てはその限りではなく、水平方向のみ、或いは水平方
向、垂直方向ともに、８次の離散コサイン変換係数のう
ちの低域成分のみを用いた復号処理を行い、画質劣化を
最小限に抑えながら、復号処理に伴う演算量とビデオメ
モリ容量を削減することが可能となされている。
【００１５】ところで、図７に示した画像情報変換装置
においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−Ｖ
ＯＰ）１１５における符号量制御が、出力となるＭＰＥ
Ｇ４画像圧縮情報（ビットストリーム）における画質を
決定する大きな要因となっている。
においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−Ｖ
ＯＰ）１１５における符号量制御が、出力となるＭＰＥ
Ｇ４画像圧縮情報（ビットストリーム）における画質を
決定する大きな要因となっている。
【００１６】一方、ＩＳＯ／ＩＥＣ １４４９６−２に
は、符号量制御の方式に関して特に規定されておらず、
したがって、各ベンダは、アプリケーションに応じて、
演算量及び出力画質の観点から最適と考えられる方式を
用いることが出来る。以下では、代表的な符号量制御方
式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５（ISO/IE
C JTC1/SC29/WG11 NO400）で述べられている方式を例に
挙げ、図８を用いて、その符号量制御の流れを説明す
る。
は、符号量制御の方式に関して特に規定されておらず、
したがって、各ベンダは、アプリケーションに応じて、
演算量及び出力画質の観点から最適と考えられる方式を
用いることが出来る。以下では、代表的な符号量制御方
式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５（ISO/IE
C JTC1/SC29/WG11 NO400）で述べられている方式を例に
挙げ、図８を用いて、その符号量制御の流れを説明す
る。
【００１７】図８において、当該符号量制御の際には、
先ず、ステップＳ１００として、日標符号量（ターゲッ
トビットレート）、及びＧＯＰ（Group Of Picture）構
成が入カ変数として指定され、次に、ステップＳ１０１
として、各ピクチャヘのビット配分（符号量割当）を行
い、さらにステップＳ１０２として、仮想バッファを用
いたレート制御を行い、最後に、ステップＳ１０３とし
て、視覚特性を考慮したマクロブロック毎の適応量子化
を行う。
先ず、ステップＳ１００として、日標符号量（ターゲッ
トビットレート）、及びＧＯＰ（Group Of Picture）構
成が入カ変数として指定され、次に、ステップＳ１０１
として、各ピクチャヘのビット配分（符号量割当）を行
い、さらにステップＳ１０２として、仮想バッファを用
いたレート制御を行い、最後に、ステップＳ１０３とし
て、視覚特性を考慮したマクロブロック毎の適応量子化
を行う。
【００１８】より詳細に説明すると、ステップＳ１０１
の処理では、ＧＯＰ内の各ピクチャに対する割り当て符
号量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符
号化されていないピクチャに対して割り当てられる総符
号量（以下、これをＲとする）を基に配分する。この配
分処理は、ＧＯＰ内の符号化ピクチャの順に繰り返され
る。また、その際には、以下に述べる２つの仮定を用い
て各ピクチャヘの符号量割り当てが行われる。
の処理では、ＧＯＰ内の各ピクチャに対する割り当て符
号量を、割り当て対象ピクチャを含めＧＯＰ内でまだ符
号化されていないピクチャに対して割り当てられる総符
号量（以下、これをＲとする）を基に配分する。この配
分処理は、ＧＯＰ内の符号化ピクチャの順に繰り返され
る。また、その際には、以下に述べる２つの仮定を用い
て各ピクチャヘの符号量割り当てが行われる。
【００１９】先ず、第一の仮定として、Ｉ，Ｐ，Ｂの各
ピクチャを符号化する際に用いる平均量子化スケールコ
ードと発生符号量の積は、画面が変化しない限り、ピク
チャタイプ毎に一定値となると仮定する。この第一の仮
定のもと、Ｉ，Ｐ，Ｂの各ピクチャを符号化した場合
は、それらＩ，Ｐ，Ｂの各ピクチャタイプ毎に、画面の
複雑さを示す変数（grobal complelxity measure、以
下、コンプレキシティと呼ぶ）Ｘi，Ｘp，Ｘbを、下記
式（１）〜式（３）により更新することとする。
ピクチャを符号化する際に用いる平均量子化スケールコ
ードと発生符号量の積は、画面が変化しない限り、ピク
チャタイプ毎に一定値となると仮定する。この第一の仮
定のもと、Ｉ，Ｐ，Ｂの各ピクチャを符号化した場合
は、それらＩ，Ｐ，Ｂの各ピクチャタイプ毎に、画面の
複雑さを示す変数（grobal complelxity measure、以
下、コンプレキシティと呼ぶ）Ｘi，Ｘp，Ｘbを、下記
式（１）〜式（３）により更新することとする。
【００２０】 Ｘi＝Ｓi・Ｑi (1) Ｘp＝Ｓp・Ｑp (2) Ｘb＝Ｓb・Ｑb (3) ここで、上記式中のＳi，Ｓp，ＳbはＩ，Ｐ，Ｂの各ピ
クチャ符号化時の発生符号符号量であり、Ｑi，Ｑp，Ｑ
bはＩ，Ｐ，Ｂの各ピクチャ符号化時の平均量子化スケ
ールコードである。また、コンプレキシティＸi，Ｘp，
Ｘbの初期値は、目標符号量（ターゲットビットレー
ト）bit_rate［ビット／秒］を用いて、下記式（４）〜
式（６）で示される値とする。
クチャ符号化時の発生符号符号量であり、Ｑi，Ｑp，Ｑ
bはＩ，Ｐ，Ｂの各ピクチャ符号化時の平均量子化スケ
ールコードである。また、コンプレキシティＸi，Ｘp，
Ｘbの初期値は、目標符号量（ターゲットビットレー
ト）bit_rate［ビット／秒］を用いて、下記式（４）〜
式（６）で示される値とする。
【００２１】 Ｘi＝１６０×bit_rate／１１５ (4) Ｘp＝６０×bit_rate／１１５ (5) Ｘb＝４２×bit_rate／１１５ (6) 次に、第二の仮定として、Ｉピクチャの量子化スケール
コードＱiを基準としたＰ，Ｂピクチャの量子化スケー
ルコードＱp，Ｑbの比率Ｋp，Ｋbが、下記式（７）に定
めた値となる場合に、常に全体の画質が最適化されると
仮定する。
コードＱiを基準としたＰ，Ｂピクチャの量子化スケー
ルコードＱp，Ｑbの比率Ｋp，Ｋbが、下記式（７）に定
めた値となる場合に、常に全体の画質が最適化されると
仮定する。
【００２２】 Ｋp＝１．０ ； Ｋb＝１．４ (7) すなわち、Ｂピクチャの量子化スケールコードＱbは、
Ｉ，Ｐピクチャの量子化スケールコードＱi，Ｑpの常に
１．４倍としている。これは、ＢピクチャをＩ，Ｐピク
チャに比較して多少粗めに符号化することにより当該Ｂ
ピクチャへ配分される符号量を節約し、そのＢピクチャ
の符号化時に節約できる符号量をＩ，Ｐピクチャに加え
ることによってそれらＩ，Ｐピクチャの画質を改善し、
さらにこれら画質が改善されたＩ，Ｐピクチャを参照す
るＢピクチャの画質をも改善することを想定している。
Ｉ，Ｐピクチャの量子化スケールコードＱi，Ｑpの常に
１．４倍としている。これは、ＢピクチャをＩ，Ｐピク
チャに比較して多少粗めに符号化することにより当該Ｂ
ピクチャへ配分される符号量を節約し、そのＢピクチャ
の符号化時に節約できる符号量をＩ，Ｐピクチャに加え
ることによってそれらＩ，Ｐピクチャの画質を改善し、
さらにこれら画質が改善されたＩ，Ｐピクチャを参照す
るＢピクチャの画質をも改善することを想定している。
【００２３】上記第一、第二の２つの仮定より、ＧＯＰ
の各ピクチャに対する割り当て符号量（Ｔi，Ｔp，
Ｔb）は次式（８）〜式（１０）に示す値となる。
の各ピクチャに対する割り当て符号量（Ｔi，Ｔp，
Ｔb）は次式（８）〜式（１０）に示す値となる。
【００２４】
【数１】
【００２５】なお、式中のＮp，Ｎbは、ＧＯＰ内でまだ
符号化されていないＰ，Ｂピクチャの枚数であり、Pict
ure_rateは画像の表示周期である。
符号化されていないＰ，Ｂピクチャの枚数であり、Pict
ure_rateは画像の表示周期である。
【００２６】次に、上記のようにして求めた割り当て符
号量Ｔi，Ｔp，Ｔbを基にして、各ピクチャをステップ
Ｓ１０１、ステップＳ１０２に従って符号化する毎に、
ＧＯＰ内のＩ，Ｐ，Ｂの各未符号化ピクチャに対して割
り当てられる符号量Ｒを式（１１）で更新する。
号量Ｔi，Ｔp，Ｔbを基にして、各ピクチャをステップ
Ｓ１０１、ステップＳ１０２に従って符号化する毎に、
ＧＯＰ内のＩ，Ｐ，Ｂの各未符号化ピクチャに対して割
り当てられる符号量Ｒを式（１１）で更新する。
【００２７】 Ｒ＝Ｒ−Ｓi,p,b (11) 但し、ＧＯＰの最初のピクチャを符号化する際には、次
式（１２）により上記符号量のＲを更新する。
式（１２）により上記符号量のＲを更新する。
【００２８】 Ｒ＝bit_rate×Ｎ／picture_rate＋Ｒ (12) なお、式中のＮはＧＯＰ内のピクチャ数である。また、
シーケンスの最初での符号量Ｒの初期値は０とする。
シーケンスの最初での符号量Ｒの初期値は０とする。
【００２９】次に、ステップＳ１０２では、ステップＳ
１０１で式（８）〜式（１０）により求められた各ピク
チャに対する割り当て符号量（Ｔi，Ｔp，Ｔb）と、実
際の発生符号量を一致させるため、Ｉ，Ｐ，Ｂの各ピク
チャ毎に独立に設定した３種類の仮想バッファの容量を
基に、量子化スケールコードを、マクロブロック単位の
フィードバック制御で求める。
１０１で式（８）〜式（１０）により求められた各ピク
チャに対する割り当て符号量（Ｔi，Ｔp，Ｔb）と、実
際の発生符号量を一致させるため、Ｉ，Ｐ，Ｂの各ピク
チャ毎に独立に設定した３種類の仮想バッファの容量を
基に、量子化スケールコードを、マクロブロック単位の
フィードバック制御で求める。
【００３０】先ず、ｊ番目のマクロブロック符号化に先
立ち、仮想バッファの占有量を式（１３）〜式（１５）
によって求める。
立ち、仮想バッファの占有量を式（１３）〜式（１５）
によって求める。
【００３１】 ｄj i＝ｄ0 i＋Ｒj-1−Ｔi×(j-1)／ＭＢ_cnt (13) ｄj p＝ｄ0 p＋Ｒj-1−Ｔp×(j-1)／ＭＢ_cnt (14) ｄj b＝ｄ0 b＋Ｒj-1−Ｔb×(j-1)／ＭＢ_cnt (15) なお、式中のｄ0 i，ｄ0 p，ｄ0 bはＩ，Ｐ，Ｂのピクチャ
毎に独立した各仮想バッファの初期占有量、Ｒjはピク
チャの先頭からｊ番目のマクロブロックまでの発生符号
量、ＭＢ_cntは１ピクチャ内のマクロブロック数であ
る。Ｉ，Ｐ，Ｂの各ピクチャ符号化終了時の仮想バッフ
ァ占有量（ｄMB_cnt i，ｄMB_cnt p，ｄMB_c nt b）は、そ
れぞれ同一のピクチャタイプにおいて次のピクチャに対
する仮想バッファ占有量の初期値（ｄ0 i，ｄ0 p，ｄ0 b）
として用いられる。
毎に独立した各仮想バッファの初期占有量、Ｒjはピク
チャの先頭からｊ番目のマクロブロックまでの発生符号
量、ＭＢ_cntは１ピクチャ内のマクロブロック数であ
る。Ｉ，Ｐ，Ｂの各ピクチャ符号化終了時の仮想バッフ
ァ占有量（ｄMB_cnt i，ｄMB_cnt p，ｄMB_c nt b）は、そ
れぞれ同一のピクチャタイプにおいて次のピクチャに対
する仮想バッファ占有量の初期値（ｄ0 i，ｄ0 p，ｄ0 b）
として用いられる。
【００３２】次に、ｊ番目のマクロブロックに対する量
子化スケールコードＱjを、次式（１６）により計算す
る。
子化スケールコードＱjを、次式（１６）により計算す
る。
【００３３】 Ｑj＝ｄj×３１／ｒ (16) 式（１６）中のｒはリアクションパラメータと呼ばれる
フィードバックループの応答を制御する変数であり、次
式（１７）により与えられる。
フィードバックループの応答を制御する変数であり、次
式（１７）により与えられる。
【００３４】 ｒ＝２×bit_rate／picture_rate (17) なお、符号化開始時におけるＩ，Ｐ，Ｂの各ピクチャに
対する仮想バッファの初期値は、式（１８）〜式（２
０）で与えられる。
対する仮想バッファの初期値は、式（１８）〜式（２
０）で与えられる。
【００３５】 ｄ0 i＝１０×ｒ／３１ (18) ｄ0 p＝Ｋp・ｄ0 i (19) ｄ0 b＝Ｋb・ｄ0 i (20) 次に、ステップＳ１０３において、ステップ１０２で求
められた量子化スケールコードを、視覚的に劣化の目立
ち易い平坦部でより細かく量子化し、劣化の比較的目立
ち難い絵柄の複雑な部分で粗く量子化するように、各マ
クロブロック毎のアクティビィティと呼ばれる変数によ
って変化させる。
められた量子化スケールコードを、視覚的に劣化の目立
ち易い平坦部でより細かく量子化し、劣化の比較的目立
ち難い絵柄の複雑な部分で粗く量子化するように、各マ
クロブロック毎のアクティビィティと呼ばれる変数によ
って変化させる。
【００３６】ここで、ｊ番目のマクロブロックのアクテ
ィビティａｃｔjは、原画の輝度信号画素値を用い、フ
レーム離散コサイン変換モードにおける４個のブロック
と、フィールド離散コサイン変換モードにおける４個の
ブロックとの、合計８ブロックの画素値を用いて、次式
（２１）〜式（２３）で与えられる。
ィビティａｃｔjは、原画の輝度信号画素値を用い、フ
レーム離散コサイン変換モードにおける４個のブロック
と、フィールド離散コサイン変換モードにおける４個の
ブロックとの、合計８ブロックの画素値を用いて、次式
（２１）〜式（２３）で与えられる。
【００３７】
【数２】
【００３８】なお、式（２２）及び式（２３）中のＣk
は、原画の輝度信号ブロック内画素値である。また、式
（２１）において最小値を採るのは、マクロブロック内
の一部だけでも平坦部分のある場合には量子化を細かく
するためである。
は、原画の輝度信号ブロック内画素値である。また、式
（２１）において最小値を採るのは、マクロブロック内
の一部だけでも平坦部分のある場合には量子化を細かく
するためである。
【００３９】更に、次式（２４）により、その値が０．
５〜２の範囲を取る正規化アクティビティＮactjを求め
る。
５〜２の範囲を取る正規化アクティビティＮactjを求め
る。
【００４０】 Ｎactj＝（２×actj＋avg_act）／（actj＋２×avg_act） (24) なお、式中のavg_actは、直前に符号化したピクチャで
のアクティビティactjの平均値である。
のアクティビティactjの平均値である。
【００４１】また、ｊ番目のマクロブロックにおける視
覚特性を考慮した量子化スケールコードmquantjは、ス
テップＳ１０２で得られた量子化スケールコードＱjを
基に次式（２５）で与えられる。
覚特性を考慮した量子化スケールコードmquantjは、ス
テップＳ１０２で得られた量子化スケールコードＱjを
基に次式（２５）で与えられる。
【００４２】 mquantj＝Ｑj×Ｎactj (25) ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５における符号量制御
は、以上説明したような流れで行われる。
は、以上説明したような流れで行われる。
【００４３】ところで、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄ
ｅｌ５において定められた上記符号量制御方式には、以
下の制限のあることが知られており、実際の符号量制御
を行う場合には、これらの制限に対する対策が必要とな
る。すなわち、第一の制限は、前記ステップＳ１０１で
はシーンチェンジに対応出来ず、また、シーンチェンジ
後には前記ステップＳ１０３で用いる媒介変数avg_act
が間違った値となるということである。第二の制限は、
ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢ
Ｖ（Video Buffer Verifier）の拘束条件を満たす保証
がないことである。
ｅｌ５において定められた上記符号量制御方式には、以
下の制限のあることが知られており、実際の符号量制御
を行う場合には、これらの制限に対する対策が必要とな
る。すなわち、第一の制限は、前記ステップＳ１０１で
はシーンチェンジに対応出来ず、また、シーンチェンジ
後には前記ステップＳ１０３で用いる媒介変数avg_act
が間違った値となるということである。第二の制限は、
ＭＰＥＧ２及びＭＰＥＧ４において規定されているＶＢ
Ｖ（Video Buffer Verifier）の拘束条件を満たす保証
がないことである。
【００４４】また、文献”ＭＰＥＧ圧縮効率の理論解析
とその符号量制御への応用”（信学技報、ＩＥ−９５，
ＤＳＰ９５−１０，１９９５年５月、以下これを文献２
と呼ぶ）でも述べられている通り、上記ＭＰＥＧ２ Ｔ
ｅｓｔ Ｍｏｄｅｌ５で定められている符号量制御方式
は、ＭＰＥＧ２画像符号化の際に、必ずしも良好な画質
を与えるものではない。
とその符号量制御への応用”（信学技報、ＩＥ−９５，
ＤＳＰ９５−１０，１９９５年５月、以下これを文献２
と呼ぶ）でも述べられている通り、上記ＭＰＥＧ２ Ｔ
ｅｓｔ Ｍｏｄｅｌ５で定められている符号量制御方式
は、ＭＰＥＧ２画像符号化の際に、必ずしも良好な画質
を与えるものではない。
【００４５】したがって、同文献では、特に、良好な画
質を与えるための、ＧＯＰ内における各フレーム毎の最
適な符号量配分を与える手法として、以下の方式を提案
している。すなわち、ＮI，ＮP，ＮBを、ＧＯＰ内にお
いてまだ符号化されていないＩ，Ｐ，Ｂピクチャの枚数
とし、これらに割り当てられる符号量をＲI，ＲP，Ｒ B
とし、さらに、下記式（２６）に示す固定レート条件の
元に、それぞれにおける量子化ステップサイズをＱI，
ＱP，ＱBとし、ｍを量子化ステップサイズと再生誤差分
散を関係付ける次数（すなわち、量子化ステップサイズ
をｍ乗したものの平均値の最小化が再生誤差分散を最低
にすると仮定する）としたとき、下記式（２７）を最小
にすることが、上記文献２に記載されている。
質を与えるための、ＧＯＰ内における各フレーム毎の最
適な符号量配分を与える手法として、以下の方式を提案
している。すなわち、ＮI，ＮP，ＮBを、ＧＯＰ内にお
いてまだ符号化されていないＩ，Ｐ，Ｂピクチャの枚数
とし、これらに割り当てられる符号量をＲI，ＲP，Ｒ B
とし、さらに、下記式（２６）に示す固定レート条件の
元に、それぞれにおける量子化ステップサイズをＱI，
ＱP，ＱBとし、ｍを量子化ステップサイズと再生誤差分
散を関係付ける次数（すなわち、量子化ステップサイズ
をｍ乗したものの平均値の最小化が再生誤差分散を最低
にすると仮定する）としたとき、下記式（２７）を最小
にすることが、上記文献２に記載されている。
【００４６】 Ｒ＝ＮI・ＲI＋ＮP・ＲP＋ＮB・ＲB (26) (ＮI・ＱI m＋ＮP・ＱP m＋ＮB・ＱB m)／(ＮI＋ＮP＋ＮB) (27) なお、それぞれのフレームにおける平均量子化スケール
Ｑ及び符号量Ｒは、上記ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄ
ｅｌ５でも用いられる媒体変数である各フレームのコン
プレキシティＸとの間で次式（２８）のように関係付け
られる。
Ｑ及び符号量Ｒは、上記ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄ
ｅｌ５でも用いられる媒体変数である各フレームのコン
プレキシティＸとの間で次式（２８）のように関係付け
られる。
【００４７】 Ｑ・Ｒa＝Ｘ (28) また、上記式（２８）の関係も考慮しつつ、式（２６）
の拘束条件の元に、式（２７）を最小にするＲI，ＲP，
ＲBを、ラグランジェの未定乗数法を用いて算出する
と、最適なＲI，ＲP，ＲBとして下記式（２９）〜式
（３１）のような値が求められる。
の拘束条件の元に、式（２７）を最小にするＲI，ＲP，
ＲBを、ラグランジェの未定乗数法を用いて算出する
と、最適なＲI，ＲP，ＲBとして下記式（２９）〜式
（３１）のような値が求められる。
【００４８】 ＲI＝Ｒ／{１＋ＮP(XP/XI)m/(1+ma)＋ＮB(XB/XI)m/(1+ma)} (29) ＲP＝Ｒ／{ＮP＋ＮB(XB/XP)m/(1+ma)} (30) ＲB＝Ｒ／{ＮB＋ＮP(XP/XB)m/(1+ma)} (31) ここで、ａ＝１として、上記式（２９）〜式（３１）
と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５で定められた
符号量制御方式における前記式（８）〜式（１０）との
関係は、以下の通りであると言える。すなわち、式（２
９）〜式（３１）は、符号量制御の媒介変数である
Ｋp，Ｋbを、各フレームのコンプレキシティＸ I，ＸP，
ＸBに応じて、次式（３２）のように適応的に算出して
いることに他ならない。
と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５で定められた
符号量制御方式における前記式（８）〜式（１０）との
関係は、以下の通りであると言える。すなわち、式（２
９）〜式（３１）は、符号量制御の媒介変数である
Ｋp，Ｋbを、各フレームのコンプレキシティＸ I，ＸP，
ＸBに応じて、次式（３２）のように適応的に算出して
いることに他ならない。
【００４９】 Ｋp＝{ＸI／ＸP}1/(1+m)；Ｋb＝{ＸI／ＸB}1/(1+m) (32) なお、文献２では、１／（１＋ｍ）の値として、０．６
〜１．２程度に設定することで良好な画質が得られるこ
とが示されている。
〜１．２程度に設定することで良好な画質が得られるこ
とが示されている。
【００５０】
【発明が解決しようとする課題】しかしながら、図７の
画像情報変換装置のＭＰＥＧ４画像情報符号化部（Ｉ／
Ｐ−ＶＯＰ）１１５において、ＭＰＥＧ２ Ｔｅｓｔ
Ｍｏｄｅｌ５にて定められたのと同様な手法を用いて符
号量制御を行った場合は、例えばいわゆるシーンチェン
ジ等に起因するＧＯＰ内でのコンプレキシティの変化に
対応することが不可能であるため、安定した符号量制御
が困難となり、画質劣化を引き起こすことが考えられ
る。
画像情報変換装置のＭＰＥＧ４画像情報符号化部（Ｉ／
Ｐ−ＶＯＰ）１１５において、ＭＰＥＧ２ Ｔｅｓｔ
Ｍｏｄｅｌ５にて定められたのと同様な手法を用いて符
号量制御を行った場合は、例えばいわゆるシーンチェン
ジ等に起因するＧＯＰ内でのコンプレキシティの変化に
対応することが不可能であるため、安定した符号量制御
が困難となり、画質劣化を引き起こすことが考えられ
る。
【００５１】そこで、本発明は、このような実情に鑑み
てなされたものであり、シーンチェンジに起因する画質
劣化を引き起こすことなく、画像圧縮情報の変換を可能
とする、画像情報変換装置及び方法を提供することを目
的とする。
てなされたものであり、シーンチェンジに起因する画質
劣化を引き起こすことなく、画像圧縮情報の変換を可能
とする、画像情報変換装置及び方法を提供することを目
的とする。
【００５２】
【課題を解決するための手段】本発明の画像情報変換装
置は、画像内符号化画像と画像間予測符号化画像からな
る第１の画像符号化情報を、第２の画像符号化情報へ変
換する画像情報変換装置であり、上記第１の画像符号化
情報を構成する画像の複雑さを示す変数を抽出する情報
抽出手段と、上記抽出された変数に基づいて上記第１の
画像符号化情報を構成する画像の切り替わりを検出する
切り替わり検出手段と、上記切り替わり検出手段からの
検出出力に基づいて上記第２の画像符号化情報の画像内
符号化画像と画像間予測符号化画像の所定期間内におけ
る構成を決定する構成決定手段と、上記第２の画像符号
化情報を構成する各画像に対する目標符号量を上記抽出
された変数に基づいて算出し、上記構成決定手段により
決定された所定期間内の画像の構成と上記目標符号量と
に基づいて、上記第１の画像符号化情報が復号された画
像を符号化して上記第２の画像符号化情報を生成する符
号化手段とを有し、上記第１の画像符号化情報を構成し
ていた上記画像内符号化画像が上記第２の画像符号化情
報を構成する画像へ変換される際に、上記切り替わり検
出手段は、当該画像内符号化画像が上記切り替わりの画
像であるか、或いは、当該画像内符号化画像が含まれる
第１の所定期間の直前の第２の所定期間内に上記切り替
わりの画像が存在するかを検出することにより、上述し
た課題を解決する。
置は、画像内符号化画像と画像間予測符号化画像からな
る第１の画像符号化情報を、第２の画像符号化情報へ変
換する画像情報変換装置であり、上記第１の画像符号化
情報を構成する画像の複雑さを示す変数を抽出する情報
抽出手段と、上記抽出された変数に基づいて上記第１の
画像符号化情報を構成する画像の切り替わりを検出する
切り替わり検出手段と、上記切り替わり検出手段からの
検出出力に基づいて上記第２の画像符号化情報の画像内
符号化画像と画像間予測符号化画像の所定期間内におけ
る構成を決定する構成決定手段と、上記第２の画像符号
化情報を構成する各画像に対する目標符号量を上記抽出
された変数に基づいて算出し、上記構成決定手段により
決定された所定期間内の画像の構成と上記目標符号量と
に基づいて、上記第１の画像符号化情報が復号された画
像を符号化して上記第２の画像符号化情報を生成する符
号化手段とを有し、上記第１の画像符号化情報を構成し
ていた上記画像内符号化画像が上記第２の画像符号化情
報を構成する画像へ変換される際に、上記切り替わり検
出手段は、当該画像内符号化画像が上記切り替わりの画
像であるか、或いは、当該画像内符号化画像が含まれる
第１の所定期間の直前の第２の所定期間内に上記切り替
わりの画像が存在するかを検出することにより、上述し
た課題を解決する。
【００５３】また、本発明の画像情報変換方法は、画像
内符号化画像と画像間予測符号化画像からなる第１の画
像符号化情報を、第２の画像符号化情報へ変換する画像
情報変換方法であり、上記第１の画像符号化情報を構成
する画像の複雑さを示す変数を抽出し、上記抽出された
変数に基づいて上記第１の画像符号化情報を構成する画
像の切り替わりを検出し、上記画像の切り替わりの検出
出力に基づいて上記第２の画像符号化情報の画像内符号
化画像と画像間予測符号化画像の所定期間内における構
成を決定し、上記第２の画像符号化情報を構成する各画
像に対する目標符号量を上記抽出された変数に基づいて
算出し、上記決定された所定期間内の画像の構成と上記
目標符号量とに基づいて、上記第１の画像符号化情報が
復号された画像を符号化して上記第２の画像符号化情報
を生成し、上記第１の画像符号化情報を構成していた上
記画像内符号化画像が上記第２の画像符号化情報を構成
する画像へ変換されるとき、上記切り替わり検出の際に
は、当該画像内符号化画像が上記切り替わりの画像であ
るか、或いは、当該画像内符号化画像が含まれる第１の
所定期間の直前の第２の所定期間内に上記切り替わりの
画像が存在するかを検出することにより、上述した課題
を解決する。
内符号化画像と画像間予測符号化画像からなる第１の画
像符号化情報を、第２の画像符号化情報へ変換する画像
情報変換方法であり、上記第１の画像符号化情報を構成
する画像の複雑さを示す変数を抽出し、上記抽出された
変数に基づいて上記第１の画像符号化情報を構成する画
像の切り替わりを検出し、上記画像の切り替わりの検出
出力に基づいて上記第２の画像符号化情報の画像内符号
化画像と画像間予測符号化画像の所定期間内における構
成を決定し、上記第２の画像符号化情報を構成する各画
像に対する目標符号量を上記抽出された変数に基づいて
算出し、上記決定された所定期間内の画像の構成と上記
目標符号量とに基づいて、上記第１の画像符号化情報が
復号された画像を符号化して上記第２の画像符号化情報
を生成し、上記第１の画像符号化情報を構成していた上
記画像内符号化画像が上記第２の画像符号化情報を構成
する画像へ変換されるとき、上記切り替わり検出の際に
は、当該画像内符号化画像が上記切り替わりの画像であ
るか、或いは、当該画像内符号化画像が含まれる第１の
所定期間の直前の第２の所定期間内に上記切り替わりの
画像が存在するかを検出することにより、上述した課題
を解決する。
【００５４】すなわち、本発明によれば、例えば、入力
となるＭＰＥＧ２画像圧縮情報（ビットストリーム）に
おけるＩ／Ｐピクチャでの発生符号量（ビット数）及び
平均量子化スケールから、出力となるＭＰＥＧ４画像圧
縮情報（ビットストリーム）の各ＶＯＰに対するコンプ
レキシティの推定値を算出し、また、ＩピクチャからＰ
−ＶＯＰに変換されるＶＯＰ及びその直前のＧＯＶに含
まれるＶＯＰのコンプレキシティやＩピクチャの画素値
の平均値を用いて、当該ＩピクチャからＰ−ＶＯＰに変
換されるＶＯＰ及びその直前のＧＯＶにシーンチェンジ
が含まれているかどうかを検出し、そのシーンチェンジ
の検出結果に応じてＧＯＶ構造の再構成を行うようにし
ている。
となるＭＰＥＧ２画像圧縮情報（ビットストリーム）に
おけるＩ／Ｐピクチャでの発生符号量（ビット数）及び
平均量子化スケールから、出力となるＭＰＥＧ４画像圧
縮情報（ビットストリーム）の各ＶＯＰに対するコンプ
レキシティの推定値を算出し、また、ＩピクチャからＰ
−ＶＯＰに変換されるＶＯＰ及びその直前のＧＯＶに含
まれるＶＯＰのコンプレキシティやＩピクチャの画素値
の平均値を用いて、当該ＩピクチャからＰ−ＶＯＰに変
換されるＶＯＰ及びその直前のＧＯＶにシーンチェンジ
が含まれているかどうかを検出し、そのシーンチェンジ
の検出結果に応じてＧＯＶ構造の再構成を行うようにし
ている。
【００５５】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。
態について、図面を参照しながら説明する。
【００５６】図１には、本発明の第１の実施の形態の画
像情報変換装置の概略構成を示す。
像情報変換装置の概略構成を示す。
【００５７】この図１において、入力端子１に供給され
た飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットスト
リーム）は、先ずピクチャタイプ判別部８に入力する。
た飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットスト
リーム）は、先ずピクチャタイプ判別部８に入力する。
【００５８】当該ピクチャタイプ判別部８は、Ｉ／Ｐピ
クチャに関する情報については出力して圧縮情報解析部
９へ送るが、Ｂピクチャに関する情報については破棄す
る。これによりフレームレートの変換が行われる。
クチャに関する情報については出力して圧縮情報解析部
９へ送るが、Ｂピクチャに関する情報については破棄す
る。これによりフレームレートの変換が行われる。
【００５９】圧縮情報解析部９では、ピクチャタイプ判
別部８から送られてきた画像圧縮情報の構文解析を行う
ことにより、当該ＭＰＥＧ２画像圧縮情報の符号化に関
連する情報を抽出し、その符号化に関連する情報を情報
バッファ１６へ送り、また、当該ＭＰＥＧ２動きベクト
ル情報を動きベクトル合成部１４へ送り、画像圧縮情報
についてはＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチ
ャ）１０へ送る。
別部８から送られてきた画像圧縮情報の構文解析を行う
ことにより、当該ＭＰＥＧ２画像圧縮情報の符号化に関
連する情報を抽出し、その符号化に関連する情報を情報
バッファ１６へ送り、また、当該ＭＰＥＧ２動きベクト
ル情報を動きベクトル合成部１４へ送り、画像圧縮情報
についてはＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチ
ャ）１０へ送る。
【００６０】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）１０は、図７に示した装置のものと同等である。
Ｂピクチャに関する情報は前段のピクチャタイプ判別部
８において既に破棄されているため、当該ＭＰＥＧ２画
像情報復号化部１０の機能としては、Ｉ／Ｐピクチャに
関する情報のみの復号化処理を行えるものであれば良
い。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１
０の出力となる画素値は、間引き部１１に入力される。
チャ）１０は、図７に示した装置のものと同等である。
Ｂピクチャに関する情報は前段のピクチャタイプ判別部
８において既に破棄されているため、当該ＭＰＥＧ２画
像情報復号化部１０の機能としては、Ｉ／Ｐピクチャに
関する情報のみの復号化処理を行えるものであれば良
い。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１
０の出力となる画素値は、間引き部１１に入力される。
【００６１】当該間引き部１１は、水平方向については
１／２の間引き処理を施し、垂直方向については第一フ
ィールド若しくは第二フィールドのどちらか一方のデー
タのみを残し、もう一方を廃棄することにより、入力と
なる画像情報の１／４の大きさを持つ順次走査画像を生
成する。ここで例えば、入力端子１へ供給されたＭＰＥ
Ｇ２画圧縮情報（ビットストリーム）がＮＴＳＣ（Nati
onal Television System Committee）の規格に準拠した
もの、つまり７２０×４８０画素、３０Ｈｚの飛び越し
走査画像であった場合、上記間引き後の画枠は３６０×
２４０画素ということになる。但し、後続のＭＰＥＧ４
画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符
号化を行う際、マクロブロック単位の処理を行うには、
水平方向、垂直方向ともに、その画素数が１６の倍数で
ある必要がある。したがって、当該間引き部１１は、上
記間引きと同時に、上記画素数を１６の倍数にするため
の画素の補填若しくは廃棄を同時に行う。すなわち、こ
の例の場合の間引き部１１は、例えば上記３６０×２４
０画素に対して、例えば水平方向の右端若しくは左端の
８ラインを廃棄することで、上記１６の倍数である３５
２×２４０画素の画枠を構成する。当該間引き部１１に
よって生成された順次走査画像は、一旦、ビデオメモリ
１２に蓄積された後、後段のＭＰＥＧ４画像情報符号化
部（Ｉ／Ｐ−ＶＯＰ）１３の要求に応じて読み出され
る。
１／２の間引き処理を施し、垂直方向については第一フ
ィールド若しくは第二フィールドのどちらか一方のデー
タのみを残し、もう一方を廃棄することにより、入力と
なる画像情報の１／４の大きさを持つ順次走査画像を生
成する。ここで例えば、入力端子１へ供給されたＭＰＥ
Ｇ２画圧縮情報（ビットストリーム）がＮＴＳＣ（Nati
onal Television System Committee）の規格に準拠した
もの、つまり７２０×４８０画素、３０Ｈｚの飛び越し
走査画像であった場合、上記間引き後の画枠は３６０×
２４０画素ということになる。但し、後続のＭＰＥＧ４
画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符
号化を行う際、マクロブロック単位の処理を行うには、
水平方向、垂直方向ともに、その画素数が１６の倍数で
ある必要がある。したがって、当該間引き部１１は、上
記間引きと同時に、上記画素数を１６の倍数にするため
の画素の補填若しくは廃棄を同時に行う。すなわち、こ
の例の場合の間引き部１１は、例えば上記３６０×２４
０画素に対して、例えば水平方向の右端若しくは左端の
８ラインを廃棄することで、上記１６の倍数である３５
２×２４０画素の画枠を構成する。当該間引き部１１に
よって生成された順次走査画像は、一旦、ビデオメモリ
１２に蓄積された後、後段のＭＰＥＧ４画像情報符号化
部（Ｉ／Ｐ−ＶＯＰ）１３の要求に応じて読み出され
る。
【００６２】また、動きベクトル合成部１４では、ＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）から取り出さ
れたＭＰＥＧ２動きベクトル情報を、上記間引き後の画
像情報に対する動きベクトルにマッピングし、さらに次
段の動きベクトル検出部１５では、動きベクトル合成部
１４において合成された動きベクトル値と、ビデオメモ
リ１２に記憶された画像情報とを元に、高精度の動きベ
クトルを検出する。この検出された動きベクトルは、Ｍ
ＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に送
られる。
ＥＧ２画像圧縮情報（ビットストリーム）から取り出さ
れたＭＰＥＧ２動きベクトル情報を、上記間引き後の画
像情報に対する動きベクトルにマッピングし、さらに次
段の動きベクトル検出部１５では、動きベクトル合成部
１４において合成された動きベクトル値と、ビデオメモ
リ１２に記憶された画像情報とを元に、高精度の動きベ
クトルを検出する。この検出された動きベクトルは、Ｍ
ＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に送
られる。
【００６３】上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ
−ＶＯＰ）１３では、情報バッファ１６に保持された前
記ＭＰＥＧ２画像圧縮情報の符号化に関連する情報に基
づいて後述するコンプレキシティ算出部１７が算出した
コンプレキシティと、上記動きベクトル検出部１５から
の動きベクトル情報とを用い、上記ビデオメモリ１２か
ら供給された順次走査画像の信号を符号化してＭＰＥＧ
４画像圧縮情報（ビットストリーム）を生成する。当該
ＭＰＥＧ４画像圧縮情報は、出力端子２から後段へ出力
される。
−ＶＯＰ）１３では、情報バッファ１６に保持された前
記ＭＰＥＧ２画像圧縮情報の符号化に関連する情報に基
づいて後述するコンプレキシティ算出部１７が算出した
コンプレキシティと、上記動きベクトル検出部１５から
の動きベクトル情報とを用い、上記ビデオメモリ１２か
ら供給された順次走査画像の信号を符号化してＭＰＥＧ
４画像圧縮情報（ビットストリーム）を生成する。当該
ＭＰＥＧ４画像圧縮情報は、出力端子２から後段へ出力
される。
【００６４】ここで、この図１の構成のうち、ピクチャ
タイプ判別部８、ＭＰＥＧ２画像情報復号化部１０から
ＭＰＥＧ４画像情報符号化部１３までの主系列の構成
と、動きベクトル合成及び検出のための各構成要素は、
図７に示した画像情報変換装置の対応する各構成要素と
略々同様であるが、図１に示す第１の実施の形態の画像
情報変換装置は、さらに圧縮情報解析部９と情報バッフ
ァ１６及びコンプレキシティ算出部１７を備え、圧縮情
報解析部９が入力ＭＰＥＧ２画像圧縮情報から抽出した
ＭＰＥＧ２画像圧縮情報の符号化に関連する情報を、情
報バッファ１６に蓄積し、さらにコンプレキシティ算出
部１７でコンプレキシティを算出し、ＭＰＥＧ４画像情
報符号化部１３での符号化の際の符号量制御に当該コン
プレキシティを利用することにより、シーンチェンジが
発生した場合でも安定した符号量制御を実現し、画質劣
化の発生を回避可能としている。
タイプ判別部８、ＭＰＥＧ２画像情報復号化部１０から
ＭＰＥＧ４画像情報符号化部１３までの主系列の構成
と、動きベクトル合成及び検出のための各構成要素は、
図７に示した画像情報変換装置の対応する各構成要素と
略々同様であるが、図１に示す第１の実施の形態の画像
情報変換装置は、さらに圧縮情報解析部９と情報バッフ
ァ１６及びコンプレキシティ算出部１７を備え、圧縮情
報解析部９が入力ＭＰＥＧ２画像圧縮情報から抽出した
ＭＰＥＧ２画像圧縮情報の符号化に関連する情報を、情
報バッファ１６に蓄積し、さらにコンプレキシティ算出
部１７でコンプレキシティを算出し、ＭＰＥＧ４画像情
報符号化部１３での符号化の際の符号量制御に当該コン
プレキシティを利用することにより、シーンチェンジが
発生した場合でも安定した符号量制御を実現し、画質劣
化の発生を回避可能としている。
【００６５】以下、図１の圧縮情報解析部９、情報バッ
ファ１６及びコンプレキシティ算出部１７の動作と、コ
ンプレキシティ算出部１７で得られたコンプレキシティ
に基づいて、ＭＰＥＧ４画像情報符号化部１３で符号量
制御を行う際の動作について、図２を用いて説明する。
ファ１６及びコンプレキシティ算出部１７の動作と、コ
ンプレキシティ算出部１７で得られたコンプレキシティ
に基づいて、ＭＰＥＧ４画像情報符号化部１３で符号量
制御を行う際の動作について、図２を用いて説明する。
【００６６】図１の圧縮情報解析部９は、先ずステップ
Ｓ１の処理として、上記ＭＰＥＧ２画像圧縮情報の符号
化に関連する情報を抽出する。すなわち、圧縮情報解析
部９は、ＭＰＥＧ２画像情報の復号処理において用いら
れる、ＧＯＰ内の各フレームに対する量子化スケールの
当該フレーム全体に渡る平均値Ｑと、入力となるＭＰＥ
Ｇ２画像圧縮情報（ビットストリーム）のフレームに割
り当てられた総符号量（ビット数）ＲFとを、ＭＰＥＧ
２画像圧縮情報から抽出して情報バッファ１６に送る。
当該情報バッファ１６に格納された上記量子化スケール
の平均値Ｑ及び上記総符号量ＲFは、コンプレキシティ
算出部１５からの要求により読み出される。
Ｓ１の処理として、上記ＭＰＥＧ２画像圧縮情報の符号
化に関連する情報を抽出する。すなわち、圧縮情報解析
部９は、ＭＰＥＧ２画像情報の復号処理において用いら
れる、ＧＯＰ内の各フレームに対する量子化スケールの
当該フレーム全体に渡る平均値Ｑと、入力となるＭＰＥ
Ｇ２画像圧縮情報（ビットストリーム）のフレームに割
り当てられた総符号量（ビット数）ＲFとを、ＭＰＥＧ
２画像圧縮情報から抽出して情報バッファ１６に送る。
当該情報バッファ１６に格納された上記量子化スケール
の平均値Ｑ及び上記総符号量ＲFは、コンプレキシティ
算出部１５からの要求により読み出される。
【００６７】コンプレキシティ算出部１５では、ステッ
プＳ２の処理として、情報バッファ１６から読み出され
た上記フレーム毎の量子化スケールの平均値Ｑ及び上記
総符号量ＲFを用い、当該フレームに対するコンプレキ
シティＸを式（３３）により算出する。
プＳ２の処理として、情報バッファ１６から読み出され
た上記フレーム毎の量子化スケールの平均値Ｑ及び上記
総符号量ＲFを用い、当該フレームに対するコンプレキ
シティＸを式（３３）により算出する。
【００６８】 Ｘ＝Ｑ・ＲF (33) 上記式（３３）により算出された、当該フレームに対す
るコンプレキシティＸは、１ＧＯＶ(Group of Video Ob
ject plane）分バッファリングされた後、ＭＰＥＧ４画
像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に符号量制御の
ための媒介変数として伝送される。なお、このように、
コンプレキシティ算出の際には１ＧＯＶ分のバッファリ
ングが行われるため、それに対応して主系列の画像信号
も１ＧＯＶ分遅延させる必要があり、当該１ＧＯＶ分の
画像信号の遅延は、上記ビデオメモリ１２により実現さ
れている。
るコンプレキシティＸは、１ＧＯＶ(Group of Video Ob
ject plane）分バッファリングされた後、ＭＰＥＧ４画
像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に符号量制御の
ための媒介変数として伝送される。なお、このように、
コンプレキシティ算出の際には１ＧＯＶ分のバッファリ
ングが行われるため、それに対応して主系列の画像信号
も１ＧＯＶ分遅延させる必要があり、当該１ＧＯＶ分の
画像信号の遅延は、上記ビデオメモリ１２により実現さ
れている。
【００６９】ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−Ｖ
ＯＰ）１３では、ステップＳ３の処理として、上記コン
プレキシティＸを用いて目標符号量（ターゲットビット
量）を算出する。以下、式（３３）において算出され
た、ＧＯＶ内の各フレームに対するコンプレキシティＸ
が、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１
３においてどのように用いられるかについて述べる。な
お、以下の説明では、例えばピクチャタイプ判別部８が
装置内に存在せず、フレームレートの変換を行わない場
合をも考慮することにする。
ＯＰ）１３では、ステップＳ３の処理として、上記コン
プレキシティＸを用いて目標符号量（ターゲットビット
量）を算出する。以下、式（３３）において算出され
た、ＧＯＶ内の各フレームに対するコンプレキシティＸ
が、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１
３においてどのように用いられるかについて述べる。な
お、以下の説明では、例えばピクチャタイプ判別部８が
装置内に存在せず、フレームレートの変換を行わない場
合をも考慮することにする。
【００７０】先ず、前記式（３２）によって求められた
Ｋp，Ｋbの意味するところは、Ｉ−ＶＯＰに対する理想
的な平均量子化スケールＱi_idealと、Ｐ−ＶＯＰ又は
Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱ
p_ideal又はＱb_idealとの比が、次式（３４）の関係を
有するということである。
Ｋp，Ｋbの意味するところは、Ｉ−ＶＯＰに対する理想
的な平均量子化スケールＱi_idealと、Ｐ−ＶＯＰ又は
Ｂ−ＶＯＰに対する理想的な平均量子化スケールＱ
p_ideal又はＱb_idealとの比が、次式（３４）の関係を
有するということである。
【００７１】 Ｑp_ideal／Ｑi_ideal＝Ｋp；Ｑb_ideal／Ｑi_ideal＝Ｋb (34) また、前記ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５では、
式（３２）のように適応的にＫp，Ｋbを算出することを
行わず、前記式（７）に示したような固定値を用いてい
る。
式（３２）のように適応的にＫp，Ｋbを算出することを
行わず、前記式（７）に示したような固定値を用いてい
る。
【００７２】これら式（３２）及び式（３４）から、或
るＶＯＰ１と或るＶＯＰ２に対するコンプレキシティを
それぞれＸ1，Ｘ2とし、理想的な量子化スケールをＱ
1_idea l，Ｑ2_idealとすれば、次式（３５）となる。
るＶＯＰ１と或るＶＯＰ２に対するコンプレキシティを
それぞれＸ1，Ｘ2とし、理想的な量子化スケールをＱ
1_idea l，Ｑ2_idealとすれば、次式（３５）となる。
【００７３】 Ｑ2_ideal／Ｑ1_ideal＝(X1/X2)1/(1+m)≡Ｋ(X1,X2) (35) 或いはまた、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５のよ
うに、前記式（７）に示した固定値を用いたい場合に
は、式（３５）に代えて、次式（３６）とすれば良い。
うに、前記式（７）に示した固定値を用いたい場合に
は、式（３５）に代えて、次式（３６）とすれば良い。
【００７４】
【数３】
【００７５】ここで、ＧＯＶ内の未符号化ＶＯＰに対し
て割り当てられる総符号量（ビット数）をＲとし、この
総符号量Ｒが各ＶＯＰに対してＲ1，Ｒ2，…，Ｒnとい
ったように割り当てられる（配分される）時、当該ＧＯ
Ｖに対する画質が最適化されるものとする。なお、Ｒと
Ｒ1，Ｒ2，…，Ｒnの間には、次式（３７）の関係が成
り立つ。
て割り当てられる総符号量（ビット数）をＲとし、この
総符号量Ｒが各ＶＯＰに対してＲ1，Ｒ2，…，Ｒnとい
ったように割り当てられる（配分される）時、当該ＧＯ
Ｖに対する画質が最適化されるものとする。なお、Ｒと
Ｒ1，Ｒ2，…，Ｒnの間には、次式（３７）の関係が成
り立つ。
【００７６】 Ｒ＝Ｒ1＋Ｒ2＋，…，＋Ｒn (37) また、或るＶＯＰｋに対する平均量子化スケールＱk，
割当符号量Ｒk，コンプレキシティＸkの間には、下記式
（３８）の関係があることにも注意して、上記式（３
７）を変形すれば下記式（３９）のようになる。
割当符号量Ｒk，コンプレキシティＸkの間には、下記式
（３８）の関係があることにも注意して、上記式（３
７）を変形すれば下記式（３９）のようになる。
【００７７】 Ｘk＝Ｑk・Ｒk (38) Ｒ＝Ｒ／{(R1+R2+…+Rn)/R1} ＝Ｒ／(1+R2/R1+…+Rn/R1) ＝Ｒ／{1+(Q1/Q2)(X2/X1)+…+(Q1/Qn)(Xn/X1)} ＝Ｒ／[1+{1/K(X1,X2)}(X2/X1)+…+{1/K(X1,Xn)}(Xn/X1)] (39) なお、この式（３９）において、Ｋ（Ｘ1，Ｘ2）に関し
ては、前記式（３５）に示した値を用いても、式（３
６）に示した値を用いても良いが、前者の方が、画像に
応じた、より最適な符号量配分を実現することが可能で
ある。その際、１／（１＋ｍ）の値を１．０と設定する
ことで、指数演算を行うことが不要となり、高速な実行
が可能となる。また、１／（１＋ｍ）の値を１．０以外
に設定する場合にも、予めテーブルを持ち、これを参照
して指数演算を行うことで高速な実行が可能となる。
ては、前記式（３５）に示した値を用いても、式（３
６）に示した値を用いても良いが、前者の方が、画像に
応じた、より最適な符号量配分を実現することが可能で
ある。その際、１／（１＋ｍ）の値を１．０と設定する
ことで、指数演算を行うことが不要となり、高速な実行
が可能となる。また、１／（１＋ｍ）の値を１．０以外
に設定する場合にも、予めテーブルを持ち、これを参照
して指数演算を行うことで高速な実行が可能となる。
【００７８】上記式（３９）における各ＶＯＰに対する
コンプレキシティＸkは、ＭＰＥＧ４画像符号化による
ものであるが、ＭＰＥＧ２画像符号化による各フレーム
に対するコンプレキシティと、ＭＰＥＧ４画像符号化に
よる各フレームに対するコンプレキシティが等しいと仮
定すれば、コンプレキシティ算出部１７に格納されたＸ
kを用いることで、式（３９）から当該ＶＯＰに対する
目標符号量を算出することが可能である。
コンプレキシティＸkは、ＭＰＥＧ４画像符号化による
ものであるが、ＭＰＥＧ２画像符号化による各フレーム
に対するコンプレキシティと、ＭＰＥＧ４画像符号化に
よる各フレームに対するコンプレキシティが等しいと仮
定すれば、コンプレキシティ算出部１７に格納されたＸ
kを用いることで、式（３９）から当該ＶＯＰに対する
目標符号量を算出することが可能である。
【００７９】前記ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５
では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコ
ンプレキシティＸi，Ｘp，Ｘbは一定であると仮定して
いるが、実際には、シーンチェンジをＧＯＰ内に含む場
合や、ＧＯＰ内で背景が著しく変化する場合等ではこの
仮定が成り立たず、安定した符号量制御の妨げとなり、
画質劣化の要因ともなる。これに対し、図１に示した第
１の実施の形態の画像情報変換装置においては、そのよ
うな場合にも、入力となるＭＰＥＧ２画像圧縮情報（ビ
ットストリーム）における、各フレームに対するコンプ
レキシティに基づいた符号量制御を行うため、画質劣化
を引き起こすことなく、安定した符号量制御を行うこと
が可能となっている。
では、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコ
ンプレキシティＸi，Ｘp，Ｘbは一定であると仮定して
いるが、実際には、シーンチェンジをＧＯＰ内に含む場
合や、ＧＯＰ内で背景が著しく変化する場合等ではこの
仮定が成り立たず、安定した符号量制御の妨げとなり、
画質劣化の要因ともなる。これに対し、図１に示した第
１の実施の形態の画像情報変換装置においては、そのよ
うな場合にも、入力となるＭＰＥＧ２画像圧縮情報（ビ
ットストリーム）における、各フレームに対するコンプ
レキシティに基づいた符号量制御を行うため、画質劣化
を引き起こすことなく、安定した符号量制御を行うこと
が可能となっている。
【００８０】ところで、図１に示した画像情報変換装置
を用いて、ＧＯＰ構造が例えばｎ＝１５；ｍ＝３のＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）の変換を行っ
た場合、出力として得られるのはＧＯＶ構造がｎ＝５；
ｍ＝１のＭＰＥＧ４画像圧縮情報（ビットストリーム）
である。しかしながら、この場合のＭＰＥＧ４画像圧縮
情報（ビットストリーム）は、単位時間当たりのＩ−Ｖ
ＯＰの数が多くなるため、符号化効率が低くなり、ま
た、伝送ビットレートを高く取れればよいが、そうでな
い場合は良好な画質が得られなくなる虞がある。
を用いて、ＧＯＰ構造が例えばｎ＝１５；ｍ＝３のＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）の変換を行っ
た場合、出力として得られるのはＧＯＶ構造がｎ＝５；
ｍ＝１のＭＰＥＧ４画像圧縮情報（ビットストリーム）
である。しかしながら、この場合のＭＰＥＧ４画像圧縮
情報（ビットストリーム）は、単位時間当たりのＩ−Ｖ
ＯＰの数が多くなるため、符号化効率が低くなり、ま
た、伝送ビットレートを高く取れればよいが、そうでな
い場合は良好な画質が得られなくなる虞がある。
【００８１】このような場合、例えば、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）においてＩピ
クチャであった画像をＰ−ＶＯＰに変換し、ＧＯＶの伸
展を行うような手法を用いれば、単位時間当たりのＩ−
ＶＯＰの数を減らすことができ、上記符号化効率の低下
を避けつつ、画質劣化の問題をも解決することができる
と考えられる。
ＥＧ２画像圧縮情報（ビットストリーム）においてＩピ
クチャであった画像をＰ−ＶＯＰに変換し、ＧＯＶの伸
展を行うような手法を用いれば、単位時間当たりのＩ−
ＶＯＰの数を減らすことができ、上記符号化効率の低下
を避けつつ、画質劣化の問題をも解決することができる
と考えられる。
【００８２】但し、当該手法は２つの問題点を有する。
第１の問題点は、元々Ｉピクチャであった画像には動き
ベクトル情報が存在しないということである。また、第
２の問題点は、前記式（３９）を用いた符号量制御を行
う場合、各ＶＯＰに対するコンプレキシティ情報が必要
となるが、ＩピクチャをＰ−ＶＯＰに変換した場合、元
々のコンプレキシティはＩピクチャに関するものである
から変換後のコンプレキシティとして適切な値ではない
ことである。
第１の問題点は、元々Ｉピクチャであった画像には動き
ベクトル情報が存在しないということである。また、第
２の問題点は、前記式（３９）を用いた符号量制御を行
う場合、各ＶＯＰに対するコンプレキシティ情報が必要
となるが、ＩピクチャをＰ−ＶＯＰに変換した場合、元
々のコンプレキシティはＩピクチャに関するものである
から変換後のコンプレキシティとして適切な値ではない
ことである。
【００８３】一方、上記第１の問題点は、例えば、直前
のＰピクチャで用いられていた動きベクトルを元に、一
定のサーチレンジ内で動き検出を行って当該ＶＯＰに対
する高精度の動きベクトルを算出することで回避可能で
あると考えられる。また、第２の問題点は、例えば、直
前のＰピクチャで用いられていた動きベクトルを元に、
一定のサーチレンジ内で動き検出を行って当該ＶＯＰに
対する高精度の動きベクトルを算出することで回避可能
であると考えられる。
のＰピクチャで用いられていた動きベクトルを元に、一
定のサーチレンジ内で動き検出を行って当該ＶＯＰに対
する高精度の動きベクトルを算出することで回避可能で
あると考えられる。また、第２の問題点は、例えば、直
前のＰピクチャで用いられていた動きベクトルを元に、
一定のサーチレンジ内で動き検出を行って当該ＶＯＰに
対する高精度の動きベクトルを算出することで回避可能
であると考えられる。
【００８４】さらに、例えば図３に示すように、入力と
なるＭＰＥＧ２画像圧縮情報（ビットストリーム）のＩ
ピクチャが、出力となるＭＰＥＧ４画像圧縮情報（ビッ
トストリーム）においてＰ−ＶＯＰに変換される場合を
考えてみる。なお、図３中のＩ0，Ｉ1等はそれぞれＩピ
クチャを、Ｐ0，Ｐ1，Ｐ2，Ｐ3等はそれぞれＰピクチャ
を、ＸＩ0、ＸＰ0、ＸＰ1等はＩピクチャやＰピクチャ
に対応する各コンプレキシティを示し、これら各ピクチ
ャが表示順に並べられた状態を表している。
なるＭＰＥＧ２画像圧縮情報（ビットストリーム）のＩ
ピクチャが、出力となるＭＰＥＧ４画像圧縮情報（ビッ
トストリーム）においてＰ−ＶＯＰに変換される場合を
考えてみる。なお、図３中のＩ0，Ｉ1等はそれぞれＩピ
クチャを、Ｐ0，Ｐ1，Ｐ2，Ｐ3等はそれぞれＰピクチャ
を、ＸＩ0、ＸＰ0、ＸＰ1等はＩピクチャやＰピクチャ
に対応する各コンプレキシティを示し、これら各ピクチ
ャが表示順に並べられた状態を表している。
【００８５】この図３において、ＭＰＥＧ２画像圧縮情
報のうち２番目のＩピクチャであるＩ1が、ＭＰＥＧ４
画像圧縮情報のＰ−ＶＯＰに変換されるとする。この
時、符号量制御のためのパラメータであるコンプレキシ
ティとして、上記Ｉ1に対しては、直前のＰピクチャで
あるＰ3のコンプレキシティＸp3が適用されることにな
る。
報のうち２番目のＩピクチャであるＩ1が、ＭＰＥＧ４
画像圧縮情報のＰ−ＶＯＰに変換されるとする。この
時、符号量制御のためのパラメータであるコンプレキシ
ティとして、上記Ｉ1に対しては、直前のＰピクチャで
あるＰ3のコンプレキシティＸp3が適用されることにな
る。
【００８６】次に、Ｉ1が例えばシーンチェンジを含む
画像である場合を考えてみる。この時、Ｉ1には多くの
符号量が割り当てられなければならない。しかしなが
ら、上述の通り、Ｉ1に対するコンプレキシティとし
て、直前のフレームであるＰ3のコンプレキシティＸp3
が用いられた場合、Ｉ1には十分な符号量が割り当てら
れず、画質劣化の原因となる。すなわち、Ｉ1のＩピク
チャにシーンチェンジが含まれる時には、Ｉ1をＩピク
チャからＰ−ＶＯＰに変換することで後続のＶＯＰに画
質劣化が伝播するという問題が生じる。
画像である場合を考えてみる。この時、Ｉ1には多くの
符号量が割り当てられなければならない。しかしなが
ら、上述の通り、Ｉ1に対するコンプレキシティとし
て、直前のフレームであるＰ3のコンプレキシティＸp3
が用いられた場合、Ｉ1には十分な符号量が割り当てら
れず、画質劣化の原因となる。すなわち、Ｉ1のＩピク
チャにシーンチェンジが含まれる時には、Ｉ1をＩピク
チャからＰ−ＶＯＰに変換することで後続のＶＯＰに画
質劣化が伝播するという問題が生じる。
【００８７】一方、図３と同様に示される図４におい
て、例えばＰ2のＰピクチャにシーンチェンジが存在し
たとする。この時、Ｐ2に対するコンプレキシティＸP2
は前後のＰ−ＶＯＰに比較して大きな値を取り、前記式
（３９）に基づいた符号量割り当てを行う場合には、特
別な処理を行わなくても、Ｐ2により多くの符号量が割
り当てられ、その結果、画質劣化を最小限に抑えること
が可能となり、また、後続のＰ−ＶＯＰに劣化が伝播す
ることもない。したがって、この場合、Ｉ1をＩピクチ
ャからＰ−ＶＯＰに変換することに問題はないと言え
る。
て、例えばＰ2のＰピクチャにシーンチェンジが存在し
たとする。この時、Ｐ2に対するコンプレキシティＸP2
は前後のＰ−ＶＯＰに比較して大きな値を取り、前記式
（３９）に基づいた符号量割り当てを行う場合には、特
別な処理を行わなくても、Ｐ2により多くの符号量が割
り当てられ、その結果、画質劣化を最小限に抑えること
が可能となり、また、後続のＰ−ＶＯＰに劣化が伝播す
ることもない。したがって、この場合、Ｉ1をＩピクチ
ャからＰ−ＶＯＰに変換することに問題はないと言え
る。
【００８８】以上のことを鑑み、本発明の第２の実施の
形態の画像情報変換装置においては、図５に示すよう
に、新たにシーンチェンジ検出部２８及びＧＯＶ構造決
定部２９を設け、入力となるＭＰＥＧ２画像圧縮情報
（ビットストリーム）から抽出された各フレームに対す
るコンプレキシティ情報を用い、ＩピクチャからＰ−Ｖ
ＯＰに変換される予定のフレーム、及びその直前のＧＯ
Ｖにシーンチェンジが含まれるかどうかを検出し、その
検出結果に応じてＩピクチャからＰ−ＶＯＰへの変換を
行うかどうかを決定することにより、ＩピクチャからＰ
−ＶＯＰに伴う画質劣化を引き起こすことなく、飛び越
し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）
を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリー
ム）に変換して出力可能としている。なお、図５におい
て、図１の各構成要素と同じ動作をする構成要素につい
ては、図１と同じ指示符号を付してそれらの説明を省略
する。すなわち、図５に示す第２の画像情報変換装置に
おいて、シーンチェンジ検出部２８及びＧＯＶ構造決定
部２９以外の各構成要素における動作原理は、図１に示
した第１の実施の形態の画像情報変換装置と同様である
ため、以下では、シーンチェンジ検出部２８及びＧＯＶ
構造決定部２９における動作原理について、前記図３及
び図４と、図６のフローチャートを参照しながら説明す
ることとする。
形態の画像情報変換装置においては、図５に示すよう
に、新たにシーンチェンジ検出部２８及びＧＯＶ構造決
定部２９を設け、入力となるＭＰＥＧ２画像圧縮情報
（ビットストリーム）から抽出された各フレームに対す
るコンプレキシティ情報を用い、ＩピクチャからＰ−Ｖ
ＯＰに変換される予定のフレーム、及びその直前のＧＯ
Ｖにシーンチェンジが含まれるかどうかを検出し、その
検出結果に応じてＩピクチャからＰ−ＶＯＰへの変換を
行うかどうかを決定することにより、ＩピクチャからＰ
−ＶＯＰに伴う画質劣化を引き起こすことなく、飛び越
し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）
を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリー
ム）に変換して出力可能としている。なお、図５におい
て、図１の各構成要素と同じ動作をする構成要素につい
ては、図１と同じ指示符号を付してそれらの説明を省略
する。すなわち、図５に示す第２の画像情報変換装置に
おいて、シーンチェンジ検出部２８及びＧＯＶ構造決定
部２９以外の各構成要素における動作原理は、図１に示
した第１の実施の形態の画像情報変換装置と同様である
ため、以下では、シーンチェンジ検出部２８及びＧＯＶ
構造決定部２９における動作原理について、前記図３及
び図４と、図６のフローチャートを参照しながら説明す
ることとする。
【００８９】すなわち、図５に示す第２の実施の形態の
画像情報変換装置では、図６のフローチャートに示すよ
うに、先ず、画像情報解析部９において、前記図２のス
テップＳ１と同様に、ステップＳ１１の処理として、入
力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）
から、各フレームに対する量子化スケールＱと符号量Ｒ
Fを抽出し、さらに、情報バッファ１６及びコンプレキ
シティ算出部１７において、図２のステップＳ２と同様
に、ステップＳ１２の処理として、前記式（３３）によ
り各フレームに対するコンプレキシティＸを求める。
画像情報変換装置では、図６のフローチャートに示すよ
うに、先ず、画像情報解析部９において、前記図２のス
テップＳ１と同様に、ステップＳ１１の処理として、入
力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）
から、各フレームに対する量子化スケールＱと符号量Ｒ
Fを抽出し、さらに、情報バッファ１６及びコンプレキ
シティ算出部１７において、図２のステップＳ２と同様
に、ステップＳ１２の処理として、前記式（３３）によ
り各フレームに対するコンプレキシティＸを求める。
【００９０】次に、本実施の形態の画像情報変換装置の
シーンチェンジ検出部２８では、図４で説明したようう
なシーンチェンジが存在（すなわちＰピクチャにシーン
チェンジが存在）するかどうかの検出を行い、そのよう
なシーンチェンジが検出されなかった時には、図３で説
明したようなシーンチェンジが存在（すなわちＩピクチ
ャにシーンチェンジが存在）するかどうかの検出を行
う。ここで、図４で説明したようなシーンチェンジは存
在しないが、図３で説明したようなシーンチェンジが存
在する場合、ＧＯＶ構造決定部２９では、当該Ｉ1のＩ
ピクチャをＰ−ＶＯＰに変換しないと決定する。或い
は、図３において、ＩピクチャからＰ−ＶＯＰへの変換
は行うが、Ｉ1に対する符号量制御のための変数である
コンプレキシティの値として、ＸP2ではなく、当該Ｉ1
に対応したコンプレキシティＸI1の値を用いることにす
る。
シーンチェンジ検出部２８では、図４で説明したようう
なシーンチェンジが存在（すなわちＰピクチャにシーン
チェンジが存在）するかどうかの検出を行い、そのよう
なシーンチェンジが検出されなかった時には、図３で説
明したようなシーンチェンジが存在（すなわちＩピクチ
ャにシーンチェンジが存在）するかどうかの検出を行
う。ここで、図４で説明したようなシーンチェンジは存
在しないが、図３で説明したようなシーンチェンジが存
在する場合、ＧＯＶ構造決定部２９では、当該Ｉ1のＩ
ピクチャをＰ−ＶＯＰに変換しないと決定する。或い
は、図３において、ＩピクチャからＰ−ＶＯＰへの変換
は行うが、Ｉ1に対する符号量制御のための変数である
コンプレキシティの値として、ＸP2ではなく、当該Ｉ1
に対応したコンプレキシティＸI1の値を用いることにす
る。
【００９１】以上のことを実現するため、シーンチェン
ジ検出部２８は、図４で説明したようなシーンチェンジ
を検出するためのパラメータであるθ1と、図３で説明
したようなシーンチェンジを検出するためのパラメータ
であるθ2を予め格納しており、先ず、Ｉi（ｉ＝０，
…，３）として、Ｉ0のＩピクチャに対応するコンプレ
キシティＸI0及びＰ0〜Ｐ3の各Ｐピクチャに対応するコ
ンプレキシティＸP0〜Ｘ P3について、図６のステップＳ
１３のように式（４０）がどれかのｉに対して成り立つ
か否か判定し、式（４０）が成り立つと判定した時、シ
ーンチェンジ検出部２８は、図４で説明したようなシー
ンチェンジが存在すると検出する。
ジ検出部２８は、図４で説明したようなシーンチェンジ
を検出するためのパラメータであるθ1と、図３で説明
したようなシーンチェンジを検出するためのパラメータ
であるθ2を予め格納しており、先ず、Ｉi（ｉ＝０，
…，３）として、Ｉ0のＩピクチャに対応するコンプレ
キシティＸI0及びＰ0〜Ｐ3の各Ｐピクチャに対応するコ
ンプレキシティＸP0〜Ｘ P3について、図６のステップＳ
１３のように式（４０）がどれかのｉに対して成り立つ
か否か判定し、式（４０）が成り立つと判定した時、シ
ーンチェンジ検出部２８は、図４で説明したようなシー
ンチェンジが存在すると検出する。
【００９２】 ＸPi／ＸI0＞θ1 (40) なお、図４に示したようなシーンチェンジの検出は、式
（４０）に述べたようにコンプレキシティを用いた方法
に限らない。例えば、画面の複雑さを示す変数として、
ビデオメモリ２２に格納された、Ｉ0に対応する画素値
のＶＯＰ全体に渡る平均ＭｅａｎI0と、Ｐ0〜Ｐ3に対す
る画素値のＶＯＰ全体に渡る平均ＭｅａｎPiとを用い、
次式（４１）がどれかのｉに対して成り立つ時、図４に
示したようなシーンチェンジが存在すると検出するよう
にしても良い。
（４０）に述べたようにコンプレキシティを用いた方法
に限らない。例えば、画面の複雑さを示す変数として、
ビデオメモリ２２に格納された、Ｉ0に対応する画素値
のＶＯＰ全体に渡る平均ＭｅａｎI0と、Ｐ0〜Ｐ3に対す
る画素値のＶＯＰ全体に渡る平均ＭｅａｎPiとを用い、
次式（４１）がどれかのｉに対して成り立つ時、図４に
示したようなシーンチェンジが存在すると検出するよう
にしても良い。
【００９３】 ｜MeanPi−MeanI0｜＞θ1 (41) 上記ＭｅａｎI0及びＭｅａｎPiは、ビデオメモリ２２に
格納された間引き後の画素値ではなく、入力となるＭＰ
ＥＧ２画像庄縮情報（ビットストリーム）を復号して得
られた画素値を用いても良い。
格納された間引き後の画素値ではなく、入力となるＭＰ
ＥＧ２画像庄縮情報（ビットストリーム）を復号して得
られた画素値を用いても良い。
【００９４】次に、ステップＳ１３において、式（４
０）が成り立たないと判定した時、シーンチェンジ検出
部２８は、図３に示したシーンチェンジが存在するかど
うかの検出を行う。すなわち、シーンチェンジ検出部２
８は、θ2及びＩ0，Ｉ1に対するコンプレキシティ
ＸI0，ＸI1を用い、ステップＳ１４の処理として、次式
（４２）が成り立つか否か判定し、式（４２）が成り立
つと判定した時、図３に示したようなシーンチェンジが
存在すると検出する。
０）が成り立たないと判定した時、シーンチェンジ検出
部２８は、図３に示したシーンチェンジが存在するかど
うかの検出を行う。すなわち、シーンチェンジ検出部２
８は、θ2及びＩ0，Ｉ1に対するコンプレキシティ
ＸI0，ＸI1を用い、ステップＳ１４の処理として、次式
（４２）が成り立つか否か判定し、式（４２）が成り立
つと判定した時、図３に示したようなシーンチェンジが
存在すると検出する。
【００９５】 ｜ＸI1−ＸI0｜＞θ2 (42) なお、図３に示したようなシーンチェンジの検出は、式
（４２）に述べたようにコンプレキシティを用いた方法
に限らない。例えば、画面の複雑さを示す変数として、
ビデオメモリ２２に格納された、Ｉ0に対応する画素値
のＶＯＰ全体に渡る平均ＭｅａｎI0と、Ｉ1に対応する
画素値のＶＯＰ全体に渡る平均ＭｅａｎI 1とを用い、次
式（４３）が成り立つ時、図３に示すようなシーンチェ
ンジが存在するとしても良い。
（４２）に述べたようにコンプレキシティを用いた方法
に限らない。例えば、画面の複雑さを示す変数として、
ビデオメモリ２２に格納された、Ｉ0に対応する画素値
のＶＯＰ全体に渡る平均ＭｅａｎI0と、Ｉ1に対応する
画素値のＶＯＰ全体に渡る平均ＭｅａｎI 1とを用い、次
式（４３）が成り立つ時、図３に示すようなシーンチェ
ンジが存在するとしても良い。
【００９６】 ｜MeanIi−MeanI0｜＞θ2 (43) 以上述べてきた方法により、シーンチェンジ検出部２８
において、図３又は図４に示すようなシーンチェンジが
存在するかどうかの検出を行い、図４に示したようなシ
ーンチェンジが存在することの検出がなされた場合、Ｇ
ＯＶ構造決定部２９では、ステップＳ１５の処理とし
て、Ｉ1に対してＩピクチャからＰ−ＶＯＰへの変換を
行うようにする。一方、図４に示したようなシーンチェ
ンジは存在しないが、図３に示したようなシーンチェン
ジが検出される場合、ＧＯＶ構造決定部２９では、ステ
ップＳ１６の処理として、Ｉ1に対してＩピクチャから
Ｐ−ＶＯＰへの変換を行わない。或いは、Ｉピクチャか
らＰ−ＶＯＰへの変換は行うが、Ｉ1に対する符号量制
御のための変数であるコンプレキシティの値として、Ｘ
P2ではなく、当該Ｉ1に対応したコンプレキシティＸI1
の値を用いてＭＰＥＧ４符号化処理の符号量制御が行わ
れるようにする。
において、図３又は図４に示すようなシーンチェンジが
存在するかどうかの検出を行い、図４に示したようなシ
ーンチェンジが存在することの検出がなされた場合、Ｇ
ＯＶ構造決定部２９では、ステップＳ１５の処理とし
て、Ｉ1に対してＩピクチャからＰ−ＶＯＰへの変換を
行うようにする。一方、図４に示したようなシーンチェ
ンジは存在しないが、図３に示したようなシーンチェン
ジが検出される場合、ＧＯＶ構造決定部２９では、ステ
ップＳ１６の処理として、Ｉ1に対してＩピクチャから
Ｐ−ＶＯＰへの変換を行わない。或いは、Ｉピクチャか
らＰ−ＶＯＰへの変換は行うが、Ｉ1に対する符号量制
御のための変数であるコンプレキシティの値として、Ｘ
P2ではなく、当該Ｉ1に対応したコンプレキシティＸI1
の値を用いてＭＰＥＧ４符号化処理の符号量制御が行わ
れるようにする。
【００９７】なお、以上説明した実施の形態では、入力
としてＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリ
ーム）を対象としてきたが、入力、出力ともこれに限ら
ず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情
報（ビットストリーム）でも良い。
としてＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリ
ーム）を対象としてきたが、入力、出力ともこれに限ら
ず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情
報（ビットストリーム）でも良い。
【００９８】
【発明の効果】以上の説明からも明らかなように、本発
明においては、第１の画像符号化情報を構成する画像の
複雑さを示す変数に基づいて画像の切り替わりを検出
し、その画像の切り替わりの検出出力に基づいて第２の
画像符号化情報の画像内符号化画像と画像間予測符号化
画像の所定期間内における構成を決定し、その構成と第
２の画像符号化情報を構成する各画像に対する目標符号
量とに基づいて、第２の画像符号化情報を生成する場合
において、第１の画像符号化情報を構成していた画像内
符号化画像が第２の画像符号化情報を構成する画像へ変
換されるとき、当該画像内符号化画像が切り替わりの画
像であるか、或いは、当該画像内符号化画像が含まれる
第１の所定期間の直前の第２の所定期間内に切り替わり
の画像が存在するかを検出することにより、シーンチェ
ンジに起因する画質劣化を引き起こすことなく、安定し
た符号量制御により、画像圧縮情報の変換を実現可能で
ある。
明においては、第１の画像符号化情報を構成する画像の
複雑さを示す変数に基づいて画像の切り替わりを検出
し、その画像の切り替わりの検出出力に基づいて第２の
画像符号化情報の画像内符号化画像と画像間予測符号化
画像の所定期間内における構成を決定し、その構成と第
２の画像符号化情報を構成する各画像に対する目標符号
量とに基づいて、第２の画像符号化情報を生成する場合
において、第１の画像符号化情報を構成していた画像内
符号化画像が第２の画像符号化情報を構成する画像へ変
換されるとき、当該画像内符号化画像が切り替わりの画
像であるか、或いは、当該画像内符号化画像が含まれる
第１の所定期間の直前の第２の所定期間内に切り替わり
の画像が存在するかを検出することにより、シーンチェ
ンジに起因する画質劣化を引き起こすことなく、安定し
た符号量制御により、画像圧縮情報の変換を実現可能で
ある。
【図１】本発明の第１の実施の形態の画像情報変換装置
の概略構成を示すブロック回路図である。
の概略構成を示すブロック回路図である。
【図２】第１の実施の形態の画像情報変換装置における
符号量制御の流れを示すフローチャートである。
符号量制御の流れを示すフローチャートである。
【図３】Ｉピクチャにシーンチェンジが存在する場合の
問題点の説明に用いる図である。
問題点の説明に用いる図である。
【図４】Ｉピクチャにシーンチェンジが存在しない場合
の説明に用いる図である。
の説明に用いる図である。
【図５】本発明の第２の実施の形態の画像情報変換装置
の概略構成を示すブロック回路図である。
の概略構成を示すブロック回路図である。
【図６】第２の実施の形態の画像情報変換装置における
符号量制御の流れを示すフローチャートである。
符号量制御の流れを示すフローチャートである。
【図７】従来の画像情報変換装置の概略構成を示すブロ
ック回路図である。
ック回路図である。
【図８】ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５に述べら
れている符号量制御方式の動作原理の説明に用いるフロ
ーチャートである。
れている符号量制御方式の動作原理の説明に用いるフロ
ーチャートである。
８ ピクチャタイプ判別部、 ９ 画像情報解析部、
１０ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチ
ャ）、 １１ 間引き部、 １２ ビデオメモリ、１３
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、
１４ 動きベクトル合成部、 １５ 動きベクトル検出
部、 １６ 情報バッファ、 １７ コンプレキシティ
算出部、 ２８ シーンチェンジ検出部、 ２９ ＧＯ
Ｖ構造決定部
１０ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチ
ャ）、 １１ 間引き部、 １２ ビデオメモリ、１３
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、
１４ 動きベクトル合成部、 １５ 動きベクトル検出
部、 １６ 情報バッファ、 １７ コンプレキシティ
算出部、 ２８ シーンチェンジ検出部、 ２９ ＧＯ
Ｖ構造決定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 矢ケ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK41 MA00 PP05 PP06 TA50 TC10 TC12 TC14 TC19 TD03 TD06 UA05 UA38 5C063 AB03 BA01 BA04 CA23 5J064 AA02 BA01 BA16 BB03 BC01 BC21 BD02
Claims (28)
- 【請求項１】 画像内符号化画像と画像間予測符号化画
像からなる第１の画像符号化情報を、第２の画像符号化
情報へ変換する画像情報変換装置において、 上記第１の画像符号化情報を構成する画像の複雑さを示
す変数を抽出する情報抽出手段と、 上記抽出された変数に基づいて、上記第１の画像符号化
情報を構成する画像の切り替わりを検出する切り替わり
検出手段と、 上記切り替わり検出手段からの検出出力に基づいて、上
記第２の画像符号化情報の画像内符号化画像と画像間予
測符号化画像の所定期間内における構成を決定する構成
決定手段と、 上記第２の画像符号化情報を構成する各画像に対する目
標符号量を上記抽出された変数に基づいて算出し、上記
構成決定手段により決定された所定期間内の画像の構成
と上記目標符号量とに基づいて、上記第１の画像符号化
情報が復号された画像を符号化して上記第２の画像符号
化情報を生成する符号化手段とを有し、 上記第１の画像符号化情報を構成していた上記画像内符
号化画像が上記第２の画像符号化情報を構成する画像へ
変換される際に、上記切り替わり検出手段は、当該画像
内符号化画像が上記切り替わりの画像であるか、或い
は、当該画像内符号化画像が含まれる第１の所定期間の
直前の第２の所定期間内に上記切り替わりの画像が存在
するかを検出することを特徴とする画像情報変換装置。 - 【請求項２】 上記切り替わり検出手段は、上記第２の
所定期間内に上記切り替わりの画像があるかを検出する
ための第１のパラメータと、上記第１の所定期間内の当
該画像内符号化画像が上記切り替わりの画像であるかを
検出するための第２のパラメータとを予め有し、上記第
１，第２のパラメータと上記変数とを用いて上記画像の
切り替わりを検出することを特徴とする請求項１記載の
画像情報変換装置。 - 【請求項３】 上記変数は、上記第１の画像符号化情報
を構成する画像に対する平均量子化スケールを表す値
と、当該画像に割り当てられた符号量を表す値との積に
より表されるコンプレキシティであることを特徴とする
請求項２記載の画像情報変換装置。 - 【請求項４】 上記第１の画像符号化情報を構成してい
た上記画像内符号化画像が上記第２の画像符号化情報を
構成する画像へ変換される際、上記切り替わり検出手段
は、上記第２の所定期間内に含まれる複数の画像間予測
符号化画像についての上記コンプレキシティの何れか
と、上記第２の所定期間内に含まれる画像内符号化画像
についての上記コンプレキシティとの比の値が、上記第
１のパラメータより大きいとき、上記第２の所定期間内
に上記画像の切り替わりが含まれると検出することを特
徴とする請求項３記載の画像情報変換装置。 - 【請求項５】 上記切り替わり検出手段は、上記第２の
所定期間内に上記切り替わりの画像が含まれないと判定
したとき、上記第１の所定期間内の当該画像内符号化画
像が上記切り替わりの画像であるかを判定することを特
徴とする請求項４記載の画像情報変換装置。 - 【請求項６】 上記切り替わり検出手段は、上記第１の
所定期間内の当該画像内符号化画像についての上記コン
プレキシティと、上記第２の所定期間内に含まれる画像
内符号化画像についての上記コンプレキシティとの差の
絶対値が、上記第２のパラメータより大きいとき、上記
第１の所定期間内の当該画像内符号化画像が上記切り替
わり画像であると検出することを特徴とする請求項５記
載の画像情報変換装置。 - 【請求項７】 上記第１の所定期間内の画像内符号化画
像が上記切り替わり画像であると検出されたとき、上記
構成決定手段は、当該切り替わり画像であると検出され
た画像内符号化画像を、上記第２の画像符号化情報を構
成する画像内符号化情報とすることを特徴とする請求項
６記載の画像情報変換装置。 - 【請求項８】 上記第１の所定期間内の画像内符号化画
像が上記切り替わり画像であると検出されたとき、上記
構成決定手段は、当該切り替わり画像であると検出され
た画像内符号化画像を、上記第２の画像符号化情報を構
成する画像間予測符号化画像にすると共に、当該切り替
わり画像であると検出された画像内符号化画像に対応し
て算出された目標符号量を用いて符号化を行うことを特
徴とする請求項７記載の画像情報変換装置。 - 【請求項９】 上記変数は、第１の画像符号化情報を復
号して上記第２の画像符号化情報へ符号化する前の復号
画像の画素値の平均値であることを特徴とする請求項２
記載の画像情報変換装置。 - 【請求項１０】 上記第１の画像符号化情報を構成して
いた上記画像内符号化画像が上記第２の画像符号化情報
を構成する画像へ変換される際、上記切り替わり検出手
段は、上記第２の所定期間内に含まれる複数の画像間予
測符号化画像についての上記平均値の何れかと、上記第
２の所定期間内に含まれる画像内符号化画像についての
上記平均値との差の絶対値が、上記第１のパラメータよ
り大きいとき、上記第２の所定期間内に上記画像の切り
替わりが含まれると検出することを特徴とする請求項９
記載の画像情報変換装置。 - 【請求項１１】 上記切り替わり検出手段は、上記第２
の所定期間内に上記切り替わりの画像が含まれないと判
定したとき、上記第１の所定期間内の当該画像内符号化
画像が上記切り替わりの画像であるかを判定することを
特徴とする請求項１０記載の画像情報変換装置。 - 【請求項１２】 上記切り替わり検出手段は、上記第１
の所定期間内の当該画像内符号化画像についての上記平
均値と、上記第２の所定期間内に含まれる画像内符号化
画像についての上記平均値との差の絶対値が、上記第２
のパラメータより大きいとき、上記第１の所定期間内の
当該画像内符号化画像が上記切り替わり画像であると検
出することを特徴とする請求項１１記載の画像情報変換
装置。 - 【請求項１３】 上記第１の所定期間内の画像内符号化
画像が上記切り替わり画像であると検出されたとき、上
記構成決定手段は、当該切り替わり画像であると検出さ
れた画像内符号化画像を、上記第２の画像符号化情報を
構成する画像内符号化情報とすることを特徴とする請求
項１２記載の画像情報変換装置。 - 【請求項１４】 上記第１の所定期間内の画像内符号化
画像が上記切り替わり画像であると検出されたとき、上
記構成決定手段は、当該切り替わり画像であると検出さ
れた画像内符号化画像を、上記第２の画像符号化情報を
構成する画像間予測符号化画像にすると共に、当該切り
替わり画像であると検出された画像内符号化画像に対応
して算出された目標符号量を用いて符号化を行うことを
特徴とする請求項１３記載の画像情報変換装置。 - 【請求項１５】 画像内符号化画像と画像間予測符号化
画像からなる第１の画像符号化情報を、第２の画像符号
化情報へ変換する画像情報変換方法において、 上記第１の画像符号化情報を構成する画像の複雑さを示
す変数を抽出し、 上記抽出された変数に基づいて、上記第１の画像符号化
情報を構成する画像の切り替わりを検出し、 上記画像の切り替わりの検出出力に基づいて、上記第２
の画像符号化情報の画像内符号化画像と画像間予測符号
化画像の所定期間内における構成を決定し、 上記第２の画像符号化情報を構成する各画像に対する目
標符号量を上記抽出された変数に基づいて算出し、上記
決定された所定期間内の画像の構成と上記目標符号量と
に基づいて、上記第１の画像符号化情報が復号された画
像を符号化して上記第２の画像符号化情報を生成し、 上記第１の画像符号化情報を構成していた上記画像内符
号化画像が上記第２の画像符号化情報を構成する画像へ
変換されるとき、上記切り替わり検出の際には、当該画
像内符号化画像が上記切り替わりの画像であるか、或い
は、当該画像内符号化画像が含まれる第１の所定期間の
直前の第２の所定期間内に上記切り替わりの画像が存在
するかを検出することを特徴とする画像情報変換方法。 - 【請求項１６】 上記切り替わり検出の際には、上記第
２の所定期間内に上記切り替わりの画像があるかを検出
するための第１のパラメータと、上記第１の所定期間内
の当該画像内符号化画像が上記切り替わりの画像である
かを検出するための第２のパラメータと、上記変数とを
用いて、上記画像の切り替わりを検出することを特徴と
する請求項１５記載の画像情報変換方法。 - 【請求項１７】 上記変数は、上記第１の画像符号化情
報を構成する画像に対する平均量子化スケールを表す値
と、当該画像に割り当てられた符号量を表す値との積に
より表されるコンプレキシティであることを特徴とする
請求項１６記載の画像情報変換方法。 - 【請求項１８】 上記第１の画像符号化情報を構成して
いた上記画像内符号化画像が上記第２の画像符号化情報
を構成する画像へ変換されるとき、上記切り替わり検出
の際には、上記第２の所定期間内に含まれる複数の画像
間予測符号化画像についての上記コンプレキシティの何
れかと、上記第２の所定期間内に含まれる画像内符号化
画像についての上記コンプレキシティとの比の値が、上
記第１のパラメータより大きいならば、上記第２の所定
期間内に上記画像の切り替わりが含まれると検出するこ
とを特徴とする請求項１７記載の画像情報変換方法。 - 【請求項１９】 上記切り替わり検出の際には、上記第
２の所定期間内に上記切り替わりの画像が含まれないと
判定したならば、上記第１の所定期間内の当該画像内符
号化画像が上記切り替わりの画像であるかを判定するこ
とを特徴とする請求項１８記載の画像情報変換方法。 - 【請求項２０】 上記切り替わり検出の際には、上記第
１の所定期間内の当該画像内符号化画像についての上記
コンプレキシティと、上記第２の所定期間内に含まれる
画像内符号化画像についての上記コンプレキシティとの
差の絶対値が、上記第２のパラメータより大きいなら
ば、上記第１の所定期間内の当該画像内符号化画像が上
記切り替わり画像であると検出することを特徴とする請
求項１９記載の画像情報変換方法。 - 【請求項２１】 上記第１の所定期間内の画像内符号化
画像が上記切り替わり画像であると検出されたとき、当
該切り替わり画像であると検出された画像内符号化画像
を、上記第２の画像符号化情報を構成する画像内符号化
情報とすることを特徴とする請求項２０記載の画像情報
変換方法。 - 【請求項２２】 上記第１の所定期間内の画像内符号化
画像が上記切り替わり画像であると検出されたとき、当
該切り替わり画像であると検出された画像内符号化画像
を、上記第２の画像符号化情報を構成する画像間予測符
号化画像にすると共に、当該切り替わり画像であると検
出された画像内符号化画像に対応して算出された目標符
号量を用いて符号化を行うことを特徴とする請求項２１
記載の画像情報変換方法。 - 【請求項２３】 上記変数は、第１の画像符号化情報を
復号して上記第２の画像符号化情報へ符号化する前の復
号画像の画素値の平均値であることを特徴とする請求項
１６記載の画像情報変換方法。 - 【請求項２４】 上記第１の画像符号化情報を構成して
いた上記画像内符号化画像が上記第２の画像符号化情報
を構成する画像へ変換されるとき、上記切り替わり検出
の際には、上記第２の所定期間内に含まれる複数の画像
間予測符号化画像についての上記平均値の何れかと、上
記第２の所定期間内に含まれる画像内符号化画像につい
ての上記平均値との差の絶対値が、上記第１のパラメー
タより大きいならば、上記第２の所定期間内に上記画像
の切り替わりが含まれると検出することを特徴とする請
求項２２記載の画像情報変換方法。 - 【請求項２５】 上記切り替わり検出の際には、上記第
２の所定期間内に上記切り替わりの画像が含まれないと
判定したならば、上記第１の所定期間内の当該画像内符
号化画像が上記切り替わりの画像であるかを判定するこ
とを特徴とする請求項２３記載の画像情報変換方法。 - 【請求項２６】 上記切り替わり検出の際には、上記第
１の所定期間内の当該画像内符号化画像についての上記
平均値と、上記第２の所定期間内に含まれる画像内符号
化画像についての上記平均値との差の絶対値が、上記第
２のパラメータより大きいならば、上記第１の所定期間
内の当該画像内符号化画像が上記切り替わり画像である
と検出することを特徴とする請求項２４記載の画像情報
変換方法。 - 【請求項２７】 上記第１の所定期間内の画像内符号化
画像が上記切り替わり画像であると検出されたとき、当
該切り替わり画像であると検出された画像内符号化画像
を、上記第２の画像符号化情報を構成する画像内符号化
情報とすることを特徴とする請求項２５記載の画像情報
変換方法。 - 【請求項２８】 上記第１の所定期間内の画像内符号化
画像が上記切り替わり画像であると検出されたとき、当
該切り替わり画像であると検出された画像内符号化画像
を、上記第２の画像符号化情報を構成する画像間予測符
号化画像にすると共に、当該切り替わり画像であると検
出された画像内符号化画像に対応して算出された目標符
号量を用いて符号化を行うことを特徴とする請求項２６
記載の画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000311317A JP2002125227A (ja) | 2000-10-11 | 2000-10-11 | 画像情報変換装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000311317A JP2002125227A (ja) | 2000-10-11 | 2000-10-11 | 画像情報変換装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002125227A true JP2002125227A (ja) | 2002-04-26 |
Family
ID=18791104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000311317A Withdrawn JP2002125227A (ja) | 2000-10-11 | 2000-10-11 | 画像情報変換装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002125227A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033014A (ja) * | 2004-07-12 | 2006-02-02 | Hitachi Ltd | 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置 |
| US7457471B2 (en) | 2002-05-22 | 2008-11-25 | Samsung Electronics Co.. Ltd. | Method of adaptively encoding and decoding motion image and apparatus therefor |
| JP2012199961A (ja) * | 2005-09-27 | 2012-10-18 | Qualcomm Inc | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
-
2000
- 2000-10-11 JP JP2000311317A patent/JP2002125227A/ja not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7457471B2 (en) | 2002-05-22 | 2008-11-25 | Samsung Electronics Co.. Ltd. | Method of adaptively encoding and decoding motion image and apparatus therefor |
| JP4528043B2 (ja) * | 2004-07-12 | 2010-08-18 | 株式会社日立製作所 | 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置 |
| JP2006033014A (ja) * | 2004-07-12 | 2006-02-02 | Hitachi Ltd | 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置 |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
| US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
| JP2012199961A (ja) * | 2005-09-27 | 2012-10-18 | Qualcomm Inc | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4517495B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 | |
| US11115671B2 (en) | System and method for video coding | |
| US9357222B2 (en) | Video device finishing encoding within the desired length of time | |
| US9197903B2 (en) | Method and system for determining a macroblock partition for data transcoding | |
| JP2002152759A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JPH0998429A (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| US20220201306A1 (en) | Encoder, decoder, encoding method, and decoding method | |
| US20220329785A1 (en) | Encoder, decoder, encoding method, decoding method, and medium | |
| EP1838108A1 (en) | Processing video data at a target rate | |
| JP2002125227A (ja) | 画像情報変換装置及び方法 | |
| JP2002152752A (ja) | 画像情報変換装置及び方法 | |
| JPH10271494A (ja) | 動画符号変換装置 | |
| JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4517475B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
| JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JPH10224799A (ja) | 画像信号符号化方法及び装置、画像信号復号方法及び装置、並びに画像信号記録媒体 | |
| JP4517468B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP2001346214A (ja) | 画像情報変換装置及び方法 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| US7012959B2 (en) | Picture information conversion method and apparatus | |
| JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
| US20220166995A1 (en) | Encoder, decoder, encoding method, decoding method, and medium | |
| US20220174305A1 (en) | Encoder, decoder, encoding method, and decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |