JP2002152759A - 画像情報変換装置および画像情報変換方法 - Google Patents

画像情報変換装置および画像情報変換方法

Info

Publication number
JP2002152759A
JP2002152759A JP2000344491A JP2000344491A JP2002152759A JP 2002152759 A JP2002152759 A JP 2002152759A JP 2000344491 A JP2000344491 A JP 2000344491A JP 2000344491 A JP2000344491 A JP 2000344491A JP 2002152759 A JP2002152759 A JP 2002152759A
Authority
JP
Japan
Prior art keywords
image
image information
frame
average value
scene change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000344491A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Kuniaki Takahashi
邦明 高橋
Teruhiko Suzuki
輝彦 鈴木
Yoichi Yagasaki
陽一 矢ヶ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000344491A priority Critical patent/JP2002152759A/ja
Priority to US09/986,435 priority patent/US6888889B2/en
Publication of JP2002152759A publication Critical patent/JP2002152759A/ja
Priority to US10/986,301 priority patent/US20050089096A1/en
Priority to US11/113,295 priority patent/US7319721B2/en
Priority to US11/113,299 priority patent/US7515636B2/en
Priority to US11/113,290 priority patent/US7421023B2/en
Priority to US11/113,291 priority patent/US7460598B2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 ＭＰＥＧ２画像圧縮情報を入力し、ＭＰＥＧ
４画像圧縮情報を出力する際、ＩピクチャからＰ−ＶＯ
Ｐへと変換するときに生じる画像劣化を回避する。 【解決手段】 シーンチェンジ検出部２１は、各ＶＯＰ
に対するコンプレキシティの推定値に基づいて、ＭＰＥ
Ｇ２ビットストリームにおけるＩピクチャをＭＰＥＧ４
ビットストリームにおけるＰ−ＶＯＰに変換するとき、
シーンチェンジが含まれるか否かの検出を行う。ＧＯＶ
構造決定部２２は、シーンチェンジ検出部２１において
シーンチェンジが検出された場合、ＭＰＥＧ２ビットス
トリームにおけるＩピクチャから、ＭＰＥＧ４ビットス
トリームのＰ−ＶＯＰへの変換を行わないことを決定す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像情報変換装置
および画像情報変換方法に関し、特に、離散コサイン変
換等の直交変換と動き補償とによって圧縮された画像情
報（ビットストリーム）を衛星放送、ケーブルＴＶ、イ
ンターネット等のネットワークメディアを介して受信す
る際、あるいは、光ディスクおよび光磁気ディスク等の
記録媒体上で処理する際に用いられる画像情報変換装置
および画像情報変換方法に関するものである。
【０００２】
【従来の技術】近年、画像情報をディジタルデータとし
て取り扱う際、画像情報特有の冗長性を利用し、効率の
高い情報の伝送および蓄積を目的とした、例えば離散コ
サイン変換等の直交変換と動き補償により圧縮する方式
に準拠した装置が、放送局などの情報配信および一般家
庭における情報受信の双方において普及しつつある。
【０００３】特に、ＭＰＥＧ（Moving Picture Experts
Group：動画像符号化専門家会合）によって標準化され
ているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ
／ＩＥＣ １３８１８−２に定義されており、飛び越し
走査画像および順次走査画像の双方、並びに標準解像度
画像および高精細画像を網羅している。そのためＭＰＥ
Ｇ２は、プロフェッショナル用途からコンシューマ用途
まで、広範なアプリケーションに今後とも用いられるも
のと予想される。
【０００４】このようなＭＰＥＧ２圧縮方式を用いるこ
とにより、例えば７２０×４８０画素を持つ標準解像度
の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量
（以下、ビットレートと記す。）を、１９２０×１０８
８画素を持つ高解像度の飛び越し走査画像であれば１８
〜２２Ｍｂｐｓのビットレートを割り当てることで、高
い圧縮率と良好な画質の実現が可能である。
【０００５】ＭＰＥＧ２は、主として放送用に適合する
高画質符号化を対象としていたが、ＭＰＥＧ１よりも低
いビットレート、つまり、より高い圧縮率の符号化方式
には対応していなかった。ところが携帯端末の普及とと
もに、今後より高い圧縮率の符号化方式のニーズは高ま
ると予想されたことからＭＰＥＧ４符号化方式の標準化
が行われ、画像符号化方式に関しては、１９９８年１２
月にＩＳＯ／ＩＥＣ１４４９６−２として国際標準に承
認されている。
【０００６】ところで、ディジタル放送に対応するよう
に一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、Ｍ
ＰＥＧ２ビットストリームと記す。）を携帯端末等で処
理するためには、より低いビットレートのＭＰＥＧ４画
像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記
す。）に変換することが要求される。
【０００７】かかる要求に応える画像情報変換装置（ト
ランスコーダ）として、“Field-to-Frame Transcoding
with Spatial and Temporal Downsampling”（Susie J
Wee,John G.Apostlopoulos,and Nick Feamster,ICIP'9
9、これを以下、文献１と呼ぶ）において、図５に示す
装置が提案されている。
【０００８】図５に示す画像情報変換装置１０１は、ピ
クチャタイプ判別部１１１と、ＭＰＥＧ２画像情報（Ｉ
ピクチャおよびＰピクチャ）復号化部１１２と、間引き
部１１３と、ビデオメモリ１１４と、ＭＰＥＧ４画像情
報（Ｉ／Ｐ−ＶＯＰ）符号化部１１５と、動きベクトル
合成部１１６と、動きベクトル検出部１１７とを備えて
いる。ここで、ＭＰＥＧ４におけるＶＯＰ（Video Obje
ct Plane）とは、ＭＰＥＧ２におけるフレームに相当す
るものである。
【０００９】まず、ピクチャタイプ判別部１１１は、飛
び越し走査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ
２ビットストリームと記す。）における各フレームのデ
ータを入力し、ＭＰＥＧ２画像情報（以下、Ｉピクチャ
およびＰピクチャと記す。）に関するものか、Ｂピクチ
ャに関するものであるかを判別する。ピクチャタイプ判
別部１１１は、前者のみを後続のＭＰＥＧ２画像情報復
号化部１１２へと出力する。
【００１０】ＭＰＥＧ２画像情報復号化部１１２におけ
る処理は、通常のＭＰＥＧ２画像情報復号化部と同様で
あるが、Ｂピクチャに関するデータはピクチャタイプ判
別部１１１において廃棄されるため、ＭＰＥＧ２画像情
報復号化部１１２における機能としてはＩピクチャおよ
びＰピクチャのみを復号可能であればよい。
【００１１】間引き部１１３は、ＭＰＥＧ２画像情報復
号化部１１２からの画像値を入力し、水平方向に１／２
の間引き処理を施し、垂直方向に第１フィールド、もし
くは第２フィールドのどちらか一方のデータのみを残
し、他方を廃棄する処理を施すことによって、入力した
画像情報の１／４の大きさを持つ順次走査画像を生成す
る。
【００１２】ところで、例えば、ＭＰＥＧ２画像情報復
号化部１１２から入力したＭＰＥＧ２ビットストリーム
がＮＴＳＣ（National Television System Committee）
の規格に準拠した画像、つまり７２０×４８０画素、３
０Ｈｚの飛び越し走査画像であった場合、間引き部１１
３における間引き処理後の画枠は３６０×２４０画素に
なる。ところが、後続のＭＰＥＧ４画像情報符号化部１
１５において符号化を行う際、マクロブロック単位の処
理を行うには、水平方向、垂直方向ともに、その画素数
が１６の倍数である必要がある。したがって、間引き部
１１３は、さらに、そのための画素の補填または廃棄を
行う。すなわち、上記の場合においては、例えば、水平
方向の右端、もしくは左端の８ラインを廃棄して３５２
×２４０画素とする。
【００１３】間引き部１１３によって生成された順次走
査画像は、ビデオメモリ１１４に蓄積された後、ＭＰＥ
Ｇ４画像情報符号化部１１５によって符号化処理が施さ
れ、ＭＰＥＧ４ビットストリームとして出力される。
【００１４】入力となるＭＰＥＧ２ビットストリーム中
の動きベクトル情報は、動きベクトル合成部１１６に供
給されて、間引き後の画像情報に対する動きベクトルに
マッピングされる。
【００１５】動きベクトル検出部１１７は、動きベクト
ル合成部１１６において合成された動きベクトル値に基
づいて、高精度の動きベクトルを検出する。
【００１６】文献１に示される画像情報変換装置１０１
は、入力されたＭＰＥＧ２ビットストリームの１／２×
１／２の大きさを持つ順次走査画像のＭＰＥＧ４ビット
ストリームを生成する装置である。すなわち、例えば入
力となるＭＰＥＧ２ビットストリームがＮＴＳＣ規格に
準拠している場合、出力されるＭＰＥＧ４ビットストリ
ームは、ＳＩＦサイズ（３５２×２４０）となってい
る。画像情報変換装置１０１は、間引き部１１３におけ
る動作の変更を行うことで、これ以外の画枠、例えば上
記の例で、約１／４×１／４の画枠であるＱＳＩＦ（１
７６×１１２画素）サイズの画像に変換することも可能
である。
【００１７】さらに、また、画像情報変換装置１０１
は、ＭＰＥＧ２画像情報復号化部１１２における処理と
して、水平方向、垂直方向それぞれについて入力したＭ
ＰＥＧ２ビットストリーム内の８次の離散コサイン変換
係数のうちのすべてを用いた復号処理を行うほか、水平
方向のみ、あるいは水平方向、垂直方向ともに８次の離
散コサイン変換係数のうちの低域成分のみを用いた復号
処理を行い、画質劣化を最小限に抑えながら復号処理に
伴う演算量とビデオメモリ容量とを削減している。
【００１８】ところで、図５に示した画像情報変換装置
１０１では、ＭＰＥＧ４画像情報符号化部１１５におけ
る符号量制御がＭＰＥＧ４ビットストリームにおける画
質を決定する大きな要因となる。ＩＳＯ／ＩＥＣ １４
４９６−２においては、符号量制御の方式は、特に規定
されておらず、各ベンダがアプリケーションに応じて演
算量および出力画質の観点から最適と考えられる方式を
用いることができる。以下では、代表的な符号量制御方
式として、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５（ＩＳ
Ｏ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ０４０
０）に規定されている方式について説明する。
【００１９】符号量制御の動作は、目標符号量（ターゲ
ットビットレート）、およびＧＯＰ（Group Of Picture
s）構成を入力変数として、まず、第１ステップとして
各ピクチャヘのビット配分を行う。ここで、ＧＯＰと
は、タイプの異なる複数のピクチャがある規制に基づい
て並んでいるグループを示している。次に、仮想バッフ
ァを用いたレート制御を行い、最後に、視覚特性を考慮
したマクロブロック毎の適応量子化を行う。この符号量
制御の動作を図６に示す。
【００２０】ステップＳ１０１において、ＭＰＥＧ４画
像情報符号化部１１５は、ＧＯＰ内の各ピクチャに対す
る割り当てビット量を、割り当て対象ピクチャを含め、
まだ復号化されていないピクチャに対して割り当てられ
るビット量（以下、これをＲとする）に基づいて配分す
る。この配分をＧＯＰ内の符号化ピクチャ順に繰り返
す。この際、以下に述べる２つの仮定を用いて各ピクチ
ャヘの符号量割り当てを行う。
【００２１】まず第１に、各ピクチャを符号化する際に
用いる平均量子化スケールコードと発生符号量との積
は、画面が変化しない限りピクチャタイプ毎に一定値と
なると仮定する。そこで、各ピクチャを符号化した後、
各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘｉ、
Ｘｐ、およびＸｂ（grobal complexity measure）を以
下に示す式（１）乃至（３）により更新する。
【００２２】
【数１】
【００２３】ここでＳｉ、Ｓｐ、およびＳｂは、ピクチ
ャ符号化時の発生符号ビット量であり、Ｑｉ、Ｑｐ、お
よびＱｂは、ピクチャ符号化時の平均量子化スケールコ
ードである。また、初期値は、目標符号量（ターゲット
ビットレート）ｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］
を用いて、以下に示す式（４）乃至（６）で表される値
とする。
【００２４】
【数２】
【００２５】第２に、Ｉピクチャの量子化スケールコー
ドを基準としたＰ、Ｂピクチャの量子化スケールコード
の比率Ｋｐ、Ｋｂが式（７）に定めた値となる場合に常
に全体の画質が最適化されると仮定する。
【００２６】
【数３】
【００２７】すなわち、Ｂピクチャの量子化スケールコ
ードは、ＩおよびＰピクチャの量子化スケールコードの
常に１．４倍である。これは、ＢピクチャをＩおよびＰ
ピクチャに比較して多少粗めに符号化することにより、
Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加え
ると、Ｉ，Ｐピクチャの画質が改善され、これを参照す
るＢピクチャの画質も改善されることを想定している。
【００２８】上記２つの仮定より、ＧＯＰの各ピクチャ
に対する割り当てビット量（Ｔｉ，Ｔｐ，Ｔｂ）は、式
（８）乃至（１０）に示す値とする。
【００２９】
【数４】
【００３０】ここで、ＮｐおよびＮｂは、ＧＯＰ内でま
だ符号化されていないＰ，Ｂピクチャの枚数である。
【００３１】このようにして求めた割当符号量に基づい
て、各ピクチャをステップＳ１０１および１０２にした
がって符号化する毎にＧＯＰ内の未符号化ピクチャに対
して割り当てられるビット量Ｒを、以下に示す式（１
１）によって更新する。
【００３２】
【数５】
【００３３】また、ＧＯＰの最初のピクチャを符号化す
る際には、式（１２）によりＲを更新する。式（１２）
において、Ｎは、ＧＯＰ内のピクチャ数を表している。
シーケンスの最初におけるＲの初期値は、０とする。
【００３４】
【数６】
【００３５】ステップＳ１０２では、ステップＳ１０１
において式（８）乃至（１０）により求められた各ピク
チャに対する割当ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と、実
際の発生符号量を一致させるため、各ピクチャ毎に独立
に設定した３種類の仮想バッファの容量に基づいて、量
子化スケールコードをマクロブロック単位のフィードバ
ック制御で求める。まず、ｊ番目のマクロブロック符号
化に先立ち、仮想バッファの占有量を式（１３）乃至
（１５）によって求める。
【００３６】
【数７】
【００３７】式（１３）乃至（１５）において、
ｄ０ ｉ、ｄ０ ｐ、およびｄ０ ｂは、各仮想バッファの初
期占有量を示し、Ｂｊは、ピクチャの先頭からｊ番目の
マクロブロックまでの発生ビット量を示し、ＭＢ＿ｃｎ
ｔは、１ピクチャ内のマクロブロック数を示している。
各ピクチャ符号化終了時の仮想バッファ占有量（ｄ
ＭＢ＿ｃ ｎｔ ｉ，ｄＭＢ＿ｃｎｔ ｐ，
ｄＭＢ＿ｃｎｔ ｂ）は、それぞれ同一のピクチャタイプ
であり、次のピクチャに対する仮想バッファ占有量の初
期値（ｄ０ ｉ，ｄ０ ｐ，ｄ０ ｂ）として用いられる。
【００３８】次に、ｊ番目のマクロブロックに対する量
子化スケールコードＱｊを式（１６）により計算する。
【００３９】
【数８】
【００４０】ただし、式（１６）において、ｒは、リア
クションパラメータと呼ばれるフィードバックループの
応答を制御する変数であり、続いて示す式（１７）によ
り与えられるものである。
【００４１】
【数９】
【００４２】なお、符号化開始時における仮想バッファ
の初期値は、式（１８）乃至（２０）に示す値である。
【００４３】
【数１０】
【００４４】ステップＳ１０３では、ステップＳ１０２
で求められた量子化スケールコードを視覚的に劣化の目
立ちやすい平坦部において、より細かく量子化し、比較
的劣化の目立ちにくい絵柄の複雑な部分で粗く量子化す
るように各マクロブロック毎のアクティビィティと呼ば
れる変数によって変化させている。
【００４５】アクティビティは、原画の輝度信号画素値
を用い、フレーム離散コサイン変換モードにおける４個
のブロックと、フィールド離散コサイン変換モードにお
ける４個のブロックとの、合計８ブロックの画素値を用
いて、以下に示す式（２１）で与えられる。
【００４６】
【数１１】
【００４７】ここで、Ｐｋは、原画の輝度信号ブロック
内画素値である。式（２１）において最小値を採るの
は、マクロブロック内の一部だけでも平坦部分のある場
合には量子化を細かくするためである。
【００４８】さらに、以下に示す式（２２）により、そ
の値が０．５〜２の範囲である正規化アクティビティＮ
ａｃｔｊを求める。
【００４９】
【数１２】
【００５０】式（２２）において、ａｖｇ−ａｃｔは、
直前に符号化したピクチャでのａｃｔｊの平均値を示し
ている。
【００５１】視覚特性を考慮した量子化スケールコード
ｍｑｕａｎｔｊは、ステップＳ１０２で得られた量子化
スケールコードＱｊに基づいて、以下に示す式（２３）
で与えられる。
【００５２】
【数１３】
【００５３】ところで、「ＭＰＥＧ圧縮効率の理論解析
とその符号量制御への応用」（信学技報、ＩＥ−９５，
ＤＳＰ９５−１０，１９９５年５月、以下、これを文献
２と記す。）にも記述されているように、ＭＰＥＧ２
Ｔｅｓｔ Ｍｏｄｅｌ５で定められている符号量制御方
式は、ＭＰＥＧ２画像符号化部において、必ずしも良好
な画質を与えるものではない。
【００５４】文献２では、特に、ＧＯＰ内における各フ
レーム毎の最適な符号量配分を与える手法として、以下
の方式を提案している。
【００５５】ＮＩ，ＮＰ，およびＮＢをＧＯＰ内におい
てまだ符号化されていないＩ，ＰおよびＢピクチャの枚
数とし、これらに割り当てられる符号量をＲＩ，ＲＰ，
ＲＢとすれば、以下の式（２４）に示すような固定レー
ト条件が成立する。
【００５６】
【数１４】
【００５７】それぞれのフレームにおける量子化ステッ
プサイズをＱＩ，ＱＰ，ＱＢとし、ｍを量子化ステップ
サイズと再生誤差分散を関係付ける次数とすれば、すな
わち、量子化ステップサイズをｍ乗したものの平均値の
最小化が再生誤差分散を最低にすると仮定すれば、以下
に示す式（２５）を最小にすることによって、ＧＯＰ内
における各フレーム毎の最適な符号量配分を与える。
【００５８】
【数１５】
【００５９】なお、それぞれのフレームにおける平均ス
ケールＱおよび符号量Ｒは、ＭＰＥＧ２ Ｔｅｓｔ Ｍ
ｏｄｅｌ５においても用いられる媒体変数としての各フ
レームのコンプレキシティＸと、以下に示す式（２６）
のように関係付けられる。
【００６０】
【数１６】
【００６１】したがって、式（２４）の拘束条件の下で
式（２６）を考慮に入れて、式（２５）を最小にするよ
うなＲＩ，ＲＰ，ＲＢをラグランジェの未定乗数法を用
いて算出すると、最適なＲＩ，ＲＰ，ＲＢとして、以下
に示す式（２７）乃至（２９）のような値が求められ
る。
【００６２】
【数１７】
【００６３】α＝１として、式（２７）乃至（２９）
と、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５で定められた
符号量制御方式における上述の式（８）乃至（９）との
関係は、以下の通りである。すなわち、式（２７）乃至
（２９）は、符号量制御の媒介変数であるＫｐ，Ｋｂを
各フレームのコンプレキシティＸＩ，ＸＰ、ＸＢに応じ
て、以下に示す式（３０）のように適応的に算出してい
る。
【００６４】
【数１８】
【００６５】文献２では、上式の１／（１＋ｍ）の値を
０．６〜１．２に設定することで良好な画質が得られる
ことが示されている。
【００６６】しかし、上述した図５に示す画像情報変換
装置１０１では、ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５
において定められた手法を用いて符号量制御を行った場
合、ＧＯＰ内でシーンチェンジ等が起こる場合のコンプ
レキシティの変化に対応できないため、安定した符号量
制御が困難となり、画質劣化を生じることがある。
【００６７】そこで、図７に示す画像情報変換装置１０
２が提案されている。画像情報変換装置１０２は、図５
に示す画像情報変換装置１０１の構成に加え、圧縮情報
解析部１１８と、情報バッファ１１９と、コンプレキシ
ティ算出部１２０と、ＭＰＥＧ４画像情報（Ｉ／Ｐ−Ｖ
ＯＰ）符号化部１２１とを備えている。ここで、図５に
示す画像情報変換装置１０１と同様の機能を有する構成
については、同一符号を付して詳細な説明は省略する。
【００６８】圧縮情報解析部１１８、復号処理に用いら
れた量子化スケールのフレーム全体にわたる平均値Ｑ
と、ＭＰＥＧ２ビットストリームにおいて当該フレーム
に割り当てられた総符号量（ビット数）Ｂとを解析し、
必要な情報を情報バッファ１１９に伝送する。
【００６９】情報バッファ１１９は、ＭＰＥＧ２ビット
ストリームにおけるＩ／Ｐピクチャの発生符号量（ビッ
ト数）および平均量子化スケールを蓄積する。
【００７０】コンプレキシティ算出部１２０は、情報バ
ッファ１１９に格納されたフレーム毎の情報ＱおよびＢ
から、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビッ
トストリームと記す。）の各ＶＯＰに対するコンプレキ
シティＸの推定値を上述した式（２０）により算出す
る。
【００７１】圧縮情報解析部１１８において、復号処理
に用いられた量子化スケールのフレーム全体にわたる平
均値Ｑ、およびＭＰＥＧ２ビットストリームにおいて、
当該フレームに割り当てられた総符号量（ビット数）Ｂ
は、情報バッファ１１９に格納される。
【００７２】コンプレキシティ算出部１２０において
は、情報バッファ１１９に格納されたフレーム毎の情報
ＱおよびＢから、当該フレームに対するコンプレキシテ
ィＸを以下の式（３１）により算出する。
【００７３】
【数１９】
【００７４】上述の式（３１）によって算出された当該
フレームに対するコンプレキシティＸは、１ＧＯＶ分バ
ッファリングされた後、ＭＰＥＧ４画像情報符号化部１
５に符号量制御のための媒介変数として伝送される。こ
のため、１ＧＯＶ分の遅延が必要となる。この遅延は遅
延バッファとしてのビデオメモリ１１４を用いて実現さ
れる。
【００７５】以下では、式（３１）において算出された
ＧＯＶ内の各フレームに対するコンプレキシティＸがＭ
ＰＥＧ４画像情報符号化部１５においてどの様に用いら
れるかについて述べる。なお、以下では、ピクチャタイ
プ判別部１０が装置内に存在せず、フレームレートの変
換を行わない場合も考慮することにする。
【００７６】式（３０）によって求められたＫｐ、Ｋｂ
は、Ｉ−ＶＯＰに対する理想的な平均量子化スケールＱ
ｉ＿ｉｄｅａｌに対するＰ−ＶＯＰ／Ｂ−ＶＯＰに対す
る理想的な平均量子化スケールＱｐ＿ｉｄｅａｌとＱ
ｂ＿ｉｄｅａｌとの比が、以下の式（３２）であること
である。
【００７７】
【数２０】
【００７８】ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５にお
いては、式（３０）のように適応的にＫｐ、Ｋｂを算出
することを行わず、式（７）に示したような固定値を用
いている。
【００７９】式（３０）および式（３２）から、任意の
ＶＯＰ１と、任意のＶＯＰ２とに対するコンプレキシテ
ィをそれぞれＸ１，Ｘ２とし、理想的な量子化スケール
をＱ １＿ｉｄｅａｌ、Ｑ２＿ｉｄｅａｌとすれば、以下
の式（３３）に示すようになる。
【００８０】
【数２１】
【００８１】あるいはまた、ＭＰＥＧ２ Ｔｅｓｔ Ｍ
ｏｄｅｌ５のように式（７）に示した固定値を用いたい
場合には、式（３３）の代わりに以下の式（３４）を用
いればよい。
【００８２】
【数２２】
【００８３】ここで、ＧＯＶ内の未符号化されたＶＯＰ
に対して割り当てられる総符号量（ビット数）をＲと
し、Ｒが各ＶＯＰに対して、Ｒ１、Ｒ２、・・・、Ｒｎ
と割り当てられるとき、当該ＧＯＶに対する画質が最適
化されるものとする。このとき、ＲとＲ１、Ｒ２、・・
・、Ｒｎの間には、以下の式（３５）に示す関係式が成
り立つ。
【００８４】
【数２３】
【００８５】任意のＶＯＰｋに対する平均量子化スケー
ルＱｋ、割当符号量Ｒｋ，コンプレキシティＸｋの間に
は、以下に示す式（３６）で表される関係が成り立つ。
【００８６】
【数２４】
【００８７】ここで、式（３６）を考慮して、式（３
５）を変形すると以下に示す式（３７）を得る。
【００８８】
【数２５】
【００８９】式（３７）において、Ｋ（Ｘ１，Ｘ２）
は、式（３３）に示した値を用いても、式（３４）に示
した値を用いてもよいが、前者の方が画像に応じたより
最適な符号量配分を実現することが可能である。
【００９０】その際、１／（１＋ｍ）の値を１．０と設
定することで指数演算が不要となるため、高速な実行が
可能となる。また、１／（１＋ｍ）の値を１．０以外に
設定する場合にも、予めテーブルを持ち、これを参照し
て指数演算を行うことで高速な実行が可能となる。
【００９１】式（３７）における各ＶＯＰに対するコン
プレキシティＸｋは、ＭＰＥＧ４画像符号化によるもの
であるが、ＭＰＥＧ２画像符号化による各フレームに対
するコンプレキシティと、ＭＰＥＧ４画像符号化による
各フレームに対するコンプレキシティが等しいと仮定す
れば、コンプレキシティ算出部２０に格納されたＸｋを
用いることで、式（３７）によって当該ＶＯＰに対する
目標符号量を算出することを可能としている。
【００９２】図８に、画像情報変換装置１０２が目標符
号量を算出する処理を示す。
【００９３】ステップＳ１１１において、ＭＰＥＧ２画
像情報復号化部１１２は、ＧＯＰ内の各フレームに対す
る平均量子化スケールＱ、および割当符号量（ビット
数）Ｂを抽出する。
【００９４】ステップＳ１１２において、コンプレキシ
ティ算出部１２０は、ＧＯＰ内の各フレームに対する平
均量子化スケールＱと割当符号量（ビット数）Ｂとの積
の演算によりコンプレキシティＸを算出する。
【００９５】続いて、ステップＳ１１３において、ＭＰ
ＥＧ４画像情報符号化部１２１は、コンプレキシティＸ
に応じた目標符号量（ターゲットビットレート）の算出
を行う。
【００９６】画像情報変換装置１０２は、入力されたＭ
ＰＥＧ２ビットストリームの１／２×１／２の大きさを
持つ順次走査画像のＭＰＥＧ４ビットストリームを生成
する装置である。すなわち、例えば入力となるＭＰＥＧ
２ビットストリームがＮＴＳＣ規格に準拠している場
合、出力されるＭＰＥＧ４ビットストリームは、ＳＩＦ
サイズ（３５２×２４０）となっている。画像情報変換
装置１０２は、間引き部１１３における動作の変更を行
うことで、これ以外の画枠、例えば上記の例で、約１／
４×１／４の画枠であるＱＳＩＦ（１７６×１１２画
素）サイズの画像に変換することも可能である。
【００９７】さらに、また、画像情報変換装置１０２
は、ＭＰＥＧ２画像情報復号化部１１２における処理と
して、水平方向、垂直方向それぞれについて入力したＭ
ＰＥＧ２ビットストリーム内の８次の離散コサイン変換
係数のうちのすべてを用いた復号処理を行うほか、水平
方向のみ、あるいは水平方向、垂直方向ともに８次の離
散コサイン変換係数のうちの低域成分のみを用いた復号
処理を行い、画質劣化を最小限に抑えながら復号処理に
伴う演算量とビデオメモリ容量とを削減している。
【００９８】ところで、図７に示した画像情報変換装置
を用いて、ＧＯＰ構造が、例えばｎ＝１５；ｍ＝３のＭ
ＰＥＧ２ビットストリームの変換を行った場合、出力と
して得られるのはＧＯＶ構造がｎ＝５；ｍ＝１のＭＰＥ
Ｇ４ビットストリームである。このようなビットストリ
ームは、Ｉ−ＶＯＰの数が多いため、符号化効率が低
く、良好な画質が得られない場合があったが、入力とな
るＭＰＥＧ２ビットストリームにおいてＩピクチャであ
った画像をＭＰＥＧ４ビットストリームのＰ−ＶＯＰに
変換し、ＧＯＶの進展を行うことによって解決すること
ができる。
【００９９】また、画像情報変換装置１０２では、元々
Ｉピクチャであった画像には動きベクトルが存在しない
が、直前のＰピクチャで用いられていた動きベクトルに
基づいて、一定のサーチレンジ内で動き検出を行うこと
で当該ＶＯＰに対する高精度の動きベクトルを算出する
ことによって、画像劣化を解消している。
【０１００】さらに、ＩピクチャをＰ−ＶＯＰに変換し
た場合について考えると、元々のコンプレキシティは、
Ｉピクチャに関するものであるから、変換後のコンプレ
キシティとして不適切な値であるという問題があった
が、画像情報変換装置１０２は、直前のＰピクチャに対
するコンプレキシティを用いることで、画像劣化を解消
している。
【０１０１】
【発明が解決しようとする課題】ところが、ＭＰＥＧ２
Ｔｅｓｔ Ｍｏｄｅｌ５では、ＧＯＰ内におけるＩピ
クチャ、ＰピクチャおよびＢピクチャに対する画像の複
雑さを表す変数としてのコンプレキシティＸｉ、Ｘｐ、
Ｘｂは、一定であると仮定しているが、実際に、ＭＰＥ
Ｇ４画像情報符号化部１１５において、ＭＰＥＧ２ Ｔ
ｅｓｔ Ｍｏｄｅｌ５で定められた手法によって符号量
制御を行った場合、ＧＯＰ内にシーンチェンジを含む場
合や、ＧＯＰ内で景色が著しく変化するような場合で
は、この仮定が成り立たず、安定した符号量制御の妨げ
となり、画像劣化を引き起こす要因ともなる。
【０１０２】ところで、入力されたＭＰＥＧ２ビットス
トリームにおけるＩピクチャが、ＭＰＥＧ４ビットスト
リームにおいて、Ｐ−ＶＯＰに変換される場合について
考える。
【０１０３】図９に、入力したＭＰＥＧ２ビットストリ
ームにおけるＩピクチャをＭＰＥＧ４ビットストリーム
におけるＰ−ＶＯＰに変換して出力する様子を模式的に
示した。図９において、２番目のＩピクチャであるＩ１
をＰ−ＶＯＰに変換する場合について考える。このと
き、符号量制御のためのパラメータとしてのコンプレキ
シティとして、Ｉ１に対しては直前のＰピクチャである
Ｐ３のコンプレキシティＸＰ３が適用される。
【０１０４】ここで、Ｉ１がシーンチェンジを含む画像
である場合、Ｉ１には多くの符号量が割り当てられなけ
ればならない。しかしながら、上述のようにＩ１に対す
るコンプレキシティとしては、直前のフレームであるＰ
３のコンプレキテイＸＰ３が用いられるため、Ｉ１には
十分な符号量が割り当てられず、画質劣化の原因とな
る。
【０１０５】そこで、本発明は、このような従来の実情
に鑑みて提案されたものであり、第１の画像圧縮情報を
入力し、第２の画像圧縮情報を出力する画像情報変換装
置および画像情報変換方法において、第１の画像圧縮情
報を第２の画像圧縮情報へと変換する際に生じる画像の
劣化を回避することを実現する画像情報変換装置および
画像情報変換方法を提供することを目的とする。
【０１０６】
【課題を解決するための手段】上述した目的を達成する
ために、本発明にかかる画像情報変換装置は、第１の画
像圧縮情報を入力し、第２の画像圧縮情報を出力する画
像情報変換装置において、第１の画像圧縮情報および第
２の画像圧縮情報は、少なくとも画像内符号化画像と画
像間予測符号化画像とを有し、入力した第１の画像圧縮
情報の各フレームに対する画面の複雑さを表す変数に基
づいて出力する第２の画像圧縮情報の各フレームに対す
る目標符号量を算出する際、第１の画像圧縮情報におけ
る画像内符号化画像を第２の画像圧縮情報における画像
間予測符号化画像へと変換するに先立って、変換される
予定のフレームにシーンチェンジが含まれるか否かを検
出するシーンチェンジ検出手段を備えることを特徴とす
る。
【０１０７】また、本発明にかかる画像情報変換方法
は、第１の画像圧縮情報を入力し、第２の画像圧縮情報
を出力する画像情報変換方法において、第１の画像圧縮
情報および第２の画像圧縮情報は、少なくとも画像内符
号化画像と画像間予測符号化画像とを有し、入力した第
１の画像圧縮情報の各フレームに対する画面の複雑さを
表す変数に基づいて出力する第２の画像圧縮情報の各フ
レームに対する目標符号量を算出する際、第１の画像圧
縮情報における画像内符号化画像を第２の画像圧縮情報
における画像間予測符号化画像へと変換するに先立っ
て、変換される予定のフレームにシーンチェンジが含ま
れるか否かを検出することを特徴とする。
【０１０８】ここで、上記第１の画像圧縮情報におい
て、各フレームに割り当てられた符号量と平均量子化ス
ケールとの積を当該フレームに対する画面の複雑さを表
す変数とし、画面の複雑さを表す変数を用いてシーンチ
ェンジが含まれるか否かを検出し、変換される予定のフ
レームにシーンチェンジが含まれることを検出した場合
には、上記画像内符号化画像から上記画像間予測符号化
画像への変換を制限することがあげられる。
【０１０９】特に、入力した第１の画像圧縮情報におい
て、画像内符号化画像の画面の複雑さを表す変数から直
前の画像内符号化画像の画面の複雑さを表す変数を引い
たときの絶対値が予め定められた所定の閾値よりも大き
いとき、変換される予定のフレームにシーンチェンジが
含まれるとする。
【０１１０】
【本発明の実施の形態】以下、図面を参照しながら、本
発明の実施の形態について具体的に説明する。
【０１１１】本発明にかかる画像情報変換装置は、入力
したＭＰＥＧ２画像圧縮情報の各フレームに対するコン
プレキシティに基づいて出力するＭＰＥＧ４画像圧縮情
報の各フレームに対する目標符号量を算出する際、上記
画像内符号化画像から画像間予測符号化画像への変換に
先立って、変換される予定のフレームにシーンチェンジ
が含まれるか否かを検出し、シーンチェンジを検出した
場合には、画像内符号化画像から画像間予測符号化画像
への変換を制限することにより、画像内符号化画像から
画像間予測符号化画像へと変換するときに生じる画像の
劣化を回避するものである。
【０１１２】本発明の第１の実施の形態として、図１に
示す画像情報変換装置１は、ピクチャタイプ判別部１１
と、圧縮情報解析部１２と、ＭＰＥＧ２画像情報復号化
部１３と、間引き部１４と、ビデオメモリ１５と、ＭＰ
ＥＧ４画像情報符号化部１６と、動きベクトル合成部１
７と、動きベクトル検出部１８と、情報バッファ１９
と、コンプレキシティ算出部２０と、シーンチェンジ検
出部２１と、ＧＯＶ構造決定部２２とを備えている。
【０１１３】ピクチャタイプ判別部１１は、飛び越し走
査のＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビット
ストリームと記す。）における各フレームのデータを入
力し、画像内符号化画像（以下、Ｉピクチャと記
す。）、前方予測符号化画像（以下、Ｐピクチャと記
す。）、双方向予測符号化画像（以下、Ｂピクチャと記
す。）の何れのピクチャに関するものであるかを判別す
る。ピクチャタイプ判別部１１は、ＩピクチャおよびＰ
ピクチャ（以下、Ｉ／Ｐピクチャと記す。）に関する情
報は、後段の圧縮情報解析部１２に伝送するが、Ｂピク
チャに関する情報は破棄する。
【０１１４】圧縮情報解析部１２は、復号処理に用いら
れた量子化スケールのフレーム全体にわたる平均値Ｑ
と、ＭＰＥＧ２ビットストリームにおいて当該フレーム
に割り当てられた総符号量（ビット数）Ｂとを解析し、
必要な情報を情報バッファ１９に伝送する。
【０１１５】情報バッファ１９は、ＭＰＥＧ２ビットス
トリームにおけるＩ／Ｐピクチャの発生符号量（ビット
数）および平均量子化スケールを蓄積する。
【０１１６】コンプレキシティ算出部２０は、情報バッ
ファ１９に格納されたフレーム毎の情報ＱおよびＢか
ら、ＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビット
ストリームと記す。）の各ＶＯＰに対するコンプレキシ
ティＸの推定値を以下に示す式（３８）により算出す
る。ここで、ＶＯＰ（Video Object Plane）とは、ＭＰ
ＥＧ２におけるフレームに相当するものである。
【０１１７】
【数２６】
【０１１８】ＭＰＥＧ２画像情報復号化部１３は、ＭＰ
ＥＧ２ビットストリームにおけるＩ／Ｐピクチャに関す
る情報の復号処理を行う。ＭＰＥＧ２画像情報復号化部
１３は、通常のＭＰＥＧ２画像情報復号化部と同様であ
るが、Ｂピクチャに関するデータは、ピクチャタイプ判
別部１１において廃棄されるため、ＭＰＥＧ２画像情報
復号化部１３は、少なくともＩ／Ｐピクチャを復号可能
であればよい。
【０１１９】間引き部１４は、ＭＰＥＧ２画像情報復号
化部１３からの画像値を入力し、水平方向に１／２の間
引き処理を施し、垂直方向に第１フィールド、もしくは
第２フィールドのどちらか一方のデータのみを残し、他
方を廃棄する処理を施すことによって、入力した画像情
報の１／４の大きさを持つ順次走査画像を生成する。
【０１２０】ところで、例えば、ＭＰＥＧ２画像情報復
号化部１３から入力したＭＰＥＧ２ビットストリームが
ＮＴＳＣ（National Television System Committee）の
規格に準拠した画像、つまり７２０×４８０画素、３０
Ｈｚの飛び越し走査画像であった場合、間引き部１４に
おける間引き処理後の画枠は３６０×２４０画素にな
る。ところが、後続のＭＰＥＧ４画像情報符号化部１６
において符号化を行う際、マクロブロック単位の処理を
行うには、水平方向、垂直方向ともに、その画素数が１
６の倍数である必要がある。したがって、間引き部１４
は、さらに、そのための画素の補填または廃棄を行う。
すなわち、上記の場合においては、例えば、水平方向の
右端、もしくは左端の８ラインを廃棄して３５２×２４
０画素とする。ここで、ＭＰＥＧ４画像情報をＩ／Ｐ−
ＶＯＰと記すものとする。
【０１２１】間引き部１４によって生成された順次走査
画像は、ビデオメモリ１５に蓄積された後、ＭＰＥＧ４
画像情報符号化部１６によって符号化処理が施され、Ｍ
ＰＥＧ４ビットストリームとして出力される。
【０１２２】入力となるＭＰＥＧ２ビットストリーム中
の動きベクトル情報は、動きベクトル合成部１７に供給
されて、間引き後の画像情報に対する動きベクトルにマ
ッピングされる。
【０１２３】動きベクトル検出部１８は、動きベクトル
合成部１７において合成された動きベクトル値に基づい
て、高精度の動きベクトルを検出する。
【０１２４】画像情報変換装置１は、入力されたＭＰＥ
Ｇ２ビットストリームの１／２×１／２の大きさを持つ
順次走査画像のＭＰＥＧ４ビットストリームを生成する
装置である。すなわち、例えば入力となるＭＰＥＧ２ビ
ットストリームがＮＴＳＣ規格に準拠している場合、出
力されるＭＰＥＧ４ビットストリームは、ＳＩＦサイズ
（３５２×２４０）となっている。画像情報変換装置１
は、間引き部１４における動作の変更を行うことで、こ
れ以外の画枠、例えば上記の例で、約１／４×１／４の
画枠であるＱＳＩＦ（１７６×１１２画素）サイズの画
像に変換することも可能である。
【０１２５】さらに、また、画像情報変換装置１は、Ｍ
ＰＥＧ２画像情報復号化部１３における処理として、水
平方向、垂直方向それぞれについて入力したＭＰＥＧ２
ビットストリーム内の８次の離散コサイン変換係数のう
ちのすべてを用いた復号処理を行うほか、水平方向の
み、あるいは水平方向、垂直方向ともに８次の離散コサ
イン変換係数のうちの低域成分のみを用いた復号処理を
行い、画質劣化を最小限に抑えながら復号処理に伴う演
算量とビデオメモリ容量とを削減している。
【０１２６】圧縮情報解析部１２において、復号処理に
用いられた量子化スケールのフレーム全体にわたる平均
値Ｑ、およびＭＰＥＧ２ビットストリームにおいて、当
該フレームに割り当てられた総符号量（ビット数）Ｂ
は、情報バッファ１９に格納される。
【０１２７】コンプレキシティ算出部２０においては、
情報バッファ１９に格納されたフレーム毎の情報Ｑおよ
びＢから、当該フレームに対するコンプレキシティＸを
以下の式（３９）により算出する。
【０１２８】
【数２７】
【０１２９】上述の式（３９）によって算出された当該
フレームに対するコンプレキシティＸは、１ＧＯＶ分バ
ッファリングされた後、ＭＰＥＧ４画像情報符号化部１
６に符号量制御のための媒介変数として伝送される。こ
のため、１ＧＯＶ分の遅延が必要となる。この遅延は遅
延バッファとしてのビデオメモリ１５を用いて実現され
る。
【０１３０】以下では、式（３９）において算出された
ＧＯＶ内の各フレームに対するコンプレキシティＸがＭ
ＰＥＧ４画像情報符号化部１６においてどの様に用いら
れるかについて述べる。なお、以下では、ピクチャタイ
プ判別部１１が装置内に存在せず、フレームレートの変
換を行わない場合も考慮することにする。
【０１３１】以下に示す式（４０）によって求められる
Ｋｐ、Ｋｂは、Ｉ−ＶＯＰにおける理想的な平均量子化
スケールＱｉ＿ｉｄｅａｌに対するＰ−ＶＯＰと、Ｂ−
ＶＯＰににおける理想的な平均量子化スケールＱ
ｐ＿ｉｄｅａｌとＱｂ＿ｉｄｅａｌとの比が、以下の式
（４１）であることである。
【０１３２】
【数２８】
【０１３３】
【数２９】
【０１３４】ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ５にお
いては、式（４０）のように適応的にＫｐ、Ｋｂを算出
することを行わず、以下に示す式（４２）のような固定
値を用いている。
【０１３５】
【数３０】
【０１３６】式（４０）および式（４１）から、任意の
ＶＯＰ１と、任意のＶＯＰ２とに対するコンプレキシテ
ィをそれぞれＸ１，Ｘ２とし、理想的な量子化スケール
をＱ １＿ｉｄｅａｌ、Ｑ２＿ｉｄｅａｌとすれば、以下
の式（４３）に示すようになる。
【０１３７】
【数３１】
【０１３８】あるいはまた、ＭＰＥＧ２ Ｔｅｓｔ Ｍ
ｏｄｅｌ５のように式（４２）に示した固定値を用いた
い場合には、式（４３）に代えて以下の式（４４）を用
いればよい。
【０１３９】
【数３２】
【０１４０】ここで、ＧＯＶ内の未符号化されたＶＯＰ
に対して割り当てられる総符号量（ビット数）をＲと
し、Ｒが各ＶＯＰに対して、Ｒ１、Ｒ２、・・・、Ｒｎ
と割り当てられるとき、当該ＧＯＶに対する画質が最適
化されるものとする。このとき、ＲとＲ１、Ｒ２、・・
・、Ｒｎの間には、以下の式（４５）に示す関係式が成
り立つ。
【０１４１】
【数３３】
【０１４２】任意のＶＯＰｋに対する平均量子化スケー
ルＱｋ、割当符号量Ｒｋ，コンプレキシティＸｋの間に
は、以下に示す式（４６）で表される関係が成り立つ。
【０１４３】
【数３４】
【０１４４】ここで、Ｒは各フレーム全体に対する割当
符号量（ビット数）であっても、輝度信号（ビット数）
に対する割当符号量であっても、輝度および色差信号に
対する割当符号量（ビット数）であってもよい。さら
に、式（４６）を考慮して、式（４５）を変形すると以
下に示す式（４７）を得る。
【０１４５】
【数３５】
【０１４６】式（４７）において、Ｋ（Ｘ１，Ｘ２）
は、式（４３）に示した値を用いても、式（４４）に示
した値を用いてもよいが、前者の方が画像に応じたより
最適な符号量配分を実現することが可能である。
【０１４７】その際、１／（１＋ｍ）の値を１．０と設
定することで、指数演算を行うことが不要となるため、
高速な実行が可能となる。また、１／（１＋ｍ）の値を
１．０以外に設定する場合にも、予めテーブルを持ち、
これを参照して指数演算を行うことで高速な実行が可能
となる。
【０１４８】式（４７）における各ＶＯＰに対するコン
プレキシティＸｋは、ＭＰＥＧ４画像符号化によるもの
であるが、ＭＰＥＧ２画像符号化による各フレームに対
するコンプレキシティと、ＭＰＥＧ４画像符号化による
各フレームに対するコンプレキシティが等しいと仮定す
れば、コンプレキシティ算出部２０に格納されたＸｋを
用いることで、式（４７）によって当該ＶＯＰに対する
目標符号量を算出することを可能としている。
【０１４９】図２に、画像情報変換装置１が目標符号量
を算出する処理を示す。
【０１５０】ステップＳ１において、ＭＰＥＧ２画像情
報復号化部１３は、ＧＯＰ内の各フレームに対する平均
量子化スケールＱ、および割当符号量（ビット数）Ｂを
抽出する。
【０１５１】ステップＳ２において、コンプレキシティ
算出部２０は、コンプレキシティＸを算出する。
【０１５２】続いて、ステップＳ３において、ＭＰＥＧ
４画像情報符号化部１６は、コンプレキシティＸに応じ
た目標符号量（ターゲットビットレート）の算出を行
う。コンプレキシティ算出部２０においては、式（４
６）により算出された出力されるＭＰＥＧ４ビットスト
リームにおける、各ＶＯＰに対するコンプレキシティの
推定値が蓄積されている。
【０１５３】シーンチェンジ検出部２１は、この各ＶＯ
Ｐに対するコンプレキシティの推定値に基づいて、入力
されたＭＰＥＧ２ビットストリームにおけるＩピクチャ
をＰピクチャに相当するＭＰＥＧ４ビットストリームの
Ｐ−ＶＯＰに変換する際に、シーンチェンジが含まれて
いるか否かの検出を行う。
【０１５４】図３に、入力したＭＰＥＧ２ビットストリ
ームにおけるＩピクチャをＭＰＥＧ４ビットストリーム
におけるＰ−ＶＯＰに変換して出力する様子を模式的に
示した。
【０１５５】図３において、Ｉ０，Ｉ１は、ＭＰＥＧ２
ビットストリームにおけるＩピクチャを表し、Ｐ０，Ｐ
１，Ｐ２，Ｐ３，Ｐ４，Ｐ５は、ＭＰＥＧ２ビットスト
リームにおけるＰピクチャを表している。さらに、Ｘ
Ｉ０，ＸＩ１は、Ｉピクチャにおける画面の複雑さを表
す変数としてのコンプレキシティを表し、ＸＰ０，ＸＰ
１，ＸＰ２，ＸＰ３，ＸＰ４，ＸＰ５は、Ｐピクチャに
おける画面の複雑さを表す変数としてのコンプレキシテ
ィを表している。
【０１５６】ここで、２番目のＩピクチャであるＩ１を
ＭＰＥＧ４ビットストリームのＰ−ＶＯＰへと変換する
場合について考える。このとき、Ｉ１がシーンチェンジ
を含む画像である場合、変換時の画質劣化を防止するた
め、Ｉ１にはより多くの符号量が割り当てられる必要が
ある。そこでＩ１がシーンチェンジを含むか否かを検出
する。
【０１５７】画像情報変換装置１におけるシーンチェン
ジ検出部２１は、予め定められた閾値ＴＨに対し、入力
したＭＰＥＧ２ビットストリームにおけるＩピクチャの
コンプレキシティＸＩ１から、入力したＭＰＥＧ２ビッ
トストリームの直前のＩピクチャのコンプレキシティＸ
Ｉ０を引いたときの絶対値が予め定められた所定の閾値
よりも大きいとき、Ｉ１においてシーンチェンジが検出
されたとする。
【０１５８】したがって、シーンチェンジ検出部２１
は、以下に示す式（４８）が成立するとき、Ｉ１にシー
ンチェンジが含まれると判断する。
【０１５９】
【数３６】
【０１６０】シーンチェンジ検出部２１においてシーン
チェンジが検出された場合、ＧＯＶ構造決定部２２は、
ＭＰＥＧ２ビットストリームにおけるＩピクチャから、
ＭＰＥＧ４ビットストリームのＰ−ＶＯＰへの変換を行
わないことを決定する。
【０１６１】続いて、シーンチェンジ検出部２１および
ＧＯＶ構造決定部２２における一連の動作を図４に示
す。
【０１６２】ステップＳ１１において、ＭＰＥＧ２画像
情報復号化部１３において、ＧＯＰ内の各フレームに対
する平均量子化スケールＱおよび割当符号量（ビット
数）Ｂを抽出する。
【０１６３】ステップＳ１２において、各フレームに対
するコンプレキシティＸを平均量子化スケールＱと割当
符号量（ビット数）Ｂとの積の演算により算出する。
【０１６４】ステップＳ１３において、予め定められた
閾値ＴＨに対し、入力したＭＰＥＧ２ビットストリーム
におけるＩピクチャのコンプレキシティＸＩ１から、こ
のＭＰＥＧ２ビットストリームの直前のＩピクチャのコ
ンプレキシティＸＩ０を引いたときの絶対値が予め定め
られた所定の閾値よりも大きいか否かの判別を行う。
【０１６５】所定の閾値よりも小さいとき、ステップＳ
１４において、ＧＯＶ構造決定部２２は、Ｉピクチャか
らＰ−ＶＯＰへの変換を行う。
【０１６６】所定の閾値よりも大きいとき、ステップＳ
１５において、ＧＯＶ構造決定部２２は、Ｉピクチャか
らＰ−ＶＯＰへの変換を行わない。
【０１６７】したがって、以上詳細に説明したように、
シーンチェンジ検出部２１においてシーンチェンジが検
出された場合、ＧＯＶ構造決定部２２は、入力されたＭ
ＰＥＧ２ビットストリームにおけるＩピクチャからＰピ
クチャに相当するＭＰＥＧ４ビットストリームのＰ−Ｖ
ＯＰへの変換を行わないことにより、ＩピクチャからＰ
−ＶＯＰへと変換する際に生じる画質劣化を回避するこ
とができる。
【０１６８】シーンチェンジ検出の仕方は、式（４８）
のように、コンプレキシティＸを用いた方法に限らな
い。例えば、図３に示したＩピクチャ、Ｉ０およびＩ１
における画素値の平均値をＭｅａｎ_Ｉ０，Ｍｅａｎ_Ｉ
１としたとき、これらの差の絶対値が予め定められた閾
値ＴＨよりも大きいとき、Ｉ１にシーンチェンジが含ま
れることを検出してもよい。
【０１６９】つまり、以下の式（４９）が成立するか否
かによって、シーンチェンジの有無を検出してもよい。
【０１７０】
【数３７】
【０１７１】ここでＭｅａｎ_Ｉ０およびＭｅａｎ_Ｉ１
は、全画素値の平均値のほかに、所定の符号化単位とし
ての各マクロブロックの直流成分のフレーム全体にわた
る平均値であっても、輝度信号成分の画素の平均値に関
するものであっても、輝度新合成分の画素の平均値およ
び色差信号成分の画素の平均値に関するものであっても
よい。
【０１７２】以上、画像情報変換装置１においては、入
力されたＭＰＥＧ２ビットストリームと、出力されるＭ
ＰＥＧ４ビットストリームとを対象としてきたが、入力
および出力ともこれらのビットストリームに限らず、例
えばＭＰＥＧ−１や、Ｈ．２６３等のビットストリーム
であってもよい。
【０１７３】
【発明の効果】以上詳細に説明したように、本発明にか
かる画像情報変換装置は、第１の画像圧縮情報を入力
し、第２の画像圧縮情報を出力する画像情報変換装置に
おいて、第１の画像圧縮情報および第２の画像圧縮情報
は、少なくとも画像内符号化画像と画像間予測符号化画
像とを有し、入力した第１の画像圧縮情報の各フレーム
に対する画面の複雑さを表す変数に基づいて出力する第
２の画像圧縮情報の各フレームに対する目標符号量を算
出する際、第１の画像圧縮情報における画像内符号化画
像を第２の画像圧縮情報における画像間予測符号化画像
へと変換するに先立って、変換される予定のフレームに
シーンチェンジが含まれるか否かを検出するシーンチェ
ンジ検出手段を備える。
【０１７４】また、本発明にかかる画像情報変換方法
は、第１の画像圧縮情報を入力し、第２の画像圧縮情報
を出力する画像情報変換方法において、第１の画像圧縮
情報および第２の画像圧縮情報は、少なくとも画像内符
号化画像と画像間予測符号化画像とを有し、入力した第
１の画像圧縮情報の各フレームに対する画面の複雑さを
表す変数に基づいて出力する第２の画像圧縮情報の各フ
レームに対する目標符号量を算出する際、第１の画像圧
縮情報における画像内符号化画像を第２の画像圧縮情報
における画像間予測符号化画像へと変換するに先立っ
て、変換される予定のフレームにシーンチェンジが含ま
れるか否かを検出することを特徴とする。
【０１７５】ここで、上記第１の画像圧縮情報におい
て、各フレームに割り当てられた符号量と平均量子化ス
ケールとの積を当該フレームに対する画面の複雑さを表
す変数とし、画面の複雑さを表す変数を用いてシーンチ
ェンジが含まれるか否かを検出し、変換される予定のフ
レームにシーンチェンジが含まれることを検出した場合
には、上記画像内符号化画像から上記画像間予測符号化
画像への変換を制限することがあげられる。
【０１７６】特に、入力した第１の画像圧縮情報におい
て、画像内符号化画像の画面の複雑さを表す変数から直
前の画像内符号化画像の画面の複雑さを表す変数を引い
たときの絶対値が予め定められた所定の閾値よりも大き
いとき、変換される予定のフレームにシーンチェンジが
含まれるとする。
【０１７７】したがって、本発明にかかる画像情報変換
装置および画像情報変換方法によれば、第１の画像圧縮
情報を第２の画像圧縮情報へと変換する際の画像の劣
化、特に、第１の画像圧縮情報における画像内符号化画
像から第２の画像圧縮情報における画像間予測符号化画
像へと変換するときに生じる画像の劣化を回避すること
が可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す画像情報変換装
置の構成を示すブロック図である。
【図２】本発明の実施の形態として示す画像情報変換装
置におけるシーンチェンジ検出部およびＧＯＶ構造決定
部がシーンチェンジを検出する動作について示すフロー
チャートである。
【図３】本発明の実施の形態として示す画像情報変換装
置が、入力したＭＰＥＧ２ビットストリームにおけるＩ
ピクチャをＭＰＥＧ４ビットストリームにおけるＰ−Ｖ
ＯＰに変換して出力する様子を模式的に示す模式図であ
る。
【図４】本発明の実施の形態として示す画像情報変換装
置におけるシーンチェンジ検出部およびＧＯＶ構造決定
部の動作を示すフローチャートである。
【図５】従来の画像情報変換装置の構成を示すブロック
図である。
【図６】従来の画像情報変換装置がＭＰＥＧ２画像情報
復号化部において抽出された各フレームに対するコンプ
レキシティＸを用いて、ＭＰＥＧ４画像情報符号化部に
おいて符号量制御を行う動作について示したフローチャ
ートである。
【図７】従来の画像情報変換装置の構成を示すブロック
図である。
【図８】従来の画像情報変換装置におけるシーンチェン
ジ検出部およびＧＯＶ構造決定部がシーンチェンジを検
出する動作について示すフローチャートである。
【図９】入力されたＭＰＥＧ２ビットストリームにおけ
るＩピクチャを、ＭＰＥＧ４ビットストリームにおける
Ｐ−ＶＯＰに変換して出力する場合を模式的に示す模式
図である。
【符号の説明】
１ 画像情報変換装置、１１ ピクチャタイプ判別部、
１２ 圧縮情報解析部、１３ ＭＰＥＧ２画像情報復号
化部、１４ 間引き部、１５ ビデオメモリ、１６ Ｍ
ＰＥＧ４画像情報符号化部、１７ 動きベクトル合成
部、１８ 動きベクトル検出部、１９ 情報バッファ、
２０ コンプレキシティ算出部、２１ シーンチェンジ
検出部、２２ ＧＯＶ構造決定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 矢ヶ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK01 KK41 LA05 LA07 LB05 MA00 MA23 MB00 MC11 MC32 MC38 ME01 NN01 PP05 PP06 PP14 SS01 SS02 SS08 SS11 TA16 TB04 TC01 TC02 TC04 TC14 TC18 TC36 TC38 TD03 TD05 TD12 UA34

Claims (30)

    【特許請求の範囲】
  1. 【請求項１】 第１の画像圧縮情報を入力し、第２の画
    像圧縮情報を出力する画像情報変換装置において、 上記第１の画像圧縮情報および上記第２の画像圧縮情報
    は、少なくとも画像内符号化画像と画像間予測符号化画
    像とを有し、 上記入力した第１の画像圧縮情報の各フレームに対する
    画面の複雑さを表す変数に基づいて上記出力する第２の
    画像圧縮情報の各フレームに対する目標符号量を算出す
    る際、第１の画像圧縮情報における画像内符号化画像を
    第２の画像圧縮情報における画像間予測符号化画像へと
    変換するに先立って、変換される予定のフレームにシー
    ンチェンジが含まれるか否かを検出するシーンチェンジ
    検出手段を備えることを特徴とする画像情報変換装置。
  2. 【請求項２】 上記シーンチェンジ検出手段は、変換さ
    れる予定のフレームにシーンチェンジが含まれることを
    検出した場合には、上記第１の画像圧縮情報における画
    像内符号化画像から上記第２の画像圧縮情報における画
    像間予測符号化画像への変換を制限することを特徴とす
    る請求項１記載の画像情報変換装置。
  3. 【請求項３】 上記シーンチェンジ検出手段は、上記第
    １の画像圧縮情報において、各フレームに割り当てられ
    た符号量と平均量子化スケールとの積を当該フレームに
    対する上記画面の複雑さを表す変数とし、上記画面の複
    雑さを表す変数を用いてシーンチェンジが含まれるか否
    かを検出することを特徴とする請求項２記載の画像情報
    変換装置。
  4. 【請求項４】 上記シーンチェンジ検出手段は、上記入
    力した第１の画像圧縮情報において、上記画像内符号化
    画像の画面の複雑さを表す変数から直前の画像内符号化
    画像の画面の複雑さを表す変数を引いたときの絶対値が
    予め定められた所定の閾値よりも大きいとき、シーンチ
    ェンジが含まれるとすることを特徴とする請求項３記載
    の画像情報変換装置。
  5. 【請求項５】 上記入力した第１の画像圧縮情報におけ
    る各フレームに対して割り当てられた符号量は、各フレ
    ームに割り当てられた符号量全体であることを特徴とす
    る請求項３記載の画像情報変換装置。
  6. 【請求項６】 上記入力した第１の画像圧縮情報におけ
    る各フレームに対して割り当てられた符号量は、少なく
    とも輝度信号成分の符号量を含むことを特徴とする請求
    項３記載の画像情報変換装置。
  7. 【請求項７】 上記入力した第１の画像圧縮情報におけ
    る各フレームに対して割り当てられた符号量は、輝度信
    号成分に関する符号量および色差信号成分に関する符号
    量を含むことを特徴とする請求項６記載の画像情報変換
    装置。
  8. 【請求項８】 上記シーンチェンジ検出手段は、各フレ
    ームの画素の平均値を用いて変換される予定のフレーム
    にシーンチェンジが含まれるか否かを検出することを特
    徴とする請求項２記載の画像情報変換装置。
  9. 【請求項９】 上記シーンチェンジ検出手段は、上記画
    像内符号化画像の画素の平均値から直前の画像内符号化
    画像の画素の平均値を引いたときの絶対値が予め決めら
    れた所定の閾値よりも大きいとき、シーンチェンジが含
    まれるとすることを特徴とする請求項８記載の画像情報
    変換装置。
  10. 【請求項１０】 上記画像内符号化画像の画素の平均値
    は、少なくとも輝度信号成分の画素の平均値を含むこと
    を特徴とする請求項８記載の画像情報変換装置。
  11. 【請求項１１】 上記画像内符号化画像の画素の平均値
    は、輝度信号成分の画像の平均値および色差信号成分の
    画素の平均値を含むことを特徴とする請求項１０記載の
    画像情報変換装置。
  12. 【請求項１２】 上記シーンチェンジ検出手段は、各フ
    レームに含まれる所定の符号化単位の直流成分の平均値
    を用いて変換される予定のフレームにシーンチェンジが
    含まれるか否かを検出することを特徴とする請求項２記
    載の画像情報変換装置。
  13. 【請求項１３】 上記シーンチェンジ検出手段は、上記
    画像内符号化画像の所定の符号化単位の直流成分の平均
    値から直前の画像内符号化画像の所定の符号化単位の直
    流成分の平均値を引いたときの絶対値が予め決められた
    所定の閾値よりも大きいとき、シーンチェンジが含まれ
    るとすることを特徴とする請求項１０記載の画像情報変
    換装置。
  14. 【請求項１４】 上記画像内符号化画像の所定の符号化
    単位の直流成分の平均値は、少なくとも輝度信号成分の
    所定の符号化単位の直流成分の平均値を含むことを特徴
    とする請求項１２記載の画像情報変換装置。
  15. 【請求項１５】 上記画像内符号化画像の所定の符号化
    単位の直流成分の平均値は、輝度信号成分の所定の符号
    化単位の直流成分の平均値および色差信号成分の所定の
    符号化単位の直流成分の平均値を含むことを特徴とする
    請求項１４記載の画像情報変換装置。
  16. 【請求項１６】 第１の画像圧縮情報を入力し、第２の
    画像圧縮情報を出力する画像情報変換方法において、 上記第１の画像圧縮情報および上記第２の画像圧縮情報
    は、少なくとも画像内符号化画像と画像間予測符号化画
    像とを有し、 上記入力した第１の画像圧縮情報の各フレームに対する
    画面の複雑さを表す変数に基づいて上記出力する第２の
    画像圧縮情報の各フレームに対する目標符号量を算出す
    る際、上記第１の画像圧縮情報における画像内符号化画
    像を上記第２の画像圧縮情報における画像間予測符号化
    画像へと変換するに先立って、変換される予定のフレー
    ムにシーンチェンジが含まれるか否かを検出することを
    特徴とする画像情報変換方法。
  17. 【請求項１７】 変換される予定のフレームにシーンチ
    ェンジが含まれることを検出した場合には、上記画像内
    符号化画像から上記画像間予測符号化画像への変換を制
    限することを特徴とする請求項１６記載の画像情報変換
    方法。
  18. 【請求項１８】 上記第１の画像圧縮情報において、各
    フレームに割り当てられた符号量と平均量子化スケール
    との積を当該フレームに対する上記画面の複雑さを表す
    変数とし、上記画面の複雑さを表す変数を用いてシーン
    チェンジが含まれるか否かを検出することを特徴とする
    請求項１７記載の画像情報変換方法。
  19. 【請求項１９】 上記入力した第１の画像圧縮情報にお
    いて、上記画像内符号化画像の画面の複雑さを表す変数
    から直前の画像内符号化画像の画面の複雑さを表す変数
    を引いたときの絶対値が予め定められた所定の閾値より
    も大きいとき、シーンチェンジが含まれるとすることを
    特徴とする請求項１８記載の画像情報変換方法。
  20. 【請求項２０】 上記入力した第１の画像圧縮情報にお
    ける各フレームに対して割り当てられた符号量は、各フ
    レームに割り当てられた符号量全体であることを特徴と
    する請求項１８記載の画像情報変換方法。
  21. 【請求項２１】 上記入力した第１の画像圧縮情報にお
    ける各フレームに対して割り当てられた符号量は、少な
    くとも輝度信号成分の符号量を含むことを特徴とする請
    求項１８記載の画像情報変換方法。
  22. 【請求項２２】 上記入力した第１の画像圧縮情報にお
    ける各フレームに対して割り当てられた符号量は、輝度
    信号成分に関する符号量および色差信号成分に関する符
    号量を含むことを特徴とする請求項２１記載の画像情報
    変換方法。
  23. 【請求項２３】 各フレームの画素の平均値を用いて変
    換される予定のフレームにシーンチェンジが含まれるか
    否かを検出することを特徴とする請求項１７記載の画像
    情報変換方法。
  24. 【請求項２４】 上記画像内符号化画像の画素の平均値
    から直前の画像内符号化画像の画像の平均値を引いた絶
    対値が予め決められた所定の閾値よりも大きいとき、シ
    ーンチェンジが含まれるとすることを特徴とする請求項
    ２３記載の画像情報変換方法。
  25. 【請求項２５】 上記画像内符号化画像の画素の平均値
    は、少なくとも輝度信号成分の画素の平均値を含むこと
    を特徴とする請求項２３記載の画像情報変換方法。
  26. 【請求項２６】 上記画像内符号化画像の画素の平均値
    は、輝度信号成分の画素の平均値および色差信号成分の
    画素の平均値を含むことを特徴とする請求項２５記載の
    画像情報変換方法。
  27. 【請求項２７】 各フレームに含まれる所定の符号化単
    位の直流成分の平均値を用いて変換される予定のフレー
    ムにシーンチェンジが含まれるか否かを検出することを
    特徴とする請求項１７記載の画像情報変換方法。
  28. 【請求項２８】 上記画像内符号化画像の所定の符号化
    単位の直流成分の平均値から直前の画像内符号化画像の
    所定の符号化単位の直流成分の平均値を引いたときの絶
    対値が予め決められた所定の閾値よりも大きいとき、シ
    ーンチェンジが含まれるとすることを特徴とする請求項
    ２５記載の画像情報変換方法。
  29. 【請求項２９】 上記画像内符号化画像の所定の符号化
    単位の直流成分の平均値は、少なくとも輝度信号成分の
    所定の符号化単位の直流成分の平均値を含むことを特徴
    とする請求項２７記載の画像情報変換方法。
  30. 【請求項３０】 上記画像内符号化画像の所定の符号化
    単位の直流成分の平均値は、輝度信号成分の所定の符号
    化単位の直流成分の平均値および色差信号成分の所定の
    符号化単位の直流成分の平均値を含むことを特徴とする
    請求項２９記載の画像情報変換方法。
JP2000344491A 2000-11-10 2000-11-10 画像情報変換装置および画像情報変換方法 Withdrawn JP2002152759A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2000344491A JP2002152759A (ja) 2000-11-10 2000-11-10 画像情報変換装置および画像情報変換方法
US09/986,435 US6888889B2 (en) 2000-11-10 2001-11-08 Image information conversion apparatus and image information conversion method
US10/986,301 US20050089096A1 (en) 2000-11-10 2004-11-12 Image information conversion apparatus and image information conversion method
US11/113,295 US7319721B2 (en) 2000-11-10 2005-04-25 Image information conversion apparatus and image information conversion method
US11/113,299 US7515636B2 (en) 2000-11-10 2005-04-25 Image information conversion apparatus and image information conversion method
US11/113,290 US7421023B2 (en) 2000-11-10 2005-04-25 Image information conversion apparatus and image information conversion method
US11/113,291 US7460598B2 (en) 2000-11-10 2005-04-25 Image information conversion apparatus and image information conversion method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000344491A JP2002152759A (ja) 2000-11-10 2000-11-10 画像情報変換装置および画像情報変換方法

Publications (1)

Publication Number Publication Date
JP2002152759A true JP2002152759A (ja) 2002-05-24

Family

ID=18818679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000344491A Withdrawn JP2002152759A (ja) 2000-11-10 2000-11-10 画像情報変換装置および画像情報変換方法

Country Status (2)

Country Link
US (6) US6888889B2 (ja)
JP (1) JP2002152759A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232148A (ja) * 2008-03-24 2009-10-08 Mega Chips Corp トランスコーダ
WO2016203539A1 (ja) * 2015-06-16 2016-12-22 三菱電機株式会社 画像符号化方式変換装置及び画像符号化方式変換方法
CN110166771A (zh) * 2018-08-01 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012959B2 (en) * 2000-05-25 2006-03-14 Sony Corporation Picture information conversion method and apparatus
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
JP4403737B2 (ja) * 2003-08-12 2010-01-27 株式会社日立製作所 信号処理装置及びこれを用いた撮像装置
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
JP4185011B2 (ja) * 2004-03-30 2008-11-19 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
JP4335779B2 (ja) * 2004-10-28 2009-09-30 富士通マイクロエレクトロニクス株式会社 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
JP2006279262A (ja) * 2005-03-28 2006-10-12 Pioneer Electronic Corp 符号化映像変換装置、変換方法及びそのプログラム
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
US9407925B2 (en) 2008-10-30 2016-08-02 Vixs Systems, Inc. Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith
US20100296579A1 (en) * 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
KR20110063004A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 키 프레임 추출 장치 및 방법과 이를 이용한 방송 녹화 장치 및 방법
ES2627431T3 (es) * 2010-05-12 2017-07-28 Nippon Telegraph And Telephone Corporation Método y aparato de control de cantidad de código
FR2965347B1 (fr) 2010-09-29 2015-04-03 Moving Magnet Tech Capteur de position ameliore
US10630991B2 (en) 2015-12-15 2020-04-21 Nippon Telegraph And Telephone Corporation Image difference detection device, method for detecting image difference, and computer program
CN111918068B (zh) * 2020-08-05 2022-03-08 电子科技大学 基于视频序列特征和QP-λ修正的时域率失真优化方法
CN114339196A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 一种视频编码方法、装置、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828832A (en) * 1996-07-30 1998-10-27 Itt Industries, Inc. Mixed enclave operation in a computer network with multi-level network security
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
US6731684B1 (en) * 1998-09-29 2004-05-04 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
US6590938B1 (en) * 1999-09-30 2003-07-08 Conexant Systems, Inc. DCT domain conversion of a higher definition signal to lower definition signal
US6587506B1 (en) * 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US7012959B2 (en) * 2000-05-25 2006-03-14 Sony Corporation Picture information conversion method and apparatus
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
JP4517495B2 (ja) * 2000-11-10 2010-08-04 ソニー株式会社 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US7088780B2 (en) * 2001-05-11 2006-08-08 Mitsubishi Electric Research Labs, Inc. Video transcoder with drift compensation
US7006511B2 (en) * 2001-07-17 2006-02-28 Avaya Technology Corp. Dynamic jitter buffering for voice-over-IP and other packet-based communication systems
JP4346868B2 (ja) * 2002-06-17 2009-10-21 株式会社日立製作所 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法
US7203237B2 (en) * 2003-09-17 2007-04-10 Texas Instruments Incorporated Transcoders and methods
JP4345688B2 (ja) * 2005-02-24 2009-10-14 株式会社日立製作所 内燃機関の診断装置および制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232148A (ja) * 2008-03-24 2009-10-08 Mega Chips Corp トランスコーダ
WO2016203539A1 (ja) * 2015-06-16 2016-12-22 三菱電機株式会社 画像符号化方式変換装置及び画像符号化方式変換方法
JPWO2016203539A1 (ja) * 2015-06-16 2017-08-31 三菱電機株式会社 画像符号化方式変換装置及び画像符号化方式変換方法
CN110166771A (zh) * 2018-08-01 2019-08-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
CN110166771B (zh) * 2018-08-01 2022-09-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US7319721B2 (en) 2008-01-15
US20020106024A1 (en) 2002-08-08
US6888889B2 (en) 2005-05-03
US20050089096A1 (en) 2005-04-28
US20050190840A1 (en) 2005-09-01
US7421023B2 (en) 2008-09-02
US20050190838A1 (en) 2005-09-01
US7460598B2 (en) 2008-12-02
US7515636B2 (en) 2009-04-07
US20050190839A1 (en) 2005-09-01
US20050190841A1 (en) 2005-09-01

Similar Documents

Publication Publication Date Title
JP4517495B2 (ja) 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法
US7421023B2 (en) Image information conversion apparatus and image information conversion method
US6870886B2 (en) Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream
US20070132784A1 (en) Circuit and method for modifying a region of an encoded image
JP2001145113A (ja) 画像情報変換装置及び方法
US6498816B1 (en) Circuit and method for formatting each of a series of encoded video images into respective regions
JP2002152752A (ja) 画像情報変換装置及び方法
JP2002125227A (ja) 画像情報変換装置及び方法
JP4517475B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
JP4517453B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
JP4608801B2 (ja) 画像情報変換装置及び方法
JP4517465B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
US7012959B2 (en) Picture information conversion method and apparatus
JP4517468B2 (ja) 画像情報変換装置及び方法並びに符号化装置及び方法
JP2001346214A (ja) 画像情報変換装置及び方法
JP4505992B2 (ja) 画像情報変換装置及び方法
JPH10271512A (ja) 画像信号符号化装置及び方法、画像信号復号装置及び方法、並びに記録媒体
JP2001339720A (ja) 画像情報変換装置及び方法
JP4507418B2 (ja) 画像情報変換装置及び画像情報変換方法
JP2003087797A (ja) 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体
JP2002232891A (ja) 画像情報変換装置及び方法
JP2003134519A (ja) 画像情報符号化装置及び方法
JP2002152728A (ja) 画像情報変換装置及び方法
JP2002125234A (ja) 画像情報変換装置及び方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080205