JP2001268572A - Ｍｐｅｇビットストリームの中にビジュアル要素を挿入する方法。 - Google Patents

Ｍｐｅｇビットストリームの中にビジュアル要素を挿入する方法。

Info

Publication number
JP2001268572A
JP2001268572A JP2001017890A JP2001017890A JP2001268572A JP 2001268572 A JP2001268572 A JP 2001268572A JP 2001017890 A JP2001017890 A JP 2001017890A JP 2001017890 A JP2001017890 A JP 2001017890A JP 2001268572 A JP2001268572 A JP 2001268572A
Authority
JP
Japan
Prior art keywords
encoded
bit stream
macroblock
frame
transcoding method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001017890A
Other languages
English (en)
Other versions
JP2001268572A5 (ja
JP5071918B2 (ja
Inventor
Dinei Alfonso Ferreira Florencio
アフオンソ フエレイラ フローレンシオ デイネイ
Stuart Jay Golin
ジエイ ゴリン スチユワート
Lee Janguuu
リー ジヤングウー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2001268572A publication Critical patent/JP2001268572A/ja
Publication of JP2001268572A5 publication Critical patent/JP2001268572A5/ja
Application granted granted Critical
Publication of JP5071918B2 publication Critical patent/JP5071918B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 符号化されたビットストリームの復号化を最
小限度にして、符号化されたビットストリームの中にビ
ジュアル要素を挿入すること。 【解決手段】 画像を含んでいる符号化されたビットス
トリームを受け取るステップと、ビットストリームのコ
ピーを部分的に復号化するステップと、ビットストリー
ム内の画像のセグメントがビジュアル要素の挿入により
影響を受けるかどうかを確認するステップと、再符号化
されたビットストリームを出力するステップとを含む。
この再符号化ビットストリームはビットレート制御プロ
セスを使用して出力される。ビットレート制御プロセス
では、再符号化されたビットストリーム内の最初のプロ
セス地点をランダムに選択し、変更された量子化表を使
用して、この再符号化ビットストリームを再量子化し、
そして／またはスライス・レベル停止標準を利用して、
ビットレート制御を開始しまたは終了する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】一般に、本発明は、符号化さ
れたビットストリームを変更するプロセスに関する。特
に、本発明は動画グループ・タイプ２（ＭＰＥＧ２）の
符号化ビデオ・ビットストリームの中にビジュアル要素
を挿入するプロセスに向けられている。
【０００２】
【従来の技術】放送局は伝統的に、視聴者に放送される
ビデオ信号の中にビジュアル要素（ｖｉｓｕａｌ ｅｌ
ｅｍｅｎｔ：例えば、ロゴ、局の識別文字、ビデオ・シ
ーケンスなど）を挿入する。圧縮されたビデオ・ストリ
ームの伝送が出現する前は、放送画像の中にロゴを挿入
することは、選択されたビデオ・フレームの一部分の上
にロゴを重ねるという比較的簡単な手順であった。しか
しながら、圧縮されたビデオストリーム（例えば、ＭＰ
ＥＧの符号化ビデオストリーム）の伝送の出現に伴な
い、符号化されたビデオストリーム内で放送画像にロゴ
を挿入することは時間的従属性に起因して複雑な処理に
なっている。特に、ビデオストリーム内の各フレームは
もはや、画像を再構成するのに必要なすべての情報を含
んでいない。画像の再構成に必要なすべての情報を含ん
でいるのはビデオストリーム内でほんの少数のフレーム
（例えば、Ｉフレーム）にすぎない。他の「予測（ｐｒ
ｅｄｉｃｔｉｖｅ）」フレーム（例えば、Ｐフレームと
Ｂフレーム）は、予測フレームの再構成に必要な完全な
フレーム（例えば、Ｉフレーム）の各部分を標準とする
（これについては、以下に詳細に説明する）。
【０００３】
【発明が解決しようとする課題】ＭＰＥＧの符号化ビデ
オストリーム中にロゴを挿入する１つの方法は、ビデオ
ストリームを復号化し 画素領域内にロゴを挿入し、ビ
デオストリームを再符号化することである。しかしなが
ら、ビデオストリーム全体を復号化しそして再符号化す
るというプロセスは幾つかの欠点を有する。１つの欠点
は、復号化と再符号化のプロセスは、ビデオストリーム
中に誤りを生じるので、画質の低下を生じる。これらの
誤りの一部は、符号化技術の幾つか（例えば、量子化お
よび逆量子化）の非可逆的な性質によるものである。別
の欠点は、ビデオストリーム全体の復号化と再符号化に
は相当な量の計算を必要とすることである。
【０００４】上述した欠点に加えて、ＭＰＥＧの符号化
ビデオストリーム中にロゴを挿入する際、別の困難に遭
遇する。ロゴの挿入はビデオストリームのビットカウン
トに影響を及ぼす。特に、ロゴの挿入により、ビデオス
トリームのビットカウントは増加または減少し、ビデオ
・バッファ・ベリファイア（Ｖｉｄｅｏ Ｂｕｆｆｅｒ
Ｖｅｒｉｆｉｅｒ：ＶＢＶ）に影響を及ぼす。具体的
に言うと、ＭＰＥＧ規格の下で、デコーダの入力バッフ
ァはサイズを固定しており、一定のチャンネルのビット
レート（画像が表示される割合）と、変動するＭＰＥＧ
符号化ビット・レート（圧縮された画像がパスされる割
合）との間の遷移を扱う。データはバッファを通って流
れ、アンダーフローとオーバーフローの状態が回避され
ることが好ましい。しかしながら、ＭＰＥＧの符号化ビ
デオストリームのビットカウントを変更すると、ダウン
ストリームのデコーダの入力バッファ内にアンダーフロ
ーもしくはオーバーフローの状態を生じる。
【０００５】本発明は、上述した欠点および問題を解決
することに向けられている。
【０００６】
【課題を解決するための手段】本発明によると、符号化
されたビットストリームの復号化を最小限度にして、こ
の符号化ビットストリーム中にビジュアル要素を挿入す
るためのトランスコーディング（ｔｒａｎｓｃｏｄｉｎ
ｇ）方法が提供される。このトランスコーディング方法
には、画像を含んでいる符号化ビットストリームを受け
取るステップと、ビットストリームのコピーを部分的に
復号化するステップと、ビットストリーム内の画像のセ
グメントがビジュアル要素の挿入により影響を受けるか
どうかを確認するステップと、再符号化されたビットス
トリームを出力するステップと、から成る。符号化され
たビットストリームおよび再符号化されたビットストリ
ームはＭＰＥＧの符号化ビットストリームである。この
再符号化ビットストリームを出力するには、ビットレー
ト制御プロセスを使用して、再符号化ビットストリーム
内の最初の処理点をランダムに選択し、再符号化ビット
ストリームを、変更された量子化表を使用して再量子化
し、スライスレベル停止規準を使用して、ビットレート
の制御を選択的に開始しまたは終了する。
【０００７】本発明の１つの有利な実施例では、一連の
画像フレームを表す符号化されたビットストリーム中に
ビジュアル要素を挿入するためのトランスコーディング
方法が提供される。このトランスコーディング方法は、
符号化されたビットストリームを受け取るステップと、
この符号化ビットストリームを部分的に復号化するステ
ップと、部分的に復号化されたビットストリーム中にビ
ジュアル要素を挿入するステップと、ビジュアル要素が
挿入された後で、部分的に復号化されたビットストリー
ムを再符号化するステップと、再符号化されたビットス
トリームを出力するステップと、を含む。
【０００８】本発明の別の有利な実施例では、一連の画
像フレームを表す符号化ビットストリームの挿入領域の
中にビジュアル要素を挿入するトランスコーディング方
法が提供される。このトランスコーディング方法は、符
号化された第１のビットストリームを受け取るステップ
と、この第１の符号化ビットストリームのコピーを復号
化し、画像フレームの或るセグメントの位置を確認する
ステップと、挿入領域と前記セグメントの位置を比較し
て、ビジュアル要素の挿入が前記セグメントに影響を及
ぼすかどうかを確認するステップと、ビジュアル要素の
挿入が前記セグメントに影響を及ぼすならば前記セグメ
ントを再符号化するステップと、前記第１の符号化ビッ
トストリームと再符号化セグメントの組合せである第２
の符号化ビットストリームを出力するステップと、を含
む。
【０００９】本発明の更なる有利な実施例では、符号化
ビットストリームの挿入領域の中にビジュアル要素を挿
入するトランスコーディング方法が提供される。このト
ランスコーディング方法は、画像を表す第１の符号化さ
れたビットストリームを受け取るステップと、前記第１
の符号化ビットストリームのコピーを復号化して、画像
の各セグメントの特性を検出するステップと、前記挿入
領域と各セグメントの特性を比較して、画像中へのビジ
ュアル要素の挿入が前記各セグメントに影響を及ぼすか
どうかを確認するステップと、影響を受けるセグメント
を再符号化するステップと、前記第１の符号化ビットス
トリームと再符号化セグメントとの組合せである第２の
符号化ビットストリームを出力して、該第２の符号化ビ
ットストリームが第１の符号化ビットストリームと同数
のビットを含むようにするステップと、を含む。
【００１０】本発明の特性および利点は、例えば、以下
の説明から一層明らかになる。
【００１１】
【発明の実施の形態】図１に、例示的画像１０およびロ
ゴ１２を示す。画像１０は、Ｉ、ＰまたはＢ構造を有す
るフィールド・ピクチャまたはフレーム・ピクチャの中
に含まれる。明確にし且つ参照し易くするために、フレ
ーム・ピクチャのみについて以下に説明する。画像１０
内の挿入領域１４はロゴ１２が挿入される位置である。
Ｉ構造を有するフレームは、静止画像として符号化され
たフレームに類似している。従って、Ｉフレームには、
その中に含まれる画像の再構成のために必要とされるす
べての画像データが含まれる。Ｐ構造を有するフレーム
は予測されるフレームとして知られており、再構成のた
めに、ごく最近に再構成されたＩフレームまたはＰフレ
ーム内に含まれる画像データを必要とする。Ｂ構造を有
するフレームは二方向性フレームとして知られており、
最も接近した２つのＩフレームおよび／またはＰフレー
ム（１つは過去におけるもの、１つは未来におけるも
の）から予測される。従って、Ｂフレームは、再構成の
ために、他の２つのフレーム（Ｉおよび／またはＰフレ
ーム）内に含まれている画像データを必要とする。
【００１２】図２について説明すると、画像１０は、
Ｉ、ＰまたはＢフレームとして符号化され、一連のマク
ロブロック・スライス１６として、符号化ビットストリ
ーム内にパス（ｐａｓｓ：通過）される。各マクロブロ
ック・スライス１６は、画素マクロブロック１８から成
る水平グループの輝度データとクロマ・データを含んで
いる。各画素マクロブロック１８のサイズは１６ｘ１６
画素（図示せず）で、輝度の４ブロック２０、および同
じ領域（ａｒｅａ）のクロミナンスの２ブロック（１つ
はＣｒ、１つはＣｂ）で構成される。従って、本発明の
方法を実施するトランスコーダは符号化ビデオ・ビット
ストリームを、一連のマクロブロック・スライス１６と
して受け取る。トランスコーダは例示されていないが、
従来のＭＰＥＧトランスコーダで本発明を実施すること
は当業者の能力の範囲内で考えられる。
【００１３】図２に関連して、図３に、本発明のロゴ挿
入プロセスの全体を示す。ロゴ挿入プロセス２２は、ロ
ゴ挿入パス２４とビットレート（ｂｉｔ ｒａｔｅ）制
御パス２６を含む。以下に詳細に説明するように、ロゴ
挿入パス２４は復号化ステップ２８と再符号化ステップ
３０を含む。一般に、復号化ステップ２８は、入来する
符号化されたビデオストリームを部分的に復号化するス
テップと、ビデオストリームのセグメント（例えば、マ
クロブロック・スライス１６、マクロブロック１８、ま
たはブロック２０）がロゴの挿入領域１４と重なってい
るか、あるいはロゴ１２の挿入により影響を受けるかど
うかを確かめるステップを含む。もしこのセグメントが
ロゴ１２の挿入により影響を受けなければ、この符号化
セグメントは、復号化ステップ２８と再符号化ステップ
３０をバイパスし、一時的なバッファ内に貯えられる。
しかしながら、もしこのセグメント（例えば、マクロブ
ロック・スライス１７）がロゴ１２の挿入により影響を
受けるなら、そのセグメントの影響を受ける部分は、復
号化ステップ２８の間、画素領域（ｐｉｘｅｌ ｄｏｍ
ａｉｎ）まで復号化され、ロゴ１２は、その復号化され
たセグメントのうちの影響を受ける部分と合成される
か、またはその影響を受ける部分の中に同化される。そ
の後、再符号化ステップ３０の間、ロゴ１２またはロゴ
に関連するデータ（例えば、動きベクトル情報）を含ん
でいるそのセグメントは再符号化され、一時的なバッフ
ァ内に貯えられる。
【００１４】次に、ビットレート制御パス２６の間、ビ
デオストリームの符号化され且つ再符号化されたセグメ
ントは一時的なバッファから出力され、再符号化された
セグメントは、符号化されたビデオストリーム内の元の
位置に挿入される。復号化ステップ３２の間、この符号
化されたビデオ・ビットストリームの各セグメントはＤ
ＣＴ領域（ｄｏｍａｉｎ）まで復号化される。ＤＣＴ領
域で、各セグメントのＤＣＴ係数は、異なる量子化スケ
ーラ（ｓｃａｌｅｒ）を使用して再量子化される（以下
に詳細に説明する）。再量子化後、復号化されたセグメ
ントは、再符号化ステップ３４の間、再符号化され、一
時的なバッファ内に貯えられる。再符号化されたセグメ
ントは次に、再量子化されたセグメントの特性に基づき
動作可能にまたは動作不能にされる選択的レート制御
（ｒａｔｅ ｃｏｎｔｒｏｌ）を介して、出力される
（以下に詳細に説明する）。
【００１５】ロゴ挿入パス２４はビットレート制御パス
２６とは別個のものとして図示されているが、ロゴ挿入
プロセス２２全体の計算上のコストを更に減少させるた
めにロゴ挿入パス２４とビットレート制御パス２６が統
合されるよう当業者は容易に構成できるであろう。しか
しながら、ロゴ挿入パス２４とビットレート制御パス２
６は、明確にし参照し易くするために、且つ本発明の理
解を容易にするために、異なる別個のパスとして図示さ
れている。
【００１６】図２に関連して、図４に、本発明の挿入方
法で部分的に復号化するプロセス３８を示す。入来する
ビットストリーム４０内のデータは最高レベルでトラン
スコーダを通過する。ロゴ１２の挿入領域１４と重なら
ない（または、挿入領域１４に影響されない）符号化さ
れたマクロブロック・スライス１６は、マクロブロック
・スライス領域４６内のトランスコーダを通過し、符号
化マクロブロック・スライスとして貯えられる。マクロ
ブロック・スライス（例えば、マクロブロック・スライ
ス１７）の一部がロゴの挿入領域１４と重なる（また
は、ロゴの挿入領域１４に影響される）ことが判明する
と、そのマクロブロック・スライスはマクロブロック領
域４８の中に復号化される。ロゴの挿入領域１４と重な
らないマクロブロック１８はマクロブロック領域４８内
のトランスコーダを通過して、符号化マクロブロックと
して貯えられる。更に、ロゴの挿入領域１４に影響され
る動きベクトルはマクロブロック領域４８内で処理され
る（以下に詳細に説明する）。このバイパス・プロセス
は画素領域４４まで継続し、ここで、マクロブロック・
スライスの重なっている部分における画素はロゴ１２と
合成される。その後、これらの画素はマクロブロック・
スライス領域４６まで再符号化される。符号化されそし
て再符号化されたブロックは、再符号化されたマクロブ
ロックの中に組み入れられる。符号化されそして再符号
化されたマクロブロックは、再符号化されたマクロブロ
ック・スライスの中に組み入れられる。符号化されそし
て再符号化されたマクロブロック・スライスは、出て行
くビットストリーム４２内でパスされる。従って、部分
的に復号化する本発明のプロセス３８は、ビットストリ
ーム全体を完全に復号化せずに、ＭＰＥＧビットストリ
ーム４０の中にロゴ１２を容易に挿入するので、複雑
さ、コスト、時間、およびロゴ挿入の間に伝統的に遭遇
する、再符号化に伴う損失を減少させる。
【００１７】図５に、ビジュアル要素挿入プロセス５０
の概観を示す。図５のステップ５２で、トランスコーダ
は入来するフレームを調べて、それがＩフレームである
かどうかを確かめる。Ｉフレームであれば、ステップ５
４で、トランスコーダは図６に示すプロセスを実行す
る。Ｉフレームでなければ、ステップ５６で、トランス
コーダは入来するフレームがＰフレームであるかを確か
める。それがＰフレームであれば、ステップ５８でトラ
ンスコーダは図７に示すプロセスを実行する。入来する
フレームがＰフレームでなければ、ステップ６０で、ト
ランスコーダはそれがＢフレームであると判定し、図８
に示すプロセスを実行する。フレームのタイプは、符号
化された各フレームに伴うピクチャまたはフレームのヘ
ッダ・データを調べて確かめられる。入来するフレーム
中にビジュアル要素が挿入された後、ステップ６２でト
ランスコーダは図５に示すプロセスを繰り返し、次の入
来するフレームのタイプを確かめる。このプロセスは、
入来するビットストリーム中にビジュアル要素の挿入が
完了するまで継続する（以下に詳細に説明する）。
【００１８】図６に、Ｉフレーム挿入プロセス７０を示
す。最初にステップ７２で、トランスコーダは、入来す
るＩフレームのマクロブロック・スライスの符号化され
たビットを貯えそしてコピーする。次にステップ７４で
トランスコーダは、そのマクロブロック・スライスのこ
の符号化ビットのコピーを復号化し、復号化されたスラ
イスのコピーを２つメモリに貯える。第１のコピーはメ
モリの“Ｒｅｆ（ｓｌｉｃｅ＿ｐｏｓ）”ブロック内に
貯えられる。メモリの“Ｒｅｆ（ｓｌｉｃｅ＿ｐｏ
ｓ）”ブロック内に貯えられたこの復号化マクロブロッ
ク・スライスは、標準ＭＰＥＧデコーダで行なわれるよ
うに、後のフレーム内のマクロブロックを復号化するの
に利用される。第２のコピーはメモリの“Ｒｅｆ＿ｗ＿
ｌｏｇｏ（ｓｌｉｃｅ＿ｐｏｓ）”ブロック内に貯えら
れて、ロゴの挿入で影響を受ける後のフレーム内のマク
ロブロックを再符号化するのに利用される（以下に詳し
く説明する）。ステップ７６で、トランスコーダは、復
号化されたマクロブロック・スライスがロゴの挿入領域
１４と重なるかどうかを確かめる。重ならなければ、ス
テップ７８で、トランスコーダは前に貯えられたマクロ
ブロック・スライスの符号化ビットをパス（通過）させ
る。もし重なるなら、ステップ８０でトランスコーダ
は、ロゴ１２の重なっている部分とマクロブロック・ス
ライス（例えば、マクロブロック・スライス１７）を組
み合せて、メモリの“Ｒｅｆ＿ｗ＿ｌｏｇｏ（ｓｌｉｃ
ｅ＿ｐｏｓ）”ブロックの前の内容にこの新しいデータ
を上書きする。この組合せステップ（ｃｏｍｂｉｎｉｎ
ｇ ｓｔｅｐ）は置換えまたは混合操作を表すが、これ
だけに限定されない。また、マクロブロック領域内でマ
クロブロック・スライスの代りにロゴ１２のマクロブロ
ック部分で置き換えることは、画素領域内でマクロブロ
ック・スライスの代りにロゴ１２の画素部分で置き換え
るよりも、少ない計算で済むので、この組合せステップ
が置換え操作であるならば、ロゴ１２は符号化された形
態（例えば、符号化されたマクロブロック）にするのが
有利である。不必要な計算を更に減らすために、ロゴの
挿入領域１４は、重なっているマクロブロック・スライ
スの上下の境界と整合するような寸法とし、ロゴの置換
え操作全体がマクロブロック領域内で生じるようにす
る。ステップ８２で、トランスコーダは、ロゴ１２と重
なっているマクロブロック・スライスとの組合せを再符
号化し、ステップ８４で、上述のように、この再符号化
された組合せをパスさせる。ＤＣ量子化値は、マクロブ
ロック・スライスについてＤＰＣＭ（差分ＰＣＭ）を受
ける。従って、ロゴを含んでいるマクロブロックのＤＣ
量子化値の変化を明らかにするために、再符号化された
マクロブロック（すなわち、ロゴ１２の一部分と組み合
わされそして再符号化されたマクロブロック）の右側の
マクロブロックも再符号化されなければならない。次
に、ステップ８６で、トランスコーダは、現在のマクロ
ブロック・スライスがそのＩフレーム内で最後のマクロ
ブロック・スライスであるか確かめる。もしそうでなけ
れば、ステップ８８で、トランスコーダはステップ７２
に戻り、そのＩフレームの符号化された次のマクロブロ
ック・スライスを貯えそしてコピーする。もしそうであ
れば、ステップ９０で、トランスコーダは図５に示すプ
ロセスに戻り、次のフレームを調べ始める。
【００１９】図７に、Ｐフレーム挿入プロセス９２を示
す。最初に、ステップ９４で、トランスコーダは、入来
するＰフレームのマクロブロック・スライスの符号化さ
れたビットを貯えそしてコピーする。次に、ステップ９
６で、トランスコーダはマクロブロック・スライスのこ
の符号化ビットのコピーを復号化し、復号化されたスラ
イスのコピーを２つ貯える。最初のコピーはメモリの
“Ｒｅｆ（ｓｌｉｃｅ＿ｐｏｓ）”ブロック内に貯えら
れ、メモリの“Ｒｅｆ（ｓｌｉｃｅ＿ｐｏｓ）”ブロッ
ク内に貯えられたこの復号化マクロブロック・スライス
は、標準ＭＰＥＧデコーダで行なわれるように、後のフ
レーム内でマクロブロックを復号化するのに利用され
る。Ｐフレーム・セグメントを完全に復号化することが
開示されているが、ロゴ１２の挿入で影響を受ける後の
フレームの再符号化に他の技術を使用することも本発明
の範囲内で考えられる。例えば、トランスコーダは、符
号化されたＰフレームを貯え、必要に応じて、Ｐフレー
ムの選択された部分を復号化することもできる。第２の
コピーはメモリの“Ｒｅｆ＿ｗ＿ｌｏｇｏ（ｓｌｉｃｅ
＿ｐｏｓ）”ブロック内に貯えられ、ロゴの挿入で影響
を受ける後のフレーム内でマクロブロックを再符号化す
るのに利用される（以下に詳細に説明する）。
【００２０】ステップ９８で、トランスコーダは、復号
化されたマクロブロック・スライスの第２のコピーの位
置がロゴの挿入領域１４と重なるかどうかを確かめる。
もし重なれば、ステップ１００でトランスコーダは、重
なっているロゴ１２の部分とマクロブロック・スライス
（例えば、マクロブロック・スライス１７）を組み合せ
て、メモリの“Ｒｅｆ＿ｗ＿ｌｏｇｏ（ｓｌｉｃｅ＿ｐ
ｏｓ）”ブロックの前の内容にこの新しいデータを上書
きする。その後、ステップ１０２で、トランスコーダ
は、そのロゴを含んでいる前に符号化されたアンカー
（ａｎｃｈｏｒ）フレーム（例えば、Ｉフレームまたは
Ｐフレーム）を使用して、重なっているマクロブロック
・スライスとロゴ１２の組合せを再符号化し、ステップ
１０４で、前述したように、この再符号化された組合せ
をパスさせる。前述のように、この組合せは置換えまた
は混合操作を表しているが、これだけに限定されない。
これに代る別の方法では、動きベクイトルの検索プロセ
スの計算上のコストを避けるために、トランスコーダ
は、重なっているマクロブロックに関連する動きベクト
ルをゼロに設定する。何れの場合にも、動きベクトルと
ＤＣ量子化値はマクロブロック・スライスついてＤＰＣ
Ｍを受ける。従って、もし動きベクトルおよび／または
マクロブロックが再符号化されると、その動きベクトル
および／またはマクロブロックの再符号化を明らかにす
るために、次の飛ばされない動きベクトルおよび／また
はマクロブロックは差分的に符号化されなければならな
い。
【００２１】トランスコーダは、重なりがないことを確
認すると、ステップ１０６で、ロゴの挿入領域１４を指
し示す動きベクトルがマクロブロック・スライス内にあ
るかどうかを確認する。もしなければ、ステップ１０８
で、トランスコーダは、前に貯えられた符号化されたマ
クロブロック・スライスをパスさせる。もしあれば、ス
テップ１１０で、トランスコーダは、メモリの“Ｒｅｆ
ｗ／ｌｏｇｏ”ブロック内に前に貯えられた標準フレ
ームを使用して、影響を受けたマクロブロックを再符号
化する。前に貯えられたマクロブロックは、ロゴの挿入
により貯えられ変更された前のＩまたはＰフレームのマ
クロブロックである。これに代る別の方法では、トラン
スコーダは、ロゴの挿入領域１４を指し示す動きベクト
ルをゼロに設定する。この別の方法では、影響を受けた
マクロブロックを再符号化するのに必要とされる計算を
減少させる。更に、計算コストを減少させるために、動
きベクトル外挿技術も利用される。１つの例示的な動き
ベクトル外挿技術は、１９９８年２月２０に出願された
「ビデオ・シーケンスをトランスコードするための動き
ベクトル外挿」という名称の、本出願人による米国特許
出願第０２６１４０号に開示されており、参考として本
文中に組み入れられている。何れの場合にも、動きベク
トルとＤＣ量子化値はマクロブロック・スライスについ
てＤＰＣＭを受ける。従って、動きベクトルおよび／ま
たはマクロブロックが再符号化されるならば、動きベク
トルおよび／またはマクロブロックの再符号化を明らか
にするために、次の飛ばされない動きベクトルおよび／
またはマクロブロックは差分的に符号化されなければな
らない。ステップ１０４で、トランスコーダは再符号化
されたマクロブロック・スライスをパスさせる。
【００２２】貯えられたマクロブロック・スライスまた
は再符号化されたマクロブロック・スライスがパスされ
た後、ステップ１１２で、トランスコーダは、現在のマ
クロブロック・スライスがそのＰフレーム内で最後のマ
クロブロック・スライスであるかどうかを確認する。も
し最後でなければ、ステップ１１４で、トランスコーダ
はステップ９４に戻り、そのＰフレーム内の次の符号化
されたマクロブロック・スライスを貯えそしてコピーす
る。もし最後であれば、ステップ１１６で、トランスコ
ーダは図５のプロセスに戻り、次のフレームを調べ始め
る。
【００２３】図８に、Ｂフレーム挿入プロセス１１８を
示す。最初に、ステップ１２０で、トランスコーダは、
入来するＢフレームの符号化されたマクロブロックを貯
えコピーする。次にステップ１２２で、トランスコーダ
は、ロゴ１２の挿入領域１４がマクロブロック・スライ
スのｆコード・レンジ（ｆ‐ｃｏｄｅ ｒａｎｇｅ）内
にあるかどうかを確認する。ｆコード・レンジはピクチ
ャ・ヘッダ内に含まれている。ｆコード・レンジ内にな
ければ、ステップ１２４で、トランスコーダは貯えられ
たマクロブロック・スライスをパスさせ、ステップ１２
６で、現在のマクロブロック・スライスがそのＢフレー
ム内で最後のマクロブロック・スライスであるかどうか
を確認する。もし現在のマクロブロック・スライスがそ
のＢフレーム内で最後のマクロブロック・スライスでな
ければ、ステップ１２８で、トランスコーダはステップ
１２０に戻り、そのＢフレーム内の次の符号化されたマ
クロブロック・スライスを貯えコピーする。もし現在の
マクロブロック・スライスがそのＢフレーム内で最後の
マクロブロック・スライスであれば、ステップ１３０
で、トランスコーダは図５に示すプロセスに戻り、次の
フレームを調べ始める。
【００２４】もしロゴ１２の挿入領域１４がｆコード・
レンジ内にあれば、ステップ１３２で、トランスコーダ
はそのマクロブロック・スライスがロゴ１２の挿入領域
１４と重なるかどうかを確認する。もし重なれば、ステ
ップ１３４で、トランスコーダはそのマクロブロック・
スライスを復号化し、ステップ１３６で、ロゴ１２とマ
クロブロック・スライス（例えば、マクロブロック・ス
ライス１７）の重なっている部分を組み合せる。その後
ステップ１３８で、トランスコーダは、ロゴ１２を含ん
でいる前に符号化されたアンカーフレーム（例えば、Ｉ
フレームおよび／またはＰフレーム）を使用して、ロゴ
１２と重なっているマクロブロック・スライスとの組合
せを再符号化する。前に述べたように、この組合せは、
置換えまたは混合操作を表すが、それだけに限定されな
い。これに代わる別の方法では、動きベクトル検索プロ
セスの計算上のコストを避けるためにトランスコーダ
は、重なっている各マクロブロックに関連する動きベク
トルをゼロに設定する。何れの場合にも、上述したよう
に、次の飛ばされない動きベクトルおよび／またはマク
ロブロックは差分的に符号化されなければならない。
【００２５】ステップ１３２で、マクロブロック・スラ
イスがロゴ１２の挿入領域１４と重ならないことをトラ
ンスコーダが確認すると、ステップ１４２で、トランス
コーダは、そのマクロブロック・スライス内の各マクロ
ブロックについて動きベクトルを獲得する。次にステッ
プ１４４で、トランスコーダは、ロゴ１２の挿入領域１
４を指し示す動きベクトルがあるかどうかを確認する。
もしなければ、ステップ１２４で、トランスコーダは、
前に貯えられた符号化されたマクロブロック・スライス
をパスさせ、ステップ１２６で、現在のマクロブロック
・スライスがそのＢフレーム内で最後のマクロブロック
・スライスであるかどうかを確認する。もし挿入領域１
４を指し示す動きベクイトルがあれば、ステップ１４６
で、トランスコーダはそのマクロブロック・スライスの
関連する部分（すなわち、関連する動きベクトルを有す
るマクロブロック）を復号化し、ステップ１３８で、メ
モリの“Ｒｅｆ ｗ／ｌｏｇｏ”ブロック内に前に貯え
られ影響を受けた標準フレームを再符号化する。上述し
たように、前に貯えられたマクロブロックは、ロゴの挿
入により貯えられ変更された前のＩまたはＰフレームの
マクロブロックである。これに代る別の方法では、トラ
ンスコーダは各マクロブロックの動きベクトル（前方お
よび後方への）を調べて、挿入領域１４を指し示さない
動きベクトルが存在するかどうかを確認する。このよう
な動きベクトルが検出されると、トランスコーダは、そ
のマクロブロックについての他のすべての動きベクトル
を廃棄する。これに代る別の方法では、トランスコーダ
は、影響を受けた各マクロブロックの動きベクトルをゼ
ロに設定する。この別の何れの方法でも、影響を受けた
マクロブロックを再符号化するのに必要とされる計算が
減少される。何れの場合にも、上述したように、次の飛
ばされない動きベクトルおよび／またはマクロブロック
は差分的に符号化されなければならない。その後ステッ
プ１４０で、トランスコーダは、再符号化されたマクロ
ブロック・スライスをパスさせ、ステップ１２６で、現
在のマクロブロック・スライスがそのＢフレーム内で最
後のマクロブロック・スライスであるかどうかを確認す
る。
【００２６】図９、図１０、図１１に、本発明のビット
レート制御パス２７を更に詳細に示す。上述したよう
に、入来する符号化されたビットストリームの影響を受
けるセグメントは、レート制御パス２６に先立ち、部分
的に復号化されロゴ挿入のために再符号化される。具体
的に言うと、Ｉフレームについて影響を受ける領域は、
ロゴ挿入領域１４と重なるスライスを含んでいる領域で
ある。ＰおよびＢフレームについて影響を受ける領域
は、ロゴ挿入領域１４と重なるマクロブロック、または
ロゴ挿入領域１４を指し示す動きベクトルを有するマク
ロブロックを含んでいるスライスを包含する領域であ
る。そのため、出て行くビットストリームの有するビッ
トカウントは、元の入来するビットストリームの有する
ビットカウントと同じでないかもしれない。しかしなが
ら、入力および出力のビットストリームについて同じビ
ットカウントを維持することは、幾つかの理由で望まし
い。１つの理由は、各フレーム（例えば、Ｉ、Ｐまたは
Ｂフレーム）について同じビットカウントが維持される
と、トランスポートストリーム・ヘッダ内のデータ（例
えば、ＤＴＳデータ、ＰＴＳデータなど）が変化しない
ので、出て行くビットストリームについてこのトランス
ポートストリーム・ヘッダを再使用できることである。
別の理由は、両方のビットストリームのフレームについ
てビットカウントが同じであれば、入来するビットスト
リームのＶＢＶ遵守（ｃｏｍｐｌｉａｎｃｅ）が、出て
行くビットストリームについて維持されることである。
従って、レート制御パス２６は、このトランスポートス
トリーム・ヘッダの再使用を許し、このビデオ・ビット
ストリームのビデオ・バッファ・ベリファイア（Ｖｉｄ
ｅｏＢｕｆｆｅｒ Ｖｅｒｉｆｉｅｒ：ＶＢＶ）遵守を
維持する。しかしながら、ビットレート制御パス２６は
本発明の例示的なビットレート制御プロセスであって、
特許請求の範囲に記載される本発明の趣旨と範囲から離
れることなく、トランスポートストリーム・ヘッダの再
使用および／またはＶＢＶ遵守を容易にするために、他
のレート制御プロセスを使用することもできる。
【００２７】図９のステップ１５０で、トランスコーダ
は最初に、元の入力ビットストリーム内のフレームのビ
ットカウント（すなわち、ロゴ１２の挿入に先立つビデ
オ・ビットストリーム内のフレームのビットカウント）
を計算する。次に、ステップ１５２で、トランスコーダ
は、ロゴ１２の挿入により影響を受ける出力ビットスト
リーム内の対応するフレームのビットカウントを計算す
ると共に、その対応するフレームのマクロブロック・ス
ライスのビットカウントを計算する。ステップ１５４
で、トランスコーダは、出力ビットストリームと入力ビ
ットストリーム内のフレームのビットカウントの差（デ
ルタ）を計算する。デルタは、出力ビットストリーム内
のフレームのビット数（ロゴの挿入後）と入力ビットス
トリーム内のフレームのビット数（ロゴの挿入前）と等
しくなるようにするために増加または減少させなければ
ならない出力ビットストリームのビット数を表す。ステ
ップ１５６で、トランスコーダはデルタが負であるかど
うかを確かめる。デルタが負であれば、入力ビットスト
リーム内のビット数は出力ビットストリーム内のビット
数よりも大きく、ステップ１５８で、トランスコーダ
は、出力ビットストリームと入力ビットストリームが等
しくなるようにするために、出力ビットストリームの中
に擬似ビットを挿入する。その後ステップ１６０でトラ
ンスコーダは、再符号化されたフレームのマクロブロッ
ク・スライスを出力する。
【００２８】デルタが負でなければ、ステップ１６２で
トランスコーダはデルタがゼロであるか確かめる。デル
タがゼロであれば、入力ビットストリーム内のビット数
と出力ビットストリーム内のビット数は等しく、ステッ
プ１６４で、トランスコーダは、レート制御を使用せず
に、マクロブロック・スライスを出力する。
【００２９】デルタが正であれば、図１０のステップ１
６６でトランスコーダは、ビットレート制御のために、
スライスのスタート位置をランダムに選択する。デルタ
が正であれば、出力ビットストリーム内のビット数は入
力ビットストリーム内のビット数よりも大きく、トラン
スコーダは出力ビットストリーム内のビット数を減らさ
なければならない。スライスのスタート位置をランダム
に選択することにより、トランスコーダは、スライスの
最初の位置が絶えずゆがめられているときに生じる問
題、例えば、周期的パターンまたはブリージング（ｂｒ
ｅａｔｈｉｎｇ）誤差、を最小限度に抑える。しかしな
がら、固定された方法あるいは順次的な方法でマクロブ
ロック・スライスを処理することは本発明の範囲内で考
えられる。次に、ステップ１６８で、トランスコーダは
選択されたスライスをメモリ・バッファから回収し、選
択されたスライスをＤＣＴ領域まで復号化する。その後
ステップ１７０で、トランスコーダは復号化されたスラ
イス内の各マクロブロックの量子化スケールを調節し、
ステップ１７２で、復号化されたスライス内のマクロブ
ロックのＤＣＴデータを再量子化する。この調節では、
ＤＣＴ係数を所定の整数で割り、量子化スケールにこの
同じ整数を掛ける。この所定の整数は、現在のフレーム
内のマクロブロック・スライスの処理の間、変化しない
固定された整数であるか、または現在のフレームについ
て処理されるスライスの数の増加につれて増大する可変
整数である。各スライスごとにこの所定の整数を増大さ
せると、レート制御により処理されるマクロブロック・
スライスの数が減少されるので、各フレームのビット・
レートを制御するための計算上の複雑さと処理時間が減
少される。固定された整数を使用する１つの例示的な調
節では、ＤＣＴ係数を２で割り、量子化スケールに２を
掛ける。ＤＣＴ係数を２で割ると、一般に、係数値が小
さくなると、必要とされるコードは短くなる傾向がある
ので、ビットカウントは減少される。係数をその近似値
に戻すために、量子化スケールに２を掛けてから、再量
子化する。ステップ１７４で、トランスコーダは、再量
子化されたＤＣＴデータをビデオ・ビットストリームの
中に再符号化し、ステップ１７６で、そのビットストリ
ームを出力する。
【００３０】図１１のステップ１７８で、トランスコー
ダによるレート制御パス２６が継続し、出て行くスライ
スのビットカウントの記録を維持し、元のスライスのビ
ットカウント（再量子化前）と現在のスライスのビット
カウント（再量子化後）の差を最初の所定の位置（例え
ば、そのスライスの中間点）で計算する。次にステップ
１８０で、トランスコーダは、計算された差が前に計算
されたデルタ値よりも大きいか等しいことを確認する。
そうであれば、ステップ１８２で、トランスコーダは、
現在のフレームについてのビットレート制御を終了し、
元の量子化値を使用して、そのフレームの残りの部分を
パスさせる。現在のフレーム内で出力されたビット数
（すなわち、ロゴ挿入後）は元のフレーム内のビット数
（ロゴ挿入前）よりも小さいか等しいので、このレート
制御は終了される。必要に応じて、擬似ビットが出力ビ
ットストリームの中に挿入される。もし計算された差が
前に計算されたデルタ値よりも小さければ、ステップ１
８４で、トランスコーダは、レート制御によりそのスラ
イスを処理し続ける。次にステップ１８６で、トランス
コーダは、元のスライス（再量子化前）と現在のスライ
ス（再量子化後）のビットカウントの差を第２の所定の
位置（そのスライスの終点）で計算する。ステップ１８
８でトランスコーダは、計算された差が前に計算された
デルタ値よりも大きいか等しいことを確認する。そうで
あれば、ステップ１９０でトランスコーダは現在のフレ
ームのビットレート制御を終了し、元の量子化値を使用
してそのフレームの残りの部分をパスさせる。現在のフ
レーム内で出力されたビット数（ロゴ挿入後）は元のフ
レーム内のビット数（ロゴの挿入前）よりも小さいか等
しいので、このレート制御は終了する。再び、必要に応
じて、擬似ビットがこの出力ビットストリームの中に挿
入される。もし計算された差が前に計算されたデルタ値
以下であれば、トランスコーダはステップ１６８に戻
り、レート制御により次のスライスを処理し続ける。
【００３１】マクロブロックが再量子化されるとき、歪
みを生じることがある。この歪みは、動き補償のために
再量子化されたマクロブロックを使用する他のマクロブ
ロックに伝播する。この歪みは重大ではないが、この歪
みを補償することが望ましいアプリケーションもある。
補償するために、再量子化された領域を指し示すその後
のマクロブロックは、ロゴの挿入について前に述べたの
と同様な方法で、再符号化されなければならない。
【００３２】本発明は、好ましい実施例に関して説明さ
れたが、特許請求項の範囲に記載された本発明の趣旨と
範囲から離れることなく、これらの実施例に種々の変更
がなされることは明らかである。
【図面の簡単な説明】
【図１】本発明の例示的画像およびロゴを示す。
【図２】図１の画像における画素マクロブロック・スラ
イス、マクロブロック、およびブロックを示す。
【図３】本発明のロゴ挿入プロセスを示すブロック図で
ある。
【図４】本発明のバイパス・プロセスを示す流れ図であ
る。
【図５】本発明のフレーム確認プロセスを示すフローチ
ャートである。
【図６】本発明のＩフレームについてロゴ挿入プロセス
を示すフローチャートである。
【図７】本発明のＰフレームについてロゴ挿入プロセス
を示すフローチャートである。
【図８】本発明のＢフレームについてロゴ挿入プロセス
を示すフローチャートである。
【図９】本発明のレート制御プロセスを示すフローチャ
ートである。
【図１０】本発明のレート制御プロセスを示すフローチ
ャートである。
【図１１】本発明のレート制御プロセスを示すフローチ
ャートである。
【符号の説明】
１０ 画像 １２ ロゴ １４ ロゴ挿入領域 １６ マクロブロック・スライス １７ マクロブロック・スライス １８ 画素マクロブロック ２０ ４つのブロック ２２ ロゴ挿入プロセス ２４ ロゴ挿入パス ２６ ビットレート制御パス ２８ ロゴ挿入のための復号化 ３０ ロゴ挿入のための再符号化 ３２ ビットレート制御のための復号化 ３４ ビットレート制御のための再符号化 ３８ 部分的に復号化するプロセス
───────────────────────────────────────────────────── フロントページの続き (71)出願人 300000708 46，Ｑｕａｉ Ａ， Ｌｅ Ｇａｌｌｏ Ｆ−92648 Ｂｏｕｌｏｇｎｅ Ｃｅｄｅ ｘ Ｆｒａｎｃｅ (72)発明者 デイネイ アフオンソ フエレイラ フロ ーレンシオ アメリカ合衆国 ワシントン州 レドモン ド ワンハンドレツドシツクステイエイ ス・コート・ノース・イースト 4603 (72)発明者 スチユワート ジエイ ゴリン アメリカ合衆国 ニユージヤージ州 イー スト・ウインザー ダツチ・ネツク・ロー ド 626 (72)発明者 ジヤングウー リー アメリカ合衆国 ニユージヤージ州 プリ ンストン ヨーク・ドライブ 104

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 一連の画像フレームを表す符号化された
    ビットストリームの中にビジュアル要素を挿入するトラ
    ンスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）方法であ
    って、 符号化されたビットストリームを受け取るステップと、 符号化されたビットストリームを部分的に復号化するス
    テップと、 部分的に復号化されたビットストリームの中にビジュア
    ル要素を挿入するステップと、 ビジュアル要素が挿入された後、部分的に復号化された
    ビットストリームを再符号化するステップと、 再符号化されたビットストリームを出力するステップ
    と、から成る前記トランスコーディング方法。
  2. 【請求項２】 符号化されたビットストリームが、ＭＰ
    ＥＧ規格に従って符号化されたビデオ・ビットストリー
    ムである、請求項１記載のトランスコーディング方法。
  3. 【請求項３】 ビジュアル要素が、ロゴ、テキスト表
    示、画像、およびビデオシーケンスのうちの１つであ
    る、請求項１記載のトランスコーディング方法。
  4. 【請求項４】 前記部分的に復号化するステップに、 符号化されたビットストリーム内の画像フレームのセグ
    メントがビジュアル要素の挿入により影響を受ける場
    合、前記セグメントを復号化するステップが含まれる、
    請求項１記載のトランスコーディング方法。
  5. 【請求項５】 前記セグメントが、マクロブロック・ス
    ライス、マクロブロック、およびブロックのうちの１つ
    である、請求項４記載のトランスコーディング方法。
  6. 【請求項６】 前記挿入するステップに、画像フレーム
    内で画像データの代りにビジュアル要素を代用するステ
    ップが含まれる、請求項１記載のトランスコーディング
    方法。
  7. 【請求項７】 画像データの代りにビジュアル要素を代
    用するステップが画素領域内で生じる、請求項６記載の
    トランスコーディング方法。
  8. 【請求項８】 画像データの代りにビジュアル要素を代
    用するステップがマクロブロック領域内で生じる、請求
    項６記載のトランスコーディング方法。
  9. 【請求項９】 前記挿入するステップに、画像フレーム
    内でビジュアル要素と画像データを混合するステップが
    含まれる、請求項１記載のトランスコーディング方法。
  10. 【請求項１０】 出力ビットレートを制御するステップ
    に、 再符号化されたビットストリーム内の各フレームが、符
    号化されたビットストリーム内の対応する各フレームと
    同じ数のビットを含むよう、再符号化されたビットスト
    リームの出力ビットレートを制御するステップが含まれ
    る、請求項１記載のトランスコーディング方法。
  11. 【請求項１１】 前記出力ビットレートを制御するステ
    ップに、 符号化されたビットストリーム内のフレームについて第
    １のビットカウントを計算するステップと、 再符号化されたビットストリーム内の対応するフレーム
    について第２のビットカウントを計算するステップと、 第１のビットカウントと第２のビットカウントの差を計
    算するステップと、 再符号化されたビットストリームのビットレートを変更
    して、計算されたビットカウントの差を再符号化された
    ビットストリームから除去するステップと、を含む請求
    項１０記載のトランスコーディング方法。
  12. 【請求項１２】 前記ビットレートを変更するステップ
    に、 再符号化されたビットストリームの量子化スケール係数
    を調節するステップと、 再符号化されたビットストリームの複数の部分を前記調
    節された量子化スケールに従って再量子化するステップ
    と、を含む請求項１１記載のトランスコーディング方
    法。
  13. 【請求項１３】 再量子化により生じる歪みが、後続の
    影響を受ける領域を再符号化することにより補償され
    る、請求項１２記載のトランスコーディング方法。
  14. 【請求項１４】 計算されたビットカウントの差が除去
    されると、ビットレートの変更を終了するステップを更
    に含む、請求項１１記載のトランスコーディング方法。
  15. 【請求項１５】 前記変更を終了するステップに、 計算されたビットカウントの差が再符号化されたビット
    ストリーム内の所定の点で除去されるかどうかを確認す
    るステップを含む、請求項１４記載のトランスコーディ
    ング方法。
  16. 【請求項１６】 前記所定の点がマクロブロック・スラ
    イスの中間点である、請求項１５記載のトランスコーデ
    ィング方法。
  17. 【請求項１７】 前記所定の点がマクロブロック・スラ
    イスの終点である、請求項１６記載のトランスコーディ
    ング方法。
  18. 【請求項１８】 前記ビットレートを変更するステップ
    に、 フレーム内の開始点をランダムに選択してビットレート
    の変更を開始するステップが含まれる、請求項１１記載
    のトランスコーディング方法。
JP2001017890A 2000-01-28 2001-01-26 Ｍｐｅｇビットストリームの中にビジュアル要素を挿入する方法。 Expired - Fee Related JP5071918B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/494030 2000-01-28
US09/494,030 US6621866B1 (en) 2000-01-28 2000-01-28 Method for inserting a visual element into an MPEG bit stream

Publications (3)

Publication Number Publication Date
JP2001268572A true JP2001268572A (ja) 2001-09-28
JP2001268572A5 JP2001268572A5 (ja) 2008-03-13
JP5071918B2 JP5071918B2 (ja) 2012-11-14

Family

ID=23962725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001017890A Expired - Fee Related JP5071918B2 (ja) 2000-01-28 2001-01-26 Ｍｐｅｇビットストリームの中にビジュアル要素を挿入する方法。

Country Status (4)

Country Link
US (1) US6621866B1 (ja)
EP (1) EP1148733A3 (ja)
JP (1) JP5071918B2 (ja)
KR (1) KR100820933B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005526423A (ja) * 2001-12-28 2005-09-02 トムソン　ライセンシング　ソシエテ　アノニム サブピクチャコンテンツを加えるためのｍｐｅｇビットストリームのトランスコーディング
JP2008545351A (ja) * 2005-07-06 2008-12-11 トムソン ライセンシング 画像系列及びロゴを含むビデオコンテンツを符号化する方法及び装置
JP2009093789A (ja) * 2005-07-15 2009-04-30 Sony Corp データ、記録媒体、記録装置、製造方法
JP2011511554A (ja) * 2008-01-30 2011-04-07 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ビデオデータをストリーミングするための方法
US8774264B2 (en) 2003-03-28 2014-07-08 Kddi Corporation Image insertion device for compressed video data
US9076495B2 (en) 2005-07-15 2015-07-07 Sony Corporation Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7730300B2 (en) 1999-03-30 2010-06-01 Sony Corporation Method and apparatus for protecting the transfer of data
US6573945B1 (en) * 2000-01-12 2003-06-03 General Instrument Corporation Logo insertion on an HDTV encoder
US6839468B1 (en) * 2000-06-28 2005-01-04 International Business Machines Corporation Scaling of multi-dimensional data in a hybrid domain
US8369401B1 (en) * 2000-10-06 2013-02-05 Stmicroelectronics Asia Pacific Pte Ltd. System and method of bit allocation in scene change situations
US7266148B2 (en) * 2001-01-05 2007-09-04 Lg Electronics Inc. Video transcoding apparatus
US20020191851A1 (en) * 2001-05-01 2002-12-19 Giora Keinan Efficient encoding of video frames using pre-encoded primitives
US7830969B2 (en) * 2001-05-04 2010-11-09 Hewlett-Packard Development Company, L.P. Encoding devices for scalable data streaming
US7054362B1 (en) * 2001-05-29 2006-05-30 Cisco Technology, Inc. Methods and apparatus for updating a reduction ratio
US7151831B2 (en) * 2001-06-06 2006-12-19 Sony Corporation Partial encryption and PID mapping
US7895616B2 (en) 2001-06-06 2011-02-22 Sony Corporation Reconstitution of program streams split across multiple packet identifiers
US7292690B2 (en) * 2002-01-02 2007-11-06 Sony Corporation Video scene change detection
US8027470B2 (en) * 2002-01-02 2011-09-27 Sony Corporation Video slice and active region based multiple partial encryption
US7376233B2 (en) * 2002-01-02 2008-05-20 Sony Corporation Video slice and active region based multiple partial encryption
US7823174B2 (en) * 2002-01-02 2010-10-26 Sony Corporation Macro-block based content replacement by PID mapping
US7765567B2 (en) 2002-01-02 2010-07-27 Sony Corporation Content replacement by PID mapping
US7215770B2 (en) * 2002-01-02 2007-05-08 Sony Corporation System and method for partially encrypted multimedia stream
US8051443B2 (en) * 2002-01-02 2011-11-01 Sony Corporation Content replacement by PID mapping
US7302059B2 (en) 2002-01-02 2007-11-27 Sony Corporation Star pattern partial encryption
US7155012B2 (en) 2002-01-02 2006-12-26 Sony Corporation Slice mask and moat pattern partial encryption
US20030161469A1 (en) * 2002-02-25 2003-08-28 Szeming Cheng Method and apparatus for embedding data in compressed audio data stream
US7072402B2 (en) * 2002-05-13 2006-07-04 General Instrument Corporation Methods and apparatus for dynamically adjusting f-codes for a digital picture header
AU2002368039A1 (en) * 2002-06-19 2004-01-06 Siemens Aktiengesellschaft Method and device for preparing the transfer of image sequences by a channel which is modifiable within a given time
US7319754B2 (en) 2002-06-28 2008-01-15 Stmicroelectronics S.A. Insertion of binary messages in video pictures
US6961377B2 (en) * 2002-10-28 2005-11-01 Scopus Network Technologies Ltd. Transcoder system for compressed digital video bitstreams
EP1418764A1 (en) * 2002-11-05 2004-05-12 STMicroelectronics S.A. Method and apparatus for transcoding sub-picture data, and video display system comprising such apparatus
US7130350B1 (en) * 2003-02-28 2006-10-31 Vixs Systems, Inc. Method and system for encoding and decoding data in a video stream
US7292692B2 (en) * 2003-03-25 2007-11-06 Sony Corporation Content scrambling with minimal impact on legacy devices
US7489726B2 (en) * 2003-08-13 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Resource-constrained sampling of multiple compressed videos
US7286667B1 (en) 2003-09-15 2007-10-23 Sony Corporation Decryption system
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
KR101003957B1 (ko) * 2003-11-20 2010-12-30 엘지전자 주식회사 광디스크 장치에서의 유저 마크 기록방법
US9865017B2 (en) 2003-12-23 2018-01-09 Opentv, Inc. System and method for providing interactive advertisement
US10387920B2 (en) 2003-12-23 2019-08-20 Roku, Inc. System and method for offering and billing advertisement opportunities
US10032192B2 (en) * 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
CN100474884C (zh) * 2003-12-26 2009-04-01 松下电器产业株式会社 图像处理装置及图像处理方法
US20050169473A1 (en) * 2004-02-03 2005-08-04 Candelore Brant L. Multiple selective encryption with DRM
EP2164256B1 (en) * 2004-04-02 2014-08-20 NDS Limited System for providing visable messages during PVR trick mode playback
TWI248762B (en) * 2004-11-10 2006-02-01 Realtek Semiconductor Corp Video processing device and method thereof
US20060109900A1 (en) * 2004-11-23 2006-05-25 Bo Shen Image data transcoding
US8041190B2 (en) 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US7895617B2 (en) 2004-12-15 2011-02-22 Sony Corporation Content substitution editor
US8185921B2 (en) 2006-02-28 2012-05-22 Sony Corporation Parental control of displayed content using closed captioning
US7555464B2 (en) * 2006-03-01 2009-06-30 Sony Corporation Multiple DRM management
US7992165B1 (en) * 2006-04-06 2011-08-02 Velti USA, Inc. Insertion of digital media
EP2061249B1 (en) * 2007-11-13 2018-12-26 Alcatel Lucent Method and arrangement for personalized video encoding
US8681874B2 (en) * 2008-03-13 2014-03-25 Cisco Technology, Inc. Video insertion information insertion in a compressed bitstream
KR101045192B1 (ko) * 2009-06-16 2011-06-30 (주)제너시스템즈 편집형 안내 방송 제작 장치 및 방법
US20110038416A1 (en) * 2009-08-14 2011-02-17 Apple Inc. Video coder providing improved visual quality during use of heterogeneous coding modes
US9014269B2 (en) * 2010-09-30 2015-04-21 General Instrument Corporation Method and apparatus for managing bit rate
JP2012109720A (ja) * 2010-11-16 2012-06-07 Panasonic Corp 画像変換装置、画像再生装置及び画像変換方法
US10616782B2 (en) 2012-03-29 2020-04-07 Mgage, Llc Cross-channel user tracking systems, methods and devices
AU2014321165B2 (en) * 2013-09-11 2020-04-09 See-Out Pty Ltd Image searching method and apparatus
US20240146949A1 (en) * 2021-03-02 2024-05-02 Beijing Bytedance Network Technology Co., Ltd. Method, electronic device, storage medium, and recording medium for image encoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261966A (ja) * 1998-03-12 1999-09-24 Toshiba Corp 映像符号化装置および映像符号化方法
WO1999051033A2 (en) * 1998-03-31 1999-10-07 Koninklijke Philips Electronics N.V. Method and device for modifying data in an encoded data stream
JP2000078468A (ja) * 1998-07-31 2000-03-14 Sarnoff Corp 制約付き符号化に基づくロゴ挿入

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166173B2 (ja) 1991-07-19 2001-05-14 プリンストン エレクトロニック ビルボード，インコーポレイテッド 選択および挿入された標章を有するテレビ表示
JP3275423B2 (ja) 1993-03-04 2002-04-15 キヤノン株式会社 記録装置
US5802240A (en) 1995-04-28 1998-09-01 Sony Corporation Video editing apparatus
US5995709A (en) 1996-12-27 1999-11-30 Victor Company Of Japan, Ltd. MPEG decoder and optical video disc player using the same
JPH10116019A (ja) 1996-10-11 1998-05-06 Mitsubishi Denki Bill Techno Service Kk 教材作成方法
CA2227381C (en) * 1997-02-14 2001-05-29 Nec Corporation Image data encoding system and image inputting apparatus
US6192138B1 (en) * 1997-05-08 2001-02-20 Kabushiki Kaisha Toshiba Apparatus and method for embedding/unembedding supplemental information
US6295094B1 (en) * 1997-09-11 2001-09-25 U.S. Philips Corporation Instant replay of digital video optimized using non MPEG frame tags
US6064764A (en) * 1998-03-30 2000-05-16 Seiko Epson Corporation Fragile watermarks for detecting tampering in images
JP2002515218A (ja) * 1998-03-31 2002-05-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コード化データの修正
US6188728B1 (en) * 1998-09-29 2001-02-13 Sarnoff Corporation Block motion video coding and decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261966A (ja) * 1998-03-12 1999-09-24 Toshiba Corp 映像符号化装置および映像符号化方法
WO1999051033A2 (en) * 1998-03-31 1999-10-07 Koninklijke Philips Electronics N.V. Method and device for modifying data in an encoded data stream
JP2000078468A (ja) * 1998-07-31 2000-03-14 Sarnoff Corp 制約付き符号化に基づくロゴ挿入

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005526423A (ja) * 2001-12-28 2005-09-02 トムソン　ライセンシング　ソシエテ　アノニム サブピクチャコンテンツを加えるためのｍｐｅｇビットストリームのトランスコーディング
US8774264B2 (en) 2003-03-28 2014-07-08 Kddi Corporation Image insertion device for compressed video data
JP2008545351A (ja) * 2005-07-06 2008-12-11 トムソン ライセンシング 画像系列及びロゴを含むビデオコンテンツを符号化する方法及び装置
JP2009093789A (ja) * 2005-07-15 2009-04-30 Sony Corp データ、記録媒体、記録装置、製造方法
US9076495B2 (en) 2005-07-15 2015-07-07 Sony Corporation Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium
JP2011511554A (ja) * 2008-01-30 2011-04-07 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ビデオデータをストリーミングするための方法

Also Published As

Publication number Publication date
KR100820933B1 (ko) 2008-04-10
US6621866B1 (en) 2003-09-16
JP5071918B2 (ja) 2012-11-14
EP1148733A3 (en) 2004-01-07
EP1148733A2 (en) 2001-10-24
KR20010078011A (ko) 2001-08-20

Similar Documents

Publication Publication Date Title
JP5071918B2 (ja) Ｍｐｅｇビットストリームの中にビジュアル要素を挿入する方法。
US6611624B1 (en) System and method for frame accurate splicing of compressed bitstreams
JP4666695B2 (ja) ビデオ信号圧縮処理方法
US5278647A (en) Video decoder using adaptive macroblock leak signals
JP4308924B2 (ja) 符号化データストリームのデータ変更方法及び装置
US20060285586A1 (en) Methods and systems for achieving transition effects with MPEG-encoded picture content
JP2002514023A (ja) 圧縮映像のブリージングアーチファクトを低減する方法および装置
JP4223567B2 (ja) 符号化ビデオシーケンスの切り替え方法及び装置
JP2001510964A (ja) 圧縮ビデオストリームのスイッチング
US6795498B1 (en) Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method
WO2002001883A1 (en) Image encoder and image encoding method
JP2000059790A (ja) 動画像符号列変換装置及びその方法
JP2001326940A (ja) 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体
JP2002300528A (ja) ビデオストリーム編集方法及び装置
JPH08251582A (ja) 符号化データ編集装置
US8199832B2 (en) Video-signal switching apparatus
JP3469866B2 (ja) 符号化ビデオピクチャのデータストリームのビットレートを変化させる方法
JP2005012249A (ja) 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム
EP0871337A2 (en) Method and apparatus for modifying a digital data stream
JPH08163558A (ja) 画像復号装置
JP2002171530A (ja) スーパーインポーズ機能を備えた再符号化装置および方法
JP4539028B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2002016924A (ja) トランスコーダ装置およびトランスコード方法
JP4193162B2 (ja) 画像信号符号化装置
JP2002142225A (ja) 画像信号符号化装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060725

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080129

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20080520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090206

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20110218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110701

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110930

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120221

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20120222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120815

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees