JP2006509467A - 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法 - Google Patents

重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法 Download PDF

Info

Publication number
JP2006509467A
JP2006509467A JP2004559124A JP2004559124A JP2006509467A JP 2006509467 A JP2006509467 A JP 2006509467A JP 2004559124 A JP2004559124 A JP 2004559124A JP 2004559124 A JP2004559124 A JP 2004559124A JP 2006509467 A JP2006509467 A JP 2006509467A
Authority
JP
Japan
Prior art keywords
image
fade
reference image
cross
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004559124A
Other languages
English (en)
Other versions
JP4756573B2 (ja
JP2006509467A5 (ja
Inventor
マクドナルド ボイス,ジル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2006509467A publication Critical patent/JP2006509467A/ja
Publication of JP2006509467A5 publication Critical patent/JP2006509467A5/ja
Application granted granted Critical
Publication of JP4756573B2 publication Critical patent/JP4756573B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)

Abstract

フェードアウト開始画像とフェードイン終了画像との間に配置された少なくとも1つのクロス・フェード画像についてのビデオ信号データを符号化するビデオ符号器(200、300)と方法(700)を提供する。符号器部には、フェードアウト開始画像とフェードイン終了画像の各々に対応する重み付け係数を割り当てる基準画像重み付け係数ユニット(272、372)が含まれている。画像相互間のクロス・フェードを符号化する方法には、間にクロス・フェードが要求される各画像を識別するステップと、そのクロス・フェードについての適切な各終了点を特定するステップ(714、716)と、クロス・フェード画像を符号化する(722)前に上記各終了点を符号化するステップ(718、720)とが含まれる。

Description

(関連出願の説明)
本出願は、米国仮特許出願第60/430,793号(代理人整理番号PU020487)(出願日は2002年12月4日、発明の名称は「重み付け予測を用いたビデオ・クロス・フェードの符号化(ENCODING OF VIDEO CROSS−FADES USING WEIGHTED PREDICTION)」)の優先権を主張し、その全文を本出願の説明文に組み入れる。
本発明は、ビデオ符号器に向けられたものであり、詳しくは、画像相互間のビデオ・クロス・フェードを効果的に行うための装置と方法に向けられたものである。
ビデオ・データは、一般的に、ビット・ストリームの形態で処理されて転送される。一般的なビデオ圧縮符号器・復号器(コーデック)は、符号化すべき画像の基準画像予測を形成して、その予測と現在の画像との差分を符号化することによって、圧縮効率を上げている。予測と現在の画像との相関関係が密接であればあるほど、その画像を圧縮するのに要するビット数は少なくて済み、その結果、処理効率が向上する。従って、最良の実行可能な基準画像予測を形成することが望ましい。
MPEG(Moving Picture Experts Group)−1、MPEG−2、および、MPEG−4を含む多くのビデオ圧縮規格では、前の基準画像の動き補償された画像が現在の画像についての予測として使用され、現在の画像とその予測との差分のみが符号化される。1つの画像予測(Pピクチャ)を使用する場合、動き補償予測を形成する際、基準画像はスケーリング(scale)されない。双方向画像予測(Bピクチャ)を使用する場合、2つの異なる画像から中間予測が形成され、次に、その2つの中間予測が、各々、等しい重み付け係数(1/2、1/2)によって平均化され、1つの平均化予測が形成される。
特定のビデオ・シーケンスに於いて、とりわけ、フェードを有するビデオ・シーケンスに於いて、符号化すべき現在の画像は、基準画像そのものよりも、重み付け係数によってスケーリングされた基準画像に、より強く相関している。ジョイント・ビデオ・チーム(Joint Video Team)(JVT)ビデオ圧縮規格では、各重み付け係数と各オフセットとを基準画像毎に送ることが出来る。この規格では、復号器が各重み付け係数をどのように使用すべきかは規定されているが、符号器が適切な重み付け係数をどのように決定すればよいかについては規格されていない。クロス・フェードを含むシーケンスについて、使用すべき適切な重み付け係数と基準画像とを決定することは、非常に難しい。
(発明の概要)
このような従来技術の問題や欠点は、JVT重み付け予測を用いて効果的にビデオ・クロス・フェードを圧縮する装置と方法によって、解消される。クロス・フェードの各終了点が特定され、それらが、クロス・フェード領域に於ける各画像を符号化するための基準画像として、使用される。
フェードアウト開始画像とフェードイン終了画像との間に配置されたクロス・フェード画像についてのビデオ信号データを符号化する装置と方法を提供する。符号器部には、フェードアウト開始画像とフェードイン終了画像の各々に対応する重み付け係数を割り当てる基準画像重み付け係数ユニットが含まれている。画像相互間のクロス・フェードを符号化する方法には、間にクロス・フェードが要求される各画像を識別するステップと、そのクロス・フェードについての適切な各終了点を特定するステップと、クロス・フェード画像を符号化する前に上記各終了点を符号化するステップとが含まれる。
本開示事項のこのような形態、特徴、および、利点は、添付図面を参照しつつ、以下に説明する各実施例から明確に理解できる筈である。
動きベクトル推定と適応基準画像重み付け係数割り当てとを含む重み付け予測を用いてビデオ・クロス・フェードを符号化する装置と方法を開示する。特定のビデオ・シーケンスに於いて、とりわけ、フェードを有するビデオ・シーケンスに於いて、符号化すべき現在の画像、即ち、イメージ・ブロックは、基準画像そのものよりも、重み付け係数によってスケーリングされた基準画像に、より強く相関している。基準画像に重み付け係数を適用しないビデオ符号器は、フェードを有するビデオ・シーケンスの符号化の効率が非常に悪い。符号化に重み付け係数を用いる場合、ビデオ符号器は、重み付け係数と動きベクトルの両方を決定する必要があるが、重み付け係数と動きベクトルの各々の最良の選択は、他方に依存する。
従って、JVT重み付け予測を用いてビデオ・クロス・フェードを効果的に圧縮する方法を説明する。先ず、クロス・フェードの各終了点が決定され、次に、その各終了点が、クロス・フェード領域に於ける各画像を符号化するための基準画像として使用される。
本説明は、本発明の各原理を、例として、説明するものである。当業者であれば、ここに明確に説明または図示されていなが、本発明の各原理を実施した、本発明の精神から逸脱しない、本発明の範囲内に在る様々な構成を考案できる筈である。
ここに記載する全ての例と条件付き用語は、本発明の各原理の理解と、本発明の発明者が寄与する構想の理解とを容易にして当該技術を発展させる為の教示を目的とするものであり、本発明は、ここで具体的に記載する各例や各条件に限定されるものではない。
更に、本明細書に於ける、本発明の各具体例についての記載のみならず、本発明の各原理、各特徴、および、各実施形態についての記載の全ては、本発明の構造的等価物と機能的等価物の両方を包含するものである。そのような等価物には、現在既知の等価物と将来開発される等価物、即ち、構造の如何に拘わらず、同等の機能を果たすように開発された任意の要素が含まれる。
例えば、当業者であれば、本明細書添付図面の各ブロック図が、本発明の各原理を実施する回路例の概念的な図であることを理解できる筈である。同様に、任意のフローチャート、流れ図、状態遷移図、および、擬似コード等が、実質的にコンピュータ読み取り可能媒体に表されてコンピュータ或いはプロセッサによって実行され得る種々の処理を表していることを、コンピュータ或いはプロセッサが明示されているか否かに拘わらず、理解できる筈である。
各図に示す種々の構成要素の機能は、適切なソフトウェアの使用、ソフトウェアを実行できるハードウェアの使用、および、専用ハードウェアの使用によって得られるように構成できる。また、各機能は、プロセッサによって得られる場合、1つの専用プロセッサ、1つの共用プロセッサ、或いは、複数の個別プロセッサによって得られるように構成でき、その複数の個別プロセッサの一部は共用プロセッサとしてもよい。更に、「プロセッサ」或いは「コントローラ」なる用語の明示的な使用は、ソフトウェアを実行できるハードウェアのみを排他的に意味するものではなく、また、暗示的ではあるが、限定的ではなく、例えば、デジタル信号プロセッサ(DSP)ハードウェア、ソフトウェア記憶用リード・オンリ・メモリー(ROM)、ランダム・アクセス・メモリ(RAM)、および、不揮発性記憶装置が含まれている。
その他の通常のハードウェア、および/または、特定用途向けハードウェアも含まれてもよい。同様に、図示の各スイッチは、単に概念的なものである。それらの機能は、プログラム論理動作によって、専用論理によって、プログラム制御と専用論理のインターアクションによって、或いは、手動で、実行することができ、その際、状況に応じて、実施者が特定の技術を選択できる。
本願の特許請求の範囲の各請求項に於いて、規定した機能を果たす手段として表現する各構成要素は、全て、その機能を果たす任意の手段を包含するものであり、例えば、a)その機能を果たす各回路素子の組み合わせ、或いは、b)任意の形態のソフトウェア、即ち、その機能を果たす当該ソフトウェアを実行する適切な回路と共に組み合わされるファームウェア、マイクロコード等を含む任意の形態のソフトウェアが含まれる。各請求項によって定義される発明は、そこに記載された種々の手段によって得られる各機能が組み合わされて、各請求項に記載された態様で、効果を呈する。本出願人は、それらの機能が得られる各手段を、本明細書に記載する各手段と等価であると考える。
特定のビデオ・シーケンスに於いて、とりわけ、フェードを有するものに於いて、符号化すべき現在の画像、即ち、イメージ・ブロックは、基準画像そのものよりも、重み付け係数によってスケーリングされた基準画像に、より強く相関している。重み付け係数を基準画像に適用しないビデオ符号器は、フェードを有するシーケンスの符号化の効率が非常に悪い。
JVTビデオ圧縮規格に於いて、各Pピクチャは複数の基準画像を使用して画像予測を形成するが、個々のマクロブロックまたはマクロブロック・パーティション(16×8、8×16、或いは、8×8のサイズ)は1つの基準画像のみを使用して予測を形成する。動きベクトルの符号化と送信に加え、どの基準画像が使用されるかを示す基準画像インデックスが、マクロブロックまたはマクロブロック・パーティション毎に送信される。限定された一組の使用可能な基準画像が符号器と復号器の両方に記憶され、許容基準画像数が送信される。例えばMPEG―2のような以前の規格とは異なり、JVT符号器は、前に符号化された画像が基準画像として使用できる点で、相当な融通性を有する。
双予測画像(Bピクチャとも呼ばれる)についてのJVT規格では、マクロブロックまたはマクロブロック・パーティションの各々について、2つの予測子が形成され、その2つの予測子は、それぞれ別の基準画像から得られ、平均化されて、1つの平均化予測子が形成される。双予測で符号化される動きブロックについては、基準画像の両方が、前方方向から得られるか、または、後方方向から得られるか、或いは、基準画像の各々が、前方方向と後方方向から得られる。
予測に使用できる利用可能基準画像の2つのリストが保持される。この2つの基準画像は、リスト0予測子とリスト1予測子と呼ばれる。各基準画像についてのインデックスが、符号化され、リスト0基準画像についてのref_idx_I0と、リスト1基準画像についてのref_idx_I1として、送信される。
JVT規格は、重み付け予測の2つのモードを提供している。この2つのモードによって、重み付け係数、および/または、オフセットが、予測形成の際に、基準画像に適用される。使用すべき重み付け係数は、現在のマクロブロックまたはマクロブロック・パーティションについての1つの基準画像インデックス(双予測の場合は複数のインデックス)に基づく。例えばスキップ・モード或いは直接モードのマクロブロックについての基準画像インデックスは、ビット・ストリーム内に符号化されるか、或いは、微分(derive)されてもよい。1つの重み付け係数と1つのオフセットが、現在の画像の各スライスの全てについて、基準画像インデックスの各々と対応している。明示的モードでは、これらのパラメータは、スライス・ヘッダ内に符号化される。暗黙的モードでは、これらのパラメータは、微分される。重み付け係数とオフセットの各パラメータ値は、予測間処理(inter−prediction process)で16ビット算術演算が可能なように制限される。符号器は、符号化画像毎に、暗黙的モードと明示的モードの何れかを選択できる。
JVT規格の双予測画像、即ち、Bピクチャでは、2つの予測相互間で適応重み付けが可能である。即ち、Pred = [(P0) * (Pred0)] + [(P1) * (Pred1)] + D、ここで、P0とP1は重み付け係数、Pred0とPred1は、それぞれ、リスト0とリスト1についての基準画像予測、Dはオフセットである。
図1には、標準的なビデオ符号器の概略が参照番号100で示されている。符号器100の入力が、加算ジャンクション(summing junction)110の非反転入力と信号通信可能に接続されている。加算ジャンクション110の出力が、ブロック変換器120と信号通信可能に接続されている。変換器120は、量子化器130と信号通信可能に接続されている。量子化器130の出力は、可変長符号器(variable length coder)(VLC)140と信号通信可能に接続されている。VLC140の出力は、符号器100の外部使用出力である。
量子化器130の出力は、また、逆量子化器150と信号通信可能に接続されている。逆量子化器150は、逆ブロック変換器160と信号通信可能に接続されている。更に、逆ブロック変換器160は、基準画像記憶装置170と信号通信可能に接続されている。この基準画像記憶装置170の第1の出力が、動き推定器180の第1の入力と信号通信可能に接続されている。符号器100の入力は、また、動き推定器180の第2の入力と信号通信可能に接続されている。動き推定器180の出力が、動き補償器190の第1の入力と信号通信可能に接続されている。基準画像記憶装置170の第2の出力が、動き補償器190の第2の入力と信号通信可能に接続されている。動き補償器190の出力が、加算ジャンクション110の反転入力と信号通信可能に接続されている。
図2には、暗黙的基準画像重み付け機能を有するビデオ符号器の概略が参照番号200で示されている。符号器200の入力が、加算ジャンクション210の非反転入力と信号通信可能に接続されている。加算ジャンクション210の出力が、ブロック変換器220と信号通信可能に接続されている。変換器220は、量子化器230と信号通信可能に接続されている。量子化器230の出力は、可変長符号器(VLC)240と信号通信可能に接続されている。VLC240の出力は、符号器200の外部使用出力である。
量子化器230の出力は、また、逆量子化器250と信号通信可能に接続されている。逆量子化器250は、逆ブロック変換器260と信号通信可能に接続されている。更に、逆ブロック変換器260は、基準画像記憶装置270と信号通信可能に接続されている。この基準画像記憶装置270の第1の出力が、基準画像重み付け係数割り当て器272の第1の入力と信号通信可能に接続されている。符号器200の入力は、また、基準画像重み付け係数割り当て器272の第2の入力と信号通信可能に接続されている。基準画像記憶装置270の第2の出力が、動き推定器280の第1の入力と信号通信可能に接続されている。
符号器200の入力は、また、動き推定器280の第2の入力と信号通信可能に接続されている。動き推定器280の、動きベクトルを示す信号を供給する出力が、動き補償器290の第1の入力と信号通信可能に接続されている。基準画像記憶装置270の第3の出力が、動き補償器290の第2の入力と信号通信可能に接続されている。動き補償器290の、動き補償された基準画像を示す信号を供給する出力が、乗算器、即ち、基準画像重み付けアプリケータ292の第1の入力と信号通信可能に接続されている。尚、この基準画像重み付けアプリケータ292は、この実施例では乗算器として示されているが、その他のもの、例えば、シフト・レジスタによって実施してもよい。基準画像重み付け係数割り当て器272の、重み付け係数を示す信号を供給する出力が、基準画像重み付けアプリケータ292の第2の入力と信号通信可能に接続されている。基準画像重み付けアプリケータ292の出力が、加算ジャンクション210の反転入力と信号通信可能に接続されている。
図3には、明示的基準画像重み付け機能を有するビデオ符号器の概略が参照番号300で示されている。符号器300の入力が、加算ジャンクション310の非反転入力と信号通信可能に接続されている。加算ジャンクション310の出力が、ブロック変換器320と信号通信可能に接続されている。変換器320は、量子化器330と信号通信可能に接続されている。量子化器330の出力は、可変長符号器(VLC)340と信号通信可能に接続されている。VLC340の出力は、符号器300の外部使用出力である。
量子化器330の出力は、また、逆量子化器350と信号通信可能に接続されている。逆量子化器350は、逆ブロック変換器360と信号通信可能に接続されている。更に、逆ブロック変換器360は、基準画像記憶装置370と信号通信可能に接続されている。この基準画像記憶装置370の第1の出力が、基準画像重み付け係数割り当て器372の第1の入力と信号通信可能に接続されている。符号器300の入力は、また、基準画像重み付け係数割り当て器372の第2の入力と信号通信可能に接続されている。基準画像重み付け係数割り当て器372の、重み付け係数を示す信号を供給する第1の出力が、動き推定器380の第1の入力と信号通信可能に接続されている。基準画像記憶装置370の第2の出力が、動き推定器380の第2の入力と信号通信可能に接続されている。
符号器300の入力は、また、動き推定器380の第3の入力と信号通信可能に接続されている。動き推定器380の、動きベクトルを示す信号を供給する出力が、動き補償器390の第1の入力と信号通信可能に接続されている。基準画像記憶装置370の第3の出力が、動き補償器390の第2の入力と信号通信可能に接続されている。動き補償器390の、動き補償された基準画像を示す信号を供給する出力が、乗算器、即ち、基準画像重み付けアプリケータ392の第1の入力と信号通信可能に接続されている。基準画像重み付け係数割り当て器372の、重み付け係数を示す信号を供給する第2の出力が、基準画像重み付けアプリケータ392の第2の入力と信号通信可能に接続されている。基準画像重み付けアプリケータ392の出力が、加算ジャンクション394の第1の非反転入力と信号通信可能に接続されている。基準画像重み付け係数割り当て器372の、オフセットを示す信号を供給する第3の出力が、加算ジャンクション394の第2の非反転入力と信号通信可能に接続されている。加算ジャンクション394の出力が、加算ジャンクション310の反転入力と信号通信可能に接続されている。
図4には、明示的基準画像重み付け機能を有するビデオ復号器の概略が参照番号500で示されている。ビデオ復号器500には、可変長復号器(variable length decoder)(VLD)510が含まれており、逆量子化器520と信号通信可能に接続されている。逆量子化器520は、逆変換器530と信号通信可能に接続されている。逆変換器530は、加算ジャンクション540の第1の入力と信号通信可能に接続されている。加算ジャンクション540の出力は、ビデオ復号器500の出力信号を供給する。加算ジャンクション540の出力は、基準画像記憶装置550と信号通信可能に接続されている。基準画像記憶装置550は、動き補償器560と信号通信可能に接続されている。動き補償器560は、乗算器、即ち、基準画像重み付けアプリケータ570の第1の入力と信号通信可能に接続されている。当業者であれば理解できるように、明示的重み付け予測用のビデオ復号器500は、暗黙的重み付け予測用としても使用できる。
VLD510は、また、基準画像重み付け係数ルックアップ580と信号通信可能に接続されており、これに係数インデックスを供給する。ルックアップ580の、重み付け係数を供給する第1の出力が、基準画像重み付けアプリケータ570の第2の入力と信号通信可能に接続されている。基準画像重み付けアプリケータ570の出力が、加算ジャンクション590の第1の入力と信号通信可能に接続されている。ルックアップ580の、オフセットを供給する第2の出力が、加算ジャンクション590の第2の入力と信号通信可能に接続されている。加算ジャンクション590の出力が、加算ジャンクション540の第2の入力と信号通信可能に接続されている。
図5には、画像クロス・フェードの概略が参照番号600で示されている。例示の画像クロス・フェード600には、FP0として識別するフェードアウト開始画像610と、FP1として識別するフェードイン終了画像612とが含まれている。
図6には、1つのイメージ・ブロックについて、ビデオ信号データを符号化する処理の例の概要が、参照番号700で示されている。処理700は、図2の符号器200または図3の符号器300のような符号器を用いて、実施される。処理700に於いて、開始ブロック710が、判定ブロック712に制御権を渡す。判定ブロック712は、クロス・フェードが有るか否かを判定して、それが無い場合、機能ブロック713に制御権を渡す。機能ブロック713は、通常の符号化を行い、終了ブロック724に制御権を渡す。
一方、判定ブロック712は、クロス・フェードを検出した場合、機能ブロック714に制御権を渡す。機能ブロック714は、フェードアウト開始点FP0を検出して、機能ブロック716に制御権を渡す。機能ブロック716は、フェードイン終了点FP1を検出する。次に、機能ブロック716は、機能ブロック718に制御権を渡す。機能ブロック718は、フェードアウト開始画像FP0を符号化し、機能ブロック720に制御権を渡す。機能ブロック720は、フェードイン終了画像FP1を符号化して、機能ブロック722に制御権を渡す。
次に、機能ブロック722は、FP0とFP1との間で、表示順に配置された各画像を符号化し、この際、画像FP0をリスト0基準とし、画像FP1をリスト1基準とする重み付け予測を用いる。次に、機能ブロック722は、終了ブロック724に制御権を渡す。
一対の画像相互間のビデオ・クロス・フェード用のオーサリング・ツール(authoring tool)が、例えば図2の符号器200のようなビデオ符号器を含み、前もって記憶したビデオ・コンテンツの処理を行う。非圧縮ビデオ・コンテンツの他、例えば判定リスト、編集スプライス(継ぎ目)点(editing splice point)等の付加的情報も利用可能である。オーサリング・ツールに於けるビデオ符号器は、必ずしもリアルタイムで動作する必要はない。フェード、クロス・フェード等の特殊効果は、オーサリング・ツールに於いて、適用できる。
ビデオ・シーケンスに於けるフェードおよびクロス・フェード(ディゾルブ(dissolve)とも呼ばれる)を検出する技術については、種々ものが、よく知られている。各マクロブロック或いはマクロブロック・パーティションについて特定の画像を符号化する際、JVT符号器は、符号化判定モード、1つまたは2つの基準画像、および、1つ以上の動きベクトルを選択する必要がある。JVT符号器は、重み付け予測を用いる場合、画像毎に、或いは、スライス毎に、使用する各基準インデックスに適用される重み付け係数も選択するように構成できる。1つ以上の基準インデックスは、各許容基準画像を指し、従って、複数の重みを個別基準画像の各々に使用できる。
オーサリング・ツールは、クロス・フェードが生じる時点を検出する。オーサリング・ツールは、クロス・フェードが生じる時点を検出するのに十分な情報を持っているが、その理由は、オーサリング・ツールが、自らクロス・フェードを適用したか、或いは、クロス・フェードを判定リストから読み出したか、或いは、フェード検出アルゴリズムを採用しているからである。1つのクロス・フェードについて、フェードアウト開始点で識別される画像は、FP0として識別され、フェードイン終了点画像は、FP1として識別される。クロス・フェードが検出されると、符号器は、FP0とFP1との間に表示順に配列された各画像(クロス・フェード画像と呼ばれる)を符号化する前に、画像FP0と画像FP1とを符号化する。本発明の1つの特徴は、この様に、フェードイン終了画像FP1が各中間画像よりも前に符号化されることである。
ビデオ符号器では、一般に、Iピクチャ、PピクチャおよびBピクチャの各符号化タイプの固定パターンを使用する。また、符号化順序は、一般に、表示順序と異なる。そのような一般的なパターンは、例えば、以下のようになる。
一般的符号化順序:I0、P3、B1、B2、P6、B4、B5、P9、B7、B8
一般的表示順序:I0、B1、B2、P3、B4、B5、P6、B7、B8、P9
この一般的なパターンでは、P3ピクチャが、中間のB1ピクチャとB2ピクチャよりも前に符号化される。B1ピクチャとB2ピクチャは、I0とP3を、予測処理に於ける基準画像として、使用する。
JVT規格は、固定の画像符号化タイプのパターンの使用を規定しておらず、また、符号器が各パターンを調整して符号化効率を最大限に上げることが出来る方法も提案していない。本発明に従えば、クロス・フェードを有するシーケンスの符号化効率は、画像の符号化タイプと符号化順序を調整することによって、改善できる。例えば、仮に、ピクチャ0をフェードイン開始画像として識別し、ピクチャ9をフェードアウト終了画像として識別した場合、次の符号化順序と表示順序が使用可能になる。
本発明符号化順序:I0、P9、B1、B2、B3、B4、B5、B6、B7、B8
本発明表示順序:I0、B1、B2、B3、B4、B5、B6、B7、B8、P9
クロス・フェード画像が符号化される際、符号器は、各基準画像リストを配列し、若し必要ならば、基準画像選択再命令によって配列して、FP0がリスト0上の第1画像になり、FP1がリスト1上の第1画像になるようにする。これによって、符号化効率が向上する。その理由は、基準画像リスト内の第1画像を指す0の基準インデックスの符号化に使用されるビット数が、その他の基準インデックスより少なくて済むからである。次に、FP0とFP1の各々に対応する基準インデックスについて、重み付け係数が選択される。この選択は、現在の画像の組成に於ける第1画像と第2画像の相対的な寄与に基づいて、行われる。クロス・フェード画像を作成するのに使用される式が、サイド情報から判っている場合、或いは、オーサリング・ツールがそのクロス・フェードを作成したので判っている場合、その組成式から得られる重み付け係数が使用できる。若し、正確な式が判らない場合、数種類のアルゴリズムのうちの任意のアルゴリズムを用いて、例えば、現在の画像の、FP0およびFP1からの相対的な距離に基づくアルゴリズムを用いて、重み付け係数を算出することが出来る。
このアルゴリズムは、クロス・フェード領域内の全ての符号化画像に適用でき、或いは、選択されて基準画像として記憶される画像のみに適用してもよい。別の実施形態では、暗黙的モード重み付け予測と明示的モード重み付け予測の何れを用いても、各クロス・フェード画像を符号化できる。明示的モードを用いる場合、任意の重み付け係数を用いてよい。暗黙的モードを用いる場合、各重み付け係数は、現在の画像の、FP0およびFP1からの相対的な距離によって決まる。
本システムと本技術は、1つの予測子で符号化されるPピクチャ(Predictive picture)にも、或いは、2つの予測子で符号化されるBピクチャ(Bi−predictive picture)の何れに適用してもよい。以下、PピクチャとBピクチャの各場合について、符号器と復号器の両方に有る復号処理を説明する。尚、本技術は、Iピクチャ、BピクチャおよびPピクチャに類似した概念を用いた符号化システムにも適用できる。
同じ重み付け係数をBピクチャ内の単一方向予測について、および、Bピクチャ内の双予測について使用できる。1つの予測子がPピクチャ内のマクロブロックについて使用される場合、或いは、Bピクチャ内の単一方向予測について使用される場合、1つの基準画像インデックスが、そのブロックについて、送信される。動き補償の復号処理のステップが1つの予測子を生成した後、重み付け係数がその予測子に適用される。次に、その重み付け予測子が、符号化残差(coded residual)に加算され、その加算結果にクリッピングが行われて、復号化画像が形成される。リスト0予測のみを使用するPピクチャ内のブロック、或いは、Bピクチャ内のブロック用として、重み付け予測子は、次のように、形成される。
Figure 2006509467

ここで、W0はリスト0基準画像に対応する重み付け係数、D0はリスト0基準画像に対応するオフセット、Pred0はリスト0基準画像からの動き補償された予測ブロックである。
リスト1予測のみを使用するBピクチャ内のブロック用として、重み付け予測子は、次のように、形成される。
Figure 2006509467

ここで、W1はリスト1基準画像に対応する重み付け係数、D1はリスト1基準画像に対応するオフセット、Pred1はリスト1基準画像からの動き補償された予測ブロックである。
重み付け予測子をクリッピングして、その結果得られる値がピクセル値の許容範囲内、一般的に、0から255の範囲内に在ることを保証してもよい。重み付け式に於ける乗算の精度は、任意の所定ビット数の分解能に限定してもよい。
双予測の場合、基準画像インデックスは、2つの予測子の各々について、送信される。動き補償が行われて、その2つの予測子が形成される。各予測子には、その基準画像インデックスに対応する重み付け係数が使用され、2つの重み付け予測子が形成される。次に、この2つの重み付け予測子が平均化されて、1つの平均化予測子が形成される。次に、この平均化予測子は、符号化残差に加えられる。
リスト0予測とリスト1予測とを使用するBピクチャ内のブロック用として、重み付け予測子は、次のように、形成される。
Figure 2006509467
重み付け予測子にクリッピングを適用して、或いは、重み付け予測子の計算に於ける中間値の任意のものにクリッピングを適用して、その結果得られる値がピクセル値の許容範囲内、一般的に、0から255の範囲内に在ることを保証してもよい。
このようにして、複数の基準画像を使用するビデオ圧縮符号器・復号器の基準画像予測に、重み付け係数が適用される。重み付け係数は、1つの画像内の個々の動きブロックについて、その動きブロックについて使用される基準画像インデックスに基づいて、適合する。基準画像インデックスは、既に、圧縮ビデオ・ビット・ストリームで送信されているので、重み付け係数を動きブロック毎に適合させる余計なオーバヘッドが劇的に低減される。同じ基準画像について符号化される動きブロックの全ては、同じ重み付け係数を基準画像予測に適用する。
JVT委員会のジョイント・モデル(Joint Model)(JM)ソフトウェアに於いて、レート歪み最適化を用いた経験的確率法によって、動きベクトル、マクロブロック・パーティショニング(macroblock partitioning)(マクロブロック区分化)、予測モード、および、基準画像インデックスが選択される。この方法では、これらの選択の各々についての許容値範囲が検査され、各選択についてのコストが算定される。コストが最小限になる選択が選ばれる。
動き推定技術は、広く研究されている。符号化される画像の各動きブロックについて、その動きブロックの、基準画像からの変位を表す動きベクトルが選択される。サーチ領域内の徹底的なサーチ方法では、動きブロック位置に対するオフセットの所定範囲内の全て変位が検査される。その検査には、基準画像内の変位動きブロックと現在の画像内の動きブロック内の各ピクセルの差分絶対和(sum of absolute difference)(SAD)或いは平均二乗誤差(mean squared error)(MSE)の算出が含まれる。SAD或いはMSEが最も小さいオフセットが、動きベクトルとして、選択される。この技術について、多数のバリエーション(変形形態)、例えば、三ステップサーチ、レート歪み最適化動き推定等が提案されており、これらの全てには、基準画像内の変位動きブロックと現在の動きブロックとのSAD或いはMSEの算出ステップが含まれる。
動きベクトルと適応基準画像重み付け係数を求めるための算出コストは、高い圧縮効率が得られる動きベクトルと重み付け係数とを選択する一方、反復処理を用いることによって、低減できる。1つの重み付け係数を基準画像全体に適用すると仮定して、動きベクトルと重み付け係数の決定処理の実施例を説明するが、本発明の各原理は、それに限定されるものではない。この処理は、例えば、スライスのような、より小さな画像領域にも適用できる。更に、1つの基準画像のみを使用した1つの実施例を説明するが、本発明の各原理は、複数基準画像予測にも適用でき、双予測画像にも適用できる。
一般に、使用すべき重み付け係数が判っている場合、動きブロックについての動きベクトルの計算は、最も良好に行える。一実施例では、基準画像と現在の画像のピクセル値によって、重み付け係数の推定を行う。重み付け係数は、所定ビット数の分解能に限定してもよい。重み付け係数が1に非常に近い場合、動き推定処理に於いて重み付け係数を考慮する必要はなく、重み付け係数を1に等しいと仮定して、通常の動き推定を行うことが出来る。それ以外の場合、重み付け係数の推定値が、基準画像に適用される。次に、SADまたはMSEを算出する任意の方法によって動き推定が行われるが、SADまたはMSEの算出は、現在の画像の動きブロックと、重み付けされない基準画像ではなく、重み付けされた基準画像内の変位動きブロックとの間で行われる。重み付け係数の推定は、必要に応じて、動きベクトルの選択後に、更に正確にできる。
現在の動きベクトルが重み付け基準画像に適用され、重み付け動き補償基準画像が形成される。この重み付け動き補償基準画像と現在の画像との差分が算出される。この差分が閾値より小さい場合、或いは、前の最良の差分より小さい場合、本処理は完了して、現在の候補の動きベクトルと重み付け係数が受け付けられる。
差分が閾値より大きい場合、重み付け係数は、更に正確にできる。この場合、動きは補償されているが、重み付けは行われていない基準画像が、現在の候補の動きベクトルに基づいて、形成される。重み付け係数の推定値は、重み付け係数の最初の推定値を形成した時のように動き補償されていない基準画像ではなく動き補償された基準画像と現在の画像とによって、更に正確にされる。
一実施形態に於いて、重み付け係数の最初の推定値wは、現在の画像内の各ピクセルの平均値avg(cur)を基準画像内の各ピクセルの平均値avg(ref)で除して得られる比である。即ち、
Figure 2006509467

である。
更に正確にされた推定値wは、現在の画像内の各ピクセルの平均値avg(cur)と動き補償された基準画像内の各ピクセルの平均値avg(mcref)との比である。即ち、
Figure 2006509467

である。
差分diffは、現在の画像curと重み付けされ動き補償された基準画像wmcrefとの各ピクセル差分の平均の絶対値である。
Figure 2006509467
別の一実施形態では、差分diffは、現在の画像curの各ピクセルと重み付けされ動き補償された基準画像wmcrefの各ピクセルとの差分の絶対値の和である。
Figure 2006509467
ブロックに基づく動き推定が行われる際、多くのSAD算出について、基準画像内の同じピクセルが使用される。一実施例では、動き推定処理期間中、一旦、重み付け係数が基準画像内のピクセルに適用されると、その重み付けされたピクセルは、通常ピクセルと共に記憶される。この記憶は、画像の一領域についても、或いは、画像全体についても、行うことができる。
重み付けられた基準画像値は、クリッピングされて、重み付けされていない基準画像と同じビット数、例えば、8ビットで、記憶してもよく、或いは、それ以上のビット数で記憶してもよい。動き補償処理についてクリッピングが行われる場合(この場合、メモリ効率が更に良くなる)、重み付け係数が実際の選択された動きベクトルについて基準画像に再適用され、差分が追加ビットの使用により算出され、クリッピングが差分算出後に行われ、これによって、復号器との不整合(これは、復号器が重み付け係数の適用後にクリッピングを行わない場合に生じる)が回避される。
複数の基準画像を用いて画像が符号化される場合、基準画像の各々について、別個の重み付け係数の算出が可能である。動き推定期間中、動きベクトルと基準画像インデックスとが動きブロックの各々について、選択される。本処理の各反復時に、動きベクトルと重み付け係数とが、各基準画像について、特定される。
一推奨実施形態に於いて、動き推定期間中、所与の動きブロックについての最良の基準画像が決定される。差分の算出は基準画像毎に個別に行われ、その際、その基準画像を用いた動きブロックのみが、その算出に使用される。所与の基準画像についての重み付け係数の推定値を更に正確にする場合も、その基準画像を用いて符号化された動きブロックのみが使用される。双予測符号化の場合、重み付け係数と動きベクトルとが、2つの予測の各々について、個別に決定される。この2つの予測は、平均化されて、平均化予測が形成される。
本発明の各原理は、様々なタイプの動き推定アルゴリズムに適用できる。階層化方式で行う場合、重み付け係数の選択と動きベクトルの選択の反復は、動き推定階層の任意のレベルで実行できる。例えば、この反復方式は、整数画素(ペル)動き推定(integer picture element (pel) motion estimation)について、使用できる。所与の反復アルゴリズムを使用して重み付け係数と整数動きベクトルとが特定された後に、サブ・ペル(sub−pel)動きベクトルが、重み付け係数の選択の更なる反復の必要なしに、特定されるようにしてもよい。
本発明の各特徴と各利点は、当業者であれば、ここに開示した事項に基づいて、容易に把握できる筈である。また、本発明の各原理が、種々の形態のハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、或いは、これらの任意の組み合わせによって実施できることを理解できる筈である。
最も好ましくは、本発明の各原理がハードウェアとソフトウェアの組み合わせによって実施されることである。更に、そのソフトウェアは、プログラム記憶装置に具体的に組み込まれるアプリケーション・プログラムとして、実施されるのが望ましい。そのアプリケーション・プログラムは、任意の適切なアーキテクチャから成るマシンにアップロードされて、そのマシンによって実行されるようにしてもよい。そのマシンは、例えば、1つ以上の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、入出力(I/O)インタフェースのようなハードウェアを持つコンピュータ・プラットホームで実施するのが望ましい。そのコンピュータ・プラットホームには、オペレーティング・システムとマイクロ命令コードとが含まれてもよい。ここに記載した種々の処理と機能は、マイクロ命令の一部、或いは、アプリケーション・プログラムの一部、或いは、それらの任意の組み合わせであってもよく、CPUによって実行されてもよい。更に、例えば増設データ記憶装置や印刷装置のような様々なその他の周辺装置をコンピュータ・プラットホームに接続してもよい。
尚、添付図面に示された各システム構成部分と各方法の一部は、ソフトウェアの形態で実施するのが望ましいので、各システム構成部分相互間の実際の接続、或いは、各処理機能ブロック相互間の実際の接続は、本発明がプログラムされる態様に従って、異なることもある。ここに開示した事項から、当業者であれば、ここに示した本発明の各実施例または各構成例に類似した実施例または構成例を考案できる筈である。
添付図面を参照して各実施例をここに説明したが、本発明は、これらの具体的な実施例に限定されるものではない。また、当業者であれば、本発明の範囲或いは精神から逸脱することなく、様々な変更および修正を行うことが出来るであろう。そのような変更および修正は、全て、本願の特許請求の範囲の各請求項に記載された本発明の範囲内に含まれる。
図1は、標準的なビデオ符号器のブロック図である。 図2は、ビデオ・クロス・フェード用の暗黙的基準画像重み付け機能を有するビデオ符号器のブロック図である。 図3は、ビデオ・クロス・フェード用の明示的基準画像重み付け機能を有するビデオ符号器のブロック図である。 図4は、ビデオ・クロス・フェード用の明示的基準画像重み付け機能を有するビデオ復号器のブロック図である。 図5は、一対の画像相互間のビデオ・クロス・フェードを図形的に表す図である。 図6は、符号化処理例のフローチャートを示す図である。

Claims (25)

  1. 少なくとも1つのクロス・フェード画像を符号化するための基準画像として使用される、フェードアウト開始画像とフェードイン終了画像との間に時間的に配置された、前記少なくとも1つのクロス・フェード画像についてのビデオ信号データを符号化するビデオ符号器(200、300)であって、
    基準画像重み付けアプリケータ(292、392)と、
    前記基準画像重み付けアプリケータと信号通信可能に接続されており、前記少なくとも1つのクロス・フェード画像を符号化するために、前記フェードアウト開始画像と前記フェードイン終了画像の各々に対応する重み付け係数を割り当てる基準画像重み付け係数ユニット(272、372)と、
    を含むビデオ符号器。
  2. 前記基準画像重み付けアプリケータと信号通信可能に接続されており、前記少なくとも1つのクロス・フェード画像を符号化するために、前記基準画像重み付け係数ユニットに応じて、動き補償されたフェードアウト開始画像と動き補償されたフェードイン終了画像の少なくとも一方を供給する動き補償ユニット(290、390)を更に含む、請求項1記載のビデオ符号器。
  3. 前記基準画像重み付け係数ユニットと前記動き補償ユニットの各々と信号通信可能に接続されており、前記フェードアウト開始画像と前記フェードイン終了画像の各々を記憶する基準画像記憶装置(270、370)を更に含む、請求項2記載のビデオ符号器。
  4. 前記基準画像重み付けアプリケータが、前記基準画像重み付け係数ユニットによって選択された重み付け係数を、前記動き補償されたフェードアウト開始画像と前記動き補償されたフェードイン終了画像の少なくとも一方に適用する、請求項2記載のビデオ符号器。
  5. 双予測画像予測子を処理できるビデオ符号器であって、重み付けられ動き補償されたフェードアウト開始画像とフェードイン終了画像から、それぞれ、第1と第2の予測子を形成する予測手段を更に含む、請求項4記載のビデオ符号器。
  6. 前記重み付けられ動き補償されたフェードアウト開始画像とフェードイン終了画像の各々が、前記少なくとも1つのクロス・フェード画像の全てを基準にして、互いに反対方向から得られる、請求項5記載のビデオ符号器。
  7. 前記基準画像重み付け係数ユニットと信号通信可能に接続されており、明示的動作モードに於いて、重み付け係数に応じて、動き推定を行う動き推定ユニット(380)を更に含む、請求項1記載のビデオ符号器。
  8. 前記基準画像重み付け係数ユニットと信号通信可能に接続されており、明示的動作モードに於いて、オフセットを前記重み付けられ動き補償された基準画像に適用する加算ユニット(394)を更に含む、請求項2記載のビデオ符号器。
  9. 画像相互間のクロス・フェードを符号化する方法(700)であって、
    クロス・フェードが設定された各画像を識別するステップと、
    前記クロス・フェードが設定された各画像から適切な各終了点を特定するステップ(714、716)と、
    前記各終了点相互間の少なくとも1つの画像を符号化する(722)前に、前記各終了点を符号化するステップ(718、720)と、
    を含む方法。
  10. 前記クロス・フェードが設定された各画像から特定された前記終了点が、前記各終了点相互間の少なくとも1つの画像の符号化の際、基準画像として使用される、請求項9記載の方法。
  11. 実質的に圧縮されていないフェードアウト開始画像を受信するステップと、
    実質的に圧縮されていないフェードイン終了画像を受信するステップと、
    前記フェードアウト開始画像に対応する少なくとも1つの画像について、重み付け係数を割り当てるステップと、
    前記フェードイン終了画像に対応する少なくとも1つの画像について、重み付け係数を割り当てるステップと、
    を更に含む、請求項9記載の方法。
  12. 少なくとも1つのクロス・フェード画像と、前記フェードアウト開始画像および前記フェードイン終了画像の少なくとも一方との間の差分に対応する動きベクトルを算出するステップと、
    前記動きベクトルに応じて、前記フェードアウト開始画像および前記フェードイン終了画像の前記少なくとも一方を動き補償するステップと、
    前記動き補償された、前記フェードアウト開始画像および前記フェードイン終了画像の少なくとも一方に、割り当てられた重み付け係数を乗算して、少なくとも1つの重み付けられ動き補償された基準画像を形成するステップと、
    前記少なくとも1つのクロス・フェード画像から前記少なくとも1つの重み付けられ動き補償された基準画像を減算するステップと、
    前記少なくとも1つのクロス・フェード画像と前記少なくとも1つの重み付けられ動き補償された基準画像との間の差分を表す信号を符号化するステップと、
    を更に含む、請求項11記載の方法。
  13. 2つの基準画像が使用され、該2つの基準画像が、前もって符号化されたフェードアウト開始画像(FP0)とフェードイン終了画像(FP1)から成る、請求項12記載の方法。
  14. 前記少なくとも1つのクロス・フェード画像から減算する前に、動き補償されたフェードアウト開始画像と動き補償されたフェードイン終了画像とを組み合わせるステップを更に含む、請求項13記載の方法。
  15. 動きベクトルを算出する前記ステップが、
    前記少なくとも1つのクロス・フェード画像に対するオフセットの所定範囲内の全ての変位についてサーチ領域内を検査するステップと、
    動き補償された基準画像と前記少なくとも1つのクロス・フェード画像内の各ピクセルの差分絶対和と平均二乗誤差の少なくとも一方を算出するステップと、
    前記差分絶対和および前記平均二乗誤差が最も小さいオフセットを、動きベクトルとして、選択するステップと、
    を含む、請求項12記載の方法。
  16. 動きベクトルを算出する前記ステップが、
    前記少なくとも1つのクロス・フェード画像に対するオフセットの所定範囲内の全ての変位についてサーチ領域内を検査するステップと、
    前記フェードアウト開始画像に対応する第1の動き補償された基準画像と前記少なくとも1つのクロス・フェード画像内の各ピクセルの差分絶対和と平均二乗誤差の少なくとも一方を算出するステップと、
    前記フェードアウト開始画像について、前記差分絶対和および前記平均二乗誤差が最も小さいオフセットを、動きベクトルとして、選択するステップと、
    前記フェードイン終了画像に対応する第2の動き補償された基準画像とイメージ・ブロック内の各ピクセルの差分絶対和と平均二乗誤差の少なくとも一方を算出するステップと、
    前記フェードイン終了画像について、前記差分絶対和および前記平均二乗誤差が最も小さいオフセットを、動きベクトルとして、選択するステップと、
    を含む、請求項12記載の方法。
  17. 前記フェードアウト開始画像、および、前記フェードイン終了画像についての各重み付け係数が、暗黙的動作モードに於いて、それぞれ、前記少なくとも1つのクロス・フェード画像と前記フェードアウト開始画像との相対的距離、および、前記少なくとも1つのクロス・フェード画像と前記フェードイン終了画像との相対的距離に応じて、設定される、請求項11記載の方法。
  18. ビデオ・コーデックであって、請求項1記載の符号器と復号器(500)とから成り、前記復号器が、フェードアウト開始画像とフェードイン終了画像の各々に関係したクロス・フェード画像についてのビデオ信号データを復号し、また、前記復号器が、前記フェードアウト開始画像と前記フェードイン終了画像の各々に対応する重み付け係数を決定する出力を有する基準画像重み付け係数ユニット(580)を含む、ビデオ・コーデック。
  19. 前記基準画像重み付け係数ユニットが、前記フェードアウト開始画像と前記フェードイン終了画像の各々に対応するオフセットを決定する別の出力を有する、請求項18記載のビデオ・コーデック。
  20. 前記基準画像重み付け係数ユニットと信号通信可能に接続されており、前記フェードアウト開始画像と前記フェードイン終了画像の各々に対応するインデックスを前記基準画像重み付け係数ユニットに供給する可変長復号器(510)を更に含む、請求項18記載のビデオ・コーデック。
  21. 前記基準画像重み付け係数ユニットと信号通信可能に接続されており、この前記基準画像重み付け係数ユニットに応答して、動き補償された基準画像を供給する動き補償器(560)を更に含む、請求項18記載のビデオ・コーデック。
  22. 前記動き補償器および前記基準画像重み付け係数ユニットと信号通信可能に接続されており、重み付け係数を前記動き補償された基準画像に適用する基準画像重み付けアプリケータ(570)を更に含む、請求項21記載のビデオ・コーデック。
  23. 前記動き補償器および前記基準画像重み付け係数ユニットと信号通信可能に接続されており、オフセットを前記動き補償された基準画像に適用する加算器(590)を更に含む、請求項21記載のビデオ・コーデック。
  24. 前記ビデオ信号データが、ブロック変換係数を含むストリーミング・ビデオ信号データである、請求項18記載のビデオ・コーデック。
  25. 双予測画像予測子を処理でき、前記復号器が、
    2つの異なる基準画像から第1と第2の予測子を形成する予測手段と、
    前記第1と第2の予測子を、それらに対応する重み付け係数を用いて、平均化して、1つの平均化予測子を形成する平均化手段と、
    を更に含む、請求項18記載のビデオ・コーデック。
JP2004559124A 2002-12-04 2003-11-13 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法 Expired - Fee Related JP4756573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US43079302P 2002-12-04 2002-12-04
US60/430,793 2002-12-04
PCT/US2003/036413 WO2004054225A2 (en) 2002-12-04 2003-11-13 Encoding of video cross-fades using weighted prediction

Publications (3)

Publication Number Publication Date
JP2006509467A true JP2006509467A (ja) 2006-03-16
JP2006509467A5 JP2006509467A5 (ja) 2007-01-11
JP4756573B2 JP4756573B2 (ja) 2011-08-24

Family

ID=32507656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004559124A Expired - Fee Related JP4756573B2 (ja) 2002-12-04 2003-11-13 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法

Country Status (10)

Country Link
US (1) US20060093038A1 (ja)
EP (1) EP1568222B1 (ja)
JP (1) JP4756573B2 (ja)
KR (1) KR101017907B1 (ja)
CN (1) CN100403793C (ja)
AU (1) AU2003290895A1 (ja)
BR (1) BR0316963A (ja)
MX (1) MXPA05005988A (ja)
MY (1) MY165549A (ja)
WO (1) WO2004054225A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048408A (ja) * 2006-08-17 2008-02-28 Samsung Electronics Co Ltd デブロッキングフィルタリング方法及びその方法を利用する映像処理装置
JP2008193503A (ja) * 2007-02-06 2008-08-21 Oki Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法
WO2008108372A1 (ja) * 2007-03-05 2008-09-12 Nec Corporation 重み付き予測情報算出方法、装置、プログラム、動画像符号化方法、装置、およびプログラム
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
US8340175B2 (en) 2005-04-13 2012-12-25 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
WO2014208688A1 (ja) 2013-06-27 2014-12-31 Kddi株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、映像復号方法、およびプログラム

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
DE10214397A1 (de) * 2002-03-30 2003-10-16 Bts Media Solutions Gmbh Verfahren und Vorrichtung zum Verarbeiten von Signalen
CN1312927C (zh) * 2002-07-15 2007-04-25 株式会社日立制作所 动态图像编码方法及解码方法
MXPA05007453A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Toma de decision en modo rapido para codificacion inter-estructura.
US7809059B2 (en) 2003-06-25 2010-10-05 Thomson Licensing Method and apparatus for weighted prediction estimation using a displaced frame differential
US20050129111A1 (en) * 2003-12-16 2005-06-16 Nokia Corporation Transform-domain video editing
EP1719347A1 (en) * 2004-02-27 2006-11-08 THOMSON Licensing Error concealment technique using weighted prediction
EP1790168B1 (en) * 2004-09-16 2016-11-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
JP2006209082A (ja) * 2004-12-27 2006-08-10 Matsushita Electric Ind Co Ltd 表示処理装置
US9047860B2 (en) 2005-01-31 2015-06-02 Skype Method for concatenating frames in communication system
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
BRPI0706803A2 (pt) * 2006-02-02 2011-04-05 Thomson Licensing método e aparelho para estimativa de animação usando bi-predição de referências combinadas
KR101406156B1 (ko) 2006-02-02 2014-06-13 톰슨 라이센싱 움직임 보상 예측을 위한 적응 가중 선택 방법 및 장치
BRPI0600823B1 (pt) * 2006-03-14 2018-02-14 Whirlpool S.A. Sistema de programação de equipamentos eletrodomésticos e método de programação de equipamentos eletrodomésticos programáveis em linha de montagem
JP2008219100A (ja) * 2007-02-28 2008-09-18 Oki Electric Ind Co Ltd 予測画像生成装置、方法及びプログラム、並びに、画像符号化装置、方法及びプログラム
KR20090132629A (ko) * 2007-04-09 2009-12-30 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
US9031851B2 (en) * 2007-09-20 2015-05-12 Lg Electronics Inc. Method and an apparatus for processing a signal
EP2154893A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
CN101686403B (zh) * 2008-09-28 2011-08-17 扬智科技股份有限公司 图片交互淡入淡出的处理方法及装置
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
WO2011019384A1 (en) * 2009-08-11 2011-02-17 Thomson Licensing Methods and apparatus for generalized weighted prediction
US9100658B2 (en) 2009-12-17 2015-08-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video coding
JP2011147049A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011115659A1 (en) * 2010-03-16 2011-09-22 Thomson Licensing Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding
US9161058B2 (en) * 2010-03-27 2015-10-13 Texas Instruments Incorporated Method and system for detecting global brightness change for weighted prediction in video encoding
EP2675163A1 (en) * 2010-07-21 2013-12-18 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US9524523B2 (en) * 2010-09-01 2016-12-20 Vigor Systems Inc. Fail-safe switch for media insertion server in a broadcast stream
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US8693547B2 (en) * 2011-04-06 2014-04-08 Google Inc. Apparatus and method for coding using motion vector segmentation
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
DK3217667T3 (da) 2011-10-17 2020-11-16 Toshiba Kk Kodningsfremgangsmåde og afkodningsfremgangsmåde
CA2855845A1 (en) 2011-11-18 2013-05-23 Sirius Xm Radio Inc. Systems and methods for implementing cross-fading, interstitials and other effects downstream
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
WO2013134567A1 (en) 2012-03-06 2013-09-12 Sirius Xm Radio Inc. Systems and methods for audio attribute mapping
US10390041B2 (en) * 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
MX353259B (es) 2012-04-17 2018-01-08 Sirius Xm Radio Inc Transicion gradual del lado del servidor para la descarga progresiva de medios.
KR101624059B1 (ko) 2012-06-27 2016-05-24 가부시끼가이샤 도시바 암호화 장치 및 암호화 방법
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US20140267679A1 (en) * 2013-03-13 2014-09-18 Leco Corporation Indentation hardness test system having an autolearning shading corrector
US20150341659A1 (en) * 2014-05-22 2015-11-26 Apple Inc. Use of pipelined hierarchical motion estimator in video coding
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
EP3777174A4 (en) * 2018-03-30 2021-12-22 Hulu, LLC TEMPLATE-BASED ADAPTIVE WEIGHTED BI-PRDICTION FOR VIDEO ENCODING
EP3550834A1 (en) * 2018-04-06 2019-10-09 Comcast Cable Communications LLC Encoding of video cross-fades using weighted inter-prediction
WO2019205117A1 (en) * 2018-04-28 2019-10-31 Intel Corporation Weighted prediction mechanism

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005533464A (ja) * 2002-07-15 2005-11-04 トムソン ライセンシング 加重予測による動き推定
JP2005533467A (ja) * 2002-07-15 2005-11-04 トムソン ライセンシング ビデオ復号化における参照ピクチャの適応重み付け

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
CN1166751A (zh) * 1996-04-27 1997-12-03 日本胜利株式会社 图象切换装置
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
GB2356997A (en) * 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005533464A (ja) * 2002-07-15 2005-11-04 トムソン ライセンシング 加重予測による動き推定
JP2005533467A (ja) * 2002-07-15 2005-11-04 トムソン ライセンシング ビデオ復号化における参照ピクチャの適応重み付け

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN7009003660, Kikuchi,Y. and Chujoh,T., "Multi−frame interpolative prediction with modified syntax", Joint Video Team (JVT) of ISO/IEC MPEG & ITU−T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU−T SG16 Q.6) JVT−, 20020306, P.1−7 *
JPN7009004121, Boyce, Jill, "Adaptive reference picture weighting using reference picture index", Joint Video Team (JVT) of ISO/IEC MPEG & ITU−T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU−T SG16 Q.6) JVT−, 20020722 *
JPN7009004122, Boyce, Jill, "Changes to Adaptive Reference Picture Weighting", Joint Video Team (JVT) of ISO/IEC MPEG & ITU−T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU−T SG16 Q.6) JVT−, 20021009 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340175B2 (en) 2005-04-13 2012-12-25 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
JP2008048408A (ja) * 2006-08-17 2008-02-28 Samsung Electronics Co Ltd デブロッキングフィルタリング方法及びその方法を利用する映像処理装置
JP2008193503A (ja) * 2007-02-06 2008-08-21 Oki Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法
WO2008108372A1 (ja) * 2007-03-05 2008-09-12 Nec Corporation 重み付き予測情報算出方法、装置、プログラム、動画像符号化方法、装置、およびプログラム
US8238432B2 (en) 2007-03-05 2012-08-07 Nec Corportion Weighted prediction information calculation method, apparatus, and program, and video coding method, apparatus, and program
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
US8204123B2 (en) 2007-03-09 2012-06-19 Oki Electric Industry Co., Ltd. Motion vector searching apparatus, motion vector searching method and storage medium for storing motion vector searching program
WO2014208688A1 (ja) 2013-06-27 2014-12-31 Kddi株式会社 映像符号化装置、映像復号装置、映像システム、映像符号化方法、映像復号方法、およびプログラム

Also Published As

Publication number Publication date
JP4756573B2 (ja) 2011-08-24
WO2004054225A3 (en) 2004-10-07
KR20050084138A (ko) 2005-08-26
KR101017907B1 (ko) 2011-03-04
EP1568222A2 (en) 2005-08-31
CN100403793C (zh) 2008-07-16
BR0316963A (pt) 2005-10-25
AU2003290895A1 (en) 2004-06-30
EP1568222A4 (en) 2012-10-03
CN1720730A (zh) 2006-01-11
US20060093038A1 (en) 2006-05-04
MY165549A (en) 2018-04-03
EP1568222B1 (en) 2019-01-02
AU2003290895A8 (en) 2004-06-30
WO2004054225A2 (en) 2004-06-24
MXPA05005988A (es) 2005-08-18

Similar Documents

Publication Publication Date Title
JP4756573B2 (ja) 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法
KR100958504B1 (ko) 가중치 예측을 사용한 움직임 추정
US7376186B2 (en) Motion estimation with weighting prediction
US8144786B2 (en) Adaptive weighting of reference pictures in video decoding
JP5224459B2 (ja) 動き補償予測のための適応重み選択を行う方法および装置
JP2007525072A (ja) 置換されたフレーム差を使用する重み付き予測推定の方法と装置
JP4375143B2 (ja) 動画像符号化装置
ZA200500416B (en) Adaptive weighting of reference pictures in video encoding

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060724

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061115

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090909

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110526

R150 Certificate of patent or registration of utility model

Ref document number: 4756573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees