JP2009526435A - 適応ピクチャ群(gop)構造選択のための方法及び装置 - Google Patents

適応ピクチャ群(gop)構造選択のための方法及び装置 Download PDF

Info

Publication number
JP2009526435A
JP2009526435A JP2008553288A JP2008553288A JP2009526435A JP 2009526435 A JP2009526435 A JP 2009526435A JP 2008553288 A JP2008553288 A JP 2008553288A JP 2008553288 A JP2008553288 A JP 2008553288A JP 2009526435 A JP2009526435 A JP 2009526435A
Authority
JP
Japan
Prior art keywords
picture
selection
video sequence
type
fade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008553288A
Other languages
English (en)
Other versions
JP2009526435A5 (ja
JP5415084B2 (ja
Inventor
イン,ペン
ボイス,ジル,マクドナルド
トゥラピス,アレクサンドロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009526435A publication Critical patent/JP2009526435A/ja
Publication of JP2009526435A5 publication Critical patent/JP2009526435A5/ja
Application granted granted Critical
Publication of JP5415084B2 publication Critical patent/JP5415084B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

適応ピクチャ群構造選択のための方法及び装置を提供する。装置はビデオシーケンスの各ピクチャ群のためにピクチャ符号化順選択、ピクチャタイプ選択、及び参照ピクチャ選択を実行することによりピクチャ群構造を用いてビデオシーケンスを符号化する符号化器を含む。前記選択はピクチャ群長に基づく。

Description

本発明は、一般的にはビデオ符号化に関し、特に、適応ピクチャ群(GOP)構造選択のための方法及び装置に関する。
一般的には旧及び現ビデオ符号化標準及び推奨においては、ピクチャ群(GOP)構造はGOP長(N)及びピクチャタイプ(即ちPピクチャインターバルM)選択のみを含む。そのような旧ビデオ符号化標準及び推奨は、例えば、標準化国際組織/国際電子技術コミッション(ISO/IEC)ムービングエクスパートグループ1(MPEG−1)標準、ISO/IEC MPEG−2標準、国際電気通信連合、電気通信セクター(ITU−T)H.263推奨を含む。新しいビデオ圧縮標準/推奨とか、ISO/IEC MPEG−4 パート10 アドバンストビデオ符号化(AVC)標準/ITU−T H.264推奨(以下MPEG−4 AVC標準という)は、符号化の効率を改善するためのいくつかの新しい道具を提供する。
旧ビデオ符号化標準及び推奨に類似してMPEG−4 AVC標準は3つの異なったピクチャ(スライス)タイプ(I,P及びBピクチャ(スライス))を使用/支援する。更に、MPEG−4 AVC標準は符号化の効率を改善するための新しい道具/特徴を含む。
例えば、MPEG−4 AVC標準は表示順から参照ピクチャ順を分離する。以前のビデオ符号化標準及び推奨においては動き補償目的からのピクチャ順と表示目的のためのピクチャ順との間に厳然とした依存性が存在した。MPEG−4 AVC標準においてはこれらの制約は大部分取り除かれて符号化器がより柔軟に参照順と表示順を選択できるようになった。
更に、MPEG−4 AVC標準はピクチャ参照能からピクチャ表示方法を分離する。以前のビデオ符号化標準及び推奨においては、Bピクチャはビデオシーケンス中他のピクチャの予測のための参照としては使えない。MPEG−4 AVC標準においてはそのような制約は存在しない。どんなピクチャタイプでも参照ピクチャ又は非参照ピクチャとして用いることができる。
更にMPEG−4 AVC標準は複数の参照ピクチャを動き補償可能にする。これらの新しい機能で、GOP構造が選択されると,我々はGOP長およびピクチャタイプ選択だけではなく、ピクチャの符号化順及び参照ピクチャ選択をも考慮する必要がある。
GOP構造に関する以前の大部分の仕事はGOP長とピクチャタイプ選択に集中してきた。GOP長は一般的に適用分野によって固定化される。動的GOP長が許される時にはシーン変化後の最初のピクチャはIピクチャとして符号化され、次のGOPは現GOPに融合される。
最初の先行技術アプローチにおいては一つの方法が開示されている。その方法においては時間的分割を考慮するとGOP構造が適している。即ち、入力ビデオの時間的変化に応じてピクチャタイプが調整される。
第二の先行技術アプローチにおいては、GOP中の最適ピクチャタイプがラグランジの乗数法で最小化問題を解くことにより可能な候補から選択できる事が開示されている。
第三の先行技術アプローチにおいては、ひとつのシステムが開示されている。そのシステムにおいてはマクロブロック活動情報がピクチャタイプを決めるために用いられている。
上に述べた様に、GOP構造に関する大部分の先行技術はGOP長とピクチャタイプ選択に集中してきた。しかしながらGOP長とピクチャタイプ選択のみ考慮することはMPEG−4 AVC標準の柔軟性を不利に制限する。
従来技術の前述並びに他の欠点及び不利点は、適応ピクチャ群(GOP)構造選択のための方法及び装置に関する本発明の原理によって解決される。
本発明の原理の一局面によれば、一つの装置を提供する。その装置は、ビデオシーケンスの各ピクチャ群のために、ピクチャ符号化順選択、ピクチャタイプ選択、及び参照ピクチャ選択を実行することによりピクチャ群構造を用いてビデオシーケンスを符号化するための符号化器を含む。前記選択はピクチャ群長に基づいている。
本発明の原理の別の局面によれば、ビデオ符号化方法が提供される。その方法は、ビデオシーケンスの各ピクチャ群のために、ピクチャ符号化順選択、ピクチャタイプ選択、及び参照ピクチャ選択を実行することによりピクチャ群構造を用いてビデオシーケンスを符号化するための符号化方法を含む。前記選択はピクチャ群長に基づいている。
本発明の原理の前述並びに他の局面、特徴及び利点は、添付図面に関して検討するものとする、以下の、例示的な実施例の詳細な説明から明らかになるであろう。
本発明の原理は適応ピクチャ群(GOP)構造選択のための方法及び装置に関する。
本明細書は、本原理を例証する。よって、本明細書及び特許請求の範囲に明記又は明示されていないが、本原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を当業者が考え出すことができるであろう。
本明細書及び特許請求の範囲記載の例及び条件付言い回しはすべて、本発明の原理及び当該技術を進展させるために本願発明者が寄与する本願の概念の理解を手助けするという教示の目的のためであることが意図されており、前述の特に記載された例および条件に限定されないと解されるものとする。
更に、本発明の原理、局面及び実施例、並びにその具体例を記載した、本明細書及び特許請求の範囲の提示は全て、その構造的な均等物及び機能的な均等物を包含することが意図されている。更に、現在知られている均等物、及び、将来において開発される均等物(構造にかかわらず同じ機能を行う、開発される何れかの構成要素)を前述の均等物が含むことが意図されている。
よって、例えば、本明細書記載のブロック図が、本発明の原理を実施する例証的な回路の概念図を表すことが当業者によって認識されるであろう。同様に、コンピュータ又はプロセッサを明示しているか否かに係わらず、コンピュータ読み取り可能な媒体において実質的に表し、よって、コンピュータ又はプロセッサによって実行することができる種々の処理を、何れかのフローチャート、フロー図、状態遷移図、疑似コード等が表すことが認識されるであろう。
図に示す種々の構成要素の機能は、専用ハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを用いることによって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は複数の個々のプロセッサ(一部は共有され得る)によって備えることができる。更に、「プロセッサ」又は「コントローラ」の語を明示的に用いていることは、ソフトウェアを実行することができるハードウェアを排他的に表すと解されないものとし、ディジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するリード・オンリー・メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)、及び不揮発性記憶装置を限定なしで暗黙的に含み得る。
他のハードウェア(通常のハードウェア及び/又はカスタム)も含むことができる。同様に、図に示すスイッチは何れも、概念的なものに過ぎない。その機能は、プログラム・ロジックの処理によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって行うことができ、又は手作業によっても行うことができる。具体的な手法は、意味合いから、より具体的に理解されるように実施者によって選択可能である。
本願の特許請求の範囲では、特定された機能を行う手段として記載された構成要素は何れも、前述の機能を行う何れかの手段(例えば、a)その機能を行う回路要素の組み合わせ、b)何れかの形態のソフトウェア(よって、上記ソフトウェアを実行して上記機能を行うために適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む)を含む)を包含することが意図されている。前述の特許請求の範囲記載の本発明は、特許請求の範囲が要求するやり方で、記載された種々の手段によって提供される機能が組み合わせられ、集約されることにある。よって、前述の機能を提供することが可能な如何なる手段も、本明細書及び特許請求の範囲記載のものと均等であるものとする。
本発明の原理中の「一実施例」または「ある実施例」への明細書中の引用は、当該実施例に関し説明されている特定の特徴、構造、性質等が本発明の原理の少なくとも一つの実施例に含まれていることを意味する。このように明細書中種々の箇所に現れる「一実施例中に」又は「ある実施例中に」の表現は必ずしも同じ実施例を引用しているとは限らない。
図1に移れば、本発明の原理を適用することができる例示的なビデオ符号化器の全体を参照符号100で示す。
加算接合部110の非反転入力と動き推定器180の第1の入力がビデオ符号化器100の入力として利用できる。加算接合部110の出力は変換器115の入力と信号通信して接続される。変換器115の出力は量子化器120の入力と信号通信して接続される。量子化器120の出力は可変長符号化器(VLC)140の入力と信号通信して接続される。VLC140の出力は符号化器100の出力として利用される。
量子化器120の出力は逆量子化器150の入力と信号通信して接続される。逆量子化器150の出力は逆変換器の入力と信号通信して接続される。逆変換器の出力は参照ピクチャ記憶装置170の入力と信号通信して接続される。参照ピクチャ記憶装置170の第一の出力は動き推定器180の第二の入力と信号通信して接続される。動き推定器180の出力は動き補償器190の第一の入力と信号通信して接続される。参照ピクチャ記憶装置170の第二の出力は動き補償器190の第二の入力と信号通信して接続される。
動き補償器190の出力は加算接合部110の逆符号化入力と信号通信して接続される。長所を生かして、方法と装置がピクチャ群(GOP)構造選択に提供される。実施例においては、GOP構造選択のための方法及び装置は決定過程内でGOP長の分析、ピクチャの符号化順、ピクチャタイプ選択、及びピクチャ参照決定を含む。即ち、その方法及び装置は共同でGOP構造選択のためにGOP長、ピクチャ符号化順、ピクチャタイプ選択及び参照ピクチャ選択を考察する。
MPEG−4 AVC標準符号化手法に関しては適応GOP構造とともに記述されているが、(それは共同してGOP長、ピクチャ符号化順、ピクチャタイプ選択及び参照ピクチャ決定を考察する)本発明が先の考察に制限されるのではなく、又、MPEG−4 AVC標準にも制限されないということは高く評価されなければならない。即ち、本発明の原理の教示が与えられることにより、当業者は本発明の原理の範囲内で、本発明の原理が適用できるこれらの考察、種々の他の考察及びビデオ符号化標準/推奨を熟慮する。
実施例において、ショット検出が先ず実行される。次に時間的分割に基づきGOP長が決定される。各GOP内で、ピクチャタイプと結合したピクチャ符号化順及び参照ピクチャ選択が決定される。
図2に移れば、ピクチャ群(GOP)構造決定のための例示的方法が一般的に参照番号200で示されている。
方法200は初期化ブロック205を含み、それは制御を機能ブロック210に渡す。機能ブロック210はショット検出を実行し、制御を機能ブロック215に渡す。機能ブロック215はGOP長Nを決定し、制御を機能ブロック220に渡す。機能ブロック220はピクチャ符号化順を決定し、ピクチャタイプ選択を実行し、制御を機能ブロック225に渡す。機能ブロック225は参照ピクチャ選択を実行し(例えば、ピクチャ順計数(POC)及び/又は相関関係に基づき)、制御を機能ブロック230に渡す。機能ブロック230はGOP中のピクチャを符号化し、制御を決定ブロック235に渡す。決定ブロック235はシーケンスの終了したか否かを決定する。もし終了なら制御は終了ブロック240に渡される。そうでなければ、制御は機能ブロック210に戻る。
GOP長の選択は、例えば、図2の方法200の機能ブロック215によって実行される様に、本発明の原理の実施例に従い、更に説明される。
GOP長はショット検出に基づき、動的に選択される。シーンカットのみが検出される先の方法とは異なり、我々はまたフェード及び溶明のような緩慢な遷移を検出する。GOP長Nは一般的に前もって定義された値によって固定される。シーンカットが検出されると新GOPが長さNでシーンカットの後の最初のピクチャから再起動する。緩慢な遷移が検出されると、新GOPが遷移開始点から再起動し、遷移終了点で終了する。
図3に移れば、ピクチャ群(GOP)長決定のための例示的方法が一般的に参照番号300で示されている。方法300は図2の方法200の機能ブロック215に関係している。
方法300は制御を機能ブロック310に渡す初期化ブロック305を含む。機能ブロック310はショット検出を実行し、制御を機能ブロック315に渡す。機能ブロック315はシーンカットが検出されたかどうかを決定する。もし検出されたら、制御は機能ブロック335に渡される。そうでなければ、制御は決定ブロック320に渡される。
機能ブロック335は予め定義された長さNを持つ新GOPを再起動させ、制御を終了ブロック330に渡す。決定ブロック320は緩慢な遷移が検出されたかどうか決定する。もし検出されたら、制御は機能ブロック325に渡される。そうでなければ、制御は決定ブロック340に渡される。
機能ブロック325は新GOPを遷移開始点から再起動し、遷移終了点で終了し、制御を終了ブロック330に渡す。
機能ブロック340は新GOPの長さをNに設定し、制御を終了ブロック330に渡す。
ピクチャ符号化順の決定は、例えば、図2の方法200の機能ブロック220によって実行されるように、本発明の原理の実施例に従い、更に説明される。
各GOP中のピクチャ符号化順はその中身の性質に基づいて決定される。クロスフェードの様なある特定の特徴を持ったものについては、フェードイン順の逆符号化がより高い符号化効率を持つ。逆符号化を始められる切り替え点の検出は、二つの場合が考えられる。
第一の場合、もしシーケンスが純粋なフェードインタイプである時、遅延制約、復号化ピクチャバッファー制約及びフェードインシーケンス中の終了ピクチャの条件を満足しつつ、逆符号化できる最大ピクチャ数のうちの最小値に切り替え点は設定される。
フェードインを単一のGOPとして我々は符号化するので、GOPの始まりとGOPの終わりで、ピクチャを逆符号化できる。
第二の場合、もしシーケンスが溶明なら、切り替え点の検出は単純なピクチャの絶対差に基づく。もちろん、他の歪み測定基準もまた、本発明の原理の範囲内で、切り替え点を検出するのに用いることができることは評価されなければならない。開始からの及び終わりからの現行ピクチャの歪みは以下の数式で計算される。

Distortion/start=Σ|YFcur[x,y]−YFstart[x,y]|
Distortion/end=Σ|YFcur[x,y]−YFend[x,y]|

数式中Yは輝度の値を示し、xはイメージの縦指標を特定し、yはイメージの横指標を特定し、YFcurは現行フレームの輝度の値を示し、YFstartは開始フレームの輝度の値を示し、YFendは終了フレームの輝度の値を示す。切り替え点はdistorsion/start>distorsion/endなるやいなや切り替わる。
逆符号化は適用遅延制約によって制限され、最も開かれた場合ではMPEG−4 AVC標準で特定される復号化器ピクチャバッファ制約に制限される。
図4に移れば、ピクチャ符号化順決定のための例示的方法が一般的に参照番号400で示されている。方法400は図2の方法200の機能ブロック220に関係している。
方法400は制御を機能ブロック410に渡す初期化ブロック405を含む。機能ブロック410はショット検出を実行し、制御を決定ブロック415に渡す。決定ブロック415はフェードイン又は溶明が検出されたか否かを決定する。検出された場合は制御は機能ブロック420に渡される。そうでない場合は制御は機能ブロック425に渡される。
機能ブロック420は切り替え点を探し、制御を機能ブロック425に渡す。
機能ブロック425はピクチャ符号化順を決定し、制御を終了ブロック430に渡す。
ピクチャタイプ選択の実行は例えば、図2の機能ブロック220によって実行されるように、本発明の原理の実施例に従い、更に説明される。
ピクチャタイプは、例えば、テーブル1に示されるように決定論的符号化順でM=1,2,3,4から選択される。
本発明の原理はまた、本発明の原理の範囲内で、階層分類的構造B(に限られないが)を含む他のピクチャタイプにも適用できることは評価されなければならない。
テーブル1はピクチャタイプと符号化順を例証し、”BS”は記憶されたBピクチャを示し、”B”は使い捨てのBピクチャを示す。GOP中の二つの続いたPピクチャ間の正規化距離はMを決定するために用いられる。Mは最小距離を持つ値として選択される。イメージの絶対差、ヒストグラムの差、差のヒストグラム、差のブロックヒストグラム、ブロック分散差、動き補償誤差等の多くの距離測定基準が使用可能である。即ち、本発明の原理は如何なる特定の距離測定基準の使用にも限定されない。このように、当業者の一人によってたやすく考案された様な如何なる距離測定基準も、本発明の原理の範囲内で、本発明の原理に従い、使用できる。実施例において、差のヒストグラムを使用する。即ち、Yn−mのヒストグラムは条件i∈[−q+1,−q−1]の下、hod(i)で示される。距離測定は以下のように定義される。
Figure 2009526435
ここで、aはゼロへの位置の近接度を決定するための閾値である。
Figure 2009526435
図5に移ると、ピクチャタイプ選択のための例示的方法が一般的に参照番号500で示されている。方法500は図2の方法200の機能ブロック220に関係している。方法500は分散min_distを0xFFFFに初期化する初期化ブロック505を含み、制御をループ制限ブロック510に渡す。ループ制限ブロック510はピクチャ群(GOP)中Mの各々の異なった値をループするループ(i=1:4)を始め、制御を機能ブロック515に渡す。機能ブロック515は正規化距離norm_distを計算し、制御を決定ブロック520に渡す。決定ブロック520はnorm_dist < min_distかどうかを決定する。もし正しければ、制御は機能ブロック525に渡される。もし正しくなければ、制御はループを終了するループ制限ブロック530に渡される。
参照ピクチャ選択の実行は、例えば、図2の機能ブロック225によって実行されるように本発明の原理の実施例に従い、更に説明される。
参照ピクチャ選択は二つのステップで実行しても良い。第一のステップは現行符号化ピクチャが可能な参照ピクチャとして記憶されるかどうか、及び、以前に記憶されたピクチャのうちのどれが参照バッファーから取り除かれるかを決定することを含む。第二のステップは参照リストからL個の参照ピクチャ(Lは符号化器によって前もって定義された値)の選択し、参照ピクチャの順を決定することを含み、それは各P/Bピクチャ符号化のために用いられる。
図示の目的のために、ここに二つの例示的な演算規則が提供される。最初の演算規則
はピクチャ順計数(POC)に基づくものであり、以下にPOC演算規則として参照される。第二の演算規則は相関関係測定基準に基づくものであり、以下に相関関係演算規則として参照される。
POC演算規則においては参照ピクチャの除去はPOC順に基づく。最小のPOC数を持ったピクチャが最初に除かれる。参照ピクチャ選択のために、参照リストは先ず順番が並べ替えられ、最初のL個のピクチャを最初の参照ピクチャとして選ぶ。Bピクチャに対しては参照リストは初期化リストと同じである。Pピクチャに対しては参照リストはBピクチャの初期化リストと同様にPOC順に従い並び替えられる。相関関係演算規則においてはステップ1はPOC演算規則と同じである。ステップ2においては相関関係測定基準が参照ピクチャ選択と順番の並び替えに採用される。現ピクチャと最も高い相関関係関係にあるL個の参照ピクチャが用いられる。
以下にヒストグラムの差を用いる演算規則が提供される。しかし、本発明が適応ピクチャ群(GOP)構造選択を提供する中でヒストグラムの差を用いることのみに制限されるものでなく、本発明の原理の範囲内で、ピクセルの絶対差に限られないが、これを含む他の測定基準もまた用いることができることは評価されなければならない。
最初に現ピクチャiに対する参照ピクチャjの輝度ヒストグラム差を以下のように計算する。
Figure 2009526435
ここで、YHistoDiffは輝度ヒストグラムの差であり、nb_binsはbin数を意味し、α(j)は参照jの重さを示し、ピクチャjは現ピクチャiに対し、現ピクチャにより近い参照ピクチャに対しより小さい重さを割り当てることにより距離d(j)=|POC(i)−POC(j)|を持つ。YHistoは輝度のヒストグラムを示し、refは参照ピクチャを示し、curは現ピクチャを示す。
線重さは以下の数式で表しうる。

α(j)=(1−(max_ref_distance−d(j))*0.1),

ここで、max_ref_distanceは参照ピクチャバッファー内の参照ピクチャから現ピクチャまでの最大距離を示す。先に定義したようにd(j)は参照ピクチャと現ピクチャとの距離を示す。本発明の多くの付随的な利点/特徴、(それらのうちのいくつかは既に述べたが)、について説明する。例えば、一つの利点/特徴はビデオシーケンスの各ピクチャ群のために、ピクチャ符号化順選択、ピクチャタイプ及び参考ピクチャ選択を実行することによりピクチャ群構造を使用するビデオシーケンスを符号化するための符号化器を含む装置である。その選択はピクチャ群長に基づく。
もう一つの利点/特徴は上に述べた様な符号化器を持つ装置で、その符号化器はビデオシーケンスの時間的分割を決定するためにショット検出を実行し、時間的分割に基づき、ピクチャ群長を決定し、ビデオシーケンスのための各ピクチャ群内で、ピクチャ符号化順選択、ピクチャタイプ選択及び参照ピクチャ選択を実行する。もう一つの利点/特徴は上に述べた様な符号化器を持つ装置で、その符号化器は時間的分割に基づき、如何なるシーンカットまたはビデオシーケンス中の緩慢な遷移もない状態でピクチャ群長を前もって定義された値に設定し、シーンカットが検出された時ピクチャ群長分、シーンカットの後の最初のピクチャからビデオシーケンスの新ピクチャ群を再起動し、緩慢な遷移が検出された時新ピクチャ群を緩慢な遷移の始点から再起動し緩慢な遷移の終点で終了する。
更に、もう一つの利点/特徴は上に述べた様な符号化器を持つ装置で、ビデオシーケンスがフェードインシーケンスを含み、符号化器がフェードのための逆符号化を用いフェードインシーケンス中で溶明する場合である。
更に、もう一つの利点/特徴は上に述べた様な逆符号化を用いる符号化器を持った装置で、その符号化器が遷移タイプに基づき逆符号化のための切り替え点を決定する。また、 更にもう一つの利点/特徴は上に述べた様な逆符号化のための切り替え点を決定する符号化器を持った装置で、その符号化器は、遷移タイプが純粋なフェードインである場合、遅延制約、復号化ピクチャバッファー制約、及びフェードインシーケンス中の終了ピクチャ条件を満足しつつ逆符号化できる最大ピクチャ数のうちの最小値に切り替え点を設定する。
加えて、もう一つの利点/特徴は上に述べた様な逆符号化のための切り替え点を決定する符号化器を持つ装置で、その符号化器は、遷移タイプが溶明する場合に、ピクチャの絶対差に基づき切り替え点を検出する。
更に、もう一つの利点/特徴は上に述べた様な符号化器を持つ装置で、その符号化器は、正規化距離に基づき、前もって定義されたピクチャクラスからピクチャタイプを選択する。
更に、もう一つの利点/特徴は上に述べた様な前もって定義されたピクチャクラスからピクチャタイプを選択する符号化器を持つ装置で、その前もって定義されたピクチャクラスからピクチャタイプを選択する選択基準は、イメージの絶対差、ヒストグラムの差、差のヒストグラム、差のブロックヒストグラム、ブロック分散差、又は動き補償誤差のうちの少なくとも一つを含む。
更に、もう一つの利点/特徴は上に述べた様な符号化器を持つ装置で、その符号化器は、ピクチャ順計数と相関関係のうちの少なくとも一つに基づき、参照ピクチャ選択を実行する。
本発明の原理のこれらの及び他の特徴及び利点は本明細書及び特許請求の範囲に記載の教示に基づき、適切な技術の当業者によって、たやすく確認できる。本発明の原理の教示は種々の形態のハードウエア、ソフトウエア、ファームウエア、特殊用途プロセッサ又はこれらの組み合わせにおいて実現できるということは理解されなければならない。
より好ましくは、本発明の原理の教示はハードウエアとソフトウエアの組み合わせとして実現できる。更に、そのソフトウエアはアプリケーションプログラムとして明白にプログラム記憶装置上に実現できる。そのアプリケーションプログラムは適切なアーキテクチュアを持つ機械によってアップロードされ、実行されうる。好ましくは、その機械は1以上の中央処理装置(CPU)、ランダムアクセスメモリー(RAM)、及び入出力(I/O)インターフェースのようなハードウエアを持ったコンピュータプラットフォーム上で実行される。そのコンピュータプラットフォームはオペレーティングシステム及びマイクロインストラクションコードをまた含むことができる。ここで述べた種々のプロセス及び機能はCPUによって実行できるマイクロインストラクションコードの一部又はアプリケーションプログラムの一部、又はこれらの組み合わせにすることができる。加えて、種々の他の周辺装置は追加のデータ記憶装置及び印刷装置のようなコンピュータプラットフォームに接続することができる。
添付図面に記述されたいくつかのシステム構成要素及び方法は好ましくはソフトウエア中で実行されるものなので、システム構成要素間又はプロセス機能ブロック間の実際の接続は本発明の原理がプログラムされる方法によっては異なってくる可能性があるということが更に理解されなければならない。ここでの教示が与えられれば、適切な技術分野における当業者は本発明の前述及び同様の実現形態又は構成を考え出すことができるであろう。
添付図面を参照して例証的な実施例を本明細書及び特許請求の範囲において説明したが、本発明は前述のまさにその実施例に限定されるものでなく、本発明の範囲又は趣旨から逸脱しない限り、当業者によって種々の変更及び修正を行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本発明の範囲内に含まれることが意図されている。
本発明の原理の実施例に従い、本発明の原理を適用しても良い例示的なビデオ符号化器のブロック図を示す。 本発明の原理の実施例に従い、適応ピクチャ群(GOP)構造決定のための例示的方法のフロー図を示す。 本発明の原理の実施例に従い、ピクチャ群(GOP)長決定を実行するための例示的方法のフロー図を示す。 本発明の原理の実施例に従い、ピクチャ符号化順を決定するための例示的方法のフロー図を示す。 本発明の原理の実施例に従い、ピクチャタイプを決定するための例示的方法のフロー図を示す。

Claims (20)

  1. 装置であって:
    ビデオシーケンスのピクチャ群のために:ピクチャ符号化順選択、ピクチャタイプ選択、及び参照ピクチャ選択を実行することによりピクチャ群構造を用いてビデオシーケンスを符号化する符号化器を含み、
    前記選択はピクチャ群長に基づく
    ものである装置。
  2. 請求項1記載の装置であって、前記符号化器は、前記ビデオシーケンスの時間的分割を決定するためのショット検出を実行し、前記時間的分割に基づき、前記ピクチャ群長を決定し、前記ビデオシーケンスの前記各ピクチャ群内で、前記ピクチャ符号化順選択、前記ピクチャタイプ選択、及び前記参照ピクチャ選択を実行する前記装置。
  3. 請求項2に記載の装置であって、前記符号化器は、前記時間的分割に基づき、及び前記ビデオシーケンス中にシーンカット又は緩慢な遷移なしで前記ピクチャ群長を前もって定義された値に設定し、前記シーンカットが検出された時前記シーンカット後の最初のピクチャからピクチャ群長分前記ビデオシーケンスの新ピクチャ群を再起動し、そして前記緩慢な遷移が検出されると前記緩慢な遷移の始点から前記新ピクチャ群を再始動させ、前記緩慢な遷移の終点で終了する前記装置。
  4. 請求項1記載の装置であって、前記ビデオシーケンスはフェードインシーケンスを含み、前記符号化器はフェードの逆符号化を用い、前記フェードインシーケンス中で溶明する前記装置。
  5. 請求項4に記載の装置であって、前記符号化器は遷移タイプに基づき、逆符号化のための切り替え点を決定する前記装置。
  6. 請求項5に記載の装置であって、前記符号化器は前記遷移タイプが純粋なフェードインタイプである時、遅延制約、復号化ピクチャバッファー制約及びフェードインシーケンス中の終了ピクチャの条件を満足しつつ、逆符号化できる最大ピクチャ数のうちの最小値に前記切り替え点を設定する前記装置。
  7. 請求項5に記載の装置であって、前記符号化器は前記遷移タイプが溶明である時、ピクチャの絶対差に基づき、前記切り替え点を検出する前記装置。
  8. 請求項1記載の装置であって、前記符号化器は、正規化距離に基づき、ピクチャタイプのうち前もって定義されたクラスからピクチャタイプを選択する前記装置。
  9. 請求項8記載の装置であって、ピクチャタイプのうち前もって定義されたクラスから前記ピクチャタイプを選択する選択基準がイメージの絶対差、ヒストグラムの差、差のヒストグラム、差のブロックヒストグラム、ブロック分散差、又は動き補償誤差のうちの少なくとも一つを含む前記装置。
  10. 請求項1記載の装置であって、前記符号化器はピクチャ順計数と相関関係のうちの少なくとも一つに基づき、前記参照ピクチャ選択を実行する前記装置。
  11. ビデオ符号化方法であって:ビデオシーケンスのピクチャ群のために:ピクチャ符号化順選択、ピクチャタイプ選択、及び参照ピクチャ選択を実行することによりピクチャ群構造を用いてビデオシーケンスを符号化し、前記選択はピクチャ群長に基づく方法。
  12. 請求項11記載の方法であって、前記符号化ステップは:
    前記ビデオシーケンスの時間的分割を決定するためのショット検出を実行するステップ;
    前記時間的分割に基づき、前記ピクチャ群長を決定するステップ;及び
    前記ビデオシーケンスの各ピクチャ群内で、前記ピクチャ符号化順選択、前記ピクチャタイプ選択、及び前記参照ピクチャ選択を実行するステップを含む前記方法。
  13. 請求項12記載の方法であって、前記符号化ステップは更に:
    前記時間的分割及び前記ビデオシーケンス中に前記シーンカット又は前記緩慢な遷移がないという条件に基づき前記ピクチャ群長を前もって定義された値に設定するステップ;
    前記シーンカットが検出された時前記シーンカット後の最初のピクチャから前記ピクチャ群長分前記ビデオシーケンスの新ピクチャ群を再起動するステップ;及び
    前記緩慢な遷移が検出されると前記緩慢な遷移の始点から前記新ピクチャ群を再始動させ、前記緩慢な遷移の終点で終了するステップを含む前記方法。
  14. 請求項11記載の方法であって、前記ビデオシーケンスはフェードインシーケンスを含み、前記符号化ステップはフェードの逆符号化を使用し、そして前記フェードインシーケンス中で溶明する前記方法。
  15. 請求項14記載の方法であって、前記符号化ステップは遷移タイプに基づき、前記逆符号化のための切り替え点を決定するステップを含む前記方法。
  16. 請求項15記載の方法であって、前記符号化ステップは前記遷移タイプが純粋なフェードインタイプである時、遅延制約、復号化ピクチャバッファー制約及び前記フェードインシーケンスの終了ピクチャの条件を満足しつつ、逆符号化できる最大ピクチャ数のうちの最小値に前記切り替え点を設定する前記方法。
  17. 請求項15記載の方法であって、前記符号化ステップは前記遷移タイプが溶明である時、ピクチャの絶対差に基づき、前記切り替え点を検出する前記方法。
  18. 請求項11記載の方法であって、前記符号化ステップは正規化距離に基づき、ピクチャタイプのうち前もって定義されたクラスからピクチャタイプを選択する前記方法。
  19. 請求項18記載の方法であって、ピクチャタイプのうち前記前もって定義されたクラスから前記ピクチャタイプを選択する選択基準がイメージの絶対差、ヒストグラムの差、 差のヒストグラム、差のブロックヒストグラム、ブロック分散差、又は動き補償誤差のうちの少なくとも一つを含む前記方法。
  20. 請求項12記載の方法であって、前記符号化ステップはピクチャ順計数と相関関係のうちの少なくとも一つに基づき、前記参照ピクチャ選択を実行する前記方法。
JP2008553288A 2006-02-06 2007-01-30 適応ピクチャ群(gop)構造選択のための方法及び装置 Expired - Fee Related JP5415084B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US76555206P 2006-02-06 2006-02-06
US60/765,552 2006-02-06
PCT/US2007/002387 WO2007092193A2 (en) 2006-02-06 2007-01-30 Method and apparatus for adaptive group of pictures (gop) structure selection

Publications (3)

Publication Number Publication Date
JP2009526435A true JP2009526435A (ja) 2009-07-16
JP2009526435A5 JP2009526435A5 (ja) 2013-10-24
JP5415084B2 JP5415084B2 (ja) 2014-02-12

Family

ID=38283710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008553288A Expired - Fee Related JP5415084B2 (ja) 2006-02-06 2007-01-30 適応ピクチャ群(gop)構造選択のための方法及び装置

Country Status (6)

Country Link
US (1) US9602840B2 (ja)
EP (1) EP1982528A2 (ja)
JP (1) JP5415084B2 (ja)
CN (1) CN101379828B (ja)
BR (1) BRPI0707419A2 (ja)
WO (1) WO2007092193A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2347518A4 (en) * 2008-11-12 2012-10-17 Thomson Licensing LIGHT CHANGE CODING
CN102217309B (zh) 2008-11-13 2014-04-09 汤姆逊许可证公司 使用hrd信息共享和比特分配等待的多线程视频编码
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
FR2966679A1 (fr) * 2010-10-25 2012-04-27 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome, signal et programme d'ordinateur correspondants
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
CN102223535A (zh) * 2011-06-07 2011-10-19 东莞电子科技大学电子信息工程研究院 一种基于svc的自适应图像组结构选择方法
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US9866851B2 (en) * 2014-06-20 2018-01-09 Qualcomm Incorporated Full picture order count reset for multi-layer codecs
CN104506870B (zh) * 2014-11-28 2018-02-09 北京奇艺世纪科技有限公司 一种适用于多码流的视频编码处理方法和装置
US10542283B2 (en) * 2016-02-24 2020-01-21 Wipro Limited Distributed video encoding/decoding apparatus and method to achieve improved rate distortion performance
KR20180076591A (ko) * 2016-12-28 2018-07-06 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
EP4383705A1 (en) * 2022-12-06 2024-06-12 Axis AB A method and device for pruning a video sequence

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107466A (ja) * 1993-10-07 1995-04-21 Hitachi Ltd 撮像装置
JPH08331448A (ja) * 1995-05-30 1996-12-13 Hitachi Ltd 撮像装置および画像再生装置
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
JPH1175189A (ja) * 1997-08-27 1999-03-16 Mitsubishi Electric Corp 画像符号化方法
JP2002010270A (ja) * 2000-06-27 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法
JP2002199398A (ja) * 2000-12-27 2002-07-12 Kddi Corp 可変ビットレート動画像符号化装置および記録媒体
JP2003032691A (ja) * 2002-05-20 2003-01-31 Kddi Corp 画像特徴に応じた画像符号化装置
JP2003125409A (ja) * 2001-10-15 2003-04-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
US6771825B1 (en) * 2000-03-06 2004-08-03 Sarnoff Corporation Coding video dissolves using predictive encoders

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6307886B1 (en) * 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
JP3672185B2 (ja) * 1999-02-09 2005-07-13 ソニー株式会社 コーディングシステム及びこれを用いた装置並びに記録媒体
JP2002084544A (ja) * 2000-09-06 2002-03-22 Mitsubishi Electric Corp 動画像符号化装置および動画像符号化方法
US6959044B1 (en) * 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
US20040146108A1 (en) * 2003-01-23 2004-07-29 Shih-Chang Hsia MPEG-II video encoder chip design
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
AU2004310917B2 (en) 2003-12-01 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
KR100596706B1 (ko) * 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
MXPA06006107A (es) 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107466A (ja) * 1993-10-07 1995-04-21 Hitachi Ltd 撮像装置
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
JPH08331448A (ja) * 1995-05-30 1996-12-13 Hitachi Ltd 撮像装置および画像再生装置
JPH1175189A (ja) * 1997-08-27 1999-03-16 Mitsubishi Electric Corp 画像符号化方法
US6771825B1 (en) * 2000-03-06 2004-08-03 Sarnoff Corporation Coding video dissolves using predictive encoders
JP2002010270A (ja) * 2000-06-27 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法
JP2002199398A (ja) * 2000-12-27 2002-07-12 Kddi Corp 可変ビットレート動画像符号化装置および記録媒体
JP2003125409A (ja) * 2001-10-15 2003-04-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP2003032691A (ja) * 2002-05-20 2003-01-31 Kddi Corp 画像特徴に応じた画像符号化装置

Also Published As

Publication number Publication date
US20090122860A1 (en) 2009-05-14
WO2007092193A2 (en) 2007-08-16
CN101379828B (zh) 2011-07-06
US9602840B2 (en) 2017-03-21
CN101379828A (zh) 2009-03-04
EP1982528A2 (en) 2008-10-22
BRPI0707419A2 (pt) 2011-05-03
WO2007092193A3 (en) 2007-10-04
JP5415084B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
JP5415084B2 (ja) 適応ピクチャ群(gop)構造選択のための方法及び装置
US11729415B2 (en) Method and device for encoding a sequence of images and method and device for decoding a sequence of images
US8718138B2 (en) Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image
US7986847B2 (en) Digital video camera with a moving image encoding feature and control method therefor, that selectively store decoded images as candidate reference images
JP5474838B2 (ja) 改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置
JP2009525687A (ja) 動き補償予測のための適応重み選択を行う方法および装置
KR20110009141A (ko) 비디오 부호화 및 복호화에서의 템플릿 매칭 예측을 위한 방법 및 장치
JP2010239660A (ja) ビデオ・デコーダにおける参照画像の陰解法による重みづけ
KR20130006616A (ko) 비디오 인코딩 및 디코딩을 위한 암시적인 적응 움직임 벡터 예측자 선택을 위한 방법 및 장치
KR20100021568A (ko) 슬라이스 데이터에 관한 다중 과정 비디오 구문 구조를 지원하는 방법 및 장치
US20120207219A1 (en) Picture encoding apparatus, picture encoding method, and program
US10015508B2 (en) Video encoding device and video encoding method
CN107105255B (zh) 视频文件中添加标签的方法和装置
US9253493B2 (en) Fast motion estimation for multiple reference pictures
JP2007228101A (ja) 動画像符号化装置
US20150326874A1 (en) Apparatus and method for coding a video signal
JP2007208432A (ja) 動画像復号化装置及び動画像復号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120404

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130604

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130611

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20130904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131113

R150 Certificate of patent or registration of utility model

Ref document number: 5415084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350