JP2009543515A - マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置 - Google Patents

マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置 Download PDF

Info

Publication number
JP2009543515A
JP2009543515A JP2009519441A JP2009519441A JP2009543515A JP 2009543515 A JP2009543515 A JP 2009543515A JP 2009519441 A JP2009519441 A JP 2009519441A JP 2009519441 A JP2009519441 A JP 2009519441A JP 2009543515 A JP2009543515 A JP 2009543515A
Authority
JP
Japan
Prior art keywords
encoding
video
scenes
encoder
setup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009519441A
Other languages
English (en)
Other versions
JP5437066B2 (ja
Inventor
ゴミラ，クリスティーナ
リュ，シャオアン
ダネ，ゴクセ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009543515A publication Critical patent/JP2009543515A/ja
Application granted granted Critical
Publication of JP5437066B2 publication Critical patent/JP5437066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

マルチパス・ビデオ・エンコーダにおける向上したパフォーマンスのための方法および装置が提供される。装置は、ビデオ・ビットストリームをエンコードするためのビデオ・エンコーダ（２００）を含む。本装置はさらに、前記ビデオ・エンコーダと信号通信するビデオ品質解析器を含み、該ビデオ品質解析器は、所与のエンコード・パスのために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にする。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される。

Description

〈関連出願への相互参照〉
本願は、2006年7月10日に出願された米国仮出願第60/806,862号の利益を主張するものであり、この文献はここに参照によりその全体において組み込まれる。
〈発明の分野〉
本発明は、概括的にはビデオ・エンコードに、より詳細には、マルチパス（multi-pass）・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置に関する。
デジタル・ビデオのための効率的な符号化を見出すためにビデオ符号化の諸方法が使われる。残念ながら、関わってくるデータの大きな容量のため、これは何らかの品質低下なしにはほとんど達成できない。たとえば、テクスチャーがある領域がよりソフトに知覚され、小さな詳細は圧縮解除された映像から消えてしまう傾向がある。圧縮率が高いと、圧縮解除された映像は、「アーチファクト」とも呼ばれる目に見えるエラーを含むことさえありうる。アーチファクトは典型的には、非可逆的ビデオ圧縮における量子化の結果である。圧縮アーチファクトのため、映像の一部、特に動きの速い部分がゆがんだり、欠けたりして表示されることがある。
圧縮アーチファクトの出現を軽減するために、高画質を求めるリアルタイムでないエンコード・アプリケーション（DVDオーサリングのような）はしばしば、操作者が手動でエンコーダ・パラメータを微調整することを要求する。エンコーダ・パラメータのそのような手動の微調整の過程は、支援された再エンコード（assisted re-encoding）として知られている。
現在のDVD生産の作業フローでは、支援された再エンコードは、映画タイトルのエンコードを完成させるために必要な総時間の６０パーセント以上を消費しうる。さらに、高精細度フォーマットおよびより高解像度のディスプレイの導入とともに、圧縮アーチファクトはより目に見えるようになり、ほとんど損失のない圧縮が求められることがしばしばである。
図１に目を向けると、支援された再エンコードを用いた非リアルタイムのビデオ・エンコードのための方法が、概括的に参照符号１００によって示されている。方法１００は、開始ブロック１０５を含む。開始ブロック１０５は制御を機能ブロック１１０に渡す。機能ブロック１１０はエンコード・セットアップを実行し、制御を機能ブロック１２０に渡す。機能ブロック１２０は、ビデオ・シーケンス中の現在映像に関してエンコードを実行して、制御を機能ブロック１９０およびループ境界ブロック１３０に渡す。
機能ブロック１９０はビットストリームをバッファ中に記憶し、制御を機能ブロック１４０に渡す。
ループ境界ブロック１３０は、ビデオ・シーケンス中の各映像についてループする品質チェック・ループを開始し、制御を機能ブロック１４０に渡す。
機能ブロック１４０は、ビデオ・シーケンス中の映像のそれぞれを品質評価のために表示し、制御を判断ブロック１５０に渡す。判断ブロック１５０は、視覚的な品質が満足がいくものかどうかを判定する。もしそうであれば、制御はループ境界ブロック１６０に渡される。他の場合には制御は機能ブロック１８０に渡される。
機能ブロック１６０は、ビデオ・シーケンス中の各映像についてのループを終了させ、制御を終了ブロック１７０に渡す。
機能ブロック１８０は再エンコード・セットアップを実行し、制御を機能ブロック１２０に返す。
図１の方法１００のさまざまな要素についてこれからさらに述べる。エンコーダ・セットアップは機能ブロック１１０で、典型的には操作者の支援をもって実行される。エンコーダ・セットアップは、目標ビットレートの設定やエンコード過程に関わる任意のパラメータの組の指定を含みうる。機能ブロック１２０は自動化されたエンコード過程を表す。これは単一パスまたはマルチパス〔複数パス〕のエンコードであることができ、場合によっては、既存のビデオ符号化標準に準拠してもよい。既存のビデオ符号化標準とは、国際標準化機関／国際電気標準会議（ISO/IEC）動画像専門家グループ４（MPEG-4）パート10の先進ビデオ符号化（AVC）規格／国際電気通信連合・電気通信部門（ITU-T）H.264勧告（以下では「MPEG-4-AVC規格」）、ISO/IEC MPEG-2規格、ITU-T H.263勧告などといったものである。エンコード過程の結果は、機能ブロック１９０でメモリに保存される。エンコード後、操作者はエンコードされたストリームの視覚的な品質をチェックすることに進むことになる（機能ブロック１３０ないし１６０）。視覚的な品質評価は、たいていの場合、グラフィック表示を通じて行われ（機能ブロック１４０）、エンコードされたストリーム中の映像のデコードを必要としうる。操作者がある映像または映像の組の品質が満足いくものでないと考える場合、操作者は異なるエンコード・セットアップを手動で試験することを決定し（機能ブロック１８０）、機能ブロック１２０を通じてエンコードし直すことに進みうる。この過程が支援された再エンコードと呼ばれるのは、操作者の介入を必要とするからである。この過程は、必要に応じて、視覚的な品質が満足いくものであると考えられるまで、繰り返される。
図１によって表される作業フローに従うたいていのアプリケーションは、機能ブロック１００から機能ブロック１７０に行くのにかかる時間の６０パーセント以上を再エンコード過程に割く。
従来技術のこれらおよびその他の欠点および不都合な点が本発明によって対処される。本発明は、マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置に向けられる。
本願の原理のある側面によれば、マルチパス・ビデオ・エンコードのための装置が提供される。本装置は、ビデオ・ビットストリームをエンコードするためのビデオ・エンコーダを含む。本装置はさらに、前記ビデオ・エンコーダと信号通信するビデオ品質解析器を含み、該ビデオ品質解析器は、所与のエンコード・パス（encoding pass）のために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にする。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される。
本願の原理のある別の側面によれば、マルチパス・ビデオ・エンコーダと一緒に使うための装置が提供される。本装置はビデオ品質解析器を含み、該ビデオ品質解析器は、所与のエンコード・パス（encoding pass）のために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記ビデオ・エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記ビデオ・エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にする。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される。
本願の原理のさらに別の側面によれば、マルチパス・ビデオ・エンコードのための方法が提供される。本方法は、所与のエンコード・パスにおいてビデオ・ビットストリームをエンコードすることを含む。本方法はまた、前記所与のエンコード・パス（encoding pass）でエンコードされた前記ビデオ・ビットストリームのビデオ品質解析を実行してその中のエンコーダ圧縮アーチファクトを検出することも含む。本方法はさらに、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減するよう、前記ビデオ品質解析から得られた前記エンコーダ圧縮アーチファクトに関係する情報に基づいて、前記ビデオ・ビットストリームに関して再エンコード・セットアップを実行することを含む。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される。
本願の原理のさらに別の側面によれば、マルチパス・ビデオ・エンコーダと一緒に使うための方法が提供される。本方法は、所与のエンコード・パス（encoding pass）についてのビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出することを含む。本方法はまた、前記ビデオ・エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記ビデオ・エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にすることも含む。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される。
本発明のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき例示的な実施形態の以下の詳細な記述から明白となるであろう。
本発明は、以下の例示的な図面に基づいてよりよく理解されうる。
従来技術に基づく、支援された再エンコードを用いた非リアルタイム・ビデオ・エンコードのための方法の流れ図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・エンコーダのブロック図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ品質解析システムのブロック図である。 本願の原理のある実施形態に基づく、支援された再エンコードを用いた非リアルタイム・マルチパス・ビデオ・エンコードのための例示的な方法の流れ図である。 本願の原理のある実施形態に基づく、支援された再エンコードを用いた非リアルタイム・マルチパス・ビデオ・エンコードのための例示的な方法の流れ図である。 本願の原理のある実施形態に基づく、支援された再エンコードを用いた非リアルタイム・２パス（two-pass）・ビデオ・エンコードのための例示的な方法の流れ図である。
本発明は、マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置に向けられる。
本記載は、本発明の原理を例解するものである。よって、本稿に明示的に記載や図示はされていなくても、本発明の原理を具現し、その精神および範囲内に含まれるさまざまな構成を当業者が考案できるであろうことは理解されるであろう。
本稿で記載されるあらゆる例および条件付きの言辞は、読者が、本発明の原理および当該技術を進歩させる発明者によって寄与される概念を理解するのを支援するという教育目的のために意図されているのであって、そのような個別的に記載されている例および条件に限定することなく解釈されるものである。
さらに、本発明の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素の両方を含むことが意図されている。
よって、たとえば、当業者は、本稿に呈示されるブロック図が本発明の原理を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。
図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ROM」）、ランダム・アクセス・メモリ（「RAM」）および不揮発性記憶装置を含みうる。
通常のものおよび／またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。
本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばａ）その機能を実行する回路素子の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含む、当該機能を実行するソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを包含することが意図されている。そのような請求項によって定義される本発明は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本願で示されている手段と等価であると見なされる。
明細書における本願の原理の「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所における「一つの実施形態では」または「ある実施形態では」といった句の出現は、必ずしもみな同じ実施形態を指すのではない。さらに、本稿で与えられる本願の原理の教示を与えられれば、本願の原理の範囲を維持しながら、当技術分野および関連する技術分野の当業者によって決定されるままに、二つ以上の実施形態および／またはその諸部分が容易に組み合わされうる。
本願の原理によれば、マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置が提供される。DVDオーサリングのような、高画質を追求する非リアルタイムのビデオ・エンコード・アプリケーションはしばしば、圧縮アーチファクトの出現を軽減するために、操作者が手動でエンコーダ・パラメータを微調整することを要求する。そのようなプロセスは支援された再エンコード（assisted re-encoding）として知られている。有利なことに、本願の原理の諸実施形態は、支援される再エンコードを必要とする場合の数を最小化する。ある実施形態では、支援される再エンコードを必要とする場合の数は、視覚的品質解析器の支援を用いて圧縮アーチファクトの検出を自動化することによって、および／またはそのようなアーチファクトの出現を防止するためにエンコーダ構成設定中の調整を自動化することによって、最小化される。
図２に目を向けると、本願の原理が適用されうる例示的なビデオ・エンコーダが概括的に参照符号２００によって示されている。エンコーダ２００は、フレーム順序付け（ordering）バッファ２０５を含む。フレーム順序付けバッファ２０５の第一の入力は当該エンコーダ２００への入力として利用可能である。フレーム順序付けバッファ２０５の出力は、組み合わせ器２１０の第一の非反転入力と信号通信で接続される。組み合わせ器２１０の出力は、変換器および量子化器２１５の第一の入力と信号通信で接続される。変換器および量子化器２１５の出力は、エントロピー符号化器２２０の第一の入力および逆変換器および量子化器２３５の入力と信号通信で接続される。エントロピー符号化器の出力は、組み合わせ器２２５の第一の非反転入力と信号通信で接続される。組み合わせ器２２５の出力は、出力バッファ２３０の入力と信号通信で接続される。出力バッファ２３０の第一の出力は、レート・コントローラ２７５の入力と信号通信で接続される。レート・コントローラ２７５の出力は、変換器および量子化器２１５の第二の入力、映像型およびマクロブロック（MB）型判断モジュール２７０の入力ならびにシーケンス・パラメータ・セット（SPS: Sequence Parameter Set）および映像パラメータ・セット（PPS: Picture Parameter Set）挿入器２８５の入力と信号通信で接続される。前記映像型およびマクロブロック型判断モジュール２７０の第一の出力は、前記フレーム順序付けバッファ２０５の第二の入力と信号通信で接続される。前記映像型およびマクロブロック型判断モジュール２７０の第二の出力は、組み合わせ器２４０の第一の非反転入力と、およびスイッチ２６５の出力と信号通信で接続される。スイッチ２６５の入力は、動き補償器／動き推定器２５５の第二の出力またはイントラ予測モジュール２６０の出力のいずれかと信号通信で接続される。組み合わせ器２４０の出力は、イントラ予測モジュール２６０の入力およびブロック解除（deblocking）フィルタ２４５の入力と信号通信で接続される。ブロック解除フィルタ２４５の出力は、参照映像バッファ２５０の入力と信号通信で接続される。参照映像バッファ２５０の出力は、動き補償器／動き推定器２５５の入力と信号通信で接続される。動き補償器／動き推定器２５５の第一の出力は、エントロピー符号化器２２０の第二の入力と信号通信で接続される。SPSおよびPPS挿入器２８５の出力は、組み合わせ器２５５の第二の非反転入力と信号通信で接続される。補足向上情報（SEI: Supplemental Enhancement Information）挿入器２８０の出力は、組み合わせ器２２５の第三の非反転入力と信号通信で接続される。SEI挿入器２８０の入力は、メタデータを受領するため、当該エンコーダ２００への入力として利用可能である。出力バッファ２３０の第二の出力は、当該エンコーダ２００の出力として利用可能である。
図３に目を向けると、本願の原理が適用されうる例示的なビデオ品質解析システムが概括的に参照符号３００によって示されている。品質解析システム３００は、フレーム順序付け（ordering）バッファ３２０および品質解析器３３０を含む。フレーム順序付けバッファ３２０の入力は当該品質解析システム３００への入力として、入力ビットストリームを受領するために利用可能である。品質解析器３３０の第一の入力は、当該品質解析システム３００の入力としても利用可能である。フレーム順序付けバッファ３２０の出力は、品質解析器３３０の第二の入力と信号通信で接続される。品質解析器３３０の第三の入力は、品質計量モジュール３１０の出力と信号通信で接続される。品質解析器３３０の出力は、品質解析システム３００の出力として利用可能である。
有利なことに、本願の原理に基づく方法および装置は、支援される再エンコードを必要とする場合の数を最小にすることができる。ある実施形態では、これは、視覚的品質解析器の支援を用いて圧縮アーチファクトの検出を自動化することによってなされる。ある実施形態では、圧縮アーチファクトの自動化された検出から帰結する情報がビデオ品質解析器によってエンコーダに提供され、その後のエンコード・パスにおけるそのようなアーチファクトの出現を最小にするために、エンコーダ構成設定中の自動化された調整を許容する。
図４に目を向けると、支援された再エンコードを用いた非リアルタイム・マルチパス・ビデオ・エンコードのための例示的な方法が概括的に参照符号４００によって示されている。方法４００は、開始ブロック４０５を含む。開始ブロック４０５は制御を機能ブロック４１０に渡す。機能ブロック４１０はエンコード・セットアップを実行し、制御を機能ブロック４２０に渡す。機能ブロック４２０は、ビデオ・シーケンス中の現在映像に関してエンコードを実行して、制御を機能ブロック４９０およびループ境界ブロック４３０に渡す。
機能ブロック４９０はビットストリームをバッファ中に記憶し、制御を機能ブロック４４０に渡す。
ループ境界ブロック４３０は、ビデオ・シーケンス中の各映像についてループする品質チェック・ループを開始し、制御を機能ブロック４４０に渡す。
機能ブロック４４０は、ビデオ品質解析を実行し、制御を判断ブロック４５０に渡す。判断ブロック４５０は、再エンコードが実行されるべきかどうかを判定する。もしそうであれば、制御は機能ブロック４８０に渡される。他の場合には、制御はループ境界ブロック４６０に渡される。
機能ブロック４６０は、ビデオ・シーケンス中の各映像についてのループを終了させ、制御を終了ブロック４７０に渡す。
機能ブロック４８０は再エンコード・セットアップを実行し、制御を機能ブロック４２０に返す。機能ブロック４８０に関し、それによって実行される再エンコード・セットアップは、たとえば、目標ビットレート、ブロック解除フィルタの強さおよび／または他のエンコード・パラメータを調整することならびに／または再エンコードされるべきシーンを限定することを含みうる。たとえば、機能ブロック４８０は、再エンコードされるべきシーンを最大N個のシーン（たとえば最悪の品質をもつN個のシーン）に限定してもよいし、再エンコードされるべきシーンを閾値に満たない視覚的品質計量（単数または複数）をもつシーンだけとなるよう限定してもよいし、ならびに／または再エンコードされるべきシーンをシーンの（たとえば、最悪品質をもつものから始めて）X％に限定してもよい。機能ブロック４８０に関して与えられた以上の例において、変数Xは選択された割合を表し、整数値または非整数値によって表現されうる。
図１の方法１００に比べたとき、図４の方法４００の支援される品質チェック過程（機能ブロック４３０ないし４６０）が完全に自動化されていることが注目されるであろう。
この新たな過程の一部として、ビデオ品質解析器（機能ブロック４４０）は少なくとも一つの視覚的品質計量の計算を受け持つ。本発明の一部として使用されうる視覚的品質計量の例は、これに限られないが、ぎりぎり知覚可能なゆがみ（JND: Just Noticeable Distortion）またはピーク・パワー・ノイズ比（PPNR: Peak Power Noise Ratio）を含む。すなわち、本願の原理は本稿では視覚的品質計量としてのJNDおよびPPNRに関して記載されるが、本願の原理はこれらの視覚的品質計量のみに限定されるものではなく、よって、本願の原理の範囲を維持しながら、当技術分野および関連する技術分野の当業者が容易に決定できる他の視覚的品質計量が本願の原理に基づいて利用されてもよい。
JNDは、信号ゆがみの知覚的な下限を測るものである。この尺度は、人間の視覚系が絶対的な強度よりは輝度の差を検出できるという観察に依拠している。さらに、輝度コントラストの感度は平均背景強度に依存する。JNDは、それより下ではゆがみが知覚できない閾値を表す。JNDは以下のように表現されうる：
JNDij＝max{f1(bgij,mgij),f2(bgij)} (1)
ここで、bgijおよびmgijはそれぞれ、(i,j)にあるピクセルのまわりでの平均背景輝度および輝度差の最大加重平均である。関数f1およびf2は次式
Figure 2009543515
 によって表されうる。
式(2)に関し、α()およびβ()は次式
Figure 2009543515
 によって表されうる。T0＝17、γ＝3/128、λ＝1/2である。
JNDを使って、PPNRは次のように定義される：
Figure 2009543515
 ここで、MおよびNはそれぞれ映像幅および映像の高さを表し、xijは(i,j)にあるピクセルの値を表す。＾付きのxijは(i,j)における再構成されたピクセルを表す。
ある実施形態では、ビデオ品質解析器は圧縮されたビットストリームを入力として取り、圧縮領域において動作しうる。別の実施形態では、より正確な尺度を得るために、ビデオ品質解析器は圧縮解除されたビデオおよびもとのシーケンスを入力として取ってもよい。
ビデオ品質解析器から帰結する品質計量は、再エンコードの必要性を評価するために使われる。少なくとも一つの計量および／または複数の計量の組み合わせがある指定されたまたは計算された閾値を下回っている場合（機能ブロック４５０）、システムはその映像または映像のグループを再エンコードすることに進む。
ある実施形態では、機能ブロック４８０における再エンコード・セットアップも完全に自動化される。この過程は、以前のエンコード・パラメータおよびビデオ品質解析器から帰結するデータを入力として取る。再エンコード・セットアップはビットレート変動および知覚される視覚的品質に影響しうる任意のエンコード・パラメータへの変化を利用しうる。
ある実施形態では、本システムは、品質計量が指定された閾値を下回っている映像についての平均ビットレートを増加させてもよい。もう一つの実施形態では、システムは、圧縮解除された映像においてブロック性（blockiness）が測定されるときにブロック解除フィルタの強さを上げてもよい。さらにもう一つの、エンコード過程がMPEG-4 AVC規格に準拠する実施形態では、システムは、漸進的な遷移（gradual transitions）について低い品質計量が測定されるときに重み付けされた予測（weighted prediction）を可能にしてもよい。上記の変化は、これらすべてのエンコード・パラメータについて、画像全体に影響することもでき、あるいは任意的に、マクロブロック・レベルで設定されることもできる。
再エンコードは、測定されるビデオ品質計量が指定されたまたは計算された閾値を上回るまで繰り返されうる。
図５に目を向けると、支援された再エンコードを用いた非リアルタイム・マルチパス・ビデオ・エンコードのための例示的な方法が概括的に参照符号５００によって示されている。方法５００は、開始ブロック５０５を含む。開始ブロック５０５は制御を機能ブロック５１０に渡す。機能ブロック５１０はエンコード・セットアップを実行し、制御を機能ブロック５２０に渡す。機能ブロック５２０は、ビデオ・シーケンス中の現在映像に関してエンコードを実行して、制御を機能ブロック５９０およびループ境界ブロック５３０に渡す。
機能ブロック５９０はビットストリームをバッファ中に記憶し、制御を機能ブロック５４０に渡す。
ループ境界ブロック５３０は、ビデオ・シーケンス中の各映像についてループする品質チェック・ループを開始し、制御を機能ブロック５４０に渡す。
機能ブロック５４０は、ビデオ品質解析を実行し、制御を判断ブロック５５０および機能ブロック５８０に渡す。判断ブロック５５０は、再エンコードが実行されるべきかどうかを判定する。もしそうであれば、制御は機能ブロック５６５に渡される。他の場合には、制御はループ境界ブロック５６０に渡される。
機能ブロック５６０は、ビデオ・シーケンス中の各映像についてのループを終了させ、制御を終了ブロック５７０に渡す。
機能ブロック５６５は再エンコード・カウンタを1増し、制御を判断ブロック５７５に渡す。判断ブロック５７５は再エンコード・カウンタの値が閾値を上回っているかどうかを判定する。もしそうであれば、制御は機能ブロック５８５に渡される。他の場合には、制御は機能ブロック５８０に渡される。
機能ブロック５８５はログ・ファイルを出力し、制御を終了ブロック５７０に渡す。
機能ブロック５８０は再エンコード・セットアップを実行し、制御を機能ブロック５２０に返す。機能ブロック５８０に関し、それによって実行される再エンコード・セットアップは、たとえば、目標ビットレート、ブロック解除フィルタの強さおよび／または他のエンコード・パラメータを調整することならびに／または再エンコードされるべきシーンを限定することを含みうる。たとえば、機能ブロック５８０は、再エンコードされるべきシーンを最大N個のシーン（たとえば最悪の品質をもつN個のシーン）に限定してもよいし、再エンコードされるべきシーンを閾値に満たない視覚的品質計量（単数または複数）をもつシーンだけとなるよう限定してもよいし、ならびに／または再エンコードされるべきシーンをシーンの（たとえば、最悪品質をもつものから始めて）X％に限定してもよい。機能ブロック５８０に関して与えられた以上の例において、変数Xは選択された割合を表し、整数値または非整数値によって表現されうる。
図５の方法５００によって表される作業フローにおいて、自動化された再エンコード過程は、ある回数の再エンコード・パスが完了したときに（機能ブロック５７５）停止することになる。再エンコード過程が期待される映像品質レベルを達成することなく強制的に停止されるとき、任意的に出力レポートが生成されてもよい。出力レポートは操作者によって、支援される再エンコードが必要とされるかどうかを決定するために使用されることができる。
図５の方法５００に関係するある実施形態では、視覚的品質計量の計算に基づく自動化された再エンコードは、支援される再エンコードの必要性を抑制することは標榜せず、人間の支援を必要とする場合の数を減らすことを謳うのみである。従来技術の方法に対するこの方法の一つの利点は、総処理時間が制限されるということである。
図６は、２パスのエンコード・アルゴリズムが使用されるときの実施形態を示している。
図６に目を向けると、支援された再エンコードを用いた非リアルタイム・２パス・ビデオ・エンコードのための例示的な方法が概括的に参照符号６００によって示されている。方法６００は、開始ブロック６０５を含む。開始ブロック６０５は制御を機能ブロック６１０に渡す。機能ブロック６１０はエンコード・セットアップを実行し、制御を機能ブロック６２１に渡す。機能ブロック６２１は、ビデオ・シーケンス中の現在映像に関して第一のエンコード・パスを実行して、制御を機能ブロック６２３に渡す。機能ブロック６２３は複雑さ解析を実行し、制御を機能ブロック６２５に渡す。機能ブロック６２５は第二のエンコード・パスを実行し、制御を機能ブロック６９０およびループ境界ブロック６３０に渡す。
機能ブロック６９０はビットストリームをバッファ中に記憶し、制御を機能ブロック６４０に渡す。
ループ境界ブロック６３０は、ビデオ・シーケンス中の各映像についてループする品質チェック・ループを開始し、制御を機能ブロック６４０に渡す。
機能ブロック６４０は、ビデオ品質解析を実行し、制御を判断ブロック６５０および機能ブロック６８０に渡す。判断ブロック６５０は、再エンコードが実行されるべきかどうかを判定する。もしそうであれば、制御は機能ブロック６６５に渡される。他の場合には、制御はループ境界ブロック６６０に渡される。
機能ブロック６６０は、ビデオ・シーケンス中の各映像についてのループを終了させ、制御を終了ブロック６７０に渡す。
機能ブロック６６５は再エンコード・カウンタを1増し、制御を判断ブロック６７５に渡す。判断ブロック６７５は再エンコード・カウンタの値が閾値を上回っているかどうかを判定する。もしそうであれば、制御は機能ブロック６８５に渡される。他の場合には、制御は機能ブロック６８０に渡される。
機能ブロック６８５はログ・ファイルを出力し、制御を終了ブロック６７０に渡す。
機能ブロック６８０は再エンコード・セットアップを実行し、制御を機能ブロック６２０に返す。機能ブロック６８０に関し、それによって実行される再エンコード・セットアップは、たとえば、目標ビットレート、ブロック解除フィルタの強さおよび／または他のエンコード・パラメータを調整することならびに／または再エンコードされるべきシーンを限定することを含みうる。たとえば、機能ブロック６８０は、再エンコードされるべきシーンを最大N個のシーン（たとえば最悪の品質をもつN個のシーン）に限定してもよいし、再エンコードされるべきシーンを閾値に満たない視覚的品質計量（単数または複数）をもつシーンだけとなるよう限定してもよいし、ならびに／または再エンコードされるべきシーンをシーンの（たとえば、最悪品質をもつものから始めて）X％に限定してもよい。機能ブロック６８０に関して与えられた以上の例において、変数Xは選択された割合を表し、整数値または非整数値によって表現されうる。
図６の方法６００のさまざまな要素についてここで本願の原理のある実施形態に関連してさらに述べる。機能ブロック６２１は前記第一のエンコード・パスを表す。これは固定された量子化点（QP: quantization point）、定ビットレートで走ってもよく、さらには前解析パス（pre-analysis pass）に限定されてもよい。機能ブロック６２３は、第一のパスからのデータに基づいて最終的なビットレート割り当てを決定する複雑さ解析プロセスを表す。機能ブロック６２５は、出力ビットストリームを生成する第二のエンコード・パスを表す。再エンコードは、機能ブロック６２５における第二のエンコード・パスの実行を必要とするのみであることを注意しておく。当技術分野および関連する技術分野における当業者には明白であろうように、本願の原理の範囲を維持しながら、図６の方法６００は、三つ以上のパスをもつエンコード・アルゴリズムをサポートするよう、簡単に拡張できる。
ビデオ品質解析および再エンコード・セットアップの一方または両方が自動化されうることは理解されるはずである。たとえば、図４、図５および図６における機能ブロック４４０、５４０および６４０によって実行されるビデオ品質解析がそれぞれ自動化されてもよいし、および／または図４、図５および図６における機能ブロック４８０、５８０および６８０によって実行される再エンコード・セットアップがそれぞれ自動化されてもよい。本稿で与えられる本願の原理の教示を与えられれば、本願の原理の範囲を維持しながら、本願の原理のこれらおよびその他の変形および実装は、当技術分野および関連する技術分野における当業者によって容易に実装される。
ここで、本発明の多くの付随する利点／特徴のいくつかの記載を与えておく。そのいくつかはすでに上述されている。たとえば、一つの利点／特徴は、ビデオ・エンコーダおよび該ビデオ・エンコーダと信号通信するビデオ品質解析器を含むマルチパス・ビデオ・エンコードのための装置である。前記ビデオ・エンコーダはビデオ・ビットストリームをエンコードするものである。前記ビデオ品質解析器は、所与のエンコード・パスのために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減できるようにするものである。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一方は自動化されている。
もう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ品質解析器が視覚的品質計量を計算することによってエンコーダ圧縮アーチファクトを検出するものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記再エンコード・セットアップが、目標ビットレートを調節することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・エンコーダがブロック解除フィルタを含み、前記再エンコード・セットアップが前記ブロック解除フィルタの強さを調節することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記再エンコード・セットアップがエンコード・パラメータを調節することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、再エンコード・パスの総数がある最大値に制約されるものである。
また、もう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ品質解析器が、支援された再エンコードの間に操作者を支援するためのデータを含むログ・ファイルを出力するものである。
さらに、もう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・エンコーダが国際標準化機関／国際電気標準会議動画像専門家グループ４パート10の先進ビデオ符号化規格／国際電気通信連合・電気通信部門H.264勧告に準拠しているものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームのエンコードが複数パスで実行され、前記ビデオ・ビットストリームの再エンコードが最後のエンコード・パスしか要求しないものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが再エンコードされるべき前記複数のシーンの数を、前記複数のシーンの任意のもののうちからのある閾値を下回るエンコーダ圧縮アーチファクトをもつ最大N個のシーンに制限することを含むものである。
また、もう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちからある閾値を下回るエンコーダ圧縮アーチファクトをもつシーンのみが再エンコードされるよう、再エンコードされるべき前記複数のシーンの数を制限することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちある閾値を下回るエンコーダ圧縮アーチファクトをもつX%のみが再エンコードされるよう、再エンコードされるべき前記複数のシーンの数を制限することを含むものである。Xは整数値または非整数値の一つを表す。
さらに、もう一つの利点／特徴は、マルチパス・ビデオ・エンコーダと一緒に使うためのビデオ品質解析器を含む装置である。該ビデオ品質解析器は、所与のエンコード・パスのために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記ビデオ・エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記ビデオ・エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にするものである。前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ品質解析器が、視覚的品質計量を計算することによって前記ビデオ品質解析を実行するものである。
また、もう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記再エンコード・セットアップが、目標ビットレートを調節することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ・エンコーダがブロック解除フィルタを含み、前記再エンコード・セットアップが前記ブロック解除フィルタの強さを調節することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記再エンコード・セットアップがエンコード・パラメータを調節することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、再エンコード・パスの総数がある最大値に制約されるものである。
また、もう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ品質解析器が、支援された再エンコードの間に操作者を支援するためのデータを含むログ・ファイルを出力するものである。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ・エンコーダが国際標準化機関／国際電気標準会議動画像専門家グループ４パート10の先進ビデオ符号化規格／国際電気通信連合・電気通信部門H.264勧告に準拠しているものである。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームのエンコードが複数パスで実行され、前記ビデオ・ビットストリームの再エンコードが最後のエンコード・パスしか要求しないものである。
さらにもう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが再エンコードされるべき前記複数のシーンの数を、前記複数のシーンの任意のもののうちからのある閾値を下回るエンコーダ圧縮アーチファクトをもつ最大N個のシーンに制限することを含むものである。
また、もう一つの利点／特徴は、上記のようなビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちからある閾値を下回るエンコーダ圧縮アーチファクトをもつシーンのみが再エンコードされるよう、再エンコードされるべき前記複数のシーンの数を制限することを含むものである。
さらにもう一つの利点／特徴は、上記のようなビデオ・エンコーダおよびビデオ品質解析器を有する装置であって、前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちある閾値を下回るエンコーダ圧縮アーチファクトをもつX%のみが再エンコードされるよう、再エンコードされるべき前記複数のシーンの数を制限することを含むものである。Xは整数値または非整数値の一つを表す。
本発明のこれらおよびその他の特徴および利点は、本願の教示に基づいて当業者によって容易に認識されうる。本願の教示がハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせのさまざまな形で実装されうることは理解されるものである。
最も好ましくは、本発明の教示はハードウェアおよびソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上に具体的に具現されたアプリケーション・プログラムとして実装されてもよい。該アプリケーション・プログラムはいかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理ユニット（「CPU」）、ランダム・アクセス・メモリ（「RAM」）および入出力（「I/O」）インターフェースといったハードウェアをもつコンピュータ・プラットフォーム上で実装される。前記コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含みうる。本稿に記載されたさまざまなプロセスおよび機能はマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部またはそれらの任意の組み合わせであってよく、CPUによって実行されてよい。さらに、追加的なデータ記憶ユニットおよび印刷ユニットといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されていてもよい。
付属の図面に描かれている構成システム・コンポーネントおよび方法のいくつかは好ましくはソフトウェアにおいて実装されるので、システム・コンポーネントまたはプロセス機能ブロックの間の実際の接続は、本発明がプログラムされる仕方に依存して異なることがありうる。本稿の教示を与えられれば、当業者は、本発明のこれらおよび同様の実装または構成を考えることができるであろう。
本稿では例示的な実施形態が付属の図面を参照して記載されてきたが、本発明はそうした厳密な実施形態に限定されるものではなく、当業者は本発明の範囲や精神から外れることなくそれにさまざまな変更および修正を実施しうることは理解されるものである。そのようなすべての変更および修正は付属の請求項に記載される本発明の範囲内に含まれることが意図されている。

Claims (48)

  1. マルチパス・ビデオ・エンコードのための装置であって：
    ビデオ・ビットストリームをエンコードするビデオ・エンコーダと；
    前記エンコーダと信号通信するビデオ品質解析器とを有しており、前記ビデオ品質解析器は、所与のエンコード・パスのために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減できるようにするものであり、
    前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一方は自動化されている、装置。
  2. 前記ビデオ品質解析器が視覚的品質計量を計算することによってエンコーダ圧縮アーチファクトを検出する、請求項１記載の装置。
  3. 前記再エンコード・セットアップが、目標ビットレートを調節することを含む、請求項１記載の装置。
  4. 前記ビデオ・エンコーダがブロック解除フィルタを含み、前記再エンコード・セットアップが前記ブロック解除フィルタの強さを調節することを含む、請求項１記載の装置。
  5. 前記再エンコード・セットアップがエンコード・パラメータを調節することを含む、請求項１記載の装置。
  6. 再エンコード・パスの総数がある最大値に制約される、請求項１記載の装置。
  7. 前記ビデオ品質解析器が、支援された再エンコードの間に操作者を支援するためのデータを含むログ・ファイルを出力する、請求項１記載の装置。
  8. 前記ビデオ・エンコーダが国際標準化機関／国際電気標準会議動画像専門家グループ４パート10の先進ビデオ符号化規格／国際電気通信連合・電気通信部門H.264勧告に準拠している、請求項１記載の装置。
  9. 前記ビデオ・ビットストリームのエンコードが複数パスで実行され、前記ビデオ・ビットストリームの再エンコードが最後のエンコード・パスしか要求しない、請求項１記載の装置。
  10. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが前記複数のシーンのうちの再エンコードされるべき数を最大N個のシーンに制限することを含む、請求項１記載の装置。
  11. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちからある閾値を下回るエンコーダ圧縮アーチファクトをもつシーンのみが再エンコードされるよう、前記複数のシーンのうちの再エンコードされるべき数を制限することを含む、請求項１記載の装置。
  12. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちの再エンコードされるべき数を、Xを整数値または非整数値の一つを表すとして、前記複数のシーンのX%に制限することを含む、請求項１記載の装置。
  13. マルチパス・ビデオ・エンコーダと一緒に使うための装置であって：
    ビデオ品質解析器を含み、該ビデオ品質解析器は、所与のエンコード・パスのために前記ビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出し、前記ビデオ・エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記ビデオ・エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にし、
    前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される、装置。
  14. 前記ビデオ品質解析器が、視覚的品質計量を計算することによって前記ビデオ品質解析を実行する、請求項１３記載の装置。
  15. 前記再エンコード・セットアップが、目標ビットレートを調節することを含む、請求項１３記載の装置。
  16. 前記ビデオ・エンコーダがブロック解除フィルタを含み、前記再エンコード・セットアップが前記ブロック解除フィルタの強さを調節することを含む、請求項１３記載の装置。
  17. 前記再エンコード・セットアップがエンコード・パラメータを調節することを含む、請求項１３記載の装置。
  18. 再エンコード・パスの総数がある最大値に制約される、請求項１３記載の装置。
  19. 前記ビデオ品質解析器が、支援された再エンコードの間に操作者を支援するためのデータを含むログ・ファイルを出力する、請求項１３記載の装置。
  20. 前記ビデオ・エンコーダが国際標準化機関／国際電気標準会議動画像専門家グループ４パート10の先進ビデオ符号化規格／国際電気通信連合・電気通信部門H.264勧告に準拠している、請求項１３記載の装置。
  21. 前記ビデオ・ビットストリームのエンコードが複数パスで実行され、前記ビデオ・ビットストリームの再エンコードが最後のエンコード・パスしか要求しない、請求項１３記載の装置。
  22. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが前記複数のシーンのうちの再エンコードされるべき数を最大N個のシーンに制限することを含む、請求項１３記載の装置。
  23. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちからある閾値を下回るエンコーダ圧縮アーチファクトをもつシーンのみが再エンコードされるよう、前記複数のシーンのうちの再エンコードされるべき数を制限することを含む、請求項１３記載の装置。
  24. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちの再エンコードされるべき数を、Xを整数値または非整数値の一つを表すとして、前記複数のシーンのX%に制限することを含む、請求項１３記載の装置。
  25. マルチパス・ビデオ・エンコードのための方法であって：
    所与のエンコード・パスにおいてビデオ・ビットストリームをエンコードする段階と；
    前記所与のエンコード・パスにおいてエンコードされたビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出する段階と；
    その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減するよう、前記ビデオ品質解析から得られた前記エンコーダ圧縮アーチファクトに関係する情報に基づいて、前記ビデオ・ビットストリームに関して再エンコード・セットアップを実行する段階とを有し、
    前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される、方法。
  26. ビデオ品質解析を実行する前記段階が、視覚的品質計量を計算する段階を含む、請求項２５記載の方法。
  27. 前記再エンコード・セットアップが、目標ビットレートを調節することを含む、請求項２５記載の方法。
  28. 前記エンコーダがブロック解除フィルタを含み、前記再エンコード・セットアップが前記ブロック解除フィルタの強さを調節することを含む、請求項２５記載の方法。
  29. 前記再エンコード・セットアップがエンコード・パラメータを調節することを含む、請求項２５記載の方法。
  30. 再エンコード・パスの総数がある最大値に制約される、請求項２５記載の方法。
  31. ビデオ品質解析を実行する前記段階が、支援された再エンコードの間に操作者を支援するためのデータを含むログ・ファイルを出力することを含む、請求項２５記載の方法。
  32. 前記ビデオ・エンコーダが国際標準化機関／国際電気標準会議動画像専門家グループ４パート10の先進ビデオ符号化規格／国際電気通信連合・電気通信部門H.264勧告に準拠している、請求項２５記載の方法。
  33. 前記ビデオ・ビットストリームのエンコードが複数パスで実行され、前記ビデオ・ビットストリームの再エンコードが最後のエンコード・パスしか要求しない、請求項２５記載の方法。
  34. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが前記複数のシーンのうちの再エンコードされるべき数を最大N個のシーンに制限することを含む、請求項２５記載の方法。
  35. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちからある閾値を下回るエンコーダ圧縮アーチファクトをもつシーンのみが再エンコードされるよう、前記複数のシーンのうちの再エンコードされるべき数を制限することを含む、請求項２５記載の方法。
  36. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちの再エンコードされるべき数を、Xを整数値または非整数値の一つを表すとして、前記複数のシーンのX%に制限することを含む、請求項２５記載の方法。
  37. マルチパス・ビデオ・エンコーダと一緒に使うための方法であって：
    所与のエンコード・パスについてのビデオ・ビットストリームのビデオ品質解析を実行して前記ビデオ・ビットストリーム中のエンコーダ圧縮アーチファクトを検出する段階と；
    前記ビデオ・エンコーダに前記エンコーダ圧縮アーチファクトに関係する情報を提供して、前記ビデオ・エンコーダの再エンコード・セットアップが、その後の再エンコード・パスにおけるエンコーダ圧縮アーチファクトの発生を軽減することを可能にする段階とを有し、
    前記ビデオ品質解析および前記再エンコード・セットアップの少なくとも一つは自動化される、方法。
  38. 前記実行する段階が、視覚的品質計量を計算する段階を含む、請求項３７記載の方法。
  39. 前記再エンコード・セットアップが、目標ビットレートを調節することを含む、請求項３７記載の方法。
  40. 前記エンコーダがブロック解除フィルタを含み、前記再エンコード・セットアップが前記ブロック解除フィルタの強さを調節することを含む、請求項３７記載の方法。
  41. 前記再エンコード・セットアップがエンコード・パラメータを調節することを含む、請求項３７記載の方法。
  42. 再エンコード・パスの総数がある最大値に制約される、請求項３７記載の方法。
  43. 前記実行する段階が、支援された再エンコードの間に操作者を支援するためのデータを含むログ・ファイルを出力することを含む、請求項３７記載の方法。
  44. 前記マルチパス・ビデオ・エンコーダが国際標準化機関／国際電気標準会議動画像専門家グループ４パート10の先進ビデオ符号化規格／国際電気通信連合・電気通信部門H.264勧告に準拠している、請求項３７記載の方法。
  45. 前記ビデオ・ビットストリームのエンコードが複数パスで実行され、前記ビデオ・ビットストリームの再エンコードが最後のエンコード・パスしか要求しない、請求項３７記載の方法。
  46. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが前記複数のシーンのうちの再エンコードされるべき数を最大N個のシーンに制限することを含む、請求項３７記載の方法。
  47. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちからある閾値を下回るエンコーダ圧縮アーチファクトをもつシーンのみが再エンコードされるよう、前記複数のシーンのうちの再エンコードされるべき数を制限することを含む、請求項３７記載の方法。
  48. 前記ビデオ・ビットストリームが複数のシーンを含み、前記再エンコード・セットアップが、前記複数のシーンのうちの再エンコードされるべき数を、Xを整数値または非整数値の一つを表すとして、前記複数のシーンのX%に制限することを含む、請求項３７記載の方法。
JP2009519441A 2006-07-10 2007-06-15 マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置 Active JP5437066B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80686206P 2006-07-10 2006-07-10
US60/806,862 2006-07-10
PCT/US2007/014019 WO2008008150A2 (en) 2006-07-10 2007-06-15 Methods and apparatus for enhanced performance in a multi-pass video encoder

Publications (2)

Publication Number Publication Date
JP2009543515A true JP2009543515A (ja) 2009-12-03
JP5437066B2 JP5437066B2 (ja) 2014-03-12

Family

ID=38923736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009519441A Active JP5437066B2 (ja) 2006-07-10 2007-06-15 マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置

Country Status (7)

Country Link
US (1) US9204173B2 (ja)
EP (1) EP2041980A2 (ja)
JP (1) JP5437066B2 (ja)
KR (1) KR101373934B1 (ja)
CN (1) CN101485209B (ja)
BR (1) BRPI0713916A2 (ja)
WO (1) WO2008008150A2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2160900A1 (en) * 2007-06-12 2010-03-10 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
US9304994B2 (en) * 2007-08-30 2016-04-05 At&T Intellectual Property Ii, L.P. Media management based on derived quantitative data of quality
US20120020415A1 (en) * 2008-01-18 2012-01-26 Hua Yang Method for assessing perceptual quality
US8780988B2 (en) * 2008-02-28 2014-07-15 Vixs Systems, Inc. Hierarchical video analysis-based real-time perceptual video coding
US8798137B2 (en) * 2008-02-29 2014-08-05 City University Of Hong Kong Bit rate estimation in data or video compression
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US10033779B2 (en) 2009-07-08 2018-07-24 Dejero Labs Inc. Multipath data streaming over multiple wireless networks
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
CN102428705B (zh) 2010-03-18 2014-12-24 松下电器（美国）知识产权公司 数据处理装置以及数据处理方法
WO2013074365A1 (en) * 2011-11-18 2013-05-23 Dolby Laboratories Licensing Corporation Subjective based post-filter optimization
WO2013075318A1 (en) * 2011-11-24 2013-05-30 Thomson Licensing Video quality measurement
CN102685482A (zh) * 2011-12-12 2012-09-19 苏州科雷芯电子科技有限公司 混合式编解码方法及装置
US8675731B2 (en) * 2012-08-13 2014-03-18 Gurulogic Microsystems Oy Encoder and method
KR20150052049A (ko) * 2012-08-27 2015-05-13 톰슨 라이센싱 비디오 품질 평가를 위해 모션 균일성을 추정하기 위한 방법 및 장치
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
US9495526B2 (en) * 2013-03-15 2016-11-15 Eyelock Llc Efficient prevention of fraud
CA2955979C (en) * 2014-07-31 2023-01-10 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US10313675B1 (en) 2015-01-30 2019-06-04 Google Llc Adaptive multi-pass video encoder control
KR102036565B1 (ko) * 2016-10-27 2019-10-25 주식회사 에스원 계산-율-왜곡을 최적화하는 방법 및 장치, 그리고 이를 이용해 영상 프레임을 부호화하는 방법 및 장치
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
KR102347598B1 (ko) 2017-10-16 2022-01-05 삼성전자주식회사 영상 부호화 장치 및 인코더
US11259040B1 (en) * 2019-04-25 2022-02-22 Amazon Technologies, Inc. Adaptive multi-pass risk-based video encoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129831A (ja) * 1994-11-01 1996-05-21 Sony Corp 符号化装置および符号化方法
JP2000506687A (ja) * 1996-03-29 2000-05-30 サーノフ コーポレイション 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法
JP2002058029A (ja) * 2000-08-11 2002-02-22 Toshiba Corp 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
WO2004080050A2 (en) * 2003-03-03 2004-09-16 Koninklijke Philips Electronics N.V. Video encoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249053A (en) * 1991-02-05 1993-09-28 Dycam Inc. Filmless digital camera with selective image compression
US5640208A (en) * 1991-06-27 1997-06-17 Sony Corporation Video signal encoding in accordance with stored parameters
US5640298A (en) * 1995-07-28 1997-06-17 Imation Corp. Recording disc cartridge having centrally-located, integral, raised wear surface
US6591058B1 (en) * 1997-12-23 2003-07-08 Intel Corporation Time shifting by concurrently recording and playing a data stream
CN1843038B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于解码混合内部-相互编码块的方法和装置
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
JP2006101321A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
EP1646243B1 (en) * 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08129831A (ja) * 1994-11-01 1996-05-21 Sony Corp 符号化装置および符号化方法
JP2000506687A (ja) * 1996-03-29 2000-05-30 サーノフ コーポレイション 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法
JP2002058029A (ja) * 2000-08-11 2002-02-22 Toshiba Corp 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
WO2004080050A2 (en) * 2003-03-03 2004-09-16 Koninklijke Philips Electronics N.V. Video encoding
JP2006519564A (ja) * 2003-03-03 2006-08-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化

Also Published As

Publication number Publication date
BRPI0713916A2 (pt) 2012-11-06
WO2008008150A2 (en) 2008-01-17
US20090323803A1 (en) 2009-12-31
CN101485209B (zh) 2011-12-14
CN101485209A (zh) 2009-07-15
WO2008008150A3 (en) 2008-05-08
EP2041980A2 (en) 2009-04-01
JP5437066B2 (ja) 2014-03-12
US9204173B2 (en) 2015-12-01
KR101373934B1 (ko) 2014-03-12
KR20090040288A (ko) 2009-04-23

Similar Documents

Publication Publication Date Title
JP5437066B2 (ja) マルチパス・ビデオ・エンコーダにおけるパフォーマンス向上のための方法および装置
CN107211128B (zh) 自适应色度下采样和色彩空间转换技术
JP5801032B2 (ja) インループのアーチファクト除去フィルタリングのための方法および装置
US9794597B2 (en) Methods and apparatus for deblocking filtering of non-local intra prediction
US9942557B2 (en) Method and system of video encoding optimization
US9762901B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
US8848788B2 (en) Method and apparatus for joint quantization parameter adjustment
KR100989296B1 (ko) 아티팩트 평가를 통한 향상된 이미지/비디오 품질
JP5749710B2 (ja) 映像符号化及び復号化のための、改善された量子化の丸めのオフセットを調節する方法及び装置
US9979972B2 (en) Method and apparatus for rate control accuracy in video encoding and decoding
US9615102B2 (en) Method and apparatus for processing components of an image
KR101603747B1 (ko) 비디오 인코딩에서 속도 제어 정확성을 위한 방법 및 장치
JP2013507086A (ja) ビデオ符号化及び復号化における埋め込み量子化パラメータ調整方法及び装置
JP2018110428A (ja) 映像符号化及び復号化のためのｄｃイントラ予測モードのための方法及び装置
KR20090066672A (ko) 잡음을 고려하여 영상을 복호화하는 방법 및 장치
US20170105012A1 (en) Method and Apparatus for Cross Color Space Mode Decision
WO2021206674A1 (en) No-reference banding artefact predictor
KR101193790B1 (ko) 비디오 코덱 양자화를 위한 방법 및 장치
Galpin et al. Adaptive clipping in JEM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120816

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130701

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131211

R150 Certificate of patent or registration of utility model

Ref document number: 5437066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250