JP2010530673A - ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 - Google Patents
ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 Download PDFInfo
- Publication number
- JP2010530673A JP2010530673A JP2010512473A JP2010512473A JP2010530673A JP 2010530673 A JP2010530673 A JP 2010530673A JP 2010512473 A JP2010512473 A JP 2010512473A JP 2010512473 A JP2010512473 A JP 2010512473A JP 2010530673 A JP2010530673 A JP 2010530673A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- video
- target
- video buffering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000872 buffer Substances 0.000 title claims abstract description 149
- 230000003139 buffering effect Effects 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 109
- 238000001914 filtration Methods 0.000 claims description 18
- 238000013139 quantization Methods 0.000 claims description 18
- 230000003213 activating effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000033001 locomotion Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 239000007853 buffer solution Substances 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
最初に、ビデオ符号化が行われるビデオ通信システムの例を説明する。
基本的なバッファベースのレート制御装置は、ビデオストリーミングアプリケーションで特に有用である。それは、後続するフレームに対して未使用ビットを分配することにより、また一定数のフレームに対してビデオバッファリング検証器40のレベルを最大化することにより、イントラおよびインターフレームを符号化するための目標フレームサイズを計算する。
・フレームレートF=10fpsであり、かつRMAX=48000bpsである場合、t=0.1sで、ビデオバッファリング検証器40は、RMAX/F=4800ビットだけ空きができるが、それは、これらのビットが、通信リンクまたはチャネルを介して送信されてしまったからである。したがって、所与の時間t=0.1sで、ビデオバッファリング検証器40をオーバーフローさせることなく、符号化されたフレームを受信するために、4800ビットのスペースが、ビデオバッファリング検証器40中で利用可能になる。
・同様の手法が、後続するフレームに対しても適用される。したがって、イントラフレームに続く各フレームに対して、4800ビットのさらなる量を送信することができる。このように、この手法を用いると、例えば、TMN8または最大ビットレート制御装置を用いて、48000ビットではなく、合計48000+(10-1)(4800)=91200ビットを送信することが可能である。
BufferLevelMAX(t)-BufferLevelactual(t)-Δ(t)
本発明の非限定的な実施形態による装置42は、指定された最大ビットレートを超えることなく指定された平均ビットレートを満たすように、フレームの複雑さと、インターフレームと次のイントラフレームの間の距離と、ビデオバッファリング検証器の現在のバッファレベルと、ビデオバッファリング検証器の計算された目標バッファレベルとを利用する改善されたバッファベースのレート制御法を実施する。より具体的には、装置42は、H.263、H.264、MPEG-4、およびその他などのビデオ符号化規格におけるビットレートを制御するための方法100を実施する。装置42および方法100が、本明細書の以下で説明される。
次に、図4を参照すると、装置42を用いるバッファベースのレート制御のための、本発明の非限定的な例示の実施形態による方法100が説明される。
・Wmaxは、ビデオバッファリング検証器40の最大バッファサイズであり、また基本的なバッファベースのレートコントローラの場合のBufferLevelMAX(t)に相当する。
・Whighは、高レベルであると考えられる、すなわち、ビデオバッファリング検証器40がオーバーフローする危険性があると考えられるビデオバッファリング検証器40のバッファレベルである。
・Wlowは、低レベルであると考えられる、すなわち、ビデオバッファリング検証器40がアンダーフローする危険性があると考えられるビデオバッファリング検証器40のバッファレベルである。
・WAtLastIntraは、最後のイントラフレームを符号化した後のビデオバッファリング検証器40のバッファレベルである。
・Wtarget(t)は、時間tにおけるビデオバッファリング検証器40の目標バッファレベルであり、それは、基本的なバッファベースのレートコントローラの場合のBufferLevel(t)に相当する。
・RMAXは、指定された最大ビットレートである。
・RAVGは、指定された平均ビットレートである。
・B(t)は、目標フレームサイズを表しており、フレームがイントラフレームである場合はB(t)=BI(t)であり、フレームがインターフレームである場合はB(t)=BP(t)である。
・Tは、2つのイントラフレーム間の期間である。
方法100のオペレーション102で、最大ビットレートRMAXおよび平均ビットレートRAVGが指定される。これらの2つの値を決定することは、当業者の知識に含まれるものと考えられる。
オペレーション104で、ビデオバッファリング検証器40の最大バッファサイズWmaxが設定される。例えば、Wmaxは、最大ビットレートRMAXと等しく、すなわち、Wmax=RMAXに設定される。Wmaxが設定された後、次いで、Whighを、例えば、Whigh=0.8Wmaxなどと決定することができる。更に、Wlowを、Wlow=0.05 Wmaxなどと決定することができる。当然であるが、ビデオバッファリング検証器40のバッファレベルの上限および下限をそれぞれ定義するWhighおよびWlowに対する他の値を、ビデオバッファリング検証器40のオーバーフローおよびアンダーフローを、それぞれ、回避するように決めることもできる。
オペレーション106では、目標フレームサイズ計算器48が、符号化すべきフレームごとに目標フレームサイズを計算する。フレームごとに目標フレームサイズを計算するために、まずフレームのタイプが決定される。フレームがイントラフレームである場合、イントラフレームに割り当てられる目標フレームサイズを計算するために、方法200を使用することになる。フレームがインターフレームである場合、インターフレームに関する目標フレームサイズを計算するために、方法250が使用される。
目標フレームサイズが計算された後、妥当性検査器50(図3)は、ビデオバッファリング検証器40のオーバーフローおよび/またはアンダーフローを回避するために、オペレーション108で、計算された目標フレームサイズの妥当性を検査する。
大量のフレームが除外される可能性のあることが理解され得る。除外されるフレームの数を低減するために、フィルタ係数モジュール37(図2)は、オペレーション110で、変換された係数(通常、DCT係数)に対して、フィルタ処理を適用する。
妥当性検査プロセス112は、実際に符号化されたフレームの妥当性を検査する。実際に符号化されたフレームサイズが、ビデオバッファ検証器40のオーバーフローを引き起こす場合、すなわち、符号化されたフレームサイズが、ビデオバッファリング検証器40のオーバーフローを回避するために許容される最大値を超える場合、その符号化されたフレームは除外される。符号器14の状態変数は、次いで、除外されたフレームの符号化の前に設定された値に復元される。オーバーフローは、VBV40の最大サイズを超えることなく、フレームをVBV40に追加できない場合に、すなわち、バッファレベルとフレームサイズの合計が、VBV40の最大のサイズ制限よりも大きい場合に生ずる。
符号化すべきフレームがイントラフレームである場合、イントラフレームの目標フレームサイズを計算するために、図5の方法200が使用される。
イントラフレームが、ビデオフレームのシーケンスの最初のイントラフレームに相当する場合、目標フレームサイズ計算器48は、オペレーション202で、以下の関係を用いてイントラフレーム目標サイズBI(t)を計算する。
QP(量子化パラメータ)の計算および予測は当業者にはすでに知られている。QPを計算する2つのモードを実施することができる。第1のモードは、フレーム全体に対して固定されるQPを計算することからなる。第2のモードは、所与の目標フレームサイズに、より近くかつ正確に従うように、フレームの各マクロブロックに関するQPを計算し、更新することからなる。
オペレーション206で、目標フレームサイズ計算器48(図3)は、以下の関係を用いて、イントラフレーム目標サイズを計算する。
フレームがインターフレームである場合、図4の方法100の方法250が、インターフレームの目標フレームサイズを計算するために使用される。
オペレーション252で、フレームの複雑さ検出器44は、様々なメトリックを用いて、フレームの複雑さを評価する。
オペレーション254で、他の統計量を計算することができる。これらの他の統計量は、ある時間期間にわたりQP計算器46(図3)により計算された平均のQPであるQPavg(t)と、ある時間期間にわたりフレームの複雑さモジュール44(図3)により計算された平均のMADであるMADavg(t)とを含むことができる。
オペレーション256で、目標フレームサイズ計算器48(図3)は、以下の式を用いて、インターフレーム目標サイズBp(t)を計算する。
図4に戻って参照すると、目標フレームサイズB(t)が、オペレーション106で計算された後、妥当性検査器50(図3)は、考慮すべき一定のマージン内に含まれるように、その計算された目標フレームサイズに対して妥当性検査プロセスを適用する。
ビデオシーケンスが、大量の動きを含む場合、多くのフレームが、符号器14で除外され、またはスキップされることが分かっている。これは、小さな目標フレームサイズが計算されたとき、概して、それが容易に満たされないことによる。
またDCTfiltering[i][j]=0、その他の場合 (17)
バッファベースのレート制御装置42および方法100の性能を評価するために、いくつかのビデオテストシーケンスが、ビデオ符号化の品質、および保持される(除外されない)フレームのパーセンテージをテストするために使用された。最初の12個のビデオシーケンスは、よく知られたビデオシーケンスであり、ビデオ符号化を公開するときに広く使用される。これらのビデオテストシーケンスは、比較のために、他のレート制御装置にも同様に適用された。他のレート制御装置は、TMN8規格、および参考文献2で開示された「最大ビットレート」ベースのレートコントローラを含む。簡単化のために、条件RAVG=RMAXが考慮された。通常、RMAX>RAVGを有することは、平均PSNRに大きく影響することはないが、欠落したフレームを有する可能性を低下させる。
・PSNRkept:シーケンス中に保持されたフレーム(除外したフレームは考慮しない)の平均PSNR。
・PSNRmin:シーケンス中で最も低いPSNRを有するフレームのPSNR。
・StdDev:平均に対する各フレームのPSNR値の標準偏差。これは、品質の一貫性の尺度である(StdDevのより小さな値は、PSNRavgからのより小さな変動を意味する)。
・Kbps:1秒当たりのキロビットで表した実際に符号化されたシーケンスの平均ビットレート。
・Total frms:保持されたフレームの合計部分(すなわち、1-percent_dropped(1から、除外されたパーセンテージを引き算する))、「1」は、すべてのフレームが維持されたことを意味し、0.6は、40%のフレームが除外されたことを意味することになる。
第1のテストケースでは、RMAX=44kbps、F=10fpsおよびT=8sである。
3タイプのレートコントローラに対応する上記の3つの表における結果を比較することにより、本発明の非限定的な例示の実施形態によるバッファベースのレート制御装置42および方法100は、ビデオ品質における重要な改善を生じていることが認められる。実際に、バッファベースのレート制御装置42および方法100により得られた平均PSNRは、36.26dBであり、それは、それぞれ、35.75dBおよび34.67dBであるTMN8および「最大ビットレート」コントローラの平均PSNRよりも高い。
・「最大ビットレート」: 46.1%
・フレームアクティビティを用いたバッファベース: 95.7%
第2のテストケースでは、シーケンスは、入力および出力に対して、RMAX=44kbps、F=30fpsで、また2つのイントラフレームの間の期間T=8sで符号化された。
3つのレートコントローラに対するPSNRを調べると、本発明の非限定的な例示の実施形態によるバッファベースのレート制御装置42および方法100の性能は、TMN8および「最大ビットレート」レートコントローラよりも高いことが分かる。
・「最大ビットレート」: 0.37dB
・フレームアクティビティを用いたバッファベース: 31.52dB
・「最大ビットレート」: 84.3%
・フレームアクティビティを用いたバッファベース: 96.2%
・「最大ビットレート」: 18.8%
・フレームアクティビティを用いたバッファベース: 72.7%
第3のケースでは、ビデオシーケンスは、RMAX=96kbpsのビットレート、F=10fps(符号器14の入力および出力)で、およびT=8s(2つのイントラフレーム間)で符号化された。テスト結果は、以下のように与えられる。
全体のPSNRの点では、3つのタイプのレートコントローラは、良好に動作していることが分かるが、本発明の非限定的な例示の実施形態によるバッファベースのレート制御装置42および方法100で、多少改善されていることが認められる。実際に、その結果は以下のようになる。
・「最大ビットレート」: 38.98dB
・フレームアクティビティを用いたバッファベース: 39.68dB
・「最大ビットレート」: 98.0%
・フレームアクティビティを用いたバッファベース: 99.9%
本発明の非限定的な例示の実施形態によるバッファベースのレート制御装置42および方法100は、コンピュータの記憶媒体中に配置されたコンピュータプログラムで実施されている。
・QP、PSNR、MADなどの統計量の計算、およびそのファイルへの書込み。
12 ビデオソース
14 ビデオ符号器
16 ネットワーク
18 復号器
20 ビデオ再生装置
32 動き推定モジュール
321 プロセス、要素
322 プロセス、要素
323 プロセス、要素
324 プロセス、要素
325 プロセス、要素
326 プロセス、要素
327 プロセス、要素
33 エントロピー符号化モジュール
34 動き補償モジュール
35 スイッチ
36 変換モジュール
37 係数フィルタ処理モジュール、フィルタ係数モジュール
38 量子化モジュール
39 再配列モジュール
40 ビデオバッファリング検証器、ビデオバッファ検証器
42 レート制御装置
44 フレームの複雑さ検出器、フレームの複雑さモジュール
46 QP計算器
47 バッファレベル計算器
48 目標フレームサイズ計算器
50 妥当性検査器
Claims (39)
- イントラフレームにより分離された一連のインターフレームを含むフレームのシーケンスのビデオ符号化におけるビットレートを制御する方法であって、前記符号化されたフレームは、前記符号化されたフレームを送信する前に、ビデオバッファリング装置で妥当性が検査されており、前記方法が、
フレームの前記シーケンスにおけるフレームの複雑さを測定するステップと、
各インターフレームに対して、前記インターフレームと次のイントラフレームの間の距離との関係で、前記ビデオバッファリング装置の目標バッファレベルを計算するステップと、
各インターフレームに対して、前記インターフレームと前記次のイントラフレームの間の前記距離、前記測定されたフレームの複雑さ、前記ビデオバッファリング装置の現在のバッファレベル、および前記ビデオバッファリング装置の前記計算された目標バッファレベルとの関係で、目標フレームサイズを計算するステップと、
前記計算された目標フレームサイズを用いて、フレームの前記シーケンスのビデオ符号化におけるビットレートを制御するステップと
を含む方法。 - ビデオバッファリング検証器の最大のサイズ制限を超えることなく平均ビットレートを満たすように、イントラフレームにより分離された一連のインターフレームを含むフレームのシーケンスのビデオ符号化におけるビットレートを制御する方法であって、ビデオ符号化は、前記符号化されたフレームを送信する前に、前記ビデオバッファリング検証器中で前記符号化されたフレームの妥当性を検査するステップを含んでおり、前記方法が、
フレームの前記シーケンスにおけるフレームの複雑さを測定するステップと、
各インターフレームに対して、前記インターフレームと次のイントラフレームの間の距離との関係で、前記ビデオバッファリング検証器の目標バッファレベルを計算するステップと、
各インターフレームに対して、前記インターフレームと前記次のイントラフレームの間の前記距離、前記測定されたフレームの複雑さ、前記ビデオバッファリング検証器の現在のバッファレベル、および前記ビデオバッファリング検証器の前記計算された目標バッファレベルとの関係で、目標フレームサイズを計算するステップと、
フレームの前記シーケンスのビデオ符号化における前記ビデオバッファリング検証器の最大のサイズ制限を超えることなく前記平均ビットレートを満たすように、前記計算された目標フレームサイズを用いるステップと
を含む方法。 - フレームの前記シーケンスのイントラフレームの目標フレームサイズを計算するステップを更に含む、請求項1に記載の方法。
- 前記イントラフレームの前記目標フレームサイズが、前記ビデオバッファリング装置の最大のサイズ制限との関係で計算される、請求項3に記載の方法。
- 前記イントラフレームの前記目標フレームサイズを計算する前記ステップが、量子化パラメータを計算し、前記計算された量子化パラメータを用いて、前記イントラフレームの前記目標フレームサイズを決定するステップを含む、請求項3に記載の方法。
- 前記イントラフレームの前記目標フレームサイズを計算する前記ステップが、所与の時間期間にわたり、前記計算された量子化パラメータが、前に符号化されたフレームの量子化パラメータの平均以下となる最小のフレームサイズを計算するステップを含む、請求項5に記載の方法。
- フレームの複雑さを測定する前記ステップが、インターフレームの場合、現在の画像と前に再構成された画像との間の差分を表すメトリックを計算するステップを含む、請求項1に記載の方法。
- 前記現在の画像と前記前に再構成された画像との間の差分を表す前記計算されたメトリックが、平均絶対偏差を含む、請求項7に記載の方法。
- フレームの複雑さを測定する前記ステップが、イントラフレームの場合、前記前に再構成された画像に関係する項をゼロに設定して、前記平均絶対偏差を計算するステップを含む、請求項8に記載の方法。
- 前記ビデオバッファリング検証器の前記目標バッファレベルが、更に、前記平均ビットレート、および最後のイントラフレームを符号化した後の前記ビデオバッファリング検証器のバッファレベルとの関係で計算される、請求項2に記載の方法。
- 前記ビデオバッファリング検証器の前記目標バッファレベルが、更に、前記平均ビットレート、および前記ビデオバッファリング検証器の最大バッファレベルとの関係で計算される、請求項2に記載の方法。
- 前記インターフレームの前記目標フレームサイズが、更に、前記平均ビットレート、およびオーバーフローの危険性を生ずる前記ビデオバッファリング検証器の高バッファレベルとの関係で計算される、請求項2に記載の方法。
- 符号化されたフレームのサイズが、前記ビデオバッファリング装置のオーバーフローを回避するために許容される最大値を超える場合、前記符号化されたフレームを除外するステップを含む、請求項3に記載の方法。
- 前記符号化されたフレームを除外する前記ステップの後、前記ビデオ符号化を実施する符号器の状態変数を復元するステップを含む、請求項13に記載の方法。
- 除外された符号化フレームの数が、所与の時間期間内に所与の閾値に達した場合、フレームの前記シーケンスの前記符号化されたフレームに対して実施された離散コサイン変換(DCT)係数をフィルタ処理するステップを含む、請求項1に記載の方法。
- 前記DCT係数をフィルタ処理する前記ステップが、前記DCT係数の高周波数を除去するステップを含む、請求項15に記載の方法。
- 前記DCT係数をフィルタ処理する前記ステップが、特定の数のフレームに対して前記DCTフィルタ処理を活性化するステップを含む、請求項15に記載の方法。
- 前記ビデオバッファリング検証器中で前記符号化されたフレームの妥当性を検査する前記ステップが、前記計算された目標フレームサイズの妥当性を検査するステップを含む、請求項2に記載の方法。
- 前記計算された目標フレームサイズの妥当性を検査する前記ステップが、前記ビデオバッファリング検証器のオーバーフローを回避するステップを含む、請求項18に記載の方法。
- 前記計算された目標フレームサイズの妥当性を検査する前記ステップが、前記ビデオバッファリング検証器のアンダーフローを回避するステップを含む、請求項18に記載の方法。
- イントラフレームにより分離された一連のインターフレームを含むフレームのシーケンスのビデオ符号化におけるビットレートを制御する装置であって、前記符号化されたフレームは、前記符号化されたフレームを送信する前に、ビデオバッファリング装置で妥当性が検査されており、前記装置が、
フレームの前記シーケンスにおけるフレームの複雑さの検出器と、
各インターフレームに対する、前記インターフレームと次のイントラフレームの間の距離との関係による、前記ビデオバッファリング装置の目標バッファレベルの第1の計算器と、
各インターフレームに対する、前記インターフレームと前記次のイントラフレームの間の前記距離、前記測定されたフレームの複雑さ、前記ビデオバッファリング装置の現在のバッファレベル、および前記ビデオバッファリング装置の前記計算された目標バッファレベルとの関係による、目標フレームサイズの第2の計算器と、
前記計算された目標フレームサイズに応じた、フレームの前記シーケンスのビデオ符号化における前記ビットレートの制御装置と
を備える装置。 - ビデオバッファリング検証器の最大のサイズを超えることなく平均ビットレートを満たすように、イントラフレームにより分離された一連のインターフレームを含むフレームのシーケンスのビデオ符号化におけるビットレートを制御するための装置であって、ビデオ符号化は、前記符号化されたフレームを送信する前に、前記ビデオバッファリング検証器中で前記符号化されたフレームの妥当性を検査するステップを含んでおり、前記装置が、
フレームの前記シーケンスにおけるフレームの複雑さの検出器と、
各インターフレームに対する、前記インターフレームと次のイントラフレームの間の距離との関係による、前記ビデオバッファリング検証器の目標バッファレベルの第1の計算器と、
各インターフレームに対する、前記インターフレームと前記次のイントラフレームの間の前記距離、前記測定されたフレームの複雑さ、前記ビデオバッファリング検証器の現在のバッファレベル、および前記ビデオバッファリング検証器の前記計算された目標バッファレベルとの関係による、目標フレームサイズの第2の計算器と、
フレームの前記シーケンスのビデオ符号化における前記ビデオバッファリング検証器の前記最大のサイズを超えることなく前記平均ビットレートを満たすように、前記計算された目標フレームサイズに応じた、フレームの前記シーケンスのビデオ符号化における前記ビットレートの制御装置と
を備える装置。 - フレームの前記シーケンスのイントラフレームの目標フレームサイズの計算器を更に備える、請求項21に記載の装置。
- 前記イントラフレームの前記目標フレームサイズの前記計算器が、前記ビデオバッファリング装置の最大のサイズ制限との関係で前記イントラフレームの前記目標フレームサイズを計算する、請求項23に記載の装置。
- 前記イントラフレームの前記目標フレームサイズの前記計算器が、量子化パラメータを計算し、前記計算された量子化パラメータを用いて、前記イントラフレームの前記目標フレームサイズを決定する、請求項23に記載の装置。
- フレームの複雑さの前記検出器が、インターフレームの場合、現在の画像と前に再構成された画像の間の差分を表すメトリックを計算する、請求項21に記載の装置。
- 前記現在の画像と前記前に再構成された画像の間の差分を表す前記計算されたメトリックが、平均絶対偏差を含む、請求項26に記載の装置。
- フレームの複雑さの前記検出器が、イントラフレームの場合、前記前に再構成された画像に関係する項をゼロに設定して、前記平均絶対偏差を計算する、請求項27に記載の装置。
- 前記第1の計算器が、更に前記平均ビットレート、および最後のイントラフレームを符号化した後の前記ビデオバッファリング検証器のバッファレベルとの関係で、前記ビデオバッファリング検証器の前記目標バッファレベルを計算する、請求項22に記載の装置。
- 前記第1の計算器が、更に前記平均ビットレート、および前記ビデオバッファリング検証器の最大バッファレベルとの関係で、前記ビデオバッファリング検証器の前記目標バッファレベルを計算する、請求項22に記載の装置。
- 前記第2の計算器が、更に前記平均ビットレート、およびオーバーフローの危険性を生ずる前記ビデオバッファリング検証器の高バッファレベルとの関係で、前記インターフレームの前記目標フレームサイズを計算する、請求項22に記載の装置。
- 符号化されたフレームのサイズが、前記ビデオバッファリング装置のオーバーフローを回避するために許容される最大値を超える場合、前記符号化されたフレームを除外するための前記目標フレームサイズの妥当性検査器を備える、請求項23に記載の装置。
- 前記妥当性検査器が、前記符号化されたフレームを除外した後、前記ビデオ符号化を実施する符号器の状態変数を復元するための手段を備える、請求項32に記載の装置。
- 除外された、符号化されたフレームの数が、所与の時間期間内に所与の閾値に達した場合、フレームの前記シーケンスの前記符号化されたフレームに対応するDCT係数をフィルタ処理するためのDCTフィルタを備える、請求項21に記載の装置。
- 前記DCTフィルタが、前記DCT係数の高周波数を除去する、請求項34に記載の装置。
- 前記DCTフィルタが、特定の数のフレームに対して前記DCT係数をフィルタ処理するために活性化される、請求項34に記載の装置。
- 前記計算された目標フレームサイズの妥当性検査器を更に備える、請求項22に記載の装置。
- 前記妥当性検査器が、前記ビデオバッファリング検証器のオーバーフローを回避する、請求項37に記載の装置。
- 前記妥当性検査器が、前記ビデオバッファリング検証器のアンダーフローを回避する、請求項37に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US92925507P | 2007-06-19 | 2007-06-19 | |
US60/929,255 | 2007-06-19 | ||
PCT/CA2008/001168 WO2008154742A1 (en) | 2007-06-19 | 2008-06-19 | A buffer-based rate control exploiting frame complexity, buffer level and position of intra frames in video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010530673A true JP2010530673A (ja) | 2010-09-09 |
JP5180294B2 JP5180294B2 (ja) | 2013-04-10 |
Family
ID=40155845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010512473A Active JP5180294B2 (ja) | 2007-06-19 | 2008-06-19 | ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8824546B2 (ja) |
EP (1) | EP2160903B1 (ja) |
JP (1) | JP5180294B2 (ja) |
KR (1) | KR101518358B1 (ja) |
CN (1) | CN101743753B (ja) |
CA (1) | CA2688249C (ja) |
IL (1) | IL202279A (ja) |
WO (1) | WO2008154742A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8665281B2 (en) * | 2008-02-07 | 2014-03-04 | Microsoft Corporation | Buffer management for real-time streaming |
WO2009157827A1 (en) * | 2008-06-25 | 2009-12-30 | Telefonaktiebolaget L M Ericsson (Publ) | Row evaluation rate control |
US8804508B1 (en) * | 2009-07-16 | 2014-08-12 | Teradici Corporation | Method and apparatus for using a network appliance to manage media communications |
ES2537236T3 (es) * | 2009-10-22 | 2015-06-03 | Nippon Telegraph And Telephone Corporation | Dispositivo de estimación de la calidad de vídeo, método de estimación de la calidad de vídeo, y programa de estimación de la calidad de vídeo |
US9369772B1 (en) * | 2010-04-21 | 2016-06-14 | Marvell International Ltd. | Dual PID controller based bit allocation and rate control for video coding |
CN101931799A (zh) * | 2010-09-14 | 2010-12-29 | 中兴通讯股份有限公司 | 一种视频码流的平滑方法及装置 |
TWI514324B (zh) * | 2010-11-30 | 2015-12-21 | Ind Tech Res Inst | 影像目標區域追蹤系統與方法及電腦程式產品 |
KR102163151B1 (ko) | 2011-08-30 | 2020-10-08 | 디빅스, 엘엘씨 | 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들 |
US20130083852A1 (en) * | 2011-09-30 | 2013-04-04 | Broadcom Corporation | Two-dimensional motion compensation filter operation and processing |
US9888244B2 (en) * | 2011-10-05 | 2018-02-06 | Texas Instruments Incorporated | Methods and systems for encoding of multimedia pictures |
US8874634B2 (en) * | 2012-03-01 | 2014-10-28 | Motorola Mobility Llc | Managing adaptive streaming of data via a communication connection |
US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
CN102724502B (zh) * | 2012-06-11 | 2015-08-19 | 华为技术有限公司 | 一种视频编码中码率的控制方法及装置 |
CN108965883B (zh) * | 2012-06-28 | 2022-08-30 | 阿克西斯股份公司 | 使用虚拟帧内帧对视频内容进行编码的系统和方法 |
US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
US9538190B2 (en) * | 2013-04-08 | 2017-01-03 | Qualcomm Incorporated | Intra rate control for video encoding based on sum of absolute transformed difference |
US20140321533A1 (en) * | 2013-04-29 | 2014-10-30 | Ati Technologies Ulc | Single-path variable bit rate video compression |
CN105359511A (zh) * | 2013-05-24 | 2016-02-24 | 索尼克Ip股份有限公司 | 为了自适应位速率流化而利用自适应量化编码多个视频流的系统和方法 |
FR3011429A1 (fr) * | 2013-09-27 | 2015-04-03 | Orange | Codage et decodage video par heritage d'un champ de vecteurs de mouvement |
CN105208390B (zh) * | 2014-06-30 | 2018-07-20 | 杭州海康威视数字技术股份有限公司 | 视频编码的码率控制方法及其系统 |
CN104469367B (zh) * | 2014-12-16 | 2017-11-14 | 北京金山云网络技术有限公司 | 基于丢帧和量化参数调整的视频码率控制方法 |
GB201502915D0 (en) * | 2015-02-22 | 2015-04-08 | Compton Matthew P And Riovideo Ltd | Method and apparatus for rate control subjective optimisation |
US20160360206A1 (en) * | 2015-06-04 | 2016-12-08 | Microsoft Technology Licensing, Llc | Rate controller for real-time encoding and transmission |
KR102437698B1 (ko) * | 2015-08-11 | 2022-08-30 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 이미지 인코딩 방법 |
CN105407354A (zh) * | 2015-11-06 | 2016-03-16 | 济南草履虫电子科技有限公司 | 一种计算机控制视频闪烁抑制方法 |
CN105430401A (zh) * | 2015-11-06 | 2016-03-23 | 济南草履虫电子科技有限公司 | 一种食品车间环境监测系统 |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
AU2016231584A1 (en) * | 2016-09-22 | 2018-04-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
CN106776696B (zh) * | 2016-11-11 | 2022-05-06 | 浙江宇视科技有限公司 | 一种基于分类模型的热度图数据处理方法及装置 |
US10904591B2 (en) * | 2016-12-28 | 2021-01-26 | Google Llc | Scheme for zero-copy adaptive bitrate video streaming |
CN109218748B (zh) * | 2017-06-30 | 2020-11-27 | 京东方科技集团股份有限公司 | 视频传输方法、装置及计算机可读存储介质 |
KR20190065792A (ko) * | 2017-12-04 | 2019-06-12 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 영상 데이터 전송 방법 |
US10623788B2 (en) | 2018-03-23 | 2020-04-14 | At&T Intellectual Property I, L.P. | Methods to estimate video playback buffer |
CN110166780B (zh) * | 2018-06-06 | 2023-06-30 | 腾讯科技(深圳)有限公司 | 视频的码率控制方法、转码处理方法、装置和机器设备 |
US10728180B2 (en) * | 2018-08-21 | 2020-07-28 | At&T Intellectual Property I, L.P. | Apparatus, storage medium and method for adaptive bitrate streaming adaptation of variable bitrate encodings |
CN110351595B (zh) * | 2019-07-17 | 2023-08-18 | 北京百度网讯科技有限公司 | 一种缓冲处理方法、装置、设备和计算机存储介质 |
US11178261B1 (en) | 2019-08-23 | 2021-11-16 | Fitbit, Inc. | Device communication techniques |
US11955067B2 (en) * | 2021-03-17 | 2024-04-09 | Samsung Display Co., Ltd. | Simplified rate control for an additive iterative compression system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005538606A (ja) * | 2002-09-05 | 2005-12-15 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1357758A3 (en) * | 1995-08-02 | 2004-10-27 | Matsushita Electric Industrial Co., Ltd. | Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein |
US5717464A (en) * | 1995-12-18 | 1998-02-10 | Divicom, Inc. | Rate control for a video encoder |
KR100610520B1 (ko) * | 1997-07-08 | 2006-08-09 | 소니 가부시끼 가이샤 | 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체 |
US6141380A (en) * | 1998-09-18 | 2000-10-31 | Sarnoff Corporation | Frame-level rate control for video compression |
US6233226B1 (en) * | 1998-12-14 | 2001-05-15 | Verizon Laboratories Inc. | System and method for analyzing and transmitting video over a switched network |
US6330286B1 (en) * | 1999-06-09 | 2001-12-11 | Sarnoff Corporation | Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus |
US6731685B1 (en) * | 2000-09-20 | 2004-05-04 | General Instrument Corporation | Method and apparatus for determining a bit rate need parameter in a statistical multiplexer |
US7023924B1 (en) * | 2000-12-28 | 2006-04-04 | Emc Corporation | Method of pausing an MPEG coded video stream |
US20040252758A1 (en) * | 2002-08-14 | 2004-12-16 | Ioannis Katsavounidis | Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder |
US7864840B2 (en) * | 2005-04-15 | 2011-01-04 | Inlet Technologies, Inc. | Scene-by-scene digital video processing |
US20090225829A2 (en) * | 2005-07-06 | 2009-09-10 | Do-Kyoung Kwon | Method and apparatus for operational frame-layerrate control in video encoder |
US9544602B2 (en) * | 2005-12-30 | 2017-01-10 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
US8401076B2 (en) | 2006-12-12 | 2013-03-19 | Vantrix Corporation | Video rate control for video coding standards |
-
2008
- 2008-06-19 KR KR1020097025857A patent/KR101518358B1/ko active IP Right Grant
- 2008-06-19 EP EP08783140.0A patent/EP2160903B1/en active Active
- 2008-06-19 CA CA2688249A patent/CA2688249C/en active Active
- 2008-06-19 US US12/601,267 patent/US8824546B2/en active Active
- 2008-06-19 JP JP2010512473A patent/JP5180294B2/ja active Active
- 2008-06-19 WO PCT/CA2008/001168 patent/WO2008154742A1/en active Application Filing
- 2008-06-19 CN CN200880020895.8A patent/CN101743753B/zh active Active
-
2009
- 2009-11-23 IL IL202279A patent/IL202279A/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005538606A (ja) * | 2002-09-05 | 2005-12-15 | エージェンシー フォー サイエンス,テクノロジー アンド リサーチ | ビデオシーケンスのレートを制御する方法及び装置並びにビデオ符号化装置 |
Non-Patent Citations (3)
Title |
---|
JPN6012065711; Zhengguo Li, et.al.: '"New Rate Control Algorithm"' Document:JVT-E024 [online], 20050117, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCE * |
JPN6012065712; Bo Xie, et.al.: '"A Sequence-Based Rate Control Framework for Consistent Quality Real-Time Video"' IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY Vol.16, No.1, 200601, p.56-71 * |
JPN6012065713; "wftp3.itu.int/av-arch/jvt-site/2002_10_Geneva/" [online] * |
Also Published As
Publication number | Publication date |
---|---|
IL202279A (en) | 2015-03-31 |
CA2688249A1 (en) | 2008-12-24 |
CN101743753B (zh) | 2014-05-21 |
WO2008154742A1 (en) | 2008-12-24 |
KR20100021597A (ko) | 2010-02-25 |
US8824546B2 (en) | 2014-09-02 |
CA2688249C (en) | 2015-07-07 |
IL202279A0 (en) | 2010-06-16 |
EP2160903A1 (en) | 2010-03-10 |
JP5180294B2 (ja) | 2013-04-10 |
EP2160903B1 (en) | 2016-03-02 |
US20100195713A1 (en) | 2010-08-05 |
CN101743753A (zh) | 2010-06-16 |
KR101518358B1 (ko) | 2015-05-08 |
EP2160903A4 (en) | 2011-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5180294B2 (ja) | ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御 | |
JP5676705B2 (ja) | 映像符号化規格に対応した映像レート制御の改善 | |
US7301999B2 (en) | Quantization method and system for video MPEG applications and computer program product therefor | |
US8374236B2 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
US8948242B2 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
Wang | Rate control for MPEG video coding | |
JP2006509444A (ja) | ピクチュアベースの先読みウィンドウによるレート制御 | |
EP3989560A1 (en) | Method and systems for optimized content encoding | |
Chen et al. | Distortion variation minimization in real-time video coding | |
JP3858520B2 (ja) | 動画像符号化装置及びその方法 | |
Overmeire et al. | Constant quality video coding using video content analysis | |
Jiang | Adaptive rate control for advanced video coding | |
Lonetti et al. | Temporal video transcoding for multimedia services | |
Huang et al. | MMC02-2: H. 264 Bit-rate Control Using the 3-D Perceptual Quantization Modeling | |
Hu | Bit rate control for real-time multipoint video conferencing | |
JP2004072144A (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
JP2001148855A (ja) | 画像情報変換装置及び画像情報変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120829 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5180294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |