JP2008172749A - 或るシーンの複数のマルチビュービデオを処理する方法及びシステム - Google Patents
或るシーンの複数のマルチビュービデオを処理する方法及びシステム Download PDFInfo
- Publication number
- JP2008172749A JP2008172749A JP2007201711A JP2007201711A JP2008172749A JP 2008172749 A JP2008172749 A JP 2008172749A JP 2007201711 A JP2007201711 A JP 2007201711A JP 2007201711 A JP2007201711 A JP 2007201711A JP 2008172749 A JP2008172749 A JP 2008172749A
- Authority
- JP
- Japan
- Prior art keywords
- view
- reference picture
- video
- synthesis
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000012545 processing Methods 0.000 title claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 78
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 78
- 230000002123 temporal effect Effects 0.000 claims abstract description 74
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 72
- 239000002131 composite material Substances 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 34
- 239000000872 buffer Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 36
- 230000033001 locomotion Effects 0.000 description 39
- 238000000354 decomposition reaction Methods 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 17
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 14
- 230000011664 signaling Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Abstract
【解決手段】或るシーンのマルチビュービデオを処理し、各ビデオは、特定の姿勢で配置される対応カメラにより取得され、各カメラのビューは他のカメラのビューと重なる。マルチビュービデオの特定ビューを合成するためのサイド情報が、エンコーダ又はデコーダで得られる。合成マルチビュービデオが、マルチビュービデオ及びサイド情報から合成される。参照ピクチャリストが、マルチビュービデオの各現フレーム毎に保持され、参照ピクチャリストは、取得されたマルチビュービデオの時間参照ピクチャ、空間参照ピクチャ及び合成マルチビュービデオの合成参照ピクチャをインデックス付けする。
【選択図】図10
Description
本願は、Xin他により2004年12月17日付で出願された「マルチビュービデオの分解及び符号化(Multiview Video Decomposition and Encoding)」と題する米国特許出願第11/015,390号の一部継続出願であるXin他により2005年11月30日付で出願された「マルチビュービデオを合成する方法及びシステム(Method and System for Synthesizing Multiview Videos)」と題する米国特許出願第11/292,168号の一部継続出願である、Yea他により2006年7月12日付で出願された「サイド情報を用いてビューを合成するためにマルチビュービデオを処理する方法及びシステム(Method and System for Processing Multiview Videos for View Synthesis using Side Information)」と題する米国特許出願第11/485,092号の一部継続出願である。
本発明の実施の形態1は、マルチビュービデオのフレームを符号化及び復号化するための複合的時間/ビュー間処理方法を提供する。マルチビュービデオは、異なる姿勢を有する複数のカメラによって或るシーンに関して取得されるビデオである。本発明では、カメラ姿勢をその3Dの(x,y,z)位置及びその3Dの(θ,ρ,φ)向きの両方として定義する。各姿勢はシーンの「ビュー」に対応する。
図4は、本発明の実施の形態1によるMCTF/DCVF分解400を示す。入力ビデオ401〜404のフレームが、異なる姿勢を有するカメラ1〜4によってシーン5に関して取得される。なお、図8に示すように、カメラのうちのいくつか1a及び1bは、同一位置にあり、ただし異なる向きであってもよい。どの対のカメラ間にも或る量のビューの重なりがあると仮定される。カメラの姿勢は、マルチビュービデオの取得中に変化し得る。通常、カメラは互いに同期される。各入力ビデオは、シーンの異なる「ビュー」を提供する。入力フレーム401〜404はMCTF/DCVF分解400に送られる。この分解は、符号化された低域フレーム411、符号化された高域フレーム412、及び関連するサイド情報413を生成する。高域フレームは、低域フレームを参照ピクチャとして用いて予測誤差を符号化する。分解は、選択された予測モード410に従って行われる。予測モードは、空間予測モード、時間予測モード、ビュー合成予測モード、及びイントラ予測モードを含む。予測モードは、各現フレームに関してマクロブロック毎に適応的に選択することができる。イントラ予測を用いる場合、現マクロブロックは、同一フレーム内の他のマクロブロックから予測される。
図7に示すように、分解400の出力411及び412は信号エンコーダ710に供給され、出力413はサイド情報エンコーダ720に供給される。信号エンコーダ710は、変換、量子化及びエントロピーコーディングを行って、分解された低域フレーム411及び高域フレーム412に残存する相関を除去する。このような操作は当該技術分野において既知である(Netravali及びHaskell著「デジタルピクチャ:表現、圧縮及び規格(Digital Pictures: Representation, Compression and Standards)」(Second Edition, Plenum Press, 1995))。
ビットストリーム731を復号化して(740)、入力マルチビュービデオ401〜404に対応する出力マルチビュービデオ741を生成することができる。任意で、合成ビデオも生成することができる。概して、デコーダは、エンコーダの逆の操作を行ってマルチビュービデオを再構成する。全ての低域フレーム及び高域フレームが復号化されれば、空間(ビュー)次元及び時間次元の両方において符号化品質の完全なフレーム集合が再構成され利用可能になる。
図8に示すように、ビュー合成は、1つ又は複数の実際のマルチビュービデオのフレーム803から合成ビデオのフレーム801を生成するプロセスである。言い換えれば、ビュー合成は、シーン5の選択された新たなビュー802に対応するフレーム801を合成する手段を提供する。この新たなビュー802は、入力マルチビュービデオ401〜404が取得された時点では存在しない「仮想」カメラ800に対応してもよく、又は、取得されるカメラビューに対応することができ、よって、合成ビューは、後述のようにその予測及び符号化/復号化に用いられる。
マクロブロック適応的MCTF/DCVF分解において、各マクロブロックの予測モードmは、コスト関数をマクロブロック毎に適応的に最小化することによって選択することができる。
図9は、従来技術のシングルビューの符号化及び復号化システムのための参照ピクチャ管理を示す。時間参照ピクチャ901は、復号ピクチャバッファ(DPB)940への時間参照ピクチャ901の挿入(920)及び削除(930)を決めるシングルビュー参照ピクチャリスト(RPL)マネージャ910によって管理される。参照ピクチャリスト950もまた保持されて、DPB940に格納されているフレームを示す。RPLは、挿入(920)及び削除(930)といった参照ピクチャ管理操作、並びにエンコーダ及びデコーダの両方における時間予測960のために用いられる。
エンコーダにおいて現フレームを符号化する前、又はデコーダにおいて現フレームを復号化する前に、マルチビューRPL1050においてマルチビュー参照ピクチャ1005の集合を指示することができる。従来及び本明細書中で定義されるように、集合は要素を全く有しなくても(空集合)、1つ又は複数の要素を有してもよい。RPLの同一コピーが、現フレーム毎にエンコーダ及びデコーダの両方によって保持される。
RPLを保持するプロセスは、エンコーダ700とデコーダ740との間で調整される。特に、エンコーダ及びデコーダは、特定の現フレームを予測する際にマルチビュー参照ピクチャリストの同一コピーを保持する。
マルチビューRPLマネージャ1010は、マルチビュー参照ピクチャがDPBに格納される順序が、符号化及び復号化の効率を高める上でのピクチャの「有用性」に対応するようにRPLを保持する。具体的には、RPLの初めの方の参照ピクチャは、RPLの終わりの方の参照ピクチャよりも少ないビットで予測(predicatively)符号化することができる。
本発明の実施の形態1によるマルチビューピクチャ管理の1つの重要な利点は、既存のシングルビューのビデオコーディングシステム及び設計と互換性があることである。このマルチビューピクチャ管理は、既存のシングルビュービデオコーディング規格に加える変更が最小であるだけでなく、既存のシングルビュービデオコーディングシステムからのソフトウェア及びハードウェアを、本明細書に記載するマルチビュービデオコーディングに使用することも可能にする。
図8に関して上述したように、ビュー合成は、仮想カメラ800の合成ビュー802に対応するフレーム801を、既存のビデオから取得されるフレーム803から生成するプロセスである。言い換えれば、ビュー合成は、入力ビデオが取得された時点では存在しない仮想カメラによるシーンの選択された新たなビューに対応するフレームを合成する手段を提供する。1つ又は複数の実際のビデオのフレームの画素値及びシーン中の点の奥行き値が与えられると、合成ビデオビューのフレーム内の画素を外挿及び/又は内挿により生成することができる。
図16は、奥行き1901の情報が符号化マルチビュービットストリーム731に含まれている時に、ビュー合成モードを用いて再構成マクロブロックを生成するプロセスを示す。所与のマクロブロックの奥行きは、サイド情報デコーダ1910によって復号化される。奥行き1901及び空間参照ピクチャ1902を用いてビュー合成1920を行い、合成マクロブロック1904を生成する。次に、合成マクロブロック1904と復号化された残差マクロブロック1905とを加算する(1930)ことによって再構成マクロブロック1903が形成される。
図17は、現フレームの符号化又は復号化中に予測モードを選択するプロセスを示す。時間参照ピクチャ2020を用いて現マクロブロック2011に関して動き推定2010を行う。結果として得られる動きベクトル2021を用いて、時間予測を用いる第1のコーディングコストcost12031を求める(2030)。このプロセスに関連する予測モードはm1である。
ビュー合成モード2091を用いて、合成ビューの奥行き情報及び変位ベクトルを、1つ又は複数のマルチビュービデオの復号化フレームから推定することができる。奥行き情報は、適用されるプロセスに応じて、立体カメラから推定される画素毎の奥行きであってもよく、又は、マクロブロックマッチングから推定されるマクロブロック毎の奥行きであってもよい。
従来のビデオ中のフレームに対しランダムアクセスを提供するために、Iフレームとしても知られるイントラフレームが通常、ビデオ全体に間隔を置いて配置される。これにより、デコーダは、復号化シーケンス中の任意のフレームにアクセスすることが可能になるが、圧縮効率は低下する。
上記セクションは、マルチビューのコーディング及び奥行き推定における予測を改善するためのビュー合成を説明する。次に、可変ブロックサイズの奥行き及び動き探索、レート−歪み(RD)の決定、サブペル参照奥行き探索、並びに奥行き情報の文脈適応2進法算術コーディング(CABAC)の実装を説明する。コーディングは、エンコーダにおける符号化及びデコーダにおける復号化を含み得る。CABACは、H.624規格パート10(参照により本明細書中に援用される)により規定される。
カメラ間及び時刻間に存在する相関を取り込むために、2つのブロック予測方法を実行した。
1)視差補償ビュー予測(DCVP)、及び
2)ビュー合成予測(VSP)
第1の方法であるDCVPは、同一(ビュー)カメラの異なる時刻からのフレームを使用するのではなく、同時刻における異なるカメラ(ビュー)からのフレームを使用して現フレームを予測することに対応する。DCVPは、例えば遮蔽、物体がシーンに入ってくるか又はシーンから出て行くこと、又は速い動きのために時間的相関が空間的相関よりも低い場合に利得を提供する。
第2の方法であるVSPは、仮想カメラのフレームを合成してフレームシーケンスを予測する。VSPは、カメラビュー間の並進でない動きの存在によりDCVPに対して相補的であり、実際の応用において多くの場合にそうであるように、カメラパラメータが高品質の仮想ビューを提供するのに十分に正確である場合に利得を提供する。
上記では、構文を変更することなくDCVPの使用を可能にするピクチャバッファの管理方法を説明した。カメラビュー間の視差ベクトルは、動き推定ステップを用いることによって求め、単なる拡張参照タイプとして用いることができた。VSPをもう1つのタイプの参照として用いるために、通常の動き推定プロセスを以下のように拡張する。
本発明では、ブロックベースの奥行き探索プロセスを用いて、可変サイズのサブマクロブロック毎に最適な奥行きを求める。具体的には、最小奥行き値Dmin、最大奥行き値Dmax、及び増分奥行き値Dstepを定義する。次に、予測したいフレーム内の可変サイズのサブマクロブロック毎に、次式の合成ブロックの誤差を最小化する奥行きを選択する。
異なるカメラの2つの対応する画素の視差は概して、整数の正確な倍数では与えられないため、式(2)により与えられる予測を行う基準としたいカメラc’のフレームのターゲット座標[x’,y’,z’]は、常に整数グリッドの点に該当するとは限らない。したがって、本発明では内挿を用いて、参照フレーム内のサブペル位置の画素値を生成する。これにより、整数ペルではなく最も近いサブペル参照点を選択できるようになり、画素間の真の視差により正確に近似する。
本発明では、サブペル精度の補正ベクトルの使用を可能にすることにより合成品質をさらに高めることができる。これは特に、上述のサブペル参照マッチングと組み合わせる場合に当てはまる。なお、サブペル動きベクトル探索とこのサブペル補正ベクトル探索との間にはわずかな違いがある。
奥行き推定では、規則化により、より滑らかな奥行きマップを達成することができる。規則化は、合成予測の視覚的品質を改善するが、差分絶対値和(SAD)により測定した場合にその予測品質をわずかに低下させる。
モード決定は、次のように定義されるラグランジュコスト関数Jmodeを最小化するmb_typeを選択することによって行うことができる。
本発明では、各合成MBがRDモード決定により最良の参照として選択される場合に、そのMBの奥行き値及び補正ベクトルを符号化しなければならないことに留意されたい。奥行き値及び補正ベクトルの両方が、連結単項/三次指数ゴロム(concatenated unary/3rd−order Exp−Golomb)(UEG3)2値化を用いて、signedValFlag=1とし、カットオフパラメータuCoff=9として、動きベクトルと全く同様に量子化される。
上述のように、本発明では、時間参照及び純粋なマルチビュー参照に加えて合成参照ピクチャを組み込む。上記では、上記で参照したH.264/AVC規格における既存の参照ピクチャリスト管理と互換性のあるマルチビュー参照ピクチャリスト管理方法を説明した。
従来のスキップモードでは、動きベクトル情報及び参照インデックスは、同じ場所にあるマクロブロック又は近傍マクロブロックから導出される。ビュー合成に基づくビュー間予測を考えると、その同じ場所にあるマクロブロック又は近傍マクロブロックから奥行きベクトルの情報及び補正ベクトルの情報を導出する類似のモードも同様に考えられる。この新たな符号化モードを合成スキップモードと呼ぶ。
スキップモードと同様に、Bスライスのための従来のダイレクトモードもまた、近傍マクロブロックから動きベクトル情報及び参照インデックスを導出する。ダイレクトモードは残差データも存在する点でスキップモードと異なる。合成スキップモードを提供するのと同じ理由から、本発明では合成ダイレクトモードと呼ぶ、ダイレクトモードの類似の拡張も説明する。
depthd_l0[mbPartIdx][0]は、使用される奥行き値とその予測との間の差を指定する。インデックスmbPartIdxは、どのマクロブロック境界にdepthd_l0を割り当てるのかを指定する。マクロブロックの分割はmb_typeにより指定される。
depthd_l0[mbPartIdx][subMbPartIdx]はdepthd_l0と同じ意味を有するが、ただし、subMbPartIdxを有するサブマクロブロック境界インデックスに適用される。インデックスmbPartIdx及びsubMbPartIdxは、どのマクロブロック境界及びサブマクロブロック境界にdepthd_l0を割り当てるのかを指定する。
multiview_typeが1である場合、現ビューが他のビューから合成されることを指定する。multiview_typeが0である場合、現ビューが合成されたものではないことを示す。
Claims (20)
- 或るシーンの複数のマルチビュービデオを処理する方法であって、各ビデオは、特定の姿勢で配置される対応するカメラにより取得され、各カメラのビューは少なくとも1つの他のカメラのビューと重なり、
前記マルチビュービデオの特定のビューを合成するためのサイド情報を得るステップと、
前記複数のマルチビュービデオ及び前記サイド情報から合成マルチビュービデオを合成するステップと、
前記複数のマルチビュービデオの各々の現フレーム毎に参照ピクチャリストを保持するステップであって、該参照ピクチャリストは、取得された前記複数のマルチビュービデオの時間参照ピクチャ及び空間参照ピクチャ並びに前記合成マルチビュービデオの合成参照ピクチャをインデックス付けする、保持するステップと、
前記複数のマルチビュービデオの各現フレームを、合成スキップモード及び合成ダイレクトモードによって、関連する前記参照ピクチャリストによりインデックス付けされた参照ピクチャに従って予測するステップであって、それによって、前記合成参照ピクチャからサイド情報が推測される、予測するステップと
を含む、或るシーンの複数のマルチビュービデオを処理する方法。 - 前記合成スキップモードは対応する前記合成参照ピクチャに関連する、請求項1に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成スキップモードはmb_skip_flagに付加的なビットを追加することによってシグナリングされる、請求項2に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記付加的なビットは前記mb_skip_flagが1に等しい場合に追加されて、従来のスキップモードと前記合成スキップモードとが区別され、該付加的なビットは該合成スキップモードをシグナリングするために1に等しく、該従来のスキップモードをシグナリングするために0に等しい、請求項3に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記付加的なビットは前記mb_skip_flagが0に等しい場合に追加されて、従来の非スキップモードと前記合成スキップモードとが区別され、該付加的なビットは該合成スキップモードをシグナリングするために1に等しく、該従来の非スキップモードをシグナリングするために0に等しい、請求項3に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成スキップモードは或るスライス層においてシグナリングされ、該スライス内のすべてのマクロブロックに該合成スキップモードがまとめてシグナリングされる、請求項2に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成スキップモードはPスライスにシグナリングされ、前記参照ピクチャリスト内の第1のビュー合成参照ピクチャが前記参照ピクチャとして選択される、請求項2に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成スキップモードはBスライスにシグナリングされ、前記参照ピクチャリスト内の最初のビュー合成参照ピクチャが前記参照ピクチャとして選択される、請求項2に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記サイド情報は、奥行き値及び補正ベクトルを含む、請求項1に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 奥行き値は前記合成スキップモードのために導出され、利用可能な近傍奥行き値の平均である、請求項2に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 補正ベクトルは前記合成スキップモードのために導出され、利用可能な近傍補正ベクトルの平均である、請求項2に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成ダイレクトモードは対応する前記合成参照ピクチャに関連する、請求項1に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成ダイレクトモードは付加的なマクロブロックモードとしてシグナリングされる、請求項12に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成ダイレクトモードは付加的なフラグによってシグナリングされる、請求項12に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記合成ダイレクトモードはBスライスにシグナリングされ、前記参照ピクチャリスト内の最初のビュー合成参照ピクチャが前記参照ピクチャとして選択される、請求項12に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 奥行き値は前記合成ダイレクトモードのために導出され、利用可能な近傍奥行き値の平均である、請求項12に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 補正ベクトルは前記合成ダイレクトモードのために導出され、利用可能な近傍補正ベクトルの平均である、請求項12に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記サイド情報はエンコーダにおいて得られる、請求項1に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 前記サイド情報はデコーダにおいて得られる、請求項1に記載の或るシーンの複数のマルチビュービデオを処理する方法。
- 或るシーンの複数のマルチビュービデオを処理するシステムであって、
複数のカメラであって、それぞれがシーンのマルチビュービデオを取得するように構成され、それぞれが特定の姿勢で配置され、それぞれのビューが少なくとも1つの他のカメラのビューと重なる、複数のカメラと、
前記マルチビュービデオの特定のビューを合成するためのサイド情報を得る手段と、
前記複数のマルチビュービデオ及び前記サイド情報から合成マルチビュービデオを合成する手段と、
前記複数のマルチビュービデオの各々の現フレーム毎に参照ピクチャリストを保持するように構成されるメモリバッファであって、該参照ピクチャリストは、取得された前記複数のマルチビュービデオの時間参照ピクチャ及び空間参照ピクチャ並びに前記合成マルチビュービデオの合成参照ピクチャをインデックス付けする、メモリバッファと、
前記複数のマルチビュービデオの各現フレームを、合成スキップモード及び合成ダイレクトモードによって、関連する前記参照ピクチャリストによりインデックス付けされた参照ピクチャに従って予測する手段であって、それによって、前記合成参照ピクチャから前記サイド情報が推測される、予測する手段と
を備える、或るシーンの複数のマルチビュービデオを処理するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/621,400 | 2007-01-09 | ||
US11/621,400 US7671894B2 (en) | 2004-12-17 | 2007-01-09 | Method and system for processing multiview videos for view synthesis using skip and direct modes |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008172749A true JP2008172749A (ja) | 2008-07-24 |
JP5116394B2 JP5116394B2 (ja) | 2013-01-09 |
Family
ID=39711348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007201711A Expired - Fee Related JP5116394B2 (ja) | 2007-01-09 | 2007-08-02 | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7671894B2 (ja) |
EP (1) | EP1978750A3 (ja) |
JP (1) | JP5116394B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009532931A (ja) * | 2006-03-30 | 2009-09-10 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号のデコーディング/エンコーディング方法及び装置 |
JP2012503813A (ja) * | 2008-09-25 | 2012-02-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 三次元画像データ処理 |
US8532182B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
JP2014513896A (ja) * | 2011-04-19 | 2014-06-05 | サムスン エレクトロニクス カンパニー リミテッド | 多視点ビデオのための単一化されたスケーラブルビデオ符号化方法及びその装置、多視点ビデオのための単一化されたスケーラブルビデオ復号化方法及びその装置 |
JP2015502057A (ja) * | 2011-11-17 | 2015-01-19 | 三菱電機株式会社 | シーンの複数のマルチビュービデオを処理する方法及びシステム |
US9485492B2 (en) | 2010-09-14 | 2016-11-01 | Thomson Licensing Llc | Compression methods and apparatus for occlusion data |
US9538182B2 (en) | 2011-01-20 | 2017-01-03 | Samsung Electronics Co., Ltd. | Apparatus and method for adaptive frame prediction for multiview video sequence coding |
US9942558B2 (en) | 2009-05-01 | 2018-04-10 | Thomson Licensing | Inter-layer dependency information for 3DV |
Families Citing this family (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
US8823821B2 (en) | 2004-12-17 | 2014-09-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using motion vector predictor list |
KR100703760B1 (ko) * | 2005-03-18 | 2007-04-06 | 삼성전자주식회사 | 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치 |
JP4950206B2 (ja) * | 2005-10-11 | 2012-06-13 | ノキア コーポレイション | 効率的なスケーラブルストリーム適応のためのシステム及び方法 |
US20100091845A1 (en) * | 2006-03-30 | 2010-04-15 | Byeong Moon Jeon | Method and apparatus for decoding/encoding a video signal |
WO2007148906A1 (en) * | 2006-06-19 | 2007-12-27 | Lg Electronics, Inc. | Method and apparatus for processing a vedeo signal |
US9456223B2 (en) * | 2006-10-18 | 2016-09-27 | Thomson Licensing | Local illumination and color compensation without explicit signaling |
US8873932B2 (en) * | 2007-12-11 | 2014-10-28 | Cisco Technology, Inc. | Inferential processing to ascertain plural levels of picture interdependencies |
US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US8416859B2 (en) * | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
US20090100482A1 (en) * | 2007-10-16 | 2009-04-16 | Rodriguez Arturo A | Conveyance of Concatenation Properties and Picture Orderness in a Video Stream |
KR100801968B1 (ko) * | 2007-02-06 | 2008-02-12 | 광주과학기술원 | 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더 |
US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
US8804845B2 (en) * | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
US10298952B2 (en) * | 2007-08-06 | 2019-05-21 | Interdigital Madison Patent Holdings | Methods and apparatus for motion skip move with multiple inter-view reference pictures |
EP2177036A2 (en) * | 2007-08-15 | 2010-04-21 | Thomson Licensing | Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors |
CN101415114B (zh) * | 2007-10-17 | 2010-08-25 | 华为终端有限公司 | 视频编解码方法和装置以及视频编解码器 |
JP5144237B2 (ja) * | 2007-12-05 | 2013-02-13 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
KR101560182B1 (ko) * | 2008-01-07 | 2015-10-15 | 삼성전자주식회사 | 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 |
WO2009088976A1 (en) * | 2008-01-07 | 2009-07-16 | Thomson Licensing | Methods and apparatus for video encoding and decoding using parametric filtering |
KR101524465B1 (ko) | 2008-01-10 | 2015-06-02 | 삼성전자주식회사 | 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 |
CN101483765B (zh) * | 2008-01-11 | 2011-09-21 | 华为技术有限公司 | 一种图像处理方法、编解码方法及装置 |
US8416858B2 (en) * | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
WO2009111007A1 (en) * | 2008-03-04 | 2009-09-11 | Thomson Licensing | Virtual reference view |
ES2812473T3 (es) | 2008-03-19 | 2021-03-17 | Nokia Technologies Oy | Vector de movimiento combinado y predicción de índice de referencia para la codificación de vídeo |
CN102017628B (zh) * | 2008-04-25 | 2013-10-09 | 汤姆逊许可证公司 | 深度信号的编码 |
WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
EP2297964A4 (en) * | 2008-06-25 | 2017-01-18 | Cisco Technology, Inc. | Support for blocking trick mode operations |
KR101663819B1 (ko) | 2008-08-20 | 2016-10-10 | 톰슨 라이센싱 | 정제된 깊이 맵 |
US8385404B2 (en) * | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
JP5680283B2 (ja) * | 2008-09-19 | 2015-03-04 | 株式会社Nttドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム |
US8259814B2 (en) * | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
KR101619448B1 (ko) * | 2008-11-18 | 2016-05-10 | 엘지전자 주식회사 | 영상 신호 처리 방법 및 장치 |
KR101479011B1 (ko) * | 2008-12-17 | 2015-01-13 | 삼성전자주식회사 | 다중 대역 스케쥴링 방법 및 이를 이용한 방송 서비스 시스템 |
US20110057326A1 (en) * | 2008-12-17 | 2011-03-10 | Takayuki Kai | Method for forming through electrode and semiconductor device |
KR101260613B1 (ko) | 2008-12-26 | 2013-05-03 | 닛뽕빅터 가부시키가이샤 | 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램 |
US20100165078A1 (en) * | 2008-12-30 | 2010-07-01 | Sensio Technologies Inc. | Image compression using checkerboard mosaic for luminance and chrominance color space images |
WO2010144074A1 (en) | 2009-01-07 | 2010-12-16 | Thomson Licensing | Joint depth estimation |
WO2010093351A1 (en) * | 2009-02-13 | 2010-08-19 | Thomson Licensing | Depth map coding to reduce rendered distortion |
WO2010096767A1 (en) * | 2009-02-20 | 2010-08-26 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
EP2400759B1 (en) * | 2009-02-23 | 2014-08-27 | Nippon Telegraph And Telephone Corporation | Multi-view image encoding and decoding using localized illumination and color correction |
US20100218232A1 (en) * | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
US8395642B2 (en) * | 2009-03-17 | 2013-03-12 | Mitsubishi Electric Research Laboratories, Inc. | Method for virtual image synthesis |
US8693539B2 (en) * | 2009-03-26 | 2014-04-08 | Panasonic Corporation | Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus |
US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
US20100259595A1 (en) * | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
KR101619451B1 (ko) | 2009-04-17 | 2016-05-10 | 엘지전자 주식회사 | 다시점 비디오 신호의 처리 방법 및 장치 |
US8639046B2 (en) * | 2009-05-04 | 2014-01-28 | Mamigo Inc | Method and system for scalable multi-user interactive visualization |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) * | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US9648346B2 (en) * | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
US9148673B2 (en) * | 2009-06-25 | 2015-09-29 | Thomson Licensing | Depth map coding |
US20120212579A1 (en) * | 2009-10-20 | 2012-08-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and Arrangement for Multi-View Video Compression |
US20110109721A1 (en) * | 2009-11-06 | 2011-05-12 | Sony Corporation | Dynamic reference frame reordering for frame sequential stereoscopic video encoding |
KR101789845B1 (ko) | 2010-01-22 | 2017-11-20 | 톰슨 라이센싱 | 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치 |
JP5805665B2 (ja) | 2010-01-22 | 2015-11-04 | トムソン ライセンシングThomson Licensing | Example−based超解像を用いたビデオ圧縮のためのデータプルーニング |
JP5629783B2 (ja) * | 2010-01-26 | 2014-11-26 | ヴィディオ・インコーポレーテッド | 低計算量の高フレームレートビデオエンコーダ |
US8687044B2 (en) * | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US8619122B2 (en) * | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
KR101374812B1 (ko) * | 2010-02-24 | 2014-03-18 | 니폰덴신뎅와 가부시키가이샤 | 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램 |
US9082278B2 (en) * | 2010-03-19 | 2015-07-14 | University-Industry Cooperation Group Of Kyung Hee University | Surveillance system |
US8602887B2 (en) | 2010-06-03 | 2013-12-10 | Microsoft Corporation | Synthesis of information from multiple audiovisual sources |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
CN101945299B (zh) * | 2010-07-09 | 2013-10-09 | 清华大学 | 一种基于拍摄设备阵列的动态场景深度恢复方法 |
CN105847780B (zh) | 2010-07-21 | 2018-01-09 | 杜比实验室特许公司 | 用于多层帧兼容视频传输的解码方法 |
US9544598B2 (en) | 2010-09-10 | 2017-01-10 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
US20130170564A1 (en) | 2010-09-10 | 2013-07-04 | Thomson Licensing | Encoding of a picture in a video sequence by example-based data pruning using intra-frame patch similarity |
US8503528B2 (en) | 2010-09-15 | 2013-08-06 | Google Inc. | System and method for encoding video using temporal filter |
CN103155559B (zh) * | 2010-10-12 | 2016-01-06 | 杜比实验室特许公司 | 用于帧兼容视频传输的联合层优化 |
US20130120528A1 (en) * | 2011-01-09 | 2013-05-16 | Thomson Licensing | Video processing apparatus and method for detecting a temporal synchronization mismatch |
KR101187530B1 (ko) * | 2011-03-02 | 2012-10-02 | 한국과학기술원 | 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체 |
WO2012128068A1 (ja) * | 2011-03-18 | 2012-09-27 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
US8638854B1 (en) | 2011-04-07 | 2014-01-28 | Google Inc. | Apparatus and method for creating an alternate reference frame for video compression using maximal differences |
TWI530161B (zh) * | 2011-06-07 | 2016-04-11 | Sony Corp | Image processing apparatus and method |
CN102256133B (zh) * | 2011-08-26 | 2013-11-06 | 北京邮电大学 | 一种基于边信息精化的分布式视频编码及解码方法 |
KR20130022923A (ko) * | 2011-08-26 | 2013-03-07 | 삼성전자주식회사 | 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법 |
KR101626683B1 (ko) * | 2011-08-30 | 2016-06-01 | 인텔 코포레이션 | 멀티뷰 비디오 코딩 방안 |
JP5972888B2 (ja) | 2011-09-29 | 2016-08-17 | シャープ株式会社 | 画像復号装置、画像復号方法および画像符号化装置 |
CN103828364B (zh) * | 2011-09-29 | 2018-06-12 | 夏普株式会社 | 图像解码装置、图像解码方法及图像编码装置 |
GB2559062B (en) | 2011-10-17 | 2018-11-14 | Kt Corp | Video decoding method using transform method selected from a transform method set |
KR102020024B1 (ko) * | 2011-10-25 | 2019-09-10 | 삼성전자주식회사 | 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법 |
US20130100245A1 (en) * | 2011-10-25 | 2013-04-25 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding using virtual view synthesis prediction |
CN103096141B (zh) * | 2011-11-08 | 2019-06-11 | 华为技术有限公司 | 一种获取视觉角度的方法、装置及系统 |
EP2777256B1 (en) | 2011-11-11 | 2017-03-29 | GE Video Compression, LLC | Multi-view coding with effective handling of renderable portions |
WO2013068457A1 (en) | 2011-11-11 | 2013-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications |
EP2777266B1 (en) | 2011-11-11 | 2018-07-25 | GE Video Compression, LLC | Multi-view coding with exploitation of renderable portions |
AU2013215198A1 (en) * | 2012-01-31 | 2014-08-28 | Vid Scale, Inc. | Reference picture set (RPS) signaling for scalable high efficiency video coding (HEVC) |
US9503702B2 (en) * | 2012-04-13 | 2016-11-22 | Qualcomm Incorporated | View synthesis mode for three-dimensional video coding |
US9609341B1 (en) | 2012-04-23 | 2017-03-28 | Google Inc. | Video data encoding and decoding using reference picture lists |
WO2013162980A2 (en) | 2012-04-23 | 2013-10-31 | Google Inc. | Managing multi-reference picture buffers for video data coding |
US20130287093A1 (en) * | 2012-04-25 | 2013-10-31 | Nokia Corporation | Method and apparatus for video coding |
US9860555B2 (en) * | 2012-05-22 | 2018-01-02 | Lg Electronics Inc. | Method and apparatus for processing video signal |
US9014266B1 (en) | 2012-06-05 | 2015-04-21 | Google Inc. | Decimated sliding windows for multi-reference prediction in video coding |
US9648347B1 (en) * | 2012-06-14 | 2017-05-09 | Pixelworks, Inc. | Disparity postprocessing and interpolation for motion estimation and motion correction |
WO2014010537A1 (en) * | 2012-07-09 | 2014-01-16 | Mitsubishi Electric Corporation | Method and system for processing multiview videos for view synthesis using motion vector predictor list |
CN104782123A (zh) * | 2012-10-22 | 2015-07-15 | 数码士控股有限公司 | 用于预测视点间运动的方法以及用于确定3维视频中的视点间合并候选的方法 |
CN102957932A (zh) * | 2012-11-02 | 2013-03-06 | 同济大学 | 基于最优停止理论的编码模式快速自动选择方法 |
US10136119B2 (en) * | 2013-01-10 | 2018-11-20 | Qualcomm Incoporated | View synthesis in 3D video |
WO2014168561A1 (en) * | 2013-04-12 | 2014-10-16 | Telefonaktiebolaget L M Ericsson (Publ) | Constructing inter-layer reference picture lists |
US10080036B2 (en) * | 2013-05-16 | 2018-09-18 | City University Of Hong Kong | Method and apparatus for depth video coding using endurable view synthesis distortion |
US9756331B1 (en) | 2013-06-17 | 2017-09-05 | Google Inc. | Advance coded reference prediction |
WO2015037473A1 (ja) * | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
US10194163B2 (en) | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
US10057593B2 (en) * | 2014-07-08 | 2018-08-21 | Brain Corporation | Apparatus and methods for distance estimation using stereo imagery |
US10055850B2 (en) | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
US10197664B2 (en) | 2015-07-20 | 2019-02-05 | Brain Corporation | Apparatus and methods for detection of objects using broadband signals |
KR20180053028A (ko) * | 2016-11-11 | 2018-05-21 | 삼성전자주식회사 | 계층 구조를 구성하는 프레임들에 대한 인코딩을 수행하는 비디오 처리 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006064710A1 (en) * | 2004-12-17 | 2006-06-22 | Mitsubishi Denki Kabushiki Kaisha | Method and system for decomposing multiview videos |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
GB9616262D0 (en) * | 1996-08-02 | 1996-09-11 | Philips Electronics Nv | Post-processing generation of focus/defocus effects for computer graphics images |
US6055274A (en) * | 1997-12-30 | 2000-04-25 | Intel Corporation | Method and apparatus for compressing multi-view video |
KR100433625B1 (ko) * | 2001-11-17 | 2004-06-02 | 학교법인 포항공과대학교 | 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치 |
CN100452883C (zh) * | 2001-12-17 | 2009-01-14 | 微软公司 | 处理视频图像的方法 |
KR100481732B1 (ko) * | 2002-04-20 | 2005-04-11 | 전자부품연구원 | 다 시점 동영상 부호화 장치 |
US7483488B1 (en) * | 2002-05-30 | 2009-01-27 | Intervideo, Inc. | Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model |
US20060206582A1 (en) * | 2003-11-17 | 2006-09-14 | David Finn | Portable music device with song tag capture |
TWI238996B (en) | 2004-09-22 | 2005-09-01 | Benq Corp | Optical disk device |
-
2007
- 2007-01-09 US US11/621,400 patent/US7671894B2/en not_active Expired - Fee Related
- 2007-08-02 JP JP2007201711A patent/JP5116394B2/ja not_active Expired - Fee Related
- 2007-12-07 EP EP07023763A patent/EP1978750A3/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006064710A1 (en) * | 2004-12-17 | 2006-06-22 | Mitsubishi Denki Kabushiki Kaisha | Method and system for decomposing multiview videos |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8565303B2 (en) | 2006-03-30 | 2013-10-22 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8634475B2 (en) | 2006-03-30 | 2014-01-21 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal using a reference picture list for inter-view prediction |
US8363732B2 (en) | 2006-03-30 | 2013-01-29 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8411744B2 (en) | 2006-03-30 | 2013-04-02 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8428130B2 (en) | 2006-03-30 | 2013-04-23 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8432972B2 (en) | 2006-03-30 | 2013-04-30 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8457207B2 (en) | 2006-03-30 | 2013-06-04 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8472519B2 (en) | 2006-03-30 | 2013-06-25 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8483273B2 (en) | 2006-03-30 | 2013-07-09 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8526504B2 (en) | 2006-03-30 | 2013-09-03 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a multi-view video signal with inter-view reference picture list management |
JP2009532931A (ja) * | 2006-03-30 | 2009-09-10 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号のデコーディング/エンコーディング方法及び装置 |
US8611427B2 (en) | 2006-03-30 | 2013-12-17 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8611419B2 (en) | 2006-03-30 | 2013-12-17 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8576920B2 (en) | 2006-03-30 | 2013-11-05 | Lg Electronics, Inc. | Method and apparatus for decoding/encoding a video signal |
US8571113B2 (en) | 2006-03-30 | 2013-10-29 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8565319B2 (en) | 2006-03-30 | 2013-10-22 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8559523B2 (en) | 2006-03-30 | 2013-10-15 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8559505B2 (en) | 2006-03-30 | 2013-10-15 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
US8532182B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8711932B2 (en) | 2006-08-25 | 2014-04-29 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8559507B2 (en) | 2006-08-25 | 2013-10-15 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8532178B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8532181B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8532184B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8532183B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8532180B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8630344B2 (en) | 2006-08-25 | 2014-01-14 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8855200B2 (en) | 2006-08-25 | 2014-10-07 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8649433B2 (en) | 2006-08-25 | 2014-02-11 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8660179B2 (en) | 2006-08-25 | 2014-02-25 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8681863B2 (en) | 2006-08-25 | 2014-03-25 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8559508B2 (en) | 2006-08-25 | 2013-10-15 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8718136B2 (en) | 2006-08-25 | 2014-05-06 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8724700B2 (en) | 2006-08-25 | 2014-05-13 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8767827B2 (en) | 2006-08-25 | 2014-07-01 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
US8761255B2 (en) | 2006-08-25 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
JP2012503813A (ja) * | 2008-09-25 | 2012-02-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 三次元画像データ処理 |
US9942558B2 (en) | 2009-05-01 | 2018-04-10 | Thomson Licensing | Inter-layer dependency information for 3DV |
US9485492B2 (en) | 2010-09-14 | 2016-11-01 | Thomson Licensing Llc | Compression methods and apparatus for occlusion data |
US9883161B2 (en) | 2010-09-14 | 2018-01-30 | Thomson Licensing | Compression methods and apparatus for occlusion data |
US9538182B2 (en) | 2011-01-20 | 2017-01-03 | Samsung Electronics Co., Ltd. | Apparatus and method for adaptive frame prediction for multiview video sequence coding |
JP2014513896A (ja) * | 2011-04-19 | 2014-06-05 | サムスン エレクトロニクス カンパニー リミテッド | 多視点ビデオのための単一化されたスケーラブルビデオ符号化方法及びその装置、多視点ビデオのための単一化されたスケーラブルビデオ復号化方法及びその装置 |
JP2015502057A (ja) * | 2011-11-17 | 2015-01-19 | 三菱電機株式会社 | シーンの複数のマルチビュービデオを処理する方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
EP1978750A2 (en) | 2008-10-08 |
JP5116394B2 (ja) | 2013-01-09 |
US20070109409A1 (en) | 2007-05-17 |
US7671894B2 (en) | 2010-03-02 |
EP1978750A3 (en) | 2010-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5116394B2 (ja) | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム | |
JP5744333B2 (ja) | シーンのマルチビュービデオを処理する方法及びシステム | |
JP5013993B2 (ja) | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム | |
JP4890201B2 (ja) | マルチビュービデオを管理する方法及びシステム | |
JP5274766B2 (ja) | マルチビュービデオを予測する方法及びシステム | |
JP5106830B2 (ja) | マルチビュービデオにランダムにアクセスする方法及びシステム | |
JP5154681B2 (ja) | マルチビュービデオをエンコードする方法 | |
US7728878B2 (en) | Method and system for processing multiview videos for view synthesis using side information | |
EP2870766B1 (en) | Method and system for processing multiview videos for view synthesis using motion vector predictor list |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121016 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5116394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |