JP2021145379A - 符号化装置 - Google Patents
符号化装置 Download PDFInfo
- Publication number
- JP2021145379A JP2021145379A JP2021096226A JP2021096226A JP2021145379A JP 2021145379 A JP2021145379 A JP 2021145379A JP 2021096226 A JP2021096226 A JP 2021096226A JP 2021096226 A JP2021096226 A JP 2021096226A JP 2021145379 A JP2021145379 A JP 2021145379A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- prediction
- block
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 253
- 230000008569 process Effects 0.000 claims abstract description 220
- 238000012545 processing Methods 0.000 claims abstract description 192
- 230000015654 memory Effects 0.000 claims abstract description 103
- 230000033001 locomotion Effects 0.000 description 146
- 238000006243 chemical reaction Methods 0.000 description 115
- 238000013139 quantization Methods 0.000 description 103
- 239000013598 vector Substances 0.000 description 73
- 238000010586 diagram Methods 0.000 description 60
- 230000003044 adaptive effect Effects 0.000 description 42
- 238000003702 image correction Methods 0.000 description 33
- 238000009795 derivation Methods 0.000 description 24
- 238000012937 correction Methods 0.000 description 23
- 238000005304 joining Methods 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 2
- 101150095908 apex1 gene Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Geometry (AREA)
Abstract
Description
[符号化装置の概要]
まず、実施の形態1に係る符号化装置の概要を説明する。図1は、実施の形態1に係る符号化装置100の機能構成を示すブロック図である。符号化装置100は、動画像/画像をブロック単位で符号化する動画像/画像符号化装置である。
分割部102は、入力動画像に含まれる各ピクチャを複数のブロックに分割し、各ブロックを減算部104に出力する。例えば、分割部102は、まず、ピクチャを固定サイズ(例えば128x128)のブロックに分割する。この固定サイズのブロックは、符号化ツリーユニット(CTU)と呼ばれることがある。そして、分割部102は、再帰的な四分木(quadtree)及び/又は二分木(binary tree)ブロック分割に基づいて、固定サイズのブロックの各々を可変サイズ(例えば64x64以下)のブロックに分割する。この可変サイズのブロックは、符号化ユニット(CU)、予測ユニット(PU)あるいは変換ユニット(TU)と呼ばれることがある。なお、本実施の形態では、CU、PU及びTUは区別される必要はなく、ピクチャ内の一部又はすべてのブロックがCU、PU、TUの処理単位となってもよい。
減算部104は、分割部102によって分割されたブロック単位で原信号(原サンプル)から予測信号(予測サンプル)を減算する。つまり、減算部104は、符号化対象ブロック(以下、カレントブロックという)の予測誤差(残差ともいう)を算出する。そして、減算部104は、算出された予測誤差を変換部106に出力する。
変換部106は、空間領域の予測誤差を周波数領域の変換係数に変換し、変換係数を量子化部108に出力する。具体的には、変換部106は、例えば空間領域の予測誤差に対して予め定められた離散コサイン変換(DCT)又は離散サイン変換(DST)を行う。
量子化部108は、変換部106から出力された変換係数を量子化する。具体的には、量子化部108は、カレントブロックの変換係数を所定の走査順序で走査し、走査された変換係数に対応する量子化パラメータ(QP)に基づいて当該変換係数を量子化する。そして、量子化部108は、カレントブロックの量子化された変換係数(以下、量子化係数という)をエントロピー符号化部110及び逆量子化部112に出力する。
エントロピー符号化部110は、量子化部108から入力である量子化係数を可変長符号化することにより符号化信号(符号化ビットストリーム)を生成する。具体的には、エントロピー符号化部110は、例えば、量子化係数を二値化し、二値信号を算術符号化する。
逆量子化部112は、量子化部108からの入力である量子化係数を逆量子化する。具体的には、逆量子化部112は、カレントブロックの量子化係数を所定の走査順序で逆量子化する。そして、逆量子化部112は、カレントブロックの逆量子化された変換係数を逆変換部114に出力する。
逆変換部114は、逆量子化部112からの入力である変換係数を逆変換することにより予測誤差を復元する。具体的には、逆変換部114は、変換係数に対して、変換部106による変換に対応する逆変換を行うことにより、カレントブロックの予測誤差を復元する。そして、逆変換部114は、復元された予測誤差を加算部116に出力する。
加算部116は、逆変換部114からの入力である予測誤差と予測制御部128からの入力である予測信号とを加算することによりカレントブロックを再構成する。そして、加算部116は、再構成されたブロックをブロックメモリ118及びループフィルタ部120に出力する。再構成ブロックは、ローカル復号ブロックと呼ばれることもある。
ブロックメモリ118は、イントラ予測で参照されるブロックであって符号化対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ118は、加算部116から出力された再構成ブロックを格納する。
ループフィルタ部120は、加算部116によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ122に出力する。ループフィルタとは、符号化ループ内で用いられるフィルタ(インループフィルタ)であり、例えば、デブロッキング・フィルタ(DF)、サンプルアダプティブオフセット(SAO)及びアダプティブループフィルタ(ALF)などを含む。
フレームメモリ122は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ122は、ループフィルタ部120によってフィルタされた再構成ブロックを格納する。
イントラ予測部124は、ブロックメモリ118に格納されたカレントピクチャ内のブロックを参照してカレントブロックのイントラ予測(画面内予測ともいう)を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部124は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部128に出力する。
インター予測部126は、フレームメモリ122に格納された参照ピクチャであってカレントピクチャとは異なる参照ピクチャを参照してカレントブロックのインター予測(画面間予測ともいう)を行うことで、予測信号(インター予測信号)を生成する。インター予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、カレントブロック又はサブブロックについて参照ピクチャ内で動き探索(motion estimation)を行う。そして、インター予測部126は、動き探索により得られた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成する。そして、インター予測部126は、生成されたインター予測信号を予測制御部128に出力する。
予測制御部128は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として減算部104及び加算部116に出力する。
次に、上記の符号化装置100から出力された符号化信号(符号化ビットストリーム)を復号可能な復号装置の概要について説明する。図10は、実施の形態1に係る復号装置200の機能構成を示すブロック図である。復号装置200は、動画像/画像をブロック単位で復号する動画像/画像復号装置である。
エントロピー復号部202は、符号化ビットストリームをエントロピー復号する。具体的には、エントロピー復号部202は、例えば、符号化ビットストリームから二値信号に算術復号する。そして、エントロピー復号部202は、二値信号を多値化(debinarize)する。これにより、エントロピー復号部202は、ブロック単位で量子化係数を逆量子化部204に出力する。
逆量子化部204は、エントロピー復号部202からの入力である復号対象ブロック(以下、カレントブロックという)の量子化係数を逆量子化する。具体的には、逆量子化部204は、カレントブロックの量子化係数の各々について、当該量子化係数に対応する量子化パラメータに基づいて当該量子化係数を逆量子化する。そして、逆量子化部204は、カレントブロックの逆量子化された量子化係数(つまり変換係数)を逆変換部206に出力する。
逆変換部206は、逆量子化部204からの入力である変換係数を逆変換することにより予測誤差を復元する。
加算部208は、逆変換部206からの入力である予測誤差と予測制御部220からの入力である予測信号とを加算することによりカレントブロックを再構成する。そして、加算部208は、再構成されたブロックをブロックメモリ210及びループフィルタ部212に出力する。
ブロックメモリ210は、イントラ予測で参照されるブロックであって復号対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ210は、加算部208から出力された再構成ブロックを格納する。
ループフィルタ部212は、加算部208によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ214及び表示装置等に出力する。
フレームメモリ214は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ214は、ループフィルタ部212によってフィルタされた再構成ブロックを格納する。
イントラ予測部216は、符号化ビットストリームから読み解かれたイントラ予測モードに基づいて、ブロックメモリ210に格納されたカレントピクチャ内のブロックを参照してイントラ予測を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部216は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部220に出力する。
インター予測部218は、フレームメモリ214に格納された参照ピクチャを参照して、カレントブロックを予測する。予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、符号化ビットストリームから読み解かれた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成し、インター予測信号を予測制御部128に出力する。
予測制御部220は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として加算部208に出力する。
次に、以上のように構成された符号化装置100及び復号装置200において行われる一部の処理について図面を参照しながら具体的に説明する。なお、本開示の利益をさらに拡大するために、後述の各実施の形態を組み合わせてもよいことは、当業者には明らかであろう。
図11に示す本開示の実施の形態2による、ノンレクティリニア・レンズを使用して撮像された画像に動画像符号化を行う方法について説明する。なお、ノンレクティリニア・レンズは、広角レンズまたはその一例である。
図13に示すように、撮像された画像は、画像の撮像中に使用されるレンズの特性により歪んでいてもよい。また、撮像された画像を直線的に補正するために画像補正処理を使用した。なお、撮像された画像を直線的に補正することによって、矩形の画像が生成される。書き込まれたパラメータは、使用された画像補正処理を特定するため、または記述するためのパラメータを含む。画像補正処理で使用されるパラメータは、一例として、入力画像の画素を、画像補正処理の意図した出力画素値にマッピングするためのマッピングテーブルを構成するパラメータを含む。これらのパラメータは、1以上の補間処理用の重みパラメータ、または/およびピクチャの入力画素および出力画素の位置を特定する位置パラメータを含んでもよい。画像補正処理の可能な実施例の一つとして、画像補正処理用のマッピングテーブルを、補正された画像内のすべての画素に使用してもよい。
書き込まれたパラメータは、さらに繋ぎ合わせ処理に関する1以上のパラメータを含んでもよい。図14および図15に示されるように、符号化装置に入力される画像は、異なるカメラからの複数の画像を組み合わせる繋ぎ合わせ処理の結果、得られたものでもよい。書き込まれたパラメータは、例えば、カメラの数、歪み中心または各カメラの主軸、および歪みレベルなどの繋ぎ合わせ処理に関する情報を提供するパラメータを含む。繋ぎ合わせ処理について記述するパラメータの別の例では、複数の画像からの重複する画素によって生成される、繋ぎ合わせられた画像の位置を特定するパラメータを含む。これらの画像の各々は、カメラの角度に重複する領域が存在することがあるため、他の画像に現れてもよい画素を含んでいてもよい。繋ぎ合わせ処理において、これらの重複する画素を処理して減らし、繋ぎ合わせられた画像を生成する。
図16は、画像がノンレクティリニア・レンズを使用して撮像されると特定される場合、または、画像が直線的に処理されると特定される場合、または、画像が1以上の画像から繋ぎ合わせられたと特定される場合に、適応される画面間予測処理を示すフローチャートである。図16に示すように、ステップS1901において、符号化装置は、ヘッダに書き込まれたパラメータに基づき、画像内のある位置が歪み中心または主点であると判定する。図17は、魚眼レンズによって生じた歪曲収差の一例を示す。なお、魚眼レンズは広角レンズの一例である。歪み中心から遠くなるにつれて、拡大は焦点軸に沿って減少する。したがって、ステップS1902では、符号化装置は、歪み中心に基づいて、画像を直線的にするために、画像内の画素をラッピング処理して歪みを補正するか、または行われた補正を元に戻すことができる。つまり、符号化装置は、符号化の処理の対象とされる歪んだ画像のブロックに対して画像補正処理(すなわちラッピング処理)を行う。最後に、符号化装置は、ラッピング処理された画像の画素に基づいて、ステップS1903において、予測サンプルのブロックを導き出すブロック予測を行うことができる。なお、本実施の形態におけるラッピング処理またはラッピングは、画素、ブロックまたは画像を、配置または再配置する処理である。また、符号化装置は、予測されたブロックである予測ブロックを画像補正処理が行われる前の元の歪んだ状態に戻し、歪んだ状態の予想ブロックを歪んだ処理対象ブロックの予測画像として用いもよい。なお、予測画像および処理対象ブロックは、実施の形態1の予測信号およびカレントブロックに相当する。
図18は、画像がノンレクティリニア・レンズを使用して撮像されていると特定される場合、または画像が直線的に処理されると特定される場合、または、画像が2つ以上の画像から繋ぎ合わせられたと特定される場合に、適応される画面間予測処理の変形例を示すフローチャートである。図18に示すように、符号化装置は、ヘッダに書き込まれたパラメータに基づいて、画像の領域がステップS2001において空き領域であると特定する。これらの空き領域は、撮像された画像の画素を含んでいない画像の領域であり、一般的には、所定の画素値(例えば、黒色画素)で置換される。図13は、画像内のこれらの領域の一例を示す図である。図15は、複数の画像を繋ぎ合わせる場合における、これらの領域の別の例を示す図である。次に、符号化装置は、図18のステップS2002において、特定されたこれらの領域内の画素を、動き補償処理を行っている間に、画像の空き領域ではない他の領域の値でパディング処理する。パディング処理された値は、物理的な3次元の空間に応じて、空き領域ではない領域における最も近い画素からの値、または最も近い画素からの値であってもよい。最後に、ステップS2003において、符号化装置は、パディング処理された値に基づいて予測サンプルのブロックを生成するためにブロック予測を行う。
図19は、画像がノンレクティリニア・レンズを使用して撮像されていると特定される場合、または、画像が直線的に処理されると特定される場合、または、画像が2以上の画像から繋ぎ合わせらされたと特定される場合に、適応される画像再構成処理を示すフローチャートである。図19に示すように、符号化装置は、ヘッダに書き込まれたパラメータに基づいて、画像内の位置を、ステップS1801において歪み中心または主点として判定する。図17は、魚眼レンズによって生じた歪曲収差の一例を示す。焦点の軸芯が歪み中心から離れるにつれて、拡大は焦点の軸芯に沿って減少する。したがって、ステップS1802では、符号化装置は、歪み中心に基づいて、画像内の再構成画素に対して、歪みを補正するか、または画像を直線的にするために行われた補正を元に戻すために、ラッピング処理を行ってもよい。例えば、符号化装置は、逆変換によって生成される予測誤差の画像と、予測画像とを加算することによって、再構成画像を生成する。このとき、符号化装置は、予測誤差の画像および予測画像のそれぞれを直線的にするためにラッピング処理を行う。
図20は、画像がノンレクティリニア・レンズを使用して撮像されていると特定される場合、または、画像が直線的に処理されると特定される場合、または、画像が1以上の画像から繋ぎ合わせらされたと特定される場合に、適応される画像再構成処理の変形例を示す。図20に示すように、ヘッダに書き込まれたパラメータに基づいて、ステップS2101において、符号化装置は、画像の領域を空き領域として特定する。これらの空き領域は、撮像された画像の画素を含んでおらず、一般的に所定の画素値(例えば黒色画素)と置換される画像の領域である。図13は、画像においてこれらの領域の一例を示す図である。図15は、複数の画像を繋ぎ合わせる場合における、これらの領域の別の例を示す図である。次に、ステップS2102において、符号化装置は、画像サンプルのブロックを再構成する。
図11のステップS102において、適応的動画像符号化ツールについて可能な別の変形例では、画像の符号化処理を省略してもよい。つまり、画像のレイアウト配置に関して書き込まれたパラメータ、およびユーザの目の視線または頭の方向に基づくアクティブなビュー領域についての情報に基づいて、符号化装置は、画像の符号化処理を省略してもよい。すなわち、符号化装置は部分符号化処理を行う。
図23は、本実施の形態における動画像を符号化する符号化装置の構成を示すブロック図である。
図24は、本実施の形態における動画像復号処理の一例を示すフローチャートである。
図13に示すように、撮像された画像は、画像の撮像中に使用されるレンズの特性により歪んでいてもよい。また、撮像された画像を直線的に補正するために画像補正処理を使用した。読み解かれたパラメータは、使用された画像補正処理を特定する、または使用された画像補正処理を記載するためのパラメータを含む。画像補正処理において使用されるパラメータの例には、画像補正処理の意図した出力画素値に入力画像の画素をマッピングするためのマッピングテーブルを構成するパラメータを含む。これらのパラメータは、1以上の補間処理用の重みパラメータ、または/およびピクチャの入力画素および出力画素の位置を特定する位置パラメータを含んでもよい。画像補正処理の可能な一実施例において、画像補正処理用のマッピングテーブルは、補正された画像内のすべての画素に使用されてもよい。
読み解かれたパラメータは、さらに繋ぎ合わせ処理に関する1以上のパラメータを含んでもよい。図14および図15に示すように、復号装置に入力される符号化された画像は、異なるカメラからの複数の画像を組み合わせる繋ぎ合わせ処理の結果、得られたものでもよい。読み解かれたパラメータは、例えば、カメラの数、歪み中心、または各カメラの主軸、および歪みレベルなどの繋ぎ合わせ処理に関する情報を提供するパラメータを含む。繋ぎ合わせ処理について記載するパラメータの別の例としては、複数の画像からの重複する画素から生成される、繋ぎ合わせられた画像の位置を特定するパラメータがある。これらの画像の各々は、カメラの角度に重複する領域が存在することがあるため、他の画像に現れてもよい画素を含んでいてもよい。この繋ぎ合わせ処理において、これらの重複する画素を処理して減らし、繋ぎ合わせられた画像を生成する。
図16は、画像がノンレクティリニア・レンズを使用して撮像されると特定される場合、または、画像が直線的に処理されると特定される場合、または、画像が1以上の画像から繋ぎ合わせられたと特定される場合に、適応される画面間予測処理を示すフローチャートである。図16に示すように、ステップS1901において、復号装置は、ヘッダに書き込まれたパラメータに基づき、画像内のある位置が歪み中心または主点であると判定する。図17は、魚眼レンズによって生じた歪曲収差の一例を示す。焦点軸が歪み中心から離れるにつれて、拡大は焦点軸に沿って減少する。したがって、ステップS1902では、復号装置は、歪み中心に基づいて、歪みを補正するか、または画像を直線的にするために行われた補正を元に戻すために、画像内の画素に対してラッピング処理を行ってもよい。つまり、復号装置は、復号の処理の対象とされる歪んだ画像のブロックに対して画像補正処理(すなわちラッピング処理)を行う。最後に、復号装置は、ステップS1903において、ラッピング処理が行われた画像の画素に基づいて、予測サンプルのブロックを導き出すブロック予測を行うことができる。また、復号装置は、予測されたブロックである予測ブロックを画像補正処理が行われる前の元の歪んだ状態に戻し、歪んだ状態の予想ブロックを歪んだ処理対象ブロックの予測画像として用いもよい。
図18は、画像がノンレクティリニア・レンズを使用して撮像されていると特定される場合、または画像が直線的に処理されると特定される場合、または、画像が2つ以上の画像から繋ぎ合わせられたと特定される場合に、適応される画面間予測処理の変形例を示すフローチャートである。図18に示されるように、復号装置は、ヘッダから読み解かれたパラメータに基づいて、画像の領域がステップS2001において空き領域であると特定する。これらの空き領域は、撮像された画像の画素を含んでおらず、一般的に所定の画素値(例えば、黒色画素)と置き換えられる画像の領域である。図13は、画像内におけるこれらの領域の例を示す。図15は、複数の画像を繋ぎ合わせる場合における、これらの領域の別の例を示す図である。次に、復号装置は、図18のステップS2002において、これらの特定された領域内の画素を、動き補償処理中に、画像の他の空き領域ではない他の領域の値でパディング処理する。パディング処理された値は、物理的な3次元の空間に応じて、空き領域ではない領域における最も近い画素、または最も近い画素からの値であってもよい。最後に、ステップS2003において、復号装置は、パディング処理された値に基づいて予測サンプルのブロックを生成するためにブロック予測を行う。
図19は、画像がノンレクティリニア・レンズを使用して撮像されていると特定される場合、または、画像が直線的に処理されると特定される場合、または、画像が2以上の画像から繋ぎ合わせられたと特定される場合に、適応される画像再構成処理を示すフローチャートである。図19に示すように、復号装置は、ヘッダから読み解かれたパラメータに基づいて、画像内の位置を、ステップS1801において歪み中心または主点として判定する。図17は、魚眼レンズによって生じた歪曲収差の一例を示す。焦点の軸芯が歪み中心から離れるにつれて、拡大は焦点の軸芯に沿って減少する。したがって、ステップS1802では、復号装置は、歪み中心に基づいて、画像内の再構成画素に対して、歪みを補正するか、または画像を直線的にするために行われた補正を元に戻すために、ラッピング処理を行ってもよい。例えば、復号装置は、逆変換によって生成される予測誤差の画像と、予測画像とを加算することによって、再構成画像を生成する。このとき、復号装置は、予測誤差の画像および予測画像のそれぞれを直線的にするためにラッピング処理を行う。
図20は、画像がノンレクティリニア・レンズを使用して撮像されていると特定される場合、または、画像が直線的に処理されると特定される場合、または、画像が1以上の画像から繋ぎ合わせらされたと特定される場合に、適応される画像再構成処理の変形例を示す。図20に示すように、ヘッダから読み解かれたパラメータに基づいて、ステップS2001において、復号装置は、画像の領域を空き領域として特定する。これらの空き領域は、撮像された画像の画素を含んでおらず、一般的に所定の画素値(例えば黒色画素)と置換される画像の領域である。図13は、画像におけるこれらの領域の例を示す。図15は、複数の画像を繋ぎ合わせる場合における、これらの領域の別の例を示す図である。次に、ステップS2102において、復号装置は、画像サンプルのブロックを再構成する。
図24のステップS202において、画像の適応的動画像復号ツールの別の可能な変形例では、画像の復号処理を省略してもよい。つまり、画像のレイアウト配置に関して読み解かれたパラメータ、およびユーザの目の視線または頭の方向に基づくアクティブなビュー領域についての情報に基づいて、復号装置は、画像の復号処理を省略してもよい。すなわち、復号装置は部分復号処理を行う。
図25は、本実施の形態における動画像を復号する復号装置の構成を示すブロック図である。
[符号化処理]
図26に示す本開示の実施の形態3による、ノンレクティリニア・レンズを使用して撮像された画像に対して動画像符号化処理を行う方法について説明する。
図28は、本実施の形態における動画像を符号化する符号化装置の構成を示すブロック図である。
図29は、本実施の形態における動画像復号処理の一例を示すフローチャートである。
図30は、本実施の形態における動画像を復号する復号装置の構成を示すブロック図である。
[符号化処理]
図31に示す本開示の実施の形態4による、ノンレクティリニア・レンズを使用して撮像された画像に対して、動画像符号化処理を行う方法について説明する。
図32は、書き込まれたパラメータに基づいて適応される画面内予測処理を示すフローチャートである。図32に示すように、符号化装置は、ステップS2201において、書き込まれたパラメータに基づいて、画像内のある位置を歪み中心または主点として判定する。次に、ステップS2202において、符号化装置は、空間的に近隣の画素値を用いて一つのサンプルグループを予測する。サンプルグループは、例えば処理対象ブロックなどの画素群である。
図33は、書き込まれたパラメータに基づいて適応される動きベクトル予測処理を示すフローチャートである。図33に示すように、符号化装置は、ステップS2301において、書き込まれたパラメータに基づいて、画像内のある位置を歪み中心または主点として判定する。次に、ステップS2302において、符号化装置は、空間的か時間的に隣接する動きベクトルから動きベクトルを予測する。
図34は、本実施の形態において動画像を符号化する符号化装置の構成を示すブロック図である。
図35は、本実施の形態における動画像復号処理の一例を示すフローチャートである。
図32は、読み解かれたパラメータに基づいて適応される画面内予測処理を示すフローチャートである。図32に示されるように、復号装置は、ステップS2201において、読み解かれたパラメータに基づいて、画像内のある位置を歪み中心または主点として判定する。次に、ステップS2202において、復号装置は、空間的に近隣の画素値を用いて、一つのサンプルグループを予測する。最後に、ステップS2203において、復号装置は、予測されたサンプルグループに対して、判定された歪み中心または主点を用いてラッピング処理を行い、予測サンプルのブロックを生成する。例えば、復号装置は、その予測サンプルのブロックの画像を歪ませ、その歪んだ画像を予測画像として用いてもよい。
図33は、読み解かれたパラメータに基づいて適応される動きベクトル予測処理を示すフローチャートである。図33に示すように、復号装置は、ステップS2301において、読み解かれたパラメータに基づいて、画像内のある位置を歪み中心または主点として判定する。次に、ステップS2302において、復号装置は、空間的か時間的に隣接する動きベクトルから動きベクトルを予測する。最後に、ステップS2303において、復号装置は、判定された歪み中心または主点を用いて、動きベクトルの方向を補正する。
図36は、本実施の形態における、動画像を復号する復号装置の構成を示すブロック図である。
以上、本開示の符号化装置および復号装置の一例について各実施の形態を用いて説明したが、本開示の一態様に係る符号化装置および復号装置は、これらの実施の形態に限定されるものではない。
以上の各実施の形態において、機能ブロックの各々は、通常、MPU及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも、当然、可能である。
図39は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
近年では、互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
コンテンツの切り替えに関して、図40に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンex115で視聴していた映像の続きを、帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
図42は、コンピュータex111等におけるwebページの表示画面例を示す図である。図43は、スマートフォンex115等おけるwebページの表示画面例を示す図である。図42及び図43に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示したり、複数の静止画又はIピクチャ等でgifアニメのような映像を表示をしたり、ベースレイヤのみ受信して映像を復号及び表示したりする。
また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD−ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータである。
図44は、スマートフォンex115を示す図である。また、図45は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
1501 変換部
1502 量子化部
1503 逆量子化部
1504 逆変換部
1505 ブロックメモリ
1506 フレームメモリ
1507 イントラ予測部
1508 インター予測部
1509 エントロピー符号化部
1521 減算部
1522 加算部
1600 復号装置
1601 エントロピー復号部
1602 逆量子化部
1603 逆変換部
1604 ブロックメモリ
1605 フレームメモリ
1606 イントラ予測部
1607 インター予測部
1622 加算部
Claims (1)
- 処理回路と、前記処理回路に接続されたメモリとを備え、
前記処理回路は、前記メモリを用いて、
複数の画像のうちの1つである処理対象の画像について、画面間予測処理を行い、
前記画面間予測処理は、
前記処理対象の画像を前記複数の画像のうちの他の画像と繋ぎ合わせ、
前記複数の画像に含まれる複数の画素について、前記複数の画像中のオブジェクトが連続するよう、配置または再配置を行うラッピング処理を含む、
符号化装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662342517P | 2016-05-27 | 2016-05-27 | |
US62/342,517 | 2016-05-27 | ||
JP2018519545A JPWO2017204185A1 (ja) | 2016-05-27 | 2017-05-23 | 符号化装置、復号装置、符号化方法、および復号方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519545A Division JPWO2017204185A1 (ja) | 2016-05-27 | 2017-05-23 | 符号化装置、復号装置、符号化方法、および復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021145379A true JP2021145379A (ja) | 2021-09-24 |
Family
ID=60412304
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519545A Pending JPWO2017204185A1 (ja) | 2016-05-27 | 2017-05-23 | 符号化装置、復号装置、符号化方法、および復号方法 |
JP2021096226A Pending JP2021145379A (ja) | 2016-05-27 | 2021-06-08 | 符号化装置 |
JP2021096225A Active JP7340563B2 (ja) | 2016-05-27 | 2021-06-08 | 符号化装置 |
JP2021179243A Pending JP2022033737A (ja) | 2016-05-27 | 2021-11-02 | 復号装置 |
JP2023037969A Pending JP2023063398A (ja) | 2016-05-27 | 2023-03-10 | 復号装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519545A Pending JPWO2017204185A1 (ja) | 2016-05-27 | 2017-05-23 | 符号化装置、復号装置、符号化方法、および復号方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021096225A Active JP7340563B2 (ja) | 2016-05-27 | 2021-06-08 | 符号化装置 |
JP2021179243A Pending JP2022033737A (ja) | 2016-05-27 | 2021-11-02 | 復号装置 |
JP2023037969A Pending JP2023063398A (ja) | 2016-05-27 | 2023-03-10 | 復号装置 |
Country Status (5)
Country | Link |
---|---|
US (6) | US11134270B2 (ja) |
JP (5) | JPWO2017204185A1 (ja) |
CN (17) | CN114745547A (ja) |
TW (2) | TWI772244B (ja) |
WO (1) | WO2017204185A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11405611B2 (en) | 2016-02-15 | 2022-08-02 | Qualcomm Incorporated | Predicting filter coefficients from fixed filters for video coding |
WO2018113658A1 (en) * | 2016-12-22 | 2018-06-28 | Mediatek Inc. | Method and apparatus of motion refinement for video coding |
FR3064145A1 (fr) * | 2017-03-16 | 2018-09-21 | Orange | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
US10778974B2 (en) * | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Adaptive loop filter with enhanced classification methods |
WO2019112394A1 (ko) * | 2017-12-07 | 2019-06-13 | 한국전자통신연구원 | 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치 |
WO2019181101A1 (ja) * | 2018-03-19 | 2019-09-26 | ソニー株式会社 | 画像処理装置と画像処理方法 |
KR102664681B1 (ko) * | 2018-06-19 | 2024-05-09 | 삼성전자 주식회사 | 영상 압축을 수행하는 전자 장치 및 전자 장치의 동작 방법 |
TWI706670B (zh) | 2018-06-19 | 2020-10-01 | 大陸商北京字節跳動網絡技術有限公司 | 廣義運動向量差解析度 |
CN112352425B (zh) * | 2018-06-21 | 2024-02-13 | 索尼公司 | 图像处理装置和图像处理方法 |
TWI827681B (zh) | 2018-09-19 | 2024-01-01 | 大陸商北京字節跳動網絡技術有限公司 | 具有自適應運動矢量分辨率的仿射模式的語法重用 |
EP3861738A4 (en) | 2018-11-06 | 2022-01-26 | Beijing Bytedance Network Technology Co., Ltd. | POSITION-BASED INTRA PREDICTION |
CN113170122B (zh) | 2018-12-01 | 2023-06-27 | 北京字节跳动网络技术有限公司 | 帧内预测的参数推导 |
AU2019391197B2 (en) | 2018-12-07 | 2023-05-25 | Beijing Bytedance Network Technology Co., Ltd. | Context-based intra prediction |
WO2020150148A1 (en) | 2019-01-14 | 2020-07-23 | Futurewei Technologies, Inc. | Efficient patch rotation in point cloud coding |
EP3895429A4 (en) * | 2019-01-31 | 2022-08-10 | Beijing Bytedance Network Technology Co., Ltd. | CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE |
BR112021014853A2 (pt) * | 2019-02-22 | 2021-10-05 | Beijing Bytedance Network Technology Co., Ltd. | Método e aparelho para processar e codificar dados de vídeo, e, mídias de armazenamento e registro legíveis por computador não transitórias |
AU2020226566A1 (en) | 2019-02-24 | 2021-08-19 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation for intra prediction |
CN111698501B (zh) * | 2019-03-11 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 解码方法及装置 |
CN117880494A (zh) | 2019-03-24 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 用于帧内预测的参数推导的条件 |
CN110246106B (zh) * | 2019-06-22 | 2021-09-28 | 福州大学 | 基于量子和声搜索模糊集的nsst域浮选泡沫图像增强及去噪方法 |
JP6899053B2 (ja) * | 2019-06-24 | 2021-07-07 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
US11375238B2 (en) * | 2019-09-20 | 2022-06-28 | Tencent America LLC | Method for padding processing with sub-region partitions in video stream |
CN112868234A (zh) * | 2019-09-24 | 2021-05-28 | 深圳市大疆创新科技有限公司 | 运动估计方法、系统和存储介质 |
JP2022184139A (ja) * | 2021-05-31 | 2022-12-13 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2023092373A1 (en) * | 2021-11-25 | 2023-06-01 | Intel Corporation | Methods and apparatus for tile-based stitching and encoding of images |
JP2024515207A (ja) * | 2022-02-24 | 2024-04-05 | テンセント・アメリカ・エルエルシー | マシン用ビデオコーディングのエンハンスメントプロセス |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002524937A (ja) * | 1998-08-28 | 2002-08-06 | サーノフ コーポレイション | 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置 |
JPWO2004004363A1 (ja) * | 2002-06-28 | 2005-11-04 | シャープ株式会社 | 画像符号化装置、画像送信装置および画像撮影装置 |
JP4000928B2 (ja) * | 2002-07-04 | 2007-10-31 | ソニー株式会社 | 動き補償装置 |
JP4100146B2 (ja) * | 2002-11-27 | 2008-06-11 | ソニー株式会社 | 双方向コミュニケーションシステム,映像通信装置 |
JP2004207862A (ja) * | 2002-12-24 | 2004-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化装置及び映像復号化装置及びその方法並びにそのプログラム |
US8130827B2 (en) * | 2004-08-13 | 2012-03-06 | Samsung Electronics Co., Ltd. | Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image |
KR100688382B1 (ko) * | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치 |
KR100763194B1 (ko) * | 2005-10-14 | 2007-10-04 | 삼성전자주식회사 | 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치 |
JP2008034892A (ja) * | 2006-03-28 | 2008-02-14 | Victor Co Of Japan Ltd | 多視点画像符号化装置 |
BRPI0823512A2 (pt) * | 2007-04-12 | 2013-11-26 | Thomson Licensing | Ladrilhamento em codificação e decodificação de vídeo |
SG150414A1 (en) * | 2007-09-05 | 2009-03-30 | Creative Tech Ltd | Methods for processing a composite video image with feature indication |
US8355041B2 (en) * | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
RU2543954C2 (ru) | 2009-01-26 | 2015-03-10 | Томсон Лайсенсинг | Упаковка кадров для кодирования видео |
JP5268743B2 (ja) * | 2009-03-30 | 2013-08-21 | パナソニック株式会社 | 画像通信システム |
WO2011129163A1 (ja) * | 2010-04-16 | 2011-10-20 | コニカミノルタホールディングス株式会社 | イントラ予測処理方法、及びイントラ予測処理プログラム |
CA3000366C (en) * | 2010-09-30 | 2019-11-19 | Mitsubishi Electric Corporation | Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method |
JP6494294B2 (ja) * | 2014-05-15 | 2019-04-03 | キヤノン株式会社 | 画像処理装置、及び撮像システム |
US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US10104361B2 (en) * | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
CN105306837A (zh) * | 2015-10-27 | 2016-02-03 | 浙江宇视科技有限公司 | 多图像拼接方法及装置 |
US10282814B2 (en) * | 2016-01-07 | 2019-05-07 | Mediatek Inc. | Method and apparatus of image formation and compression of cubic images for 360 degree panorama display |
CN105554506B (zh) * | 2016-01-19 | 2018-05-29 | 北京大学深圳研究生院 | 基于多方式边界填充的全景视频编码、解码方法和装置 |
US10681326B2 (en) * | 2016-05-19 | 2020-06-09 | AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED | 360 degree video system with coordinate compression |
EP3610649A1 (en) | 2017-04-11 | 2020-02-19 | VID SCALE, Inc. | 360-degree video coding using face continuities |
KR102025735B1 (ko) * | 2017-11-23 | 2019-09-26 | 전자부품연구원 | 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법 |
-
2017
- 2017-05-23 CN CN202210528648.0A patent/CN114745547A/zh active Pending
- 2017-05-23 CN CN202210528629.8A patent/CN114979649A/zh active Pending
- 2017-05-23 CN CN202210527871.3A patent/CN114866774A/zh active Pending
- 2017-05-23 JP JP2018519545A patent/JPWO2017204185A1/ja active Pending
- 2017-05-23 CN CN202210526598.2A patent/CN114979648B/zh active Active
- 2017-05-23 CN CN202210526402.XA patent/CN115037949A/zh active Pending
- 2017-05-23 CN CN202210526617.1A patent/CN115150617A/zh active Pending
- 2017-05-23 CN CN202210533740.6A patent/CN114866775A/zh active Pending
- 2017-05-23 WO PCT/JP2017/019113 patent/WO2017204185A1/ja active Application Filing
- 2017-05-23 CN CN202210526618.6A patent/CN115150630B/zh active Active
- 2017-05-23 CN CN202210528627.9A patent/CN114679588A/zh active Pending
- 2017-05-23 CN CN202210528665.4A patent/CN114979650B/zh active Active
- 2017-05-23 CN CN202210526613.3A patent/CN115037939B/zh active Active
- 2017-05-23 CN CN202210526401.5A patent/CN114979647B/zh active Active
- 2017-05-23 CN CN201780031614.8A patent/CN109155854B/zh active Active
- 2017-05-23 CN CN202210527875.1A patent/CN115150619B/zh active Active
- 2017-05-23 CN CN202210526631.1A patent/CN115150618A/zh active Pending
- 2017-05-23 CN CN202210527891.0A patent/CN115150620A/zh active Pending
- 2017-05-23 CN CN202210526384.5A patent/CN114979646A/zh active Pending
- 2017-05-25 TW TW111101293A patent/TWI772244B/zh active
- 2017-05-25 TW TW106117414A patent/TWI754644B/zh active
-
2018
- 2018-11-19 US US16/194,586 patent/US11134270B2/en active Active
-
2021
- 2021-06-08 JP JP2021096226A patent/JP2021145379A/ja active Pending
- 2021-06-08 JP JP2021096225A patent/JP7340563B2/ja active Active
- 2021-07-12 US US17/373,106 patent/US11985350B2/en active Active
- 2021-07-12 US US17/373,066 patent/US11985349B2/en active Active
- 2021-07-12 US US17/373,069 patent/US11962804B2/en active Active
- 2021-11-02 JP JP2021179243A patent/JP2022033737A/ja active Pending
-
2023
- 2023-03-10 JP JP2023037969A patent/JP2023063398A/ja active Pending
- 2023-09-06 US US18/242,846 patent/US20230421809A1/en active Pending
- 2023-09-06 US US18/242,747 patent/US20230412840A1/en active Pending
Non-Patent Citations (1)
Title |
---|
ADEEL ABBAS, GOPRO TEST SEQUENCES FOR VIRTUAL REALITY VIDEO CODING, JPN6021029540, 26 May 2016 (2016-05-26), ISSN: 0004564330 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7340563B2 (ja) | 符号化装置 | |
JP6946419B2 (ja) | 復号装置、復号方法及びプログラム | |
JP7104085B2 (ja) | 復号方法及び符号化方法 | |
JP7339890B2 (ja) | 符号化装置及び復号装置 | |
JP7299386B2 (ja) | 符号化装置及び復号装置 | |
JP7364752B2 (ja) | 復号方法及び符号化方法 | |
WO2019189346A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7373597B2 (ja) | 画像復号装置 | |
KR102470053B1 (ko) | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 | |
JP2022069458A (ja) | 符号化装置及び符号化方法 | |
JP2023126387A (ja) | 符号化装置及び符号化方法 | |
WO2018225593A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
JP7086176B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP6910461B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP2023016992A (ja) | 符号化装置及び復号装置 | |
WO2019151408A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
WO2018097077A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
TWI842000B (zh) | 編碼裝置 | |
WO2019239790A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210608 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220628 |