JP2018530963A5 - - Google Patents

Download PDF

Info

Publication number
JP2018530963A5
JP2018530963A5 JP2018513495A JP2018513495A JP2018530963A5 JP 2018530963 A5 JP2018530963 A5 JP 2018530963A5 JP 2018513495 A JP2018513495 A JP 2018513495A JP 2018513495 A JP2018513495 A JP 2018513495A JP 2018530963 A5 JP2018530963 A5 JP 2018530963A5
Authority
JP
Japan
Prior art keywords
pixel
predicted
pixel block
prediction mode
appendix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018513495A
Other languages
English (en)
Other versions
JP6837056B2 (ja
JP2018530963A (ja
Filing date
Publication date
Priority claimed from EP15306408.4A external-priority patent/EP3142365A1/en
Application filed filed Critical
Publication of JP2018530963A publication Critical patent/JP2018530963A/ja
Publication of JP2018530963A5 publication Critical patent/JP2018530963A5/ja
Application granted granted Critical
Publication of JP6837056B2 publication Critical patent/JP6837056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

多数の実装を説明した。しかしながら、様々な修正が、行われ得ることが理解されよう。例えば、相異なる実装の要素は、他の実装を生成するために、組み合わされるか、補足されるか、修正されるか、又は除去されてもよい。加えて、当業者は、他の構造及びプロセスが、開示された構造及びプロセスの代用とされ、結果としての実装が、開示された実装と少なくともほぼ同じ結果(単複)を達成するために、少なくともほぼ同じ方法(単複)で、少なくともほぼ同じ機能(単複)を実行することを理解されよう。従って、これらや他の実装は、本出願によって考えられている。
[付記1]
シーンに関連するライトフィールドデータから取得されたビュー行列に属するビューの少なくとも1つの画素ブロックを予測する方法であって、
前記方法が、プロセッサによって実行され、前記画素ブロックの少なくとも1つの予測すべき画素について、
前記少なくとも1つの予測すべき画素が属する少なくとも1つのエピポーラ平面画像(EPI)を前記ビュー行列から取得することと、
双方向予測モードセットの中で、前記少なくとも1つのエピポーラ平面画像における前記少なくとも1つの予測すべき画素に隣接する、以前に再構成された画素セットから少なくとも1つの最適な双方向予測モードを決定することと、
前記少なくとも1つの最適な双方向予測モードを用いて補間を実行することによって、前記少なくとも1つの予測すべき画素の予測値を取得することと、
を含む、予測する方法。
[付記2]
前記最適な双方向予測モードを決定することが、前記画素ブロックの少なくとも1つの予測すべき画素について、
各双方向予測モードのエネルギーレベルを取得するために、前記少なくとも1つのエピポーラ平面画像における前記少なくとも1つの予測すべき画素に隣接する、前記以前に再構成された画素セットに、前記双方向予測モードセットの各双方向予測モードを適用することと、
前記エネルギーレベルが各双方向予測モードについて取得されたエネルギーレベルの最小の独立変数である前記双方向予測モードに対応する前記最適な双方向予測モードを選択することと、
を含む、付記1に記載の予測する方法。
[付記3]
前記画素ブロック内の少なくとも1つの予測すべき画素グループを提供することであって、前記画素グループが、同じ行の、同じ列の、又は前記画素ブロックの行若しくは列に対して或る角度方向を示す少なくとも2つの画素のセットの少なくとも2つの画素を含み、
前記最適な双方向予測モードを決定することが、
前記画素グループの少なくとも1つの予測すべき画素について、各双方向予測モードのエネルギーレベルを取得するために、前記少なくとも1つのエピポーラ平面画像における前記少なくとも1つの予測すべき画素に隣接する、前記以前に再構成された画素セットに、前記双方向予測モードセットの各所定の双方向予測モードを適用することと、
前記画素グループに属する全ての予測すべき画素に対して同じ最適な双方向予測モードを選択することであって、前記最適な双方向予測モードが、前記エネルギーレベルが前記画素グループの少なくとも1つの予測すべき画素について取得されたエネルギーレベルの最小の独立変数である前記双方向予測モードに対応することと、
を含むことを更に含む、付記1に記載の予測する方法。
[付記4]
前記予測すべき1つの画素が属する少なくとも2つのエピポーラ平面画像(EPI)が、水平エピポーラ平面画像(EPI)及び垂直エピポーラ平面画像(EPI)に、又は相異なる角度方向のエピポーラ平面画像(EPI)セットに対応する場合に、
前記最適な双方向予測モードを決定することが、前記水平エピポーラ平面画像(EPI)及び前記垂直エピポーラ平面画像(EPI)について、又は前記相異なる角度方向のエピポーラ平面画像(EPI)セットについて実行され、前記最適な双方向予測モードが、前記エネルギーレベルが少なくとも1つのエピポーラ画像について取得されたエネルギーレベルの最小の独立変数である双方向予測モードに対応する、付記2又は3に記載の予測する方法。
[付記5]
1つの予測すべき画素が属する少なくとも2つのエピポーラ平面画像(EPI)が、水平エピポーラ平面画像(EPI)及び垂直エピポーラ平面画像(EPI)に、又は相異なる角度方向のエピポーラ平面画像(EPI)セットに対応する場合に、
最適な双方向予測モードが、各エピポーラ画像について決定され、前記少なくとも1つの予測すべき画素の前記予測値が、少なくとも2つのエピポーラ画像について決定された前記最適な双方向予測モードを用いることによってそれぞれ取得された少なくとも2つの予測値の平均に対応する、付記2〜4のいずれか一項に記載の予測する方法。
[付記6]
シーンに関連するライトフィールドデータから取得されたビュー行列に属するビューの前記少なくとも1つの画素ブロックを符号化する方法であって、前記方法が、プロセッサによって実行され、
予測された画素ブロックを取得するために、付記1〜5のいずれか一項に記載の予測する方法に従って前記少なくとも1つの画素ブロックを予測することと、
前記少なくとも1つの画素ブロックと前記予測された画素ブロックとの間の差に対応する残余誤差を決定することと、
前記画素ブロックに関連する前記残余誤差を符号化することと、
を含む、符号化する方法。
[付記7]
前記シーンに関連するライトフィールドデータから取得された前記ビュー行列を表す信号に前記残余誤差を挿入することと、
前記画素ブロック内の少なくとも1つの予測すべき画素グループを表す情報を前記信号に挿入することと、
を更に含む、付記6に記載の符号化する方法。
[付記8]
シーンに関連するライトフィールドデータから取得されたビュー行列に属するビューの少なくとも1つの画素ブロックを表す信号を復号する方法であって、前記方法が、プロセッサによって実行され、
前記画素ブロックに関連する残余誤差を前記信号から復号することと、
予測された画素ブロックを取得するために、付記1〜8のいずれか一項に記載の前記予測する方法に従って、前記少なくとも1つの画素ブロックを予測することと、
前記予測された画素ブロックに前記残余誤差を追加することによって、前記少なくとも1つの画素ブロックを再構成することと、
を含む、復号する方法。
[付記9]
前記画素ブロック内の少なくとも1つの予測すべき画素グループの形成を表す情報を前記信号から抽出することであって、前記予測が前記情報を考慮することを更に含む、付記8に記載の復号する方法。
[付記10]
シーンに関連するライトフィールドデータから取得されたビュー行列に属するビューの少なくとも1つの画素ブロックを符号化する装置であって、前記装置が、
予測された画素ブロックを取得するために、前記少なくとも1つの画素ブロックを予測するモジュールであって、前記モジュールが、前記画素ブロックの各予測すべき画素について、
前記少なくとも1つの予測すべき画素が属する少なくとも1つのエピポーラ平面画像(EPI)を前記ビュー行列から取得するためのエンティティと、
双方向予測モードセットの中で、前記少なくとも1つのエピポーラ平面画像における前記少なくとも1つの予測すべき画素に隣接する、以前に再構成された画素セットから少なくとも1つの最適な双方向予測モードを決定するためのエンティティと、
前記少なくとも1つの最適な双方向予測モードを用いて補間を実行することによって、前記少なくとも1つの予測すべき画素の予測値を取得するためのエンティティと、を含むモジュールと、
前記少なくとも1つの画素ブロックと前記予測された画素ブロックとの間の差に対応する残余誤差を決定するモジュールと、
前記画素ブロックに関連する前記残余誤差を符号化するモジュールと、
を制御するように構成されたプロセッサを含む、符号化する装置。
[付記11]
前記シーンに関連するライトフィールドデータから取得された前記ビュー行列を表す信号に前記残余誤差を挿入するモジュールと、
前記画素ブロック内の少なくとも1つの予測すべき画素グループを表す情報を前記信号に挿入するモジュールと、
を更に含む、付記10に記載の符号化する装置。
[付記12]
シーンに関連するライトフィールドデータから取得されたビュー行列に属するビューの少なくとも1つの画素ブロックを表す信号を復号する装置であって、前記装置が、
前記画素ブロックに関連する残余誤差を復号するモジュールと、
予測された画素ブロックを取得するために、前記少なくとも1つの画素ブロックを予測するモジュールであって、前記モジュールが、前記画素ブロックの少なくとも1つの予測すべき画素について、
前記少なくとも1つの予測すべき画素が属する少なくとも1つのエピポーラ平面画像(EPI)を前記ビュー行列から取得するためのエンティティと、
双方向予測モードセットの中で、前記少なくとも1つのエピポーラ平面画像における前記少なくとも1つの予測すべき画素に隣接する、前に再構成された画素から少なくとも1つの最適な双方向予測モードを決定するためのエンティティと、
前記少なくとも1つの最適な双方向予測モードを用いて補間を実行することによって、前記少なくとも1つの予測すべき画素の予測値を取得するためのエンティティと、を含むモジュールと、
前記予測された画素ブロックに前記残余誤差を追加することによって、前記少なくとも1つの画素ブロックを再構成するモジュールと、
を制御するように構成されたプロセッサを含む、符号化する装置。
[付記13]
前記画素ブロック内の少なくとも1つの予測すべき画素グループの形成を表す情報を前記信号から抽出するモジュールであって、前記予測が、情報を考慮するモジュールを更に含む、付記12に記載の符号化する装置。
[付記14]
付記1〜5か、6〜7か又は8〜9のいずれか一項に記載の方法を実行するかためのプログラムコード命令を含む、通信ネットワークからダウンロード可能な、並びに/又はコンピュータによって可読な及び/若しくはプロセッサによって実行可能な媒体上に記録されたコンピュータプログラム製品。
[付記15]
付記1〜5か、6〜7か又は8〜9のいずれか一項に記載の方法を実行するかためのプログラムコード命令を含む、自らに記録した且つプロセッサによって実行することができるコンピュータプログラム製品を含む非一時的なコンピュータ可読媒体。

JP2018513495A 2015-09-14 2016-09-14 ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品 Active JP6837056B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306408.4A EP3142365A1 (en) 2015-09-14 2015-09-14 Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
EP15306408.4 2015-09-14
PCT/EP2016/071716 WO2017046175A1 (en) 2015-09-14 2016-09-14 Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product

Publications (3)

Publication Number Publication Date
JP2018530963A JP2018530963A (ja) 2018-10-18
JP2018530963A5 true JP2018530963A5 (ja) 2019-10-17
JP6837056B2 JP6837056B2 (ja) 2021-03-03

Family

ID=54199139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018513495A Active JP6837056B2 (ja) 2015-09-14 2016-09-14 ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品

Country Status (6)

Country Link
US (1) US10652577B2 (ja)
EP (2) EP3142365A1 (ja)
JP (1) JP6837056B2 (ja)
KR (1) KR20180053699A (ja)
CN (1) CN108353189A (ja)
WO (1) WO2017046175A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354399B2 (en) * 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
EP3422722A1 (en) * 2017-06-30 2019-01-02 Thomson Licensing Method for encoding a matrix of image views obtained from data acquired by a plenoptic camera
CN107770537B (zh) * 2017-11-02 2020-03-31 中国科学技术大学 基于线性重建的光场图像压缩方法
US11160710B1 (en) 2020-05-20 2021-11-02 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US11432982B2 (en) 2018-03-26 2022-09-06 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US11426318B2 (en) 2020-05-20 2022-08-30 Augustine Biomedical + Design, LLC Medical module including automated dose-response record system
US11219570B2 (en) 2018-03-26 2022-01-11 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US10507153B2 (en) 2018-03-26 2019-12-17 Augustine Biomedical + Design, LLC Relocation modules and methods for surgical field
US11446196B2 (en) 2018-03-26 2022-09-20 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US10869800B2 (en) 2018-03-26 2020-12-22 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
US11291602B2 (en) 2018-03-26 2022-04-05 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment
WO2020140220A1 (zh) * 2019-01-02 2020-07-09 Oppo广东移动通信有限公司 帧内预测方法及装置、视频编码设备、存储介质
CN110580481B (zh) * 2019-08-09 2022-01-11 西安理工大学 一种基于epi的光场图像关键位置检测方法
BR102021009291A2 (pt) * 2021-05-13 2022-11-22 Samsung Eletrônica da Amazônia Ltda. Método de intrapredição quadridimensional para codificação e decodificação de dados de light field

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69434685T2 (de) * 1993-08-04 2006-09-14 Canon K.K. Bildverarbeitungsverfahren und -gerät
EP0707288B1 (en) 1994-10-14 2003-08-27 Canon Kabushiki Kaisha Image processing method and apparatus
WO2007013194A1 (ja) * 2005-07-26 2007-02-01 National University Corporation Nagoya University 画像情報圧縮方法及び自由視点テレビシステム
JP4825984B2 (ja) * 2005-08-29 2011-11-30 国立大学法人名古屋大学 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム
JP2007180982A (ja) 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像復号装置、画像復号方法、及び画像復号プログラム
WO2010086544A1 (fr) * 2009-01-28 2010-08-05 France Telecom Procede et dispositif de codage d'une image utilisant un masque de prediction, procede et dispositif de decodage, signal et programmes d'ordinateur correspondants
EP2280548B1 (en) * 2009-07-30 2018-03-28 Thomson Licensing DTV Method for decoding a stream of coded data representative of a sequence of images and method for coding a sequence of images
WO2013030458A1 (en) * 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
JP5206853B2 (ja) * 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
KR101641606B1 (ko) 2012-07-09 2016-07-21 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체

Similar Documents

Publication Publication Date Title
JP2018530963A5 (ja)
KR101210625B1 (ko) 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
JP2018533273A5 (ja)
CN110839153A (zh) 简化的跨分量预测
JP2019509662A5 (ja)
KR101779872B1 (ko) 이미지 처리 방법 및 장치
US10735761B2 (en) Method and apparatus of video coding
JP2018530246A5 (ja)
US9225967B2 (en) Multi-view image processing apparatus, method and computer-readable medium
JP2012516637A5 (ja)
JP2016111695A5 (ja)
JP7416490B2 (ja) ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム
KR102320733B1 (ko) 디블로킹 필터 방법 및 장치
CA3027764C (en) Intra-prediction video coding method and device
US20150271527A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
KR102206980B1 (ko) 이미지 인코딩 방법, 이미지 디코딩 방법, 인코딩 장치, 및 디코딩 장치
CN104718761A (zh) 视频编码/解码方法、装置、程序、记录介质
JP2014143671A5 (ja)
JP5779116B2 (ja) 画像符号化方法、画像符号化装置及び画像符号化プログラム
CA3028510C (en) Bidirectional interframe predictive coding method and device using forward and backward block weighting and block brightness weighting
JP2014514808A5 (ja)
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPWO2019151280A5 (ja)
CN106534850B (zh) 图像处理装置、图像插值方法和图像编码方法
WO2011102867A1 (en) A universal blurriness measurement approach for digital imagery