JP2018198421A5 - - Google Patents

Download PDF

Info

Publication number
JP2018198421A5
JP2018198421A5 JP2018080325A JP2018080325A JP2018198421A5 JP 2018198421 A5 JP2018198421 A5 JP 2018198421A5 JP 2018080325 A JP2018080325 A JP 2018080325A JP 2018080325 A JP2018080325 A JP 2018080325A JP 2018198421 A5 JP2018198421 A5 JP 2018198421A5
Authority
JP
Japan
Prior art keywords
matrix
mapping operator
point cloud
frame
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018080325A
Other languages
English (en)
Other versions
JP7166782B2 (ja
JP2018198421A (ja
Filing date
Publication date
Priority claimed from EP17305504.7A external-priority patent/EP3399757A1/en
Application filed filed Critical
Publication of JP2018198421A publication Critical patent/JP2018198421A/ja
Publication of JP2018198421A5 publication Critical patent/JP2018198421A5/ja
Application granted granted Critical
Publication of JP7166782B2 publication Critical patent/JP7166782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

多くの実装形態について説明してきた。それにもかかわらず、様々な変更形態がなされ得ることが理解されるであろう。例えば、他の実装形態を生成するために、異なる実装形態の要素を組み合わせることも、補足することも、変更することも、除去することもできる。加えて、当業者は、開示されるものの代わりに、他の構造およびプロセスを代用することができ、結果として得られる実装形態は、開示される実装形態と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を実行することを理解するであろう。それに従って、これらのおよび他の実装形態が本出願によって企図される。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
ビットストリームから二次元ポイントクラウドを復号する方法であって、
前記ビットストリームから、画素のフレームと、展開グリッドを表す二次元座標の行列とを得ることであって、前記行列は、前記フレームと関連付けられている、得ることと、
前記行列に従って逆マッピング演算子を決定することと、
前記逆マッピング演算子を前記フレームに適用することにより、前記ポイントクラウドを復号することと
を含む、方法。
(付記2)
前記逆マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、付記1に記載の方法。
(付記3)
前記行列は、前記ビットストリームにおいてフレームの群と関連付けられ、前記方法は、前記フレームの群のフレームを、前記行列に従って決定された前記逆マッピング演算子を前記フレームに適用することによって復号することをさらに含む、付記1または2に記載の方法。
(付記4)
ビットストリームにおいて二次元ポイントクラウドを符号化する方法であって、
高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを表す二次元座標の行列を生成することであって、高密度マッピング演算子は、ポイントクラウドに対するフレームの画素の使用を最適化するマッピング演算子である、生成することと、
マッピング演算子を前記ポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、前記行列に従って決定される、生成することと、
前記ビットストリームにおいて前記展開グリッドを表す二次元座標の前記行列と関連付けられた前記フレームを符号化することにより、前記ビットストリームを生成することと
を含む、方法。
(付記5)
前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、付記4に記載の方法。
(付記6)
前記高密度マッピング演算子は、ポイントクラウドの群に対して決定され、前記方法は、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、前記ビットストリームにおいて前記行列を前記生成されたフレームの群と関連付けることとをさらに含む、付記4または5に記載の方法。
(付記7)
前記二次元ポイントクラウドは、表面へのn次元ポイントクラウドの投影であり、nは、2より大きい、付記4〜6のいずれかに記載の方法。
(付記8)
少なくとも1つのプロセッサと関連付けられたメモリを含むデバイスであって、前記少なくとも1つのプロセッサは、
ビットストリームから、画素のフレームと、展開グリッドを表す二次元座標の行列とを得ることであって、前記データは、前記フレームと関連付けられている、得ることと、
前記行列に従って逆マッピング演算子を決定することと、
前記逆マッピング演算子を前記フレームに適用することにより、前記ポイントクラウドを復号することと
を行うように構成されている、デバイス。
(付記9)
前記逆マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、付記8に記載のデバイス。
(付記10)
前記行列は、前記ビットストリームにおいてフレームの群と関連付けられ、前記少なくとも1つのプロセッサは、前記フレームの群のフレームを、前記行列に従って決定された前記逆マッピング演算子を前記フレームに適用することによって復号するようにさらに構成されている、付記8または9に記載のデバイス。
(付記11)
少なくとも1つのプロセッサと関連付けられたメモリを含むデバイスであって、前記少なくとも1つのプロセッサは、
高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを表す二次元座標の行列を生成することであって、高密度マッピング演算子は、ポイントクラウドに対するフレームの画素の使用を最適化するマッピング演算子である、生成することと、
マッピング演算子を前記二次元ポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、前記行列に従って決定される、生成することと、
ビットストリームにおいて前記行列と関連付けられた前記フレームを符号化することにより、前記ビットストリームを生成することと
を行うように構成されている、デバイス。
(付記12)
前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、付記11に記載のデバイス。
(付記13)
前記高密度マッピング演算子は、ポイントクラウドの群に対して決定され、前記少なくとも1つのプロセッサは、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、前記ビットストリームにおいて前記行列を前記生成されたフレームの群と関連付けることとを行うようにさらに構成されている、付記11または12に記載のデバイス。
(付記14)
前記二次元ポイントクラウドは、表面へのn次元ポイントクラウドの投影であり、nは、2より大きい、付記11〜13のいずれかに記載のデバイス。
(付記15)
二次元ポイントクラウドを表すデータを保持するストリームであって、前記データは、
高密度マッピング演算子に従って規則的なグリッドをマッピングすることによって生成された展開グリッドを表す二次元座標の行列を保持する第1のシンタックス要素であって、高密度マッピング演算子は、ポイントクラウドに対するフレームの画素の使用を最適化するマッピング演算子である、第1のシンタックス要素と、
マッピング演算子を前記二次元ポイントクラウドに適用することによって生成された画素の少なくとも1つのフレームに対する第2のシンタックス要素であって、前記マッピング演算子は、前記行列に従って決定される、第2のシンタックス要素と
を含み、
前記行列は、前記少なくとも1つのフレームと関連付けられている、ストリーム。

Claims (11)

  1. ビットストリームから二次元ポイントクラウドを復号する方法であって、
    前記ビットストリームから、画素のフレームと、前記二次元ポイントクラウドについての前記フレームの未使用の画素の数を低減する高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより得られる展開グリッドを表す二次元座標の行列とを得ること
    前記行列でパラメータ化された区分双線形補間子として逆マッピング演算子を決定することと、
    前記逆マッピング演算子を前記フレームに適用することにより、前記ポイントクラウドを復号することと
    を含む、方法。
  2. 前記行列は、前記ビットストリームにおいてフレームの群と関連付けられ、前記方法は、前記フレームの群のフレームを、前記行列に従って決定された前記逆マッピング演算子を前記フレームに適用することによって復号することをさらに含む、請求項に記載の方法。
  3. ビットストリームにおいて二次元ポイントクラウドを符号化する方法であって、
    高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを表す二次元座標の行列を生成することであって、前記高密度マッピング演算子は、前記ポイントクラウドについてのフレームの未使用の画素の数を低減するマッピング演算子である、生成することと、
    マッピング演算子を前記ポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子として決定される、生成することと、
    前記ビットストリームにおいて前記展開グリッドを表す二次元座標の前記行列と関連付けられた前記フレームを符号化することにより、前記ビットストリームを生成することと
    を含む、方法。
  4. 前記高密度マッピング演算子は、ポイントクラウドの群に対して決定され、前記方法は、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、前記ビットストリームにおいて前記行列を前記生成されたフレームの群と関連付けることとをさらに含む、請求項に記載の方法。
  5. 前記二次元ポイントクラウドは、表面へのn次元ポイントクラウドの投影であり、nは、2より大きい、請求項3又は4に記載の方法。
  6. 少なくとも1つのプロセッサと関連付けられたメモリを含むデバイスであって、前記少なくとも1つのプロセッサは、
    ビットストリームから、画素のフレームと、二次元ポイントクラウドについての前記フレームの未使用の画素の数を低減する高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより得られる展開グリッドを表す二次元座標の行列とを得ること
    前記行列でパラメータ化された区分双線形補間子として逆マッピング演算子を決定することと、
    前記逆マッピング演算子を前記フレームに適用することにより、前記ポイントクラウドを復号することと
    を行うように構成されている、デバイス。
  7. 前記行列は、前記ビットストリームにおいてフレームの群と関連付けられ、前記少なくとも1つのプロセッサは、前記フレームの群のフレームを、前記行列に従って決定された前記逆マッピング演算子を前記フレームに適用することによって復号するようにさらに構成されている、請求項に記載のデバイス。
  8. 少なくとも1つのプロセッサと関連付けられたメモリを含むデバイスであって、前記少なくとも1つのプロセッサは、
    高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを表す二次元座標の行列を生成することであって、前記高密度マッピング演算子は、ポイントクラウドについてのフレームの未使用の画素の数を低減するマッピング演算子である、生成することと、
    マッピング演算子を前記二次元ポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子として決定される、生成することと、
    ビットストリームにおいて前記行列と関連付けられた前記フレームを符号化することにより、前記ビットストリームを生成することと
    を行うように構成されている、デバイス。
  9. 前記高密度マッピング演算子は、ポイントクラウドの群に対して決定され、前記少なくとも1つのプロセッサは、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、前記ビットストリームにおいて前記行列を前記生成されたフレームの群と関連付けることとを行うようにさらに構成されている、請求項に記載のデバイス。
  10. 前記二次元ポイントクラウドは、表面へのn次元ポイントクラウドの投影であり、nは、2より大きい、請求項8又は9に記載のデバイス。
  11. 二次元ポイントクラウドを表すデータを保持するストリームであって、前記データは、
    高密度マッピング演算子に従って規則的なグリッドをマッピングすることによって生成された展開グリッドを表す二次元座標の行列を保持する第1のシンタックス要素であって、前記高密度マッピング演算子は、前記ポイントクラウドについてのフレームの未使用の画素の数を低減するマッピング演算子である、第1のシンタックス要素と、
    マッピング演算子を前記二次元ポイントクラウドに適用することによって生成された画素の少なくとも1つのフレームに対する第2のシンタックス要素であって、前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子として決定される、第2のシンタックス要素と、
    を含み、
    前記行列は、前記少なくとも1つのフレームと関連付けられている、ストリーム。
JP2018080325A 2017-05-04 2018-04-19 二次元ポイントクラウドを符号化および復号する方法および装置 Active JP7166782B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17305504.7 2017-05-04
EP17305504.7A EP3399757A1 (en) 2017-05-04 2017-05-04 Method and apparatus to encode and decode two-dimension point clouds

Publications (3)

Publication Number Publication Date
JP2018198421A JP2018198421A (ja) 2018-12-13
JP2018198421A5 true JP2018198421A5 (ja) 2021-05-27
JP7166782B2 JP7166782B2 (ja) 2022-11-08

Family

ID=58709420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018080325A Active JP7166782B2 (ja) 2017-05-04 2018-04-19 二次元ポイントクラウドを符号化および復号する方法および装置

Country Status (9)

Country Link
US (1) US11122101B2 (ja)
EP (2) EP3399757A1 (ja)
JP (1) JP7166782B2 (ja)
KR (1) KR102627189B1 (ja)
CN (1) CN108810571B (ja)
BR (1) BR102018009143A2 (ja)
CA (1) CA3003608A1 (ja)
MX (1) MX2018005496A (ja)
RU (1) RU2762005C2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460535B (zh) * 2018-11-14 2023-02-03 深圳职业技术学院 一种基于云的有限域矩阵求逆装置及求逆方法
KR102256913B1 (ko) * 2018-12-03 2021-05-27 고려대학교 산학협력단 삼차원 동적 포인트 클라우드 압축방법
CN111327902B (zh) * 2018-12-13 2022-11-22 华为技术有限公司 点云的编解码方法及装置
CN111327897B (zh) 2018-12-13 2022-01-14 华为技术有限公司 点云编码方法和编码器
US11095900B2 (en) * 2018-12-19 2021-08-17 Sony Group Corporation Point cloud coding structure
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
WO2020146341A1 (en) * 2019-01-07 2020-07-16 Futurewei Technologies, Inc. Point cloud bitstream structure and auxiliary information differential coding
KR102640235B1 (ko) * 2019-01-11 2024-02-23 삼성전자주식회사 3차원 데이터 부호화 방법 및 장치 및 3차원 데이터 복호화 방법 및 장치
US11190803B2 (en) * 2019-01-18 2021-11-30 Sony Group Corporation Point cloud coding using homography transform
US20220109882A1 (en) * 2019-02-07 2022-04-07 Interdigital Vc Holding, Inc. Processing a point cloud
EP3935857A1 (en) * 2019-03-08 2022-01-12 Vid Scale, Inc. Methods and apparatus for adaptive streaming of point clouds
CN111739111B (zh) * 2019-03-20 2023-05-30 上海交通大学 一种点云投影编码的块内偏移优化方法及系统
WO2020189903A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2020190097A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 수신 장치, 포인트 클라우드 데이터 수신 방법, 포인트 클라우드 데이터 처리 장치 및 포인트 클라우드 데이터 처리 방법
KR20230152815A (ko) * 2019-03-21 2023-11-03 엘지전자 주식회사 포인트 클라우드 데이터 부호화 장치, 포인트 클라우드 데이터 부호화 방법, 포인트 클라우드 데이터 복호화 장치 및 포인트 클라우드 데이터 복호화 방법
WO2020235979A1 (ko) * 2019-05-23 2020-11-26 삼성전자 주식회사 포인트 클라우드 기반 데이터를 렌더링하는 방법 및 장치
WO2020256244A1 (ko) * 2019-06-21 2020-12-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021002558A1 (ko) * 2019-07-03 2021-01-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법.
JP7328447B2 (ja) 2019-10-03 2023-08-16 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
CN110730364B (zh) * 2019-10-14 2021-08-31 广州微算互联信息技术有限公司 一种云手机数据传输方法、装置及存储介质
WO2021117859A1 (ja) * 2019-12-13 2021-06-17 ソニーグループ株式会社 画像処理装置および方法
KR20220127258A (ko) * 2019-12-20 2022-09-19 인터디지털 브이씨 홀딩스 프랑스 뷰-유도 스펙큘러리티를 갖는 볼류메트릭 비디오를 코딩 및 디코딩하기 위한 방법 및 장치
CN115380528B (zh) * 2020-04-11 2024-03-29 Lg电子株式会社 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
CN117834863A (zh) * 2020-04-14 2024-04-05 Lg电子株式会社 点云数据发送设备和方法、点云数据接收设备和方法
CN115474041B (zh) * 2021-06-11 2023-05-26 腾讯科技(深圳)有限公司 点云属性的预测方法、装置及相关设备
WO2023280129A1 (en) * 2021-07-04 2023-01-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
EP4141794A1 (en) * 2021-08-31 2023-03-01 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701028B1 (en) * 2000-01-11 2004-03-02 Applied Materials, Inc. Method and apparatus for fast signal convolution using spline kernel
US7236613B2 (en) * 2003-08-29 2007-06-26 The Boeing Company Methods and apparatus for infrared resolution of closely-spaced objects
WO2005025404A2 (en) * 2003-09-08 2005-03-24 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US8042056B2 (en) * 2004-03-16 2011-10-18 Leica Geosystems Ag Browsers for large geometric data visualization
WO2009154644A1 (en) 2008-06-17 2009-12-23 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8525848B2 (en) * 2009-11-16 2013-09-03 Autodesk, Inc. Point cloud decimation engine
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
CN103261912B (zh) * 2010-07-29 2016-01-20 威凯托陵科有限公司 用于测量对象的距离和/或强度特性的设备和方法
GB201103822D0 (en) * 2011-03-07 2011-04-20 Isis Innovation System for providing locality information and associated devices
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
JP5745435B2 (ja) 2012-02-01 2015-07-08 東芝プラントシステム株式会社 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法
WO2013133648A1 (ko) 2012-03-07 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
RU2013100160A (ru) 2013-01-09 2014-07-20 ЭлЭсАй Корпорейшн Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы
CN103761744B (zh) * 2014-02-21 2016-06-15 哈尔滨工业大学 通用型二维点云分组方法
EP2947630A1 (en) * 2014-05-23 2015-11-25 My Virtual Reality Software AS Method for compressing coordinate data
US9940727B2 (en) * 2014-06-19 2018-04-10 University Of Southern California Three-dimensional modeling from wide baseline range scans
US9870204B2 (en) * 2014-11-14 2018-01-16 Cavium, Inc. Algorithm to achieve optimal layout of instruction tables for programmable network devices
CN106339208B (zh) * 2015-07-15 2019-12-13 腾讯科技(深圳)有限公司 一种多媒体信息弹窗的处理方法及设备
US10193904B2 (en) * 2015-07-16 2019-01-29 Qatar University Data-driven semi-global alignment technique for masquerade detection in stand-alone and cloud computing systems
CN105427239B (zh) * 2015-12-05 2018-05-22 刘忠艳 一种二维点云匹配方法
US10043305B2 (en) * 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
CN106228570B (zh) * 2016-07-08 2019-04-09 百度在线网络技术(北京)有限公司 一种真值数据确定方法和装置
US10417533B2 (en) * 2016-08-09 2019-09-17 Cognex Corporation Selection of balanced-probe sites for 3-D alignment algorithms
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US20190116372A1 (en) * 2017-10-16 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Compressing, Representing and Processing Point Clouds

Similar Documents

Publication Publication Date Title
JP2018198421A5 (ja)
JPWO2020101021A5 (ja)
JPWO2020012967A1 (ja) 画像処理装置および方法
JP2018033123A5 (ja)
JP2016540410A5 (ja) ファイルの生成方法、ファイルの生成装置、及び、プログラム。
JPWO2019198523A1 (ja) 画像処理装置および方法
RU2018115810A (ru) Способ и устройство для того, чтобы кодировать и декодировать двумерные облака точек
CN110166757B (zh) 用计算机实现的压缩数据的方法、系统、存储介质
US20190228050A1 (en) Bezier volume representation of point cloud attributes
JP2018530225A5 (ja)
GB2565702A (en) Method and apparatus of boundary padding for VR video processing
JP2019537294A5 (ja)
JP2017526004A5 (ja)
JP2019534608A5 (ja)
JP2020536325A5 (ja)
RU2017105507A (ru) Устройство и способ формирования расширенного сигнала с использованием заполнения независимым шумом
JP2019514313A5 (ja)
JP2018093416A5 (ja)
JPWO2014087860A1 (ja) 復号装置、復号方法、およびプログラム
JP2022137213A (ja) 信号処理装置および方法、並びにプログラム
JP2023533680A (ja) V3c/v-pccのための復号タイルハッシュseiメッセージ
JP5779116B2 (ja) 画像符号化方法、画像符号化装置及び画像符号化プログラム
US11989919B2 (en) Method and apparatus for encoding and decoding volumetric video data
JP2016015037A (ja) 情報処理装置及びその制御方法、並びに、ビデオカメラ
WO2014048242A1 (zh) 预测图像生成方法和装置