JP2018533104A5 - - Google Patents

Download PDF

Info

Publication number
JP2018533104A5
JP2018533104A5 JP2018506383A JP2018506383A JP2018533104A5 JP 2018533104 A5 JP2018533104 A5 JP 2018533104A5 JP 2018506383 A JP2018506383 A JP 2018506383A JP 2018506383 A JP2018506383 A JP 2018506383A JP 2018533104 A5 JP2018533104 A5 JP 2018533104A5
Authority
JP
Japan
Prior art keywords
codeword
depth
invalid
depth map
hamming distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018506383A
Other languages
English (en)
Other versions
JP6776333B2 (ja
JP2018533104A (ja
Filing date
Publication date
Priority claimed from US14/827,088 external-priority patent/US9635339B2/en
Application filed filed Critical
Publication of JP2018533104A publication Critical patent/JP2018533104A/ja
Publication of JP2018533104A5 publication Critical patent/JP2018533104A5/ja
Application granted granted Critical
Publication of JP6776333B2 publication Critical patent/JP6776333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (16)

  1. 構造化された光システムによって生成される深度マップにおける誤りを訂正するための方法であって、
    複数の有効なコードワードおよび少なくとも1つの無効なコードワードを受信するステップであって、前記複数の有効なコードワードの各々が有効なコードワードのコードブックに含まれ、前記コードブックが前記少なくとも1つの無効なコードワードを含まず、各コードワードが構造化された光の画像の画素の少なくとも1つの行および少なくとも1つの列を表し、各コードワードが深度マップにおける位置に対応する、ステップと、
    前記無効なコードワードを検出するステップと、
    メモリユニットから、前記コードブックに含まれるコードワード候補を取り出すステップであって、前記メモリユニットに、前記無効なコードワードから第1のハミング距離にあるコードワード候補および前記無効なコードワードから第2のハミング距離にあるコードワード候補が格納され、前記第1のハミング距離が前記少なくとも1つの無効なコードワードと前記コードブックの中の前記コードワードとの間の最小のハミング距離であり、前記第2のハミング距離が前記第1のハミング距離より長い、ステップと、
    前記深度マップにおける前記無効なコードワードの位置に隣接する少なくとも1つの位置を含む、前記深度マップの複数の位置に対する深度推定値を決定するステップと、
    深度を前記コードワード候補の各々と関連付けるステップと、
    前記決定された深度推定値に最も近い関連する深度を有する前記コードワード候補を選択するステップと、
    前記選択されたコードワード候補と関連付けられる前記深度を前記無効なコードワードの前記位置に割り当てるステップとを備える、方法。
  2. 画素の前記少なくとも1つの列の中の各画素が受信された光のエネルギーを表し、画素の前記少なくとも1つの列の中の各画素nが二値の値を有する、請求項1に記載の方法。
  3. 前記少なくとも1つの無効なコードワードを検出するステップが、前記無効なコードワードが前記コードブックに含まれないことの指示を前記メモリユニットから取り出すステップを備える、請求項1に記載の方法。
  4. 各々の受信された複数のコードワードおよび前記少なくとも1つの無効なコードワードが前記コードブックに含まれるかどうかの指示を前記メモリユニットに格納するステップをさらに備える、請求項1に記載の方法。
  5. 前記少なくとも1つの無効なコードワードと前記コードワード候補の各々との間の前記第1のハミング距離が、異なる二値の値を有する画素の前記少なくとも1つの行および前記少なくとも1つの列の数である、請求項1に記載の方法。
  6. 前記深度推定値を決定するステップが、前記深度マップの前記複数の位置のメジアン深度または平均深度を計算するステップを備える、請求項1に記載の方法。
  7. 前記深度マップの前記複数の位置が、前記無効なコードワードの前記位置から閾値の位置の距離以下にある位置を含む、請求項1に記載の方法。
  8. 前記閾値の距離が、前記深度マップの前記複数の位置の中の4個、8個、12個、20個、および24個の位置にそれぞれ対応する、1、√2、2、√5、2、または2√2である、請求項7に記載の方法。
  9. 構造化された光システムによって生成される深度マップにおける誤りを訂正するための装置であって、
    複数の有効なコードワードおよび少なくとも1つの無効なコードワードを記憶するための手段であって、前記複数の有効なコードワードの各々が有効なコードワードのコードブックに含まれ、前記コードブックが前記少なくとも1つの無効なコードワードを含まず、各コードワードが構造化された光の画像の画素の少なくとも1つの行および少なくとも1つの列を表し、各コードワードが深度マップにおける位置に対応する、手段と、
    複数の有効なコードワードおよび少なくとも1つの無効なコードワードを受信するための手段と、
    前記無効なコードワードを検出するための手段と、
    前記記憶するための手段から、前記コードブックに含まれるコードワード候補を取り出すための手段であって、前記記憶するための手段に、前記無効なコードワードから第1のハミング距離にあるコードワード候補のセットおよび前記無効なコードワードから第2のハミング距離にあるコードワード候補の第2のセットが格納され、前記第1のハミング距離が前記少なくとも1つの無効なコードワードと前記コードブックの中の前記コードワードとの間の最小のハミング距離であり、前記第2のハミング距離が前記第1のハミング距離より長い、手段と、
    前記深度マップにおける前記無効なコードワードの位置に隣接する少なくとも1つの位置を含む、前記深度マップの複数の位置に対する深度推定値を決定するための手段と、
    深度を前記コードワード候補の各々と関連付けるための手段と、
    前記決定された深度推定値に最も近い関連する深度を有する前記コードワード候補を選択するための手段と、
    前記選択されたコードワード候補と関連付けられる前記深度を前記無効なコードワードの前記位置に割り当てるための手段とを備える、装置。
  10. 前記手段がメモリユニットを備え、前記受信するための手段がプロセッサを有する受信機を備える、請求項9に記載の装置。
  11. 各画素が受信される光のエネルギーを表し、各画素が二値の値によって表される、請求項9に記載の装置。
  12. 前記検出するための手段が、前記無効なコードワードが前記コードブックに含まれないことの指示を前記記憶手段から取り出すことによって、前記無効なコードワードを検出する、請求項9に記載の装置。
  13. 各々の受信されたコードワードが前記コードブックに含まれるかどうかの指示を前記記憶するための手段に格納するための手段をさらに備える、請求項9に記載の装置。
  14. 前記決定するための手段が、前記深度マップの前記複数の位置のメジアン深度または平均深度を計算することによって、前記深度推定値を推定するように構成される、請求項9に記載の装置。
  15. 前記深度マップの前記複数の位置が、前記無効なコードワードの前記位置から閾値の位置の距離以下にある位置を含み、前記閾値の距離が、前記深度マップの前記複数の位置の中の4個、8個、12個、20個、および24個の位置にそれぞれ対応する、1、√2、2、√5、2、または2√2である、請求項9に記載の装置。
  16. 構造化された光システムによって生成される深度マップにおける誤りを訂正するための命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されると、請求項1から8のいずれか一項に記載の方法を実行する、コンピュータ可読記憶媒体。
JP2018506383A 2015-08-14 2016-07-20 メモリ効率の良いコーディングされた光の誤り訂正 Active JP6776333B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/827,088 2015-08-14
US14/827,088 US9635339B2 (en) 2015-08-14 2015-08-14 Memory-efficient coded light error correction
PCT/US2016/043141 WO2017030727A1 (en) 2015-08-14 2016-07-20 Memory-efficient coded light error correction

Publications (3)

Publication Number Publication Date
JP2018533104A JP2018533104A (ja) 2018-11-08
JP2018533104A5 true JP2018533104A5 (ja) 2019-08-15
JP6776333B2 JP6776333B2 (ja) 2020-10-28

Family

ID=56801769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018506383A Active JP6776333B2 (ja) 2015-08-14 2016-07-20 メモリ効率の良いコーディングされた光の誤り訂正

Country Status (7)

Country Link
US (1) US9635339B2 (ja)
EP (1) EP3335192B1 (ja)
JP (1) JP6776333B2 (ja)
KR (1) KR102507101B1 (ja)
CN (1) CN107851310B (ja)
BR (1) BR112018002739B1 (ja)
WO (1) WO2017030727A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US10699429B2 (en) * 2017-08-19 2020-06-30 Cognex Corporation Coding distance topologies for structured light patterns for 3D reconstruction
CN109635619B (zh) * 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
CN111480342B (zh) * 2017-12-01 2024-04-23 索尼公司 编码装置、编码方法、解码装置、解码方法和存储介质
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11262192B2 (en) 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US11297300B2 (en) 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system
KR102645539B1 (ko) 2019-01-18 2024-03-11 삼성전자주식회사 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4104608A (en) * 1977-03-30 1978-08-01 The United States Of America As Represented By The Secretary Of The Navy Heave meter
US4653104A (en) 1984-09-24 1987-03-24 Westinghouse Electric Corp. Optical three-dimensional digital data acquisition system
US5226084A (en) 1990-12-05 1993-07-06 Digital Voice Systems, Inc. Methods for speech quantization and error correction
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
CA2306515A1 (en) 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
FI109633B (fi) 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US7212663B2 (en) 2002-06-19 2007-05-01 Canesta, Inc. Coded-array technique for obtaining depth and other position information of an observed object
US7146036B2 (en) 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US7231578B2 (en) * 2004-04-02 2007-06-12 Hitachi Global Storage Technologies Netherlands B.V. Techniques for detecting and correcting errors using multiple interleave erasure pointers
US7916932B2 (en) 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
JP4856605B2 (ja) * 2006-08-31 2012-01-18 パナソニック株式会社 符号化方法、符号化装置、及び送信装置
DE102006048234A1 (de) 2006-10-11 2008-04-17 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
US20090322859A1 (en) 2008-03-20 2009-12-31 Shelton Damion M Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System
TWI420401B (zh) 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
DE112009005382T5 (de) 2009-11-18 2012-09-13 Industrial Technology Research Institute Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden
GB2479784B (en) * 2010-04-23 2012-11-07 Nds Ltd Image scaling
US20130038694A1 (en) 2010-04-27 2013-02-14 Sanjay Nichani Method for moving object detection using an image sensor and structured light
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
US8432392B2 (en) 2010-09-02 2013-04-30 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
JP5891424B2 (ja) 2010-09-17 2016-03-23 パナソニックIpマネジメント株式会社 立体映像作成装置および立体映像作成方法
US20120086803A1 (en) 2010-10-11 2012-04-12 Malzbender Thomas G Method and system for distance estimation using projected symbol sequences
US8429495B2 (en) 2010-10-19 2013-04-23 Mosaid Technologies Incorporated Error detection and correction codes for channels and memories with incomplete error characteristics
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
JP2012141252A (ja) 2011-01-06 2012-07-26 Nikon Corp 三次元形状測定装置
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
BR112014003165A2 (pt) * 2011-08-09 2017-03-01 Samsung Electronics Co Ltd método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
EP2777273B1 (en) 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
US8270465B1 (en) 2011-11-15 2012-09-18 Xw Llc Timing and time information extraction from a phase modulated signal in a radio controlled clock receiver
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
JP5918984B2 (ja) 2011-12-06 2016-05-18 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2013162252A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 슬라이스 헤더를 이용하는 3차원 비디오 부호화 방법 및 그 장치, 3차원 비디오 복호화 방법 및 그 장치
US9207070B2 (en) 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN102831582B (zh) 2012-07-27 2015-08-12 湖南大学 一种微软体感装置深度图像增强方法
JP6787667B2 (ja) * 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
KR101995340B1 (ko) 2013-01-02 2019-07-02 엘지이노텍 주식회사 적외선 광원 제어방법
JP5794240B2 (ja) 2013-02-05 2015-10-14 ソニー株式会社 誤り検出訂正装置、誤り検出訂正方法、情報処理装置、および、プログラム
US10140765B2 (en) 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
WO2014209268A1 (en) 2013-06-24 2014-12-31 Intel Corporation Error detecting and correcting structured light patterns
WO2015065386A1 (en) 2013-10-30 2015-05-07 Intel Corporation Image capture feedback
CN103702098B (zh) * 2013-12-09 2015-12-30 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
CN103796004B (zh) 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US20160050372A1 (en) 2014-08-15 2016-02-18 Qualcomm Incorporated Systems and methods for depth enhanced and content aware video stabilization
CN104199922B (zh) * 2014-09-01 2019-05-03 中国科学院自动化研究所 一种基于局部相似哈希算法的大规模图像库检索方法
CN104639933A (zh) * 2015-01-07 2015-05-20 前海艾道隆科技(深圳)有限公司 一种立体视图的深度图实时获取方法及系统
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9530215B2 (en) 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology

Similar Documents

Publication Publication Date Title
JP2018533104A5 (ja)
RU2015153051A (ru) Высокоэффективное обнаружение плоскостей с помощью данных камеры глубины
JP2017504243A5 (ja)
GB2550798A (en) Order pairing system and method
WO2015187606A3 (en) Apparatuses and methods for parity determination using sensing circuitry
JP2016500885A5 (ja)
JP2018509617A5 (ja)
RU2013131158A (ru) Идентификация ключевого кадра видеопоследовательности на основе ограниченного контекста
JP2018517355A5 (ja)
RU2016103409A (ru) Определение расстояния или положения
JP2015529428A5 (ja)
JP2015096812A5 (ja)
RU2013108886A (ru) Устройство обработки информации, его способ управления и запоминающий носитель
JP2016503216A5 (ja)
JP2016514437A5 (ja)
JP2016528481A5 (ja)
RU2016152191A (ru) Понимание таблиц для поиска
RU2015137789A (ru) СПОСОБ УЛУЧШЕНИЯ ЭФФЕКТИВНОСТИ КАДРОВ УПРАВЛЕНИЯ В 802.11ah
RU2016143736A (ru) Определение радиуса погрешности местоположения
CN104517092A (zh) 一种qr码校正图形的检测方法及系统
RU2016109431A (ru) Способ и устройство для определения символа
RU2015110973A (ru) Способ и устройство для идентификации кодирования веб-страницы
RU2017134497A (ru) Компьютер для управления автономным транспортным средством
SG11202010722RA (en) Dynamic blockchain data storage based on error correction code
JP2016524352A5 (ja)