JP2018533104A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2018533104A5 JP2018533104A5 JP2018506383A JP2018506383A JP2018533104A5 JP 2018533104 A5 JP2018533104 A5 JP 2018533104A5 JP 2018506383 A JP2018506383 A JP 2018506383A JP 2018506383 A JP2018506383 A JP 2018506383A JP 2018533104 A5 JP2018533104 A5 JP 2018533104A5
- Authority
- JP
- Japan
- Prior art keywords
- codeword
- depth
- invalid
- depth map
- hamming distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000875 corresponding Effects 0.000 claims 5
Claims (16)
- 構造化された光システムによって生成される深度マップにおける誤りを訂正するための方法であって、
複数の有効なコードワードおよび少なくとも1つの無効なコードワードを受信するステップであって、前記複数の有効なコードワードの各々が有効なコードワードのコードブックに含まれ、前記コードブックが前記少なくとも1つの無効なコードワードを含まず、各コードワードが構造化された光の画像の画素の少なくとも1つの行および少なくとも1つの列を表し、各コードワードが深度マップにおける位置に対応する、ステップと、
前記無効なコードワードを検出するステップと、
メモリユニットから、前記コードブックに含まれるコードワード候補を取り出すステップであって、前記メモリユニットに、前記無効なコードワードから第1のハミング距離にあるコードワード候補および前記無効なコードワードから第2のハミング距離にあるコードワード候補が格納され、前記第1のハミング距離が前記少なくとも1つの無効なコードワードと前記コードブックの中の前記コードワードとの間の最小のハミング距離であり、前記第2のハミング距離が前記第1のハミング距離より長い、ステップと、
前記深度マップにおける前記無効なコードワードの位置に隣接する少なくとも1つの位置を含む、前記深度マップの複数の位置に対する深度推定値を決定するステップと、
深度を前記コードワード候補の各々と関連付けるステップと、
前記決定された深度推定値に最も近い関連する深度を有する前記コードワード候補を選択するステップと、
前記選択されたコードワード候補と関連付けられる前記深度を前記無効なコードワードの前記位置に割り当てるステップとを備える、方法。 - 画素の前記少なくとも1つの列の中の各画素が受信された光のエネルギーを表し、画素の前記少なくとも1つの列の中の各画素nが二値の値を有する、請求項1に記載の方法。
- 前記少なくとも1つの無効なコードワードを検出するステップが、前記無効なコードワードが前記コードブックに含まれないことの指示を前記メモリユニットから取り出すステップを備える、請求項1に記載の方法。
- 各々の受信された複数のコードワードおよび前記少なくとも1つの無効なコードワードが前記コードブックに含まれるかどうかの指示を前記メモリユニットに格納するステップをさらに備える、請求項1に記載の方法。
- 前記少なくとも1つの無効なコードワードと前記コードワード候補の各々との間の前記第1のハミング距離が、異なる二値の値を有する画素の前記少なくとも1つの行および前記少なくとも1つの列の数である、請求項1に記載の方法。
- 前記深度推定値を決定するステップが、前記深度マップの前記複数の位置のメジアン深度または平均深度を計算するステップを備える、請求項1に記載の方法。
- 前記深度マップの前記複数の位置が、前記無効なコードワードの前記位置から閾値の位置の距離以下にある位置を含む、請求項1に記載の方法。
- 前記閾値の距離が、前記深度マップの前記複数の位置の中の4個、8個、12個、20個、および24個の位置にそれぞれ対応する、1、√2、2、√5、2、または2√2である、請求項7に記載の方法。
- 構造化された光システムによって生成される深度マップにおける誤りを訂正するための装置であって、
複数の有効なコードワードおよび少なくとも1つの無効なコードワードを記憶するための手段であって、前記複数の有効なコードワードの各々が有効なコードワードのコードブックに含まれ、前記コードブックが前記少なくとも1つの無効なコードワードを含まず、各コードワードが構造化された光の画像の画素の少なくとも1つの行および少なくとも1つの列を表し、各コードワードが深度マップにおける位置に対応する、手段と、
複数の有効なコードワードおよび少なくとも1つの無効なコードワードを受信するための手段と、
前記無効なコードワードを検出するための手段と、
前記記憶するための手段から、前記コードブックに含まれるコードワード候補を取り出すための手段であって、前記記憶するための手段に、前記無効なコードワードから第1のハミング距離にあるコードワード候補のセットおよび前記無効なコードワードから第2のハミング距離にあるコードワード候補の第2のセットが格納され、前記第1のハミング距離が前記少なくとも1つの無効なコードワードと前記コードブックの中の前記コードワードとの間の最小のハミング距離であり、前記第2のハミング距離が前記第1のハミング距離より長い、手段と、
前記深度マップにおける前記無効なコードワードの位置に隣接する少なくとも1つの位置を含む、前記深度マップの複数の位置に対する深度推定値を決定するための手段と、
深度を前記コードワード候補の各々と関連付けるための手段と、
前記決定された深度推定値に最も近い関連する深度を有する前記コードワード候補を選択するための手段と、
前記選択されたコードワード候補と関連付けられる前記深度を前記無効なコードワードの前記位置に割り当てるための手段とを備える、装置。 - 前記手段がメモリユニットを備え、前記受信するための手段がプロセッサを有する受信機を備える、請求項9に記載の装置。
- 各画素が受信される光のエネルギーを表し、各画素が二値の値によって表される、請求項9に記載の装置。
- 前記検出するための手段が、前記無効なコードワードが前記コードブックに含まれないことの指示を前記記憶手段から取り出すことによって、前記無効なコードワードを検出する、請求項9に記載の装置。
- 各々の受信されたコードワードが前記コードブックに含まれるかどうかの指示を前記記憶するための手段に格納するための手段をさらに備える、請求項9に記載の装置。
- 前記決定するための手段が、前記深度マップの前記複数の位置のメジアン深度または平均深度を計算することによって、前記深度推定値を推定するように構成される、請求項9に記載の装置。
- 前記深度マップの前記複数の位置が、前記無効なコードワードの前記位置から閾値の位置の距離以下にある位置を含み、前記閾値の距離が、前記深度マップの前記複数の位置の中の4個、8個、12個、20個、および24個の位置にそれぞれ対応する、1、√2、2、√5、2、または2√2である、請求項9に記載の装置。
- 構造化された光システムによって生成される深度マップにおける誤りを訂正するための命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されると、請求項1から8のいずれか一項に記載の方法を実行する、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/827,088 | 2015-08-14 | ||
US14/827,088 US9635339B2 (en) | 2015-08-14 | 2015-08-14 | Memory-efficient coded light error correction |
PCT/US2016/043141 WO2017030727A1 (en) | 2015-08-14 | 2016-07-20 | Memory-efficient coded light error correction |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018533104A JP2018533104A (ja) | 2018-11-08 |
JP2018533104A5 true JP2018533104A5 (ja) | 2019-08-15 |
JP6776333B2 JP6776333B2 (ja) | 2020-10-28 |
Family
ID=56801769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018506383A Active JP6776333B2 (ja) | 2015-08-14 | 2016-07-20 | メモリ効率の良いコーディングされた光の誤り訂正 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9635339B2 (ja) |
EP (1) | EP3335192B1 (ja) |
JP (1) | JP6776333B2 (ja) |
KR (1) | KR102507101B1 (ja) |
CN (1) | CN107851310B (ja) |
BR (1) | BR112018002739B1 (ja) |
WO (1) | WO2017030727A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010006081A1 (en) | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
US9562760B2 (en) | 2014-03-10 | 2017-02-07 | Cognex Corporation | Spatially self-similar patterned illumination for depth imaging |
US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
US9846943B2 (en) | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
US10699429B2 (en) * | 2017-08-19 | 2020-06-30 | Cognex Corporation | Coding distance topologies for structured light patterns for 3D reconstruction |
CN109635619B (zh) * | 2017-08-19 | 2021-08-31 | 康耐视公司 | 用于三维重建的结构化光图案的编码距离拓扑 |
CN111480342B (zh) * | 2017-12-01 | 2024-04-23 | 索尼公司 | 编码装置、编码方法、解码装置、解码方法和存储介质 |
US10740913B2 (en) | 2017-12-12 | 2020-08-11 | Samsung Electronics Co., Ltd. | Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system |
US11262192B2 (en) | 2017-12-12 | 2022-03-01 | Samsung Electronics Co., Ltd. | High contrast structured light patterns for QIS sensors |
US11297300B2 (en) | 2018-01-29 | 2022-04-05 | Samsung Electronics Co., Ltd. | Robust structured-light patterns for 3D camera system |
KR102645539B1 (ko) | 2019-01-18 | 2024-03-11 | 삼성전자주식회사 | 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 |
Family Cites Families (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4104608A (en) * | 1977-03-30 | 1978-08-01 | The United States Of America As Represented By The Secretary Of The Navy | Heave meter |
US4653104A (en) | 1984-09-24 | 1987-03-24 | Westinghouse Electric Corp. | Optical three-dimensional digital data acquisition system |
US5226084A (en) | 1990-12-05 | 1993-07-06 | Digital Voice Systems, Inc. | Methods for speech quantization and error correction |
WO1996041304A1 (en) | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
CA2306515A1 (en) | 2000-04-25 | 2001-10-25 | Inspeck Inc. | Internet stereo vision, 3d digitizing, and motion capture camera |
FI109633B (fi) | 2001-01-24 | 2002-09-13 | Gamecluster Ltd Oy | Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi |
US7212663B2 (en) | 2002-06-19 | 2007-05-01 | Canesta, Inc. | Coded-array technique for obtaining depth and other position information of an observed object |
US7146036B2 (en) | 2003-02-03 | 2006-12-05 | Hewlett-Packard Development Company, L.P. | Multiframe correspondence estimation |
CA2435935A1 (en) | 2003-07-24 | 2005-01-24 | Guylain Lemelin | Optical 3d digitizer with enlarged non-ambiguity zone |
US7231578B2 (en) * | 2004-04-02 | 2007-06-12 | Hitachi Global Storage Technologies Netherlands B.V. | Techniques for detecting and correcting errors using multiple interleave erasure pointers |
US7916932B2 (en) | 2005-02-16 | 2011-03-29 | In-G Co., Ltd. | Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof |
JP4856605B2 (ja) * | 2006-08-31 | 2012-01-18 | パナソニック株式会社 | 符号化方法、符号化装置、及び送信装置 |
DE102006048234A1 (de) | 2006-10-11 | 2008-04-17 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts |
US20090322859A1 (en) | 2008-03-20 | 2009-12-31 | Shelton Damion M | Method and System for 3D Imaging Using a Spacetime Coded Laser Projection System |
TWI420401B (zh) | 2008-06-11 | 2013-12-21 | Vatics Inc | 一種回授式物件偵測演算法 |
US8537200B2 (en) | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
DE112009005382T5 (de) | 2009-11-18 | 2012-09-13 | Industrial Technology Research Institute | Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden |
GB2479784B (en) * | 2010-04-23 | 2012-11-07 | Nds Ltd | Image scaling |
US20130038694A1 (en) | 2010-04-27 | 2013-02-14 | Sanjay Nichani | Method for moving object detection using an image sensor and structured light |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
US8432392B2 (en) | 2010-09-02 | 2013-04-30 | Samsung Electronics Co., Ltd. | Display system with image conversion mechanism and method of operation thereof |
US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US9013634B2 (en) | 2010-09-14 | 2015-04-21 | Adobe Systems Incorporated | Methods and apparatus for video completion |
JP5891424B2 (ja) | 2010-09-17 | 2016-03-23 | パナソニックIpマネジメント株式会社 | 立体映像作成装置および立体映像作成方法 |
US20120086803A1 (en) | 2010-10-11 | 2012-04-12 | Malzbender Thomas G | Method and system for distance estimation using projected symbol sequences |
US8429495B2 (en) | 2010-10-19 | 2013-04-23 | Mosaid Technologies Incorporated | Error detection and correction codes for channels and memories with incomplete error characteristics |
US8531535B2 (en) | 2010-10-28 | 2013-09-10 | Google Inc. | Methods and systems for processing a video for stabilization and retargeting |
JP2012141252A (ja) | 2011-01-06 | 2012-07-26 | Nikon Corp | 三次元形状測定装置 |
US8724854B2 (en) | 2011-04-08 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for robust video stabilization |
US9482529B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
BR112014003165A2 (pt) * | 2011-08-09 | 2017-03-01 | Samsung Electronics Co Ltd | método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações |
US9491441B2 (en) | 2011-08-30 | 2016-11-08 | Microsoft Technology Licensing, Llc | Method to extend laser depth map range |
EP2777273B1 (en) | 2011-11-11 | 2019-09-04 | GE Video Compression, LLC | Efficient multi-view coding using depth-map estimate for a dependent view |
US8270465B1 (en) | 2011-11-15 | 2012-09-18 | Xw Llc | Timing and time information extraction from a phase modulated signal in a radio controlled clock receiver |
KR101272573B1 (ko) * | 2011-11-17 | 2013-06-10 | 재단법인대구경북과학기술원 | 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법 |
JP5918984B2 (ja) | 2011-12-06 | 2016-05-18 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
WO2013162252A1 (ko) * | 2012-04-23 | 2013-10-31 | 삼성전자 주식회사 | 슬라이스 헤더를 이용하는 3차원 비디오 부호화 방법 및 그 장치, 3차원 비디오 복호화 방법 및 그 장치 |
US9207070B2 (en) | 2012-05-24 | 2015-12-08 | Qualcomm Incorporated | Transmission of affine-invariant spatial mask for active depth sensing |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
CN102831582B (zh) | 2012-07-27 | 2015-08-12 | 湖南大学 | 一种微软体感装置深度图像增强方法 |
JP6787667B2 (ja) * | 2012-09-21 | 2020-11-18 | ノキア テクノロジーズ オサケユイチア | ビデオコーディングのための方法と装置 |
US10368053B2 (en) | 2012-11-14 | 2019-07-30 | Qualcomm Incorporated | Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption |
US9071756B2 (en) | 2012-12-11 | 2015-06-30 | Facebook, Inc. | Systems and methods for digital video stabilization via constraint-based rotation smoothing |
KR101995340B1 (ko) | 2013-01-02 | 2019-07-02 | 엘지이노텍 주식회사 | 적외선 광원 제어방법 |
JP5794240B2 (ja) | 2013-02-05 | 2015-10-14 | ソニー株式会社 | 誤り検出訂正装置、誤り検出訂正方法、情報処理装置、および、プログラム |
US10140765B2 (en) | 2013-02-25 | 2018-11-27 | Google Llc | Staged camera traversal for three dimensional environment |
US9142019B2 (en) | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
WO2014209268A1 (en) | 2013-06-24 | 2014-12-31 | Intel Corporation | Error detecting and correcting structured light patterns |
WO2015065386A1 (en) | 2013-10-30 | 2015-05-07 | Intel Corporation | Image capture feedback |
CN103702098B (zh) * | 2013-12-09 | 2015-12-30 | 上海交通大学 | 一种时空域联合约束的三视点立体视频深度提取方法 |
US9542749B2 (en) * | 2014-01-06 | 2017-01-10 | Microsoft Technology Licensing, Llc | Fast general multipath correction in time-of-flight imaging |
CN103796004B (zh) | 2014-02-13 | 2015-09-30 | 西安交通大学 | 一种主动结构光的双目深度感知方法 |
US9407896B2 (en) * | 2014-03-24 | 2016-08-02 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions |
WO2015152829A1 (en) | 2014-04-03 | 2015-10-08 | Heptagon Micro Optics Pte. Ltd. | Structured-stereo imaging assembly including separate imagers for different wavelengths |
US20160050372A1 (en) | 2014-08-15 | 2016-02-18 | Qualcomm Incorporated | Systems and methods for depth enhanced and content aware video stabilization |
CN104199922B (zh) * | 2014-09-01 | 2019-05-03 | 中国科学院自动化研究所 | 一种基于局部相似哈希算法的大规模图像库检索方法 |
CN104639933A (zh) * | 2015-01-07 | 2015-05-20 | 前海艾道隆科技(深圳)有限公司 | 一种立体视图的深度图实时获取方法及系统 |
US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
US9530215B2 (en) | 2015-03-20 | 2016-12-27 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
-
2015
- 2015-08-14 US US14/827,088 patent/US9635339B2/en active Active
-
2016
- 2016-07-20 WO PCT/US2016/043141 patent/WO2017030727A1/en active Application Filing
- 2016-07-20 JP JP2018506383A patent/JP6776333B2/ja active Active
- 2016-07-20 CN CN201680043443.6A patent/CN107851310B/zh active Active
- 2016-07-20 KR KR1020187004330A patent/KR102507101B1/ko active IP Right Grant
- 2016-07-20 EP EP16757381.5A patent/EP3335192B1/en active Active
- 2016-07-20 BR BR112018002739-1A patent/BR112018002739B1/pt active IP Right Grant
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018533104A5 (ja) | ||
RU2015153051A (ru) | Высокоэффективное обнаружение плоскостей с помощью данных камеры глубины | |
JP2017504243A5 (ja) | ||
GB2550798A (en) | Order pairing system and method | |
WO2015187606A3 (en) | Apparatuses and methods for parity determination using sensing circuitry | |
JP2016500885A5 (ja) | ||
JP2018509617A5 (ja) | ||
RU2013131158A (ru) | Идентификация ключевого кадра видеопоследовательности на основе ограниченного контекста | |
JP2018517355A5 (ja) | ||
RU2016103409A (ru) | Определение расстояния или положения | |
JP2015529428A5 (ja) | ||
JP2015096812A5 (ja) | ||
RU2013108886A (ru) | Устройство обработки информации, его способ управления и запоминающий носитель | |
JP2016503216A5 (ja) | ||
JP2016514437A5 (ja) | ||
JP2016528481A5 (ja) | ||
RU2016152191A (ru) | Понимание таблиц для поиска | |
RU2015137789A (ru) | СПОСОБ УЛУЧШЕНИЯ ЭФФЕКТИВНОСТИ КАДРОВ УПРАВЛЕНИЯ В 802.11ah | |
RU2016143736A (ru) | Определение радиуса погрешности местоположения | |
CN104517092A (zh) | 一种qr码校正图形的检测方法及系统 | |
RU2016109431A (ru) | Способ и устройство для определения символа | |
RU2015110973A (ru) | Способ и устройство для идентификации кодирования веб-страницы | |
RU2017134497A (ru) | Компьютер для управления автономным транспортным средством | |
SG11202010722RA (en) | Dynamic blockchain data storage based on error correction code | |
JP2016524352A5 (ja) |