JP2020502506A5 - - Google Patents

Download PDF

Info

Publication number
JP2020502506A5
JP2020502506A5 JP2019531636A JP2019531636A JP2020502506A5 JP 2020502506 A5 JP2020502506 A5 JP 2020502506A5 JP 2019531636 A JP2019531636 A JP 2019531636A JP 2019531636 A JP2019531636 A JP 2019531636A JP 2020502506 A5 JP2020502506 A5 JP 2020502506A5
Authority
JP
Japan
Prior art keywords
depth
image
distance
light pattern
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019531636A
Other languages
English (en)
Other versions
JP2020502506A (ja
JP6866484B2 (ja
Filing date
Publication date
Priority claimed from US15/380,745 external-priority patent/US10771768B2/en
Application filed filed Critical
Publication of JP2020502506A publication Critical patent/JP2020502506A/ja
Publication of JP2020502506A5 publication Critical patent/JP2020502506A5/ja
Application granted granted Critical
Publication of JP6866484B2 publication Critical patent/JP6866484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

[00106]
前述の内容は、本開示の態様に向けられているが、本開示の他の態様およびさらなる態様が、その基本的な範囲から逸脱することなく考案することができ、その範囲は、以下に続く特許請求の範囲によって決定される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1] 画像化デバイスにおいて、
第1の解像度で第1の被写界深度を有する構造化された光パターンと前記第1の解像度で第2の被写界深度を有する第2の構造化された光パターンとを発生させるように構成されている第1の送信機を含む複数の送信機と、
前記第1の被写界深度内に焦点を合わせて、前記第1の構造化された光パターンを受け取り、前記第1の構造化された光パターンを表す第1の画像を捕捉するように、および、前記第2の被写界深度内に焦点を合わせて、前記第2の構造化された光パターンを受け取り、前記第2の構造化された光パターンを表す第2の画像を捕捉するように構成されている受信機と、
前記第1の画像と前記第2の画像とに基づいて、シーンの深度マップを発生させるように構成されている電子ハードウェアプロセッサとを具備し、
前記第2の被写界深度は、前記第1の被写界深度よりも広い画像化デバイス。
[2] 前記電子ハードウェアプロセッサは、前記発生させた深度マップに基づいて、第3の画像の画像捕捉パラメータを調節し、前記画像捕捉パラメータを使用して、前記第3の画像を捕捉するようにさらに構成されている[1]記載の画像化デバイス。
[3] 前記電子ハードウェアプロセッサは、前記深度マップに基づいて、前記第3の画像の、開口、シャッタースピード、または、照度パラメータのうちの1つ以上を調節するように構成されている[2]記載の画像化デバイス。
[4] 前記電子ハードウェアプロセッサは、前記深度マップと前記第3の画像とのうちの1つ以上を安定記憶装置に記憶させるようにさらに構成されている[2]記載の画像化デバイス。
[5] 前記第1の送信機は、前記画像化デバイスから第1の距離で第1の最大解像度を有する、前記第1の構造化された光パターンを発生させるように構成され、
第2の送信機は、前記画像化デバイスから第2の距離で前記第1の構造化された光パターンよりも低い第2の最大解像度を有する、前記第2の構造化された光パターンを発生させるように構成されている[1]記載の画像化デバイス。
[6] 前記第1の距離と前記第2の距離は、等しい[5]記載の画像化デバイス。
[7] 前記第1の距離は、前記第2の距離とは異なる[5]記載の画像化デバイス。
[8] 前記第1の送信機は、前記第2の被写界深度とオーバーラップする、前記第1の被写界深度を発生させるように構成されている[1]記載の画像化デバイス。
[9] 前記第1の送信機は、前記第2の被写界深度内に含まれる前記第1の被写界深度を発生させるように構成されている[8]記載の画像化デバイス。
[10] 画像化デバイスにより画像を捕捉する方法おいて、
第1の発光体を使用して、第1の解像度で第1の被写界深度を有する第1の構造化された光パターンをシーン上に発生させることと、
電子ハードウェアプロセッサを介して、前記第1の被写界深度内に画像化センサの焦点を合わせて、前記第1の構造化された光パターンによって照光されたシーンを表す第1の画像を捕捉することと、
第2の発光体を使用して、前記第1の解像度で第2の被写界深度を有する第2の構造化された光パターンを発生させることと、
前記第2の被写界深度内に前記画像化センサの焦点を合わせて、前記第2の構造化された光パターンによって照光されたシーンを表す第2の画像を捕捉することと、
前記電子ハードウェアプロセッサを使用して、前記第1の画像と前記第2の画像とに基づいて、前記シーンの深度マップを発生させることと、
前記深度マップに基づいて、画像捕捉パラメータを決定することと、
前記画像化センサを使用して、前記画像捕捉パラメータに基づいて、前記シーンの第3の画像を捕捉することと、
前記第3の画像を安定記憶装置に記憶させることとを含み、
前記第2の被写界深度は、前記第1の被写界深度よりも広い方法。
[11] 前記深度マップに基づいて、前記第3の画像の、開口、シャッタースピード、または、照度パラメータのうちの1つ以上を調節することをさらに含む[10]記載の方法。
[12] 前記深度マップを前記安定記憶装置に記憶させることをさらに含む[10]記載の方法。
[13] 前記画像化デバイスから第1の距離で第1の最大解像度を有する、前記第1の構造化された光パターンを発生させることをさらに含み、
第2の送信機は、前記画像化デバイスから第2の距離で前記第1の構造化された光パターンよりも低い第2の最大解像度を有する、前記第2の構造化された光パターンを発生させるように構成されている[10]記載の方法。
[14] 前記第1の距離と前記第2の距離は、等しい[13]記載の方法。
[15] 前記第1の距離は、前記第2の距離とは異なる[13]記載の方法。
[16] 前記第2の被写界深度とオーバーラップする、前記第1の被写界深度を発生させることをさらに含む[13]記載の方法。
[17] 前記第2の被写界深度内に含まれる前記第1の被写界深度を発生させることをさらに含む[16]記載の方法。
[18] 命令を含む非一時的コンピュータ読取可能記憶媒体において、
前記命令は、実行されるとき、プロセッサに、画像化デバイスにより画像を捕捉する方法を実行させ、
前記方法は、
第1の発光体を使用して、第1の解像度で第1の被写界深度を有する第1の構造化された光パターンをシーン上に発生させることと、
電子ハードウェアプロセッサを介して、前記第1の被写界深度内に画像化センサの焦点を合わせて、前記第1の構造化された光パターンによって照光されたシーンを表す第1の画像を捕捉することと、
第2の発光体を使用して、前記第1の解像度で第2の被写界深度を有する第2の構造化された光パターンを発生させることと、
前記第2の被写界深度内に前記画像化センサの焦点を合わせて、前記第2の構造化された光パターンによって照光されたシーンを表す第2の画像を捕捉することと、
前記電子ハードウェアプロセッサを使用して、前記第1の画像と前記第2の画像とに基づいて、前記シーンの深度マップを発生させることと、
前記深度マップに基づいて、画像捕捉パラメータを決定することと、
前記画像化センサを使用して、前記画像捕捉パラメータに基づいて、前記シーンの第3の画像を捕捉することと、
前記第3の画像を安定記憶装置に記憶させることとを含み、
前記第2の被写界深度は、前記第1の被写界深度よりも広い非一時的コンピュータ読取可能記憶媒体。
[19] 前記方法は、
前記画像化デバイスから第1の距離で第1の最大解像度を有する、前記第1の構造化された光パターンを発生させることをさらに含み、
第2の送信機は、前記画像化デバイスから第2の距離で前記第1の構造化された光パターンよりも低い第2の最大解像度を有する、前記第2の構造化された光パターンを発生させるように構成されている[18]記載の非一時的コンピュータ読取可能記憶媒体。
[20] 前記第1の距離と前記第2の距離は、等しい[19]記載の非一時的コンピュータ読取可能記憶媒体。

Claims (15)

  1. 画像化デバイスにおいて、
    第1の距離焦点が合わせられ、第1の被写界深度を有する第1の構造化された光パターンを送信するように構成されている第1の送信機と、
    第2の距離で焦点が合わせられ、第2の被写界深度を有する第2の構造化された光パターンを送信するように構成されている第2の送信機とを含む複数の送信機と、
    前記第1の距離で前記第1の被写界深度内に焦点を合わせて、シーンの前記第1の構造化された光パターンを表す第1の画像を捕捉するようにと、前記第2の距離で前記第2の被写界深度内に焦点を合わせて、前記シーンの前記第2の構造化された光パターンを表す第2の画像を捕捉するように構成されている受信機と、
    前記第1の画像と前記第2の画像とに基づいて、前記シーンの深度マップを発生させるように構成されている電子ハードウェアプロセッサとを具備し、
    前記第2の被写界深度は、前記第1の被写界深度よりも広く、前記第2の距離は、前記第1の距離とは異なり、前記第1の構造化された光パターンを送信した後に前記第2の構造化された光パターンを送信する画像化デバイス。
  2. 前記電子ハードウェアプロセッサは、前記発生させた深度マップに基づいて、第3の画像の画像捕捉パラメータを調節し、前記画像捕捉パラメータを使用して、前記第3の画像を捕捉するようにさらに構成されている請求項1記載の画像化デバイス。
  3. 前記電子ハードウェアプロセッサは、前記深度マップに基づいて、前記第3の画像の、開口、シャッタースピード、または、照度パラメータのうちの1つ以上を調節するように構成されている請求項2記載の画像化デバイス。
  4. 前記電子ハードウェアプロセッサは、前記深度マップと前記第3の画像とのうちの1つ以上を安定記憶装置に記憶させるようにさらに構成されている請求項2記載の画像化デバイス。
  5. 前記第1の送信機は、前記画像化デバイスから第1の距離で第1の最大解像度を有する、前記第1の構造化された光パターンを発生させるように構成され、
    前記第2の送信機は、前記画像化デバイスから前記第2の距離で前記第1の構造化された光パターンよりも低い第2の最大解像度を有する、前記第2の構造化された光パターンを発生させるように構成されている請求項1記載の画像化デバイス。
  6. 前記第1の被写界深度は、前記第2の被写界深度とオーバーラップする請求項1記載の画像化デバイス。
  7. 前記第1の被写界深度は、前記第2の被写界深度内に含まれる請求項記載の画像化デバイス。
  8. 画像化デバイスにより画像を捕捉する方法おいて、
    第1の発光体を使用して、第1の距離焦点が合わせられ、第1の被写界深度を有する第1の構造化された光パターンをシーン上に発生させることと、
    電子ハードウェアプロセッサを介して、前記第1の距離で前記第1の被写界深度内に画像化センサの焦点を合わせて、前記第1の構造化された光パターンによって照光された前記シーンを表す第1の画像を捕捉することと、
    第2の発光体を使用して、第2の距離焦点が合わせられ、第2の被写界深度を有する第2の構造化された光パターンを発生させることと、
    前記第2の距離で前記第2の被写界深度内に前記画像化センサの焦点を合わせて、前記第2の構造化された光パターンによって照光された前記シーンを表す第2の画像を捕捉することと、
    前記電子ハードウェアプロセッサを使用して、前記第1の画像と前記第2の画像とに基づいて、前記シーンの深度マップを発生させることとを含み、
    前記第2の被写界深度は、前記第1の被写界深度よりも広く、前記第2の距離は、前記第1の距離とは異なり、前記第1の構造化された光パターンを発生させた後に前記第2の構造化された光パターンを発生させる方法。
  9. 前記深度マップに基づいて、画像捕捉パラメータを決定することと、
    前記深度マップに基づいて、第3の画像の、開口、シャッタースピード、または、照度パラメータのうちの1つ以上を調節することと、
    前記画像化センサを使用して、前記画像捕捉パラメータに基づいて、前記シーンの前記第3の画像を捕捉することと、
    前記第3の画像を安定記憶装置に記憶させることとをさらにむ請求項8記載の方法。
  10. 前記深度マップを安定記憶装置に記憶させることをさらに含む請求項記載の方法。
  11. 前記画像化デバイスから前記第1の距離で第1の最大解像度を有する、前記第1の構造化された光パターンを発生させることをさらに含み、
    前記第2の発光体は、前記画像化デバイスから前記第2の距離で前記第1の構造化された光パターンよりも低い第2の最大解像度を有する、前記第2の構造化された光パターンを発生させるように構成されている請求項記載の方法。
  12. 前記第2の被写界深度とオーバーラップする、前記第1の被写界深度を発生させることをさらに含む請求項記載の方法。
  13. 前記第2の被写界深度内に含まれる前記第1の被写界深度を発生させることをさらに含む請求項12記載の方法。
  14. 命令を含む非一時的コンピュータ読取可能記憶媒体において、
    前記命令は、実行されるとき、プロセッサに、画像化デバイスにより画像を捕捉する方法を実行させ、
    前記方法は、
    第1の発光体を使用して、第1の距離焦点が合わせられ、第1の被写界深度を有する第1の構造化された光パターンをシーン上に発生させることと、
    電子ハードウェアプロセッサを介して、前記第1の距離で前記第1の被写界深度内に画像化センサの焦点を合わせて、前記第1の構造化された光パターンによって照光された前記シーンを表す第1の画像を捕捉することと、
    第2の発光体を使用して、第2の距離焦点が合わせられ、第2の被写界深度を有する第2の構造化された光パターンを発生させることと、
    前記第2の距離で前記第2の被写界深度内に前記画像化センサの焦点を合わせて、前記第2の構造化された光パターンによって照光された前記シーンを表す第2の画像を捕捉することと、
    前記電子ハードウェアプロセッサを使用して、前記第1の画像と前記第2の画像とに基づいて、前記シーンの深度マップを発生させることとを含み
    前記第2の被写界深度は、前記第1の被写界深度よりも広く、前記第2の距離は、前記第1の距離とは異なり、前記第1の構造化された光パターンを発生させた後に前記第2の構造化された光パターンを発生させる非一時的コンピュータ読取可能記憶媒体。
  15. 前記方法は、
    前記画像化デバイスから前記第1の距離で第1の最大解像度を有する、前記第1の構造化された光パターンを発生させることをさらに含み、
    前記第2の発光体は、前記画像化デバイスから前記第2の距離で前記第1の構造化された光パターンよりも低い第2の最大解像度を有する、前記第2の構造化された光パターンを発生させるように構成されている請求項14記載の非一時的コンピュータ読取可能記憶媒体。
JP2019531636A 2016-12-15 2017-10-30 向上した深度感知のためのシステムおよび方法 Active JP6866484B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/380,745 2016-12-15
US15/380,745 US10771768B2 (en) 2016-12-15 2016-12-15 Systems and methods for improved depth sensing
PCT/US2017/058982 WO2018111423A1 (en) 2016-12-15 2017-10-30 Systems and methods for improved depth sensing

Publications (3)

Publication Number Publication Date
JP2020502506A JP2020502506A (ja) 2020-01-23
JP2020502506A5 true JP2020502506A5 (ja) 2020-11-12
JP6866484B2 JP6866484B2 (ja) 2021-04-28

Family

ID=60480378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019531636A Active JP6866484B2 (ja) 2016-12-15 2017-10-30 向上した深度感知のためのシステムおよび方法

Country Status (7)

Country Link
US (1) US10771768B2 (ja)
EP (1) EP3555855B1 (ja)
JP (1) JP6866484B2 (ja)
KR (1) KR20190096992A (ja)
CN (1) CN109983506A (ja)
BR (1) BR112019011021A2 (ja)
WO (1) WO2018111423A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI672677B (zh) 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
US10735711B2 (en) * 2017-05-05 2020-08-04 Motorola Mobility Llc Creating a three-dimensional image via a wide-angle camera sensor
US10595007B2 (en) * 2018-03-21 2020-03-17 Himax Imaging Limited Structured-light method and system of dynamically generating a depth map
WO2019243046A1 (en) 2018-06-18 2019-12-26 Lumileds Holding B.V. Lighting device comprising led and grating
WO2020057365A1 (en) * 2018-09-18 2020-03-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for generating spoofed structured light illuminated face
CN109974611B (zh) * 2019-03-23 2023-07-21 柳州阜民科技有限公司 深度检测系统及其支架和电子装置
US11150088B2 (en) 2019-05-13 2021-10-19 Lumileds Llc Depth sensing using line pattern generators
CN114543749B (zh) * 2022-03-17 2022-07-29 苏州英示测量科技有限公司 测量多目标景深的光学系统及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0382909A (ja) * 1989-08-25 1991-04-08 Honda Motor Co Ltd 光学式反射体検出装置
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
JP3778085B2 (ja) * 2001-12-28 2006-05-24 松下電工株式会社 反射型光電センサ
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
CN105143820B (zh) 2013-03-15 2017-06-09 苹果公司 利用多个发射器进行深度扫描
US8872818B2 (en) 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Methods and systems for capturing the condition of a physical structure
EP3004924B1 (en) 2013-06-06 2021-10-06 Heptagon Micro Optics Pte. Ltd. Sensor system with active illumination
US9774833B2 (en) * 2013-07-16 2017-09-26 Texas Instruments Incorporated Projector auto-focus correction with the aid of a camera
JP6075644B2 (ja) * 2014-01-14 2017-02-08 ソニー株式会社 情報処理装置および方法
US9589359B2 (en) 2014-04-24 2017-03-07 Intel Corporation Structured stereo
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US10785393B2 (en) * 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
IL239919A (en) * 2015-07-14 2016-11-30 Brightway Vision Ltd Branded template lighting
JP6805904B2 (ja) * 2017-03-08 2020-12-23 株式会社リコー 計測装置、計測方法およびロボット

Similar Documents

Publication Publication Date Title
JP2020502506A5 (ja)
JP2014533347A5 (ja)
AU2019257323A1 (en) Automated detection of features and/or parameters within an ocean environment using image data
RU2015126003A (ru) Способ и устройство для съемки изображения
JP2011503915A5 (ja)
JP2014168227A5 (ja)
JP2013229853A5 (ja)
JP2010521102A5 (ja)
JP2016505133A5 (ja)
JP2016129289A5 (ja)
JP2014127151A5 (ja)
JP2016045240A5 (ja)
MX2018011719A (es) Dispositivo electronico y metodo de operacion del mismo.
EP3059950A3 (en) Optical imaging system for 3d image acquisition apparatus and 3d image acquisition apparatus including the optical imaging system
JP2014033276A5 (ja)
JP2015075526A5 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP2013038770A5 (ja)
GB2555722A (en) A surgical camera system with automatic alternation between two depths of field
TW201331662A (zh) 相機系統以及自動對焦方法
GB2543190A (en) Camera control and image streaming
JP2015103998A5 (ja)
JP2016076908A5 (ja)
JP2016018116A5 (ja)
MY188232A (en) Measuring rotational position of lenticular lens sheet
GB2533753A (en) Improved dynamic range of color camera images superimposed on scanned three dimensional