CN107392955B - 一种基于亮度的景深估算装置及方法 - Google Patents

一种基于亮度的景深估算装置及方法 Download PDF

Info

Publication number
CN107392955B
CN107392955B CN201710663137.9A CN201710663137A CN107392955B CN 107392955 B CN107392955 B CN 107392955B CN 201710663137 A CN201710663137 A CN 201710663137A CN 107392955 B CN107392955 B CN 107392955B
Authority
CN
China
Prior art keywords
depth
field
brightness
estimation device
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710663137.9A
Other languages
English (en)
Other versions
CN107392955A (zh
Inventor
刘承昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710663137.9A priority Critical patent/CN107392955B/zh
Publication of CN107392955A publication Critical patent/CN107392955A/zh
Application granted granted Critical
Publication of CN107392955B publication Critical patent/CN107392955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种基于亮度的景深估算装置，包括电路板（4）、电路板同侧设置有摄像头模组（2）、至少两个红外LED光源和滤光透镜（1），摄像头模组位于红外LED光源的中间，滤光透镜（1）置于摄像头模组（2）的正前方；本发明通过测量亮度来实现对视野中的所有像素点的快速景深估计，可应用于需要实时获取景深关系或景深模糊值的场合，具有体积小、成本低、高分辨率和高帧速率的优点。

Description

一种基于亮度的景深估算装置及方法
技术领域
本发明涉及三维景深信息获取技术领域，具体涉及一种基于亮度的景深估算装置及方法。
背景技术
TOF景深相机是目前最先进的景深传感器设备，该类传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。但由于技术限制，有分辨率低、设备体积较大（这里是针对移动设备来说）、成本较高等缺点。
结构光三维扫描设备通过投射一组用数学方法构造的光图形，按照一定顺序照亮被测量的物体。再使用一个图像传感器接收被经扫描物体的表面形状所扭曲的图像。通过几何运算计算出被测物体的三维信息。此类设备易受外界光线干扰，一般只能用于室内，具有设备体积庞大、硬件及维护成本高等缺点。
双目图像处理在现有技术方案中成本最低（最少只需两个图像传感器），它通过计算两个图像传感器图像中对应特征点的视差来获得该特征点所对应物体的距离。其处理算法复杂度高、计算量庞大、对处理器要求高、帧速率很低且只是获取极个别特征点的景深。
现有的TOF（Time-of-Flight）景深相机、结构光三维扫描及双目图像处理等景深信息获取技术均无法同时满足高分辨率、高帧速率、低成本、小体积等极为重要的技术需求。
发明内容
为解决上述问题，本发明提供一种基于亮度的景深估算装置及方法。
本发明采用以下技术方案：
一种基于亮度的景深估算装置，包括电路板4，电路板同侧设置有摄像头模组2、至少两个红外LED光源和滤光透镜1，摄像头模组位于红外LED光源的中间，滤光透镜1置于摄像头模组2的正前方。
所述的红外LED光源的数量至少为2个，且红外LED光源均匀的分布在摄像头模组周围。
一种基于亮度的景深估算装置的方法，通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外光亮度来估算出测量的每一像素点所对于物体距该景深估算装置的景深信息；具体方法为：
第一步：选取录入比例系数K的值，K的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，记录下每个像素的K=d/L，完成选取，并录入；
第二步：建立如下数学模型：D=K×L，其中，D为该景深估算装置距被测物体的景深值，K为比例系数，L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度，正常工作时，通过摄像头模组中的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，根据数学模型D=K×L计算得出每个像素点的景深值D。
所述的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，当只需要获得像素点对应物体之间的景深对比关系时，直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
本发明的有益效果：相对于现有的景深信息获取技术，本发明通过测量亮度来实现对视野中的所有像素点的快速景深估计，可应用于需要实时获取景深关系或景深模糊值的场合，具有体积小、成本低、高分辨率和高帧速率的优点。
附图说明
图1为本发明的立体结构图。
其中1是滤光透镜，2是摄像头模组，31和32是红外LED光源，4是电路板。
具体实施方式
下面结合附图1对本发明作进一步详细说明。
一种基于亮度的景深估算方法的装置，包括电路板4，电路板同侧设置有摄像头模组2、至少两个红外LED光源31、32、滤光透镜1，摄像头模组2位于红外LED光源31、32的中间，滤光透镜1置于摄像头模组2的正前方，过滤对该装置发出的红外光干扰较大波段的光，使得摄像头模组所得到的图像能够反应自身红外光源经物体表面反射回该装置后的光亮度。所述的红外LED光源的数量至少为2个，且红外LED光源均匀的分布在摄像头模组周围（或使用环状光源），保证光线可以完全覆盖摄像头模组的整个视野，以防出现因光线没有照射到而使测算出的光亮度很低的情况。
一种基于亮度的景深估算方法，通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外光亮度来估算出测量的每一像素点所对于物体距该景深估算装置的景深信息；具体方法为：
D为该景深估算装置距被测物体的景深值，
K为比例系数，
L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度；
第一步：选取录入比例系数K的值，K的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，记录下每个像素的K=d/L，完成选取，并录入；
第二步：建立如下数学模型：D=K×L，其中，D为该景深估算装置距被测物体的景深值，K为比例系数，L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度，正常工作时，通过摄像头模组中的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，根据数学模型D=K×L计算得出每个像素点的景深值D；
所述的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，当只需要获得像素点对应物体之间的景深对比关系时，直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
所述的比例系数K与红外LED光源亮度、空气成分、滤光透镜对红外线的透过率及图像传感器曝光量有关，在正常工作时，红外LED光源亮度、空气成分和滤光透镜对红外线的透过率经过校准后使用均可忽略，；摄像头模组的曝光量应为定值，不能因画面的亮度变化改变曝光量，但在需要测算较大距离范围的应用中，在不同曝光量下，校准测定多个K值，在所测物体过近或过远，可以适当调整曝光量后，换用对应的K值计算景深；对同一景深估算装置，比例系数K只需通过校准来获取便可以对视野中的所有像素点进行快速景深估算，校准方法如下：记已选取录入比例系数K的值为K1，K2的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，记录下每个像素的K=d/L，完成选取，并记为K2，将K2的值录入成为新的的比例系数，完成校准。
本发明通过测量亮度来实现对视野中的所有像素点的快速（帧速率与成像芯片有关，一般为30fps～120fps，若使用高速摄像机可达1000fps～10000fps）景深估计，可应用于需要实时获取景深关系或景深模糊值的场合（例如：实时接近检测）。
本发明的工作原理如下：基于亮度的景深估算技术是通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外亮度来估算出测量的每一像素点所对于物体距该景深估算装置的距离（景深）的新技术。
应用该技术的景深估算装置使用摄像头模组中的图像传感芯片接收经滤光透镜过滤对该装置发出的红外光干扰较大波段的光后的图像的亮度。因红外光经过两倍该装置至测量的物体距离的路程在返回该装置的过程中光线的密度会越来越小（光的散射效应），光线密度越小，亮度就越低，所以该景深估算装置最终接收到图像各个像素点的亮度（即红外亮度）便反映了该点所对应物体到传感器的距离，当只需要获得像素点对应物体之间的景深对比关系时，因原始数据即图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，故直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明整体构思前提下，还可以作出若干改变和改进，这些也应该视为本发明的保护范围。

Claims (3)

1.一种基于亮度的景深估算装置的使用方法，其特征在于：所述基于亮度的景深估算装置包括电路板（4），电路板同侧设置有摄像头模组（2）、至少两个红外LED光源和滤光透镜（1），摄像头模组位于红外LED光源的中间，滤光透镜（1）置于摄像头模组（2）的正前方；
通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外光亮度来估算出测量的每一像素点所对于物体距该景深估算装置的景深信息；具体方法为：
第一步：选取录入比例系数K的值，K的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，记录下每个像素的K=d/L，完成选取，并录入；
第二步：建立如下数学模型：D=K×L，其中，D为该景深估算装置距被测物体的景深值，K为比例系数，L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度，正常工作时，通过摄像头模组中的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L，根据数学模型D=K×L计算得出每个像素点的景深值D。
2.如权利要求1所述的一种基于亮度的景深估算装置的使用方法，其特征在于：所述的红外LED光源的数量至少为2个，且红外LED光源均匀的分布在摄像头模组周围。
3.如权利要求1所述的一种基于亮度的景深估算装置的使用方法，其特征在于：所述的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，当只需要获得像素点对应物体之间的景深对比关系时，直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
CN201710663137.9A 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法 Active CN107392955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710663137.9A CN107392955B (zh) 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710663137.9A CN107392955B (zh) 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法

Publications (2)

Publication Number Publication Date
CN107392955A CN107392955A (zh) 2017-11-24
CN107392955B true CN107392955B (zh) 2020-09-15

Family

ID=60343904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710663137.9A Active CN107392955B (zh) 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法

Country Status (1)

Country Link
CN (1) CN107392955B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449102B2 (en) * 2017-12-26 2022-09-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device
CN112565617A (zh) * 2019-09-26 2021-03-26 Oppo（重庆）智能科技有限公司 图像数据的处理方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法
CN102436573A (zh) * 2011-07-15 2012-05-02 东莞市中控电子技术有限公司 一种主动照明的图像采集与识别装置
CN102466479A (zh) * 2010-11-16 2012-05-23 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
US8508613B2 (en) * 2010-03-29 2013-08-13 Fujifilm Corporation Image capturing apparatus
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
CN103808305A (zh) * 2012-11-07 2014-05-21 原相科技股份有限公司 检测系统
CN105023249A (zh) * 2015-06-26 2015-11-04 清华大学深圳研究生院 基于光场的高光图像修复方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508613B2 (en) * 2010-03-29 2013-08-13 Fujifilm Corporation Image capturing apparatus
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法
CN102466479A (zh) * 2010-11-16 2012-05-23 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
CN102436573A (zh) * 2011-07-15 2012-05-02 东莞市中控电子技术有限公司 一种主动照明的图像采集与识别装置
CN103808305A (zh) * 2012-11-07 2014-05-21 原相科技股份有限公司 检测系统
CN105023249A (zh) * 2015-06-26 2015-11-04 清华大学深圳研究生院 基于光场的高光图像修复方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Similarity measures for depth estimation;Wegner K, Stankiewicz O;《Proceeding of 3DTV Conference The True Vision-Capture,Transmission and Display of 3D Video》;20091231;第1-4页 *
双目立体测距关键技术研究;胡汉平;《中国博士学位论文全文数据库 信息科技辑》;20150515(第5期);全文 *
基于USB摄像头的单目视觉测距技术的研究;刘东东;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150415(第4期);全文 *

Also Published As

Publication number Publication date
CN107392955A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US11115633B2 (en) Method and system for projector calibration
CN106500628B (zh) 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN105049829B (zh) 滤光片、图像传感器、成像装置以及三维成像系统
CN104335005B (zh) 3d扫描以及定位系统
US8334893B2 (en) Method and apparatus for combining range information with an optical image
US10255682B2 (en) Image detection system using differences in illumination conditions
CN107917701A (zh) 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN107734267B (zh) 图像处理方法和装置
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
TW201415863A (zh) 產生穩健立體影像的技術
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
CN107221025B (zh) 一种同步获取物体表面三维彩色点云模型的系统和方法
US10616561B2 (en) Method and apparatus for generating a 3-D image
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
Kerl et al. Towards illumination-invariant 3D reconstruction using ToF RGB-D cameras
CN102316355A (zh) 3d机器视觉信号的生成方法及3d机器视觉传感器
CN107392955B (zh) 一种基于亮度的景深估算装置及方法
WO2017077277A1 (en) System and methods for imaging three-dimensional objects
US11803982B2 (en) Image processing device and three-dimensional measuring system
Islam et al. Interference mitigation technique for Time-of-Flight (ToF) camera
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant