CN107392955A - 一种基于亮度的景深估算装置及方法 - Google Patents

一种基于亮度的景深估算装置及方法 Download PDF

Info

Publication number
CN107392955A
CN107392955A CN201710663137.9A CN201710663137A CN107392955A CN 107392955 A CN107392955 A CN 107392955A CN 201710663137 A CN201710663137 A CN 201710663137A CN 107392955 A CN107392955 A CN 107392955A
Authority
CN
China
Prior art keywords
depth
field
brightness
pixel
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710663137.9A
Other languages
English (en)
Other versions
CN107392955B (zh
Inventor
刘承昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710663137.9A priority Critical patent/CN107392955B/zh
Publication of CN107392955A publication Critical patent/CN107392955A/zh
Application granted granted Critical
Publication of CN107392955B publication Critical patent/CN107392955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种基于亮度的景深估算装置，包括电路板（4）、电路板同侧设置有摄像头模组（2）、至少两个红外LED光源和滤光透镜（1），摄像头模组位于红外LED光源的中间，滤光透镜（1）置于摄像头模组（2）的正前方；本发明通过测量亮度来实现对视野中的所有像素点的快速景深估计，可应用于需要实时获取景深关系或景深模糊值的场合，具有体积小、成本低、高分辨率和高帧速率的优点。

Description

一种基于亮度的景深估算装置及方法
技术领域
本发明涉及三维景深信息获取技术领域，具体涉及一种基于亮度的景深估算装置及方法。
背景技术
TOF景深相机是目前最先进的景深传感器设备，该类传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。但由于技术限制，有分辨率低、设备体积较大（这里是针对移动设备来说）、成本较高等缺点。
结构光三维扫描设备通过投射一组用数学方法构造的光图形，按照一定顺序照亮被测量的物体。再使用一个图像传感器接收被经扫描物体的表面形状所扭曲的图像。通过几何运算计算出被测物体的三维信息。此类设备易受外界光线干扰，一般只能用于室内，具有设备体积庞大、硬件及维护成本高等缺点。
双目图像处理在现有技术方案中成本最低（最少只需两个图像传感器），它通过计算两个图像传感器图像中对应特征点的视差来获得该特征点所对应物体的距离。其处理算法复杂度高、计算量庞大、对处理器要求高、帧速率很低且只是获取极个别特征点的景深。
现有的TOF（Time-of-Flight）景深相机、结构光三维扫描及双目图像处理等景深信息获取技术均无法同时满足高分辨率、高帧速率、低成本、小体积等极为重要的技术需求。
发明内容
为解决上述问题，本发明提供一种基于亮度的景深估算装置及方法。
本发明采用以下技术方案：
一种基于亮度的景深估算装置，包括电路板4，电路板同侧设置有摄像头模组2、至少两个红外LED光源和滤光透镜1，摄像头模组位于红外LED光源的中间，滤光透镜1置于摄像头模组2的正前方。
所述的红外LED光源的数量至少为2个，且红外LED光源均匀的分布在摄像头模组周围。
一种基于亮度的景深估算装置的方法，通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外光亮度来估算出测量的每一像素点所对于物体距该景深估算装置的景深信息；具体方法为：
第一步：选取录入比例系数K的值，K的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取传感器上每个像素点的亮度L，记录下每个像素的K=d/L，完成选取，并录入；
第二步：建立如下数学模型：D=K×L，其中，D为该景深估算装置距被测物体的景深值，K为比例系数，L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度，正常工作时，通过摄像头模组中的图像传感器读取每个像素点的亮度L，根据数学模型D=K×L计算得出每个像素点的景深值D。
所述的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，当只需要获得像素点对应物体之间的景深对比关系时，直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
本发明的有益效果：相对于现有的景深信息获取技术，本发明通过测量亮度来实现对视野中的所有像素点的快速景深估计，可应用于需要实时获取景深关系或景深模糊值的场合，具有体积小、成本低、高分辨率和高帧速率的优点。
附图说明
图1为本发明的立体结构图。
其中1是滤光透镜，2是摄像头模组，31和32是红外LED光源，4是电路板。
具体实施方式
下面结合附图1对本发明作进一步详细说明。
一种基于亮度的景深估算方法的装置，包括电路板4，电路板同侧设置有摄像头模组2、至少两个红外LED光源31、32、滤光透镜1，摄像头模组2位于红外LED光源31、32的中间，滤光透镜1置于摄像头模组2的正前方，过滤对该装置发出的红外光干扰较大波段的光，使得摄像头模组所得到的图像能够反应自身红外光源经物体表面反射回该装置后的光亮度。所述的红外LED光源的数量至少为2个，且红外LED光源均匀的分布在摄像头模组周围（或使用环状光源），保证光线可以完全覆盖摄像头模组的整个视野，以防出现因光线没有照射到而使测算出的光亮度很低的情况。
一种基于亮度的景深估算方法，通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外光亮度来估算出测量的每一像素点所对于物体距该景深估算装置的景深信息；具体方法为：
D为该景深估算装置距被测物体的景深值，
K为比例系数，
L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度；
第一步：选取录入比例系数K的值，K的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取传感器上每个像素点的亮度L，记录下每个像素的K=d/L，完成选取；
第二步：建立如下数学模型：D=K×L，其中，D为该景深估算装置距被测物体的景深值，K为比例系数，L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度，正常工作时，通过摄像头模组中的图像传感器读取每个像素点的亮度L，根据数学模型D=K×L计算得出每个像素点的景深值D；
所述的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，当只需要获得像素点对应物体之间的景深对比关系时，直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
所述的比例系数K与红外LED光源亮度、空气成分、滤光透镜对红外线的透过率及图像传感器曝光量有关，在正常工作时，红外LED光源亮度、空气成分和滤光透镜对红外线的透过率经过校准后使用均可忽略，；摄像头模组的曝光量应为定值，不能因画面的亮度变化改变曝光量，但在需要测算较大距离范围的应用中，在不同曝光量下，校准测定多个K值，在所测物体过近或过远，可以适当调整曝光量后，换用对应的K值计算景深；对同一景深估算装置，比例系数K只需通过校准来获取便可以对视野中的所有像素点进行快速景深估算，校准方法如下：记已选取录入比例系数K的值为K1，K2的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取传感器上每个像素点的亮度L，记录下每个像素的K=d/L，完成选取，并记为K2，将K2的值录入成为新的的比例系数，完成校准。
本发明通过测量亮度来实现对视野中的所有像素点的快速（帧速率与成像芯片有关，一般为30fps～120fps，若使用高速摄像机可达1000fps～10000fps）景深估计，可应用于需要实时获取景深关系或景深模糊值的场合（例如：实时接近检测）。
本发明的工作原理如下：基于亮度的景深估算技术是通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外亮度来估算出测量的每一像素点所对于物体距该景深估算装置的距离（景深）的新技术。
应用该技术的景深估算装置使用摄像头模组中的图像传感芯片接收经滤光透镜过滤对该装置发出的红外光干扰较大波段的光后的图像的亮度。因红外光经过两倍该装置至测量的物体距离的路程在返回该装置的过程中光线的密度会越来越小（光的散射效应），光线密度越小，亮度就越低，所以该景深估算装置最终接收到图像各个像素点的亮度（即红外亮度）便反映了该点所对应物体到传感器的距离，当只需要获得像素点对应物体之间的景深对比关系时，因原始数据即测得的亮度L与景深数据线性相关，故直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明整体构思前提下，还可以作出若干改变和改进，这些也应该视为本发明的保护范围。

Claims (4)

1.一种基于亮度的景深估算装置，其特征在于：包括电路板（4），电路板同侧设置有摄像头模组（2）、至少两个红外LED光源和滤光透镜（1），摄像头模组位于红外LED光源的中间，滤光透镜（1）置于摄像头模组（2）的正前方。
2.如权利要求1所述的一种基于亮度的景深估算装置，其特征在于：所述的红外LED光源的数量至少为2个，且红外LED光源均匀的分布在摄像头模组周围。
3.一种应用权利要求1所述的一种基于亮度的景深估算装置的方法，其特征在于：通过测量由该景深估算装置的红外光源发出的红外光抵达物体后反射回该景深估算装置时接收到的红外光亮度来估算出测量的每一像素点所对于物体距该景深估算装置的景深信息；具体方法为：
第一步：选取录入比例系数K的值，K的选取过程为：将该景深估算装置对准一个已知距离d的平面，读取传感器上每个像素点的亮度L，记录下每个像素的K=d/L，完成选取，并录入；
第二步：建立如下数学模型：D=K×L，其中，D为该景深估算装置距被测物体的景深值，K为比例系数，L为图像传感器接收该装置的红外光源经物体表面反射回来的亮度，正常工作时，通过摄像头模组中的图像传感器读取每个像素点的亮度L，根据数学模型D=K×L计算得出每个像素点的景深值D。
4.如权利要求3所述的一种基于亮度的景深估算装置的方法，其特征在于：所述的图像传感器接收该装置的红外光源经物体表面反射回来的亮度L与景深数据线性相关，当只需要获得像素点对应物体之间的景深对比关系时，直接使用该景深估算装置中图像传感器芯片输出的原始数据进行景深对比。
CN201710663137.9A 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法 Active CN107392955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710663137.9A CN107392955B (zh) 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710663137.9A CN107392955B (zh) 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法

Publications (2)

Publication Number Publication Date
CN107392955A true CN107392955A (zh) 2017-11-24
CN107392955B CN107392955B (zh) 2020-09-15

Family

ID=60343904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710663137.9A Active CN107392955B (zh) 2017-08-05 2017-08-05 一种基于亮度的景深估算装置及方法

Country Status (1)

Country Link
CN (1) CN107392955B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565617A (zh) * 2019-09-26 2021-03-26 Oppo（重庆）智能科技有限公司 图像数据的处理方法、装置、存储介质及电子设备
US11449102B2 (en) * 2017-12-26 2022-09-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法
CN102436573A (zh) * 2011-07-15 2012-05-02 东莞市中控电子技术有限公司 一种主动照明的图像采集与识别装置
CN102466479A (zh) * 2010-11-16 2012-05-23 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
US8508613B2 (en) * 2010-03-29 2013-08-13 Fujifilm Corporation Image capturing apparatus
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
CN103808305A (zh) * 2012-11-07 2014-05-21 原相科技股份有限公司 检测系统
CN105023249A (zh) * 2015-06-26 2015-11-04 清华大学深圳研究生院 基于光场的高光图像修复方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508613B2 (en) * 2010-03-29 2013-08-13 Fujifilm Corporation Image capturing apparatus
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法
CN102466479A (zh) * 2010-11-16 2012-05-23 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
CN102436573A (zh) * 2011-07-15 2012-05-02 东莞市中控电子技术有限公司 一种主动照明的图像采集与识别装置
CN103808305A (zh) * 2012-11-07 2014-05-21 原相科技股份有限公司 检测系统
CN105023249A (zh) * 2015-06-26 2015-11-04 清华大学深圳研究生院 基于光场的高光图像修复方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEGNER K, STANKIEWICZ O: "Similarity measures for depth estimation", 《PROCEEDING OF 3DTV CONFERENCE THE TRUE VISION-CAPTURE,TRANSMISSION AND DISPLAY OF 3D VIDEO》 *
刘东东: "基于USB摄像头的单目视觉测距技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
胡汉平: "双目立体测距关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11449102B2 (en) * 2017-12-26 2022-09-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device
CN112565617A (zh) * 2019-09-26 2021-03-26 Oppo（重庆）智能科技有限公司 图像数据的处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN107392955B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN106772430B (zh) 基于多分辨率小波逼近的单像素光子计数三维成像系统及方法
US8988317B1 (en) Depth determination for light field images
CN107917701A (zh) 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN106772431A (zh) 一种结合tof技术和双目视觉的深度信息获取装置及其方法
Lin et al. Revisiting radiometric calibration for color computer vision
CN102997891B (zh) 场景深度的测量装置和方法
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
JP2006145405A (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
CN106970024A (zh) 基于相机和可控频闪光源的限界检测测距方法及系统
EP3944184A1 (en) Dark image enhancement
CN104296968A (zh) 多通道ccd的调制传递函数测试方法
KR20200132065A (ko) 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템
CN108592886A (zh) 图像采集设备和图像采集方法
CN107392955A (zh) 一种基于亮度的景深估算装置及方法
JP6948407B2 (ja) 表面トポロジおよび関連する色を決定するための装置および方法
TW200817651A (en) Distance measurement system and method
CN105324991B (zh) 摄像装置、图像处理装置、摄像方法和图像处理方法
Belhedi et al. Non-parametric depth calibration of a tof camera
JP2019109200A (ja) 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
Godbaz et al. Mixed pixel return separation for a full-field ranger
CN210571299U (zh) 用于测量小视场投影模组光学参数的系统
US11748908B1 (en) Systems and methods for generating point-accurate three-dimensional models with point-accurate color information from a non-cosited capture
CN104034729A (zh) 用于电路板分选的五维成像系统及其成像方法
CN108305290A (zh) 一种动目标的精确测谱方法
CN105717502B (zh) 一种基于线阵ccd的高速激光测距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant