CN107071248A - 一种用于提取强反射表面几何特征的高动态范围成像方法 - Google Patents
一种用于提取强反射表面几何特征的高动态范围成像方法 Download PDFInfo
- Publication number
- CN107071248A CN107071248A CN201710211124.8A CN201710211124A CN107071248A CN 107071248 A CN107071248 A CN 107071248A CN 201710211124 A CN201710211124 A CN 201710211124A CN 107071248 A CN107071248 A CN 107071248A
- Authority
- CN
- China
- Prior art keywords
- dmd
- image
- mrow
- ccd
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 240000002853 Nelumbo nucifera Species 0.000 claims 2
- 235000006508 Nelumbo nucifera Nutrition 0.000 claims 2
- 235000006510 Nelumbo pentapetala Nutrition 0.000 claims 2
- 230000005611 electricity Effects 0.000 claims 2
- 238000005259 measurement Methods 0.000 abstract description 13
- 238000002474 experimental method Methods 0.000 description 9
- 235000009508 confectionery Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于提取强反射表面几何特征的高动态范围成像方法，采用由DMD、CCD、第一、二透镜组和处理器构成的DMD相机；被测强反射表面经DMD编码调制后在CCD中成像；利用最大类间方差法判别编码图像中是否存在过饱和区域；设计自适应光强编码控制算法，通过坐标匹配与映射生成相应的DMD掩模，导入至DMD中完成对相应区域的入射光线进行有效衰减。依次迭代，直至最终获得的编码图像完整清晰。最后，将编码图像根据实际衰减光强情况，重构出其高动态范围图像，并利用色调映射技术清晰显示，从而达到了自适应高动态范围成像的目标。本方法可从解决强反射表面的三维几何特征测量中因局部过曝光造成的几何特征难以有效提取的问题。
Description
技术领域
本发明属于机械测试领域，涉及一种强反射表面的几何特征提取方法，尤其涉及一种适用于强反射表面的自适应高动态范围成像方法。
背景技术
在结构光三维扫描测量中，被测物的表面反射特性极大地影响测量效果，被测强反射表面因编码结构光照射后易产生局部镜面反射的特性，反射光强动态范围可高达106，远超过普通8bit工业数字相机的成像动态范围，引起相机曝光饱和，从而导致其图像中常伴有高亮光、眩光等光斑现象，淹没了所要检测的表面几何特征信息，根本原因是光学成像动态范围带宽不够。目前，有时会采用喷涂被测物表面，改变表面反射特性，压窄动态范围，消除高光影响方式，对宏观几何尺寸进行测量；但对于轮廓、缺陷等表面结构，喷涂会掩盖原表面形貌等几何特征，无法精确测量；更重要的是绝大部分精加工制造产品是不允许进行表面接触和喷涂的。此外，也会采用多次曝光法进行强反射面测量，每次曝光在一段动态范围内成像，利用相机获取一系列不同曝光时间的图像，将这些亮度不同的图像运用图像处理算法融合成具有高动态范围的单幅图像，使原高光亮区域不饱和，但其高动态范围图像的拼接和边界效应可能影响测量精度。多次曝光法适宜静态物体和稳定环境，而工业现场往往会存在不可预测的复杂变化，致使每次曝光时，叠加进场景的动态变化，导致图像中出现伪影、重叠等现象，严重地影响测量精度，同时测量效率也大打折扣。
近年来，随着微机电系统(Micro-Electro-Mechanical System，MEMS)的快速发展与应用，出现了新兴的计算成像技术，为解决强反射表面的三维几何参数提取问题提供了新的机遇与可能。计算成像结合了计算机与相机的优势，通过计算机控制不同类型的空间光调制器(Spatial Light Modulator，SLM)以实现对入射光线的精确调制，从而获得更加理想的视觉图像。因此，基于计算成像的测量系统具有更加灵活多样的视觉空间范围、更宽的成像动态范围、更快的测量速度和更高的测量精度和测量效率等优势。
发明内容
为突破传统相机动态范围带宽不足的固有限制，本发明设计了一种新型的计算型相机——DMD相机，并利用该相机具有能灵活地对光线时间信息和空间信息调制的成像优势，提出了一种自适应高动态范围成像方法，实现了对强反射表面几何特征的有效提取。
为了解决上述技术问题，本发明提出的一种用于提取强反射表面几何特征的高动态范围成像方法，其中，所用的成像系统为由数字微镜器件DMD、电荷耦合元件CCD、第一透镜组、第二透镜组和处理器构成的线性空间不变的DMD相机；所述数字微镜器件DMD形成一DMD像平面，所述电荷耦合元件CCD形成一CCD像平面，所述DMD像平面与所述CCD像平面平行；所述第一透镜组是变焦透镜组，所述第一透镜组处于由所述数字微镜器件DMD和电荷耦合元件CCD之间所形成的主光轴上，所述第一透镜组用以将DMD像平面所成的像完整投影到CCD像平面，所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应；所述第二透镜组是一个定倍成像物镜，用以将被测强反射表面完整成像在所述DMD像平面上，从而确定DMD相机的视场范围和工作距离；所述数字微镜器件DMD、第二透镜组和被测强反射表面三者之间的位置关系满足斜置场面成像条件，被测强反射表面与DMD像平面相对于第二透镜组互为共轭；所述主光轴与所述第二透镜组所在光轴之间的夹角为24°，上述数字微镜器件DMD、电荷耦合元件CCD、第一透镜组和处理器组成一光电反馈系统；该方法包括以下步骤：
步骤一、被测强反射表面反射光线进入所述成像系统；
步骤二、经所述数字微镜器件DMD编码调制后在电荷耦合元件CCD中成像；利用最大类间方差法判别编码图像中是否存在过饱和区域；若编码图像中不存在过饱和区域，则所得图像为完整清晰图像；则执行步骤四；若编码图像中存在过饱和区域，执行步骤三；
步骤三、利用自适应光强编码控制算法，通过坐标匹配与映射生成相应的DMD掩模，导入至数字微镜器件DMD中完成对相应区域的入射光线进行有效衰减；具体过程如下：
步骤3-1、初始化：所述数字微镜器件DMD中所有的微镜打开，此时，电荷耦合元件CCD获得场景的原始图像Io(x,y)；
步骤3-2、分割与判别：设定电荷耦合元件CCD所采集的图像的像素饱和值Vs小于255，且该像素饱和值Vs用于作为图像分割的阈值以判别该图像中的过饱和区域；如果该图像中存在过曝光区域，则进入步骤3-3；否则，进入步骤3-5；
步骤3-3、提取与映射：经过步骤3-2对图像进行分割后，用Sobel算子检测经过分割后的图像的边缘，从而提取出分割后的图像中的过饱和区域Oc(x,y)；数字微镜器件DMD与电荷耦合元件CCD的映射关系为：
U＝R·X
式中，U和X分别代表DMD像平面和CCD像平面对应映射点的齐次坐标，R是一个3×3的非齐次单应矩阵；则按照下式计算DMD掩模所对应的区域Od(u,v)：
Od(u,v)＝R·Oc(x,y)
步骤3-4、DMD掩模设计：在线性空间不变的DMD相机中，选用逐步迭代法来获取最佳的DMD掩模以有效衰减原始图像Io(x,y)中的过饱和区域，其迭代步骤如下：
首先，设定先验区间ξ＝(α,β)和0≤α≤β≤1，α和β都是光强衰减因子；
然后，设DMD掩模的调制函数Mi(u,v)与其对应的电荷耦合元件CCD图像Ii(x,y)的关系如下：
式中，Vc是一均匀亮度值，其取值为0～100；从而根据上述调制函数Mi(u,v)生成一个新的DMD掩模；(u,v)表示DMD像平面上的任意一点，其与CCD像平面上的某一点(x,y)相对应；
最后，将上述生成的新的DMD掩模导入到所述数字微镜器件DMD中，返回步骤二；
步骤四、高动态范围图像重构：根据电荷耦合元件CCD获取的完整清晰图像的灰度值Vhdr(x,y)和所述数字微镜器件DMD的调制函数M(u,v)，则原始高动态场景的实际光强函数Ihdr(x,y)重构为如下：
步骤五、色调映射：采用对比度受限自适应直方图均衡化算法增强高动态范围图像的局部细节，从而在低动态范围的显示设备中显示出清晰图像，用于提取强反射表面几何特征的有效信息。
与现有技术相比，本发明的有益效果是：
通常普通工业数字相机用8bit来存储数字图像，其动态范围有限，难以有效提取强反射表面因反射率高易形成高光区域的三维几何特征信息，从而引起测量失效或产生较大的测量误差。而使用高动态的数字相机也就为14位，且价格昂贵。本发明将8bit位灰度阶的数字微镜器件DMD加入到计算成像系统中，与普通的8bit工业数字相机结合就能达到16位高动态成像效果。本发明基于数字微镜器件DMD具有的调制入射光线空间信息的特性，提出一种用于提取强反射表面几何特征的高动态范围成像方法，从根源上解决强反射表面的三维几何特征测量中因局部过曝光造成的三维点云缺失问题，提高三维视觉测量系统的视觉显现力和测量精度，增强环境适应性。因此，相较于其他解决强反射表面三维几何特征提取方法，本发明方法具有设计成本低、更高的灵活性和更强的适应性。
附图说明
图1为DMD相机的光路原理图。
图2(a)、图2(b)和图2(c)是DMD与CCD匹配与校准实验结果；其中：图2(a)是DMD相机使用的条纹图案；图2(b)未匹配；图2(c)匹配。
图3是提取强反射表面几何特征的高动态范围成像方法流程图。
图4(a)、图4(b)表示DMD与CCD相机坐标映射关系；其中：图4(a)是等效示意图；图4(b)是CCD相机采集到的实际DMD棋盘格图案的图像。
图5(a)、图5(b)和图5(c)是DMD与CCD映射关系与实验结果；其中，图5(a)是DMD标定图案；图5(b)是实验中CCD相机采集的DMD棋盘格图案的图像；图5(c)是角点检测结果。
图6是逐像素编码曝光原理图。
图7(a)、图7(b)、图7(c)和图7(d)是一被测物在背景光条件下的高动态范围成像实验结果；其中，图7(a)是DMD相机获取的不同被测物的原始图像，此时DMD不参与编码调制；图7(b)是本实验中最佳的DMD掩模图案；图7(c)是DMD相机获取的不同被测物的图像，此时DMD参与编码调制；图7(d)是对高动态范围图像局部色调映射后的实验结果。
图8是与图7所示在同一被测物在不同背景光条件下的高动态范围成像实验结果；其中，图8(a)是DMD相机获取的不同被测物的原始图像，此时DMD不参与编码调制；图8(b)是本实验中最佳的DMD掩模图案；图8(c)是DMD相机获取的不同被测物的图像，此时DMD参与编码调制；图8(d)是对高动态范围图像局部色调映射后的实验结果。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。
本发明提出的一种用于提取强反射表面几何特征的高动态范围成像方法，其中，所用的成像系统为由数字微镜器件DMD、电荷耦合元件CCD、第一透镜组、第二透镜组和处理器构成的线性空间不变的DMD相机，如图1所示。
所述数字微镜器件DMD形成一DMD像平面，所述电荷耦合元件CCD形成一CCD像平面，所述DMD像平面与所述CCD像平面平行；所述第一透镜组是变焦透镜组，所述第一透镜组处于由所述数字微镜器件DMD和电荷耦合元件CCD之间所形成的主光轴上，所述第一透镜组用以将DMD像平面所成的像完整投影到CCD像平面，所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应；所述第二透镜组是一个定倍成像物镜，用以将被测强反射表面完整成像在所述DMD像平面上，从而确定DMD相机的视场范围和工作距离；所述数字微镜器件DMD、第二透镜组和被测强反射表面三者之间的位置关系满足斜置场面成像条件，被测强反射表面与DMD像平面相对于第二透镜组互为共轭；所述主光轴与所述第二透镜组所在光轴之间的夹角为24°，上述数字微镜器件DMD、电荷耦合元件CCD、第一透镜组和处理器组成一光电反馈系统。
在由数字微镜器件DMD与电荷耦合元件CCD组成的线性空间不变的成像系统中，CCD像平面的一个像点实际是由被测物的物平面上的多个物点叠加而成，这种混合叠加的成像过程可以用数学积分来表达。
式(1)中，(s,t)和(x,y)分别表示物平面和像平面上二维空间坐标；f(s,t)表示被测物的图像；g(x,y)表示相机采集到的图像，又称为降质图像；h(x,y；s,t)表示该DMD相机的光学传递函数(PSF)。
光强函数I(x,y)可以表示为像函数g(x,y)与其共轭像函数g*(x,y)的点积的时间平均值：
I(x,y)＝<g(x,y)·g*(x,y)> (2)
将式(1)代入式(2)中，光强函数I(x,y)又可表示为：
由于从物体表面反射的光线可以看作是非相干平面波，因此，式(3)可以进一步表示为：
设I(x,y,t)对应于M×N像素邻域内的时空卷积和相机积分时间；M(x,y,t)表示DMD与CCD之间的调制函数；T表示相机的曝光周期；(x,y)表示DMD像平面上的任意一点，其与CCD像平面上的某一点相对应。因此，DMD相机的实际灰度值函数V(x,y)可以表示为：
式(5)中，M(x,y,t)∈[0,1]。当M(x,y,t)＝0时，所有的DMD微镜关闭，没有光线可以进入CCD像平面成像；当M(x,y,t)＝1时，所有的DMD微镜打开。对于传统相机， 此外，当DMD微镜未偏转时，所有DMD微镜处于水平位置，入射光线均因微镜反射而偏离数字相机的像面。
所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应，本发明利用莫尔条纹的产生原理来完成DMD微镜与CCD像元的匹配与校准。其详细步骤如下：
(1)依据数字微镜器件DMD自身的翻转特性，将DMD掩膜设置成周期性条纹光栅图案。该光栅条纹图案的每个周期方向上由4个微镜组成，且前两个微镜为“ON”(打开)状态，后两个为“OFF”(关闭)状态。图2(a)为DMD掩膜所设置成的周期性条纹光栅图案，图中分为横向条纹和纵向条纹两个部分，分别用于调整纵向空间匹配和横向空间匹配实验。
(2)当CCD对DMD掩膜(即上述的周期性条纹光栅图案)进行图像采样时，同样以4个像元为一个周期进行抽采样。选取每个周期的第一个CCD像元采样值，并复制这个采样值到其它三个像元处。
(3)当DMD微镜与CCD像元一一对应，因为每个周期CCD的采样值相同，相机所采集的图像中将无条纹图案出现；当DMD微镜与CCD像元没有完全一一对应时，由于相邻周期的CCD采样值不同，在复制插值之后就会出现灰度渐进的条纹图案，这个条纹图案也是周期性的，这个现象就是测量学中的移相莫尔条纹现象。图2(b)是DMD相机初始匹配与校准结果，图中出现了明暗相间的莫尔条纹。
实验中，通过调整第一透镜组1的放大倍率和CCD在z轴上的位置来实现CCD像元与DMD微镜的匹配，而后调整CCD在x轴y轴的位置及绕x、y、z轴的旋转来实现CCD像元与DMD微镜的校准，实验结果如图2(c)所示。
本发明用于提取强反射表面几何特征的高动态范围成像方法包括以下步骤：
步骤一、被测强反射表面反射光线进入所述成像系统，如图3所示。
步骤二、经所述数字微镜器件DMD编码调制后在电荷耦合元件CCD中成像；利用最大类间方差法判别编码图像中是否存在过饱和区域；若编码图像中不存在过饱和区域，则所得图像为完整清晰图像；则执行步骤四；若编码图像中存在过饱和区域，执行步骤三；
步骤三、利用自适应光强编码控制算法，通过坐标匹配与映射生成相应的DMD掩模，导入至数字微镜器件DMD中完成对相应区域的入射光线进行有效衰减；具体过程如下：
步骤3-1、初始化：所述数字微镜器件DMD中所有的微镜打开，此时，电荷耦合元件CCD获得场景的原始图像Io(x,y)；
步骤3-2、分割与判别：设定电荷耦合元件CCD所采集的图像的像素饱和值Vs小于255，且该像素饱和值Vs用于作为图像分割的阈值以判别该图像中的过饱和区域；如果该图像中存在过曝光区域，则进入步骤3-3；否则，进入步骤3-5；
步骤3-3、提取与映射：经过步骤3-2对图像进行分割后，用Sobel算子检测经过分割后的图像的边缘，从而提取出分割后的图像中的过饱和区域Oc(x,y)；根据本发明成像系统的光路特征可得到其坐标映射等效示意图，如图4(a)所示，可知DMD镜元阵列与CCD像元阵列的对应关系实际上一种空间映射关系，两坐标系间可用三维投影变换矩阵表示。因此，数字微镜器件DMD与电荷耦合元件CCD的映射关系为：
U＝R·X (6)
式中，U和X分别代表DMD像平面和CCD像平面对应映射点的齐次坐标，R是一个3×3的非齐次单应矩阵，它可表示为：
其中：rij为矩阵R的第i行与第j列相交的元素。如图4(b)所示，设Pd(u,v)和Pc(x,y)分别是DMD像面和CCD像面上的任意一点，则式(7)可进一步表示为：
因此，当Pd(u,v)和Pc(x,y)坐标均已知时，单应矩阵R可采用直接线性变换(DLT)算法求解。
事实上，根据本发明的成像系统的特点，DMD镜元与CCD像元的一一对应的详细标定步骤如下：
Step1：DMD显示棋盘格图案。它是8×15的棋盘格阵列，共存在98个角点。该棋盘格图案是标准尺寸图案，如图5(a)所示，因此原棋盘格上各角点坐标Pd(u,v)已知。
Step 2：CCD相机采集DMD像平面的图像，如图5(b)所示。
Step 3：利用Harris算法检测CCD相机中所采集的图像中存在的角点坐标Pc(x,y)，如图5(c)所示。
Step 4：采用DLT算法，由Step1和Step 3的数据计算单应矩阵R，其结果为：
当单应矩阵R已知后，根据CCD像面上的任意特征点Pc(x,y)都可用表达式(9)解算出其对应在DMD所在的镜元Pd(u,v)。
综上所述，可按照下式计算DMD掩模所对应的区域Od(u,v)：
Od(u,v)＝R·Oc(x,y) (10)
步骤3-4、DMD掩模设计：根据DMD的高速偏转特性，DMD微镜能够在CCD的一个曝光积分周期内完成多次偏转(状态转换)。假设DMD相机成像系统采集不同的场景，N幅不同的DMD掩模Mi依次有序地在一个CCD相机曝光周期T内曝光，每个DMD掩模的曝光时间为ti，如图6所示。
设Mi(x,y,t)表示DMD掩模函数，逐像素编码曝光函数M(x,y,t)能准确地揭示DMD对入射光线像素级调制过程，其表达式可表示为：
此后，一系列的编码曝光图像被作为系统输出而存储。因此，该编码曝光图像不仅保存了DMD相机的分辨率，而且还记录了原始图像的时间和空间信息。结合DMD相机的光学模型，逐像素编码曝光图像的灰度值函数V'(x,y)可以表示为：
当在CCD相机的一个曝光周期T内，只有一幅DMD掩模编码控制入射光强度，则此时DMD只被用于调制入射光线的空间信息，用来实时衰减入射光的光强。此时，N＝1和ti＝T.因而公式(12)可被进一步推导出逐像素编码曝光理论应用于基于DMD的高动态范围成像的表达公式为：
Vhdr(x,y)＝M(x,y)·Ihdr(x,y) (13)
在线性空间不变的DMD相机中，选用逐步迭代法来获取最佳的DMD掩模以有效衰减原始图像Io(x,y)中的过饱和区域，其迭代步骤如下：
首先，设定先验区间ξ＝(α,β)和0≤α≤β≤1，α和β都是光强衰减因子；
然后，设DMD掩模的调制函数Mi(u,v)与其对应的电荷耦合元件CCD图像Ii(x,y)的关系如下：
式中，Vc是一均匀亮度值，其取值为0～100；从而根据上述调制函数Mi(u,v)生成一个新的DMD掩模；(u,v)表示DMD像平面上的任意一点，其与CCD像平面上的某一点(x,y)相对应。
本发明所提出的基于DMD的自适应光强编码控制算法的调制速度是由DMD光强调制函数Mi(u,v)决定的，迭代次数Q可被表示为：
Q＝num[α,β,I,Vc],Q∈N+ (15)
其中：算法迭代次数Q是正整数；num[]是计数函数，I是实际场景的光强值。当I和Vc是固定值时，α和β决定着光强调制函数的迭代次数。在本实验中，α＝0.12，β＝0.5和Vc＝26＝64。
最后，将上述生成的新的DMD掩模导入到所述数字微镜器件DMD中，返回步骤二；
步骤四、高动态范围图像重构：根据电荷耦合元件CCD获取的完整清晰图像的灰度值Vhdr(x,y)和所述数字微镜器件DMD的调制函数M(u,v)，则原始高动态场景的实际光强函数Ihdr(x,y)重构为如下：
步骤五、色调映射：采用对比度受限自适应直方图均衡化算法增强高动态范围图像的局部细节，从而在低动态范围的显示设备中显示出清晰图像，用于提取强反射表面几何特征的有效信息。
实施例：
实施本发明所述的成像方法，选取美分硬币作为被测强反射物体，以电脑的普通的液晶显示器作为显示设备，在不同光照条件下进行了自适应高动态范围成像实验，实验结果分别如图7和如图8所示。图7(a)和8(a)均是在DMD不参与调制的情况下，DMD相机采集的原始图像，在这种情况下，M(x,y,t)＝1，DMD相机可以被看作是一个传统的8bit数字相机。从图7(a)和8(a)中可以看出，原始图像中存在大面积的过曝光区域。根据本发明方法，本实施例中DMD最佳掩模如图7(b)和图8(b)所示。图7(c)和图8(c)为DMD相机导入DMD掩模后的原始图像效果。完成高动态范围图像的重构后，采用对比度受限自适应直方图均衡化算法实现高动态图像的显示，其结果如图7(d)和图8(d)所示。对比原始图像图7(a)和8(a)，图7(d)和图8(d)均有效地显示了原始图像中更多的几何特征信息。
图像的熵值可以表示图像灰度分布的聚集特征，熵值越大，说明图像中包含的信息量越大，图像越有价值。表1是图7(a)和图7(d)各图像的熵值。
表1是各图像熵值对比；其中，第一列是图7(a)图像的熵值；第二列是图7(d)图像的熵值。
表1
表2是各图像熵值对比；其中，第一列是图8(a)图像的熵值；第二列是图8(d)图像的熵值。
表2
从表1和表2中可以看出，图7(d)和图8(d)图像的熵值均远大于图7(a)和图8(a)的图像熵。因此，实施本发明的方法后，被测强反射表面的原图像中的过曝光区域的几何特征细节信息能够清晰显示，图像的视觉效果更佳，实现了对强反射表面几何特征的有效提取。
上述所有实验结果均表明，本发明提出的一种用于提取强反射表面几何特征的高动态范围成像方法能实现对强反射表面几何特征信息的有效提取。
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。
Claims (1)
1.一种用于提取强反射表面几何特征的高动态范围成像方法，其中，所用的成像系统为由数字微镜器件DMD、电荷耦合元件CCD、第一透镜组、第二透镜组和处理器构成的线性空间不变的DMD相机；
所述数字微镜器件DMD形成一DMD像平面，所述电荷耦合元件CCD形成一CCD像平面，所述DMD像平面与所述CCD像平面平行；所述第一透镜组是变焦透镜组，所述第一透镜组处于由所述数字微镜器件DMD和电荷耦合元件CCD之间所形成的主光轴上，所述第一透镜组用以将DMD像平面所成的像完整投影到CCD像平面，所述数字微镜器件DMD中的每一个微镜与电荷耦合元件CCD中的每一个像元一一对应；所述第二透镜组是一个定倍成像物镜，用以将被测强反射表面完整成像在所述DMD像平面上，从而确定DMD相机的视场范围和工作距离；所述数字微镜器件DMD、第二透镜组和被测强反射表面三者之间的位置关系满足斜置场面成像条件，被测强反射表面与DMD像平面相对于第二透镜组互为共轭；所述主光轴与所述第二透镜组所在光轴之间的夹角为24°，上述数字微镜器件DMD、电荷耦合元件CCD、第一透镜组和处理器组成一光电反馈系统；
其特征在于：并包括以下步骤：
步骤一、被测强反射表面反射光线进入所述成像系统；
步骤二、经所述数字微镜器件DMD编码调制后在电荷耦合元件CCD中成像；利用最大类间方差法判别编码图像中是否存在过饱和区域；若编码图像中不存在过饱和区域，则所得图像为完整清晰图像；则执行步骤四；若编码图像中存在过饱和区域，执行步骤三；
步骤三、利用自适应光强编码控制算法，通过坐标匹配与映射生成相应的DMD掩模，导入至数字微镜器件DMD中完成对相应区域的入射光线进行有效衰减；具体过程如下：
步骤3-1、初始化：所述数字微镜器件DMD中所有的微镜打开，此时，电荷耦合元件CCD获得场景的原始图像Io(x,y)；
步骤3-2、分割与判别：设定电荷耦合元件CCD所采集的图像的像素饱和值Vs小于255，且该像素饱和值Vs用于作为图像分割的阈值以判别该图像中的过饱和区域；如果该图像中存在过曝光区域，则进入步骤3-3；否则，进入步骤3-5；
步骤3-3、提取与映射：经过步骤3-2对图像进行分割后，用Sobel算子检测经过分割后的图像的边缘，从而提取出分割后的图像中的过饱和区域Oc(x,y)；数字微镜器件DMD与电荷耦合元件CCD的映射关系为：
U＝R·X
式中，U和X分别代表DMD像平面和CCD像平面对应映射点的齐次坐标，R是一个3×3的非齐次单应矩阵；则按照下式计算DMD掩模所对应的区域Od(u,v)：
Od(u,v)＝R·Oc(x,y)
步骤3-4、DMD掩模设计：在线性空间不变的DMD相机中，选用逐步迭代法来获取最佳的DMD掩模以有效衰减原始图像Io(x,y)中的过饱和区域，其迭代步骤如下：
首先，设定先验区间ξ＝(α,β)和0≤α≤β≤1，α和β都是光强衰减因子；
然后，设DMD掩模的调制函数Mi(u,v)与其对应的电荷耦合元件CCD图像Ii(x,y)的关系如下：
<mrow>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&beta;</mi>
<mo>&CenterDot;</mo>
<mfrac>
<msub>
<mi>V</mi>
<mi>c</mi>
</msub>
<msub>
<mi>V</mi>
<mi>s</mi>
</msub>
</mfrac>
<mo>&CenterDot;</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
1
式中，Vc是一均匀亮度值，其取值为0～100；从而根据上述调制函数Mi(u,v)生成一个新的DMD掩模；(u,v)表示DMD像平面上的任意一点，其与CCD像平面上的某一点(x,y)相对应；
最后，将上述生成的新的DMD掩模导入到所述数字微镜器件DMD中，返回步骤二；
步骤四、高动态范围图像重构：根据电荷耦合元件CCD获取的完整清晰图像的灰度值Vhdr(x,y)和所述数字微镜器件DMD的调制函数M(u,v)，则原始高动态场景的实际光强函数Ihdr(x,y)重构为如下：
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>h</mi>
<mi>d</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>h</mi>
<mi>d</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
步骤五、色调映射：采用对比度受限自适应直方图均衡化算法增强高动态范围图像的局部细节，从而在低动态范围的显示设备中显示出清晰图像，用于提取强反射表面几何特征的有效信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710211124.8A CN107071248B (zh) | 2017-03-31 | 2017-03-31 | 一种用于提取强反射表面几何特征的高动态范围成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710211124.8A CN107071248B (zh) | 2017-03-31 | 2017-03-31 | 一种用于提取强反射表面几何特征的高动态范围成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107071248A true CN107071248A (zh) | 2017-08-18 |
| CN107071248B CN107071248B (zh) | 2020-01-14 |
Family
ID=59601572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710211124.8A Active CN107071248B (zh) | 2017-03-31 | 2017-03-31 | 一种用于提取强反射表面几何特征的高动态范围成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107071248B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322667A (zh) * | 2018-02-22 | 2018-07-24 | 长春车格斯科技有限公司 | 一种成像系统及其成像方法 |
| CN108645354A (zh) * | 2018-07-06 | 2018-10-12 | 四川大学 | 高反光对象表面的结构光三维成像方法及系统 |
| CN110095472A (zh) * | 2019-05-08 | 2019-08-06 | 湖北工业大学 | 基于hdri的高反光金属表面缺陷检测方法及系统 |
| CN110572563A (zh) * | 2018-06-05 | 2019-12-13 | 杭州海康威视数字技术股份有限公司 | 一种调制权值矩阵确定方法、装置及电子设备 |
| CN113489924A (zh) * | 2021-07-14 | 2021-10-08 | 长春长光奥闰光电科技有限公司 | 成像方法 |
| CN113554575A (zh) * | 2020-04-23 | 2021-10-26 | 华东交通大学 | 一种基于偏振原理的高反物体表面高光去除方法 |
| CN113628136A (zh) * | 2021-07-29 | 2021-11-09 | 北京科技大学 | 一种高动态范围激光散斑数字图像相关变形测量方法 |
| CN114018926A (zh) * | 2022-01-04 | 2022-02-08 | 天津大学四川创新研究院 | 一种基于灰阶的数字微镜调光模板制作方法 |
| CN114383817A (zh) * | 2021-12-24 | 2022-04-22 | 北京控制工程研究所 | 一种高精度同步扫描光学系统装调精度评估方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1564053A (zh) * | 2004-04-16 | 2005-01-12 | 南昌航空工业学院 | 高分辨力数字化微光学灰度掩模制作系统及制作方法 |
| CN105763816A (zh) * | 2016-01-31 | 2016-07-13 | 天津大学 | 一种基于逐像素编码曝光的高速高分辨率成像方法 |
-
2017
- 2017-03-31 CN CN201710211124.8A patent/CN107071248B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1564053A (zh) * | 2004-04-16 | 2005-01-12 | 南昌航空工业学院 | 高分辨力数字化微光学灰度掩模制作系统及制作方法 |
| CN105763816A (zh) * | 2016-01-31 | 2016-07-13 | 天津大学 | 一种基于逐像素编码曝光的高速高分辨率成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI FENG: "Digital Micromirror Device Camera Used for High-Speed", 《OPTICAL SOCIETY OF AMERICA》 * |
| WEI FENG: "Per-Pixel Coded Exposure for High-Speed and", 《SENSOR》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322667B (zh) * | 2018-02-22 | 2020-12-29 | 长春车格斯科技有限公司 | 一种成像系统及其成像方法 |
| CN108322667A (zh) * | 2018-02-22 | 2018-07-24 | 长春车格斯科技有限公司 | 一种成像系统及其成像方法 |
| CN110572563B (zh) * | 2018-06-05 | 2021-10-15 | 杭州海康威视数字技术股份有限公司 | 一种调制权值矩阵确定方法、装置及电子设备 |
| CN110572563A (zh) * | 2018-06-05 | 2019-12-13 | 杭州海康威视数字技术股份有限公司 | 一种调制权值矩阵确定方法、装置及电子设备 |
| CN108645354A (zh) * | 2018-07-06 | 2018-10-12 | 四川大学 | 高反光对象表面的结构光三维成像方法及系统 |
| CN108645354B (zh) * | 2018-07-06 | 2019-10-18 | 四川大学 | 高反光对象表面的结构光三维成像方法及系统 |
| CN110095472B (zh) * | 2019-05-08 | 2019-12-13 | 湖北工业大学 | 基于hdri的高反光金属表面缺陷检测方法及系统 |
| CN110095472A (zh) * | 2019-05-08 | 2019-08-06 | 湖北工业大学 | 基于hdri的高反光金属表面缺陷检测方法及系统 |
| CN113554575A (zh) * | 2020-04-23 | 2021-10-26 | 华东交通大学 | 一种基于偏振原理的高反物体表面高光去除方法 |
| CN113489924A (zh) * | 2021-07-14 | 2021-10-08 | 长春长光奥闰光电科技有限公司 | 成像方法 |
| CN113628136A (zh) * | 2021-07-29 | 2021-11-09 | 北京科技大学 | 一种高动态范围激光散斑数字图像相关变形测量方法 |
| CN113628136B (zh) * | 2021-07-29 | 2023-07-25 | 北京科技大学 | 一种高动态范围激光散斑数字图像相关变形测量方法 |
| CN114383817A (zh) * | 2021-12-24 | 2022-04-22 | 北京控制工程研究所 | 一种高精度同步扫描光学系统装调精度评估方法 |
| CN114383817B (zh) * | 2021-12-24 | 2023-07-14 | 北京控制工程研究所 | 一种高精度同步扫描光学系统装调精度评估方法 |
| CN114018926A (zh) * | 2022-01-04 | 2022-02-08 | 天津大学四川创新研究院 | 一种基于灰阶的数字微镜调光模板制作方法 |
| CN114018926B (zh) * | 2022-01-04 | 2022-03-22 | 天津大学四川创新研究院 | 一种基于灰阶的数字微镜调光模板制作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107071248B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107071248A (zh) | 一种用于提取强反射表面几何特征的高动态范围成像方法 | |
| CN107607040B (zh) | 一种适用于强反射表面的三维扫描测量装置及方法 | |
| Jeon et al. | Depth from a light field image with learning-based matching costs | |
| CN110514143B (zh) | 一种基于反射镜的条纹投影系统标定方法 | |
| Tarini et al. | 3D acquisition of mirroring objects using striped patterns | |
| Schuon et al. | High-quality scanning using time-of-flight depth superresolution | |
| CN105763816B (zh) | 一种基于逐像素编码曝光的高速高分辨率成像方法 | |
| CN109510948A (zh) | 曝光调整方法、装置、计算机设备和存储介质 | |
| WO2008079301A2 (en) | Methods and apparatus for 3d surface imaging using active wave-front sampling | |
| CN107395933B (zh) | 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法 | |
| WO2009091259A1 (en) | Method of improving the resolution of a moving object in a digital image sequence | |
| CN103974011A (zh) | 一种投影图像模糊消除方法 | |
| CN113160339A (zh) | 一种基于沙姆定律的投影仪标定方法 | |
| CN108627121B (zh) | 一种镜面面形检测装置及其检测方法 | |
| CN103716538B (zh) | 一种基于dmd的成像前处理装置和方法 | |
| CN110942506A (zh) | 一种物体表面纹理重建方法、终端设备及系统 | |
| Huang et al. | End-to-end full projector compensation | |
| CN109974624A (zh) | 一种基于多频相移的减少投影图像数量的方法 | |
| CN109443250B (zh) | 一种基于s变换的结构光三维面形垂直测量方法 | |
| Fryer et al. | Enhancement of image resolution in digital photogrammetry | |
| CN110322561A (zh) | 用于机器人无序分拣的3d相机及其测量方法 | |
| Guan et al. | Pixel-level mapping method in high dynamic range imaging system based on DMD modulation | |
| Yu et al. | An improved projector calibration method for structured-light 3D measurement systems | |
| Zhu et al. | Breaking the spatio-angular trade-off for light field super-resolution via lstm modelling on epipolar plane images | |
| Hongsheng et al. | Three-dimensional reconstruction of complex spatial surface based on line structured light |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |