CN114363525B - Hdr快速自动成像方法、结构光相机、电子设备和存储介质 - Google Patents

Hdr快速自动成像方法、结构光相机、电子设备和存储介质 Download PDF

Info

Publication number
CN114363525B
CN114363525B CN202210264132.XA CN202210264132A CN114363525B CN 114363525 B CN114363525 B CN 114363525B CN 202210264132 A CN202210264132 A CN 202210264132A CN 114363525 B CN114363525 B CN 114363525B
Authority
CN
China
Prior art keywords
picture
brightness
exposure time
dynamic range
high dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210264132.XA
Other languages
English (en)
Other versions
CN114363525A (zh
Inventor
王灿
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202210264132.XA priority Critical patent/CN114363525B/zh
Publication of CN114363525A publication Critical patent/CN114363525A/zh
Application granted granted Critical
Publication of CN114363525B publication Critical patent/CN114363525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及HDR快速自动成像方法、结构光相机、电子设备和存储介质，本发明的方法在获取全白图片时或全黑图片时，只需要将发光模块打开或关闭，然后控制工业相机拍摄用于计算曝光时间的照片。本发明通过将计算点云序列图片和计算曝光时间序列图片分开投射，因此在使用过程中可以随时可以单独的投射任一序列，不需要使用多次迭代的方式，从而节省了投射器频繁切换序列所消耗的时间。因此，本发明通过控制发光模块的开启或关闭来模拟投射器投射的全黑或全白图片，并且在检测到环境光亮度和被测物发生变化时不需要投射复杂的图形来调整曝光时间，因此本发明不仅减少了自动HDR功能因硬件部分所消耗的时间，还能够提升HDR的图像质量和帧率。

Description

HDR快速自动成像方法、结构光相机、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及HDR快速自动成像方法、结构光相机、电子设备和存储介质。
背景技术
目前，结构光视觉三维重建技术具有大量程、非接触、速度快、系统柔性好、精度适中等优点，广泛应用于三维模型重建、三维特征提取、物体表面轮廓三维信息测量等领域，其中，使用DLP投影仪作为主动光源的三维相机具有重建精度高、投射图片容量大等特点。并且在一些工业应用场景中，面结构光相机能够根据环境光亮度、被测物种类的不同切换不同的策略和参数来处理；甚至一些室外场景随着一天中环境光亮度的不同，面结构光相机的最优策略和算法也并不相同。实际使用时，若面结构光相机当前的策略和参数已经不适用于当前环境，则需要获取投射器投射的全黑和全白图片来分析当前环境的最优策略与参数，而在投射器投射图片过程中需要切换两个序列。
但是，TI的DLP系列投射器有以下缺点：其高速储存区的内存有限；而且若要更换高速储存区的图片（即切换序列），则需要消耗200ms以上的时间。因此，在环境光亮度或被测物种类经常发生变化的情况下，则需要频繁地分析计算最优策略与参数，从而导致消耗大量时间来切换序列，严重影响了实际使用中的效率，也大大提高了时间成本。
另外，现有的自动HDR算法只能投射一组黑白图片，并且图片中的过暗区域和过曝区域由于相机本身成像原理限制噪声影响较大，很难准确地计算出合适的曝光时间，因此只能通过多次迭代来计算准确的曝光时间，而投射器每次修改序列或曝光时间等参数时都需要花费200ms以上的时间，因此进一步增加了HDR成像的时间成本。
发明内容
本发明实施例提供了HDR快速自动成像方法、结构光相机、电子设备和存储介质，以至少解决现有技术中，结构光相机中的投射器切换序列时消耗较长时间、HDR成像速度慢的问题。
第一方面，本发明实施例提供了一种HDR快速自动成像方法，应用于结构光相机，且所述结构光相机包括工业相机、投射器、发光模块和控制模块，所述方法包括：
所述控制模块获取多个预设曝光时间，控制所述工业相机在所述发光模块开启状态下以每一所述预设曝光时间进行拍照获取第一图片序列；控制所述工业相机在所述发光模块关闭状态下以每一所述预设曝光时间进行拍照获取第二图片序列；
将所述第一图片序列合成第一高动态范围图片，将第二图片序列合成第二高动态范围图片；
根据所述第一高动态范围图片和第二高动态范围图片分析得到第三高动态范围图片；
获取预设最大亮度和预设最小亮度，对所述最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间；
控制所述投射器按照所述曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片，同时控制所述工业相机拍摄所述序列图片，获取一组数量与所述曝光重数相同的照片，将所述照片并合成HDR。
进一步，所述第一图片序列中所有的图片大小相同，所述将所述第一图片序列合成第一高动态范围图片包括：
获取所述第一图片序列中同一位置的所有像素点，从所述同一位置的所有像素点中选择最亮且不过曝的像素点；遍历所述第一图片序列的所有位置，获取每一个位置的最亮且不过曝的像素点合成所述第一高动态范围图片；
所述第二图片序列中所有的图片大小相同，所述将所述第二图片序列合成第二高动态范围图片包括：
获取所述第二图片序列中同一位置的所有像素点，从所述同一位置的所有像素点中选择最亮且不过曝的像素点；遍历所述第二图片序列的所有位置，获取每一个位置的最亮且不过曝的像素点合成所述第二高动态范围图片。
进一步，所述对所述最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间，包括：
A、获取待处理区域图片，对所述第一高动态范围图片中未被标记部分进行直方图分析，得到第一亮度分布图；对所述第三高动态范围图片中未被标记部分进行直方图分析，得到第二亮度分布图；
B、从所述第一亮度分布图中提取最大单位曝光时间亮度值，根据所述预设最大亮度和最大单位曝光时间亮度值计算得到第i重的曝光时间，所述i的初始值为1；
C、根据所述预设最小亮度和第i重的曝光时间计算得到当前曝光时间的最小单位曝光时间亮度值；
D、根据所述最大单位曝光时间亮度值和最小单位曝光时间亮度值更新所述待处理区域图片；
E、记录所述i的值和对应的曝光时间；
F、判断所述待处理区域图片中所有的待处理像素点是否都完成更新，若是，则结束循环；若否，则将所述i的值加一，执行A步骤。
进一步，所述待处理区域图片是预先创建的、与所述第三高动态范围图片同样大小的图片；所述根据所述最大单位曝光时间亮度值和最小单位曝光时间亮度值更新所述待处理区域图片，包括：
从所述第一高动态范围图片中提取出小于所述最大单位曝光时间亮度值的像素点作为第一像素集；从所述第三高动态范围图片中提取出大于所述最小单位曝光时间亮度值的像素点作为第二像素集；
对所述第一像素集和第二像素集中的所有像素点的进行分析，获取所述第一像素集和第二像素集的交集；
分别在所述第一高动态范围图片和第三高动态范围图片中，将与所述交集位置相同的部分标记为已处理区域；
将所述待处理区域图片中与所述交集对应的像素点的亮度值设置为相应的亮度并保存。
进一步，所述第i重的曝光时间的计算公式为：
Figure 22625DEST_PATH_IMAGE001
所述最小单位曝光时间亮度值的计算公式为：
Figure 143028DEST_PATH_IMAGE002
其中，所述histmax是最大单位曝光时间亮度值；所述EXPi是第i重的曝光时间；所述Lmax是预设最大亮度；所述Lmin是预设最小亮度；hist′′min是最小单位曝光时间亮度值。
在本发明的一个实施例中，在进行直方图分析之前，所述方法还包括：
获取第一预设阈值，根据所述第一预设阈值过滤掉所述第三高动态范围图片中的过暗区域，得到新的第三高动态范围图片；
修改所述待处理区域图片中与所述过暗区域位置对应的像素点的亮度值并保存。
在本发明的一个实施例中，在提取所最大单位曝光时间亮度值之前，所述方法还包括：
获取第二预设阈值和第三预设阈值，根据所述第二预设阈值和第三预设阈值过滤掉所述第一亮度分布图中数量少于阈值的极端点，得到新的第一亮度分布图；根据所述第二预设阈值和第三预设阈值过滤掉所述第二亮度分布图中数量少于阈值的极端点，得到新的第二亮度分布图；
修改所述待处理区域图片中与所述极端点位置对应的像素点的亮度值并保存。
第二方面，本发明一实施例提供了一种结构光相机，包括工业相机、投射器、发光模块和控制模块，所述工业相机、投射器和发光模块的控制端分别与所述控制模块连接；其中，
所述发光模块用于在切换策略和参数时，代替所述投射器投射全白图片或全黑图片；
所述投射器用于按照曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片；
所述工业相机用于拍摄所述全白照片、全黑照片或序列图片；
所述控制模块用于所述控制模块获取多个预设曝光时间，控制所述工业相机在所述发光模块开启状态下以每一所述预设曝光时间进行拍照获取第一图片序列；控制所述工业相机在所述发光模块关闭状态下以每一所述预设曝光时间进行拍照获取第二图片序列；将所述第一图片序列合成第一高动态范围图片，将第二图片序列合成第二高动态范围图片；根据所述第一高动态范围图片和第二高动态范围图片分析得到第三高动态范围图片；获取预设最大亮度和预设最小亮度，对所述最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间；控制所述投射器按照所述曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片，同时控制所述工业相机拍摄所述序列图片，获取一组数量与所述曝光重数相同的照片，将所述照片并合成HDR。
第三方面，本发明一实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述实施例中任一项所述的HDR快速自动成像方法。
第四方面，本发明一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述实施例中任一项所述的HDR快速自动成像方法。
相比于相关技术，本发明实施例提供的HDR快速自动成像方法或结构光相机通过控制投射器投射用于合成HDR的序列图片、控制发光模块投射用于计算曝光时间的全黑和全白图片，使得在使用过程中可以随时可以单独的投射任一中图片，不需要使用多次迭代的方式，从而节省了切换序列所消耗的时间。并且在环境光亮度和被测物种类发生变化时，由于本发明不需要投射器来切换序列，因此可以实时的计算出最优的策略与参数，并且能够实现以较快的速度合成高动态范围图像。
本发明提供的HDR快速自动成像方法通过控制发光模块的开启和关闭来模拟结构光相机的投射器来投射图片，并且在检测到环境光亮度和被测物反射率时发生变化时不需要投射复杂的图形来调整曝光时间，因此本发明不仅减少了自动HDR功能因硬件部分所消耗的时间，还能够提升HDR的图像质量和帧率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明一实施例的结构光相机的结构框图；
图2（a）是本发明的结构光相机中投射器投射的图片示意图；
图2（b）是本发明的结构光相机中发光模块投射的图片示意图；
图3是本发明一实施例的HDR快速自动成像方法的流程图；
图4是曝光时间为10000us时某场景下的亮度分布图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明公开的内容不充分。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本发明所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明一实施例提供了一种结构光相机，参考图1，本实施例的结构光包括工业相机、投射器、发光模块和控制模块，工业相机、投射器、发光模块的控制端分别与控制模块连接，由控制模块控制其他模块执行相应的动作。
具体地，本发明的发光模块用于在切换策略和参数时，代替投射器投射全白图片或全黑图片，如图2（b），全黑图片B和全白图片W是当结构光相机所处环境的光亮度或被测物的种类发生变化时，被用来计算最优策略和参数的一种图片，本发明所提到的策略和参数是指曝光重数和每一重曝光时间的值。投射器用于按照曝光重数和每一重的曝光时间来投射出能够用于合成HDR的序列图片；投射器用于向待测工件投射图片，投射的图片如图2（a）所示，是一系列（I1、I2、I3）黑白相间的用于能够计算点云的图片；工业相机用于在投射器或发光模块投射图片时拍摄全白图片、全黑图片或序列图片。
本发明的控制模块用于获取多个预设曝光时间，控制工业相机在发光模块开启状态下以每一预设曝光时间进行拍照获取第一图片序列；控制工业相机在发光模块关闭状态下以每一预设曝光时间进行拍照获取第二图片序列；将第一图片序列合成第一高动态范围图片，将第二图片序列合成第二高动态范围图片；根据第一高动态范围图片和第二高动态范围图片分析得到第三高动态范围图片；获取预设最大亮度和预设最小亮度，对最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间；控制投射器按照曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片，同时控制工业相机拍摄序列图片，获取一组数量与曝光重数相同的照片，将照片并合成HDR。
本发明提供的结构光相机在现有的面结构光相机的基础上，增加了一个与投射器镜头和亮度相同的发光模块，因此在调整策略和参数的过程中，控制模块只需要控制发光模块的开启或关闭，即可投射出全白（发光模块开启）或全黑（发光模块关闭）两种图片，因此本发明不需要类似TI的DLP系列投射器复杂的控制系统，节省了硬件成本。
在本发明的另一个实施例中，结构光相机中的发光模块也可以用激光模块来代替，但在这用情况下，投射器最好也使用激光投射器，从而保证激光模块和激光投射器投射的效果一致。
在本发明的一个实施例中，提供了一种HDR快速自动成像方法，该方法主要应用在有发光模块的结构光相机中，本发明一实施例提供的HDR快速自动成像方法的步骤参考图3。
步骤S1，控制模块获取多个预设曝光时间，控制工业相机在发光模块开启状态下以每一预设曝光时间进行拍照获取第一图片序列；控制工业相机在发光模块关闭状态下以每一预设曝光时间进行拍照获取第二图片序列。
本实施例以发光模块为LED模块进行说明，当结构光相机所处的环境发生变化时，控制模块获取用户预先设置好的多个预设曝光时间[exp1，exp2，……，expn]，在本发明实施例中，预设曝光时间是依次递增的。然后控制模块根据预设曝光时间来控制LED模块在一定时间内处于开启状态，而LED的开启时间为所有预设曝光时间之和Sexp，同时控制工业相机依次以expi（i=1,2，……，n）拍摄图片，从而获得一组曝光时间不同的全白图片（第一图片序列）；同理，控制模块按照预设曝光时间控制LED模块关闭，关闭时间同样为Sexp，控制工业相机依次以上述的预设曝光时间拍摄图片，一组全黑图片（第二序列图片）。
步骤S2，将第一图片序列合成第一高动态范围图片，将第二图片序列合成第二高动态范围图片。第一图片序列中所有的图片大小相同，合成过程是获取第一图片序列中同一位置的所有像素点，从同一位置的所有像素点中选择最亮且不过曝的像素点；遍历第一图片序列的所有位置，获取每一个位置的最亮且不过曝的像素点合成所述第一高动态范围图片。
具体地，将打开LED模块时所拍摄的图片合成一张高动态范围的图片Ihdr， Ihdr中的每一个点都是遍历第一图片序列中的所有像素点后计算得到的。例如，假设第一图片序列中有十张曝光时间不同的图片，每一张图片拍摄的场景相同、大小也相同，然后给这十张照片建立相同的坐标系，从中提取出每张照片中坐标相同的像素点，再从坐标相同的十个像素点中取最亮且不过曝的像素点的亮度除以对应的预设曝光时间，得到该坐标的像素点的单位曝光时间亮度，遍历第一图片序列，将每一个坐标的像素点的单位曝光时间亮度合成第一高动态范围图片Ihdr。本发明实施例的单位曝光时间亮度的计算公式为：
Figure 453924DEST_PATH_IMAGE003
（1）
其中，Ihdr（u，v）为任一坐标的像素点的单位曝光时间亮度，Imax（u，v）为任一坐标的像素点中最亮且不过曝的亮度，expi是对应的预设曝光时间。根据公式（1）可以较为准确地计算出预设曝光时间exp1到expn间任意曝光时间各个点的亮度。
同理，第二高动态范围图片的合成过程也一样，获取第二图片序列中同一位置的所有像素点，从同一位置的所有像素点中选择最亮且不过曝的像素点；遍历第二图片序列的所有位置，获取每一个位置的最亮且不过曝的像素点合成第二高动态范围图片。具体地，参考上述步骤也可以计算得到第二高动态范围图片I′hdr。
步骤S3，根据第一高动态范围图片和第二高动态范围图片分析得到第三高动态范围图片。通过应用第二高动态范围图片去除掉第一高动态范围图片中的背景区域，得到第三高动态范围图片。
具体地，去除背景区域是将第一高动态范围图片Ihdr中每一像素点的单位曝光时间亮度Ihdr（u，v）减去第二高动态范围图片I′hdr中相同位置像素点的单位曝光时间亮度Ihdr′（u，v），从而得到第三高动态范围图片I′′hdr。具体的计算公式如下：
Figure 36083DEST_PATH_IMAGE004
（2）
步骤S4，获取预设最大亮度和预设最小亮度，对最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间。在本发明实施例中，预设最大亮度和预设最小亮度由用户预先设定，是在投射出全白的图片时，用户希望工业相机接收到的最大亮度Lmax和最小亮度Lmin。
根据上述步骤得到的图片和数据，曝光重数和每一重曝光时间具体计算过程如下：
步骤A，获取待处理区域图片，对第一高动态范围图片中未被标记部分进行直方图分析，得到第一亮度分布图；对第三高动态范围图片中未被标记部分进行直方图分析，得到第二亮度分布图；
B、从第一亮度分布图中提取最大单位曝光时间亮度值，根据预设最大亮度和最大单位曝光时间亮度值计算得到第i重的曝光时间，其中，i的初始值为1；
C根据预设最小亮度和第i重的曝光时间计算得到当前曝光时间的最小单位曝光时间亮度值；
D、根据最大单位曝光时间亮度值和最小单位曝光时间亮度值更新待处理区域图片；
E、记录i的值和对应的曝光时间；
F、判断待处理区域图片mask中所有的待处理点是否都完成更新，若是，则结束循环；若否，则将i的值加一，执行A步骤。
在本发明实施例中，预设最大亮度是投射全白图片时，希望工业相机接收到的最大亮度；预设最小亮度是投射全白图片时，希望工业相机接收到的并去除背景后的最小亮度。待处理区域图片mask是预先创建的、并与第三高动态范围图片同样大小的图片，该待处理区域图片mask上的像素点的亮度值由“0”和“1”构成，亮度值为“1”的区域为mask区域。
本实施例以预设最大亮度是200、预设最小亮度是50为例进行详细的说明。具体地，对第一高动态范围图片Ihdr中未被标记的区域进行直方图分析得到第一亮度分别图；对第三高动态范围图片I′′hdr中未被标记的区域进行直方图分析得到第二亮度分别图。亮度分布图可以参考图4，图4是曝光时间理论上为10000us时某场景下亮度的分布，其横坐标为单位曝光时间亮度值、纵坐标为点的数量。
然后第一亮度分布图中提取得到最大单位曝光时间亮度值histmax，使用预设最大亮度Lmax除以histmax得到第i重曝光时间的值EXPi，计算公式如下：
Figure 991401DEST_PATH_IMAGE005
（3）
假设i=1，则根据公式（3）即可得到使得工业相机拍摄到的图片的亮度小于200的第一重曝光时间的值。
然后使用预设最小亮度Lmin除以第i重曝光时间的值EXPi，得到第i重曝光时间下满足图片亮度大于50的最小单位曝光时间亮度值hist′′min，计算公式如下：
Figure 345022DEST_PATH_IMAGE006
（4）
假设i=1，则根据公式（4）即可计算得到在第一重曝光时间下满足图片亮度大于50的最小单位曝光时间亮度值。
本发明实施例的待处理区域图片是预先创建的、与第三高动态范围图片同样大小的图片。根据最大单位曝光时间亮度值和最小单位曝光时间亮度值更新待处理区域图片，包括步骤：
步骤D1，从第一高动态范围图片中提取出小于最大单位曝光时间亮度值的像素点作为第一像素集；从第三高动态范围图片中提取出大于最小单位曝光时间亮度值的像素点作为第二像素集；
步骤D2，对第一像素集和第二像素集中的所有像素点的进行分析，获取第一像素集和第二像素集的交集；
步骤D3，分别在第一高动态范围图片和第三高动态范围图片中，将与交集位置相同的部分标记为已处理区域；
步骤D4，将待处理区域图片中与交集对应的像素点的亮度值设置为相应的亮度并保存。
具体地，记录第一高动态范围图片中小于最大单位曝光时间亮度值histmax的区域A1和第三高动态范围图片中大于最小单位曝光时间亮度值hist′′min的区域A2，取A1和A2的交集标记为已处理区域A，跟已处理区域A来更新待处理区域图片mask，即将已处理区域A的复制到待处理区域图片mask中。
待处理区域图片mask更新完成后，将本次循环计算得到的曝光时间EXPi记录并保存，然后将i的值加一，进入下一轮循环并计算第i+1重的曝光时间EXPi+1，若判断到待处理区域图片mask中所有的区域都更新完成后，则结束循环，即可得到在当前的环境光亮度或待测物种类下的最优策略和参数，假设结束循环时，i的值为5，则最优的策略为拍摄5组不同曝光时间的图片，最优参数为计算得到每一重的曝光时间。
步骤S5，控制投射器按照曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片，同时控制工业相机拍摄序列图片，获取一组数量与曝光重数相同的照片，将照片并合成HDR。
获取步骤S1-S4计算得到曝光重数和每一重的曝光时间，控制投射器根据上述的曝光重数和每一重的曝光时间投射用于合成HDR的序列图片或拍摄图片，同时工业相机按照相同的曝光时间进行拍照投射出来的序列图片，得到一组数量与曝光重数相同的照片，然后将这一组照片进行合成处理即可得到成像质量和帧率都比较高的高动态范围图像HDR。
本发明实施例提供的HDR快速自动成像方法在获取多组用于计算曝光时间全白图片时，只需要将LED模块（发光模块）打开，控制工业相机不断切换曝光时间取图；在获取全黑图片时再将LED模块关闭，然后控制工业相机做同样动作即可。本发明通过将投射图2（a）的计算点云序列图片和图2（b）的计算曝光时间序列图片的硬件单独设置，因此在使用过程中可以随时可以单独的投射任一序列，不需要使用多次迭代的方式，从而节省了投射器频繁切换序列所消耗的时间，并且可以实时的计算出最优的策略与参数，还能够实现以较快的速度合成高动态范围图像。因此，本发明通过控制发光模块的开启或关闭来模拟投射器投射的全黑或全白图片，并且在检测到环境光亮度和被测物发生变化时不需要投射复杂的图形来调整曝光时间，因此本发明不仅减少了自动HDR功能因硬件部分所消耗的时间，还能够提升HDR的图像质量和帧率。
在本发明的另一实施例中，在进行直方图分析之前，为了去除噪音和减少多余数据的计算，本发明的HDR快速自动成像方法还包括以下步骤：获取第一预设阈值，将所述第三高动态范围图片中每一像素点的亮度值与第一预设阈值进行比较，若某一像素点的亮度值小于第一预设阈值，则将该像素点过滤掉，本发明实施例根据第一预设阈值过滤掉第三高动态范围图片中的过暗区域，得到新的第三高动态范围图片；并将待处理区域图片mask中与过暗区域位置对应的像素点进行修改，比如统一设置为一固定值255。
在本发明的另一实施例中，有一些数量较少的极端点（过明或过暗的点）会导致需要更多的曝光时间和次数来处理，为了降低时间成本可以过滤掉一些不影响整体效果的极端点。因此，在第一次提取最大单位曝光时间亮度值之前，本发明的HDR快速自动成像方法还包括以下步骤：获取第二预设阈值和第三预设阈值，根据第二预设阈值过滤掉第一亮度分布图中数量少于第二预设阈值的过暗极端点，根据第三预设阈值过滤掉第一亮度分布图中数量少于第三预设阈值的过亮极端点，得到新的第一亮度分布图；根据第二预设阈值过滤掉第二亮度分布图中数量少于第二预设阈值的过暗极端点，根据第三预设阈值过滤掉第二亮度分布图中数量少于第三预设阈值的过暗极端点，得到新的第二亮度分布图；修改待处理区域图片中与极端点位置对应的像素点的亮度值并保存，比如统一设置为一固定值255。
在本发明的另一实施例中，会存在一些数量较多的极端点（过明或过暗的点）的情况，从而导致需要更多的曝光时间和次数来处理，本发明实施例为了降低时间成本，可以过滤掉部分不影响整体效果的极端点。因此，在第一次提取最大单位曝光时间亮度值之前，本发明的HDR快速自动成像方法还包括以下步骤：获取预设比例，将第一亮度分布图或第二亮度分布图中过亮或过暗极的端点按照预设比例过滤掉，得到新的第一亮度分布图或第二亮度分布图；修改待处理区域图片中与极端点位置对应的像素点的亮度值并保存。比如，假设预设比例为0.05%，第一亮度分布图中的像素点的数量为N，则将过亮点或过暗点的数量减去M个（其中，M=0.05%*N），达到降低时间成本、弱化极端点对成像质量的影响的目的。
本发明提供的HDR快速自动成像方法由于控制计算点云序列图片和计算曝光时间序列图片进行单独，因此在使用过程中可以随时可以单独的投射任一序列，不需要使用多次迭代的方式，从而节省了频繁切换序列所消耗的时间。并且在环境光亮度和被测物种类发生变化时，本发明可以实时的计算出最优的策略与参数，能够实现以较快的速度合成高动态范围图像。因此，本发明提供的HDR快速自动成像方法通过控制发光模块的开启和关闭来模拟结构光相机的投射器来投射图片，并且在检测到环境光亮度和被测物反射率时发生变化时不需要投射复杂的图形来调整曝光时间，因此本发明不仅减少了自动HDR功能因硬件部分所消耗的时间，还能够提升HDR的图像质量和帧率。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的HDR快速自动成像方法，本发明实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意HDR快速自动成像方法。
本发明的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现HDR快速自动成像方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种HDR快速自动成像方法，其特征在于，应用于结构光相机，且所述结构光相机包括工业相机、投射器、发光模块和控制模块，所述方法包括：
所述控制模块获取多个预设曝光时间，控制所述工业相机在所述发光模块开启状态下以每一所述预设曝光时间进行拍照获取第一图片序列；控制所述工业相机在所述发光模块关闭状态下以每一所述预设曝光时间进行拍照获取第二图片序列；
将所述第一图片序列合成第一高动态范围图片，将第二图片序列合成第二高动态范围图片；
根据所述第一高动态范围图片和第二高动态范围图片分析得到第三高动态范围图片；
获取预设最大亮度和预设最小亮度，对所述预设最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间；其中，所述预设最大亮度和预设最小亮度是投射全白图片时，希望所述工业相机接收到的最大亮度和最小亮度；
控制所述投射器按照所述曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片，同时控制所述工业相机拍摄所述序列图片，获取一组数量与所述曝光重数相同的照片，将所述照片并合成HDR。
2.根据权利要求1所述的方法，其特征在于，所述第一图片序列中所有的图片大小相同，所述将所述第一图片序列合成第一高动态范围图片包括：
获取所述第一图片序列中同一位置的所有像素点，从所述同一位置的所有像素点中选择最亮且不过曝的像素点；遍历所述第一图片序列的所有位置，获取每一个位置的最亮且不过曝的像素点合成所述第一高动态范围图片；
所述第二图片序列中所有的图片大小相同，所述将所述第二图片序列合成第二高动态范围图片包括：
获取所述第二图片序列中同一位置的所有像素点，从所述同一位置的所有像素点中选择最亮且不过曝的像素点；遍历所述第二图片序列的所有位置，获取每一个位置的最亮且不过曝的像素点合成所述第二高动态范围图片。
3.根据权利要求1所述的方法，其特征在于，所述对所述预设最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间，包括：
A、获取待处理区域图片，对所述第一高动态范围图片中未被标记部分进行直方图分析，得到第一亮度分布图；对所述第三高动态范围图片中未被标记部分进行直方图分析，得到第二亮度分布图；
B、从所述第一亮度分布图中提取最大单位曝光时间亮度值，根据所述预设最大亮度和最大单位曝光时间亮度值计算得到第i重的曝光时间，i的初始值为1；
C、根据所述预设最小亮度和第i重的曝光时间计算得到当前曝光时间的最小单位曝光时间亮度值；
D、根据所述最大单位曝光时间亮度值和最小单位曝光时间亮度值更新所述待处理区域图片；
E、记录所述i的值和对应的曝光时间；
F、判断所述待处理区域图片中所有的待处理像素点是否都完成更新，若是，则结束循环；若否，则将所述i的值加一，执行A步骤。
4.根据权利要求3所述的方法，其特征在于，所述待处理区域图片是预先创建的、与所述第三高动态范围图片同样大小的图片；所述根据所述最大单位曝光时间亮度值和最小单位曝光时间亮度值更新所述待处理区域图片，包括：
从所述第一高动态范围图片中提取出小于所述最大单位曝光时间亮度值的像素点作为第一像素集；从所述第三高动态范围图片中提取出大于所述最小单位曝光时间亮度值的像素点作为第二像素集；
对所述第一像素集和第二像素集中的所有像素点的进行分析，获取所述第一像素集和第二像素集的交集；
分别在所述第一高动态范围图片和第三高动态范围图片中，将与所述交集位置相同的部分标记为已处理区域；
将所述待处理区域图片中与所述交集对应的像素点的亮度值设置为相应的亮度并保存。
5.根据权利要求3所述的方法，其特征在于，所述第i重的曝光时间的计算公式为：
Figure DEST_PATH_IMAGE002
所述最小单位曝光时间亮度值的计算公式为：
Figure DEST_PATH_IMAGE004
其中，所述histmax是最大单位曝光时间亮度值；所述EXPi是第i重的曝光时间；所述Lmax是预设最大亮度；所述Lmin是预设最小亮度；hist′′min是最小单位曝光时间亮度值。
6.根据权利要求3-5中任一项所述的方法，其特征在于，在进行直方图分析之前，所述方法还包括：
获取第一预设阈值，根据所述第一预设阈值过滤掉所述第三高动态范围图片中的过暗区域，得到新的第三高动态范围图片；
修改所述待处理区域图片中与所述过暗区域位置对应的像素点的亮度值并保存。
7.根据权利要求3-5中任一项所述的方法，其特征在于，在提取所最大单位曝光时间亮度值之前，所述方法还包括：
获取第二预设阈值和第三预设阈值，根据所述第二预设阈值和第三预设阈值过滤掉所述第一亮度分布图中数量少于阈值的极端点，得到新的第一亮度分布图；根据所述第二预设阈值和第三预设阈值过滤掉所述第二亮度分布图中数量少于阈值的极端点，得到新的第二亮度分布图；
修改所述待处理区域图片中与所述极端点位置对应的像素点的亮度值并保存。
8.一种结构光相机，其特征在于，包括工业相机、投射器、发光模块和控制模块，所述工业相机、投射器和发光模块的控制端分别与所述控制模块连接；其中，
所述发光模块用于在切换策略和参数时，通过控制发光模块的开启或关闭，代替所述投射器投射全白图片或全黑图片；
所述投射器用于按照曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片；
所述工业相机用于拍摄所述全白图片、全黑图片或序列图片；
所述控制模块用于获取多个预设曝光时间，控制所述工业相机在所述发光模块开启状态下以每一所述预设曝光时间进行拍照获取第一图片序列；控制所述工业相机在所述发光模块关闭状态下以每一所述预设曝光时间进行拍照获取第二图片序列；将所述第一图片序列合成第一高动态范围图片，将第二图片序列合成第二高动态范围图片；根据所述第一高动态范围图片和第二高动态范围图片分析得到第三高动态范围图片；获取预设最大亮度和预设最小亮度，对所述预设最大亮度、预设最小亮度、第一高动态范围图片和第三高动态范围图片进行分析计算得到曝光重数和每一重的曝光时间；控制所述投射器按照所述曝光重数和每一重的曝光时间来投射出用于合成HDR的序列图片，同时控制所述工业相机拍摄所述序列图片，获取一组数量与所述曝光重数相同的照片，将所述照片并合成HDR。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的HDR快速自动成像方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序可被处理器执行以实现权利要求1至7中任一项所述的HDR快速自动成像方法。
CN202210264132.XA 2022-03-17 2022-03-17 Hdr快速自动成像方法、结构光相机、电子设备和存储介质 Active CN114363525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210264132.XA CN114363525B (zh) 2022-03-17 2022-03-17 Hdr快速自动成像方法、结构光相机、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210264132.XA CN114363525B (zh) 2022-03-17 2022-03-17 Hdr快速自动成像方法、结构光相机、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114363525A CN114363525A (zh) 2022-04-15
CN114363525B true CN114363525B (zh) 2022-06-28

Family

ID=81094745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210264132.XA Active CN114363525B (zh) 2022-03-17 2022-03-17 Hdr快速自动成像方法、结构光相机、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114363525B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011007996A2 (ko) * 2009-07-17 2011-01-20 주식회사 아이닉스 동화상 카메라
EP2515273A1 (en) * 2011-04-20 2012-10-24 CSR Technology Inc. Multiple exposure high dynamic range image capture
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN112529794A (zh) * 2020-11-30 2021-03-19 深圳市智能机器人研究院 高动态范围结构光三维测量方法、系统及介质
CN112781522A (zh) * 2020-12-25 2021-05-11 复旦大学 一种基于彩色相移结构光的去高光轮廓仪
CN113132644A (zh) * 2019-12-31 2021-07-16 深圳市海思半导体有限公司 一种高动态范围图像生成的方法、设备
WO2022017441A1 (zh) * 2020-07-22 2022-01-27 上海图漾信息科技有限公司 深度数据测量设备和结构光投射装置
WO2022023668A1 (fr) * 2020-07-29 2022-02-03 Spaceable Procede et systeme pour imager une scene dans l'espace

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
KR101737518B1 (ko) * 2015-10-27 2017-05-18 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 시간 및 횟수 결정 방법과 시스템
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10334141B2 (en) * 2017-05-25 2019-06-25 Denso International America, Inc. Vehicle camera system
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011007996A2 (ko) * 2009-07-17 2011-01-20 주식회사 아이닉스 동화상 카메라
EP2515273A1 (en) * 2011-04-20 2012-10-24 CSR Technology Inc. Multiple exposure high dynamic range image capture
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN113132644A (zh) * 2019-12-31 2021-07-16 深圳市海思半导体有限公司 一种高动态范围图像生成的方法、设备
WO2022017441A1 (zh) * 2020-07-22 2022-01-27 上海图漾信息科技有限公司 深度数据测量设备和结构光投射装置
WO2022023668A1 (fr) * 2020-07-29 2022-02-03 Spaceable Procede et systeme pour imager une scene dans l'espace
CN112529794A (zh) * 2020-11-30 2021-03-19 深圳市智能机器人研究院 高动态范围结构光三维测量方法、系统及介质
CN112781522A (zh) * 2020-12-25 2021-05-11 复旦大学 一种基于彩色相移结构光的去高光轮廓仪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D真的来了吗？――三维结构光传感器漫谈;左超等;《红外与激光工程》;20200325(第03期);全文 *
光场成像技术研究;周志良.;《中国优秀博士论文全文数据库（电子期刊）》;20130115;全文 *

Also Published As

Publication number Publication date
CN114363525A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN108335279B (zh) 图像融合和hdr成像
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
WO2020034896A1 (en) Method and apparatus for image processing, and mobile terminal
CN108174118B (zh) 图像处理方法、装置和电子设备
TWI682664B (zh) 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法
CN109862282B (zh) 人物图像处理方法和装置
US9292911B2 (en) Automatic image adjustment parameter correction
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
US9020243B2 (en) Image adjustment
CN107995436A (zh) 一种补光方法及装置
US20160071289A1 (en) Image composition device, image composition method, and recording medium
CN105096267B (zh) 一种基于拍照识别调节眼部亮度的方法和装置
CN111225162B (zh) 图像曝光的控制方法、系统、可读存储介质及摄像设备
CN111294575B (zh) 图像处理方法、装置、电子设备及存储介质
US8285133B2 (en) Dynamic lighting control in hybrid camera-projector device
CN115082350A (zh) 频闪图像处理方法、装置、电子设备和可读存储介质
CN111784598B (zh) 色调映射模型的训练方法、色调映射方法及电子设备
CN114363525B (zh) Hdr快速自动成像方法、结构光相机、电子设备和存储介质
CN110312083B (zh) 用于自动曝光的自巡航调节装置及方法、硬件加速器
Wang et al. An exposure fusion approach without ghost for dynamic scenes
CN109360176A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113592753A (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN109146966B (zh) 视觉slam前端处理方法、系统、存储介质及计算机设备
CN109919846B (zh) 一种图像增强方法、装置及计算设备
EP2461574A1 (en) Dynamic lighting control in hybrid camera-projector device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Can

Inventor after: Ding Ding

Inventor after: Wang Lei

Inventor before: Wang Can

Inventor before: Ding Ding

CB03 Change of inventor or designer information