CN108830904B - 一种参数优化的相机响应曲线定标方法 - Google Patents
一种参数优化的相机响应曲线定标方法 Download PDFInfo
- Publication number
- CN108830904B CN108830904B CN201810417969.7A CN201810417969A CN108830904B CN 108830904 B CN108830904 B CN 108830904B CN 201810417969 A CN201810417969 A CN 201810417969A CN 108830904 B CN108830904 B CN 108830904B
- Authority
- CN
- China
- Prior art keywords
- camera
- pic
- seconds
- parameters
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004044 response Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 5
- 230000001105 regulatory effect Effects 0.000 claims abstract description 3
- 230000005855 radiation Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000005316 response function Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 239000000243 solution Substances 0.000 description 5
- 239000012482 calibration solution Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种参数优化的相机响应曲线定标方法，其特征在于：相机固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过计算机调控相机的曝光参数进行采集静态场景的图像信息；对响应曲线的求解目标函数进行优化处理，能够有效减少在求解相机响应曲线过程中涉及到的无用参数导致的求解冗余问题；解决了传统求解相机响应曲线过程中参数过多而导致求解偏离全局最优值。
Description
技术领域
本发明涉及一种参数优化的相机响应曲线定标方法，属于计算机图像处理技术领域。
背景技术
随着计算机视觉的快速发展，数码相机的应用范围也越来越广，然而由于数码相机的图像精度表达范围有限，无法客观的描述场景的亮度范围。因此在计算机视觉应用过程中，通常需要利用映射函数来最大化弥补相机采集图像亮度范围局限性，而这个映射函数通常被称为相机的响应曲线。相机的响应曲线能够通过获取真实场景的辐射亮度与采集得到的图像亮度之间的对应性，因此在高动态范围成像技术中，基本需要对相机曲线进行定标求解。因此相机的响应曲线定标方法具有重要的研究价值。
数码相机采集的场景信息通过相机自身成像阵列形成以像素为单位的二维数组，然而在相机成像过程中存在着一系列非线性干扰因素。因此为了能够获取这种非线性响应映射关系，Mitsunaga等人提出了利用数学多项式来近似描述这种非线性映射关系，然而这种方式定标得到的相机响应曲线精度有限。而Mann S等人则通过对非线性响应映射关系进行严格的限定，采用回归方法进行定标求解；目前在定标相机的非线性响应函数，通常采用对同一个场景进行多次曝光采集，然后进行求解相机的响应函数，然而在这个过程中，存在着定标求解参数冗余问题，也即是相机响应函数中无用的参数也参与定标求解过程中，为此本发明对该问题进行优化处理，减少无用参数在相机响应函数定标求解。
发明内容
本发明的目的在于提供一种参数优化的相机响应曲线定标方法，由于图像的光辐射照度与曝光时间无关，因此光辐射照度具有时序恒定性，也即是同一个相机在不同的曝光时间下采集到不同图像，不同图像序列中具有相同的像素时，其接收到的光辐射照度是一样的，其利用该原理对响应曲线的求解目标函数进行优化处理，能够有效减少在求解相机响应曲线过程中涉及到的无用参数导致的求解冗余问题；解决了传统求解相机响应曲线过程中参数过多而导致求解偏离全局最优值。
本发明的技术方案是这样实现的：一种参数优化的相机响应曲线定标方法，其特征在于：相机固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过计算机调控相机的曝光参数进行采集静态场景的图像信息；其具体的步骤如下：
步骤1、将相机采用的相机型号为Cannon EOS 5D Mark II,固定在三角支架3上，并调整相机的参数，包括焦距、对焦、曝光时间参数，相机参数设定分别为：光圈值调整为f/7.1,焦距为50毫米，曝光时间为1/1250秒，采集第一幅场景图像；接着保持相机位姿固定不动，以及保持场景环境光照不变，利用计算机来调整相机的曝光参数,即调整的曝光参数为：1/1000秒，而相机的其他参数保持不变，采集得到第二幅图像；重复执行调整相机的曝光参数，调整相机的曝光参数分别为：1/800秒、1/640秒、1/500秒、1/400秒、1/200秒、1/125秒、1/100秒、1/80秒、1/40秒和采集场景图像，共采集得到N，本发明中的N＝11幅图像Pic_j(j＝1,2…N)；
步骤2、利用公式
Hen＝EinΔt
可求解相机传感器成像单元获得的曝光能量Hen，其中Ein为相机传感器成像单元接收到的光辐射照度，Δt为相机的曝光时间；
步骤3、而对于相机在不同曝光时间下采集得到任意连续两幅图像Pic_j和Pic_j+1，其中j＝1,2…N-1，以及在这两幅图像的相同位置i处时，利用公式
其中
为图像Pic_j在Pic_j(i)位置处的曝光能量，
为图像Pic_j+1在Pic_j+1(i)位置处的曝光能量，
为在图像Pic_j(i)和图像Pic_j+1(i)位置处的光辐射照度，Δtj和Δtj+1分别为图像Pic_j和Pic_j+1的曝光时间，可以求解相机在任意连续两幅图像Pic_j和Pic_j+1序列输出相同位置的数字图像信息值与其对应的曝光能量之间关系；
步骤4、通过利用公式
求得相机输出的数字图像信息值Iout与曝光能量Hen之间的非线性响应关系
步骤5、可通过公式
获取相机在任意连续两幅图像Pic_j和Pic_j+1序列输出相同位置的数字图像信息值
和
与其对应的曝光能量
之间关系
步骤6、对公式
进行取对数变换同时令
则得到公式
步骤7、结合相机采集的N幅曝光图像序列，以及使用相同位置处的采样点i(i＝1,2…M)构建一个超定型方程组，得到公式
步骤8、由于相机的响应曲线应是一条连续的光滑曲线，因此构建非线性目标函数，如公式
其中
为非线性映射函数的权重函数，由于对于上述公式中的变量同时增加一个偏移值不会改变目标函数的形式，因此利用公式
进行约束限制解的多样性，同时在进行最小二乘法求解时，无需利用图像的所有像素点，只需采用像素个数满足
即可得到N×M个子方程构成超定型线性方程组，通过奇异值分解即可求解得到相机的响应函数。
本发明的积极效果是实现了对相机的响应曲线进行定标求解，通过利用光辐射照度具有时序恒定性这个特性，对求解相机的响应曲线的过程中涉及到参数冗余问题进行优化处理，能够有效避免相机响应曲线求解过程中参数过多而导致求解偏离全局最优值问题；利用图像的光辐射照度具有时序恒定性，也就是相机在不同的曝光时间下采集得到的连续两幅图像，由于这两幅图像中的相同像素点具有相同的光辐射照度，为此可以对相机响应曲线定标参数进行优化处理。
附图说明
图1为本发明所需设备结构示意图，其中相机1、计算机2、三脚支架3、静态场景4。
具体实施方式
下面结合附图和实施例对本发明做进一步的描述：如图1所示，一种参数优化的相机响应曲线定标方法，其特征在于：相机1固定在三脚支架3上，并通过电缆将相机1与计算机2进行连接，通过计算机2调控相机1的曝光参数进行采集静态场景4的图像信息；其具体的步骤如下：
步骤1、将相机1采用的相机型号为Cannon EOS 5D Mark II固定在三角支架3上，并调整相机1的参数，包括焦距、对焦、曝光时间参数，相机参数设定分别为：光圈值调整为f/7.1,焦距为50毫米，曝光时间为1/1250秒，采集第一幅场景图像；接着保持相机1位姿固定不动，以及保持场景环境光照不变，利用计算机2来调整相机的曝光参数，调整的曝光参数为：1/1000秒，而相机的其他参数保持不变，采集得到第二幅图像；重复执行调整相机的曝光参数，调整相机的曝光参数分别为：1/800秒、1/640秒、1/500秒、1/400秒、1/200秒、1/125秒、1/100秒、1/80秒、1/40秒和采集场景图像，共采集得到N(本发明中的N＝11)幅图像Pic_j(j＝1,2…N)。
步骤2、利用公式
Hen＝EinΔt
可求解相机传感器成像单元获得的曝光能量Hen，其中Ein为相机传感器成像单元接收到的光辐射照度，Δt为相机的曝光时间,本发明在实施过程中曝光时间调整分别为Δt＝1/1250s，1/1000s,1/800s,1/640ms,1/500s,1/400s,1/200s,1/125s,1/100s,1/80s，1/40s。
步骤3、而对于相机在不同曝光时间下采集得到任意连续两幅图像Pic_j和Pic_j+1，其中j＝1,2…N-1，以及在这两幅图像的相同位置i处时，利用公式
其中
为图像Pic_j在Pic_j(i)位置处的曝光能量，
为图像Pic_j+1在Pic_j+1(i)位置处的曝光能量，
为在图像Pic_j(i)和图像Pic_j+1(i)位置处的光辐射照度，Δtj和Δtj+1分别为图像Pic_j和Pic_j+1的曝光时间，可以求解相机在任意连续两幅图像Pic_j和Pic_j+1序列输出相同位置的数字图像信息值与其对应的曝光能量之间关系。
步骤4、通过利用公式
求得相机输出的数字图像信息值Iout与曝光能量Hen之间的非线性响应关系
步骤5、可通过公式
获取相机在任意连续两幅图像Pic_j和Pic_j+1序列输出相同位置的数字图像信息值
和
与其对应的曝光能量
之间关系
步骤6、对公式
进行取对数变换同时令
则得到公式
步骤7、结合相机采集的N＝10幅曝光图像序列，以及使用相同位置处的采样点i(i＝1,2…2048)构建一个超定型方程组，得到公式
步骤8、由于相机的响应曲线应是一条连续的光滑曲线，因此构建非线性目标函数，如公式
其中
为非线性映射函数的权重函数，由于对于上述公式中的变量同时增加一个偏移值不会改变目标函数的形式，因此利用公式
进行约束限制解的多样性，同时在进行最小二乘法求解时，无需利用图像的所有像素点，只需采用像素个数满足
即可得到10×2048个子方程构成超定型线性方程组，通过奇异值分解即可求解得到相机的响应函数。
利用以上步骤可以实现对相机的响应曲线进行定标求解，本发明通过利用光辐射照度具有时序恒定性这个特性，对求解相机的响应曲线的过程中涉及到参数冗余问题进行优化处理，通过利用本发明方法能够有效避免相机响应曲线求解过程中参数过多而导致求解偏离全局最优值问题。
Claims (1)
1.一种参数优化的相机响应曲线定标方法，其特征在于：相机固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过计算机调控相机的曝光参数进行采集静态场景的图像信息；其具体的步骤如下：
步骤1、将相机采用的相机型号为Cannon EOS 5D Mark II,固定在三角支架上，并调整相机的参数，包括焦距、对焦、曝光时间参数，相机参数设定分别为：光圈值调整为f/7.1,焦距为50毫米，曝光时间为1/1250秒，采集第一幅场景图像；接着保持相机位姿固定不动，以及保持场景环境光照不变，利用计算机来调整相机的曝光参数,即调整的曝光参数为：1/1000秒，而相机的其他参数保持不变，采集得到第二幅图像；重复执行调整相机的曝光参数，调整相机的曝光参数分别为：1/800秒、1/640秒、1/500秒、1/400秒、1/200秒、1/125秒、1/100秒、1/80秒、1/40秒和采集场景图像，共采集得到N，N＝11幅图像Pic_j j＝1,2…N；
步骤2、利用公式
Hen＝EinΔt
求解相机传感器成像单元获得的曝光能量Hen，其中Ein为相机传感器成像单元接收到的光辐射照度，Δt为相机的曝光时间；
步骤3、而对于相机在不同曝光时间下采集得到任意连续两幅图像Pic_j和Pic_j+1，其中j＝1,2…N-1，以及在这两幅图像的相同位置i处时，利用公式
其中
为图像Pic_j在Pic_j(i)位置处的曝光能量，
为图像Pic_j+1在Pic_j+1(i)位置处的曝光能量，
为在图像Pic_j(i)和图像Pic_j+1(i)位置处的光辐射照度，Δtj和Δtj+1分别为图像Pic_j和Pic_j+1的曝光时间，求解相机在任意连续两幅图像Pic_j和Pic_j+1序列输出相同位置的数字图像信息值与其对应的曝光能量之间关系；
步骤4、通过利用公式
求得相机输出的数字图像信息值Iout与曝光能量Hen之间的非线性响应关系
步骤5、可通过公式
获取相机在任意连续两幅图像Pic_j和Pic_j+1序列输出相同位置的数字图像信息值
和
与其对应的曝光能量
之间关系
步骤6、对公式
进行取对数变换同时令
则得到公式
步骤7、结合相机采集的N幅曝光图像序列，以及使用相同位置处的采样点ii＝1,2…M构建一个超定型方程组，得到公式
步骤8、由于相机的响应曲线应是一条连续的光滑曲线，因此构建非线性目标函数，公式
其中
为非线性映射函数的权重函数，对于上述公式中的变量同时增加一个偏移值不会改变目标函数的形式，因此利用公式
进行约束限制解的多样性，同时在进行最小二乘法求解时，无需利用图像的所有像素点，只需采用像素个数满足
即得到N×M个子方程构成超定型线性方程组，通过奇异值分解即求解得到相机的响应函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810417969.7A CN108830904B (zh) | 2018-05-04 | 2018-05-04 | 一种参数优化的相机响应曲线定标方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810417969.7A CN108830904B (zh) | 2018-05-04 | 2018-05-04 | 一种参数优化的相机响应曲线定标方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108830904A CN108830904A (zh) | 2018-11-16 |
| CN108830904B true CN108830904B (zh) | 2022-07-01 |
Family
ID=64148195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810417969.7A Expired - Fee Related CN108830904B (zh) | 2018-05-04 | 2018-05-04 | 一种参数优化的相机响应曲线定标方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108830904B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115855107B (zh) * | 2022-11-29 | 2023-08-25 | 中国科学院长春光学精密机械与物理研究所 | 基于图像的线阵航天遥感载荷辐射定标方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441320A (zh) * | 2008-12-09 | 2009-05-27 | 东华大学 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
| CN104954701A (zh) * | 2015-06-19 | 2015-09-30 | 长春理工大学 | 一种相机响应曲线生成方法 |
| CN105933617A (zh) * | 2016-05-19 | 2016-09-07 | 中国人民解放军装备学院 | 一种用于克服动态问题影响的高动态范围图像融合方法 |
| CN107370910A (zh) * | 2017-08-04 | 2017-11-21 | 西安邮电大学 | 基于最优曝光的最小包围曝光集合获取方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60135559D1 (de) * | 2001-11-19 | 2008-10-09 | St Microelectronics Srl | Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich |
| US7729535B2 (en) * | 2005-09-23 | 2010-06-01 | Canon Kabushiki Kaisha | Color characterization of high dynamic range image capture devices |
| CN100515042C (zh) * | 2007-03-29 | 2009-07-15 | 上海交通大学 | 多曝光图像增强方法 |
| WO2009036292A1 (en) * | 2007-09-14 | 2009-03-19 | The Trustees Of The University Of Pensylvania | High linear dynamic range imaging |
| CN102244757B (zh) * | 2011-06-07 | 2013-09-18 | 北京邮电大学 | 一种基于投影仪-相机系统的多投影大屏幕颜色校正方法 |
| CN102509279B (zh) * | 2011-11-02 | 2013-11-06 | 北京工业大学 | 根部欠照明舌图像的自适应暗部细节复现方法 |
| CN103067671B (zh) * | 2012-12-31 | 2015-09-23 | 华为技术有限公司 | 一种显示图像的方法及装置 |
| CN107451970A (zh) * | 2017-07-28 | 2017-12-08 | 电子科技大学 | 一种基于单帧图像的高动态范围图像生成方法 |
-
2018
- 2018-05-04 CN CN201810417969.7A patent/CN108830904B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441320A (zh) * | 2008-12-09 | 2009-05-27 | 东华大学 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
| CN104954701A (zh) * | 2015-06-19 | 2015-09-30 | 长春理工大学 | 一种相机响应曲线生成方法 |
| CN105933617A (zh) * | 2016-05-19 | 2016-09-07 | 中国人民解放军装备学院 | 一种用于克服动态问题影响的高动态范围图像融合方法 |
| CN107370910A (zh) * | 2017-08-04 | 2017-11-21 | 西安邮电大学 | 基于最优曝光的最小包围曝光集合获取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108830904A (zh) | 2018-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9917998B2 (en) | Systems and methods for measuring scene information while capturing images using array cameras | |
| CN108063932B (zh) | 一种光度标定的方法及装置 | |
| JP6047025B2 (ja) | 撮像装置及びその制御方法 | |
| KR20130039676A (ko) | 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법 | |
| JP2011512112A (ja) | デジタルカメラデバイスのホワイトバランス較正 | |
| US10692196B2 (en) | Color correction integrations for global tone mapping | |
| GB2496241A (en) | Multiple image high dynamic range (HDR) imaging from a single sensor array | |
| CN110636227B (zh) | 高动态范围hdr图像合成方法及集成该方法的高速相机 | |
| CN105430298A (zh) | 通过立体摄像系统同时曝光合成hdr图像的方法 | |
| JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
| JP6175748B2 (ja) | 撮像装置 | |
| CN103312983B (zh) | 一种太赫兹成像仪镜头补偿方法 | |
| US10812704B2 (en) | Focus detection device, method and storage medium, for controlling image sensor operations | |
| CN108830904B (zh) | 一种参数优化的相机响应曲线定标方法 | |
| Venkateswarlu et al. | Nonuniformity compensation for IR focal plane array sensors | |
| JP2018019140A (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2006050541A (ja) | 撮像装置 | |
| EP3386188B1 (en) | Process that permits the removal of fixed-pattern noise in effective images formed by arrangements of electromagnetic sensors of a light field by means of a digital refocusing | |
| CN114184284A (zh) | 一种用于纵向扫描红外热像仪的实时场景校正方法及系统 | |
| CN110749550B (zh) | 一种基于深度学习的天文光谱仪像质补偿方法及系统 | |
| JP2020127202A (ja) | 撮像装置 | |
| JP6862114B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
| CN111366253B (zh) | 红外光电系统的非均匀性校正系数获取方法及校正方法 | |
| JP5993124B2 (ja) | 撮像装置 | |
| JP2003298915A (ja) | 天体撮像・画像配信システム及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220701 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |