发明内容
本发明的目的是为了解决上述现有技术的缺点和不足,提供一种高质量皮肤图像的获取方法及系统,能够根据被测皮肤的肤色和需要拍摄的皮肤特征信息自动选取合适的光强,并有效消除摄取的图像中因抖动产生的模糊信息对皮肤特征信息分析的影响,实现获取高质量的皮肤图像,并降低成本。
为了实现上述目的,本发明采用的技术方案如下:
一种高质量皮肤图像的获取方法,包括以下步骤:
获取拍摄的多档光照强度;
在多档光照强度下拍摄并获取不同曝光时长的皮肤曝光图像;
对不同曝光时长的皮肤曝光图像进行优化处理,输出最终皮肤图像。
由此,本发明通过上述技术方案能够根据被测皮肤的肤色和需要拍摄的皮肤特征信息自动选取合适的光强,并有效消除摄取的图像中因抖动产生的模糊信息对皮肤特征信息分析的影响,实现获取高质量的皮肤图像,并降低成本。
作为本发明的进一步改进,所述步骤获取拍摄的多档光照强度,包括以下步骤:
由高亮度往低亮度不断调整光照强度,同时获取不同光照强度下的皮肤测试图像;
根据所有皮肤测试图像计算得到所有皮肤测试图像的皮肤光照评价质量;
根据皮肤光照评价质量获取多档光照强度,其中,多档光照强度包括第一光照强度α、第二光照强度β和第三光照强度γ,且β=α+10%*α,γ=α-10%*α。
由于皮肤表面存在油脂分布,如果拍摄的光照强度过强,会因为油脂的强烈反光而无法获取皮肤完整信息;如果光照强度过弱,也因光线不足而不能获取丰富的皮肤信息。并且,由于不同的皮肤特征如肤色、毛发、纹理、痘痘和色斑等,都拥有不同的反射模型,绝对意义上的合适光强并不存在,因此为解决皮肤特征不同程度的反光带来的光照强度难以绝对化的难题,通过上述步骤即可根据使用者自身的皮肤获取最适合其皮肤特征的拍摄光照强度和两个次优的适应光照强度,形成三个光照强度为使用者的皮肤拍摄光照条件所用,为拍摄出高质量的皮肤图像奠定坚实的基础。
作为本发明的进一步改进,所述步骤根据所有皮肤测试图像计算得到所有皮肤测试图像的皮肤光照评价质量中,所述皮肤光照评价质量为去除图像中最高5%和最低5%亮度像素后的皮肤测试图像的图像对比度;该图像对比度的计算步骤为:
获取皮肤测试图像宽度方向上的像素个数M和高度方向上的像素个数N;
获取与皮肤测试图像相应的灰度图像矩阵,并获取灰度图像矩阵中的每行每列上的像素灰度值I;
计算得到去除图像中最高5%和最低5%亮度像素后的皮肤测试图像的图像平均灰度值
通过公式计算得到皮肤测试图像的图像对比度,其中Iij为所述灰度图像矩阵中第i行第j列位置上的像素灰度值。
通过上述步骤对皮肤光照评价质量的设定和图像对比度的计算步骤,保证了拍摄的皮肤 图像的清晰度最好,也避免了得到的灰度图像矩阵中过亮的部分和过暗的部分对皮肤光照评价质量的影响,提高皮肤光照评价质量的精确度和准确性。
作为本发明的进一步改进,所述步骤根据皮肤光照评价质量获取多档光照强度,包括以下步骤:
获取第一光照强度α:根据所述图像对比度的计算步骤获取所有皮肤测试图像的图像对比度后,通过比较所有皮肤测试图像的图像对比度大小,获得图像对比度最大的一皮肤测试图像所对应的光照强度α;
获取第二光照强度β:β=α+10%*α;
获取第三光照强度γ:γ=α-10%*α。
通过根据皮肤光照评价质量获取第一光照强度即最优光照强度,及根据第一光照强度获取次优的第二光照强度和第三光照强度,进一步保证了获取的光照强度对使用者皮肤图像的适合性,并为后续处理得到高质量的皮肤图像提供坚实的基础,有利于进一步提高最终处理得到的皮肤图像的质量和分辨率。
作为本发明的进一步改进,所述步骤在多档光照强度下拍摄并获取不同曝光时长的皮肤曝光图像,包括以下步骤:
将当前拍摄光照强度调整为第一光照强度α;
通过第一摄像头获取第一曝光时长的长曝光图像lαa;同时通过第二摄像头持续拍摄n张第二曝光时长的短曝光图像lαb,并生成相应的图像序列{lαb1,lαb2,lαb3…lαbn-1,lαbn};第二摄像头拍摄完毕后,继续拍摄m张第三曝光时长的中曝光图像lαc,并生成相应的图像序列{lαc1,lαc2,lαc3…lαcm-1,lαcm};
结束第一摄像头和第二摄像头在第一光照强度α下的拍摄;
将当前拍摄光照强度切换为第二光照强度β;
通过第一摄像头获取第一曝光时长的长曝光图像lβa;同时通过第二摄像头持续拍摄n张第二曝光时长的短曝光图像lβb,并生成相应的图像序列{lβb1,lβb2,lβb3…lβbn-1,lβbn};第二摄像头拍摄完毕后,继续拍摄m张第三曝光时长的中曝光图像lαc,并生成相应的图像序列{lβc1,lβc2,lβc3…lβcm-1,lβcm};
结束第一摄像头和第二摄像头在第二光照强度β下的拍摄;
将当前拍摄光照强度切换为第三光照强度γ;
通过第一摄像头获取第一曝光时长的长曝光图像lγa;同时通过第二摄像头持续拍摄n张第二曝光时长的短曝光图像lγb,并生成相应的图像序列{lγb1,lγb2,lγb3…lγbn-1,lγbn};第二摄像头拍摄完毕后,继续拍摄m张第三曝光时长的中曝光图像lαc,并生成相应的图像 序列{lγc1,lγc2,lγc3…lγcm-1,lγcm};
结束第一摄像头和第二摄像头在第三光照强度γ下的拍摄。
通过上述步骤,利用第一摄像头实现长曝光状态下拍摄长曝光图像,并在同时利用第二摄像头在第一摄像头进行长曝光状态下工作时完成短曝光状态下和中曝光状态下的快速连拍工作,不仅能够快速获取被测皮肤的图像信息,而且通过采用并行拍摄的工作方式,节省了大量的拍摄时间,提高各种曝光图像的获取效率。
作为本发明的进一步改进,所述第一曝光时长t3、所述第二曝光时长t1和所述第三曝光时长t2满足关系式(n*t1+m*t2)/t3=1。通过此处对第一曝光时长、第二曝光时长和第三曝光时长之间的关系的限定,保证了第一摄像头和第二摄像头的工作时间一致,实现了两摄像头的工作效率最大化。也即,当(n*t1+m*t2)/t3<1时,表明第二摄像头的工作时间小于第一摄像头的工作时间,第二摄像头的工作不饱和;当(n*t1+m*t2)/t3>1时,表明第二摄像头的工作时间大于第一摄像头的工作时间,第一摄像头的工作不饱和。所以,为使两个摄像头的工作都达到饱和,也即使两个摄像头同时开始工作也能够同时结束工作,以达到工作效率的最大化,从而是的(n*t1+m*t2)/t3=1。
作为本发明的进一步改进,所述步骤对不同曝光时长的皮肤曝光图像进行优化处理,输出最终皮肤图像,包括以下步骤:
设定一光照强度变量k,且k∈{第一光照强度α,第二光照强度β,第三光照强度γ};
光照强度变量k从集合{第一光照强度α,第二光照强度β,第三光照强度γ}中依次取值,并分别对依次取值后的光照强度变量k相应的长曝光图像lka、n张短曝光图像的图像序列{lkb1,lkb2,lkb3…lkbn-1,lkbn}、及m张中曝光图像的图像序列{lkc1,lkc2,lkc3…lkcm-1,lkcm}进行多曝光分析,输出n+m+1张曝光一致性图像的图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’};
分别对依次取值后的光照强度变量k相应的曝光一致性图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’}进行图像超分辨率重建为高分辨率图像lkd;
对光照强度变量k在三个不同光照强度下获得的三个高分辨率图像lkd进行融合处理,生成并输出最终皮肤图像le。
作为本发明的进一步改进,所述步骤对依次取值后的光照强度变量k相应的长曝光图像、n张短曝光图像的图像序列、及m张中曝光图像的图像序列进行多曝光分析,输出n+m+1张曝光一致性图像的图像序列,包括以下步骤:
优化准备:对相机响应函数进行改进,计算所有图像序列的图像中不同像素点的光照辐 射,获得光照强度变量k改进后的相机响应函数Ziju=fk(EijΔtu);其中,u表示曝光时长变量状态,且u∈{第一曝光时长的状态,第二曝光时长的状态,第三曝光时长的状态};fk表示不同的光照强度变量k下预估的不同的相机响应函数;Ziju表示在曝光时长变量u下,灰度图像矩阵中第i行第j列位置上的像素灰度值在全图出现次数与全图像素数量的比值;Eij表示灰度图像矩阵中第i行第j列位置处对应的光照辐射强度;Δtu表示在曝光时长变量状态u下的曝光时间;
获取曝光一致性图像序列:根据改进后的相机响应函数Ziju=fk(EijΔtu),计算得到该改进后的相机响应函数的逆函数;并通过所述改进后的相机响应函数的逆函数分别对依次取值后的光照强度变量k下的所有曝光图像进行处理,分别得到并输出依次取值后的光照强度变量k下的n+m+1张曝光一致性图像的图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’}。
相机响应函数为不同摄像头成像传感器的固有属性,而传统的相机响应函数是基于序列图像保持位置不变的假设的情况,表现为不同光照辐射度下的图像像素值反应,而现有皮肤放大镜装置由于难以避免抖动,难以保证序列图像位置不会发生变化,并会导致获取的图像存在因抖动引起的模糊信息。故本发明为解决该问题,通过上述步骤对传统相机响应函数进行改进,利用全图的像素值比例保持基本不变的特性而避免因抖动产生的模糊信息对图像的影响。并且,本发明通过采用多变光强和多种曝光时间,可以使所述改进后的相机响应函数获取更大范围的输入变量,有利于改进后的相机响应函数的计算。
作为本发明的进一步改进,所述步骤分别对依次取值后的光照强度变量k相应的n+m+1张曝光一致性图像的图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’}进行图像超分辨率重建为高分辨率图像lkd,包括以下步骤:
分别对依次取值后的光照强度变量k下的n+m+1张曝光一致性图像的图像序列依次进行粗配准和精配准处理,从而分别计算得到不同的光照强度变量k下n+m+1张曝光一致性图像的图像序列的旋转参数、平移参数和投影变换参数;
分别根据光照强度变量k在三个不同光照强度下获得的旋转参数、平移参数和投影变换参数对与其对应的n+m+1张曝光一致性图像的图像序列进行亚像素插值处理,生成对应的高分辨率图像。
以及,所述步骤对光照强度变量k在三个不同光照强度下获得的三个高分辨率图像lkd进行融合处理,生成并输出最终皮肤图像le,包括以下步骤:
分别对光照强度变量k在三个不同光照强度下获得的三个高分辨率图像在相同的均衡条 件下进行光照均衡预处理;
在经过光照均衡预处理后的三个高分辨率图像中提取出每一个相同位置上的像素点的像素值,并计算得到三个高分辨率图像中每一个相同位置上的像素点的像素平均值;
将计算得到的所有像素平均值进行融合处理,形成最终HDR皮肤图像le。
相应地,本发明还提供了一种与上述高质量皮肤图像的获取方法对应的高质量皮肤图像的获取系统,其包括光源模块、图像获取模块和处理模块;
所述光源模块用于调节拍摄环境的光照强度;
所述图像获取模块用于拍摄并获取图像;
所述处理模块分别与所述光源模块和图像获取模块电性连接,并控制所述光源模块和所述图像获取模块的工作状态;
所述处理模块控制所述光源模块发出的光照强度由高亮度往低亮度不断调整,同时控制所述图像获取模块获取不同光照强度下的皮肤测试图像,并根据所有皮肤测试图像计算得到所有皮肤测试图像的皮肤光照评价质量,并根据所述皮肤光照评价质量获取光源模块的多档光照强度;且,所述处理模块控制光源模块以多档光照强度依次切换,同时控制图像获取模块在每档光照强度下拍摄并获取不同曝光时长的皮肤曝光图像,并且所述处理模块对由图像获取模块获取的不同曝光时长的皮肤曝光图像进行优化处理,输出最终皮肤图像。
由于本发明的高质量皮肤图像的获取方法具有以上有益的技术效果,则对应于该方法的高质量皮肤图像的获取系统也具有相同的技术效果,故在此不再赘述。
为了更好地理解和实施,下面结合附图详细说明本发明。
具体实施方式
请参阅图1,本发明提供了一种高质量皮肤图像的获取系统,其包括光源模块1、图像获取模块2和处理模块3。所述光源模块1用于调节拍摄环境的光照强度。所述图像获取模块2用于拍摄并获取图像。所述处理模块3分别与所述光源模块1和图像获取模块2电性连接,并控制所述光源模块1和所述图像获取模块2的工作状态。
所述处理模块3控制所述光源模块1发出的光照强度由高亮度往低亮度不断调整,同时 控制所述图像获取模块2获取不同光照强度下的皮肤测试图像,并根据所有皮肤测试图像计算得到所有皮肤测试图像的皮肤光照评价质量,并根据所述皮肤光照评价质量获取光源模块1的多档光照强度;且,所述处理模块3控制光源模块1以多档光照强度依次切换,同时控制图像获取模块2在每档光照强度下拍摄并获取不同曝光时长的皮肤曝光图像,并且所述处理模块3对由图像获取模块2获取的不同曝光时长的皮肤曝光图像进行优化处理,输出最终皮肤图像。
请参阅图2,在本实施例中,优选地,所述图像获取模块2包括一端设有拍摄开口211和另一端封闭的遮光筒21、及设置于遮光筒21内并与所述处理模块3电性连接的至少两摄像头。所述遮光筒21用于防止外部光线干扰,确保获取的图像是来自于所述光源模块1的光线照射后的反射。所述至少两摄像头的镜头朝向所述遮光筒21的拍摄开口211,且其轴线与遮光筒21轴线平行。在本实施例中,所述图像获取模块2包括有两摄像头22和23,分别为第一摄像头22和第二摄像头23。在本实施例中,所述遮光筒21的内径由其封闭的一端往其拍摄开口211逐渐收缩减小。
所述光源模块1包括并联连接并与所述处理模块3电性连接的若干光源;所述若干光源通过一安装板设置于遮光筒21内,其发光端朝向所述遮光筒21的拍摄开口211,且其发出光线均与所述遮光筒21的轴线平行。
为使得光源模块1发出的光线更加均匀,以获取质量更高的图像,作为一种更优的技术方案,所述若干光源为若干LED灯,且所述若干光源等密度均匀分布设置于所述安装板上。并且,优选地,所述安装板为圆形结构的安装板,且其圆心位于所述遮光筒21的轴线上。
请参阅图3,为对光源模块1发出的光线进行柔化处理,以获取更高质量的图像,作为一种更优的技术方案,本发明高质量皮肤图像的获取系统还包括用于对所述若干光源的光线进行柔化处理的柔光模块4;以及所述两摄像头22和23、所述柔光模块4和所述若干光源沿遮光筒21的拍摄开口211所在的一端往另一端依次设置于遮光筒21内。
在本实施例中,所述柔光模块4为圆环结构的柔光片,且其圆孔的圆心位于所述遮光筒21的轴线上。
请参阅图4,为在最大程度上保证了两摄像头22和23拍摄到的图像中的重叠区域最大,从而进一步有利于后续的处理分析,提高最终输出的皮肤图像的质量,作为一种更优的技术方案,所述两摄像头22和23设置于遮光筒21的中央位置,并相邻设置,且两摄像头22和23的镜头所在的一端之间的间距大小为0。在本实施例中,所述两摄像头22和23中镜头所在的一端相对的另一端往遮光筒21封闭的一端方向伸出所述柔光模块4的圆孔外后贯穿所述安装板的中央部分,并安装于所述安装板中。
另外,所述遮光筒21的外壳上设有控制上述各个模块工作的开关,该开关与所述处理模块3电连接。在本实施例中,所述处理模块3可设置于所述遮光筒21封闭的一端外,并且,为与外部环境隔离,该处理模块3由一封闭或开设有多个散热孔的壳体包裹。
为方便对最终输出的高质量图像进行查看,本发明高质量皮肤图像的获取系统还包括与处理模块3电连接的显示模块和/或无线传送模块。
以下简述一下本发明的高质量皮肤图像的获取系统的工作原理和使用过程:
当需要采集皮肤的高质量图像时,首先,开启本系统,使本系统所有模块都处于待工作状态。然后,将本系统中的遮光筒21的拍摄开口211贴合被测皮肤,利用遮光筒21的筒体阻挡外部光线的干扰。随后,处理模块3控制光源模块1点亮和所述两摄像头22和23开启,光源模块1发出的光线经过柔光片后变得各向均匀,并从遮光筒21的拍摄开口211射出到被测皮肤后,由被测皮肤反射后的光线经过所述两摄像头22和23后转换为数字图像信息,并将所述数字图像信息发送至所述处理模块3,由所述处理模块3对所述数字图像信息进行处理并最终输出高质量的皮肤图像。其中,所述处理模块3实现输出高质量的皮肤图像的处理过程包括:第一阶段:处理模块3控制所述光源模块1发出的光强亮度由最高亮度逐渐切换到最低亮度,具体是通过控制所述光源模块1中LED灯的点亮个数实现光强的改变;同时处理模块3控制所述两摄像头22和23模块以一个合适的曝光时间固定拍摄光照强度由最高亮度逐渐切换至最低亮度这一过程的不同光照强度下的若干测试图像,再由所述处理模块3根据所述若干测试图像处理的得到皮肤光照评价质量,最终选取出一个最适应的光照强度和两个次适应光照强度,其中,该最适应的光照强度为值最大的一皮肤光照评价质量所对应的光照强度,所述两个次适应光照强度分别为最适应的光照强度的光强值减10%和光强值加10%后所对应的光照强度;第二阶段:处理模块3控制分别根据选取出来的三种光照强度控制所述若干LED灯的点亮个数,并依次在所述三种光照强度下,控制所述第一摄像头22处于长曝光时间拍摄模式,得到一张长曝光拍摄图像;同时处理模块3先控制第二摄像头23进入短曝光时间拍摄模式,完成设定的拍摄,得到若干短曝光拍摄图像序列,然后,再控制第二摄像头23进入中曝光时间拍摄模式,并完成设定的拍摄,得到若干中曝光拍摄图像序列;随后,所述处理模块3对所有拍摄得到的图像和图像序列进行融合生成高质量的皮肤图像。
请参阅图5,相应地,本发明还提供了一种与上述高质量皮肤图像的获取系统对应的高质量皮肤图像的获取方法,包括以下步骤:
S1:获取拍摄的多档光照强度;
S2:在多档光照强度下拍摄并获取不同曝光时长的皮肤曝光图像;
S3:对不同曝光时长的皮肤曝光图像进行优化处理,输出最终皮肤图像。
在本实施例中,所述步骤S3还包括显示输出的最终皮肤图像。
作为本发明的进一步改进,所述步骤S1,包括以下步骤:
S11:由高亮度往低亮度不断调整光照强度,同时获取不同光照强度下的皮肤测试图像;
S12:根据所有皮肤测试图像计算得到所有皮肤测试图像的皮肤光照评价质量;
S13:根据皮肤光照评价质量获取多档光照强度,其中,多档光照强度包括第一光照强度α、第二光照强度β和第三光照强度γ,且β=α+10%*α,γ=α-10%*α。
进一步,所述步骤S12根据所有皮肤测试图像计算得到所有皮肤测试图像的皮肤光照评价质量中,所述皮肤光照评价质量为去除图像中最高5%和最低5%亮度像素后的皮肤测试图像的图像对比度;该图像对比度的计算步骤为:
S12a:获取皮肤测试图像宽度方向上的像素个数M和高度方向上的像素个数N;
S12b:获取与皮肤测试图像相应的灰度图像矩阵,并获取灰度图像矩阵中的每行每列上的像素灰度值I;
S12c:计算得到去除图像中最高5%和最低5%亮度像素后的皮肤测试图像的图像平均灰度值
S12d:通过公式计算得到皮肤测试图像的图像对比度,其中Iij为所述灰度图像矩阵中第i行第j列位置上的像素灰度值。
进一步,所述步骤S13根据皮肤光照评价质量获取多档光照强度,包括以下步骤:
S131:获取第一光照强度α:根据所述图像对比度的计算步骤获取所有皮肤测试图像的图像对比度后,通过比较所有皮肤测试图像的图像对比度大小,获得图像对比度最大的一皮肤测试图像所对应的光照强度α;
S132:获取第二光照强度β:β=α+10%*α;
S133:获取第三光照强度γ:γ=α-10%*α。
进一步,为利用不同光强、不同曝光量和连拍的信息补足,最大限度地获取被测皮肤的信息和提高工作效率,优选地,所述步骤S2,包括以下步骤:
S21:将当前拍摄光照强度调整为第一光照强度α;
S22:通过第一摄像头22获取第一曝光时长的长曝光图像lαa;同时通过第二摄像头23持续拍摄n张第二曝光时长的短曝光图像lαb,并生成相应的图像序列{lαb1,lαb2,lαb3…lαbn-1,lαbn};第二摄像头23拍摄完毕后,继续拍摄m张第三曝光时长的中曝光图像lαc,并生成相应的图像序列{lαc1,lαc2,lαc3…lαcm-1,lαcm};
S23:结束第一摄像头22和第二摄像头23在第一光照强度α下的拍摄;
S24:将当前拍摄光照强度切换为第二光照强度β;
S25:通过第一摄像头22获取第一曝光时长的长曝光图像lβa;同时通过第二摄像头23持续拍摄n张第二曝光时长的短曝光图像lβb,并生成相应的图像序列{lβb1,lβb2,lβb3…lβbn-1,lβbn};第二摄像头23拍摄完毕后,继续拍摄m张第三曝光时长的中曝光图像lαc,并生成相应的图像序列{lβc1,lβc2,lβc3…lβcm-1,lβcm};
S26:结束第一摄像头22和第二摄像头23在第二光照强度β下的拍摄;
S27:将当前拍摄光照强度切换为第三光照强度γ;
S28:通过第一摄像头22获取第一曝光时长的长曝光图像lγa;同时通过第二摄像头23持续拍摄n张第二曝光时长的短曝光图像lγb,并生成相应的图像序列{lγb1,lγb2,lγb3…lγbn-1,lγbn};第二摄像头23拍摄完毕后,继续拍摄m张第三曝光时长的中曝光图像lαc,并生成相应的图像序列{lγc1,lγc2,lγc3…lγcm-1,lγcm};
S29:结束第一摄像头22和第二摄像头23在第三光照强度γ下的拍摄。
为保证第一摄像头22和第二摄像头23的工作时间一致,实现了两摄像头22和23的工作效率最大化,作为一种更优的技术方案,所述第一曝光时长t3、所述第二曝光时长t1和所述第三曝光时长t2满足关系式(n*t1+m*t2)/t3=1。
进一步,所述步骤S3中对不同曝光时长的皮肤曝光图像进行优化处理,输出最终皮肤图像,包括以下步骤:
S31:设定一光照强度变量k,且k∈{第一光照强度α,第二光照强度β,第三光照强度γ};
S32:光照强度变量k从集合{第一光照强度α,第二光照强度β,第三光照强度γ}中依次取值,并分别对依次取值后的光照强度变量k相应的长曝光图像lka、n张短曝光图像的图像序列{lkb1,lkb2,lkb3…lkbn-1,lkbn}、及m张中曝光图像的图像序列{lkc1,lkc2,lkc3…lkcm-1,lkcm}进行多曝光分析,输出n+m+1张曝光一致性图像的图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’};
S33:分别对依次取值后的光照强度变量k相应的曝光一致性图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’}进行图像超分辨率重建为高分辨率图像lkd;
S34:对光照强度变量k在三个不同光照强度下获得的三个高分辨率图像lkd进行融合处理,生成并输出最终皮肤图像le。
进一步,为避免因摄像头的抖动而产生的模糊信息对图像的影响,作为一种更优的技术方案,所述步骤S32中对依次取值后的光照强度变量k相应的长曝光图像、n张短曝光图像的图像序列、及m张中曝光图像的图像序列进行多曝光分析,输出n+m+1张曝光一致性图 像的图像序列,包括以下步骤:
S321:优化准备:对相机响应函数进行改进,计算所有图像序列的图像中不同像素点的光照辐射,获得光照强度变量k改进后的相机响应函数Ziju=fk(EijΔtu);其中,u表示曝光时长变量状态,且u∈{第一曝光时长的状态,第二曝光时长的状态,第三曝光时长的状态};fk表示不同的光照强度变量k下预估的不同的相机响应函数;Ziju表示在曝光时长变量u下,灰度图像矩阵中第i行第j列位置上的像素灰度值在全图出现次数与全图像素数量的比值;Eij表示灰度图像矩阵中第i行第j列位置处对应的光照辐射强度,也即在对应光照强度变量k照射下,皮肤反射光线通过镜头进入成像传感器之前的光学信号强度量;Δtu表示在曝光时长变量状态u下的曝光时间;所以,图像对应点光照辐射强度和曝光时间是相机响应函数的输入变量,图像最终像素值分布比例为输出变量;而图像对应点光照辐射强度和光照强度密切相关,因此本发明采用的多种光强和多种曝光时间,可以使所述相机响应函数获取更大范围的输入变量,这有利于相机响应函数的预估。本实施例中,采用经典的Debevec算法来完成相机响应函数的估计fk。
S322:获取曝光一致性图像序列:根据改进后的相机响应函数Ziju=fk(EijΔtu),计算得到该改进后的相机响应函数的逆函数;并通过所述改进后的相机响应函数的逆函数分别对依次取值后的光照强度变量k下的所有曝光图像进行处理,分别得到并输出依次取值后的光照强度变量k下的n+m+1张曝光一致性图像的图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’}。在本发明中,在对应于同一光照强度的不同曝光时间下,虽然Eij为不变量,但是会包含不同曝光时间下丰富的动态信息。
由此,本发明中的所述改进的相机响应函数区别于传统相机响应函数,也即区别于传统相机响应函数的预估为图像像素值与曝光时间和光信号的关系,而是利用图像像素值分布概率摄像头与曝光时间和光信号的关系,以适应本发明与传统不同的场景的技术要求。且本发明中曝光一致性图像的图像序列为拍摄到不同曝光时间图像在应用逆相机相应函数后,获取的不随曝光时间变化的主体一致性图像,这些图像也包含不同曝光时间下不同的细节信息。
进一步,所述步骤S33中分别对依次取值后的光照强度变量k相应的n+m+1张曝光一致性图像的图像序列{lka’,lkb1’…lkbn’,lkc1’…lkcm’}进行图像超分辨率重建为高分辨率图像lkd,包括以下步骤:
S331:分别对依次取值后的光照强度变量k下的n+m+1张曝光一致性图像的图像序列依 次进行粗配准和精配准处理,从而分别计算得到不同的光照强度变量k下n+m+1张曝光一致性图像的图像序列的旋转参数、平移参数和投影变换参数;主要是对曝光一致性图像的图像序列进行配准,估算图像序列之间的变换模型参数;
由于皮肤并不是一个均匀的平面,在本发明的系统中的遮光筒21接触皮肤时,遮光筒21的壳体会压迫皮肤,使得皮肤会从遮光筒21的拍摄开口211往遮光筒21内部凸起,导致所述两摄像头22和23拍摄的图像并不是仅仅存在位移变换关系,还存在投影变换关系,因此传统的频率域方法无法解决这个问题。所以本发明通过步骤S311对运动参数计算,主要是将曝光一致性序列图像进行粗配准和精配准,估算图像序列之间的旋转参数、平移参数和投影变换参数,综合序列图像拍摄时可能出现装置旋转的情形,采用仿射变换模型来描述序列图像变换,该仿射变换模型为:
其中a,b,c,d,e,f为仿射矩阵的6个参数,是需要估计的运动参数;x,y和x',y'分别为两幅图像的对应像素坐标。本发明采用特征匹配的方式来寻找匹配像素,在本实施例中,采用ASIFT算子来对序列图像进行两两匹配。ASIFT是基于SIFT改进的仿射变换不变算子,能寻找相同物体不同变换图像的大量匹配点。为了避免过多的匹配点加大计算量,优选地,采用RANSAC随机采样方法选取3组匹配点求解仿射矩阵6参数,也即完成粗配准参数的获取。对完成粗配准的图像,再采用经典的频率域Vandewalle精配准方法,能获取最终的精配准参数——旋转参数、平移参数和投影变换参数。
S332:分别根据光照强度变量k在三个不同光照强度下获得的旋转参数、平移参数和投影变换参数对与其对应的n+m+1张曝光一致性图像的图像序列进行亚像素插值处理,生成对应的高分辨率图像。主要是利用步骤331中的旋转参数、平移参数和投影变换参数等运动参数,对图像序列进行重建,生成高分辨率图像。在本实施例中,采用StructureAdaptive Normalized Convolution方法完成重建任务。
进一步,所述步骤S34中对光照强度变量k在三个不同光照强度下获得的三个高分辨率图像lkd进行融合处理,生成并输出最终皮肤图像le,包括以下步骤:
S341:分别对光照强度变量k在三个不同光照强度下获得的三个高分辨率图像在相同的均衡条件下进行光照均衡预处理;
S342:在经过光照均衡预处理后的三个高分辨率图像中提取出每一个相同位置上的像素点的像素值,并计算得到三个高分辨率图像中每一个相同位置上的像素点的像素平均值;
S343:将计算得到的所有像素平均值进行融合处理,形成最终HDR皮肤图像le。
由此所述步骤S3及其各个子步骤充分利用了步骤S2中的多种光强多种曝光图像序列进 行充分的图像融合,主要是充分利用了摄像头的传感器在不同通光条件(不同光强、不同曝光)的非线性响应信息和连拍中的亚像素信息进行融合成最终HDR高分辨率最终图像。
由此,本发明通过上述高质量皮肤图像的获取方法即可实现输出高质量的被测皮肤图像。
另外,还可以结合本发明的方法和系统共同对本发明进行更加深入的了解,且本发明的系统中的处理模块3包含本发明的方法中的处理方法。
另外,本发明的高质量皮肤图像的获取系统还具有其它变形实施例,例如:
本发明的图像获取模块2的两摄像头22和23可以替换为摄像头阵列结构,也即,采用均匀紧密排列的三个或者三个以上的摄像头作为图像获取模块2。摄像头阵列可以采用更低成本的成像传感器,通过本发明提供的多种光强多种曝光和图像融合处理的步骤和方法思路,可以采用更多档的光强和曝光模式,也能最终获得具备更高质量的皮肤局部放大图像或皮肤图像。
相对于现有技术,本发明高质量皮肤图像的获取方法及系统能够根据被测皮肤的肤色和需要拍摄的皮肤特征信息自动选取合适的光强,并有效消除摄取的图像中因抖动产生的模糊信息对皮肤特征信息分析的影响,实现获取高质量的皮肤图像,并降低成本。
本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。