CN113096057A - 一种基于四光源光度立体法的高光消除方法 - Google Patents

一种基于四光源光度立体法的高光消除方法 Download PDF

Info

Publication number
CN113096057A
CN113096057A CN202110395655.3A CN202110395655A CN113096057A CN 113096057 A CN113096057 A CN 113096057A CN 202110395655 A CN202110395655 A CN 202110395655A CN 113096057 A CN113096057 A CN 113096057A
Authority
CN
China
Prior art keywords
highlight
pixel
ratio
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110395655.3A
Other languages
English (en)
Other versions
CN113096057B (zh
Inventor
李勃
田梦阳
任福继
管越
颜铭
杨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110395655.3A priority Critical patent/CN113096057B/zh
Publication of CN113096057A publication Critical patent/CN113096057A/zh
Application granted granted Critical
Publication of CN113096057B publication Critical patent/CN113096057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种基于四光源光度立体法的高光消除方法,保持相机与物体位置不变,改变光源照射角度采集同一场景的四幅彩色图像,基于多光源的方法去除高光,进而实现对图像中物体轮廓的提取,包括高光检测、高光去除和轮廓提取三部分。本发明进行高光检测,提出的高光像素判定方法能有效识别出高光像素,提出比率图的方案,在过度曝光情况下能很好地修复高光区域,有效去除物体表面由于镜面反射造成的高光区域,准确地提取出物体表面轮廓,具有重要的实际应用价值。

Description

一种基于四光源光度立体法的高光消除方法
技术领域
本发明属于计算机图像视觉技术领域,为一种基于四光源光度立体法的高光消除方法。
背景技术
在计算机视觉中,由于普通相机采集的是二维图像,对客观世界的描述损失了深度信息,因此,越来越多的场景需要获取物体表面的三维形貌信息。三维信息提取是指通过相机获取场景物体的数字图像,结合光照信息与相机成像模型对图像进行分析,逆推出图像所对应实物的表面形状特点。其中光度立体法因其简单高效准确的特点而备受青睐。在在工业视觉中,由于被摄产品的表面通常是平坦光滑的,因此照片中不可避免地会出现镜面反射导致的过度曝光区域,这类高光区域会使法向量计算出现偏差,进而严重影响表面轮廓的提取精度。此外,由于噪声对不同反射率区域的影响不同,会使轮廓图中出现边界效应,影响轮廓提取效果。
目前常用的高光去除算法,根据输入图像的数目,可以分为基于单幅图像的方法和基于多幅图像的方法。单幅图像去高光一般利用其高亮度、低饱和度、改变物体表面颜色的特点,通过颜色空间转换,空间域信息分析等方法达到镜面反射与漫反射分量分离的目的。基于颜色空间的方法一般对图像进行逐像素的处理,而不考虑邻域像素的相关性。Mallick[1]提出了一种数据驱动的SUV空间,该空间是RGB颜色空间的一个旋转,其中UV通道反映漫反射信息,与镜面反射无关,可以用来提取漫反射成份。该方法要求物体颜色与光源颜色不能过于接近,否则UV通道会严重退化导致信噪比迅速降低。
多幅图像去高光算法主要利用图像序列中的信息互补性来去除高光。通过增加输入图像来弥补丢失的信息,可以解除单幅图像去高光算法中的限制条件,提高去高光算法的通用性和鲁棒性。根据多幅图像的拍摄方法不同,去高光算法可以分为两类:基于多视角的方法和基于多光源的方法。基于多视角的去高光算法是让光照条件保持不变,改变相机拍摄视角来获取多幅图像。其需要对不同视角下的图像做匹配,但高光可能影响匹配的精度,从而影响去高光的效果。基于多光源的去高光算法是保持相机与物体位置不变,改变光源照射角度来获取同一场景的多幅图像。Barsky[2]采用“四光源彩色光度立体”,把像素分为高光、阴影及普通含噪声像素。高光判断有两种方案,光源颜色与物体本征颜色差异较大时利用色彩信息检测高光,差异较小时提出了基于法向量差异的替代方案。四元组中含高光像素时去除最亮像素计算,含阴影时去除最暗像素计算。普通像素的处理建立在如下基础之上:在无噪声及镜面反射的情况下,输入图像间对应像素的像素值在RGB颜色空间内是共线的,噪声会破坏这种共线性,因此可以利用PCA来得到像素组的颜色主方向,这可以代表物体的本征颜色,然后把像素投影到该主方向,投影值便可以起到灰度值的作用。该方法有较强的可扩展性,但高光区域的边缘容易产生较大的偏差,这在轮廓图提取中会引起很大的边界效应,呈现出不该有的轮廓。
[1]Mallick S P,Zickler T E,Kriegman D J,et al.Beyond Lambert:Reconstructing Specular Surfaces Using Color.IEEE Computer Society Conferenceon Computer Vision&Pattern Recognition.IEEE Computer Society,2005.
[2]Barsky S,Petrou M.The 4-source photometric stereo technique forthree-dimensional surfaces in the presence of highlights and shadows[J].Pattern Analysis&Machine Intelligence IEEE Transactions on,2003,25(10):1239-1252.
发明内容
本发明要解决的问题是:在采用光度立体法提取物体三维轮廓的过程中,由于被摄物表面的镜面反射导致的高光区域会对后续的图像处理会有很大影响。而现有的光度立体法只能消除轻微的高光,对于过度曝光情况不能很好的恢复。在工业视觉应用中,过度曝光情况则比较常见,因此需要一种能够恢复过度曝光情况下的高光区域的方法,以提取非朗伯体的表面轮廓。
本发明的技术方案为:一种基于四光源光度立体法的高光消除方法,保持相机与物体位置不变,改变光源照射角度采集同一场景的四幅彩色图像,基于多光源的方法去除高光,进而实现对图像中物体轮廓的提取,包括高光检测、高光去除和轮廓提取三部分,
1)基于色度的高光像素检测,包括计算像素色度比计算和高光像素判断:
1.1)计算像素色度比,对每幅图像中的像素x,其在RGB三个通道中的最小值为:
Imin(x)=min{Ir(x),Ig(x),Ib(x)}=md(x)·Λmin+ms(x)·Γ (1)
其中,Λ表示漫反射色度,RGB三通道的最小漫反射色度Λmin=min{Λrgb},Γ表示镜面反射色度,md(x)和ms(x)分别为漫反射和镜面反射的权重因子;
同理,RGB通道最大值为:
Imax(x)=md(x)·Λmax+ms(x)Γ (2)
其中,Λmax=max{Λrgb}为最大漫反射色度;
在双色反射模型下,各通道镜面反射分量ms(x)·Γ相同,以上两式相减抵消镜面反射分量,得到通道差值:
Irange(x)=Imax(x)-Imin(x)=md(x)·(Λmaxmin) (3)
定义像素色度比为:
Figure BDA0003018501830000031
对于不含高光的像素点,色度比Rd(x)为:
Figure BDA0003018501830000032
对于含高光的像素,色度比Rs(x)为:
Figure BDA0003018501830000033
1.2)高光像素判断:把四幅图像中相同位置的四个像素为四元组并记为(x1,x2,x3,x4),不含高光时四元组的色度比一致,即R1≈R2≈R3≈R4,若xi含有高光,则xi对应的通道值和色度比最大,定义Ri浮动差值
Figure BDA0003018501830000034
i,j∈[1,2,3,4],当浮动差值di大于给定阈值th时,认为xi为高光像素;把四幅图像出现高光的像素在同一个掩膜图像中标记,并且用不同的灰度值来表示高光来自不同的图像;
2)高光去除,包括计算伪像素灰度比、比率图修复和高光去除三步:
2.1)计算伪像素灰度比:将彩色图像转换成灰度图像,然后去除灰度图像上的高光,利用四元组中三个较暗像素对最亮像素的估计值,利用三个较暗像素求出反射率和表面法线,然后利用反射率和法线以及最亮像素图像的照明方向得到伪像素值,设每四张图片的同一点像素亮度为[I1,I2,I3,I4]T,Ii表示第i张图中该像素点的亮度,设Ii是最亮的像素,用[Ij,j≠i]T来计算反射率ρ和表面法线n,
[Ij,j≠i]T=ρ[Lj,j≠i]T[nx,ny,nz]T (7)
其中Lj表示对应第j张图像中光源的光照方向;
Ii的伪像素值计算为:
Figure BDA0003018501830000035
该点像素的伪像素灰度比即为实际值与伪值之比:
Figure BDA0003018501830000036
计算每个像素位置四元组的伪像素灰度比,得到比率图;
2.2)基于快速行进法的比率图修复:根据1.2)得到的掩膜图像中高光像素周围的梯度或纹理信息,采用迭代插值的方法对伪像素灰度比率图进行修复,使高光区域的比率值与周围非高光区域近似,迭代方式采用快速行进法;
2.3)高光去除:利用修复后的比率图与伪像素灰度直接计算漫反射成分,对高光像素,去除高光后得到的漫反射值Ii'为:
Figure BDA0003018501830000041
其中λ'为修复后的伪像素灰度比,
Figure BDA0003018501830000042
为伪像素灰度,漫反射值即为去除高光后的修复的像素值;
高光去除后,由掩膜图像的非高光像素区域和修复后的像素区域得到一张消除高光的像素图;
3)轮廓提取,通过滤波算法对消除高光的像素图进行轮廓提取,用于图像计算机视觉检测。
进一步的,步骤1.2)的高光像素判断中,还进行灰度域值判定,步骤1.2)的高光像素判断中,还进行灰度域值判定,di>th&&Ii>val时,判定xi为高光像素。
进一步的,步骤3)的轮廓提取中,采用基于反射率的自适应双边滤波算法,在双边滤波的基础上,用反射率来自适应地调节空域核的方差,对于每个像素,采用双边滤波器滤波后的法线为:
Figure BDA0003018501830000043
其中,x0为中心像素,x为邻域内像素,n(x0)表示修改前的法线方向,R表示x0中心的窗口,d(x0,x)和r(x0,x)分别是空间内核和值范围内核,向高斯内核添加反射率来改变其方差,自适应双边滤波器的值域核与空域核分别如下:
Figure BDA0003018501830000044
Figure BDA0003018501830000045
其中,x0为中心像素,x为邻域内像素,
Figure BDA0003018501830000046
和Ix分别为对应的像素值,
Figure BDA0003018501830000047
和ρx分别为对应的反射率,σr和σd为高斯函数标准差;式(12)和(13)中对值域核和空域核的调整,看作对方差分别引入了缩放因子
Figure BDA0003018501830000048
Figure BDA0003018501830000049
Figure BDA0003018501830000051
Figure BDA0003018501830000052
高斯内核随着方差的增加而更加平滑,向高斯内核引入缩放因子来改变其方差,消除低反射区域的噪声。
本发明提出了一种基于四光源光度立体法的高光消除方法,首先进行高光检测,提出的高光像素判定方法能有效识别出高光像素,提出比率图的方案,在过度曝光情况下能很好地修复高光区域,有效去除物体表面由于镜面反射造成的高光区域,准确地提取出物体表面轮廓,具有重要的实际应用价值。
附图说明
图1为基于光度立体法的高光消除算法流程图。
图2为合成工艺品在四个视角下的图像。
图3为图2工艺品的对应效果图,(a)为真实的法向量,(b)为纹理图,(c)为表面轮廓图。本发明消除高光后得到的反射率和表面轮廓,(a)为反射率图像,(b)为表面轮廓图像。
图4为采用本发明方法去除高光后的效果,(a)(b)(c)(d)为不同方向得到的反射率图像。
图5为采用不同方法得到的法向量(第一行)、纹理图(第二行)及表面轮廓图(第三行)结果对比。其中(a)(b)(c)(d)分别为传统光度立体法、Barsky的方法、Mallick的方法与本发明的方法的效果图。
图6为真实物体在不同视角下的四张输入图像。
图7为四张输入图像拟合后的高光消除效果图,其中(a)(b)(c)(d)分别为传统光度立体法、Barsky的方法、Mallick的方法与本发明的方法的效果图。
图8为提取的表面轮廓图,其中(a)(b)(c)(d)分别为传统光度立体法、Barsky的方法、Mallick的方法与本发明的方法的效果图。
具体实施方式
本发明提出了一种基于四光源的光度立体法的高光消除算法,以提取非朗伯体产品的表面轮廓。本发明方案分为高光检测、高光去除、轮廓提取三步,详细过程如图1所示。
1、基于色度的高光像素检测,包括计算像素色度比、高光像素判断两步:
1)像素色度比:本发明提出像素色度比的概念,用来对像素的高光程度做定量描述。对像素x,RGB三个通道中的最小值为:
Imin(x)=min{Ir(x),Ig(x),Ib(x)}=md(x)·Λmin+ms(x)·Γ (1)
其中最小色度Λmin=min{Λrgb}。同理,通道最大值为:
Imax=md(x)·Λmax+ms(x)Γ (2)
其中最大色度Λmax=max{Λrgb}。在双色反射模型下,各通道镜面反射分量ms(x)Γ相同,以上两式相减可以抵消镜面反射分量,得到通道差值:
Irange(x)=Imax(x)-Imin(x)=md(x)·(Λmaxmin) (3)
定义像素色度比为:
Figure BDA0003018501830000061
对于不含高光的像素点,色度比可以简化为:
Figure BDA0003018501830000062
对于含高光的像素:
Figure BDA0003018501830000063
由上式可知,对于真实色度Λ相同的像素而言,含高光的像素色度比要高于漫反射像素,且镜面反射越强烈,色度比值越大。
当镜面反射过强导致像素饱和时,RGB三通道的值都接近255,利用双色反射模型去除高光的效果很差,这是所有基于双色反射模型的高光去除算法的通病。而本方法不会存在这个问题,因为在本文中双色反射模型只是用来做高光像素的判断,而不是去除高光的依据,在三通道接近饱和时,像素色度比会显著地增大,更加容易被判定为高光。
2)高光像素判断:我们把四幅输入图像中相同位置的四个像素为四元组并记为(x1,x2,x3,x4)。四元组的差别仅仅是光照方向不同,偏振造成的轻微颜色差别可忽略不计,可以认为不含高光时四元组的色度比一致,即R1≈R2≈R3≈R4,这称为图像间色度约束。若x4出现高光,则有I4>Ik且R4>Rk,i=1,2,3。定义R4浮动差值
Figure BDA0003018501830000064
当浮动差值大于给定阈值th时,认为x4为高光像素。为了增加高光判定鲁棒性,进一步加上传统的灰度域值判定,即d>th&&I4>val时,判定x4为高光像素,“&&”表示且,val是像素的亮度阈值,为一个先验阈值。本发明假设四幅图像中高光不重叠,为节省内存空间,把四幅图像出现高光的像素在同一个掩膜图像中标记,并且用不同的灰度值来表示高光来自不同的图像。
2、基于伪像素灰度比的高光去除,包括计算伪像素灰度比、比率图修复、高光去除三步:
1)计算伪像素灰度比:由于高光去除不需要颜色信息,为了简单起见,我们将彩色图像转换成灰度图像,然后去除灰度图像上的高光。本发明提出了伪像素灰度值的概念,即利用四元组中三个较暗像素对最亮像素的估计值,具体操作是利用最暗的三个像素求出反射率和表面法线,然后利用反射率和法线以及第四个照明方向得到伪像素值。设每四张图片的同一点像素亮度为[I1,I2,I3,I4]T,Ii表示第i张图中该像素点的亮度,设Ii是最亮的像素,用[Ij,j≠i]T来计算反射率ρ和表面法线n,
[Ij,j≠i]T=ρ[Lj,j≠i]T[nx,ny,nz]T (7)
其中Lj表示对应第j张图像中光源的光照方向;
假设I4是最亮的像素,用[I1,I2,I3]T来计算反射率和表面法线n,
[I1,I2,I3]T=ρ[L1,L2,L3]T[nx,ny,nz]T
最亮像素的伪像素值可以计算为:
Figure BDA0003018501830000071
该点像素的伪像素灰度比即为实际值与伪值之比:
Figure BDA0003018501830000072
计算每个像素位置四元组的伪像素灰度比,可得到比率图。
2)基于快速行进法的比率图修复:根据高光像素判断中得到的掩膜图像中高光像素周围的梯度或纹理信息,对伪像素灰度比率图进行修复,使高光区域的比率值与周围非高光区域近似。利用获取的高光区域周围的梯度或纹理信息,采用迭代插值的方法逐层往内修复。迭代方式采用快速行进法(fast marching method)。修复后的比率图中,高光区域比率值与周围非高光区域近似。
3)高光去除:高光去除方法是利用修复后的比率图与伪像素灰度直接计算漫反射成分,后续不需要邻域信息,因此可以逐像素地进行计算。对高光像素,其漫反射值为:
Figure BDA0003018501830000073
其中λ'为修复后的伪像素灰度比,
Figure BDA0003018501830000074
为伪像素灰度,漫反射值即为去除高光后的修复的像素值。高光去除后,由掩膜图像的非高光像素区域和修复后的像素区域得到一张消除高光的像素图,掩膜图像标记了高光像素的位置,这里用掩膜图像可以区分出高光区域和非高光区域,然后把非高光区域和修复后的高光区域融合,即可得到一张去除高光的图像。
3、基于反射率的自适应双边滤波算法,通过滤波算法对消除高光的像素图进行轮廓提取,用于图像计算机视觉检测。
消除高光是为了更好的提取轮廓,如果消除高光后轮廓更加失真(如barsky的方法),就不合适了;如果消除高光后引入了更多噪声导致轮廓提取受影响(如mallick的方法),也不合适。本发明提出了一种全新的高光消除方法,同时也优化了轮廓提取方法,二者结合得到的轮廓图更优。为减少噪声的对三维轮廓提取影响,在传统的双边滤波算法基础上,本发明提出了一种改进的双边滤波算法,改进思路是在双边滤波的基础上,用反射率来自适应地调节空域核的方差,使得低反射率区域进一步模糊,以达到最佳的轮廓提取效果。对于具有低反射率的暗像素,信噪比(SNR)较小,对表面法线估计的影响也相应较重,因此我们采用双边滤波器来降噪,同时保持边缘清晰。对于每个像素,滤波后的法线为
Figure BDA0003018501830000081
其中x0为中心像素,x为邻域内像素,n(x0)表示修改前的法线方向,R表示x0中心的窗口,d(x0,x)和r(x0,x)分别是空间内核和值范围内核,向高斯内核添加反射率来改变其方差。改进的自适应双边滤波器中的值域核与空域核公式如下:
Figure BDA0003018501830000082
Figure BDA0003018501830000083
x0为中心像素,x为邻域内像素,
Figure BDA0003018501830000084
和Ix分别为对应的像素值
Figure BDA0003018501830000085
和ρx分别为对应的反射率,σr和σd为高斯函数标准差。式(12)和(13)代入式(11)求取像素法线,再由像素法线提取轮廓。
式(12)和(13)中对值域核和空域核的调整,可以看作方差分别引入了缩放因子
Figure BDA0003018501830000086
Figure BDA0003018501830000087
Figure BDA0003018501830000088
Figure BDA0003018501830000091
低反射率区域受噪声影响较大,而高斯内核随着方差的增加而更加平滑,因此,为更好的消除低反射区域的噪声,向高斯内核添加反射率即引入缩放因子来改变其方差。对于空域核d(x0,x),计算中心像素时邻域像素所占权重增大,模糊效果更强。过滤后的法线更取决于周围的结果。对于反射率不同的平整区域,由于材质的不同(且均非朗伯体)轮廓图中容易出现边界效应,调整后的值域核r(x0,x),邻域像素与中心像素反射率相差越大,模糊效果越强。因此,本发明改进的双边滤波器消除了低反射率区域的噪声影响。
综上所述,现有的各类图像去高光算法难以同时兼顾易用性与鲁棒性,都有各自的适用场景,在实际应用中应该根据应用场景特点灵活选取去高光算法。下面分别采用现有技术方法和本发明中的方法,演示一组合成图和一组真实的胶片样本的轮廓提取过程,以说明本发明的方法的有效性。
1、合成图像实验结果
图2为合成工艺品在四个视角下的图像,图3为该工艺品真实的法向量图、纹理图以及表面轮廓图,这将作为定量描述各种算法精确度的基准图像。利用本发明的高光去除方法可以较好地去除以上两种合成图像的高光部分,图4为图2中四幅图像去除高光后的效果。
图5给出了传统光度立体法、Barsky的方法、Mallick的方法以及本发明的方法下的法向量图、纹理图与表面轮廓图。从结果图中可知,当镜面反射过于强烈使得像素饱和时,Mallick的颜色空间转换法会使得图像高光区域产生严重失真。从其原理上看,当RGB三通道值均接近255时,该方案提取的漫反射成分像素值将趋近于0,这显然是不符合实际的。Barsky的方法对近饱和的高光有更好的处理效果,高光区域内部接近真实值,但取三个较暗像素计算的方式会使纹理像素偏暗,法向量远离最亮像素对应的光源方向,最终导致高光区域与周围高光渐变区域的反差较大。因此,由于轮廓图主要体现了法向量的变化,高光与边缘区域在轮廓图中尤为明显,对提取的轮廓造成极大的破坏。
表1采用RMSE、PSNR以及MAE定量化地描述了各算法的优劣。RMSE为均方根误差,越小说明图像越接近真实值,PSNR为峰值信噪比,越大说明图像重建质量越好,MAE为平均绝对误差,越小图像越接近真实值。从表中可以看出,本发明的方法各项数据都优于其他算法。
表1 传统光度立体法、Barsky算法、Mallick算法与本发明算法精度比较
Figure BDA0003018501830000101
2、真实图像实验结果
图6是真实物体在不同视角下的四张输入图像,图7是四张输入图像拟合后的高光消除效果图,其中(a)(b)(c)(d)分别为传统光度立体法、Barsky的方法、Mallick的方法以及本发明的方法的效果图,图8是提取的表面轮廓图,其中(a)(b)(c)(d)分别为传统光度立体法、Barsky的方法、Mallick的方法以及本发明的方法的效果图。从实验结果看,Barsky的方法对过度曝光的情况没有明显改善,Barsky对高光区域估计的纹理值偏小,法向量在高光边缘区域的变化较大,因此高光边缘在轮廓图中非常明显,对轮廓提取的干扰很大,如图8(b)。Mallick的方法可以很好地去除背景颜色与照明颜色不一样的材料的高光,但像素亮度偏离较大,图像SNR相应地降低很多,导致轮廓图中噪声较多。本发明的方法能较好地去除高光,较真实地还原三维信息,从图8四幅轮廓提取图对比可见,图8(a)(b)(c)都有高光留下的明显线迹,本发明的图8(d)相比之下明显能够去除高光对轮廓图的影响。

Claims (3)

1.一种基于四光源光度立体法的高光消除方法,其特征是保持相机与物体位置不变,改变光源照射角度采集同一场景的四幅彩色图像,基于多光源的方法去除高光,进而实现对图像中物体轮廓的提取,包括高光检测、高光去除和轮廓提取三部分,
1)基于色度的高光像素检测,包括计算像素色度比计算和高光像素判断:
1.1)计算像素色度比,对每幅图像中的像素x,其在RGB三个通道中的最小值为:
Imin(x)=min{Ir(x),Ig(x),Ib(x)}=md(x)·Λmin+ms(x)·Γ (1)
其中,Λ表示漫反射色度,RGB三通道的最小漫反射色度Λmin=min{Λrgb},Γ表示镜面反射色度,md(x)和ms(x)分别为漫反射和镜面反射的权重因子;
同理,RGB通道最大值为:
Imax(x)=md(x)·Λmax+ms(x)Γ (2)
其中,Λmax=max{Λrgb}为最大漫反射色度;
在双色反射模型下,各通道镜面反射分量ms(x)·Γ相同,以上两式相减抵消镜面反射分量,得到通道差值:
Irange(x)=Imax(x)-Imin(x)=md(x)·(Λmaxmin) (3)
定义像素色度比为:
Figure FDA0003018501820000011
对于不含高光的像素点,色度比Rd(x)为:
Figure FDA0003018501820000012
对于含高光的像素,色度比Rs(x)为:
Figure FDA0003018501820000013
1.2)高光像素判断:把四幅图像中相同位置的四个像素为四元组并记为(x1,x2,x3,x4),不含高光时四元组的色度比一致,即R1≈R2≈R3≈R4,若xi含有高光,则xi对应的通道值和色度比最大,定义Ri浮动差值
Figure FDA0003018501820000014
当浮动差值di大于给定阈值th时,认为xi为高光像素;把四幅图像出现高光的像素在同一个掩膜图像中标记,并且用不同的灰度值来表示高光来自不同的图像;
2)高光去除,包括计算伪像素灰度比、比率图修复和高光去除三步:
2.1)计算伪像素灰度比:将彩色图像转换成灰度图像,然后去除灰度图像上的高光,利用四元组中三个较暗像素对最亮像素的估计值,利用三个较暗像素求出反射率和表面法线,然后利用反射率和法线以及最亮像素图像的照明方向得到伪像素值,设每四张图片的同一点像素亮度为[I1,I2,I3,I4]T,Ii表示第i张图中该像素点的亮度,设Ii是最亮的像素,用[Ij,j≠i]T来计算反射率ρ和表面法线n,
[Ij,j≠i]T=ρ[Lj,j≠i]T[nx,ny,nz]T (7)
其中Lj表示对应第j张图像中光源的光照方向;
Ii的伪像素值计算为:
Figure FDA0003018501820000021
该点像素的伪像素灰度比即为实际值与伪值之比:
Figure FDA0003018501820000022
计算每个像素位置四元组的伪像素灰度比,得到比率图;
2.2)基于快速行进法的比率图修复:根据1.2)得到的掩膜图像中高光像素周围的梯度或纹理信息,采用迭代插值的方法对伪像素灰度比率图进行修复,使高光区域的比率值与周围非高光区域近似,迭代方式采用快速行进法;
2.3)高光去除:利用修复后的比率图与伪像素灰度直接计算漫反射成分,对高光像素,去除高光后得到的漫反射值Ii'为:
Figure FDA0003018501820000023
其中λ'为修复后的伪像素灰度比,
Figure FDA0003018501820000024
为伪像素灰度,漫反射值即为去除高光后的修复的像素值;
高光去除后,由掩膜图像的非高光像素区域和修复后的像素区域得到一张消除高光的像素图;
3)轮廓提取,通过滤波算法对消除高光的像素图进行轮廓提取,用于图像计算机视觉检测。
2.根据权利要求1所述的一种基于四光源光度立体法的高光消除方法,其特征是步骤1.2)的高光像素判断中,还进行灰度域值判定,di>th&&Ii>val时,判定xi为高光像素。
3.根据权利要求1所述的一种基于四光源光度立体法的高光消除方法,其特征是步骤3)的轮廓提取中,采用基于反射率的自适应双边滤波算法,在双边滤波的基础上,用反射率来自适应地调节空域核的方差,对于每个像素,采用双边滤波器滤波后的法线n'(x0)为:
Figure FDA0003018501820000031
其中,x0为中心像素,x为邻域内像素,n(x0)表示修改前的法线方向,R表示x0中心的窗口,d(x0,x)和r(x0,x)分别是空间内核和值范围内核,向高斯内核添加反射率来改变其方差,自适应双边滤波器的值域核与空域核分别如下:
Figure FDA0003018501820000032
Figure FDA0003018501820000033
其中,x0为中心像素,x为邻域内像素,
Figure FDA0003018501820000034
和Ix分别为对应的像素值,
Figure FDA0003018501820000035
和ρx分别为对应的反射率,σr和σd为高斯函数标准差;式(12)和(13)中对值域核和空域核的调整,看作对方差分别引入了缩放因子
Figure FDA0003018501820000036
Figure FDA0003018501820000037
Figure FDA0003018501820000038
Figure FDA0003018501820000039
高斯内核随着方差的增加而更加平滑,向高斯内核引入缩放因子来改变其方差,消除低反射区域的噪声。
CN202110395655.3A 2021-04-13 2021-04-13 一种基于四光源光度立体法的高光消除方法 Active CN113096057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110395655.3A CN113096057B (zh) 2021-04-13 2021-04-13 一种基于四光源光度立体法的高光消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395655.3A CN113096057B (zh) 2021-04-13 2021-04-13 一种基于四光源光度立体法的高光消除方法

Publications (2)

Publication Number Publication Date
CN113096057A true CN113096057A (zh) 2021-07-09
CN113096057B CN113096057B (zh) 2022-08-19

Family

ID=76676820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395655.3A Active CN113096057B (zh) 2021-04-13 2021-04-13 一种基于四光源光度立体法的高光消除方法

Country Status (1)

Country Link
CN (1) CN113096057B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628127A (zh) * 2021-07-09 2021-11-09 中国科学院自动化研究所 文字图像高光去除、文字识别方法及装置
CN116297463A (zh) * 2023-05-16 2023-06-23 四川省港奇电子有限公司 一种电源适配器外壳注塑成型检测方法、系统及装置
CN117474921A (zh) * 2023-12-27 2024-01-30 中国科学院长春光学精密机械与物理研究所 基于镜面高光去除的抗噪光场深度测量方法、系统及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194881A (zh) * 2017-03-23 2017-09-22 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光装置及方法
CN111563859A (zh) * 2020-05-19 2020-08-21 安徽大学 双保边滤波器的高光去除方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194881A (zh) * 2017-03-23 2017-09-22 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光装置及方法
CN111563859A (zh) * 2020-05-19 2020-08-21 安徽大学 双保边滤波器的高光去除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIUAI SUN等: "Object surface recovery using a multi-light photometric stereo technique for non-Lambertian surfaces subject to shadows and specularities", 《IMAGE AND VISION COMPUTING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628127A (zh) * 2021-07-09 2021-11-09 中国科学院自动化研究所 文字图像高光去除、文字识别方法及装置
CN116297463A (zh) * 2023-05-16 2023-06-23 四川省港奇电子有限公司 一种电源适配器外壳注塑成型检测方法、系统及装置
CN116297463B (zh) * 2023-05-16 2023-08-01 四川省港奇电子有限公司 一种电源适配器外壳注塑成型检测方法、系统及装置
CN117474921A (zh) * 2023-12-27 2024-01-30 中国科学院长春光学精密机械与物理研究所 基于镜面高光去除的抗噪光场深度测量方法、系统及介质
CN117474921B (zh) * 2023-12-27 2024-05-07 中国科学院长春光学精密机械与物理研究所 基于镜面高光去除的抗噪光场深度测量方法、系统及介质

Also Published As

Publication number Publication date
CN113096057B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN113096057B (zh) 一种基于四光源光度立体法的高光消除方法
Zhang et al. Fast haze removal for nighttime image using maximum reflectance prior
Ancuti et al. Enhancing underwater images and videos by fusion
Nezhadarya et al. A new scheme for robust gradient vector estimation in color images
Mohan et al. Underwater image enhancement based on histogram manipulation and multiscale fusion
CN112085673A (zh) 一种强鬼影去除多曝光图像融合方法
Grisan et al. Model-based illumination correction in retinal images
Łuczyński et al. Underwater image haze removal and color correction with an underwater-ready dark channel prior
Jackson et al. Hybrid single image dehazing with bright channel and dark channel priors
Honda et al. Make my day-high-fidelity color denoising with near-infrared
Han et al. Automatic illumination and color compensation using mean shift and sigma filter
CN111652823A (zh) 一种基于颜色信息的结构光测量高反射率物体的方法
Lee et al. Joint defogging and demosaicking
Johnson High dynamic range imaging—A review
Sooknanan et al. Improving underwater visibility using vignetting correction
Wang et al. Fast visibility restoration using a single degradation image in scattering media
Gautam et al. An advanced visibility restoration technique for underwater images
Yu et al. Image enhancement algorithm based on image spatial domain segmentation
Hong et al. Nighttime single image dehazing based on the structural patch decomposition
Ju et al. Correction of saturated regions in RGB color space
Dewangan Visual quality restoration & enhancement of underwater images using HSV filter analysis
He et al. Single image dehazing using non-local total generalized variation
Tang et al. DB-GAN: A Low Contrast Image Enhancer Based on NIR-RGB Fusion
Kaur et al. Comparison of noise removal techniques using bilateral filter
Vyas et al. Design and Modelling of Underwater Image Enhancement using Improved Computing Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant