CN112583999A - 相机模块的镜头脏污检测方法 - Google Patents

相机模块的镜头脏污检测方法 Download PDF

Info

Publication number
CN112583999A
CN112583999A CN202011393221.1A CN202011393221A CN112583999A CN 112583999 A CN112583999 A CN 112583999A CN 202011393221 A CN202011393221 A CN 202011393221A CN 112583999 A CN112583999 A CN 112583999A
Authority
CN
China
Prior art keywords
image
block
brightness
dark
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011393221.1A
Other languages
English (en)
Other versions
CN112583999B (zh
Inventor
赖志宏
李建庆
傅楸善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luxvisions Innovation Ltd
Original Assignee
Luxvisions Innovation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luxvisions Innovation Ltd filed Critical Luxvisions Innovation Ltd
Priority to CN202011393221.1A priority Critical patent/CN112583999B/zh
Publication of CN112583999A publication Critical patent/CN112583999A/zh
Priority to TW110145118A priority patent/TWI779948B/zh
Application granted granted Critical
Publication of CN112583999B publication Critical patent/CN112583999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Encapsulation Of And Coatings For Semiconductor Or Solid State Devices (AREA)

Abstract

本发明提出一种相机模块的镜头脏污检测方法，包含取得相机模块拍摄的一影像；对影像执行一灰阶处理以取得一灰阶影像；对灰阶影像执行一高通滤波处理及一对比处理以取得一待测影像；将待测影像区分为多个区块；对每一区块中的多个像素的亮度值计算一亮度平均值；对于每个区块计算其与相邻的多个区块的一亮度梯度；以及当亮度梯度大于一亮度门槛值时，判断对应的区块为一脏污。

Description

相机模块的镜头脏污检测方法
技术领域
本发明是有关于一种影像处理技术，尤其是一种相机模块的镜头脏污检测方法。
背景技术
相机模块的镜头一般是由透镜组成的，用于在底片或投影布上形成影像的光学装置，可广泛的应用于摄像机、数字相机、或具有摄像或拍摄功能的手机、电脑等电子设备。
由于镜头广泛的被应用，因此对于镜头的量产以及其质量的需求也相对提升。然而，在镜头的生产及装配的过程中，难免会有灰尘、皮屑、污垢、水渍、刮痕、坏点等异物或脏污情形出现在镜头上，导致相机模块最后的成像会出现不需要的阴影，而影响成像的质量，并造成镜头生产的良率下降。因此，对镜头进行精准的脏污检测变成极为重要。
然而，由于镜头的脏污的位置与形状是微小且不易检测的。因而，一般在进行镜头的脏污检测时，会对相机模块经由镜头所拍摄的影像进行影像处理而突显出脏污以方便判断。然而，此影像处理方式会将影像的干扰波纹(例如自然波纹)也同时突显出来，而会影响对脏污的检测(例如会致使脏污检测发生错误判断的情形)。
发明内容
鉴于上述，本发明提供一种相机模块的镜头脏污检测方法，可在对镜头进行脏污检测时，消除相机模块经由镜头所拍摄的影像的干扰波纹，并精准的检测出镜头的脏污。
依据一些实施例，相机模块的镜头脏污检测方法包含取得相机模块拍摄的一影像；对影像执行一灰阶处理以取得一灰阶影像；对灰阶影像执行一高通滤波处理及一对比处理以取得一待测影像；将待测影像区分为多个区块；对每一区块中的多个像素的亮度值计算一亮度平均值；对于每个区块计算其与相邻的多个区块的一亮度梯度；以及当亮度梯度大于一亮度门槛值时，判断对应的区块为一脏污。
综上所述，依据本发明的实施例，通过对影像进行灰阶处理以及高通滤波处理以消除干扰波纹而降低脏污检测的误判。由于影像中每个像素之间并不一定是连续的，因此通过对影像中的多个像素组合成的区块进行亮度比对，以准确的判断出镜头的脏污及镜头的脏污位置(例如判断出脏污的边缘以界定出脏污的位置及大小)，而提升相机模块生产良率。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明一实施例的镜头脏污检测的系统的方块示意图。
图2为本发明一实施例的相机模块的镜头脏污检测方法的流程图。
图3为本发明一实施例的相机模块拍摄白色背景模板所产生的影像的示意图。
图4为本发明一实施例的灰阶影像的示意图。
图5为本发明一实施例的待测影像的示意图。
图6为本发明一实施例的区分为多个区块的待测影像的示意图。
图7为本发明一实施例的脏污检测结果的示意图。
图8为本发明一实施例的另一待测影像的示意图。
图9为本发明一实施例的相机模块的镜头脏污检测方法的流程图。
图10为本发明一实施例的决定出暗边区的待测影像的示意图。
图11为本发明一实施例的决定出暗角区的待测影像的示意图。
图12为本发明一实施例的相机模块的镜头脏污检测方法的流程图。
图13为本发明一实施例的将区分的第一区块移动第一边界后，形成的第二边界所界定的第二区块的待测影像的示意图。
其中，附图标记：
100:相机模块
200:影像处理装置
S201～S227:步骤
10:脏污
60:脏污标记
61,A1～A9,B1～B9:区块
63:边界
20:暗边区
21:影像边缘
23:距离
25:暗边边缘
27:间距
29:间距
C:中心轴
30:暗角区
31:影像边角
33:暗边边角
35:距离
37:间距
39:间距
cp:中心点
40:第一区块
41:第一边界
50:第二区块
51:第二边界
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
在本文中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。应以元件在功能上的差异来作为区分的准则，并不以名称的差异来作为区分元件的方式。在本文中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此系包含任何直接及间接的电气连接手段，因此，若文中描述一第一装置耦接于一第二装置，则代表第一装置可直接电气连接于第二装置，或者通过其他装置或连接手段间接地电气连接至第二装置。
参照图1，图1为本发明一实施例的镜头脏污检测的系统的方块示意图。镜头脏污检测的系统包含待测的一相机模块100以及影像处理装置200。相机模块100耦接影像处理装置200。所述相机模块100可为设置于摄像装置、数字相机、智能手机、电脑等具有摄像或取像功能的电子设备。相机模块100可包含镜头(镜头模块)以及影像感测器，以对物体进行摄像或取像，而产生物体的影像。若镜头具有脏污时，则会产生具有脏污阴影的影像。所述镜头可为由一或多个光学玻璃组成的透镜组。所述影像感测器可为将光信号转换为模拟电信号的感光装置，例如电荷耦合器件(Charge Coupled Device，CCD)、互补性金属氧化物半导体感光装置(Complementary Metal-Oxide Semiconductor，CMOS)。影像处理装置200自相机模块100取得其产生的影像，并对影像进行对应的处理，以产生处理后的结果。具体来说，影像处理装置200执行本发明的相机模块100的镜头脏污检测方法，以判断相机模块100的镜头是否有脏污而产生一结果。所述影像处理装置200可为台式电脑、笔记本电脑、嵌入式运算系统等具有影像处理功能的运算装置。
参照图2，图2系为本发明一实施例的相机模块100的镜头脏污检测方法的流程图。合并参照图3，图3为本发明一实施例的相机模块100拍摄白色背景模板所产生的影像的示意图。首先，取得相机模块100拍摄的一影像(步骤S201)。具体来说，影像处理装置200取得相机模块100经由镜头所拍摄的影像。例如，取得相机模块100通过拍摄白色背景模板所产生的影像。所述白色背景模板可以为白板、白纸、白布、白墙等。在一些实施例中，相机模块100的镜头可以紧贴于一目标光屏以进行拍摄而产生影像。所述目标光屏可为一表面光滑的稳定平行光源。通过拍摄目标光屏能够排除背景模板本身纹理对于后续脏污检测造成的影响，并能进一步提高拍摄亮度，从而使脏污更加准确且清晰地呈现于影像中，以利后续的脏污检测。
合并参照图4，图4为本发明一实施例的灰阶影像的示意图。接着，对影像执行一灰阶处理以取得一灰阶影像(步骤S203)。具体来说，影像处理装置200将影像的三原色光模式(RGB color model)的三个图像通道转换为单一图像通道以产生灰阶影像。例如，将影像中的每个像素的RGB值根据式1或式2来计算明亮度(Luminance或Luma)而转换成灰阶影像。其中式1与式2的Y表示明亮度，R代表单位像素的红色通道亮度，G代表单位像素的绿色通道亮度，B代表单位像素的蓝色通道亮度。
Y＝0.299*R+0.587*G+0.114*B……(式1)
Y＝0.333*R+0.333*G+0.333*B……(式2)
在取得灰阶影像后，对灰阶影像执行一高通滤波处理及一对比处理以取得一待测影像(步骤S205)。具体来说，影像处理装置200将灰阶影像通过高通滤波器提取其中的高频分量，并将提取的高频分量与灰阶影像叠加，以产生强化影像中高频细节的一高通滤波影像。在一些实施例中，高通滤波处理可为高斯滤波、中值滤波、最大值滤波、最小值滤波、反锐化遮掩(Unsharp Masking)或双边滤波(Bilateral Filter)等高通滤波的影像处理方式。藉由将影像转换为适当的灰阶影像，并将灰阶影像通过适当的高通滤波处理，能够消除影像中的干扰波纹(例如由影像中心所产生的同心圆波纹)，以降低对于后续脏污检测造成的影响(例如降低脏污检测误判的机会)。
合并参照图5，图5为本发明一实施例的待测影像的示意图。续，在影像处理装置200取得高通滤波影像后，对高通滤波影像执行对比处理以取得待测影像。具体来说，影像处理装置200对高通滤波影像进一步执行对比度的调节而产生待测影像。例如强化影像明暗对比，以使高通滤波影像中具有亮度值(Intensity)较小的像素其亮度值变得更小，而具有亮度值较大的像素其亮度值变得更大，以进一步强化高通滤波影像的细节(例如突显出高通滤波影像中的脏污阴影)。在一些实施例中，影像处理装置200可以对高通滤波影像进行对比平衡的调节，以重新分布高通滤波影像中的亮部与阴影，而使亮部与阴影之间达到平衡。所述对比处理例如但不限于全域型对比增强(Global Enhancement Methods)、直方图均衡对比增强(Histogram Equalization)、自适应直方图均衡对比增强(AdaptiveHistogram Equalization)、限制对比度自适应直方图均衡化(Contrast LimitedAdaptive Histogram Equalization)等。
合并参照图6，图6为本发明一实施例的区分为多个区块61的待测影像的示意图。在取得待测影像后，将待测影像区分为多个区块61(步骤S207)。具体来说，影像处理装置200将待测影像以多个边界63区分为分别包含多个像素的多个区块61，每一区块61所包含的像素数量可为一致的，且每一区块61定义在待测影像中的不同的位置并且互相不重叠。换言之，相邻的多个像素组合成为一区块61。在一些实施例中，每一区块61包含由多个像素组成的一像素矩阵(例如3*3的像素矩阵，亦即9个像素组合成的像素矩阵)。
接着，对每一区块61中的多个像素的亮度值计算一亮度平均值(步骤S209)。具体来说，待测影像中的每一像素具有一亮度值，亮度值的范围可以依据影像处理装置200所设定的色彩分辨率来调整，其中色彩分辨率为影像处理装置200是使用几个字节来记录色彩。例如若影像处理装置200使用八个字节来记录色彩，则亮度值的范围为0～255。影像处理装置200将每一区块61中的每一像素的亮度值相加后除以每一区块61中的像素数量，以计算得每一区块61的亮度平均值，如式3所示，其中IB为每一区块61的亮度平均值，n为每一区块61中像素的数量，Ii为每一区块61中每一像素的亮度值。
Figure BDA0002813455780000061
在计算得每一区块61的亮度平均值后，对于每一区块61计算其与相邻的多个区块61的一亮度梯度(步骤S211)。具体来说，影像处理装置200对每一区块61与其相邻的多个区块61分别进行偏微分以计算得亮度梯度(例如，若与当前欲计算的区块61相邻的多个区块61的数量是8个，则将当前区块61分别一对一计算其与相邻的区块61的亮度梯度，亦即计算得分别对应每一相邻区块61的8个亮度梯度)，亦即计算得每一区块61其与相邻的多个区块61之间的亮度值差异，(例如，计算得每一区块61其与相邻的多个区块61之间的亮度值的变化率)，换言之，影像处理装置200是根据每一区块61的亮度平均值其与相邻的多个区块61的亮度平均值之间的变化程度来计算亮度梯度。
合并参照图7，图7为本发明一实施例的脏污检测结果。在计算得每一区块61的亮度梯度后，影像处理装置200判断区块61的亮度梯度是否大于一亮度门槛值(步骤S213)。在区块61的亮度梯度大于亮度门槛值时，影像处理装置200判断亮度梯度大于亮度门槛值的区块61为一脏污10(步骤S215)。换言之，当区块61的亮度梯度大于亮度门槛值时，表示当前区块61其与相邻的多个区块61之间的亮度值差异过大，此时当前区块61可能为镜头脏污的边缘，因而影像处理装置200判断当前的区块61为脏污。在区块61的亮度梯度不大于亮度门槛值时，影像处理装置200判断亮度梯度不大于亮度门槛值的区块为一非脏污(步骤S217)。影像处理装置200通过组合判断为脏污的区块61，以获得镜头的每个脏污10的位置及大小，并产生一脏污结果，并于脏污结果中标记出脏污10的位置及大小。例如，如图7所示，影像处理装置200于影像中标记出判断为脏污10的区块61，并将判断为脏污10的相邻的区块61以一标示线串连而形成一脏污标记60，以产生具有脏污10的位置与脏污10的大小的脏污标记60的一脏污检测结果。藉此，可精准的判断出镜头是否有脏污10、脏污10的位置及大小，以快速判断相机模块100是否有瑕疵。
参照图8，图8为本发明一实施例的另一待测影像的示意图。区块A5与区块A1～A4、A6～A9相邻，区块A5位于脏污10的边缘。在此实施例中，可见区块A5的亮度平均值小于与其相邻的区块A1、A4、A7、A8，亦即区块A5与其相邻的区块A1、A4、A7、A8之间的亮度差异是较大的，换言之，计算得的区块A5的亮度梯度大于亮度门槛值，而影像处理装置200将会判断区块A5为脏污10。另一方面，区块B5与区块B1～B4、B6～B9相邻，区块B5未位于脏污10的边缘，且区块B5的亮度平均值与其相邻的区块B1～B4、B6～B9相同，因而计算得的区块B5的亮度梯度小于亮度门槛值，此时影像处理装置200将判断区块B5为非脏污。
在一些实施例中，在步骤S207中，影像处理装置200根据待测影像的一影像分辨率决定待测影像被区分成区块61的数量。例如，若待测影像的影像分辨率较高时(亦即相机模块100所使用的镜头的分辨率较高时)，则每一区块61所包含的像素数量可以大于在较低影像分辨率区分出的每一区块61所包含的像素数量，以使对于分辨率高的镜头及分辨率低的镜头皆可以快速的检测脏污10。在一些实施例中，亮度门槛值可以根据待测影像的影像分辨率而作调整。例如，若待测影像的影像分辨率较高时，此时每一区块61包含较大的像素数量，而致使每一区块61其与相邻的多个区块61的亮度梯度值可能较小(亦即，二区块61之间的亮度值差异可能较小)，因此，为了精准的判断区块61是否为脏污10，影像处理装置200可调降亮度门槛值。
参照图9，图9为本发明一实施例的相机模块100的镜头脏污检测方法的流程图。在一些实施例中，在步骤S205中，选用反锐化遮掩处理作为高通滤波处理。反锐化遮掩处理为使用模糊(blurred)、非锐化(unsharp)或负影像(negative)来对原影像进行蒙片(mask)，以产生较原影像清晰(锐化或不模糊)的新影像。在一些实施例中，反锐化遮掩处理可为以线性高频滤波器或非线性高频率波器来放大影像中高频的分量。
于此说明反锐化遮掩处理的程序。在取得灰阶影像后，对灰阶影像执行模糊处理而取得一模糊影像(步骤S2051)。具体来说，影像处理装置200以一低通滤波器提取灰阶影像中的低频分量，以产生模糊影像。所述低通滤波器可为框滤波器(box filter)、高斯模糊滤波器(Gaussian blur filter)、中值滤波器(median filter)、双边滤波器(bilateralfilter)等。举例来说，以高斯模糊滤波器为例，影像处理装置200将灰阶影像与灰阶影像的常态分布进行卷积(Convolution)，而产生降低杂讯与影像细节层次的模糊影像。在一些实施例中，低通滤波器在进行卷积以提取灰阶影像中的低频分量时，所使用的卷积核(kernel)的尺寸可以根据灰阶影像的影像分辨率(或镜头的分辨率)来设定，例如若灰阶影像的影像分辨率较高时，可以将卷积核设定为较大的尺寸。
在取得模糊影像后，对模糊影像执行一亮度反向处理而取得一负影像(步骤S2053)。具体来说，影像处理装置200将模糊影像中的每个像素的亮度值反转(inverse)，而产生负影像。亦即，影像处理装置200将模糊影像中的原明亮处变暗，并将原暗处变亮。举例来说，以影像处理装置200使用八个字节来记录色彩，而每个像素的亮度值的范围为0～255为例，当影像处理装置200执行亮度反向处理时，以亮度值范围的最大值(例如255)减去每一像素的原亮度值而计算出每一像素的新亮度值，以产生具有新的亮度值的负影像。
在取得灰阶影像及负影像后，依据负影像及灰阶影像，执行一线性光处理(Linearlight)而取得一线性光影像(步骤S2055)。具体来说，影像处理装置200将灰阶影像及负影像进行透明合成(Alpha blending)后产生线性光影像。更具体地来说，影像处理装置200将灰阶影像中的每一像素的原亮度值根据式4计算出新的亮度值而产生具有新的亮度值的线性光影像。在一些实施例中，线性光处理可为结合线性加深处理(Linear Burn)与线性减淡处理(Linear Dodge)，且线性光处理的效果可为类似于亮光处理(Vivid light)的效果。其中，线性加深处理为根据式5进行影像处理，线性减淡处理为根据式6进行影像处理，亮光处理为根据式7进行影像处理。其中式4的L表示线性光影像中每一像素的亮度值，式5的L表示经线性加深处理后产生的影像中每一像素的亮度值，式6的L表示经线性减淡处理后产生的影像中每一像素的亮度值，式7的L表示经亮光处理后的影像中每一像素的亮度值。其中，式4～式7的O表示灰阶影像中每一像素的亮度值，N表示负影像中每一像素的亮度值，Max表示亮度值范围的最大值。
L＝O+N*2-Max……(式4)
L＝O+N-Max……(式5)
L＝O+N……(式6)
Figure BDA0002813455780000091
在取得灰阶影像及线性光影像后，合并灰阶影像与线性光影像以产生一高通滤波影像(步骤S2057)。具体来说，影像处理装置200将灰阶影像及线性光影像进行透明合成后产生放大了灰阶影像中的高频分量的高通滤波影像。更具体地来说，影像处理装置200将灰阶影像中的每一像素的原亮度值根据式8计算出新的亮度值而产生具有新的亮度值的高通滤波影像。其中式8的L表示线性光影像中每一像素的亮度值，O表示灰阶影像中每一像素的亮度值，H表示高通滤波影像中每一像素的亮度值。
H＝O*0.5+L*0.5……(式8)
在取得高通滤波影像后，可选用自适应直方图均衡化处理作为对比处理，以取得待测影像(步骤S2059)。举例来说，影像处理装置200可以设定一直方图亮度阈值，并将高通滤波影像根据直方图亮度阈值而区分为像素的亮度值小于直方图亮度阈值的一区域及像素的亮度值大于直方图亮度阈值的另一区域。影像处理装置200分别对该二区域进行直方图均衡化处理，以重新分布高通滤波影像的像素的亮度值，而改进高通滤波影像的局部对比度和增强高通滤波影像中的边缘来获得更多细节。例如影像处理装置200可以根据式9与式10来分别对该二区域进行直方图均衡化处理。其中，式9与式10的I′表示为待测影像的像素的亮度值，I′MIN表示为待测影像的该些像素中所具有的最小亮度值，I′threshold表示为直方图亮度阈值，I′MAX表示为待测影像的该些像素中所具有的最大亮度值。在式9中，cdf(I)表示为高通滤波影像的小于直方图亮度阈值的像素的累积分布函数，cdf(IMIN)表示为高通滤波影像的小于直方图亮度阈值的该些像素中所具有的最小累积分布函数，cdf(ithreshold)表示为高通滤波影像的小于直方图亮度阈值的该些像素中所具有的最大累积分布函数。在式10中，cdf(I)表示为高通滤波影像的大于直方图亮度阈值的像素的累积分布函数，cdf(Ithreshold)表示为高通滤波影像的大于直方图亮度阈值的该些像素中所具有的最小累积分布函数，cDf(IMAX)表示为高通滤波影像的大于直方图亮度阈值的该些像素中所具有的最大累积分布函数。
Figure BDA0002813455780000101
Figure BDA0002813455780000102
在一些实施例中，影像处理装置200还可以决定待测影像的暗边区(步骤S219)，以协助判断区块61是否为脏污10。具体来说，影像处理装置200判断区块61是否位于暗边区(步骤S221)，若区块61位于暗边区中，则影像处理装置200判断区块61是非脏污(步骤S217)；若区块61位于暗边区之外，则影像处理装置200判断该区块61可能为脏污10(步骤S215)，或是进一步执行其他协助判断区块61是否为脏污10的步骤。由于相机模块100的设计及结构因素，一般所拍摄出的影像四周会具有暗边区，而暗边区中的像素其亮度值为小的，而若脏污10为位于拍摄出的影像的暗边区时，并不会影响影像的成像结果。因此，影像处理装置200在对镜头进行脏污检测时，可以排除位于暗边区中的区块61而仅对位于暗边区以外的区块61进行脏污检测。
参照图10，图10为本发明一实施例的决定出暗边区20的待测影像的示意图。在一些实施例中，暗边区20是待测影像的一影像边缘21向内位移一距离23所界定的一暗边边缘25和影像边缘21之间的区域。例如，影像边缘21往待测影像的中心轴C位移一距离23以界定暗边边缘25。在一些实施例中，影像边缘21向内位移的距离23可以根据暗边边缘25对应至中心轴C的间距27与影像边缘21对应至中心轴C的间距29之间的比例关系来设定。例如，暗边边缘25对应至中心轴C的间距27可为影像边缘21对应至中心轴C的间距29之98.5％，因此距离23可为影像边缘21对应至中心轴C的间距29之1.5％。
在一些实施例中，影像处理装置200还可以决定待测影像的暗角区(步骤S223)，以协助判断区块61是否为脏污10。具体来说，影像处理装置200判断区块61是否位于暗角区(步骤S225)，若区块61位于暗角区中，则影像处理装置200判断区块61是非脏污(步骤S217)；若区块61位于暗角区之外，则影像处理装置200判断该区块61可能为脏污10(步骤S215)，或是进一步执行其他协助判断区块61是否为脏污10的步骤。由于相机模块100的设计及结构因素，一般所拍摄出的影像四角落会具有暗角区，而暗角区中的像素其亮度值为小的，而若脏污10为位于拍摄出的影像的暗角区时，并不会影响影像的成像结果。因此，影像处理装置200在对镜头进行脏污检测时，可以排除位于暗角区中的区块61而仅对位于暗角区以外的区块61进行脏污检测。
参照图11，图11为本发明一实施例的决定出暗角区30的待测影像的示意图。在一些实施例中，暗角区30是待测影像的一影像边角31向内位移一距离35所界定的一暗边边角33和影像边角31之间的区域。例如，影像边角31往待测影像的中心点cp位移一距离35以界定暗边边角33。在一些实施例中，影像边角31向内位移的距离35可以根据暗边边角33对应至中心点cp的间距37与影像边角31对应至中心点cp的间距39之间的比例关系来设定。例如，暗边边角33对应至中心点cp的间距37可为影像边角31对应至中心点cp间距39之85％，因此距离35可为影像边角31对应至中心点cp间距39之15％。
在一些实施例中，步骤S213、步骤S221及步骤S225的顺序可以相互对调，换言之，可以先判断区块61是否位于暗边区20或暗角区30后，始判断区块61的亮度梯度是否大于亮度门槛值；或是先判断区块61的亮度梯度是否大于亮度门槛值后，始判断区块61是否位于暗边区20或暗角区30。在一些实施例中，步骤S219及步骤S223可以在步骤S201～S213之间执行，需注意的是步骤S221需在步骤S219之后执行，步骤S225需在步骤S223之后执行。
参照图12，图12为本发明一实施例的相机模块100的镜头脏污检测方法的流程图。在一些实施例中，在某些情形下，由于以包含多个个像素的多个区块61进行脏污检测可能会漏检测脏污10。例如，当前欲检测的区块61与其相邻的区块61皆位于脏污10的边缘时，可能会导致判断当前的区块61为非脏污而漏检测到此区块61，亦即发生脏污检测误判。因此为了提升脏污检测的精准度，在判断完每一区块61是否为脏污10后(步骤S215及S217)，影像处理装置200将区分为多个区块61(于后称为第一区块)的多个边界63(于后称为第一边界)沿一方向移动一步幅(stride)而根据移动后的多个边界63(于后称为第二边界)界定另一多个区块61(于后称为第二区块)(步骤S227)。
参照图13，图13为本发明一实施例的将区分的第一区块40移动第一边界41后，形成的第二边界51所界定的第二区块50的待测影像的示意图。在一些实施例中，影像处理装置200可以将第一区块40的第一边界41沿着待测影像的一维度方向(例如水平维度或垂直维度)移动一步辐后，形成第二边界51而以第二边界51界定第二区块50。在一些实施例中，步辐的大小可以根据第一区块40的像素所组合成的像素矩阵来设定，例如步辐的大小可设定成一半的像素矩阵。举例来说，若第一区块40的像素矩阵为3*3的矩阵(亦即第一区块40包含9个像素)，则影像处理装置200可以将第一区块40的第一边界41由左至右移动1.5个像素距离后，形成第二边界51以界定第二区块50。
在界定出第二区块50后，对每一第二区块50中的多个像素计算亮度平均值，亦即执行步骤S209。在计算得每一第二区块50的亮度平均值后，计算每一第二区块50其与相邻的多个第二区块50的亮度梯度，亦即执行步骤S211，并接续后续步骤(步骤S213～步骤S225)，以判断第二区块50是否为脏污10。藉此，可提升脏污检测的准确率。在判断完每一第二区块50是否为脏污后(步骤S215及S217)，可再回去执行步骤S227而将第二区块50的第二边界51沿着前一次移动的方向(亦即第一边界41所移动的方向)或沿着另一方向(例如前一次为沿着水平维度移动，此次为沿着垂直维度移动；例如前一次为由左至右移动，此次为由上至下移动)，而形成新的边界以界定新的区块61，并重复后续判断脏污10的步骤，以完善的检测相机模块100经由镜头所拍摄的影像是否具有脏污10。
在一些实施例中，脏污检测也可以由物体检测(Object Detection)来实现。例如使用YOLOv3的神经网络分析方式来实现。
综上所述，依据本发明的实施例，通过对影像进行灰阶处理以及高通滤波处理以消除干扰波纹而降低脏污检测的误判。由于影像中每个像素之间并不一定是连续的，因此通过对影像中的多个像素组合成的区块进行亮度比对，以准确的判断出镜头的脏污及镜头的脏污位置(例如判断出脏污的边缘以界定出脏污的位置及大小)，而提升相机模块生产良率。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种相机模块的镜头脏污检测方法，其特征在于，包含：
取得该相机模块拍摄的一影像；
对该影像执行一灰阶处理以取得一灰阶影像；
对该灰阶影像执行一高通滤波处理及一对比处理以取得一待测影像；
将该待测影像区分为多个区块；
对每一该区块中的多个像素的亮度值计算一亮度平均值；
对于各该区块计算其与相邻的该些区块的一亮度梯度；以及
当该亮度梯度大于一亮度门槛值时，判断对应的该区块为一脏污。
2.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，更包含：
决定该待测影像的一暗边区；
其中，判断该区块为该脏污的步骤是对于在该待测影像中位于该暗边区之外的该区块执行。
3.如权利要求2所述的相机模块的镜头脏污检测方法，其特征在于，该暗边区是该待测影像的一影像边缘向内位移一距离所界定的一暗边边缘和该影像边缘之间的区域。
4.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，更包含：
决定该待测影像的一暗角区；
其中，判断该区块为该脏污的步骤是对于在该待测影像中位于该暗角区之外的该区块执行。
5.如权利要求4所述的相机模块的镜头脏污检测方法，其特征在于，该暗角区是该待测影像的一影像边角向内位移一距离所界定的一暗边边角和该影像边角之间的区域。
6.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，更包含：
将区分为该些区块的多个边界沿一方向移动一步幅而根据移动后的该些边界界定另一该些区块；
对移动该些边界后所界定的每一该区块中的该些像素的亮度值计算该亮度平均值；以及
对于移动该些边界后所界定的各该区块计算其与相邻的该些区块的该亮度梯度。
7.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，该高通滤波处理包含：
对该灰阶影像执行一模糊处理而取得一模糊影像；
对该模糊影像执行一亮度反向处理而取得一负影像；
依据该负影像及该灰阶影像，执行一线性光处理而取得一线性光影像；以及
合并该灰阶影像与该线性光影像以产生一高通滤波影像，以供执行该对比处理而取得该待测影像。
8.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，对于各该区块计算其与相邻的该些区块的该亮度梯度的步骤，是根据各该区块的该亮度平均值与其相邻的该些区块的该些亮度平均值之间的变化程度来计算该亮度梯度。
9.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，将该待测影像区分为多个区块的步骤，是根据该待测影像的一影像分辨率，而将该待测影像区分为该些区块。
10.如权利要求1所述的相机模块的镜头脏污检测方法，其特征在于，该对比处理为一自适应直方图均衡化处理。
CN202011393221.1A 2020-12-02 2020-12-02 相机模块的镜头脏污检测方法 Active CN112583999B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011393221.1A CN112583999B (zh) 2020-12-02 2020-12-02 相机模块的镜头脏污检测方法
TW110145118A TWI779948B (zh) 2020-12-02 2021-12-02 相機模組的鏡頭髒污偵測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011393221.1A CN112583999B (zh) 2020-12-02 2020-12-02 相机模块的镜头脏污检测方法

Publications (2)

Publication Number Publication Date
CN112583999A true CN112583999A (zh) 2021-03-30
CN112583999B CN112583999B (zh) 2024-03-15

Family

ID=75127063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011393221.1A Active CN112583999B (zh) 2020-12-02 2020-12-02 相机模块的镜头脏污检测方法

Country Status (2)

Country Link
CN (1) CN112583999B (zh)
TW (1) TWI779948B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113532801A (zh) * 2021-06-24 2021-10-22 四川九洲电器集团有限责任公司 基于分布分位数的高/多光谱相机坏点检测方法及系统
CN113570582A (zh) * 2021-07-30 2021-10-29 上海集成电路制造创新中心有限公司 相机盖板清洁度检测方法及检测装置
CN113834823A (zh) * 2021-11-29 2021-12-24 浙江华诺康科技有限公司 内窥镜脏污检测装置以及脏污检测方法
CN114390225A (zh) * 2022-01-20 2022-04-22 上海安翰医疗技术有限公司 胶囊内窥镜脏污检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172397A (ja) * 2005-12-22 2007-07-05 Seiko Epson Corp エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置
CN109767428A (zh) * 2018-12-26 2019-05-17 中国科学院西安光学精密机械研究所 一种摄像模组脏污检测方法
CN110992327A (zh) * 2019-11-27 2020-04-10 北京达佳互联信息技术有限公司 镜头脏污状态的检测方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172397A (ja) * 2005-12-22 2007-07-05 Seiko Epson Corp エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置
CN109767428A (zh) * 2018-12-26 2019-05-17 中国科学院西安光学精密机械研究所 一种摄像模组脏污检测方法
CN110992327A (zh) * 2019-11-27 2020-04-10 北京达佳互联信息技术有限公司 镜头脏污状态的检测方法、装置、终端及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113532801A (zh) * 2021-06-24 2021-10-22 四川九洲电器集团有限责任公司 基于分布分位数的高/多光谱相机坏点检测方法及系统
CN113570582A (zh) * 2021-07-30 2021-10-29 上海集成电路制造创新中心有限公司 相机盖板清洁度检测方法及检测装置
CN113570582B (zh) * 2021-07-30 2022-07-29 上海集成电路制造创新中心有限公司 相机盖板清洁度检测方法及检测装置
CN113834823A (zh) * 2021-11-29 2021-12-24 浙江华诺康科技有限公司 内窥镜脏污检测装置以及脏污检测方法
CN113834823B (zh) * 2021-11-29 2022-04-08 浙江华诺康科技有限公司 内窥镜脏污检测装置以及脏污检测方法
CN114390225A (zh) * 2022-01-20 2022-04-22 上海安翰医疗技术有限公司 胶囊内窥镜脏污检测方法及装置

Also Published As

Publication number Publication date
TW202224404A (zh) 2022-06-16
TWI779948B (zh) 2022-10-01
CN112583999B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN112583999B (zh) 相机模块的镜头脏污检测方法
CN106770362B (zh) 基于aoi的宏观缺陷检测装置及方法
US7999867B2 (en) Image edge detection apparatus and method, image sharpness emphasizing apparatus and method, recorded meduim recorded the program performing it
CN108288264B (zh) 一种广角摄像头模组脏污测试方法
Várkonyi-Kóczy et al. Gradient-based synthesized multiple exposure time color HDR image
CN104749184A (zh) 自动光学检测方法和系统
CN110519485B (zh) 图像处理方法、装置、存储介质及电子设备
CN107395991A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN109064439B (zh) 基于分区的单侧入光式导光板暗影缺陷提取方法
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
Ma et al. An automatic detection method of Mura defects for liquid crystal display
CN116721039B (zh) 一种应用于自动化光学缺陷检测中的图像预处理方法
Cao et al. Vignetting correction based on a two-dimensional Gaussian filter with harmony for area array sensors
CN113657335A (zh) 基于hsv颜色空间的矿相识别方法
CN115131336B (zh) 一种显示屏四色背景画面下的暗线缺陷检测方法
JP4520880B2 (ja) しみ検査方法及びしみ検査装置
CN116503324A (zh) 一种基于机器视觉的黑胶模组外观检测方法及系统
CN113008524A (zh) 屏幕漏光检测方法及装置
JP2005283197A (ja) 画面のスジ欠陥検出方法及び装置
Gautam et al. An advanced visibility restoration technique for underwater images
CN112164058A (zh) 用于滤光片的丝印区域粗定位方法、装置及存储介质
CN110706168A (zh) 图像明暗调节方法
JP3433333B2 (ja) 欠陥検査方法
Han et al. Turbidity-adaptive underwater image enhancement method using image fusion
JP2004219072A (ja) 画面のスジ欠陥検出方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant