CN116485702A - 图像处理方法、装置以及存储介质 - Google Patents

图像处理方法、装置以及存储介质 Download PDF

Info

Publication number
CN116485702A
CN116485702A CN202210048889.5A CN202210048889A CN116485702A CN 116485702 A CN116485702 A CN 116485702A CN 202210048889 A CN202210048889 A CN 202210048889A CN 116485702 A CN116485702 A CN 116485702A
Authority
CN
China
Prior art keywords
line segment
image
target image
extension
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210048889.5A
Other languages
English (en)
Inventor
张毅飞
王志成
曹婷
贾焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN202210048889.5A priority Critical patent/CN116485702A/zh
Priority to JP2023004967A priority patent/JP7435840B2/ja
Publication of CN116485702A publication Critical patent/CN116485702A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本文公开了一种可以用于延长图像中的线段的图像处理方法,包括:获取包含缺陷特征的目标图像;从所述目标图像中识别至少一个线段;对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。

Description

图像处理方法、装置以及存储介质
技术领域
一般地,本发明涉及图像处理领域,更具体地涉及一种可以用于延长图像中的线段的图像处理方法、图像处理装置以及相应的计算机可读存储介质。
背景技术
近年来,基于计算机视觉处理的缺陷检测技术已经广泛应用于各行各业,其能够通过对待检物体的拍摄图像进行图像处理,来确定待检物体是否存在缺陷。例如,缺陷检测在生产制造等行业中有着非常重要的应用,通过对制造好的工件进行缺陷检测,能够挑选出外观轮廓符合要求的工件并且剔除外观轮廓存在缺陷的工件,以满足一定的成品合格率。
然而,在图像背景杂乱、非线性照明和对比度反转等不期望的条件下,现有的缺陷检测技术会受到不利影响,导致图像中的诸如裂纹、缺口等缺陷特征出现不连续或模糊的情况。
因此,需要一种能够有效地检测物体的缺陷的技术,尤其是有效地对于背景噪声、非线性照明和对比度反转情况具有鲁棒性的图像处理技术。
发明内容
至少为了解决上述技术问题,根据本发明的其中一个方面,提供了一种图像处理方法,包括:获取包含缺陷特征的目标图像;从所述目标图像中识别至少一个线段;对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
根据本发明的实施例之一,其中,在所述识别至少一个线段之前,基于自适应直方图均衡化方法,对所述目标图像进行预处理,并且从经预处理后的目标图像中识别所述至少一个线段。
根据本发明的实施例之一,其中,所述从目标图像中识别至少一个线段包括:对所述目标图像采用基于频域滤波的处理,以获得保留高频信息的第一结果图像;对所述目标图像采用基于空间双边滤波的处理,以获得第二结果图像;将所述第一结果图像与所述第二结果图像融合,以获得增强后的最终结果图像;以及通过对增强后的最终结果图像进行二值化处理,得到至少一个线段区域,并使用骨架提取算法对所述线段区域进行细化,以获得所述目标图像的所述至少一个线段。
根据本发明的实施例之一,其中,所述方法还包括:为所述第一结果图像和所述第二结果图像分别设置权重系数;以及基于所设置的权重系数,将所述第一结果图像与所述第二结果图像融合。
根据本发明的实施例之一,其中,所述确定用于延长所述特定线段的延长方向包括:基于特定线段中的第一数量的点的方向,确定所述特定线段的所述主方向;基于特定线段中靠近端点的第二数量的点切线方向,确定所述特定线段的所述切线方向,其中所述第一数量大于第二数量;为所述主方向和所述切线方向分别设置权重系数;以及基于所设置的权重系数,确定所述特定线段的延长方向。
根据本发明的实施例之一,其中,所设置的权重系数根据该特定线段的曲率而调整;或者所设置的权重系数分别与所述第一数量和所述第二数量正向相关。
根据本发明的实施例之一,其中,所述延长处理包括:从识别出的至少一个线段中选择满足条件的线段作为候选线段;以及仅对所述候选线段进行所述延长处理;其中,所述条件包括:线段的长度大于第一阈值和/或线段与最近的线段的距离小于第二阈值。
根据本发明的另一个方面,提供了一种图像处理装置,包括:获取单元,配置为获取包含缺陷特征的目标图像;识别单元,配置为从所述目标图像中识别至少一个线段;处理单元,配置为对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
根据本发明的又一个方面,提供了一种图像处理装置,包括:处理器;和存储器,在所述存储器中存储有计算机程序指令,其中,在所述计算机程序指令被所述处理器运行时,使得所述处理器执行以下步骤:获取包含缺陷特征的目标图像;从所述目标图像中识别至少一个线段;对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
根据本发明的又一个方面,提供了计算机可读存储介质,其上存储有计算机程序指令,其中,计算机程序指令被处理器执行时实现以下步骤:获取包含缺陷特征的目标图像;从所述目标图像中识别至少一个线段;对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
根据本发明的上述方面,能够基于从图像中识别的线段的局部信息和全局信息,对线段进行延长处理,以克服缺陷特征不连续的情况。此外,根据本发明的上述方面,能够去除光照不均匀以及背景噪声等引起的不利影响,保持缺陷特征的边缘信息。因此,本发明的图像处理方法、图像处理装置能够有效地处理背景复杂、非线性照明和对比度反转情况。
附图说明
通过结合以下附图对本发明的实施例进行详细描述,本发明的上述和其他目的、特征、优点将会变得更加清楚。应理解,这些附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。此外在附图中,相同的参考标号通常代表相同部件或步骤。
图1是示出根据本发明实施例的图像处理方法的流程图;
图2是示出根据本发明实施例的目标图像,该目标图像为包含裂纹的环形工件的图像;
图3是示出根据本发明实施例的针对特定线段的延长处理的示意图;
图4是示出根据本发明实施例的经过延长处理后的线段的示意图;
图5是示出根据本发明实施例的识别线段方法的流程图;
图6是示出根据本发明实施例的融合频域滤波和空间域滤波来增强图像的示意图;
图7是示出根据本发明实施例的图像处理装置的示例的框图;
图8是示出根据本发明实施例的图像处理装置的另一示例的框图。
应理解,这些附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。
具体实施方式
以下将参照附图描述根据本发明的图像处理方法、图像处理装置和计算机可读记录介质的实施例。应理解,基于本发明中描述的实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其他实施例都应落入本发明的保护范围之内,并且本文描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,这些实施例仅仅是说明性和示例性的,因此不应被解释为限制本发明的范围。此外,为了使说明书更加清楚简洁,将省略对本领域熟知的功能和构造的详细描述,并且还将省略对步骤和元件的重复解释说明。
首先,结合图1来详细描述根据本发明实施例的图像处理方法的基本流程。如图1所示,图像处理方法可以包括以下处理:
在步骤S101处,获取包含缺陷特征的目标图像。
根据本发明的实施例,目标图像可以通过以下方式来获取,包括但不限于:经由有线或者无线的方式接收一个或多个目标图像。替代地,获取目标图像还可以包括:从存储器获取预先存储的图像,或者通过诸如相机等图像捕捉设备所捕捉的连续帧图像。其中,目标图像可以是图像捕捉设备捕捉的原始图像,该原始图像可以是灰度的或彩色的图像,并且也可以是对原始图像进行各种图像预处理之后获得的处理后的图像。其中,这样的图像预处理包括但不限于:例如,裁剪、缩放、或变形等处理。
此外,根据本发明的一个实施例,目标图像中包含的缺陷特征可以是产品或者是建筑表面上的裂纹、缺口、缝隙或污渍或诸如此类的缺陷。另外,需说明的是,取决于本发明的图像处理方法的具体应用场景,图像中的缺陷特征并不限于物体表面上出现的瑕疵,还可以广泛地包含图像中感兴趣的任何类型的直线或者曲线的一部分,诸如纹理或线条。
在本文中,将以环形工件的图像作为目标图像的示例进行说明。图2示出这样的环形工件的图像,其中在该环形工件的表面上存在作为缺陷特征的两个裂纹,然而,由于光照不均匀等外部因素或成像元件自身的内在因素,如图2所示,原本完整的裂纹可能在目标图像中出现模糊、不连续的成像,这将对于缺陷检测等处理产生不利的影响。
在步骤S102处,从目标图像中识别至少一个线段。
如图2所示,在目标图像中的裂纹呈现为多个线段,在该步骤中,将从目标图像中识别这些线段,以用于在步骤S103处,对识别的线段进行延长处理。
接下来,结合图3来详细描述根据本发明实施例的特定线段的延长处理。
具体而言,对于从图像中识别的至少一个线段中的每个未经延长处理的特定线段,需要确定针对该特定线段的延长方向和延长长度,以用于对该线段进行延长处理。
根据本发明的实施例,基于特定线段的主方向和切线方向,确定用于延长该特定线段的延长方向。在本文中,线段的主方向指该线段中大多数点或者甚至所有点的方向的平均方向,例如,如图3中(a)所示,这样的主方向可以是反映该线段的整体方向和趋势的整体信息,根据本发明的一个实施例,可以通过计算该线段中的大多数点(诸如大于总数量的50%)或所有点的方向的平均方向或选取能够代表最多数量的点的方向作为该线段的主方向;线段的切线方向则可以通过该线段中靠近端点的少数点(诸如小于总数量的50%)的方向得出,例如,类似于主方向的算法,可通过求平均方向或选取多数的方向作为该线段的切线方向,替代地,可以通过对该线段中靠近端点的少数点构成的曲线的拟合函数求导,得到相应的切线方向。在上述实施例中,用于确定线段的切线方向的点的数量应小于用于确定线段的主方向的点的数量,因为切线方向仅是反映线段端部处的方向和趋势的局部信息。
此外,在确定特定线段的主方向和切线方向后,可以为所述主方向和所述切线方向分别设置权重系数,并基于所设置的权重系数,确定所述特定线段的延长方向,例如,可以用如下等式(1)来表达:
DE=ct*Dt+cp*Dp (1)
上式中,Dt表示线段末端的切线方向,Dp表示线段的主方向,DE表示线段的延长方向,ct和cp分别是切线方向和主方向的权重系数,默认设置为ct=cp=0.5。应理解,每个线段具有两端,可以根据需要针对线段的一端或两端来确定其相应的延长方向。
此外,由于线段实际上可看作为具有曲率的曲线的一部分,即每个线段具有相应的曲率,根据本发明的一个优选实施例,特定线段的切线方向和主方向的权重系数可以根据该特定线段的曲率而调整,例如,该特定线段的曲率越大,则为该特定线段的切线方向设置的权重系数越大,相应地,为该特定线段的主方向设置的权重系数越小,反之亦然。替代地,特定线段的切线方向和主方向的权重系数还可以与用于确定方向的点的数量正向相关。以此方式,使得所确定的延长方向在期望的应用场景下更加准确。
另一方面,根据本发明的实施例,基于特定线段的长度,确定用于延长所述特定线段的延长长度。如图3中(b)所示,线段的延长长度可以是该线段自身长度的四分之一或者是任意的百分比。例如,可以用如下等式(2)来表达:
LE=ccurve*Lc (2)
上式中,Lc表示线段的长度,LE表示线段延长的长度,ccurve表示延长系数。根据本发明的一个优选实施例,延长系数可以根据线段之间的距离或是否靠近边缘而调整。以此方式,使得延长后的线段更符合真实的缺陷特征。
在通过上述处理确定特定线段的延长方向和延长长度后,使用所确定的延长方向和延长长度来延长所述特定线段,以获得延长后的线段。图4示出了经过延长处理后的线段的示意图,可以看到经过延长处理后的各线段形成了连续的完整线段,克服了裂纹不连续的情况,而形成的完整线段对应于环形工件的裂纹所形成的图案,因此,通过上述对至少一个线段的延长处理,能够增强了目标图像中的缺陷特征。
此外,根据本发明的一个优选实施例,在识别至少一个线段之前,还可以基于自适应直方图均衡化方法,对目标图像进行预处理,并且从经预处理后的目标图像中识别所述至少一个线段。
具体而言,图像的灰度直方图是关于图像灰度值分布的函数,可看作是对图像中的灰度值分布的统计图,通过图像灰度值分布的函数可以反映图像中具有某灰度值的像素出现的概率。通常,较暗图像的灰度直方图的分布呈现出集中在灰度值较低的一侧,相反,较亮图像的灰度直方图的分布呈现出集中在灰度值较高的一侧,而如果一幅图像的灰度直方图几乎覆盖了整个灰度的取值范围,即整个灰度值分布趋近于均匀分布,那么该图像则具有较大的灰度动态范围和较高的对比度。而如上所述,导致目标图像中作为缺陷特征的裂纹模糊或不连续的一个原因可能在于因光照不均匀造成图像的灰度动态范围较窄,导致图像的细节丧失。
因此,在识别用于延长处理的线段之前,预先采用基于自适应直方图均衡化方法对目标图像进行处理,例如,自适应直方图均衡化(Adaptive Hisogram Equalization)、限制对比度自适应直方图均衡化(Contrast Limited Adaptive Hitogram Equalization)、以及自适应局部区域伸展(Local Region Stretch)直方图均衡化等,可以使得图像的细节更为显著,有助于后续对至少一个线段的识别处理,相应地,经延长处理后的限定也更加完整、准确。
此外,根据本发明的一个优选实施例,可以进一步采用频域滤波和空间域滤波相结合的方法来增强图像,并从增强后的图像中提取至少一个线段用于后续的延长处理。结合图5、6对该识别线段方法进行具体说明。
图5是示出根据本发明实施例的识别线段方法的流程图。如图5所示,该识别线段方法可以包括以下处理:
在步骤S501处,对目标图像采用基于频域滤波的处理,以获得保留高频信息的第一结果图像。
具体而言,如图6中所示的基于频域滤波的处理的示意图,首先通过傅里叶变换或诸如此类的频域变换方法得到目标图像的频域图像,接着用高通滤波器对该频域图像进行滤波处理,保留图像中的高频成分,然后对经滤波后的图像进行逆变换处理最终得到第一结果图像。以此方式,在该第一结果图像中滤除了低频信息而保留与潜在的缺陷特征对应的高频信息,同时能够消除图像中受不均匀光照的不利影响。
另一方面,在步骤S502处,对目标图像采用基于空间双边滤波的处理,以获得第二结果图像。
具体而言,基于空间双边滤波的处理是由双边滤波器实现的空间(空间域)滤波处理,这种双边滤波器除了使用像素在几何上的靠近程度之外,还考虑了像素之间的光度/色彩差异,使得双边滤波器能够有效的将影像上的噪声去除,同时保存影像上的边缘信息。例如,这种双边滤波器由关于像素的欧式距离的函数和关于像素的灰度差值的函数共同构成。如图6中所示的基于空间双边滤波的处理的示意图,经过空间域双边滤波后得到第二结果图像。
此外,需要说明的是,步骤S501和S502的基于频域滤波的处理和基于空间双边滤波的处理可以同步进行,也可以是以先后顺序进行。
然而,在上述的基于频域滤波的处理和基于空间双边滤波的处理两者中,均存在各自的优势和局限性,例如,空间域滤波在锐化方面效果明显,能够使图像中的线条突出,这种滤波方法具有算法简单、处理速度较快等优点,但在降噪同时使图像产生模糊,特别是在边缘和细节处;而频域滤波的算法相对复杂,计算速度慢,去噪同时将会导致边缘信息损失,使图像边缘模糊。
鉴于此,本发明进一步通过融合频域滤波处理结果图和空间域滤波处理结果图来获得增强后的最终结果图像,也即,在接来下的步骤S503处,将第一结果图像与第二结果图像融合,以获得增强后的结果图像。如图6中所示,将频域滤波后的结果图与空间域双边滤波的结果图融合来得到增强的图像。
此外,根据本发明的一个优选实施例,在融合处理中,还可以为第一结果图像和第二结果图像分别设置权重系数;以及基于所设置的权重系数,将第一结果图像与第二结果图像融合,例如,可以用如下等式(3)来表达:
IE(x,y)=cf*IF(x,y)+cs*Is(x,y) (3)
上式中,IE(x,y)表示增强后的最终结果图像,IF(x,y)表示对应于频域滤波处理的第一结果图,Is(x,y)表示对应于空间域滤波处理的第二结果图,cf和cs分别是该第一结果图像和该第二结果图像的权重系数,默认设置为cf=cs=0.5。此外,根据本发明的一个优选实施例,对于细节较多的复杂图像,例如,缺陷特征数量较多的图像,将增大频域滤波处理的第一结果图像的权重系数,相应地减小空间域滤波处理的第二结果图像的权重系数,反之亦然。
回到图5所示的识别线段方法的流程,在步骤S503处获得增强后的结果图像之后,接下来在步骤S504处,通过对增强后的最终结果图像进行二值化处理,得到至少一个粗略的线段区域,并对这样的线段区域采用骨架提取算法进行细化,以获得目标图像的至少一个线段。
具体而言,通过二值化处理将融合后的结果图像转换为仅由灰度值为0或255的像素构成的黑白图像,从而在该图像中得到具有较大宽度的线段,即,线段区域,在此基础上,通过骨架提取算法(例如,Skeletonize函数和medial_axis函数)对这些线段区域的像素进行剥离,而保持原来的形状,直到从该区域中获得期望宽度(诸如近似为1个像素)的线段,由此实现对线段区域的细化。以此方式,能够去除图像中的多余信息,突出感兴趣的结构和形状信息,进一步对图像进行了增强。
此外,在上述实施例的识别线段方法中,可以对目标图像直接采用频域滤波和空间域滤波相结合的方法来增强图像,也可以是在对目标图像进行诸如本文所述的自适应直方图均衡化方法的预处理后,对经预处理后的目标图像采用频域滤波和空间域滤波相结合的方法来增强图像。
经过上述处理,能够从目标图像中识别/提取了至少一个线段,以用于进行延长处理,从而得到与目标图像中的缺陷特征相关的延长后的线段。
然而,从图4中还可以看到,在从目标图像中识别出的多个线段中,其中一部分线段可能是与缺陷特征无关的噪声,对于这些与缺陷特征无关的线段,并不需要进行延长处理,因此,根据本发明的一个优选实施例,上述延长处理还包括从识别出的至少一个线段中选择满足条件的线段作为候选线段,并仅对候选线段进行延长处理,其中要求满足的条件可以包括线段的长度大于第一阈值,或者线段与最近的线段的距离小于第二阈值,或者上述两者。以此方式,从识别出的至少一个线段中选择具有大于阈值的长度的线段,或者选择距离另一线段的距离小于阈值的线段,或者选择同时满足上述两个条件的线段作为候选线段,从而去除图像中的噪音而仅对于缺陷特征有关的线段进行演唱出,能够减少图像处理方法的计算量,同时提高了缺陷检测的准确性。
由此可见,通过根据本发明的上述实施例的图像处理方法,能够基于从图像中识别的线段的局部信息和全局信息,对线段进行延长处理,以克服缺陷特征不连续的情况。此外,还能够去除光照不均匀以及背景噪声等引起的不利影响,保持缺陷特征的边缘信息。
接下来,将参照图7来描述根据本发明实施例的图像处理装置。
图7示出了根据本发明实施例的图像处理装置700的框图。如图7所示,图像处理装置700包括:获取单元710、识别单元720和处理单元730。应理解,所示结构只是示例性的,而非限制性的,并且除了这些单元以外,图像处理装置700还可以包括其他部件,然而,由于这些部件与本发明实施例的内容无关,因此本文中省略其图示和描述。
此外,由于根据本发明实施例的图像处理装置700执行的下述操作的具体细节与在上文中参照图1至图6描述的细节大致相似,因此,本文出于简洁的目的而省略对相同细节的部分描述。下文将逐一介绍图像处理装置700中的各个模块或部件。
获取单元710,配置为配置为获取包含缺陷特征的目标图像。所述获取单元710执行的具体处理与上文结合图1描述的步骤S101的相应内容一致。
具体而言,根据本发明的实施例,所述获取单元710可以是诸如手机、照相机、摄像机等图像捕获设备,或者是用于从这样的图像捕获设备中接收捕获图像的设备。此外,获取单元710可以与图像处理装置700中的其他模块在物理位置上分离,并且经由有线或者无线方式,由所述获取单元710将捕获图像传输给图像处理装置700中的其他模块。替代地,获取单元1110可以与图像处理装置700中的其他模块或组件物理上位于同一位置,甚至位于同一壳体内部,所述图像处理装置700中的其他模块或组件经由内部总线接收由获取单元710获取的图像。
识别单元720,配置为从目标图像中识别至少一个线段。所述识别单元720执行的具体处理与上文结合图1描述的步骤S102的相应内容一致。
具体而言,根据本发明的实施例,所述识别单元720将从由获取单元710所获取的目标图像中识别线段,以用于处理单元730对识别的线段进行延长处理。
此外,根据本发明的一个优选实施例,在识别至少一个线段之前,识别单元720还可以基于自适应直方图均衡化方法,对目标图像进行预处理,并且从经预处理后的目标图像中识别所述至少一个线段。
此外,根据本发明的一个优选实施例,识别单元720可以进一步采用频域滤波和空间域滤波相结合的方法来增强图像,并从增强后的图像中提取至少一个线段用于后续的延长处理。如上结合图5、6所具体说明的方法。
处理单元730,配置为对至少一个线段进行延长处理,其中,针对至少一个线段中的特定线段的延长处理包括:基于特定线段的主方向和切线方向,确定用于延长特定线段的延长方向;基于特定线段的长度,确定用于延长特定线段的延长长度;以及使用延长方向和延长长度来延长特定线段,以获得延长后的线段,延长后的线段与目标图像中的缺陷特征相关。所述处理单元730执行的具体处理与上文结合图1描述的步骤S103的相应内容一致。
此外,根据本发明的一个实施例,处理单元730基于特定线段的主方向和切线方向,确定用于延长该特定线段的延长方向。此外,处理单元730在确定特定线段的主方向和切线方向后,可以为所述主方向和所述切线方向分别设置权重系数,并基于所设置的权重系数,确定所述特定线段的延长方向,如上文中等式(1)所示。另一方面,根据本发明的实施例,处理单元730基于特定线段的长度,确定用于延长所述特定线段的延长长度,如上文中等式(2)所示。
此外,根据本发明的一个实施例,处理单元730进行上述延长处理还包括从识别出的至少一个线段中选择满足条件的线段作为候选线段,并仅对候选线段进行延长处理,其中要求满足的条件可以包括线段的长度大于第一阈值,或者线段与最近的线段的距离小于第二阈值,或者上述两者。
接下来,将参照图8来描述根据本发明实施例的图像处理装置。
图8示出了根据本发明实施例的图像处理装置800的框图。如图8所示,图像处理装置800包括:处理器810和存储器820。其中,该图像处理装置800可以是计算机或服务器。应理解,所示结构只是示例性的,而非限制性的,并且除了这些单元以外,图像处理装置800还可以包括其他部件,然而,由于这些部件与本发明实施例的内容无关,因此本文中省略其图示和描述。
此外,由于根据本发明实施例的图像处理装置800执行的下述操作的具体细节与在上文中参照图1至图6描述的细节大致相同,因此,本文出于简洁的目的而省略对相同细节的部分描述。下文将逐一介绍图像处理装置800中的各个模块或部件。
处理器810可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以利用存储器820中所存储的计算机程序指令以执行期望的功能,其中,在计算机程序指令被处理器810运行时,执行以下步骤:获取包含缺陷特征的目标图像;从目标图像中识别至少一个线段;对至少一个线段进行延长处理,其中,针对至少一个线段中的特定线段的延长处理包括:基于特定线段的主方向和切线方向,确定用于延长特定线段的延长方向;基于特定线段的长度,确定用于延长特定线段的延长长度;以及使用延长方向和延长长度来延长特定线段,以获得延长后的线段,延长后的线段与目标图像中的缺陷特征相关。处理器810执行的上述步骤与上文描述的步骤S101至S103的相应内容一致。此外,处理器810还可以执行与上文结合图1至图6所描述的各实施例相对应的处理。
存储器820可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如,易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,使得处理器810可以运行所述程序指令,以实现上文所述的本发明的实施例的图像处理装置的功能和/或其它期望的功能,并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
接下来,将描述根据本发明实施例的计算机可读存储介质。本发明还提供一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现以下步骤:获取包含缺陷特征的目标图像;从目标图像中识别至少一个线段;对至少一个线段进行延长处理,其中,针对至少一个线段中的特定线段的延长处理包括:基于特定线段的主方向和切线方向,确定用于延长特定线段的延长方向;基于特定线段的长度,确定用于延长特定线段的延长长度;以及使用延长方向和延长长度来延长特定线段,以获得延长后的线段,延长后的线段与目标图像中的缺陷特征相关。上述步骤与上文描述的步骤S101至S103的相应内容一致。此外,所述计算机程序指令被处理器执行时还可以实现与上文结合图1至图6所描述的各实施例相对应的处理。
应理解,上述图像处理装置中的各部件或模块均可以由硬件实现,也可以由软件实现,并且还可以由硬件和软件的结合来实现。
上述各实施例仅是示例性的而非限制,且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果,这种合并和组合而成的实施例也被包括在本发明中,在此不逐一描述这种合并和组合。注意,在本发明中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外,上述发明的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的模块、装置、设备、系统的方框图仅作为例示性的例子并且不希望要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些模块、装置、设备、系统。另外,诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不希望要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的,可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不希望限制步骤的顺序;这些词语仅用于引导读者通读这些方法的描述。此外,例如使用冠词“一个”、“一”或者“该”、“所述”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外,本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行,事实上,可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例,而这些新的实施例也包括在本发明的范围内。并且,本文公开的方法和功能包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说,除非指定了动作的具体顺序,否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块,包括但不限于电路、专用集成电路(ASIC)或处理器。可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器,但是作为替换,该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合,例如DSP和微处理器的组合,多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪(Flash)存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中,存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令,并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
因此,计算机程序产品可以进行在此给出的操作。例如,这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质,该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。软件或指令也可以通过传输介质而传输。例如,可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外,用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如,这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者,在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软盘等的物理存储介质)提供,以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外,可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如,由于软件的本质,以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置,包括被分发以便功能的部分在不同的物理位置处实现。而且,如在此使用的,包括在权利要求中使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此,本发明不应被限制到在此示出的方面,而是按照与在此发明的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。并且,此描述不应将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像处理方法,包括:
获取包含缺陷特征的目标图像;
从所述目标图像中识别至少一个线段;
对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:
基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;
基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及
使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
2.如权利要求1所述的方法,其中,在所述识别至少一个线段之前,基于自适应直方图均衡化方法,对所述目标图像进行预处理,并且从经预处理后的目标图像中识别所述至少一个线段。
3.如权利要求1或2所述的方法,其中,所述从目标图像中识别至少一个线段包括:
对所述目标图像采用基于频域滤波的处理,以获得保留高频信息的第一结果图像;
对所述目标图像采用基于空间双边滤波的处理,以获得第二结果图像;
将所述第一结果图像与所述第二结果图像融合,以获得增强后的最终结果图像;以及
通过对增强后的最终结果图像进行二值化处理,得到至少一个线段区域,并使用骨架提取算法对所述线段区域进行细化,以获得所述目标图像的所述至少一个线段。
4.如权利要求3所述的方法,还包括:
为所述第一结果图像和所述第二结果图像分别设置权重系数;以及
基于所设置的权重系数,将所述第一结果图像与所述第二结果图像融合。
5.如权利要求1所述的方法,其中,所述确定用于延长所述特定线段的延长方向包括:
基于特定线段中的第一数量的点的方向,确定所述特定线段的所述主方向;
基于特定线段中靠近端点的第二数量的点切线方向,确定所述特定线段的所述切线方向,其中所述第一数量大于第二数量;
为所述主方向和所述切线方向分别设置权重系数;以及
基于所设置的权重系数,确定所述特定线段的延长方向。
6.如权利要求5所述的方法,其中,所设置的权重系数根据该特定线段的曲率而调整;或者
所设置的权重系数分别与所述第一数量和所述第二数量正向相关。
7.如权利要求1所述的方法,其中,所述延长处理包括:
从识别出的至少一个线段中选择满足条件的线段作为候选线段;以及
仅对所述候选线段进行所述延长处理;
其中,所述条件包括:
线段的长度大于第一阈值和/或线段与最近的线段的距离小于第二阈值。
8.一种图像处理装置,包括:
获取单元,配置为获取包含缺陷特征的目标图像;
识别单元,配置为从所述目标图像中识别至少一个线段;
处理单元,配置为对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:
基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;
基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及
使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
9.一种图像处理装置,包括:
处理器;
和存储器,在所述存储器中存储有计算机程序指令,
其中,在所述计算机程序指令被所述处理器运行时,使得所述处理器执行以下步骤:
获取包含缺陷特征的目标图像;
从所述目标图像中识别至少一个线段;
对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:
基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;
基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及
使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现以下步骤:
获取包含缺陷特征的目标图像;
从所述目标图像中识别至少一个线段;
对至少一个线段进行延长处理,其中,针对所述至少一个线段中的特定线段的所述延长处理包括:
基于特定线段的主方向和切线方向,确定用于延长所述特定线段的延长方向;
基于特定线段的长度,确定用于延长所述特定线段的延长长度;以及
使用所述延长方向和所述延长长度来延长所述特定线段,以获得延长后的线段,所述延长后的线段与所述目标图像中的缺陷特征相关。
CN202210048889.5A 2022-01-17 2022-01-17 图像处理方法、装置以及存储介质 Pending CN116485702A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210048889.5A CN116485702A (zh) 2022-01-17 2022-01-17 图像处理方法、装置以及存储介质
JP2023004967A JP7435840B2 (ja) 2022-01-17 2023-01-17 画像処理方法、装置及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210048889.5A CN116485702A (zh) 2022-01-17 2022-01-17 图像处理方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN116485702A true CN116485702A (zh) 2023-07-25

Family

ID=87221935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210048889.5A Pending CN116485702A (zh) 2022-01-17 2022-01-17 图像处理方法、装置以及存储介质

Country Status (2)

Country Link
JP (1) JP7435840B2 (zh)
CN (1) CN116485702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079144A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种非均匀光照下沥青路面检测图像线性裂缝提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3931068B2 (ja) 2001-09-28 2007-06-13 本田技研工業株式会社 画像処理装置、画像処理プログラム及び記録媒体
JP5395722B2 (ja) 2010-03-30 2014-01-22 大日本スクリーン製造株式会社 線画処理装置、線画処理方法およびプログラム
JP6583674B2 (ja) 2015-09-11 2019-10-02 オムロン株式会社 3次元測定装置、パターン生成装置、および方法
WO2017054140A1 (zh) 2015-09-29 2017-04-06 华为技术有限公司 主从型网络的ip地址分配方法、装置及系统
US10789684B2 (en) 2018-06-12 2020-09-29 Carl Zeiss Ag Method, apparatus, and system for multilevel bilateral noise filtering
JP7188201B2 (ja) 2019-03-13 2022-12-13 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079144A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种非均匀光照下沥青路面检测图像线性裂缝提取方法
CN117079144B (zh) * 2023-10-17 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种非均匀光照下沥青路面检测图像线性裂缝提取方法

Also Published As

Publication number Publication date
JP2023104915A (ja) 2023-07-28
JP7435840B2 (ja) 2024-02-21

Similar Documents

Publication Publication Date Title
CN110766736B (zh) 缺陷检测方法、装置、电子设备以及存储介质
CN109242853B (zh) 一种基于图像处理的pcb缺陷智能检测方法
CN114418957B (zh) 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN109829876B (zh) 基于机器视觉的链板缺陷在线检测装置及方法
CN106780486B (zh) 一种钢板表面缺陷图像提取方法
CN115272346A (zh) 一种基于边缘检测的pcb板生产过程在线检测方法
CN107490582B (zh) 一种流水线工件检测系统
CN109214996B (zh) 一种图像处理方法及装置
CN109544583B (zh) 一种提取皮革图像感兴趣区域的方法、装置及设备
JP6208426B2 (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
CN115063430B (zh) 基于图像处理的电气管道裂纹检测方法
CN109325421B (zh) 一种基于边缘检测的睫毛去除方法及系统
EP3073415B1 (en) Image processing apparatus and image processing method
JP7449507B2 (ja) カメラストリームのためのマスクを生成する方法、コンピュータープログラム製品およびコンピューター可読媒体
CN111598801B (zh) 一种用于微弱Mura缺陷的识别方法
CN111476750B (zh) 对成像模组进行污点检测的方法、装置、系统及存储介质
CN110688871A (zh) 一种基于条码识别的边缘检测方法
CN115797872A (zh) 基于机器视觉的包装缺陷识别方法、系统、设备及介质
CN116542982A (zh) 一种基于机器视觉的出发判断器缺陷检测方法及装置
CN112053302A (zh) 高光谱图像的去噪方法、装置及存储介质
CN116485702A (zh) 图像处理方法、装置以及存储介质
CN115587966A (zh) 一种在光照不均匀条件下零件有无缺漏的检测方法及系统
CN108205678B (zh) 一种含有亮斑干扰的铭牌文字识别处理方法
CN106600662B (zh) 图像中主线条的绘制方法及装置
CN115496984A (zh) 瓷砖成品缺陷自动识别方法、装置、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination