CN110610473B - 图像处理设备和图像处理方法及计算机可读存储介质 - Google Patents

图像处理设备和图像处理方法及计算机可读存储介质 Download PDF

Info

Publication number
CN110610473B
CN110610473B CN201910490721.8A CN201910490721A CN110610473B CN 110610473 B CN110610473 B CN 110610473B CN 201910490721 A CN201910490721 A CN 201910490721A CN 110610473 B CN110610473 B CN 110610473B
Authority
CN
China
Prior art keywords
linear region
images
statistical data
type
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910490721.8A
Other languages
English (en)
Other versions
CN110610473A (zh
Inventor
中西祐辅
菊地英幸
及川浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN110610473A publication Critical patent/CN110610473A/zh
Application granted granted Critical
Publication of CN110610473B publication Critical patent/CN110610473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了图像处理设备、图像处理方法和计算机可读存储介质。图像处理方法由计算机执行以用于确定线是裂缝还是除裂缝之外的其他东西。该方法包括:从由成像设备捕获的对象的图像中提取线性区域;确定在线性区域的长度方向上分开的多个位置中的每个位置处在穿过线性区域的方向上的亮度变化;以及基于多个位置处的亮度变化来识别线性区域的类型。

Description

图像处理设备和图像处理方法及计算机可读存储介质
技术领域
本文中讨论的实施方式涉及图像处理程序、图像处理设备和图像处理方法。
背景技术
已知一种裂缝检测装置,其被配置成检测被烟尘等弄脏的混凝土壁中存在还是不存在裂缝,以及一种表面缺陷检测装置,其被配置成检测展现多种颜色的检查目标表面中的诸如裂缝或划痕的表面缺陷(例如,参见日本特开专利公布第2014-6219号和日本特开专利公布第58-39936号)。
日本特开专利公布第2014-6219号中的裂缝检测装置朝向检查目标对象辐射红色光、蓝色光和绿色光中的至少一种,并且拍摄检查目标对象的图片。然后,裂缝检测装置根据RGB值计算所获得的图像的每个像素的色度并且确定检查目标对象的表面中存在还是不存在裂缝。
然而,上述技术可能将混凝土壁上存在的毛发、黑且脏的蜘蛛网、用黑色笔绘制的黑色线等错误地识别为裂缝。
上述问题不仅发生在对通过拍摄混凝土壁的图片而获得的图像中的裂缝进行检测的情况下,也会发生在对通过拍摄另一对象的图片而获得的图像中包含的线性区域的类型进行识别的情况中。
在一方面,本实施方式的目的是精确地识别通过拍摄对象的图片而获得的图像中包含的线性区域的类型。
发明内容
根据本实施方式的一方面,一种图像处理方法由计算机执行,以用于确定线是裂缝还是除裂缝之外的其他东西。该方法包括:从由成像设备捕获的对象的图像中提取线性区域;确定在线性区域的长度方向上分开的多个位置中的每个位置处的穿过该线性区域的方向上的亮度变化;以及基于多个位置处的亮度变化来识别线性区域的类型。
发明的有益效果
根据本实施方式,可以精确地识别通过拍摄对象的图片而获得的图像中包含的线性区域的类型。
附图说明
图1是图像处理设备的功能配置图;
图2是图像处理流程图;
图3是图像处理系统的功能配置图;
图4是示出图像捕获目标对象的图;
图5A和图5B是示出光照射角度的图;
图6A和图6B是示出矢量数据的图;
图7A和图7B是示出计算目标位置的图;
图8是示出包括分支的矢量数据的图;
图9是示出计算目标区域的图;
图10A至图10F是示出亮度信息的曲线图;
图11是示出图像处理的具体示例的流程图;
图12A和图12B是示出在数据库中注册的黑色线区域的类型和统计数据的表;
图13A和图13B是示出亮度信息所指示的亮度变化的统计数据的表;以及
图14是信息处理设备的配置图。
具体实施方式
在下文中,将参照附图详细描述实施方式。
图1示出了本实施方式的图像处理设备的功能配置示例。图1中的图像处理设备101包括存储单元111、提取单元112和识别单元113。存储单元111存储由成像设备捕获的对象的图像121。提取单元112和识别单元113对图像121执行图像处理。
图2是示出由图1中的图像处理设备101执行的图像处理的示例的流程图。首先,提取单元112从图像121中提取线性区域(步骤201)。接下来,在已被提取单元112提取的线性区域的长度方向上分开的多个位置中的每个位置处,识别单元113确定穿过线性区域的方向上的亮度变化(步骤202)。然后,识别单元113基于多个位置处的亮度变化来识别线性区域的类型(步骤203)。
根据图1中的图像处理设备101,可以精确地识别出通过拍摄对象的图片而获得的图像中包含的线性区域的类型。
图3示出了包括图1中的图像处理设备101的图像处理系统的功能配置示例。图3中的图像处理系统包括图像处理设备301、成像设备302和服务器303。
图像处理设备301对应于图1中的图像处理设备101,并且包括存储单元311、获取单元312、提取单元313、识别单元314、通信单元315和输出单元316。服务器303包括数据库331。存储单元311、提取单元313和识别单元314分别对应于图1中的存储单元111、提取单元112和识别单元113,并且图像321对应于图1中的图像121。
例如,成像设备302是包括用于图像捕获的元件(例如,电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS))的摄像机,并且其通过拍摄被光照射的对象的图片来捕获对象的图像321。然后,成像设备302将对象的图像321输出至图像处理设备301。
图像处理设备301的获取单元312获取来自成像设备302的图像321并将其存储在存储单元311中。提取单元313从图像321中提取线性区域,将提取到的线性区域转换为矢量数据322并将矢量数据存储在存储单元311中。矢量数据322包括近似于线性区域的多个线段,并且每个线段由其两端的端点的二维坐标来表示。
识别单元314使用矢量数据322来将在线性区域的长度方向上分开的多个位置确定为亮度变化计算目标。然后,识别单元314计算每个位置处的穿过线性区域的方向上的亮度变化,并且将指示计算出的亮度变化的亮度信息323存储在存储单元311中。
在服务器303的数据库331中,注册表示已由图像处理设备301计算出的亮度变化的统计数据,其中,亮度变化分别与过去捕获的对象的图像中包含的线性区域的多种类型相关联。
通信单元315经由通信网络与服务器303进行通信以从数据库331获取线性区域的类型和与线性区域的类型相关联的统计数据。识别单元314使用存储在存储单元311中的亮度信息323和从数据库331获取的类型和统计数据来识别从图像321提取的线性区域的类型。输出单元316输出由识别单元314识别的线性区域的类型。
图4示出了图像捕获目标对象的示例。光源402朝向混凝土壁401辐射包括红色、蓝色、绿色等多种颜色的光412,并且成像设备302拍摄被光照射的混凝土壁401的图片。
在这种情况下,例如,通过拍摄混凝土壁401的图片而获得的图像中包含的线性区域是看到裂缝411、毛发、黑且脏的蜘蛛网、用黑色笔绘制的黑色线等的黑色线区域。识别单元314将从图像中提取的黑色线区域的类型识别为裂缝411或除裂缝411之外的其他类型。例如,可以使用能够对具有低至约0.1mm的宽度的裂缝411进行图像捕获的摄像机作为成像设备302。
例如,蓝色光由于其波长短而很可能在空气中散射,而红色光由于其波长长而不太可能在空气中散射。因此,在除裂缝411之外的黑色线区域中,通过拍摄被蓝色光照射的混凝土壁401的图片而获得的图像与通过拍摄被红色光照射的混凝土壁401的图片而获得的图像之间的亮度分布显著不同。
相比之下,在裂缝411的情况下,由于无论光的波长如何反射光都会变弱,因此黑色线区域中的亮度分布在辐射蓝色光的情况与辐射红色光的情况之间几乎没有不同。因此,通过使用通过拍摄向其辐射多种颜色的光的对象的图片而获得的图像,可以识别出黑色线区域的类型是否为裂缝411。
注意,图像捕获目标对象不限于混凝土壁401,还可以是诸如玻璃、陶瓷、塑料、木材等的不同材料的对象。对象图像中包含的线性区域不限于看到裂缝等的黑色线区域,还可以是看到裂缝中填充的修补材料、绳、用白色笔绘制的白色线等的区域。
图5A和图5B示出了由光源402辐射的光的辐射角度的示例。x轴被包括在混凝土壁401的前表面中,并且y轴表示垂直于混凝土壁401的前表面的方向。成像设备302被设置在y轴上并且拍摄混凝土壁401的前表面的图片。
图5A示出了光源402以小角度朝向混凝土壁401的前表面辐射光的示例。例如,使用0度至30度范围内的角度作为混凝土壁401的前表面与光辐射角度之间的角度α。
图5B示出了光源402以大角度朝向混凝土壁401的前表面辐射光的示例。例如,使用60度至90度范围内的角度作为混凝土壁401的前表面与光照射角之间的角度β。
光源402以多个角度朝向混凝土壁401辐射光412,并且成像设备302拍摄被光照射的混凝土壁401的图片。例如,在混凝土壁401上存在三维对象(例如,毛发或蜘蛛网)的情况下,随着光412的辐射角度变小,很可能投射出该对象的阴影并且黑色线区域很可能扩展。另一方面,随着光412的辐射角度变大,则不太可能投射出阴影并且黑色线区域不太可能扩展。因此,通过使用通过拍摄以多个角度向其辐射光的对象的图片而获得的图像,可以识别出黑色线区域的类型是否为三维对象。
图6A和图6B中的每个图示出了表示裂缝411的黑色线区域的矢量数据322的示例。图6A示出了折线形式的矢量数据的示例。矢量数据601至矢量数据604表示沿着混凝土壁中的裂缝弯曲的四个黑色线区域。图6B示出了直线形式的矢量数据的示例。矢量数据605表示沿着混凝土壁中的裂缝延伸的一个黑色线区域。矢量数据601至矢量数据605中的每个矢量数据按预定间隔被划分为线段。
图7A和图7B中的每个图示出了矢量数据322上的计算目标位置的示例。图7A示出了图6A中的矢量数据601至矢量数据604上的计算目标位置的示例,而图7B示出了图6B中的矢量数据605上的计算目标位置的示例。
图7A和图7B中的每个计算目标线701表示计算了穿过矢量数据601至矢量数据605中的每个的黑色线区域的方向上的亮度变化的位置。在黑色线区域的长度小于预定值的情况下,计算目标线701可以被设定在三个位置中,即,在黑色线区域的中心及两端处。
图8示出了包括分支的矢量数据322的示例。在矢量数据有分支的情况下,超过分支点801的矢量数据也针对每个分支以预定间隔被划分成线段。
图9示出了计算目标位置处的计算目标区域的示例。计算目标区域903在黑色线区域901的计算目标位置902处沿穿过黑色线区域901的方向设定。计算目标区域903可以沿在与计算目标位置902处的矢量数据的线段正交的方向设定。期望的是,计算目标区域903的长度是黑色线区域901的宽度的三倍或更大。在图9的示例中,黑色线区域901的宽度是由三个像素配置而成,而计算目标区域903的长度是由15个像素配置而成。
图10A至图10F示出了表示计算目标区域中的亮度变化的亮度信息323的示例。横轴表示穿过黑色线区域的计算目标区域中包括的像素的位置,而纵轴表示各个位置处的像素的亮度。
图10A至图10C示出了当以如图5B所示的大角度朝向混凝土壁辐射蓝色光时捕获的图像B的亮度变化。图10D至图10F示出了当以如图5A所示的小角度朝向混凝土壁辐射红色光时捕获的图像R的亮度变化。
图10A中的曲线图1001-1至曲线图1003-1和图10D中的曲线图1011-1至曲线图1013-1指示在总共三个位置中设定的计算目标位置中的第一计算目标位置处的亮度变化。图10B中的曲线图1001-2至曲线图1003-2和图10E中的曲线图1011-2至曲线图1013-2指示第二计算目标位置处的亮度变化。图10C中的曲线图1001-3至曲线图1003-3和图10F中的曲线图1011-3至曲线图1013-3指示第三计算目标位置处的亮度变化。
曲线图1001-i和曲线图1011-i(其中,i=1至3)指示在黑色线区域的类型是裂缝的情况下第i个计算目标位置处的亮度变化。曲线图1002-i和曲线图1012-i指示在黑色线区域的类型是用黑色笔绘制的黑色线的情况下第i个计算目标位置处的亮度变化。曲线图1003-i和曲线图1013-i指示在黑色线区域的类型是毛发的情况下第i个计算目标位置处的亮度变化。
在图像R的情况下,因为辐射了具有长波长的红色光,因此其中看到宽度等于或小于约0.2mm的裂缝的像素的亮度由于来自裂缝附近的混凝土的反射光而变得基本上等于其中看到黑色笔线或毛发的像素的亮度。另一方面,在图像B的情况下,因为辐射了具有短波长的蓝色光,因此其中看到裂缝的像素的亮度变得小于其中看到黑色笔线或毛发的像素的亮度。
在裂缝的情况下,由于最深部分处的亮度最小,因此裂缝的宽度方向上的亮度变化仅具有最小值而不具有除最小值之外的任何极值(极大值或极小值)。另一方面,在黑色笔或毛发的情况下,亮度根据墨水褪色或毛发的不均匀性而不同地变化,因而亮度变化倾向于具有除最小值之外的极值。例如,在黑色笔的墨水褪色部分中或者在来自毛发的反射光强烈的部分中亮度具有极大值。
因此,在图像R和图像B的三个位置中设定的任何计算目标位置处,在亮度变化不具有除了最小值之外的任何极值的情况下,黑色线区域很可能是裂缝。在毛发的情况下,亮度小的部分(暗部)可能由于投射其阴影而扩展。
例如,由于曲线图1002-1至1002-3、曲线图1012-2和曲线图1012-3具有极大值,因此可以将与这些曲线图对应的黑色线区域的类型确定为除裂缝之外的类型。同样地,由于曲线图1013-1至1013-3也具有极大值,因此与这些曲线图对应的黑色线区域的类型也可以被确定为除裂缝之外的类型。
此外,由于曲线图1013-i中亮度小的部分比曲线图1003-i中亮度小的部分扩展得更多,因此与这些曲线图对应的黑色线区域的类型可以被确定为除裂缝之外的类型。
设定有计算目标位置的位置的数目不限于三个;也就是说,可以通过使用在两个或更多个位置中设定的多个计算目标位置处的亮度变化来确定黑色线区域的类型。随着计算目标位置的数目变大,确定结果的精确度得到提高。
图11是示出由图3中的图像处理系统执行的图像处理的具体示例的流程图。首先,光源402以小角度朝向混凝土壁401辐射多种颜色的光,并且成像设备302在不使用闪光灯的情况下捕获被多种颜色的光照射的混凝土壁401的图像321(步骤1101)。
接下来,光源402以大角度朝向混凝土壁401辐射多种颜色的光,并且成像设备302在不使用闪光灯的情况下捕获被多种颜色的光照射的混凝土壁401的图像321(步骤1102)。
随后,提取单元313提取多个捕获图像321中的每个图像中包含的黑色线性区域作为黑色线区域(步骤1103)。然后,识别单元314通过将从多个图像321中提取的黑色线区域的宽度彼此进行比较来检查所提取的黑色线区域中是否包含阴影(步骤1104)。
例如,识别单元314将图像R的黑色线区域与图像B的黑色线区域进行叠加,并且在两个黑色线区域的宽度彼此匹配的情况下确定这些黑色线区域中不包含阴影。在其中一个黑色线区域的宽度比另一个黑色线区域的宽度粗时,识别单元314确定较粗的黑色线区域中包含阴影。因此,可以基于阴影的存在或不存在来识别黑色线区域的类型是否为三维对象。
在黑色线区域中包含阴影的情况下(步骤1104,是),识别单元314将黑色线区域的类型确定为除裂缝之外的类型(步骤1110),并且输出单元316输出所确定的黑色线区域的类型。
另一方面,在黑色线区域中不包含阴影的情况下(步骤1104,否),提取单元313将黑色线区域转换为矢量数据322(步骤1105)。
接下来,识别单元314确定每个图像321的矢量数据322上的多个计算目标位置,并且在每个计算目标位置处设定计算目标区域。随后,识别单元314生成指示计算目标区域中每个计算目标区域的亮度变化的亮度信息323(步骤1106),并且检查亮度变化是否包括除最小值之外的极值(步骤1107)。
在亮度变化包括除最小值之外的极值的情况下(步骤1107,是),识别单元314将黑色线区域的类型确定为除裂缝之外的类型(步骤1110),并且输出单元316输出所确定的黑色线区域的类型。
另一方面,在亮度变化不包括除最小值之外的极值的情况下(步骤1107,否),识别单元314经由通信单元315从数据库331获取黑色线区域的类型和统计数据。随后,识别单元314使用从数据库331获取的类型和统计数据来确定亮度信息323所指示的亮度变化是否与裂缝对应(步骤1108)。
例如,识别单元314计算亮度信息323所指示的亮度变化的统计数据,并且将计算出的统计数据与从数据库331获取的统计数据进行比较,从而确定亮度变化是否与裂缝对应。可以使用计算目标区域中的亮度的最大值、最小值、中值、平均值等作为亮度变化的统计数据。
在亮度变化与裂缝对应的情况下(步骤1108,是),识别单元314将黑色线区域的类型确定为裂缝(步骤1109),并且输出单元316输出所确定的黑色线区域的类型。另一方面,在亮度变化不与裂缝对应的情况下(步骤1108,否),识别单元314将黑色线区域的类型确定为除裂缝之外的类型(步骤1110),并且输出单元316输出所确定的黑色线区域的类型。
图12A和图12B分别示出了数据库331中注册的黑色线区域的类型和统计数据的示例。注意,“裂缝”、“黑色笔”和“毛发”表示黑色线区域的类型,而“P1”至“P5”表示黑色线区域上的计算目标位置。由计算目标位置Pj(其中,j=1至5)表示的列中的每个数字表示对应线所指示的类型的黑色线区域上的计算目标位置Pj处的亮度变化的最小值。由“平均值”表示的列中的每个数字表示计算目标位置P1至P5处的五个最小值的平均值。
图12A示出了根据以大角度朝向混凝土壁辐射蓝色光时捕获的图像计算出的最小值和平均值的示例。图12B示出了根据以小角度朝向混凝土壁辐射红色光时捕获的图像计算出的最小值和平均值的示例。
在使用图12A或图12B的任何条件的情况下,亮度的最小值和平均值在裂缝、黑色笔与毛发之间不同。因此,在以相同条件拍摄另一混凝土壁的图片的情况下,只要黑色线区域的类型相同,亮度的最小值和平均值就可能取相似的值。
图13A和图13B分别示出了由亮度信息323指示的亮度变化的统计数据的示例。“P11”至“P15”表示黑色线区域上的计算目标位置。这些计算目标位置中的每个计算目标位置处的数字表示每个计算目标位置处的亮度变化的最小值,而“平均值”表示计算目标位置P11至P15处的五个最小值的平均值。
图13A示出了根据以大角度朝向混凝土壁辐射蓝色光时捕获的图像计算出的最小值和平均值的示例。图13B示出了根据以小角度朝向混凝土壁辐射红色光时捕获的图像计算出的最小值和平均值的示例。
例如,在将图12A或图12B中的任何类型的平均值视为“A”时,在图13A或图13B中的平均值落入A-Δ至A+Δ的范围内的情况下,识别单元314可以确定亮度信息323所指示的亮度变化与上述类型对应。
当Δ=1时,与图12A中的裂缝对应的平均值的范围R1为36.2至38.2,与图12A中的黑色笔对应的平均值的范围R2为39.2至41.2,并且与图12A中的毛发对应的平均值的范围R3为41至43。此外,与图12B中的裂缝对应的平均值的范围R4为61.4至63.4,与图12B中的黑色笔对应的平均值的范围R5为64.2至66.2,并且与图12B中的毛发对应的平均值的范围R6为68.2至70.2。
图13A中的平均值41.2未被包括在图12A中的裂缝的范围R1内而是被包括在图12A中黑色笔的范围R2和毛发的范围R3内。因此,可以确定图13A中的黑色线区域的类型是黑色笔或毛发。此外,图13B中的平均值68.6未被包括在图12B中的裂缝的范围R4和黑色笔的范围R5的任一范围内,而是被包括在图12B中的毛发的范围R6内。因此,图13B中的黑色线区域的类型被确定为毛发。
如以上所讨论的,通过将亮度信息323所指示的亮度变化的统计数据与从数据库331获取的统计数据进行比较,可以提高对黑色线区域的类型进行确定的精确度。随着朝向同一混凝土壁辐射的光的颜色或光的角度的不同条件下捕获的图像数目增加,确定的精确度得以提高。
识别单元314可以在数据库331中注册计算出的亮度变化的统计数据,其中,计算出的统计数据与已经由检查位置处的操作者确认的黑色线区域的类型相关联,并且识别单元314可以在接下来的图像处理中使用所注册的统计数据。
根据图11中的图像处理,由于会自动识别混凝土壁图像中包含的黑色线区域的类型,因此操作者可以有效率地进行对混凝土壁的检查。例如,即使混凝土壁上存在毛发、黑且脏的蜘蛛网、用黑色笔绘制的黑色线等,也可以将这些物质与裂缝区分开。
注意,在步骤1104中,替代通过比较多个图像321的黑色线区域的宽度来检查阴影的存在或不存在,也可以通过比较多个图像321的同一计算目标位置处的亮度变化来检查阴影的存在或不存在。在这种情况下,识别单元314根据多个图像321的同一计算目标位置处的亮度变化来确定具有小于预定值的亮度的区域的宽度。然后,在两个图像321的区域之间的宽度差大于阈值的情况下,识别单元314确定具有较宽宽度的区域中包含阴影。
图1中的图像处理设备101的配置仅是示例,并且可以根据图像处理设备101的用途或条件而省略或修改部分组成元件。
图3中的图像处理系统的配置仅是示例,并且可以根据图像处理设备301的用途或条件而省略或修改部分组成元件。例如,在图像321被预先存储在存储单元311中的情况下,可以省略获取单元312,而在不使用数据库331的情况下,可以省略通信单元315。在不需要输出线性区域的类型的情况下,可以省略输出单元316。
图2和图11中的流程图仅是示例,并且可以根据图像处理设备的配置或条件而省略或修改部分处理。例如,在图11的图像处理中,在图像321被预先存储在存储单元311中的情况下,可以省略步骤1101中的处理和步骤1102中的处理。在不需要检查阴影的存在或不存在的情况下,可以省略步骤1104中的处理,而且在不使用数据库331的情况下,可以省略步骤1108中的处理。
图4所示的混凝土壁401仅是示例,而且图像捕获目标对象可以是由另一材料制成的对象。图5A和图5B中示出的光辐射角度仅是示例,并且可以根据图像处理设备的条件或配置而采用其他辐射角度。图6A至图8所示的黑色线区域、矢量数据和计算目标线仅是示例,而且黑色线区域、矢量数据和计算目标线根据图像321而变化。
图9所示的计算目标区域903仅是示例,并且可以根据图像处理设备的条件或配置而采用另一尺寸或另一形状的计算目标区域。计算目标区域903可以不与矢量数据的线段正交。图10A至图10F所示的亮度信息323是示例性的,并且亮度信息323根据图像321而变化。
图12A至图13B所示的最小值和平均值仅是示例,而且亮度变化的统计数据根据各个计算目标位置处的亮度变化而变化。
图14示出了用作图1中的图像处理设备101和图3中的图像处理设备301的信息处理设备(计算机)的配置示例。图14中的信息处理设备包括中央处理单元(CPU)1401、存储器1402、输入装置1403、输出装置1404、辅助存储装置1405、介质驱动装置1406和网络连接装置1407。这些组成元件通过总线1408彼此连接。图3中的成像设备302可以连接至总线1408。
例如,存储器1402是诸如只读存储器(ROM)、随机存取存储器(RAM)或闪速存储器的半导体存储器,并且在其中存储有在处理中使用的程序和数据。存储器1402可以用作图1中的存储单元111以及图3中的存储单元311。
CPU 1401(处理器)通过在使用存储器1402的同时执行程序而作为图1中的提取单元112和识别单元113操作。CPU 1401还通过在使用存储器1402的同时执行程序而作为图3中的获取单元312、提取单元313和识别单元314操作。
例如,输入装置1403是键盘或指点装置,并且用于输入来自操作者或用户的命令或信息。例如,输出装置1404是显示装置、打印机、扬声器等,并且用于输出查询或命令以及要给操作者或用户的处理结果。输出装置1404可以用作图3中的输出单元316。处理结果可以是指示线性区域的类型的信息。
例如,辅助存储装置1405是磁盘驱动器、光盘驱动器、磁光盘驱动器、磁带驱动器等。辅助存储装置1405可以是硬盘驱动器或闪速存储器。信息处理设备可以将程序和数据存储在辅助存储装置1405中,并且通过将程序和数据加载到存储器1402上来使用这些程序和数据。辅助存储装置1405可以用作图1中的存储单元111以及图3中的存储单元311。
介质驱动装置1406驱动便携式记录介质1409,并且访问其记录内容。便携式记录介质1409是存储器装置、软盘、光盘、磁光盘等。便携式记录介质1409可以是光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、通用串行总线(USB)存储器等。操作者或用户可以将程序和数据预先存储在便携式记录介质1409中,并且通过将程序和数据加载到存储器1402上来使用这些程序和数据。
如上所述,被配置成存储在处理中使用的程序和数据的计算机可读记录介质是物理(非暂态)记录介质,如存储器1402、辅助存储装置1405或便携式记录介质1409。
网络连接装置1407连接至诸如局域网(LAN)或广域网(WAN)的通信网络,并且是被配置成执行通信所需的数据转换的通信接口电路。信息处理设备可以经由网络连接装置1407从外部装置接收程序和数据,并且将这些程序和数据加载到存储器1402上以使用这些程序和数据。网络连接装置1407可以用作图3中的通信单元315。
并非图14中的所有组成元件都需要被包括在信息处理设备中,而是可以根据设备的用途或条件来部分省略组成元件。例如,在不需要与操作者或用户交互的情况下,可以省略输入装置1403和输出装置1404。在不使用便携式记录介质1409或通信网络的情况下,可以省略介质驱动装置1406或网络连接装置1407。
可以使用与图14中的信息处理设备相同的信息处理设备作为图3中的服务器303。在这种情况下,辅助存储装置1405被用作数据库331。
目前已经详细描述了所公开的实施方式及其优点,并且在不背离如所附权利要求书中清楚阐述的实施方式的主旨和范围的情况下,本领域的技术人员可以进行各种修改、添加和省略。
附图标记列表
101、301 图像处理设备
111、311 存储单元
112、313 提取单元
113、314 识别单元
121、321 图像
302 成像设备
303 服务器
312 获取单元
315 通信单元
316 输出单元
322、601至605 矢量数据
323 亮度信息
331 数据库
401 混凝土壁
402 光源
412 光
701 计算目标线
801 分支点
901 黑色线区域
902 计算目标位置
903 计算目标区域
1001-1至1001-3、1002-1至1002-3、1003-1至1003-3、1011-1至1011-3、1012-1至1012-3、1013-1至1013-3 曲线图
1401 CPU
1402 存储器
1403 输入装置
1404 输出装置
1405 辅助存储装置
1406 介质驱动装置
1407 网络连接装置
1408 总线
1409 便携式记录介质

Claims (8)

1.一种计算机可读存储介质,其中存储有用于使计算机执行用于图像处理的处理的程序,所述处理包括:
从由成像设备捕获的对象的多个图像中的每个图像提取线性区域,其中,在朝向所述对象分别辐射不同颜色的光时捕获所述多个图像;
确定在不同颜色的多个图像中的每个图像的线性区域的长度方向上分开的多个位置中的每个位置处的、在穿过所述线性区域的方向上的亮度变化;以及
基于在从多个图像提取的线性区域的多个位置中的每个位置处的、不同颜色的亮度变化之间的比较来识别所述线性区域的类型,
其中,获取指示所述线性区域的多个位置处的亮度变化并且与多个类型相关联地注册的第一统计数据,将所获取的第一统计数据与指示从多个图像提取的线性区域的多个位置处的亮度变化的第二统计数据进行比较,并且基于通过比较所述第一统计数据与所述第二统计数据而获得的比较结果来确定所述线性区域的类型。
2.根据权利要求1所述的计算机可读存储介质,其中,
在所述识别的过程中,基于在所述多个位置处的亮度变化中的任何亮度变化中是否存在除亮度的最小值之外的极值来识别所述线性区域的类型。
3.根据权利要求1所述的计算机可读存储介质,其中,
在所述提取的过程中,从在朝向所述对象以多个角度分别辐射光时捕获的多个图像中的每个图像中提取线性区域;
在所述确定亮度变化的过程中,针对多个图像的线性区域确定在穿过所述线性区域中的每个线性区域的方向上的亮度变化;并且
在所述识别的过程中,基于从多个图像提取的线性区域的多个位置处的亮度变化来识别所述线性区域的类型。
4.根据权利要求3所述的计算机可读存储介质,其中,
在所述识别的过程中,基于通过比较从多个图像提取的线性区域的宽度而获得的比较结果来识别所述线性区域的类型。
5.根据权利要求3所述的计算机可读存储介质,其中,
在所述识别的过程中,基于通过比较从多个图像提取的线性区域的同一位置处的亮度变化而获得的比较结果来识别所述线性区域的类型。
6.根据权利要求1所述的计算机可读存储介质,其中,
所述对象是混凝土壁,并且所述线性区域的类型是裂缝和除所述裂缝之外的类型。
7.一种图像处理设备,包括:
存储器,其存储由成像设备捕获的对象的多个图像;
提取单元,其从所述多个图像中的每个图像提取线性区域,其中,在朝向所述对象分别辐射不同颜色的光时捕获所述多个图像;
确定单元,其确定在不同颜色的多个图像中的每个图像的线性区域的长度方向上分开的多个位置中的每个位置处的、在穿过所述线性区域的方向上的亮度变化;以及
识别单元,其基于在从多个图像提取的线性区域的多个位置中的每个位置处的、不同颜色的亮度变化之间的比较来识别所述线性区域的类型,
其中,获取指示所述线性区域的多个位置处的亮度变化并且与多个类型相关联地注册的第一统计数据,将所获取的第一统计数据与指示从多个图像提取的线性区域的多个位置处的亮度变化的第二统计数据进行比较,并且基于通过比较所述第一统计数据与所述第二统计数据而获得的比较结果来确定所述线性区域的类型。
8.一种由计算机执行的图像处理方法,所述方法包括:
从由成像设备捕获的对象的多个图像中的每个图像提取线性区域,其中,在朝向所述对象分别辐射不同颜色的光时捕获所述多个图像;
确定在不同颜色的多个图像中的每个图像的线性区域的长度方向上分开的多个位置中的每个位置处的、在穿过所述线性区域的方向上的亮度变化;以及
基于在从多个图像提取的线性区域的多个位置中的每个位置处的不同颜色的亮度变化之间的比较来识别所述线性区域的类型,
其中,获取指示所述线性区域的多个位置处的亮度变化并且与多个类型相关联地注册的第一统计数据,将所获取的第一统计数据与指示从多个图像提取的线性区域的多个位置处的亮度变化的第二统计数据进行比较,并且基于通过比较所述第一统计数据与所述第二统计数据而获得的比较结果来确定所述线性区域的类型。
CN201910490721.8A 2018-06-13 2019-06-06 图像处理设备和图像处理方法及计算机可读存储介质 Active CN110610473B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018112612A JP7187830B2 (ja) 2018-06-13 2018-06-13 画像処理プログラム、画像処理装置、及び画像処理方法
JP2018-112612 2018-06-13

Publications (2)

Publication Number Publication Date
CN110610473A CN110610473A (zh) 2019-12-24
CN110610473B true CN110610473B (zh) 2023-05-09

Family

ID=66826803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910490721.8A Active CN110610473B (zh) 2018-06-13 2019-06-06 图像处理设备和图像处理方法及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11145045B2 (zh)
EP (1) EP3582180B1 (zh)
JP (1) JP7187830B2 (zh)
CN (1) CN110610473B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3107458A1 (en) * 2018-07-24 2020-01-30 Glasstech, Inc. System and method for measuring a surface in contoured glass sheets

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319021A (ja) * 2001-04-19 2002-10-31 Murata Mfg Co Ltd 二値化処理方法、外観検査方法および外観検査装置
JP2006118913A (ja) * 2004-10-20 2006-05-11 West Japan Railway Co ひび割れ検出方法及び装置
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム
JP2012202858A (ja) * 2011-03-25 2012-10-22 Railway Technical Research Institute コンクリート表面の閉合ひび割れ検出方法
JP2014006219A (ja) * 2012-06-27 2014-01-16 Sumitomo Mitsui Construction Co Ltd ひび割れ検知装置、及びひび割れ検知方法
CN107110791A (zh) * 2015-10-06 2017-08-29 日本碍子株式会社 陶瓷体的表面检查方法
WO2018008370A1 (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN107817246A (zh) * 2016-09-02 2018-03-20 富士通株式会社 存储图像处理程序的介质、图像处理方法及图像处理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5839936A (ja) 1981-09-03 1983-03-08 Matsushita Electric Works Ltd 表面欠陥検出装置
JP3611777B2 (ja) * 2000-07-10 2005-01-19 三協エンジニアリング株式会社 クラック幅測定装置
JP2002228417A (ja) * 2001-02-01 2002-08-14 Shinei Denshi Keisokki Kk クラック測定装置
KR20090126362A (ko) * 2008-06-04 2009-12-09 한국과학기술원 균열 측정 방법 및 측정 장치
WO2013020142A2 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack detection
JP6633454B2 (ja) * 2016-05-26 2020-01-22 東急建設株式会社 変状部の検出方法
JP6612685B2 (ja) * 2016-06-20 2019-11-27 富士フイルム株式会社 計測支援装置及び計測支援方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319021A (ja) * 2001-04-19 2002-10-31 Murata Mfg Co Ltd 二値化処理方法、外観検査方法および外観検査装置
JP2006118913A (ja) * 2004-10-20 2006-05-11 West Japan Railway Co ひび割れ検出方法及び装置
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム
JP2012202858A (ja) * 2011-03-25 2012-10-22 Railway Technical Research Institute コンクリート表面の閉合ひび割れ検出方法
JP2014006219A (ja) * 2012-06-27 2014-01-16 Sumitomo Mitsui Construction Co Ltd ひび割れ検知装置、及びひび割れ検知方法
CN107110791A (zh) * 2015-10-06 2017-08-29 日本碍子株式会社 陶瓷体的表面检查方法
WO2018008370A1 (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN107817246A (zh) * 2016-09-02 2018-03-20 富士通株式会社 存储图像处理程序的介质、图像处理方法及图像处理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A novel automatic concrete surface crack identification using isotropic undecimated wavelet transform;Hoang-Nam Nguyen;《2012 IEEE International Symposium on Intelligent Signal Processing and Communications Systems》;20121104;第766-771页 *
Hoang-Nam Nguyen.A novel automatic concrete surface crack identification using isotropic undecimated wavelet transform.《2012 IEEE International Symposium on Intelligent Signal Processing and Communications Systems》.2012,第766-771页. *

Also Published As

Publication number Publication date
JP2019215258A (ja) 2019-12-19
EP3582180A1 (en) 2019-12-18
EP3582180B1 (en) 2020-10-28
JP7187830B2 (ja) 2022-12-13
US20190385295A1 (en) 2019-12-19
US11145045B2 (en) 2021-10-12
CN110610473A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN109993086B (zh) 人脸检测方法、装置、系统及终端设备
US9760788B2 (en) Mobile document detection and orientation based on reference object characteristics
Chung et al. Efficient shadow detection of color aerial images based on successive thresholding scheme
US20160321825A1 (en) Measuring apparatus, system, and program
Wesolkowski et al. Comparison of color image edge detectors in multiple color spaces
US9818038B2 (en) Image recognition apparatus
JP5086970B2 (ja) 木材の外観検査装置、木材の外観検査方法
US9600736B2 (en) Pose detection using depth camera
US20210043072A1 (en) Reading system, reading method, and storage medium
US10762372B2 (en) Image processing apparatus and control method therefor
JP2011134012A (ja) 画像処理装置、その画像処理方法及びプログラム
US20190191078A1 (en) Information processing apparatus, a non-transitory computer readable storage medium and information processing method
US20190347530A1 (en) Method and System for Identifying Targets in Scenes Shot by a Camera
US9286669B2 (en) Image processing apparatus, image processing method and program
CN110610473B (zh) 图像处理设备和图像处理方法及计算机可读存储介质
Recky et al. Façade segmentation in a multi-view scenario
CN112507767B (zh) 脸部辨识方法及其相关电脑系统
US8780197B2 (en) Apparatus and method for detecting face
CN107038690A (zh) 一种基于多特征融合的运动阴影去除方法
US20220327716A1 (en) Method of detecting moving objects
KR101741758B1 (ko) 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법
JP2014191685A (ja) 画像処理装置および画像処理方法
KR20150009842A (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
Madsen et al. Shadow detection in dynamic scenes using dense stereo information and an outdoor illumination model
Aksoy et al. Utilization of false color images in shadow detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant