CN110892255A - 从图像检测缺陷的图像处理装置、图像处理方法和程序 - Google Patents

从图像检测缺陷的图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN110892255A
CN110892255A CN201880045494.1A CN201880045494A CN110892255A CN 110892255 A CN110892255 A CN 110892255A CN 201880045494 A CN201880045494 A CN 201880045494A CN 110892255 A CN110892255 A CN 110892255A
Authority
CN
China
Prior art keywords
image
detection
region
area
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880045494.1A
Other languages
English (en)
Other versions
CN110892255B (zh
Inventor
高山慧
真继优和
野上敦史
穴吹真秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110892255A publication Critical patent/CN110892255A/zh
Application granted granted Critical
Publication of CN110892255B publication Critical patent/CN110892255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Abstract

此图像处理装置包括：检测部，其分别通过第一检测基准和第二检测基准从输入图像中检测第一检测区域和第二检测区域；图像设置部，其将包括第一检测区域的图像设置为待校正的目标图像，并将包括第二检测区域的图像设置为校正所要参考的参考图像；接收部，其从用户接收对目标图像中的区域的指定以及针对指定的区域的校正指令；校正区域设置部，其在参考图像中指出与指定的区域相对应的区域，并基于所指出的区域和第二检测区域来设置待校正区域；以及校正部，其基于参考图像中设置的待校正区域来校正目标图像中的第一检测区域。

Description

从图像检测缺陷的图像处理装置、图像处理方法和程序
技术领域
本发明涉及从图像检测缺陷的图像处理装置、图像处理方法和程序。
背景技术
近来，期望提高诸如桥梁和水坝的基础设施的检查效率，特别是对于基于图像的检查的期望一直在上升。在基于图像的检查中，图像是在现场拍摄的，并且视觉上搜索结构的壁上的诸如裂缝和分层等的缺陷，然后在显示屏上手动进行跟踪。作为跟踪结果获得的关于个个裂缝的长度和裂缝数量的信息非常重要，因为它对于确定结构是否需要修复很有用。然而，进行手动跟踪工作需要很长时间，认为这是有问题的。因此，对于用于通过图像处理从结构的表面的图像中自动检测缺陷区域的自动检测技术的期望越来越高。日本特开第2000-2523号公报公开了一种通过基于多个不同的阈值对裂缝图像进行二值化处理来逐步提取裂缝的技术。
发明内容
技术问题
然而，在结构的表面上，有许多因素，例如模板和细长的深色污点被错误地检测为裂缝，以及诸如阴影等的因素导致无法检测。因此，难以自动检测缺陷。例如，模板被观察为在凝结混凝土时引起的并沿水平/垂直方向延伸的长线。由于模板看起来与裂缝非常相似，因此模板很可能是错误检测的原因。存在以下问题：当检测到这种错误检测的因素和错误地未检测的因素时，校正工作的负担高。
鉴于这样的问题而做出本发明，并且本发明的目的是有效且适当地校正基于图像的检查中的假阳性和假阴性。
解决问题的方案
因此，在本发明中，一种图像处理装置包括：检测部，用于分别基于第一检测标准和第二检测标准从输入图像中检测第一检测区域和第二检测区域；图像设置部，用于将包括第一检测区域的图像设置为经受校正的目标图像，并将包括第二检测区域的图像设置为校正中参考的参考图像；接受部，用于从用户接受对目标图像中的区域的指定以及对指定的区域的校正指令；校正区域设置部，用于在参考图像中识别与指定的区域相对应的区域，并基于所识别的区域和第二检测区域来设置待校正区域；以及校正部，用于基于参考图像中设置的待校正区域来校正目标图像中的第一检测区域。
本发明的有益效果
根据本发明，可以在基于图像的检查中有效且适当地校正假阳性和假阴性。
附图说明
[图1]图1是根据第一实施例的图像处理装置的硬件构造图。
[图2]图2是图像处理装置的功能构造图。
[图3]图3是示出检测结果校正处理的流程图。
[图4A]图4A是拍摄图像和检测数据的说明图。
[图4B]图4B是拍摄图像和检测数据的说明图。
[图4C]图4C是拍摄图像和检测数据的说明图。
[图4D]图4D是拍摄图像和检测数据的说明图。
[图5A]图5A是检测处理和图像设置处理的说明图。
[图5B]图5B是检测处理和图像设置处理的说明图。
[图6A]图6A是检测处理和图像设置处理的说明图。
[图6B]图6B是检测处理和图像设置处理的说明图。
[图7A]图7A是单位区域确定方法的说明图。
[图7B]图7B是单位区域确定方法的说明图。
[图7C]图7C是单位区域确定方法的说明图。
[图7D]图7D是单位区域确定方法的说明图。
[图7E]图7E是单位区域确定方法的说明图。
[图8]图8是示出单位区域的数据格式的示例的图。
[图9]图9是显示处理和后续处理的说明图。
[图10]图10是显示处理和后续处理的说明图。
[图11A]图11A是示出检测区域的形状的图案的图。
[图11B]图11B是示出检测区域的形状的图案的图。
[图11C]图11C是示出检测区域的形状的图案的图。
[图11D]图11D是示出检测区域的形状的图案的图。
[图11E]图11E是示出检测区域的形状的图案的图。
[图12A]图12A是用户操作的说明图。
[图12B]图12B是用户操作的说明图。
[图13]图13是示出根据第一变型例的连续区域的图。
[图14A]图14A是根据第一变型例的用户操作的说明图。
[图14B]图14B是根据第一变型例的用户操作的说明图。
[图14C]图14C是根据第一变型例的用户操作的说明图。
[图14D]图14D是根据第一变型例的用户操作的说明图。
[图15A]图15A是用于折线数据的校正处理的说明图。
[图15B]图15B是用于折线数据的校正处理的说明图。
[图15C]图15C是用于折线数据的校正处理的说明图。
[图16]图16是示出根据第二实施例的检测结果校正处理的流程图。
[图17A]图17A是示出根据第三实施例的目标图像和参考图像的示例的图。
[图17B]图17B是示出根据第三实施例的目标图像和参考图像的示例的图。
[图18A]图18A是示出根据第四实施例的目标图像和参考图像的示例的图。
[图18B]图18B是示出根据第四实施例的目标图像和参考图像的示例的图。
具体实施方式
下面将参照附图描述本发明的实施例。
注意，在实施例中假定基于图像的检查中的检测目标是在基础设施的壁上裂缝。也就是说，在实施例中要处理的拍摄图像是基础设施的壁的图像。注意，检测目标不限于诸如基础设施的壁上的裂缝或分层的缺陷，并且可以是物体的轮廓或路径。另外，拍摄图像不限于实施例，并且可以是移动物体的图像以及桥梁、水坝、隧道或道路的表面的图像。
(第一实施例)
图1是根据第一实施例的图像处理装置的硬件构造图。图像处理装置100包括CPU101、ROM 102、RAM 103、HDD 104、显示单元105、输入单元106和通信单元107。CPU 101读取存储在ROM 102中的控制程序，并执行各种处理。RAM 103用作CPU 101的诸如主存储器和工作区等的临时存储区。HDD 104存储各种数据、各种程序等。显示单元105显示各种信息。输入单元106包括键盘和鼠标，并接受各种用户操作。通信单元107进行用于经由网络与诸如图像形成装置的外部装置进行通信的处理。
注意，由于CPU 101读取存储在ROM 102或HDD 104中的程序并执行该程序，从而实现了稍后描述的图像处理装置100的功能和处理。或者，CPU 101可以读取存储在诸如SD卡等的存储介质而不是ROM 102等上的程序。或者，例如，可以通过多个CPU、RAM、ROM和存储器的协作来实现图像处理装置100的功能和处理中的至少一些。或者，可以使用硬件电路来实现图像处理装置100的功能和处理中的至少一些。
图2是图像处理装置100的功能构造图。图像处理装置100包括校正处理单元200、图像获取单元210、接受单元220、数据管理单元230和显示处理单元240。图像获取单元210获取经受基于图像的检查的拍摄图像。例如，图像获取单元210可以获取经由通信单元107从摄像装置接收到的拍摄图像，或者可以获取存储在HDD 104等中的拍摄图像。
接受单元220经由输入单元106接受与用户操作相对应的各种指令等。数据管理单元230管理由校正处理单元200参考的图像等的数据。显示处理单元240显示各种信息，例如图像。校正处理单元200在由图像获取单元210获取的图像中检测检测目标，并且还校正检测结果。校正处理单元200包括检测单元201、图像设置单元202、转换单元203、校正区域设置单元204和校正单元205。注意，将参照图3描述由各个单元进行的处理。
图3是示出由图像处理装置100进行的检测结果校正处理的流程图。首先，在S301中，图像获取单元210加载拍摄图像。然后，在S302中，校正处理单元200的检测单元201进行对拍摄图像上的检测目标进行检测的检测处理，以获得一条或多条检测数据。一条检测数据是作为检测处理的结果的表示成为检测目标(裂缝)的概率的图像。表示成为检测目标的概率的图像的示例包括通过对拍摄图像进行识别处理和边缘提取处理而获得的概率图和边缘图像。这些图像针对各个像素存储得分或可能性，该得分或可能性指示成为检测目标的概率或边缘强度。
图4是拍摄图像和检测数据的说明图。图4A是示出拍摄图像400的示例的图。图像401是表示检测目标的图像。拍摄图像400可以是尚未进行检测处理的任何图像。拍摄图像400的示例包括RGB图像和灰度图像。拍摄图像400也可以是通过对RGB图像或灰度图像进行诸如降噪等的图像处理而获得的图像。
处理一条检测数据以供后续处理使用。在本实施例中，设置阈值，并且准备通过使用阈值对检测数据进行二值化而获得的二进制图像。或者，可以准备通过对二进制图像进一步进行后续描述的细化或折线处理而获得的数据，或者通过对检测数据应用基于阈值的处理而获得的图像。
图4B所示的图像410是通过二值化处理获得的二进制图像。图4C所示的图像420是细线图像。图4D所示的图像430是折线图像。所有图像410、420、430都是从拍摄图像400获得的检测数据。区域411以及线421和431各自表示确定检测到检测目标的区域。注意，在本实施例中，将确定检测到检测目标的区域称为检测区域，而与检测处理的检测结果是否正确无关。可以通过对拍摄图像进行细化处理来获得细线图像。折线图像是通过对细线图像1进行诸如矢量化处理的处理而获得的图像。折线图像包括检测区域的位置信息。注意，折线图像430中的点431表示包含在折线图像430中的位置信息。假定折线图像430由链接相邻点的线段表示。或者，折线图像430除了位置信息之外还可以包含数学表达式信息，并且可以由基于数学表达式信息的曲线表示。
返回参照图3，在S302中，检测单元201基于第一阈值，对通过对拍摄图像应用边缘提取处理等而获得的检测数据进行二值化处理，从而获得本实施例中的第一图像。检测单元201还基于第二阈值对检测数据进行二值化处理以获得第二图像。这里假定第二阈值的值小于第一阈值的值。然后在步骤S303中，图像设置单元202进行设置目标图像和参考图像的图像设置处理。目标图像是对作为检测结果而获得的检测区域进行校正处理的图像，即，经受校正处理的图像。另一方面，参考图像是在校正处理中参考的图像。目标图像是要通过校正处理更新的数据。参考图像是部分整合到目标图像中的图像。在本实施例中，图像设置单元202将通过基于第一阈值的二值化处理获得的第一图像设置为目标图像，并且将通过基于第二阈值的二值化处理获得的第二图像设置为参考图像。也就是说，目标图像是已经历基于第一阈值的二值化处理的图像，而参考图像是已经历基于第二阈值的二值化处理的图像。
图5和图6是在S302中进行的检测处理和在S303中进行的图像设置处理的说明图。图5所示的图像500和510分别是通过对同一拍摄图像进行基于第一阈值的二值化处理和基于第二阈值的二值化处理而获得的目标图像和参考图像。同样，图6中的图像600和610分别是通过对从同一拍摄图像获得的检测数据进行基于第一阈值的二值化处理和基于第二阈值的二值化处理而获得的目标图像和参考图像。
图5A所示的目标图像500中的检测区域501至505当中的检测区域501和505是实际上包括裂缝并且检测结果正确的区域。相反，检测区域502、503和504是错误检测区域。图5B所示的参考图像511中的检测区域515至511当中的检测区域511和515是实际上包括裂缝并且检测结果正确的区域。相反，检测区域512、513和514是错误检测区域。
如上所示，当阈值减小时，在二进制图像中错误检测的区域倾向于增大。另外，当阈值增大时，对于一个检测目标，检测区域趋于以碎片状态不连续地发生，而当阈值减小时，不连续区域趋于连结在一起并被获得为一个连续的检测区域。根据本实施例的图像处理装置100利用这种趋势，并且将与噪声相对降低的第一阈值相对应的二进制图像设置为目标图像，并且将与第二阈值相对应的二进制图像设置为参考图像。
返回参照图3，在S303中的图像设置处理之后，校正处理单元200的转换单元203在S304中将目标图像中的检测区域转换为单位区域，并记录关于单位区域的信息。同样，转换单元203将参考图像中的检测区域转换成单位区域。单位区域是检测区域的单位，其被设置为使得图像处理装置100更容易处理检测区域。单位区域是后续描述的校正处理中的最小处理单位。在本实施例中，转换单元203将在分支点的位置处从检测到检测目标的像素连续的区域分支的范围设置为单位区域。此外，数据管理单元230生成指示单位区域的信息，并将该信息存储在诸如HDD 104的存储单元中。
现在参照图7，将描述单位区域确定方法。转换单元203将端点和分支点检测为检测区域中的边界点。当将图7A所示的检测区域700设置为处理目标时，如图7B所示，将点C1至C6检测为边界点。以下处理的示例包括以下描述的三种方法。
第一种方法是用于在分支点处分割检测区域的方法。将从某个边界点到最接近边界点的检测区域设置为单位区域。因此，如图7C所示，将从点C1到点C2的检测区域设置为检测区域700中的单位区域d11。另外，将从点C2到点C3的检测区域设置为单位区域d12。在图7C所示的示例中，进一步设置单位区域d13至d15。
第二种方法是通过关注主线来对检测区域进行分割的方法。例如，假定根据与关于从特定点到另一特定点的检测区域的长度和宽度的信息有关的条件来确定主线。将沿主线方向延伸的检测区域设置为一个单位区域。此外，将从主线分支的检测区域设置为与沿主线方向延伸的单位区域不同的单位区域。在图7D的示例中，假定将从点C1到点C4的部分设置为主线。在这种情况下，将从点C1到点C4连续的检测区域设置为检测区域700中的一个单位区域d21。此外，将从主线分支的从点C2到点C5的检测区域和从主线分支的从点C3到点C6的检测区域分别设置为单位区域d22和d23。
第三种方法是上述两种方法的组合，并且是用于应用通过关注主线来对检测区域进行分割的方法并在分支点处进一步对检测区域进行分割的方法。检测区域被划分为在主线方向上延伸的一个元素和从其分支的元素。保持了关于此时的连续区域的信息。在这种状态下，将通过在分支点处进一步分割检测区域而获得的数据作为单位区域进行管理。图7E是该示例的处理的说明图。首先将检测区域700分割成区域d31、d32和d33。区域d31、d32和d33分别与图7D所示的区域d21、d22和d23相同。然后，在保持关于区域d31的信息的情况下，将区域d31分割为区域d34、d35和d36。区域d34、d35和d36分别与图7C所示的区域d11、d12和d13相同。因此，获得单位区域d32、d33、d34、d35和d36。
假定根据本实施例的转换单元203通过使用上述第三种方法将检测区域转换为单位区域。图8是示出由转换单元203记录的关于单位区域的信息的示例的图。转换单元203将指示各个单位区域的位置的信息和关于连续区域的信息记录为关于单位区域的信息。连续区域指的是诸如在图7E中描述的单位区域d34、d35和d36等的区域，当关注主线时，这些区域被当作一个连续区域处理。转换单元203记录关于连续区域的信息。因此，转换单元203可以将多个单位区域设置为一个连续区域。该处理是连续区域设置处理的示例。
图8所示的数据对应于图7E所示的单位区域。各个单位区域具有用于识别单位区域的数据编号和该单位区域所处的位置的坐标信息。坐标信息以(xi,j,k,yi,j,k)的格式给出，并且各个单位区域的坐标信息的量取决于单位区域的大小。将在下面描述索引i、j和k。索引i是当应用用于通过关注主线来对检测区域进行分割的方法时分配给由分割得到的数据的编号。也就是说，这表明具有相同的索引i的多个单位区域形成一个连续区域(在本实施方式中为一条主线)。在图8的示例中，在单位区域d34、d35和d36的索引i中共同设置了值1；在单位区域d32的索引i中设置了值2，并且在单位区域d33的索引i中设置了值3。
索引j是分配给基于用于在分支点处对检测区域进行分割的方法的分割得到的数据的编号，即，分配给各个单位区域的编号。索引k是指示各个单位区域所处的坐标的编号。当p表示单位区域d34中包括的坐标的编号时，单位区域d34具有p个坐标数据。坐标的存储顺序是：索引k在一个端点处等于1，坐标从最接近该端点的坐标开始顺序排列，并且索引k在另一个端点处等于p。
返回参照图3，在S305中，显示处理单元240执行将目标图像叠加在拍摄图像上并将所得图像显示在显示单元105上的显示处理。这允许用户检查通过检测处理获得的检测结果。用户可以输入用户希望校正检测结果的区域。当时，用户还指定校正处理的类型。校正处理的类型的示例包括删除检测区域和连结多个检测区域。响应于此，在S306中，接受单元220响应于用户操作接受用于校正检测结果的指令。校正指令包括校正处理的类型和用于指定待校正区域的信息。校正指令是用于对指定的至少一个区域进行预定的校正处理的指令的示例。例如，当错误地检测到模板时，用户输入指定了该区域的删除校正指令。另外，当不管裂缝是可识别的事实都没有检测到裂缝的一部分时，用户输入指定了该区域的连结校正指令。
将参照图9描述S305中的显示处理和随后的处理。图9中的左上位置的图像900是在S305中显示的图像的示例。图像900是通过将目标图像叠加在拍摄图像上而获得的图像。通过将图5所示的目标图像500叠加在对应的拍摄图像上来获得图像900。作为示例，将描述对于图像900接受删除校正指令的情况的后续处理。注意，假定将检测区域501、502、503、504和505设置为目标图像500中的单位区域。
另外，图9中右上位置的参考图像510与图5所示的参考图像510相同。假定将检测区域511、512、513、514和515设置为参考图像510中的单位区域。还假定将检测区域512、513和514设置为一个连续区域。
在显示单元105上显示的图像900中，用户用鼠标指针901选择单位区域502并输入删除指令。然后，在S306中，接受单元220接受指定了单位区域502的删除校正指令。在校正指令中在目标图像中指定并且在参考图像中的搜索中使用的区域被称为指定区域。在使用鼠标指针901选择单位区域502的情况下，可以将单位区域502单独设置为指定区域，或者不仅可以将单位区域502设置为指定区域，还可以将距单位区域502预定范围内的区域设置为指定区域。在本实施例中，假定同时接受区域的指定和校正处理的类型作为校正指令；然而，接受了区域的指定和校正处理的类型的定时不限于本实施例。或者，可以在接受区域的指定之后接受校正处理的类型，或者顺序可以相反。
返回参照图3，在S306中接受校正指令的处理之后，校正区域设置单元204在S307中在参考图像中搜索对应于与校正指令相关的单位区域502的单位区域，即指定区域。具体地，校正区域设置单元204检测与指定区域至少部分重合的单位区域。如果在S308中通过校正区域设置单元204在参考图像中检测到与指定区域相对应的单位区域(S308为“是”)，则处理进入S309。如果校正区域设置单元204在参考图像中未检测到与指定区域相对应的单位区域(S308中为“否”)，则处理进入S316。在S316中，接受单元220根据用户操作执行校正处理(手动校正)。然后，处理进入S314。
在S309中，校正区域设置单元204基于图8所示的索引i识别包括在参考图像中检测到的单位区域的连续区域，并搜索该连续区域中包括的各个单位区域。然后，在S310中，校正区域设置单元204将由在S308和S309中检测到的单位区域构成的区域(连续区域)设置为校正区域。注意，校正区域设置单元204可以将与不仅包括连续区域而且还包括连续区域的外围部分的区域相对应的区域设置为校正区域。校正区域设置单元204还将与参考图像中的校正区域相对应的目标图像中的区域设置为校正区域。该处理是将两个以上的单位区域(检测区域)设置为一个校正区域的校正区域设置处理的示例。
然后，在S311中，显示处理单元240执行控制以将目标图像中的校正区域进一步叠加在其上叠加有目标图像的正显示在显示单元105上的拍摄图像上，并显示所得图像。该处理是校正区域显示处理的示例。连续区域是极有可能对应于同一检测目标的区域，并且很可能适当的对连续区域中包括的多个单位区域中的各个均等地执行校正处理。因此，在本实施例中，显示校正区域以使用户在对连续区域共同执行校正处理之前确认校正区域。
在图9的示例中，当选择了单位区域502时，在S307中，在参考图像510中检测到与单位区域502相对应的单位区域512。此外，在S309中检测与单位区域512一起形成一个连续区域的单位区域513和514。随后在S310中，将三个单位区域512、513和514设置为一个校正区域910，并且在目标图像中设置与校正区域910相对应的校正区域920。然后在S311中，与校正区域910相对应的校正区域920被叠加在图像900上，并且显示所得图像。注意，在S311中，显示处理单元240可以以与其他单位区域不同的颜色显示单位区域502、503和504以及校正区域920。另外，显示处理单元240可以将处于连结状态的单位区域502、503和504显示为一个区域。这样的显示允许用户容易地理解待校正的部分。
返回参照图3，在S311中的校正区域显示处理之后，接受单元220在S312中确定是否响应于用户操作而接受用于确认在S311中显示的校正区域920作为校正区域的确认指令。如果接受单元220接受确认指令(S312中为“是”)，则处理进入S313。如果接受单元220不接受确认指令(S312中为“否”)，则处理进入S316。在S316中，校正区域设置单元204根据用户操作来识别校正区域，并且校正单元205对校正区域执行与用户操作相对应的校正处理的类型。然后，处理进入S314。例如，当在S312中接受单元220在不接受确认指令的情况下接受修改校正区域920的指令时，处理进入S316。在这种情况下，在S316中，校正区域设置单元204根据S316中的修改指令来修改校正区域。
另一方面，在S313中，校正单元205根据在S306中接受的校正指令，对目标图像中的校正区域中包括的单位区域执行校正处理。显示处理单元240执行控制以在显示单元105上显示叠加有校正目标图像的拍摄图像。在图9的示例中，未对校正区域920给出修改指令，并且在校正处理中删除了单位区域502、503和504。因此，仅保留单位区域501和505作为检测区域。
注意，在S313中，校正单元205可以在校正区域中一次执行全部校正处理，或者可以选择一次执行全部校正处理还是分开执行多次校正处理。例如，当用户选择要分开执行多次校正处理时，校正单元205从靠近指定区域的一个单位区域开始依次逐个地删除单位区域。例如，在图9的示例中，删除单位区域502，然后，依次删除单位区域503和504。或者，校正单元205可以根据用户给出的指令依次地删除单位区域。
返回参照图3，在S313中的校正处理之后，在S314中，数据管理单元230响应于S313中的校正处理来更新关于单位区域的信息。然后在S315中，接受单元220检查其是否接受结束指令。如果接受单元220接受结束指令(S315中为“是”)，则检测结果校正处理结束。如果接受单元220不接受结束指令(S315中为“否”)，则处理进入S306。
接下来将参照图10描述在校正处理是连结处理的情况下执行的从S305开始的处理。图10中左上位置的图像1000是在S305中显示的图像的示例。通过将图6所示的目标图像600叠加在对应的拍摄图像上来获得图像1000。假定对于图像1000接受连结校正指令。还假定在目标图像600中将检测区域601、602、603和604设置为单位区域。在图10中的右上位置的参考图像610与图6中所示的参考图像610相同。假定在参考图像610中将检测区域611、612、613、614和615设置为单位区域。还假定将检测区域612、613和614设置为一个连续区域。
当用户通过鼠标指针1011选择检测区域的缺失区域1010作为要连结的部分时，在S307中在参考图像中搜索单位区域。在参考图像610中检测与缺失区域1010部分重合的单位区域612和613。在S309中，进一步检测与单位区域612和613一起形成一个连续区域的单位区域614。然后，在S310中，将单位区域612、613和614设置为一个校正区域1020，并且还在目标图像中设置与校正区域1020相对应的校正区域1030。然后在S311中，与校正区域1020相对应的校正区域1030被叠加在图像1000上，并且显示所得图像。然后在S313中，校正区域1030中的单位区域602和604被连结并且被显示为一个检测区域1040。图像处理装置100还能够通过以单位区域的格式保持数据，在显示检测区域1040之后在图像中显示具有预定长度以上的单位区域。这允许用户容易地找到特定的检测结果。
接下来将参照图11描述检测区域的形状的图案。存在检测区域的形状的各种图案。图11所示的目标图像1110、1120、1130、1140和1150均表示概念上的目标图像。在图11中，实线表示目标图像中的检测区域，而虚线表示参考图像中的对应的检测区域。另外，目标图像中的检测区域和参考图像中的对应的检测区域实际上彼此重合；然而，考虑到便于观看，它们在图11中彼此偏移。
就检测区域的形状而言，存在如各个图像中所示的图案。在目标图像1110中，检测到与对应的参考图像中的检测区域1101相对应的两个检测区域1111和1112，并且在两个检测区域1111和1112之间存在缺失区域。在目标图像1120中，仅检测到一个与参考图像中的检测区域1101的一部分相对应的检测区域1121。在目标图像1130中，沿着参考图像中的检测区域1101检测到三个检测区域1131、1132和1133，并且在检测区域1311、1312和1313之间存在缺失区域。目标图像1140是在对应的参考图像中获得分支的检测区域1102的示例。在目标图像1140中，检测到检测区域1141和1142，并且在检测区域1141和1142之间存在检测区域。在参考图像中检测到检测区域1101，而在目标图像1150中不存在检测区域。通过使用下述用户界面在目标图像中指定范围和位置，可以校正所有图案。
接下来，将参照图12描述当用户指定与校正指令相关的区域(指定区域)时执行的用户操作。图12A和图12B示出了相同的目标图像1200，该目标图像是示出单位区域1201和1202的图像。在图12中，如图11中一样，实线表示目标图像中的检测区域，而虚线表示参考图像中的对应的检测区域。另外，目标图像中的检测区域与参考图像中的对应的检测区域实际上彼此重合；然而，考虑到便于观看，它们在图12中彼此偏移。
假定用户希望删除或连结单位区域1201和1202。在这种情况下执行的第一用户操作可以是通过点击鼠标来选择指定区域的方法。这是用于将鼠标指针放置在目标图像中待校正的部分附近并点击一个或更多个位置的操作。该方法允许用户不仅选择目标图像中的单位区域，而且还选择缺失区域。例如，如图12A所示，用户将鼠标指针1221放置在单位区域1201附近并点击鼠标。这样，用户可以将指定区域与参考图像中的单位区域1211相关联。
注意，用户可以点击两个位置，即单位区域1201和1202。另外，当用户选择缺失区域时，用户将鼠标指针1221放置在单位区域1201和1202之间的缺失区域附近并点击该位置。以此方式，用户可以将指定区域与靠近参考图像中的点击位置的单位区域1211相关联。
第二用户操作可以是通过拖动鼠标来选择期望区域的方法。用户将鼠标拖动到用户期望在目标图像中选择的区域附近的位置处，例如，从左上部到右下部。因此，将在开始和结束拖动时在鼠标指针所处的位置处具有相对顶点的矩形区域设置为校正区域。在参考图像中搜索部分包括在矩形区域中的单位区域。该方法还可以用于单位区域的选择和缺失区域的选择。例如，如图12B所示，用户在目标图像1200中的单位区域1201附近的位置处拖动鼠标。因此，将在开始和结束拖动时鼠标指针所处的位置具有顶点的矩形区域1231设置为指定区域。然后，在参考图像中成功找到与矩形区域1231部分重合的单位区域1211。注意，当用户拖动鼠标时，可以选择仅包括单位区域1211的矩形，或者可以选择包括多个单位区域1201和1202的矩形。
当选择缺失部分时，用户例如在单位区域1201和1202之间的缺失区域附近的位置处拖动鼠标。因此，将在开始和结束拖动时鼠标指针所处的位置具有顶点的矩形区域1232设置为指定区域。然后，成功找到与参考图像中的指定区域部分重合的单位区域1211。当如在图11所示的目标图像1150中一样在目标图像中未检测到在参考图像中成功检测到的检测目标时，可以使用上述方法中的用于选择缺失区域的方法。
如上所述，根据本实施例的图像处理装置100能够将以不连续状态检测到的检测区域自动设置为连续检测区域。这允许用户参考连续检测区域并在视觉上容易地检查假阳性和假阴性。此外，图像处理装置100能够在被设置为连续检测区域的区域上共同执行校正处理。这可以使用户免于进行敏感的校正工作，例如在校正时逐个地选择以不连续状态检测到的多个检测区域。
例如，在从结构的壁的图像中检测到裂缝时，错误检测的区域和错误地未检测到的区域以碎片状态出现。在检测之后，需要进行用于手动移除错误检测的区域的敏感工作并用于跟踪错误地未检测到的区域的工作。特别地，通过逐个选择检测区域来删除以碎片状态出现的检测区域的工作很麻烦。然而，根据本实施例的图像处理装置100能够将预期是连续的碎片检测区域视为连结的，并且一次执行诸如删除或连结的全部校正。这使用户免于逐个地选择错误检测的区域，并且可以减少操作次数。
此外，图像处理装置100能够将以不连续状态检测到的检测区域作为一个连续区域进行管理。这使得可以在校正之后容易且适当地汇总和管理数据。此外，图像处理装置100以单位区域为单位管理检测区域。与以像素为单位管理裂缝的位置的情况相比，这可以更容易地汇总裂缝的数量并测量各个裂缝的长度。
在第一实施例的第一变型例中，连续区域的设置不限于该实施例。或者，如图13所示，可以将一个连续的检测区域设置为连续区域，而不管是否存在分支。例如，在图13所示的检测区域1300中，将单位区域1301、1302和1303设置为一个连续区域。
图14是当用户指定与图13所示的连续区域相对应并涉及校正指令的区域时执行的用户操作的说明图。图14A至图14D示出了包括两个单位区域1401和1402的相同的目标图像1400。在图14中，如图11和图12中一样，实线表示目标图像中的检测区域，而虚线表示参考图像中的对应的检测区域。另外，目标图像中的检测区域和参考图像中的对应的检测区域实际上彼此重合；然而，考虑到便于观看，它们在图14中彼此偏移。在参考图像中与目标图像1400相对应的检测区域与图13所示的连续区域相同。
假定用户希望删除或连结单位区域1401和1402。在这种情况下执行的第一用户操作可以是根据鼠标指针的位置显示单位区域的候选线以允许用户选择所需的候选线的方法。当在鼠标指针的位置附近有多个单位区域时，最接近鼠标指针的位置的单位区域被显示为候选线。显示候选线的条件可以根据任何方法。例如，条件可以是从鼠标指针的位置到单位区域中的最接近点的距离小于预定像素数。在图14A所示的示例中，目标图像1400中的鼠标指针1411比单位区域1302更靠近单位区域1303。因此，显示了与单位区域1303相对应的候选线1412。用户通过点击候选线1412来确认对单位区域1303的选择。
第二用户操作可以是一种利用鼠标指针在目标图像中选择一个或更多个单位区域的方法。这里将描述用于选择一个单位区域的方法和用于选择两个或更多个单位区域的方法。假定用户如图14B所示的那样用鼠标指针1421选择目标图像1400中的单位区域1401，作为选择一个单位区域的情况的示例。那时，单位区域1302和1303之一被选择并随机显示为候选线。当选择了期望位置处的单位区域时，用户通过执行诸如点击鼠标或按下键盘的给定键等的操作来确认对单位区域的选择。当未选择期望位置处的单位区域时，用户执行诸如移动鼠标滚轮或按下键盘的给定键等的操作。以这种方式，候选线被切换到另一单位区域的候选线。当候选线因此出现在期望位置处时，用户确认对单位区域的选择。
假定用户利用鼠标指针1421选择两个单位区域1401和1402，作为选择两个或更多的单位区域的情况的示例。然后，在参考图像中选择与两个选择的单位区域相对应的单位区域1303。在这种对多个单位区域的选择中使用的方法不限于通过点击来选择，并且可以使用用于在多个单位区域之上或周围拖动鼠标的方法。例如，可以通过将鼠标从单位区域1401附近的点拖动到单位区域1402附近的点来选择单位区域1303。
第三用户操作可以是根据拖动鼠标的方向选择单位区域的方法。如图14C所示，用户将鼠标指针定位在单位区域1401附近，并沿由双点划线1431指示的方向拖动鼠标。在这种情况下，将拖动方向信息与参考图像中的单位区域1302的方向信息和单位区域1303的方向信息进行比较，并选择更靠近的方向上的单位区域。例如，可以通过拖动的开始位置和结束位置来定义拖动运动的向量的方向，并且可以通过单位区域的两个端点来定义各个单位区域的向量的方向。以这种方式，选择了在更靠近的方向上的单位区域1303。
第四用户操作可以是用于选择具有类似于鼠标拖动运动的形状的单位区域的方法。假定用户将单位区域1401附近的点设置为起点，并且拖动鼠标以绘制路径，如图14D所示的双点划线1441所示。然后，将拖动路径的形状与参考图像中的单位区域的形状进行比较，并且从参考图像中的单位区域1302和1303中选择形状更相似的单位区域。具体地，拖动运动的矢量由拖动的开始位置和结束位置确定。另外，各个单位区域的矢量由单位区域的端点确定。然后，确定拖动运动的向量与各个单位区域的向量的内积。通过选择内积更大的单位区域，成功地选择了在长度和方向上更相似的单位区域。在该示例中，选择单位区域1303。
在第二变型例中，检测数据可以是折线数据。由于折线数据是通过将检测区域表示为数据的集合而获得的数据，因此各条折线都可以视为单位区域。当将由二值化处理得到的图像(例如概率图或边缘图像)用作检测数据时，可以通过从目标图像中移除参考图像中的单位区域或通过将参考图像中的单位区域叠加在目标图像上来进行校正。然而，当将细线图像或折线数据用作检测数据时，不能通过简单的叠加处理将目标图像和参考图像整合在一起。其原因是，当基于不同的阈值从二进制图像创建细线图像时，检测区域的位置可能彼此偏移。因此，从细线图像获得的折线数据中的点的位置彼此偏移。因此，当将细线图像或折线数据用作检测数据时，在用于将目标图像和参考图像整合在一起的方法方面出现问题。下面将参考示出用于校正折线数据的方法的图15来描述适用于这些检测数据的校正方法。
图15A所示的目标图像1500包括两个单位区域1501和1502。由虚线表示的单位区域1511是参考图像中的单位区域。为了便于说明，单位区域1511被叠加并显示在目标图像1500上；然而，假定在目标图像1500中实际上未看到单位区域1511。单位区域1501和1502以及单位区域1511中的点(A1，A2以及B1至B5)各自表示折线数据的坐标数据。图15A中的单位区域1501和1502以及单位区域1511是针对相同检测目标而获得的区域，但是具有彼此偏移的坐标位置。下面将针对删除处理和连结处理依次描述用于将目标图像和参考图像整合在一起的方法。
当将折线数据用作检测数据时，在删除处理中执行的整合方法可以与在使用二进制图像的情况下执行的整合方法相同。例如，假定用户选择单位区域1501作为删除目标。在这种情况下，校正区域设置单元204首先将包括单位区域1501的位置及其周围的部分的区域设置为校正区域，在参考图像中搜索校正区域，并找到单位区域1511。然后，校正区域设置单元204将包括单位区域1511所处的区域和其附近的区域的区域设置为校正区域，并且在目标图像中搜索校正区域内的单位区域。因此，可以确定单位区域1502也可以一起被删除。
将参照图15B和图15C描述通过使用参考图像中的单位区域1511将单位区域1501和1502连结在一起的连结处理中所使用的整合方法。这里将描述在目标图像1500中将单位区域1501中的点A1连结至单位区域1502中的点A2的处理。
图15B是用于描述在使用位于目标图像的缺失区域内的在参考图像中单位区域1511的方法的图。如图15B中的左侧所示，为了连结点A1和A2，校正单元205在目标图像1500上叠加线段1521，该线段1521将点B2、B3和B4连结并且比参考图像中的单位区域的端点更靠内侧。随后，校正单元205将目标图像中的单位区域1501、线段1521和单位区域1502的端点连结以创建一个连结区域。在这种情况下，通过将点A1和B2以及点A2和B4连接获得如图15B的右侧所示的连结区域1522。
图15C是用于描述在参考图像中搜索最接近在目标图像中单位区域被分割的部分的端点的点的方法的图。具体地，校正单元205从参考图像中的单位区域1511的点当中搜索最接近点A1的点和最接近点A2的点。在该示例中，点B1最接近点A1，并且点B5最接近点A2。因此，如图15C的左侧所示，校正单元205在目标图像1500上叠加将点B1、B2、B3、B4和B5连结的线段1531，使得参考图像中的单位区域的这些点用作端点。校正单元205还将点A1和B1连接，并且将点A2和B5连接。因此，获得如图15C的右侧所示的连结区域1532。即使当使用折线数据时，也可以使用上述方法成功地校正检测数据。当使用细线图像时，也可以使用类似的方法将目标图像和参考图像整合在一起。
在上述方法中，参考图像是通过对检测数据应用二值化处理而获得的图像；然而，检测数据可以被用作参考图像而无需执行基于阈值的处理。或者，检测数据(概率图或边缘图像)的代表性位置可以用作参考图像。例如，可以将具有关于检测数据的局部峰值的信息的二进制图像用作参考图像。当使用该方法时，可以以良好的形状连结更可能成为检测目标的位置。
注意，可以进行构造使得用户可以改变第一阈值或第二阈值。显示单元105显示阈值改变工具，例如用于改变第二阈值的条或按钮，从而响应于对阈值改变工具的用户操作来改变阈值。图像设置单元202将通过使用用户设置的阈值对检测数据应用基于阈值的处理而获得的图像再次设置为参考图像。然后，再次执行校正处理。显示单元105显示目标图像的校正结果。当进行构造使得用户可以改变阈值时，可以根据用户的偏好进行校正。
(第二实施例)
根据第二实施例的图像处理装置100能够自动设置校正区域并执行校正处理而无需任何用户操作。下面将就与根据第一实施例的图像处理装置100的不同之处描述根据第二实施例的图像处理100。根据本实施例的图像处理装置100根据预先设置的条件基于参考图像和目标图像自动执行校正处理。预先设置了三个条件。第一个条件是用于设置用作用于在参考图像中搜索检测区域的标准区域的单位区域的条件，并且被称为标准区域条件。第二个条件是用于根据单位区域设置校正区域的条件，并被称为校正区域条件。第三个条件是对校正区域采用校正的条件，并被称为采用条件。
在本实施例中，标准区域条件被设置为使得目标图像中包括分割的单位区域的区域被设置为标准区域。这里，可以基于目标图像中的单位区域之间的距离短于预定长度的条件来确定单位区域是否被分割。此外，校正区域条件被设置为使得参考图像中与标准区域相对应的单位区域和与该单位区域一起形成连续区域的单位区域被设置为校正区域。注意，可以预先确定搜索方向。另外，标准区域条件可以是将位于距目标图像中的各个单位区域预定范围内的区域设置为标准区域的条件。
优选地，根据处理的类型和可能被错误地检测为检测目标的元素的属性等来设置采用条件。将在包括采用条件的特定示例的情况下描述从基础设施的壁的图像中检测出裂缝时自动删除模板的错误检测区域的示例。假定预先知道例如与作为检测目标的裂缝一起被错误地检测出模板。此外，已知模板水平地和垂直地延伸，并且比裂缝更长并且存在范围更广。在这些情况下，用于采用校正区域作为被错误地检测为模板并且作为删除校正的目标的区域的采用条件如下。
·校正区域的长度大于预定长度。
·校正区域的单位区域的矢量方向在预定角度范围内。
图16是由根据第二实施例的图像处理装置100进行的检测结果校正处理的流程图。与参照图3描述的处理相同的在图16中所示的各个处理被分配相同的标号。在图像处理装置100的CPU 101进行S302中的处理之后，处理进入S1601。在S1601中，CPU 101加载条件。这里，条件是三个条件，即，标准区域条件、校正区域条件和采用条件。然后，CPU 101使处理进入S303。注意，仅需要在随后描述的S1602中的处理之前执行S1601中的处理，并且处理顺序不限于该实施例。
在进行S304中的处理之后，CPU 101进一步使处理进入S1602。在S1602中，校正区域设置单元204根据标准区域条件选择目标图像中的单位区域之一作为标准区域。随后在S307中，校正区域设置单元204在参考图像中搜索与标准区域相对应的单位区域。如果在S308中校正区域设置单元204检测到与参考图像中的参考区域相对应的单位区域(S308为“是”)，则处理进入S1603。如果校正区域设置单元204没有在参考图像中检测到与标准区域相对应的单位区域(S308为“否”)，则处理进入S1603。
在S1603中，校正区域设置单元204根据标准区域和校正区域条件来设置校正区域。该处理是校正区域设置处理的示例。具体地，校正区域设置单元204在参考图像中检测与和标准区域相对应的区域部分重合的单位区域。然后，校正区域设置单元204搜索与检测到的单位区域一起形成连续区域的单位区域，以将与该连续区域相对应的区域设置为校正区域。校正区域设置单元204还将与参考图像中的校正区域相对应的目标图像中的区域设置为校正区域。那时，校正区域设置单元204在参考图像中搜索沿根据预先确定的规则的方向与检索到的数据连结的单位区域。
然后在S1604中，校正单元205根据采用条件，确定是否采用校正区域，即，是否对校正区域执行指定的校正处理。如果校正单元205确定采用校正区域(S1604中为“是”)，则处理进入S1605。如果校正单元205确定不采用校正区域(S1604中为“否”)，则处理进入S1603。
在S1605中，校正单元205根据关于校正区域的条件执行校正处理。然后，处理进入S314。在S314中更新数据之后，CPU 101使处理进入S1603。在S1603中，CPU 101确定是否结束处理。如果在目标图像中留下了可以选择为标准区域的单位区域，则CPU 101确定不结束校正(S1603中为“否”)。然后，处理进入S1602。如果针对可被选择为在目标图像中的标准区域的所有单位区域的处理完成，则CPU 101确定结束处理(S1603中为“是”)并结束检测结果校正处理。注意，除了上述之外，根据第二实施例的图像处理装置100的构造和处理与根据第一实施例的图像处理装置100的构造和处理基本相同。
如上所述，在第二实施例中，图像处理装置100能够自动校正检测区域。
在第二实施例的第一变型例中，预先设置的条件可以排除标准区域条件，并且可以是校正区域条件和采用条件这两个条件。在这种情况下，例如，可以将目标图像中与参考图像中的各个单位区域的位置相对应的位置处存在多个单位区域的条件设置为校正区域条件。校正区域条件是与目标图像中的检测区域和参考图像中的检测区域相关的预设条件的示例。注意，仅需要基于目标区域中包括的检测区域和参考图像中包括的检测区域之间的位置关系来确定校正区域条件，并且特定关系不限于该示例。
在第二变型例中，图像处理装置100可以执行根据第一实施例的处理和根据第二实施例的处理的整合处理。图像处理装置100首先通过执行第二实施例中描述的处理来自动校正检测区域，并将校正后的检测区域呈现给用户。然后，当接受来自用户的校正指令时，图像处理装置100通过执行第一实施例中描述的处理来共同校正检测区域。这样，可以更有效地执行校正处理。
(第三实施例)
根据第三实施例的图像处理装置100使用同一摄像范围的时间序列数据作为目标图像和参考图像。在基础设施检查中，以几年为间隔定期拍摄同一结构的壁的图像，以记录缺陷。通过该检查，可以确定结构上的缺陷与几年前的状态相比是否有所增加。尽管过去可以毫无问题地拍摄图像，但是当再次拍摄图像时，由于诸如天气等的条件，在某些情况下无法获得高质量图像。结果，在上次自动检测成功的部分处，对最新数据的自动检测可能会失败。另外，在某些情况下，无法从最新数据自动检测到通过对过去的数据进行手动跟踪而记录的裂缝。考虑到这种情况，在第三实施例中，再次拍摄几年前拍摄了图像的结构的壁的图像，以检测同一区域中的缺陷。通过完全进行手动跟踪而获得的结果和自动检测结果或通过手动校正自动检测结果的一部分而获得的结果可以用作过去数据。
图17中的1710和1720表示从在不同定时拍摄的同一摄像范围的图像获得的检测数据。具体地，检测数据1720是从与检测数据1710的定时相比在过去的定时获得的拍摄图像中获得的检测数据。最新的检测数据1710包括缺失区域1711，其中在过去的检测数据1720中存在的检测区域正缺失。结构的壁上的缺陷数据会随着时间的推移而扩展，但不会自然消失。因此，图像处理装置100将最新数据1710设置为目标图像，并且将过去数据1720设置为参考图像。以这种方式，图像处理装置100能够通过将参考图像整合到目标图像中的缺失区域1711中来进行校正。注意，除了上述之外，根据第三实施例的图像处理装置100的构造和处理与根据其它实施例的图像处理装置100的构造和处理基本相同。
(第四实施例)
根据第四实施例的图像处理装置100将不同检测目标的检测数据设置为目标图像和参考图像。下面将描述两种方法。第一种方法是用于分别执行在同一拍摄图像上检测不同的检测目标的处理并且将作为处理结果而获得的检测数据设置为目标图像和参考图像的方法。例如，图像处理装置100对特定图像执行检测裂缝的处理和检测模板的处理。因此，例如，获得了图18A所示的裂缝的检测数据1810和图18B所示的模板的检测数据1820。假定模板实际存在于裂缝的检测数据1810的区域1811中。也就是说，错误地检测出裂缝的检测数据1810的区域1811中的检测区域。在这种情况下，图像处理装置100将裂缝的检测数据1810设置为目标图像，并且将模板的检测数据1820设置为参考图像，从而能够通过使用模板的检测数据来删除裂缝的检测数据的错误检测区域。这里，裂缝的检测数据是包括确定为检测到检测目标的检测区域的图像的示例，并且模板的检测数据是包括确定检测到非检测目标的检测区域的图像的示例。
现在，将描述获得裂缝的检测数据和模板的检测数据的处理。在机器学习中，准备检测目标的原始图像。准备将正确答案标签粘贴在检测目标所处的位置上的图像作为正确答案数据。使用大量的原始图像和正确答案数据的集合进行训练。因此，可以生成用于检测检测目标的模型。使用该方法分别准备将裂缝和模板设为检测目标的用于检测裂缝和模板的检测模型，从而能够通过各个模型获得检测结果作为裂缝的检测数据和模板的检测数据。图像处理装置100或其他装置分别生成使用裂缝的原始图像和裂缝的正确答案数据的集合训练的裂缝检测模型和使用模板的原始图像和模板的正确答案数据的集合训练的模板检测模型。然后，将生成的模型设置在图像处理装置100中。图像处理装置100将裂缝检测模型和模板检测模型分别应用于拍摄图像，以获得裂缝的检测数据和模板的检测数据。
第二种方法是使用通过使用多种手段来检测特定检测目标而获得的结果的方法。例如，图像处理装置100将通过轮廓提取处理获得的裂缝的检测数据和通过边缘检测处理获得的裂缝的检测数据分别设置为目标图像和参考图像。注意，目标图像和参考图像的组合不限于该组合。图像处理装置100可以将表示成为使用不同技术获得的检测目标的概率的图像设置为目标图像和参考图像。注意，除了上述之外，根据第四实施例的图像处理装置100的构造和处理与根据其它实施例的图像处理装置100的构造和处理基本相同。
在以上实施例中，已经使用基础结构的图像给出了将诸如结构的壁上的裂缝等的缺陷的数据设置为检测目标的情况的描述。然而，检测目标不限于缺陷的检测。例如，实施例可以应用于例如从物体的轮廓提取或人的跟踪产生的轨迹的校正。在轮廓提取的情况下，可以使用在如在缺陷数据的检测中那样设置多个阈值的情况下获得的结果来校正检测结果。在跟踪的情况下，实施例可以应用于存在基于多个阈值的处理的结果或使用多种手段跟踪运动物体的结果的情况。
本发明可以被实现为作为通过将实现上述实施例的一个或更多个功能的程序经由网络或存储介质供应给系统或装置并且该系统或装置的计算机的一个或更多个处理器读取并执行该程序的结果而运行的处理。另外，本发明还可通过实现一个或更多个功能的电路(例如，ASIC)来实现。
本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。因此，所附权利要求书使本发明的范围显而易见。
本申请要求于2017年7月7日提交的日本专利申请第2017-133532号的权益，在此通过引用将其全部并入本文。

Claims (20)

1.一种图像处理装置，包括：
检测部，用于分别基于第一检测标准和第二检测标准从输入图像中检测第一检测区域和第二检测区域；
图像设置部，用于将包括第一检测区域的图像设置为经受校正的目标图像，并将包括第二检测区域的图像设置为校正中参考的参考图像；
接受部，用于从用户接受对目标图像中的区域的指定以及针对指定的区域的校正指令；
校正区域设置部，用于在参考图像中识别与指定的区域相对应的区域，并基于所识别的区域和第二检测区域来设置待校正区域；以及
校正部，用于基于参考图像中设置的待校正区域来校正目标图像中的第一检测区域。
2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
单位区域设置部，用于根据预定的第一条件在目标图像和参考图像的各个中的检测区域中设置单位区域，该单位区域用作校正处理中的处理单位，
其中，校正区域设置部基于单位区域来设置校正区域。
3.根据权利要求2所述的图像处理装置，其中，单位区域设置部将确定检测到检测目标的连续区域设置为单位区域。
4.根据权利要求3所述的图像处理装置，其中，单位区域设置部基于确定检测到检测目标的连续区域中的分支点来设置单位区域。
5.根据权利要求2至4中任一项所述的图像处理装置，所述图像处理装置还包括：
连续区域设置部，用于根据预定的第二条件将参考图像中包括的多个单位区域设置为连续区域，
其中，校正区域设置部基于连续区域来设置校正区域。
6.根据权利要求5所述的图像处理装置，其中，校正区域设置部将目标图像中的与连续区域相对应的多个单位区域设置为校正区域。
7.根据权利要求1至6中任一项所述的图像处理装置，所述图像处理装置还包括：
显示部，用于将目标图像中的与待校正区域相对应的区域显示为校正目标区域，
其中，校正部响应于接受部从用户接受的对由显示部显示的校正目标区域的确认来对校正目标区域进行校正。
8.根据权利要求7所述的图像处理装置，其中，作为校正处理，校正部将校正区域中包括的多个检测区域连结，以将多个检测区域校正为连续的检测区域。
9.根据权利要求7所述的图像处理装置，其中，作为校正处理，校正部删除校正区域中包括的检测区域。
10.根据权利要求1至9中任一项所述的图像处理装置，
其中，接受部还响应于用户操作，接受针对校正区域的校正指令，并且
其中，图像处理装置还包括修改部，用于根据校正指令来修改校正区域。
11.一种图像处理装置，包括：
检测部，用于分别基于第一检测标准和第二检测标准从输入图像中检测第一检测区域和第二检测区域；
图像设置部，用于将包括第一检测区域的图像设置为经受校正的目标图像，并将包括第二检测区域的图像设置为校正中参考的参考图像；
搜索区域设置部，用于根据关于第一检测区域预先设置的条件来设置在目标图像中搜索的区域；
相应区域设置部，用于在参考图像中设置与搜索到的区域相对应的区域；以及
校正部，用于基于与参考图像中设置的相应区域相关的信息来校正目标图像中的第一检测区域。
12.根据权利要求11所述的图像处理装置，所述图像处理装置还包括：单位区域设置部，用于在目标图像和参考图像的各个中的检测区域中设置单位区域，该单位区域用作校正处理中的处理单位。
13.根据权利要求12所述的图像处理装置，其中，单位区域设置部将检测区域中的连续区域设置为单位区域。
14.根据权利要求13所述的图像处理装置，其中，单位区域设置部基于连续区域中的分支点来设置检测区域中的单位区域。
15.根据权利要求1至14中任一项所述的图像处理装置，
其中，目标图像是已经历了基于与成为检测目标的概率相关的第一阈值的二值化处理的拍摄图像，并且
其中，参考图像是已经历了基于与成为检测目标的概率相关的第二阈值的二值化处理的拍摄图像，该第二阈值小于第一阈值。
16.根据权利要求1至14中任一项所述的图像处理装置，
其中，目标图像是从第一拍摄图像获得的图像，并且
其中，参考图像是从第二拍摄图像获得的图像，该第二拍摄图像是通过在第一拍摄图像的拍摄定时之前的定时拍摄与第一拍摄图像的摄像范围相同的摄像范围的图像而获得的。
17.根据权利要求1至14中任一项所述的图像处理装置，其中，参考图像是包括多个区域的图像，在所述多个区域中确定检测到与检测目标不同的非检测目标。
18.一种图像处理方法，包括：
检测步骤，分别基于第一检测标准和第二检测标准从输入图像中检测第一检测区域和第二检测区域；
图像设置步骤，将包括第一检测区域的图像设置为经受校正的目标图像，并将包括第二检测区域的图像设置为校正中参考的参考图像；
接受步骤，从用户接受对目标图像中的区域的指定以及针对指定的区域的校正指令；
校正区域设置步骤，在参考图像中识别与指定的区域相对应的区域，并基于所识别的区域和第二检测区域来设置待校正区域；以及
校正步骤，基于参考图像中设置的待校正区域来校正目标图像中的第一检测区域。
19.一种图像处理方法，包括：
检测步骤，分别基于第一检测标准和第二检测标准从输入图像中检测第一检测区域和第二检测区域；
图像设置步骤，将包括第一检测区域的图像设置为经受校正的目标图像，并将包括第二检测区域的图像设置为校正中参考的参考图像；
搜索区域设置步骤，基于关于第一检测区域预先设置的条件来设置在目标图像中搜索的区域；
相应区域设置步骤，在参考图像中设置与搜索到的区域相对应的区域；以及
校正步骤，基于与参考图像中设置的相应区域相关的信息来校正目标图像中的第一检测区域。
20.一种程序，其使计算机用作根据权利要求1至17中任一项所述的图像处理装置的各部。
CN201880045494.1A 2017-07-07 2018-06-29 从图像检测缺陷的图像处理装置、方法和存储介质 Active CN110892255B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017133532 2017-07-07
JP2017-133532 2017-07-07
PCT/JP2018/024900 WO2019009214A1 (ja) 2017-07-07 2018-06-29 画像から変状を検知する画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110892255A true CN110892255A (zh) 2020-03-17
CN110892255B CN110892255B (zh) 2024-03-01

Family

ID=64950965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045494.1A Active CN110892255B (zh) 2017-07-07 2018-06-29 从图像检测缺陷的图像处理装置、方法和存储介质

Country Status (4)

Country Link
US (2) US11443500B2 (zh)
JP (1) JP7191823B2 (zh)
CN (1) CN110892255B (zh)
WO (1) WO2019009214A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7346816B2 (ja) * 2018-12-17 2023-09-20 株式会社大林組 表面の不具合検査方法
CN110793566B (zh) * 2019-10-18 2022-01-28 南京中科智慧生态科技有限公司 一种水体漂浮物智能视觉检测方法
CN110853034A (zh) * 2020-01-15 2020-02-28 清华四川能源互联网研究院 裂缝检测方法、装置、电子设备和计算机可读存储介质
JP7156564B2 (ja) * 2020-04-28 2022-10-19 コニカミノルタ株式会社 画像検査装置、画像検査システム、画像検査方法および画像検査プログラム
CN115443407A (zh) 2020-05-07 2022-12-06 富士胶片株式会社 损伤评价装置、方法及程序
JP7191178B1 (ja) 2021-10-27 2022-12-16 三菱電機株式会社 路面劣化検出装置および路面劣化検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1048152A (ja) * 1996-07-31 1998-02-20 Ishikawajima Harima Heavy Ind Co Ltd 微細線状欠陥の検出方法及びその装置
JP2007256132A (ja) * 2006-03-24 2007-10-04 Ckd Corp 検査装置及びｐｔｐシートの製造装置
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
WO2017110278A1 (ja) * 2015-12-25 2017-06-29 富士フイルム株式会社 情報処理装置及び情報処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3572750B2 (ja) * 1995-10-26 2004-10-06 石川島播磨重工業株式会社 コンクリート欠陥の自動評価方法
JP3494429B2 (ja) 1998-06-18 2004-02-09 株式会社大林組 構造物表面のひび割れ計測方法
JP4189061B2 (ja) 1998-07-10 2008-12-03 株式会社Ｉｈｉ コンクリート表面のクラック検出方法
JP2015232746A (ja) * 2014-06-09 2015-12-24 パナソニックＩｐマネジメント株式会社 皺検出装置および皺検出方法
GB2534143A (en) * 2015-01-13 2016-07-20 Bae Systems Plc Structural damage detection
JP6596188B2 (ja) * 2015-04-02 2019-10-23 マークテック株式会社 探傷装置、及び探傷装置による傷部検出方法
WO2017014288A1 (ja) 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
EP3396359B1 (en) * 2015-12-25 2021-04-28 FUJIFILM Corporation Damage information processing device and damage information processing method
CN108463717B (zh) * 2016-01-26 2021-05-25 富士胶片株式会社 龟裂信息检测装置、龟裂信息检测方法及存储介质
JP6697302B2 (ja) * 2016-03-25 2020-05-20 マークテック株式会社 探傷装置、及び探傷装置による欠陥検出方法
JP6917781B2 (ja) * 2017-05-31 2021-08-11 株式会社キーエンス 画像検査装置
JP7166862B2 (ja) * 2018-09-27 2022-11-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1048152A (ja) * 1996-07-31 1998-02-20 Ishikawajima Harima Heavy Ind Co Ltd 微細線状欠陥の検出方法及びその装置
JP2007256132A (ja) * 2006-03-24 2007-10-04 Ckd Corp 検査装置及びｐｔｐシートの製造装置
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
WO2017110278A1 (ja) * 2015-12-25 2017-06-29 富士フイルム株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US11443500B2 (en) 2022-09-13
US20200134350A1 (en) 2020-04-30
JP7191823B2 (ja) 2022-12-19
JPWO2019009214A1 (ja) 2020-05-21
WO2019009214A1 (ja) 2019-01-10
US20220383608A1 (en) 2022-12-01
CN110892255B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN110892255B (zh) 从图像检测缺陷的图像处理装置、方法和存储介质
CN110678901B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US20220172348A1 (en) Information processing device, information processing method, and storage medium
JP4380838B2 (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム
JP2007052645A (ja) 路面標示認識装置及びシステム
JP2008158958A (ja) 路面判別方法および路面判別装置。
JP2018128309A (ja) ひび割れ検出方法
JP2019207535A (ja) 情報処理装置、情報処理方法及びプログラム
JP2012123626A (ja) 対象物検出装置及びプログラム
JP4517003B2 (ja) 道路標識自動認識システム
JP2007041730A (ja) 電線異常検出方法および装置およびプログラム
CN109187548A (zh) 一种岩体裂隙识别方法
US20220270232A1 (en) Apparatus for adjusting parameter related to defect detection for image processing for image processing, method for information processing, and program
JP2004145501A (ja) 道路白線認識装置
CN111260675A (zh) 一种图像真实边界高精度提取方法及系统
CN116324911A (zh) 用于从车辆牌照中提取字符的方法和用于执行方法的牌照字符提取装置
CN112435274A (zh) 一种基于面向对象分割的遥感影像面状地物提取方法
JP2003317106A (ja) 走行路認識装置
JP4908867B2 (ja) 地理画像処理システム
CN115375892A (zh) 大尺寸图像预处理方法及系统
JP5074622B2 (ja) 地理画像処理システム
CN113344834B (zh) 图像拼接方法、装置及计算机可读存储介质
CN112233127B (zh) 一种用于弯道拼接图像的下采样方法
JPH07193716A (ja) エッジ強調装置
CN112862802B (zh) 基于边缘外观序列匹配的地点识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant