CN111052177A - 异常检测装置 - Google Patents

异常检测装置 Download PDF

Info

Publication number
CN111052177A
CN111052177A CN201780094668.9A CN201780094668A CN111052177A CN 111052177 A CN111052177 A CN 111052177A CN 201780094668 A CN201780094668 A CN 201780094668A CN 111052177 A CN111052177 A CN 111052177A
Authority
CN
China
Prior art keywords
abnormality
learning model
abnormality detection
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780094668.9A
Other languages
English (en)
Inventor
日野百代
王梦雄
杉本和夫
三岛英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111052177A publication Critical patent/CN111052177A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

学习模型构建部(2)使用与样本图像中包含的异常的形状对应的形状的核，从卷积神经网络中提取样本图像中包含的异常的特征，并学习提取出的特征，由此构建卷积神经网络的学习模型。

Description

异常检测装置
技术领域
本发明涉及取得异常(変状)检测对象物中产生的异常的分类结果的异常检测装置。
背景技术
近年来，基于深度学习的图像的识别技术进步，有时在隧道或路面等异常检测对象物中产生的异常的点检作业中使用图像的识别技术。
例如，在异常的点检作业中使用图像的识别技术的异常检测装置大量收集表示产生异常的隧道的壁面的样本图像的图像数据，使用大量的图像数据作为学习数据，事前构建深度学习模型。
异常检测装置被提供表示异常检测对象物即隧道的壁面的图像的图像数据时，使用该图像数据和所构建的深度学习模型取得异常检测对象物中产生的异常的分类结果(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：国际公开第2016/189764号
发明内容
发明要解决的问题
现有的异常检测装置提取隧道的壁面中产生的异常的特征，并对特征进行学习，由此构建深度学习模型。但是，提取的特征限于异常的部分的特征，不提取异常的周围的特征。因此，不学习异常的周围的特征，仅学习异常的部分的特征。因此，存在如下问题：在特征与异常的部分近似的部分存在于图像内的情况下，有时将特征近似的部分误检测为异常。
例如，在异常是混凝土面的裂痕的情况下，有时将特征与混凝土面的裂痕近似的混凝土面的连接部分或混凝土面中的线状的涂鸦误检测为异常。
本发明正是为了解决上述这种课题而完成的，其目的在于，得到如下的异常检测装置：在特征与异常的部分近似的部分存在于异常检测对象物的图像内的情况下，也能够避免将特征近似的部分误检测到异常的状况。
用于解决问题的手段
本发明的异常检测装置具有：学习模型构建部，其使用表示包含异常的样本图像的图像数据作为输出异常的分类结果的卷积神经网络的学习数据，构建卷积神经网络的学习模型；以及异常检测部，其将表示异常检测对象物的图像的图像数据提供给通过学习模型构建部构建了学习模型的卷积神经网络，由此取得从卷积神经网络输出的异常的分类结果，学习模型构建部使用与样本图像中包含的异常的形状对应的形状的核，从卷积神经网络中提取样本图像中包含的异常的特征，并学习提取出的特征，由此对卷积神经网络的学习模型进行调整。
发明的效果
根据本发明，学习模型构建部使用与样本图像中包含的异常的形状对应的形状的核，从卷积神经网络中提取样本图像中包含的异常的特征，并学习提取出的特征，由此对卷积神经网络的学习模型进行调整，因此，具有如下效果：在特征与异常的部分近似的部分存在于异常检测对象物的图像内的情况下，也能够避免将特征近似的部分误检测到异常的状况。
附图说明
图1是示出本发明的实施方式1的异常检测装置的结构图。
图2是示出本发明的实施方式1的异常检测装置的硬件结构图。
图3是异常检测装置通过软件或固件等实现的情况下的计算机的硬件结构图。
图4是示出异常检测装置通过软件或固件等实现的情况下的学习时的处理步骤的流程图。
图5是示出异常检测装置通过软件或固件等实现的情况下的异常检测时的处理步骤的流程图。
图6是示出CNN的一例的说明图。
图7是示出由学习模型构建部2构建学习模型的CNN的前半部分的一例的说明图。
图8是示出由学习模型构建部2构建学习模型的CNN的后半部分的一例的说明图。
图9是示出基于显示部5的异常的分类结果的显示例的说明图。
图10是示出本发明的实施方式2的异常检测装置的结构图。
图11是示出本发明的实施方式2的异常检测装置的硬件结构图。
图12是示出基于显示部5的异常的分类结果和分类结果修正部6所具有的用户接口6a的显示例的说明图。
图13是示出由分类结果修正部6受理了调整的分类结果的说明图。
具体实施方式
下面，为了更加详细地说明本发明，按照附图对用于实施本发明的方式进行说明。
实施方式1
图1是示出本发明的实施方式1的异常检测装置的结构图。
图2是示出本发明的实施方式1的异常检测装置的硬件结构图。
在图1和图2中，样本图像变形部1例如通过图2所示的样本图像变形电路21实现。
样本图像变形部1从数据保存部4输入表示包含异常的样本图像的图像数据，作为输出异常的分类结果的卷积神经网络(CNN：Convolution Neural Network)的学习数据。
作为通过对样本图像进行变形来增加表示样本图像的图像数据的处理，样本图像变形部1例如实施被称为“Data Augmentation”的处理，将表示所输入的样本图像的图像数据和表示变形后的样本图像的图像数据分别输出到数据保存部4。
被称为“Data Augmentation”的处理是如下处理：在不丧失图像数据中包含的异常的特征的范围内，对该图像数据进行例如仿射变换、旋转变换、照度调整或对比度调整，由此得到多个表示样本图像的图像数据。
学习模型构建部2例如通过图2所示的学习模型构建电路22实现。
学习模型构建部2实施如下处理：使用从样本图像变形部1输出且保存在数据保存部4中的多个图像数据作为CNN的学习数据，构建CNN的学习模型。
此外，学习模型构建部2实施如下处理：使用与样本图像中包含的异常的形状对应的形状的核(kernel)，从CNN中提取样本图像中包含的异常的特征，学习提取出的特征，由此对CNN的学习模型进行调整。
学习模型构建部2将所构建的CNN的学习模型输出到数据保存部4。
异常检测部3例如通过图2所示的异常检测电路23实现。
异常检测部3实施如下处理：将表示异常检测对象物的图像的图像数据提供给从学习模型构建部2输出并保存在数据保存部4中的CNN，由此取得从CNN输出的异常的分类结果。
异常检测部3将所取得的异常的分类结果输出到数据保存部4。
数据保存部4例如通过图2所示的数据保存电路24实现。
数据保存部4保存表示样本图像的图像数据、表示样本图像中包含的异常的种类的标签信息、由学习模型构建部2构建的CNN的学习模型、由异常检测部3取得的异常的分类结果、从样本图像变形部1输出的表示样本图像的图像数据等。
显示部5例如通过图2所示的显示电路25实现。
显示部5实施显示由数据保存部4保存的异常的分类结果和异常检测对象物的图像等的处理。
在图1中，假设作为异常检测装置的结构要素的样本图像变形部1、学习模型构建部2、异常检测部3、数据保存部4和显示部5分别通过图2所示的专用硬件实现。即，假设通过样本图像变形电路21、学习模型构建电路22、异常检测电路23、数据保存电路24和显示电路25实现。
这里，数据保存电路24例如是RAM(Random Access Memory)、ROM(Read OnlyMemory)、闪存、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等非易失性或易失性半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘或DVD(Digital Versatile Disc)。
此外，样本图像变形电路21、学习模型构建电路22、异常检测电路23和显示电路25例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)或对它们进行组合而得到的部件。
异常检测装置的结构要素不限于通过专用硬件实现，异常检测装置也可以通过软件、固件、或软件和固件的组合来实现。
软件或固件作为程序存储在计算机的存储器中。计算机意味着执行程序的硬件，例如是CPU(Central Processing Unit)、中央处理装置、处理装置、运算装置、微处理器、微计算机、处理器、或DSP(Digital Signal Processor)。
图3是异常检测装置通过软件或固件等实现的情况下的计算机的硬件结构图。
在异常检测装置通过软件或固件等实现的情况下，在计算机的存储器31上构成数据保存部4，并且将用于使计算机执行样本图像变形部1、学习模型构建部2、异常检测部3和显示部5的处理步骤的程序存储在存储器31中，计算机的处理器32执行存储器31中存储的程序即可。
图4是示出异常检测装置通过软件或固件等实现的情况下的学习时的处理步骤的流程图。
图5是示出异常检测装置通过软件或固件等实现的情况下的异常检测时的处理步骤的流程图。
此外，在图2中，示出异常检测装置的结构要素分别通过专用硬件实现的例子，在图3中，示出异常检测装置通过软件或固件等实现的例子，但是，也可以是异常检测装置中的一部分结构要素通过专用硬件实现，其余结构要素通过软件或固件等实现。
接着，对动作进行说明。
在该实施方式1中，对由异常检测装置检测的异常是隧道的壁面即混凝土面中产生的异常的例子进行说明。
在混凝土面中，由于自然环境下的经年劣化，有时产生裂痕作为不规则的龟裂。此外，在混凝土面中，由于漏水的影响，有时产生颜色变化的部位即变色部位。
混凝土的内部物质有时作为析出物出现在混凝土面中。
因此，作为混凝土面中产生的异常，考虑混凝土面的裂痕、混凝土面的变色和析出物等。
在该实施方式1中，对检测隧道的壁面中包含的异常的例子进行说明，但是不限于此，例如也可以检测大楼等一般建筑物或道路的路面中产生的异常。
首先，对构建CNN的学习模型时的处理内容进行说明。
隧道的壁面即混凝土面例如通过数字照相机拍摄，数字照相机的摄像数据作为表示混凝土面的图像的图像数据保存在数据保存部4中。
在该实施方式1中，假设表示混凝土面的图像的图像数据是RGB数据，但是不限于此，例如也可以是包含进深信息的RGB-D数据或LiDAR(Light Detection And Ranging)点群数据。
由数据保存部4保存的图像数据是表示产生某些异常的混凝土面的样本图像的数据。
在该实施方式1中，在数据保存部4中至少保存表示产生裂痕的混凝土面的样本图像的图像数据、表示产生变色的混凝土面的样本图像的图像数据和表示出现析出物的混凝土面的样本图像的图像数据分别。
此外，表示混凝土面中产生的异常的种类的标签信息与表示样本图像的图像数据一起保存在数据保存部4中。标签信息是由识别到混凝土面中产生的异常的用户事前设定的信息。
此外，在该实施方式1中，为了便于说明，设为图像尺寸为400×400的正方形的样本图像的图像数据保存在数据保存部4中。作为图像尺寸而示出的400×400表示横向和纵向的像素数。下面，关于“〇〇×ΔΔ”这样的表记，〇〇表示横向的像素数，ΔΔ表示纵向的像素数。
具体而言，在表示样本图像的图像数据是RGB数据的情况下，图像尺寸为400×400的R数据、图像尺寸为400×400的G数据和图像尺寸为400×400的B数据保存在数据保存部4中。
样本图像变形部1取得由数据保存部4保存的表示样本图像的图像数据。
样本图像变形部1对所取得的表示样本图像的图像数据进行分割，以实现学习模型构建部2中的学习模型的构建处理的高速化。例如，对图像尺寸为400×400的正方形的样本图像的图像数据进行64分割，得到图像尺寸为50×50的样本分割图像的图像数据。
样本图像变形部1得到样本分割图像的图像数据，由此，在学习模型构建部2中，能够处理图像尺寸较小的样本分割图像的图像数据。此外，在学习模型构建部2中，能够同时并行处理64个样本分割图像的图像数据。因此，在学习模型构建部2中，与处理图像尺寸较大的表示样本图像的图像数据的情况相比，能够实现学习模型的构建处理的高速化。
样本图像变形部1例如实施被称为“Data Augmentation”的处理，作为通过对各个样本分割图像进行变形来增加表示样本分割图像的图像数据的处理(图4的步骤ST1)。
样本图像变形部1将表示所取得的各个样本分割图像的图像数据和表示施加了变形的各个样本分割图像的图像数据分别输出到数据保存部4。
公知对样本图像进行变形来增加图像数据在提高学习模型的构建精度的方面是有用的。
学习模型构建部2取得由数据保存部4保存的多个表示样本图像的图像数据，作为CNN的学习数据。
学习模型构建部2使用所取得的多个表示样本图像的图像数据构建CNN的学习模型(图4的步骤ST2)。
构建CNN的学习模型的处理本身是公知技术，因此省略详细说明。
这里，对CNN进行简单说明。
为了不仅能够提取异常的部分的特征，还能够提取异常的周围的特征，CNN是包含利用比样本分割图像小的尺寸的过滤器即核来提取样本分割图像中包含的异常的特征的层的神经网络。
图6是示出CNN的一例的说明图。
如图6所示，CNN具有输入层、Conv层、Pooling层、全连接层和输出层等。
输入层是输入样本分割图像的图像数据的层。
Conv层是如下层：使核的位置在样本分割图像的水平方向或垂直方向上移动，并且利用核从样本分割图像中分别提取特征，进行分别提取出的特征的卷积。
Pooling层(池化层)是对由Conv层进行了卷积的特征的信息进行压缩的层。
全连接层是使通过了Pooling层的特征与输出层中的各个节点连接的层。
输出层是如下的层：具有表示样本分割图像中包含的异常例如是裂痕的概率的节点、表示样本分割图像中包含的异常例如是变色的概率的节点、表示样本分割图像中包含的异常例如是析出物的概率的节点、表示样本分割图像中包含的异常例如不是异常的概率的节点。
图7是示出由学习模型构建部2构建学习模型的CNN的前半部分的一例的说明图。
在图7中，块名表示CNN所具有的层，输出尺寸表示从各个层输出的数据的尺寸，块类型表示过滤器即核的尺寸等。
图7所示的CNN的前半部分是下采样系统的CNN，示出如下例子：为了检测混凝土面的裂痕作为异常，使用尺寸为3×9的核和尺寸为9×3的核作为与线形异常对应的长方形的核。
与线形异常对应的长方形的核是用于在包含线形异常的区域的线形异常的周围的区域内得到感受野的细长的过滤器，核的尺寸是根据所输入的图像数据的尺寸和CNN的层次计算的。计算核的尺寸的处理本身是公知技术，因此省略详细说明。
CNN的处理的进行，CNN的层次的变化，伴随于此，感受野的范围变宽。
图中的箭头表示处理顺序，Input(输入)是输入图像数据的输入层。
ConvLayer1_1是配置于输入层的后级的第1个Conv层，输出尺寸为400×400×16。
ConvLayer1_2是配置于ConvLayer1_1的后级的第2个Conv层，输出尺寸为400×400×16。
ConvLayer1_1和ConvLayer1_2使用尺寸为3×9的核和尺寸为9×3的核。
(4)所示的Pooling(池化)是配置于ConvLayer1_2的后级的第1个Pooling层，使用2×2的核。在Pooling层中，对由Conv层进行了卷积的特征的信息进行压缩，因此，输出尺寸减少到200×200×16。
ConvLayer2_1是配置于第1个Pooling层的后级的第3个Conv层，输出尺寸为200×200×32。
ConvLayer2_2是配置于ConvLayer2_1的后级的第4个Conv层，输出尺寸为200×200×32。
ConvLayer2_1和ConvLayer2_2使用尺寸为3×9的核和尺寸为9×3的核。
(7)所示的Pooling(池化)是配置于ConvLayer2_2的后级的第2个Pooling层，使用2×2的核。在Pooling层中，对由Conv层进行了卷积的特征的信息进行压缩，因此，输出尺寸减少到100×100×32。
ConvLayer3_1是配置于第2个Pooling层的后级的第5个Conv层，输出尺寸为100×100×64。
ConvLayer3_2是配置于ConvLayer3_1的后级的第6个Conv层，输出尺寸为100×100×64。
ConvLayer3_1和ConvLayer3_2使用尺寸为3×9的核和尺寸为9×3的核。
(10)所示的Pooling(池化)是配置于ConvLayer3_2的后级的第3个Pooling层，使用2×2的核。在Pooling层中，对由Conv层进行了卷积的特征的信息进行压缩，因此，输出尺寸减少到50×50×64。
ConvLayer4_1是配置于第3个Pooling层的后级的第7个Conv层，输出尺寸为50×50×128。
ConvLayer4_2是配置于ConvLayer4_1的后级的第8个Conv层，输出尺寸为50×50×128。
ConvLayer4_1和ConvLayer4_2使用尺寸为3×9的核和尺寸为9×3的核。
(13)所示的Pooling(池化)是配置于ConvLayer4_2的后级的第4个Pooling层，使用1×1的核。在Pooling层中，对由Conv层进行了卷积的特征的信息进行压缩，因此，输出尺寸减少到25×25×128。
(13)所示的Pooling(池化)的输出被输入到图8所示的CNN的后半部分的Input(输入)。
图8是示出由学习模型构建部2构建学习模型的CNN的后半部分的一例的说明图。
图8所示的CNN的后半部分是上采样系统的CNN，对由图7所示的CNN的前半部分提取出的特征进行综合。在图8中，随着CNN的层次的变化，各层的输出尺寸增大。
图中的箭头表示处理顺序，Input(输入)是输入图7中的(13)所示的Pooling(池化)的输出的输入层。
(22)所示的UpSamplinng是配置于输入层的后级以扩大输入层的输出的层，输出尺寸增加到50×50×128。
DeconvLayer1_1是配置于(22)所示的UpSamplinng的后级的层，DeconvLayer1_2是配置于DeconvLayer1_1的后级的层。
DeconvLayer1_1和DeconvLayer1_2是使用尺寸为3×3的核进行逆卷积的层。
(25)所示的UpSamplinng是配置于DeconvLayer1_2的后级以扩大DeconvLayer1_2的输出的层，输出尺寸增加到100×100×64。
DeconvLayer2_1是配置于(25)所示的UpSamplinng的后级的层，DeconvLayer2_2是配置于DeconvLayer2_1的后级的层。
DeconvLayer2_1和DeconvLayer2_2是使用尺寸为3×3的核进行逆卷积的层。
(28)所示的UpSamplinng是配置于DeconvLayer2_2的后级以扩大DeconvLayer2_2的输出的层，输出尺寸增加到200×200×32。
DeconvLayer3_1是配置于(28)所示的UpSamplinng的后级的层，DeconvLayer3_2是配置于DeconvLayer3_1的后级的层。
DeconvLayer3_1和DeconvLayer3_2是使用尺寸为3×3的核进行逆卷积的层。
(31)所示的UpSamplinng是配置于DeconvLayer3_2的后级以扩大DeconvLayer3_2的输出的层，输出尺寸增加到400×400×16。
DeconvLayer4_1是配置于(31)所示的UpSamplinng的后级的层。
DeconvLayer4_1是使用尺寸为3×3的核进行逆卷积的层。
ConvLayer是配置于DeconvLayer4_1的后级的层。
ConvLayer是使用尺寸为3×3的核进行卷积的层。
Softmax是配置于ConvLayer的后级的输出层，输出是混凝土面的裂痕的概率和不是混凝土面的裂痕的概率。
学习模型构建部2例如在构建图7和图8所示的CNN的学习模型以检测混凝土面的裂痕作为异常时，对学习模型进行调整，以使得从图8所示的CNN输出的是混凝土面的裂痕的概率接近1.0(＝100％)。
具体而言，学习模型构建部2对从图8所示的CNN输出的是混凝土面的裂痕的概率和事前设定的阈值进行比较(图4的步骤ST3)。
如果从图8所示的CNN输出的是混凝土面的裂痕的概率小于阈值(图4的步骤ST3：否的情况)，则学习模型构建部2对学习模型进行调整，以使得从图8所示的CNN输出的是混凝土面的裂痕的概率接近1.0(＝100％)(图4的步骤ST4)。
学习模型构建部2例如对图7所示的CNN中的ConvLayer1-1、1-2、ConvLayer2-1、2-2、ConvLayer3-1、3-2和ConvLayer4-1、4-2使用的核的尺寸进行变更，由此对学习模型进行调整。
作为核的尺寸的变更方法，考虑以下这种方法。
学习模型构建部2参照由数据保存部4保存的标签信息，识别混凝土面中产生的异常是混凝土面的裂痕。
然后，学习模型构建部2计算表示是混凝土面的裂痕的概率为100％的1.0与从图8所示的CNN输出的是裂痕的概率之间的误差，根据计算出的误差，计算表示对核进行变更的方向的梯度信息。
另外，根据误差计算梯度信息的处理本身是公知技术，因此省略详细说明。
学习模型构建部2在计算出的梯度信息所表示的方向上变更核的尺寸。核的尺寸的变更量可以是固定的比率，也可以根据误差来计算。
学习模型构建部2对学习模型进行调整后，返回步骤ST2的处理，使用调整后的学习模型和所取得的多个表示样本图像的图像数据再次构建CNN的学习模型。
学习模型构建部2对从再次构建后的CNN输出的是混凝土面的裂痕的概率和事前设定的阈值进行比较(图4的步骤ST3)。
如果从再次构建后的CNN输出的是混凝土面的裂痕的概率小于阈值(图4的步骤ST3：否的情况)，则学习模型构建部2对学习模型进行调整，以使得从再次构建后的CNN输出的是混凝土面的裂痕的概率接近1.0(＝100％)(图4的步骤ST4)。
下面，反复进行步骤ST2～ST4的处理，直到是混凝土面的裂痕的概率成为阈值以上为止。
如果从CNN输出的是混凝土面的裂痕的概率为阈值以上(图4的步骤ST3：是的情况)，则学习模型构建部2结束学习模型的调整，将调整结束的学习模型输出到数据保存部4。
数据保存部4保存从学习模型构建部2输出的学习模型(图4的步骤ST5)。
这里，示出如下例子：学习模型构建部2对是异常的概率和阈值进行比较，在是异常的概率小于阈值时，对学习模型进行调整。
但是不限于此，例如，学习模型构建部2也可以对学习模型的调整次数和事前设定的次数进行比较，如果学习模型的调整次数小于设定次数，则计算误差，根据计算出的误差计算梯度信息，对核的尺寸进行变更。如果学习模型的调整次数成为设定次数，则学习模型构建部2结束学习模型的调整。
此外，这里，示出如下例子：为了检测混凝土面的裂痕等线形的异常，学习模型构建部2使用长方形的核提取异常的特征，但是不限于此。
在检测混凝土面的析出物或变色等面状的异常的情况下，学习模型构建部2使用4×4的尺寸或8×8的尺寸等正方形的核提取异常的特征。
接着，对异常检测时的处理内容进行说明。
异常检测部3例如在数字照相机拍摄隧道的壁面即混凝土面作为异常检测对象物时，取得数字照相机的摄像数据作为表示异常检测对象物的图像的图像数据(图5的步骤ST11)。
异常检测部3对所取得的图像数据所表示的异常检测对象物的图像进行分割。
例如，异常检测对象物的图像中的分割图像被分割成，与由样本图像变形部1分割后的样本分割图像的尺寸相同。
异常检测部3取得由数据保存部4保存的CNN的学习模型(图5的步骤ST12)。
异常检测部3将表示各个分割图像的图像数据提供给所取得的CNN的学习模型，由此取得从CNN输出的异常的分类结果(图5的步骤ST13)，将异常的分类结果输出到数据保存部4。
数据保存部4保存从异常检测部3输出的各个分割图像的混凝土面中产生的异常的分类结果(图5的步骤ST14)。
从CNN输出的异常的分类结果例如表示分割图像的混凝土面中产生的异常是裂痕的概率、是变色的概率、是析出物的概率或不是异常的概率。
显示部5在显示器中显示异常检测对象物的图像。
此外，显示部5从数据保存部4取得异常的分类结果，如图9所示，按照异常检测对象物的图像中的每个分割图像，显示该分割图像的混凝土面中产生的异常的分类结果(图5的步骤ST15)。
图9是示出基于显示部5的异常的分类结果的显示例的说明图。
在图9中，作为异常，例示了混凝土面的裂痕和混凝土面的析出物。
由以上可知，根据该实施方式1，构成为学习模型构建部2使用与样本图像中包含的异常的形状对应的形状的核，从卷积神经网络中提取样本图像中包含的异常的特征，学习提取出的特征，由此构建卷积神经网络的学习模型，因此，具有如下效果：在特征与异常的部分近似的部分存在于异常检测对象物的图像内的情况下，也能够避免将特征近似的部分误检测到异常的状况。
实施方式2
在上述实施方式1中，示出显示部5显示各个分割图像的混凝土面中产生的异常的分类结果的例子。
在该实施方式2中，说明具有分类结果修正部6的例子，该分类结果修正部6受理由显示部5显示的异常的分类结果的修正。
图10是示出本发明的实施方式2的异常检测装置的结构图。
图11是示出本发明的实施方式2的异常检测装置的硬件结构图。
在图10和图11中，与图1和图2相同的标号表示相同或相当部分，因此省略说明。
分类结果修正部6例如通过图11所示的分类结果修正电路26实现。
分类结果修正部6实施受理由显示部5显示的异常的分类结果的修正的处理。
在图10中，假设作为异常检测装置的结构要素的样本图像变形部1、学习模型构建部2、异常检测部3、数据保存部4、显示部5和分类结果修正部6分别通过图11所示的专用硬件实现。即，假设通过样本图像变形电路21、学习模型构建电路22、异常检测电路23、数据保存电路24、显示电路25和分类结果修正电路26实现。
这里，样本图像变形电路21、学习模型构建电路22、异常检测电路23、显示电路25和分类结果修正电路26例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC、FPGA或对它们进行组合而得到的部件。
异常检测装置的结构要素不限于通过专用硬件实现，异常检测装置也可以通过软件、固件、或软件和固件的组合来实现。
在异常检测装置通过软件或固件等实现的情况下，在图3所示的计算机的存储器31上构成数据保存部4，并且将用于使计算机执行样本图像变形部1、学习模型构建部2、异常检测部3、显示部5和分类结果修正部6的处理步骤的程序存储在存储器31中，计算机的处理器32执行存储器31中存储的程序即可。
此外，在图11中，示出异常检测装置的结构要素分别通过专用硬件实现的例子，在图3中，示出异常检测装置通过软件或固件等实现的例子，但是，也可以是异常检测装置中的一部分结构要素通过专用硬件实现，其余结构要素通过软件或固件等实现。
接着，对动作进行说明。
在该实施方式2中，仅对与上述实施方式1不同的部分进行说明。
如图12所示，显示部5显示各个分割图像的混凝土面中产生的异常的分类结果。
图12是示出基于显示部5的异常的分类结果和分类结果修正部6所具有的用户接口6a的显示例的说明图。
图12中的右上的框是分类结果修正部6所具有的用户接口6a，是受理作为异常的裂痕、漏水和析出物的调整的滑动条。
图12所示的用户接口6a是图形用户接口，但是，分类结果修正部6还具有鼠标或键盘等用户接口。
在图12中，作为异常的通用例，示出裂痕、变色和析出物，但是，在图12的例子中，不存在变色的部位，因此，不存在表示异常是变色的分类结果。
在图12的例子中，显示64个(＝8×8个)分割图像。
在图12的例子中，用户判断出从左侧起第6个且从上侧起第2个分割图像(以下称为(6，2)的分割图像)的异常的分类结果错误，使用分类结果修正部6所具有的鼠标等用户接口指定(6，2)的分割图像。
(6，2)的分割图像中的分类结果表示混凝土面中产生的异常是裂痕。
但是，实际上，如果(6，2)的分割图像的混凝土面中产生的异常不是裂痕而是析出物，则用户使用与裂痕相关的滑动条和与析出物相关的滑动条对(6，2)的分割图像中的分类结果进行调整。
图13是示出由分类结果修正部6受理了调整的分类结果的说明图。
在图13的例子中，用户使与裂痕相关的滑动条中的Δ的记号向左方向滑动，降低是裂痕的概率，使与析出物相关的滑动条中的Δ的记号向右方向滑动，提高是析出物的概率。
分类结果修正部6受理用户对分类结果的调整，将修正后的分类结果输出到数据保存部4。
数据保存部4保存从分类结果修正部6输出的修正后的分类结果。
学习模型构建部2使用由数据保存部4保存的修正后的分类结果再次学习，由此，能够提高CNN的学习模型的精度。
使用修正后的分类结果再次进行学习的处理本身是公知技术，因此省略详细说明。
由以上可知，根据该实施方式2，构成为具有受理由显示部5显示的异常的分类结果的修正的分类结果修正部6，因此，与上述实施方式1相比，发挥能够提高CNN的学习模型的精度的效果。
另外，本申请发明能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。
产业上的可利用性
本发明适用于取得异常检测对象物中产生的异常的分类结果的异常检测装置。
标号说明
1：样本图像变形部；2：学习模型构建部；3：异常检测部；4：数据保存部；5：显示部；6：分类结果修正部；6a：用户接口；21：样本图像变形电路；22：学习模型构建电路；23：异常检测电路；24：数据保存电路；25：显示电路；26：分类结果修正电路；31：存储器；32：处理器。

Claims (5)

1.一种异常检测装置，其特征在于，
所述异常检测装置具有：
学习模型构建部，其使用表示包含异常的样本图像的图像数据作为输出异常的分类结果的卷积神经网络的学习数据，构建所述卷积神经网络的学习模型；以及
异常检测部，其将表示异常检测对象物的图像的图像数据提供给通过所述学习模型构建部构建了学习模型的卷积神经网络，由此取得从所述卷积神经网络输出的异常的分类结果，
所述学习模型构建部使用与所述样本图像中包含的异常的形状对应的形状的核，从所述卷积神经网络中提取所述样本图像中包含的异常的特征，并学习提取出的所述特征，由此对所述卷积神经网络的学习模型进行调整。
2.根据权利要求1所述的异常检测装置，其特征在于，
如果所述样本图像中包含的异常为线形的异常，则所述学习模型构建部使用长方形的卷积核提取异常的特征，如果所述样本图像中包含的异常为面状的异常，则所述学习模型构建部使用正方形的卷积核提取异常的特征。
3.根据权利要求1所述的异常检测装置，其特征在于，
所述异常检测装置具有样本图像变形部，该样本图像变形部对所述样本图像进行变形，
所述学习模型构建部使用表示所述样本图像的图像数据、和表示由所述样本图像变形部进行变形后的样本图像的图像数据的各方，作为所述学习数据。
4.根据权利要求1所述的异常检测装置，其特征在于，
所述异常检测装置具有显示部，该显示部显示由所述异常检测部取得的异常的分类结果和所述异常检测对象物的图像。
5.根据权利要求4所述的异常检测装置，其特征在于，
所述异常检测装置具有分类结果修正部，该分类结果修正部受理由所述显示部显示的异常的分类结果的修正。
CN201780094668.9A 2017-09-14 2017-09-14 异常检测装置 Pending CN111052177A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/033277 WO2019053842A1 (ja) 2017-09-14 2017-09-14 変状検出装置

Publications (1)

Publication Number Publication Date
CN111052177A true CN111052177A (zh) 2020-04-21

Family

ID=65722564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094668.9A Pending CN111052177A (zh) 2017-09-14 2017-09-14 异常检测装置

Country Status (4)

Country Link
US (1) US20200134384A1 (zh)
JP (1) JP6664557B2 (zh)
CN (1) CN111052177A (zh)
WO (1) WO2019053842A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114113101A (zh) * 2020-08-31 2022-03-01 罗伯特·博世有限公司 异常判定模型生成方法和异常判定模型生成装置以及检查装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
EP3605435A4 (en) * 2017-03-29 2020-02-05 Nec Corporation SITE MANAGEMENT DEVICE, SITE MANAGEMENT METHOD, AND COMPUTER-READABLE RECORDING MEDIUM
EP3942480A1 (en) * 2019-05-23 2022-01-26 Google LLC Fully attentional computer vision
EP4038374A4 (en) 2019-09-30 2023-10-25 Musashi AI North America Inc. SYSTEM AND METHOD FOR AI VISUAL INSPECTION
JP7446771B2 (ja) * 2019-10-30 2024-03-11 株式会社東芝 可視化データ生成装置、可視化データ生成システム、及び可視化データ生成方法
JP6793896B1 (ja) * 2020-03-04 2020-12-02 三菱電機株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2021245937A1 (ja) * 2020-06-05 2021-12-09 株式会社日立ハイテク 欠陥検査装置
JP2022135080A (ja) * 2021-03-04 2022-09-15 キヤノン株式会社 画像処理装置および画像処理方法
WO2022208620A1 (ja) * 2021-03-29 2022-10-06 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN113065606B (zh) * 2021-04-19 2023-11-17 北京石油化工学院 一种基于轻量级深度学习的异常点位检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140056536A1 (en) * 2012-08-27 2014-02-27 Toshiba Medical Systems Corporation Method and system for substantially removing dot noise
JP2017062776A (ja) * 2015-09-04 2017-03-30 株式会社東芝 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114588A (ja) * 2003-10-08 2005-04-28 Mitsubishi Heavy Ind Ltd 追尾装置
JP6160196B2 (ja) * 2013-04-15 2017-07-12 オムロン株式会社 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法
US10620131B2 (en) * 2015-05-26 2020-04-14 Mitsubishi Electric Corporation Detection apparatus and detection method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140056536A1 (en) * 2012-08-27 2014-02-27 Toshiba Medical Systems Corporation Method and system for substantially removing dot noise
JP2017062776A (ja) * 2015-09-04 2017-03-30 株式会社東芝 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
欧阳针;陈玮;: "基于可变形卷积神经网络的图像分类研究" *
王涛;江加和;: "基于语义分割技术的任意方向文字识别" *
石祥滨;房雪键;张德园;郭忠强;: "基于深度学习混合模型迁移学习的图像分类" *
赵雪峰;李生元;欧进萍;: "基于人工智能与智能手机的混凝土裂纹检测" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114113101A (zh) * 2020-08-31 2022-03-01 罗伯特·博世有限公司 异常判定模型生成方法和异常判定模型生成装置以及检查装置

Also Published As

Publication number Publication date
US20200134384A1 (en) 2020-04-30
JP6664557B2 (ja) 2020-03-13
JPWO2019053842A1 (ja) 2020-02-06
WO2019053842A1 (ja) 2019-03-21

Similar Documents

Publication Publication Date Title
CN111052177A (zh) 异常检测装置
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP5503578B2 (ja) 物体検出装置及び物体検出方法
CN109242791B (zh) 一种针对破损植物叶片的批量修复方法
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
CN110008806B (zh) 信息处理装置、学习处理方法、学习装置及物体识别装置
US10043090B2 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
US8787671B2 (en) Character recognition preprocessing method and apparatus
US8488878B2 (en) Sky detection system used in image extraction device and method using sky detection system
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN109993052B (zh) 一种复杂场景下尺度自适应的目标跟踪方法和系统
WO2016165064A1 (zh) 基于多视角学习的鲁棒性前景检测方法
JP2003050211A (ja) 明度補正方法及び選択的欠陥検出方法及びこれらを記録した記録媒体
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN113298755B (zh) 基于时序影像的生态环境变化斑块快速检测方法和装置
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN110751656B (zh) 一种裂缝参数自动提取方法、装置及存储装置
US20240095928A1 (en) Model Training Method, Image Edge Detection Method, and Multi-Sensor Calibration Method
CN111062384A (zh) 一种基于深度学习的车窗精确定位方法
JP2009157701A (ja) 画像処理方法及び画像処理装置
CN112308061B (zh) 一种车牌字符识别方法及装置
JP6354316B2 (ja) 画像検出装置及びプログラム
CN113313707A (zh) 原始图像处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231124