CN112740267A - 学习用数据收集装置、学习用数据收集方法、及程序 - Google Patents

学习用数据收集装置、学习用数据收集方法、及程序 Download PDF

Info

Publication number
CN112740267A
CN112740267A CN201980061613.7A CN201980061613A CN112740267A CN 112740267 A CN112740267 A CN 112740267A CN 201980061613 A CN201980061613 A CN 201980061613A CN 112740267 A CN112740267 A CN 112740267A
Authority
CN
China
Prior art keywords
image
information
inspection image
learning data
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061613.7A
Other languages
English (en)
Inventor
堀田修平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112740267A publication Critical patent/CN112740267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种收集可进行高效再学习的学习用数据的学习用数据收集装置、学习用数据收集方法、及程序。学习用数据收集装置(10)具备：检查图像获取部(11)，其获取检查图像；区域检测结果获取部(损伤检测结果获取部(13))，其获取由进行了学习的区域检测器检测到的区域检测结果；修正历史获取部(15)，其获取区域检测结果的修正历史；计算部(17)，其计算对修正历史进行定量化而得到的修正定量化信息；数据库，其将检查图像、区域检测结果及修正历史相关联地存储；图像提取条件设定部(19)，其设定从数据库中提取用于再学习的检查图像的提取条件，并将修正定量化信息的阈值设定为提取条件；以及第一学习用数据提取部(21)，其提取满足提取条件的检查图像和与检查图像相关联的区域检测结果及修正历史作为使区域检测器再学习的学习用数据。

Description

学习用数据收集装置、学习用数据收集方法、及程序
技术领域
本发明涉及一种学习用数据收集装置、学习用数据收集方法、及程序，特别是提取使区域检测器再学习的学习用数据的学习用数据收集装置、学习用数据收集方法、及程序。
背景技术
近年来，有时使用检查对象的对象物的拍摄图像来进行对象物的检查。对象物的检查通过从对象物的拍摄图像中检测及特定规定区域来进行。例如，在进行构造物的损伤检查时，可获取作为检查对象物的桥梁、道路、楼房等构造物的摄影图像。然后，利用图像处理从该拍摄图像中检测及特定构造物的损伤。
在此，作为利用图像处理从拍摄图像中检测区域的方法之一，已知有利用进行了机器学习的区域检测器(例如损伤检测器)来检测区域的方法。另外，还已知通过对暂时进行了机器学习的区域检测器使其再学习(或追加学习)，能够提高区域检测的精度。然而，若使区域检测器将积累在数据库等中的大量图像全部作为学习用数据进行学习，则学习时间会变得很长。另外，若不学习适当的数据作为学习用数据，则不能期待高的学习效果。即，仅通过随机地选择学习用数据，不能使区域检测器进行高效的学习。
因此，一直以来，在进行机器学习时，以进行高效学习为目的，提出有与学习用数据的提取方法相关的方案。
例如，在专利文献1中记载有一种以可靠且迅速地提高图像的识别精度为目的的技术。具体而言，记载了将过去的机器学习中使用的图像以外的图像、即与过去的机器学习中使用的图像的相似度低的图像用于机器学习的技术。
以往技术文献
专利文献
专利文献1：日本特开第2017-224184号公报
发明内容
发明要解决的技术课题
在此，在利用进行了机器学习的区域检测器进行对象物的区域的检测的情况下，为了进行高效的机器学习，需要使用用户对由该区域检测器进行的区域检测结果不满意的检查图像来进行再学习。
另一方面，用户有时也对区域检测结果进行轻微的修正。即使是这样的轻微的修正，学习也需要时间。
因此，为了进行有效的再学习，希望提取用户不满意的检查图像，并且将轻微的修正设为再学习的对象外。
本发明是鉴于上述情况而完成的，其目的在于提供一种收集可进行高效再学习的学习用数据的学习用数据收集装置、学习用数据收集方法、及程序。
用于解决技术课题的手段
为了实现上述目的，作为本发明的一个方面的学习用数据收集装置具备：检查图像获取部，其获取对检查对象物进行拍摄而得到的检查图像；区域检测结果获取部，其基于检查图像，获取由进行了学习的区域检测器检测到的区域检测结果；修正历史获取部，其获取区域检测结果的修正历史；计算部，其计算对修正历史进行定量化而得到的修正定量化信息；数据库，其将检查图像、区域检测结果及修正历史相关联地存储；图像提取条件设定部，其设定从数据库中提取用于再学习的检查图像的提取条件，并将修正定量化信息的阈值设定为提取条件；以及第一学习用数据提取部，其从数据库中提取满足提取条件的检查图像和与检查图像相关联的区域检测结果及修正历史作为使区域检测器再学习的学习用数据。
根据本方面，由于计算对修正历史进行定量化而得到的修正定量化信息，并提取具有一定的修正定量化信息的检查图像作为学习用数据，所以用户能够对区域检测结果进行修正，并且收集该修正不是轻微修正的检查图像作为学习用数据，通过使用收集到的学习用数据，可使区域检测器实施高效的再学习。
优选的是，学习用数据收集装置具备实际尺寸信息获取部，其获取检查图像中的实际尺寸信息，计算部计算修正定量化信息，修正定量化信息是利用实际尺寸信息换算为实际尺寸而得到的。
优选的是，图像提取条件设定部接受对象物的图像信息，第一学习用数据提取部基于图像信息和修正定量化信息的阈值，从数据库中提取检查图像。
优选的是，对象物的图像信息是包括区域的大小信息、区域的位置信息、区域的方向信息、区域的种类信息、以及检查图像的元信息中的至少一个的信息。
优选的是，学习用数据收集装置具备判定检查图像的画质的画质判定部，图像提取条件设定部接受与检查图像的画质相关的信息，第一学习用数据提取部基于与画质相关的信息和修正定量化信息的阈值，从数据库中提取检查图像。
优选的是，学习用数据收集装置具备获取附带信息的附带信息获取部，附带信息包括检查图像的识别信息、部件信息、位置信息、环境信息、材质信息、检查信息、以及管理信息中的至少一个，图像提取条件设定部接受附带信息，第一学习用数据提取部基于检查图像所具有的附带信息和由图像提取条件设定部接受的附带信息，提取检查图像。
优选的是，学习用数据收集装置具备：学习历史获取部，其获取与在学习中使用检查图像的历史相关的历史信息；以及统计信息生成部，其基于所获取的历史信息，生成在学习中使用的图像的统计信息，第一学习用数据提取部基于所生成的统计信息，从数据库中提取检查图像。
优选的是，检查图像获取部包含对对象物进行分割拍摄而得到的分割图像和对分割图像进行合成而得到的全景合成图像，修正历史获取部获取全景合成图像上的修正历史，第一学习用数据提取部基于全景合成图像上的修正历史，提取全景合成图像上的区域，并提取至少一个构成区域的分割图像。
优选的是，具备第二学习用数据提取部，其从未由第一学习用数据提取部提取的检查图像中提取检查图像作为使区域检测器再学习的学习用数据。
优选的是，具备图像确认显示部，其显示所提取的检查图像及与检查图像相关的信息。
作为本发明的另一方面的学习用数据收集方法包括：获取对检查对象物进行拍摄而得到的检查图像的步骤；基于检查图像，获取由进行了学习的区域检测器检测到的区域检测结果的步骤；获取区域检测结果的修正历史的步骤；计算对修正历史进行定量化而得到的修正定量化信息的步骤；设定从将检查图像、区域检测结果及修正历史相关联地存储的数据库中提取用于再学习的检查图像的提取条件并将修正定量化信息的阈值设定为提取条件的步骤；以及从数据库中提取满足提取条件的检查图像和与检查图像相关联的区域检测结果及修正历史作为使区域检测器再学习的学习用数据的步骤。
作为本发明的另一方面的程序使计算机执行包括以下步骤的学习用数据收集工序：获取对检查对象物进行拍摄而得到的检查图像的步骤；基于检查图像，获取由进行了学习的区域检测器检测到的区域检测结果的步骤；获取区域检测结果的修正历史的步骤；计算对修正历史进行定量化而得到的修正定量化信息的步骤；设定从将检查图像、区域检测结果及修正历史相关联地存储的数据库中提取用于再学习的检查图像的提取条件并将修正定量化信息的阈值设定为提取条件的步骤；以及从数据库中提取满足提取条件的检查图像和与检查图像相关联的区域检测结果及修正历史作为使区域检测器再学习的学习用数据的步骤。
发明效果
根据本发明，由于计算对修正历史进行定量化而得到的修正定量化信息，并提取具有一定的修正定量化信息的检查图像作为学习用数据，所以用户能够对区域检测结果进行修正，并且收集该修正不是轻微修正的学习用数据，通过使用收集到的学习用数据，可使区域检测器实施高效的再学习。
附图说明
图1是表示学习用数据收集装置和与其连接的损伤检测器的概念图。
图2是表示学习用数据收集装置的主要功能结构例的框图。
图3是表示检查图像获取部获取的检查图像的一例的图。
图4是表示损伤检测结果的图。
图5是表示修正历史的概念图。
图6是表示修正历史的具体例的图。
图7是表示修正历史的具体例的图。
图8是表示修正历史的具体例的图。
图9是表示学习用数据收集工序的流程图。
图10是表示学习用数据收集装置的功能结构例的框图。
图11是表示从与检查图像相关联地存储在数据库中的检查图像得到的信息的存储结构例的图。
图12是表示浓度直方图的例子的图。
图13是表示学习用数据收集装置的功能结构例的框图。
图14是表示学习用数据收集装置的功能结构例的框图。
图15是概念性地表示全景合成图像上的修正历史的图。
图16是表示检查图像的确认画面的例子的图。
具体实施方式
以下，根据附图对本发明所涉及的学习用数据收集装置、学习用数据收集方法、及程序的优选实施方式进行说明。此外，在以下的说明中，对构造物的损伤检查的例子进行说明。即，检查的对象物是构造物，对进行从构造物的检查图像中检测损伤(损伤区域)作为区域的检查的情况进行说明。
图1是表示本发明的学习用数据收集装置和作为与其连接的区域检测器的一例的损伤检测器的概念图。图1中示出了搭载了本发明的学习用数据收集装置的计算机A和搭载了已进行了学习的损伤检测器的计算机B1和B2。计算机A、计算机B1及计算机B2与网络连接，能够相互进行信息通信。
计算机A作为服务器发挥功能，经由网络分别接收从计算机B1和B2上传的检查图像、损伤检测结果(区域检测结果)、以及修正历史的上传数据C1和C2。另外，计算机A也作为能够使搭载于计算机B1和B2的损伤检测器再学习的学习用计算机发挥功能。而且，计算机A将进行了再学习的损伤检测器、或通过使损伤检测器再学习而得到的检测参数文件(图中用符号D表示)分发给计算机B1和B2。
计算机B1和B2针对所输入的检查图像E1和E2，将利用所搭载的损伤检测器输出的损伤检测结果及用户对该损伤检测结果进行的修正历史作为上传数据C1和C2上传到计算机A。计算机B1和B2对利用损伤检测器处理的所有检查图像、或部分检查图像的上传数据C1和C2进行上传。此外，搭载于计算机B1和B2的损伤检测器是已经实施了机器学习的损伤检测器，且是利用公知的技术实施了学习的损伤检测器。
计算机A将接收到的上传数据C1和C2保存在搭载的数据库23(图2)中。另外，计算机A利用搭载的学习用数据收集装置10(图2)提取学习用数据，并使用提取出的学习用数据进行再学习，因此能够有效地提高损伤检测器的检测性能。在此，再学习是指包括追加学习用数据并对已经进行了学习的学习用数据重新全部进行学习的情况和仅追加学习用数据并对其进行学习的情况的概念。此外，搭载与计算机A连接的损伤检测器的计算机(在图1中为计算机B1和B2)的数量没有限定，可以是单个也可以是多个。
计算机A、计算机B1和计算机B2分别与监视器9连接，用户经由键盘5和鼠标7输入指令。此外，所图示的计算机的形态是一例。例如，可以使用平板终端来代替图示的计算机。
<第一实施方式>
接下来，将对本发明的第一实施方式进行说明。
图2是表示本实施方式的计算机A搭载的学习用数据收集装置10的主要功能结构例的框图。执行图2所示的学习用数据收集装置10的各种控制的硬件结构为如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种控制部发挥功能的通用处理器即CPU(Central Processing Unit)、制造FPGA(Field Programmable GateArray)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行ASIC(Application Specific Integrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合)构成。另外，还可以用一个处理器构成多个控制部。作为用一个处理器构成多个控制部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个控制部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个控制部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种控制部。
学习用数据收集装置10具备检查图像获取部11、损伤检测结果获取部(区域检测结果获取部)13、修正历史获取部15、计算部17、实际尺寸信息获取部18、图像提取条件设定部19、第一学习用数据提取部21、数据库23、显示控制部25、以及存储部26。在存储部26中存储程序以及与学习用数据收集装置10的各种控制相关的信息等。另外，显示控制部25控制监视器9进行的显示。
检查图像获取部11获取对作为检查对象的构造物进行拍摄而得到的检查图像。由检查图像获取部11获取的检查图像是输入到搭载于计算机B1或B2的损伤检测器(区域检测器)的图像，利用损伤检测器检测检查图像所具有的损伤(区域)。
损伤检测结果获取部13获取由检查图像获取部11获取的检查图像的损伤检测结果。在此，损伤检测结果利用搭载于计算机B1或B2的损伤检测器输出，上传到计算机A。
修正历史获取部15获取损伤检测结果的修正历史。由修正历史获取部15获取的修正历史是针对由损伤检测结果获取部13获取的损伤检测结果的修正历史。此外，修正历史获取部15在进行了修正的情况下，获取表示未进行修正的信息作为修正历史。
计算部17计算对修正历史进行定量化后而得到的修正定量化信息。另外，计算部17也可以具备实际尺寸信息获取部18，实际尺寸信息获取部18获取检查图像中的实际尺寸信息。而且在该情况下，计算部17计算修正定量化信息，该修正定量化信息是利用实际尺寸信息换算成实际尺寸而得到的。此外，稍后将对由计算部17进行的修正定量化信息的计算进行说明。
数据库23将检查图像、损伤检测结果以及修正历史相关联地进行存储。数据库23将由检查图像获取部11获取的检查图像、由损伤检测结果获取部13获取的损伤结果、以及由修正历史获取部15获取的修正历史相关联地进行存储。
图像提取条件设定部19设定从数据库23中提取用于再学习的检查图像的提取条件，并将修正定量化信息的阈值设定为提取条件。根据保存在数据库23中的修正定量化信息来判定修正定量化信息的阈值。另外，用户通过变更该阈值，提取修正了损伤检测结果的检查图像且不是轻微修正的检查图像作为学习用数据。例如，用户可设定规定阈值，并收集具有该阈值以上的修正定量化信息的检查图像。
第一学习用数据提取部21从数据库23中提取满足提取条件的检查图像和与检查图像相关联的损伤检测结果以及修正历史作为使损伤检测器进行再学习的学习用数据。
《存储在数据库中的数据》
下面说明存储在数据库23中的数据的具体例。在数据库23中至少存储从计算机B1和B2上传的检查图像、损伤检测结果及修正历史。
图3是表示检查图像获取部11获取的检查图像的一例的图。检查图像31是拍摄作为检查对象物的构造物的一例即桥梁的桥面板的一部分而得到的图像。检查图像31具有裂纹33和裂纹35。检查图像31被输入到计算机B1或B2，利用搭载于计算机B1的损伤检测器输出损伤检测结果。此外，构造物不限于桥梁，电可以是隧道、箱形涵洞(box culvert)、堤坝、防潮堤、建筑物(墙面或地板等)等其他构造物。
图4是表示将图3所示的检查图像输入到损伤检测器而得到的损伤检测结果的图。损伤检测结果41具有对裂纹33的损伤检测结果37、对裂纹35的损伤检测结果39。损伤检测结果39是良好的，充分检测到裂纹35。另一方面，损伤检测结果37未充分检测到裂纹33，是不良的损伤检测结果。因此，用户对损伤检测结果37进行修正。
图5是表示用户对图4所示的损伤检测结果41进行的修正历史的概念图。在修正历史52中，对裂纹33的损伤检测结果37追加了追加矢量54。即，由于损伤检测结果37不能充分检测到裂纹33，因此用户通过手动追加了追加矢量54。
在以上的具体例中说明的检查图像31、损伤检测结果41以及修正历史52从计算机B1或B2上传到计算机A。
《修正定量化信息》
接着，对修正定量化信息进行说明。修正定量化信息通过利用计算部17对修正历史进行定量化来计算。在此，修正历史的定量化(修正量)是表示例如在裂纹等中被修正并追加或被删除的矢量的长度的信息，或是被修正并移动的矢量的坐标的变更量。另外，例如是在漏水、游离石灰、剥离、钢筋露出等中被修正并追加或被删除的区域的面积、区域的面积的变化量。而且，在图像提取条件设定部19中设定与保存在数据库23中的修正定量化信息对应的阈值，第一学习用数据提取部21例如提取具有阈值以上的修正定量化信息的检查图像。
计算部17可以具备实际尺寸信息获取部18，也可以不具备。在计算部17不具备实际尺寸信息获取部18的情况下，将像素尺寸中的修正量作为修正定量化信息。另外，在计算部17具备实际尺寸信息获取部18的情况下，计算部17使用实际尺寸信息(被摄体分辨率(mm/像素)、或图像中的部件等的尺寸)，计算换算为实际尺寸的修正量。计算部17通过具备实际尺寸信息获取部18，能够更正确地计算修正量。
图6、图7以及图8是表示由修正历史获取部15获取的修正历史的具体例的图。此外，图6、图7及图8用虚线表示损伤检测器检测到并输出损伤(裂纹)的矢量(检测矢量)，用实线表示用户追加了修正后的矢量(修正后矢量)。另外，虚线和实线大致平行地描绘的部位实际上是检测矢量与修正后矢量重叠的部位，表示损伤检测器的检测良好。
图6所示的修正历史56表示由用户进行了追加修正的情况。具体而言，在修正历史56的区域61中，由用户追加了损伤检测器未输出的修正后矢量，通过用户的修正追加了漏检的损伤。
图7所示的修正历史58表示由用户进行了误检的修正的情况。具体而言，在修正历史58的区域63中检测到损伤，但在区域63中仅为检测矢量，未描绘修正后矢量。因此，区域63的检测矢量是由于误检而产生的，被删除修正。
图8所示的修正历史60在该图的(A)中，在一部分区域中检测矢量与修正后矢量的一部分重叠，但在一部分区域中进行了删除矢量的修正，在一部分区域中追加了矢量。具体而言，在区域65中，由于仅存在检测矢量，因此进行了删除误检的修正，在区域67中，由于仅存在修正后矢量，因此追加了漏检的损伤。另外，在该图的(B)中，记载了变更并修正了矢量的一部分的坐标值的修正历史。具体而言，图中的箭头所示的坐标值在检测矢量和修正后矢量中不同，损伤的检测被部分变更。
以上，示出了修正历史的具体例，但修正历史并不限定于此，可以采用各种形态的修正历史。
《学习用数据收集工序》
接着，对使用了学习用数据收集装置10的学习用数据收集工序(学习用数据收集方法)进行说明。图9是表示使用了学习用数据收集装置10的学习用数据收集工序(学习用数据收集方法)的流程图。
首先，检查图像获取部11获取从计算机B1和B2上传的检查图像(步骤S10)。另外，损伤检测结果获取部13获取从计算机B1和B2上传的损伤检测结果(步骤S11)。另外，修正历史获取部15获取从计算机B1和B2上传的修正历史(步骤S12)。然后，计算部17基于所获取的修正历史计算修正定量化信息(步骤S13)。然后，利用图像提取条件设定部19将修正定量化信息的阈值设定为提取条件(步骤S14)。然后，利用第一学习用数据提取部提取进行再学习的学习用数据(步骤S15)。
上述各结构和功能能够通过任意的硬件、软件、或两者的组合适当实现。例如，对于使计算机执行上述处理步骤(处理工序)的程序、记录了这种程序的计算机可读记录介质(非暂时性记录介质)、或可安装这种程序的计算机也能够应用本发明。
如以上说明的那样，在本实施方式中，由于修正历史被定量化，且利用该被定量化的提取条件来提取学习用数据，所以提取被修正且该修正不轻微的检查图像作为学习用数据，因此能够使损伤检测器进行高效的学习。
<第二实施方式>
接下来，对第二实施方式进行说明。在第二实施方式中，除了修正定量化信息之外，还基于从检查图像获得的信息(构造物的图像信息和与检查图像的画质相关的信息)来提取检查图像。由此，能够收集可进行更高效的再学习的学习用数据。
图10是表示本实施方式的学习用数据收集装置10的功能结构例的框图。此外，对在图2已进行了说明之处赋予相同的附图标记并省略说明。
学习用数据收集装置10具备：检查图像获取部11、损伤检测结果获取部13、修正历史获取部15、计算部17、实际尺寸信息获取部18、图像提取条件设定部19、第一学习用数据提取部21、画质判定部51、数据库23、显示控制部25以及存储部26。
本实施方式的图像提取条件设定部19接受作为从检查图像得到的信息之一的构造物的图像信息。在此，结构物的图像信息是指包括损伤的大小信息(区域的大小信息)、损伤的位置信息(区域的位置信息)、损伤的方向信息(区域的方向信息)、损伤的种类信息(区域的种类信息)、以及检查图像的元信息中的至少一个的信息。在数据库23中与检查图像相关联地存储有这些图像信息。此外，图像信息例如在由损伤检测器检测到损伤时获取。具体而言，损伤的大小信息、损伤的位置信息、损伤的方向信息、损伤的种类信息、检查图像的元信息在利用损伤检测器检测到损伤的情况下被获取，并与检查图像相关联地被上传。
第一学习用数据提取部21基于图像信息和修正定量化信息，从数据库23中提取检查图像。即，在图像提取条件设定部19中设定想要提取(想要追加学习)的图像信息的提取条件和修正定量化信息的阈值。作为所设定的图像信息的提取条件的具体例，可列举出提取最小裂纹宽度为0.2mm以上的图像的条件、或提取游离石灰位于中央部的图像的条件等。此外，也可以在图像提取条件设定部19中仅设定图像信息的提取条件，在该情况下，根据图像信息的提取条件来提取检查图像。
《构造物的图像信息》
接下来，对构造物的图像信息进行说明。
作为构造物的图像信息之一，有损伤的大小。损伤的大小以像素尺寸定量化，或者在具备实际尺寸信息获取部18的情况下以实际尺寸定量化，作为构造物的图像信息。作为损伤的大小的具体例，可以举出检查图像内的损伤的总长度(检查对象为混凝土时的裂纹的长度、检查对象为钢构件时的龟裂的长度)。另外，也可以将裂纹的每个宽度(小于0.1mm、0.1mm以上且小于0.2mm、0.2以上等)的总长度作为构造物的图像信息。
另外，作为损伤的大小的具体例，可以举出检查图像内的损伤的总面积(检查对象为混凝土时的漏水、游离石灰、剥离、钢筋露出等，检查对象为钢构件时的腐蚀、防腐蚀功能的劣化等)。另外，可以举出损伤的最大宽度、最大面积(漏水、游离石灰、剥离、钢筋露出的情况等)、最小间隔(与相同种类的相邻损伤的最小距离)、密度(每1平方米的裂纹个数、长度[裂纹、龟裂]、面积[漏水、游离石灰、剥离、钢筋露出]等)。
作为构造物的图像信息之一，有损伤的位置。损伤的位置根据拍摄了部件整体的检查图像来掌握损伤的位置。另外，也可以在对分割部件而拍摄的图像进行全景合成之后，通过全景合成图像来掌握损伤的位置。作为损伤的位置的具体例，有位置(中央部/端部等)、方向性(桥面板的裂纹为桥轴方向/与桥轴垂直的方向，桥墩的裂纹为垂直方向/水平方向等)。
作为构造物的图像信息之一，有损伤的种类。损伤的种类利用损伤检测器的检测结果(例如，裂纹检测、漏水检测、游离石灰检测、剥离检测、钢筋露出检测、龟裂检测、腐蚀检测、防腐蚀功能的劣化检测等)。另外，用户也可以指定损伤的种类。
作为构造物的图像信息之一，有元信息(Exif信息)。元信息例如是相机型号、镜头种类、F值、快门速度、焦距、闪光灯ON/OFF、像素数、ISO感光度等。
图11是表示从与检查图像相关联地存储在数据库23中的检查图像得到的信息(构造物的图像信息)的存储结构例的图。此外，符号69所示的信息是从所学习的检查图像得到的信息，符号71所示的信息是后面说明的附带信息。作为从检查图像的图像得到的信息，例如是最大裂纹宽度(mm)、最小裂纹间隔(m)、以及裂纹以外的损伤的有无、所拍摄到的部件名。例如，通过将检查图像输入到损伤检测器来获得这些信息。这样，在数据库23中与检查图像相关联地存储有构造物的图像信息。
《画质判定例》
作为从检查图像得到的信息之一，有与检查图像的画质相关的信息。
画质判定部51判定由检查图像获取部11获取的检查图像的画质。在该情况下，图像提取条件设定部19接受与检查图像的画质相关的信息。第一学习用数据提取部21基于与画质相关的信息和修正定量化信息的阈值，从数据库23中提取检查图像。
在此，画质判定部51进行的判定可采用各种方法。以下说明画质判定部51的判定方法的具体例。
《基于机器学习的画质判定》
作为画质判定部51进行的第一画质判定方法，有利用实施了机器学习的画质判定器进行的判定方法。即，画质判定部51由基于机器学习的画质判定器(画质判定AI)构成，利用画质判定器判定检查图像的画质。
《基于空间频谱的判断》
画质判定部51也可以利用检查图像中的区域的空间频谱中的高频区域的频谱最大值、平均值或频谱之和等将画质定量化来进行判定。具体而言，从空间频谱图像(对拍摄图像进行高速傅立叶变换(FFT：fast Fourier transform)而得到)的四角起特定的像素数半径内(r像素半径)的成分的最大值、平均值或和越大，则高频成分越强(多)，因此模糊、抖动越少，画质越好。
《基于直方图的判断》
在由画质判定部51进行的基于直方图(表示画质的指标的一例)的判断中，画质判断部51将个别图像(由R、G、B成分构成的彩色图像)变换为灰度等级图像。例如，灰度等级(浓度)＝R×0.30+G×0.59+B×0.11(R、G、B分别是红色信号、绿色信号、蓝色信号的值)。画质判定部51计算变换后的灰度等级图像的直方图(浓度直方图；参照图12的例子)。直方图的计算及以下的判断也可以对个别图像的一部分区域而非整体进行。画质判定部51将G(i){i＝0、1、…、255}作为各浓度值(越接近0越暗，越接近255越亮)的直方图，根据以下的式(1)、(2)判定个别图像是否过亮或是否过暗。判定的阈值(kb、hb、kd、hd)可以是既定值(例如kb＝205、hb＝0.5、kd＝50、hd＝0.5)，也可以由画质判定部51根据用户经由操作部240的输入来设定。
[数式1]
Figure BDA0002984088830000131
[数式2]
Figure BDA0002984088830000141
若在上述式(1)中浓度值为kb以上的比例为整体的hb以上，则画质判定部51判定为“过亮”。在该情况下，画质判定部51判定“(由于过亮)画质低”而将个别图像设定为确认对象图像。同样地，若在式(2)中浓度值为kd以下的比例为整体的hd以上，则画质判定部51判断为“(由于过暗)画质低”而将个别图像设为确认对象图像。
基于直方图，也可进行灰度是否被破坏的判定。例如，画质判定部51将G(i){i＝0、1、…、255}作为各浓度值的直方图，在G(0)＞Td的情况下，判定为“阴影侧的灰度被破坏”，另外，在G(255)＞Tb的情况下，判断为“高光侧的灰度被破坏”。在这些情况下，画质判定部51判断为“画质低”，将个别图像作为确认对象图像。判定的阈值(Td、Tb)可以是既定值(例如，Td＝0、Tb＝0)，也可以由画质判定部51根据用户经由操作部(键盘5和鼠标7)的输入来设定。
如以上说明的那样，画质判定部51可通过各种方法进行检查图像的画质判定。
在本实施方式中，除了修正定量化信息之外，还基于从检查图像得到的信息(构造物的图像信息及与检查图像的画质相关的信息)来提取检查图像，因此能够收集可进行高效的再学习的学习用数据。
<第三实施方式>
接下来，对第三实施方式进行说明。在第三实施方式中，除了修正定量化信息之外，还基于检查图像的附带信息来提取检查图像。由此，能够收集可进行更高效的再学习的学习用数据。
图13是表示本实施方式的学习用数据收集装置10的功能结构例的框图。此外，对在图2已进行了说明之处赋予相同的符号并省略说明。
学习用数据收集装置10具备检查图像获取部11、损伤检测结果获取部13、修正历史获取部15、计算部17、实际尺寸信息获取部18、图像提取条件设定部19、第一学习用数据提取部21、附带信息获取部53、数据库23、显示控制部25以及存储部26。
附带信息获取部53获取包括检查图像的识别信息、部件信息、位置信息、环境信息、材质信息、检查信息、管理信息、以及构造物种类信息中的至少一个的附带信息。而且，在该情况下，图像提取条件设定部19接受附带信息，第一学习用数据提取部21基于检查图像具有的附带信息和由图像提取条件设定部19接受的附带信息，提取检查图像。即，在图像提取条件设定部19中，想要提取(想要追加学习)的附带信息的提取条件也与修正定量化信息的阈值一起设定。例如，作为附带信息的提取条件，可列举出提取距海岸的距离为100m以内的桥墩的图像、提取交通量为1000辆以上/天且建筑年数为30年以上的桥的图像等。此外，也可以在图像提取条件设定部19中仅设定附带信息的提取条件，此时根据附带信息的提取条件来提取检查图像。
以下记载各附带信息的具体例。识别信息例如是桥的名称或ID(Identification)编号。部件信息例如是部件种类(桥面板/桥墩/梁等)或方向(桥轴方向、垂直方向)。位置信息例如是都道府县、市镇村、地域、纬度/经度、距海的距离。环境信息例如是气候(气温[平均、最高、最低等]、湿度[平均、最大、最小等]、降雨量、降雪量)、交通量。材质信息例如是混凝土骨料尺寸、材料强度(压缩强度、拉伸强度)。检查信息(混凝土的脱芯试验结果等)是氯化物离子浓度、中性化的进行度、有无碱骨料反应。管理信息是建筑年数、施工条件(施工时的气温或湿度等)、修补历史。构造物种类信息是桥梁、隧道、箱形涵洞、建筑物等。
在本实施方式中，除了修正定量化信息之外，还使用附带信息来提取学习用数据，由此能够提取可进行更高效的再学习的学习用数据。
<第四实施方式>
接下来，对第四实施方式进行说明。
图14是表示本实施方式的学习用数据收集装置10的功能结构例的框图。此外，对在图2已进行了说明之处赋予相同的符号并省略说明。
学习用数据收集装置10具备检查图像获取部11、损伤检测结果获取部13、修正历史获取部15、计算部17、实际尺寸信息获取部18、图像提取条件设定部19、第一学习用数据提取部21、学习历史获取部55、统计信息生成部57、第二学习用数据提取部59、数据库23、显示控制部25以及存储部26。
学习历史获取部55获取与在学习中使用检查图像的历史相关的历史信息。具体而言，学习历史获取部55获取由检查图像获取部11获取的检查图像是否是已经用于计算机B1或B2的损伤检测器的机器学习的检查图像的信息。
统计信息生成部57基于所获取的历史信息生成在学习中使用的图像的统计信息。第一学习用数据提取部21也可以基于所生成的统计信息来提取检查图像。即，在图像提取条件设定部19中，想要提取(想要追加学习)的统计信息的提取条件也与修正定量化信息的阈值一起设定。在此，统计信息的提取条件例如是在已经在学习中利用的图像中的图像信息或在附带信息中频度少的条件。此外，也可以在图像提取条件设定部19中仅设定统计信息的提取条件，在该情况下，根据统计信息的提取条件来提取检查图像。
以下示出统计信息的具体例。此外，以下记载的“○％”表示满足规定条件的图像的张数相对于已学习的所有图像张数的比例。
例如，最大裂纹宽度的统计信息可记载为小于0.05mm占○％、0.05mm以上且小于0.1mm占○％、0.1mm以上且小于0.2mm占○％、0.2mm以上且小于0.5mm占○％、0.5mm以上且小于1.0mm占○％、1.0mm以上占○％。另外，例如最小裂纹间隔的统计信息可记载为小于0.2m占○％、0.2m以上且小于0.5m占○％、0.5m以上且小于1m占○％、1m以上占○％。另外，除裂纹以外的损伤的统计信息可记载为无○％、漏水○％、游离石灰○％、剥离○％、铁筋露出○％、漏水且游离石灰○％。另外，除此之外，还可用部件、距海的距离、交通量、建筑年数生成统计信息。另外，可生成多个统计信息的组合条件，诸如最大裂纹宽度×裂纹以外的损伤。
第二学习用数据提取部59从未由第一学习用数据提取部21提取的检查图像中提取检查图像作为使损伤检测器再学习的学习用数据。例如，第二学习用数据提取部59从未由第一学习用数据提取部21提取的检查图像中随机或规则地(例如按文件名顺序排列并每隔规定个数提取)提取检查图像。另外，第二学习用数据提取部59除了低画质的检查图像以外，随机地提取检查图像。第二学习用数据提取部59提取与由第一图像提取单元提取的检查图像的数量相同数量的检查图像。通过学习由第二学习用数据提取部59提取的学习用数据，可防止学习过于受到偏倚的条件的检查图像的影响。
<其他例>
《全景合成图像》
接下来，对在全景合成图像中存在修正历史的情况进行说明。
在检查图像获取部11获取的检查图像中包含全景合成图像。即，检查图像获取部11获取对构造物进行分割拍摄而得到的分割图像和对分割图像进行合成而得到的全景合成图像。而且，在该情况下，修正历史获取部15获取在全景合成图像中进行的修正历史。
第一学习用数据提取部21基于全景合成图像上的修正历史，提取全景合成图像上的区域，并提取至少一个构成区域的分割图像。
图15是概念性地示出检查图像获取11获取的全景合成图像上的修正历史的图。
在图15所示的全景合成图像71上，用户进行修正(追加或删除)。用户进行的修正由矢量(1)至(5)表示。用户进行的修正跨越存在于构成全景合成图像71的一部分的分割图像73和分割图像75。在这种情况下，第一学习用数据提取部21例如可按如下的图案进行检查图像的自动选择。此外，在该情况下，第一学习用数据提取部21在全景合成图像71上的修正是满足由图像提取条件设定部19设定的提取条件的修正。
第一学习用数据提取部21选择包括矢量(1)至(5)的所有图像作为图案1。即，第一学习用数据提取部21选择分割图像73和分割图像75作为学习用数据。另外，当矢量(1)至(5)为规定阈值以上的长度时，第一学习用数据提取部21选择包括矢量(1)至(5)的所有分割图像作为图案2。另外，第一学习用数据提取部21选择包括矢量(1)至(5)的长度最长的分割图像作为图案3。在该情况下，由于分割图像75具有比分割图像73长的矢量(1)至(5)，因此选择分割图像75。另外，作为图案4，第一学习用数据提取部21将分割图像73中所包含的修正量和分割图像75中所包含的修正量分别与规定阈值进行比较，判别是否分别对每个图像进行提取。另外，作为图案5，第一学习用数据提取部21判定包括矢量(1)至(5)的图像的画质，选择画质最高的图像。
《图像确认显示部》
接着，对显示由第一学习用数据提取部21或第二学习用数据提取部59提取的检查图像的图像确认显示部进行说明。
学习用数据收集装置10可以具备由监视器9构成的图像确认显示部。
图16是表示显示于监视器9的所提取的检查图像的确认画面的例子的图。在图16所示的例子中，示出了所提取的检查图像77。另外，在确认画面上设置有选择按钮81，该选择按钮81针对所提取的检查图像对作为学习用数据是采用还是不采用进行选择。另外，设置有按钮79，该按钮79基于修正历史，接受明示漏检部位或误检部位等的指令。另外，确认画面具有与检查图像相关的信息(从图像得到的信息和/或附带信息)的显示83。
这样，通过学习用数据收集装置10具有图像确认显示部，用户可确认所提取的检查图像，能够收集学习效果更高的学习用数据。
《其他检查》
在上述说明中，对将本发明应用于进行构造物的损伤检查的情况的例子进行了说明。本发明所应用的检查的例子并不限定于此。当用区域检测器检测某一区域(包括物体的区域)时，可应用本发明。例如，在检查对象物是人体的情况下，当从作为人体的检查图像的CT(Computed Tomography)图像中检测血管时，也可应用本发明。另外，在将物品及药品等产品作为对象物，使用图像进行表面的伤痕或缺陷的检查(外观检查等)的情况下，也可应用本发明。另外，也可应用于基于使用了X射线的构造物内部的损伤、缺陷的图像的检查。
以上对本发明的例子进行了说明，但本发明不限于上述实施方式，不言而喻，在不脱离本发明的精神的范围内可以进行各种变形。
符号说明
10 学习用数据收集装置
11 检查图像获取部
13 损伤检测结果获取部
15 修正历史获取部
17 计算部
18 实际尺寸信息获取部
19 图像提取条件设定部
21 第一学习用数据提取部
23 数据库
25 显示控制部
26 存储部
A 计算机
B1 计算机
B2 计算机
C1、C2 上传数据
D 进行了再学习的损伤检测器或检测参数文件
E1、E2 检查图像。

Claims (13)

1.一种学习用数据收集装置，其中，具备：
检查图像获取部，其获取对检查对象物进行拍摄而得到的检查图像；
区域检测结果获取部，其基于所述检查图像，获取由进行了学习的区域检测器检测到的区域检测结果；
修正历史获取部，其获取所述区域检测结果的修正历史；
计算部，其计算对所述修正历史进行定量化而得到的修正定量化信息；
数据库，其将所述检查图像、所述区域检测结果及所述修正历史相关联地存储；
图像提取条件设定部，其设定从所述数据库中提取用于再学习的所述检查图像的提取条件，并将所述修正定量化信息的阈值设定为所述提取条件；以及
第一学习用数据提取部，其从所述数据库中提取满足所述提取条件的所述检查图像和与所述检查图像相关联的所述区域检测结果及所述修正历史作为使所述区域检测器再学习的学习用数据。
2.根据权利要求1所述的学习用数据收集装置，其中，
所述学习用数据收集装置具备实际尺寸信息获取部，其获取所述检查图像中的实际尺寸信息，
所述计算部计算所述修正定量化信息，所述修正定量化信息是利用所述实际尺寸信息换算为实际尺寸而得到的。
3.根据权利要求1或2所述的学习用数据收集装置，其中，
所述图像提取条件设定部接受所述对象物的图像信息，
所述第一学习用数据提取部基于所述图像信息和所述修正定量化信息的所述阈值，从所述数据库中提取所述检查图像。
4.根据权利要求3所述的学习用数据收集装置，其中，
所述对象物的所述图像信息是包括所述区域的大小信息、所述区域的位置信息、所述区域的方向信息、所述区域的种类信息、以及所述检查图像的元信息中的至少一个的信息。
5.根据权利要求1至4中任一项所述的学习用数据收集装置，其中，
所述学习用数据收集装置具备判定所述检查图像的画质的画质判定部，
所述图像提取条件设定部接受与所述检查图像的画质相关的信息，
所述第一学习用数据提取部基于与所述画质相关的信息和所述修正定量化信息的所述阈值，从所述数据库中提取所述检查图像。
6.根据权利要求1至5中任一项所述的学习用数据收集装置，其中，
所述学习用数据收集装置具备获取附带信息的附带信息获取部，所述附带信息包括所述检查图像的识别信息、部件信息、位置信息、环境信息、材质信息、检查信息、以及管理信息中的至少一个，
所述图像提取条件设定部接受所述附带信息，
所述第一学习用数据提取部基于所述检查图像所具有的附带信息和由所述图像提取条件设定部接受的附带信息，提取所述检查图像。
7.根据权利要求1至6中任一项所述的学习用数据收集装置，其中，
所述学习用数据收集装置具备：
学习历史获取部，其获取与在学习中使用所述检查图像的历史相关的历史信息；以及
统计信息生成部，其基于所获取的所述历史信息，生成在学习中使用的图像的统计信息，
所述第一学习用数据提取部基于所生成的所述统计信息，从所述数据库中提取所述检查图像。
8.根据权利要求1至7中任一项所述的学习用数据收集装置，其中，
所述检查图像获取部包含对所述对象物进行分割拍摄而得到的分割图像和对所述分割图像进行合成而得到的全景合成图像，
所述修正历史获取部获取所述全景合成图像上的所述修正历史，
所述第一学习用数据提取部基于所述全景合成图像上的所述修正历史，提取所述全景合成图像上的区域，并提取至少一个构成所述区域的所述分割图像。
9.根据权利要求1至8中任一项所述的学习用数据收集装置，其中，
所述学习用数据收集装置具备第二学习用数据提取部，其从未由所述第一学习用数据提取部提取的所述检查图像中提取所述检查图像作为使所述区域检测器再学习的学习用数据。
10.根据权利要求1至9中任一项所述的学习用数据收集装置，其中，
所述学习用数据收集装置具备图像确认显示部，其显示所提取的所述检查图像及与所述检查图像相关的信息。
11.一种学习用数据收集方法，其中，包括：
获取对检查对象物进行拍摄而得到的检查图像的步骤；
基于所述检查图像，获取由进行了学习的区域检测器检测到的区域检测结果的步骤；
获取所述区域检测结果的修正历史的步骤；
计算对所述修正历史进行定量化而得到的修正定量化信息的步骤；
设定从将所述检查图像、所述区域检测结果及所述修正历史相关联地存储的数据库中提取用于再学习的所述检查图像的提取条件并将所述修正定量化信息的阈值设定为所述提取条件的步骤；以及
从所述数据库中提取满足所述提取条件的所述检查图像和与所述检查图像相关联的所述区域检测结果及所述修正历史作为使所述区域检测器再学习的学习用数据的步骤。
12.一种程序，其使计算机执行包括以下步骤的学习用数据收集工序：
获取对检查对象物进行拍摄而得到的检查图像的步骤；
基于所述检查图像，获取由进行了学习的区域检测器检测到的区域检测结果的步骤；
获取所述区域检测结果的修正历史的步骤；
计算对所述修正历史进行定量化而得到的修正定量化信息的步骤；
设定从将所述检查图像、所述区域检测结果及所述修正历史相关联地存储的数据库中提取用于再学习的所述检查图像的提取条件并将所述修正定量化信息的阈值设定为所述提取条件的步骤；以及
从所述数据库中提取满足所述提取条件的所述检查图像和与所述检查图像相关联的所述区域检测结果及所述修正历史作为使所述区域检测器再学习的学习用数据的步骤。
13.一种记录介质，其是非暂时性计算机能读取的记录介质，在通过计算机读取了存储于所述记录介质的指令的情况下，使计算机执行包括以下步骤的学习用数据收集工序：
获取对检查对象物进行拍摄而得到的检查图像的步骤；
基于所述检查图像，获取由进行了学习的区域检测器检测到的区域检测结果的步骤；
获取所述区域检测结果的修正历史的步骤；
计算对所述修正历史进行定量化而得到的修正定量化信息的步骤；
设定从将所述检查图像、所述区域检测结果及所述修正历史相关联地存储的数据库中提取用于再学习的所述检查图像的提取条件并将所述修正定量化信息的阈值设定为所述提取条件的步骤；以及
从所述数据库中提取满足所述提取条件的所述检查图像和与所述检查图像相关联的所述区域检测结果及所述修正历史作为使所述区域检测器再学习的学习用数据的步骤。
CN201980061613.7A 2018-09-20 2019-09-17 学习用数据收集装置、学习用数据收集方法、及程序 Pending CN112740267A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018176316 2018-09-20
JP2018-176316 2018-09-20
PCT/JP2019/036369 WO2020059706A1 (ja) 2018-09-20 2019-09-17 学習用データ収集装置、学習用データ収集方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112740267A true CN112740267A (zh) 2021-04-30

Family

ID=69887117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061613.7A Pending CN112740267A (zh) 2018-09-20 2019-09-17 学习用数据收集装置、学习用数据收集方法、及程序

Country Status (5)

Country Link
US (1) US11657491B2 (zh)
EP (1) EP3855389A4 (zh)
JP (3) JP7104799B2 (zh)
CN (1) CN112740267A (zh)
WO (1) WO2020059706A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110200A1 (en) * 2019-10-11 2021-04-15 Cargo Spectre Method, system, and apparatus for damage assessment and classification

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7261816B2 (ja) * 2018-11-29 2023-04-20 富士フイルム株式会社 構造物の補修工法選定システム、補修工法選定方法、及び補修工法選定サーバ
JP7391504B2 (ja) * 2018-11-30 2023-12-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7446771B2 (ja) * 2019-10-30 2024-03-11 株式会社東芝 可視化データ生成装置、可視化データ生成システム、及び可視化データ生成方法
WO2021241537A1 (ja) * 2020-05-29 2021-12-02 富士フイルム株式会社 損傷図作成支援方法及び装置
JP7536545B2 (ja) 2020-07-22 2024-08-20 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
WO2023007958A1 (ja) * 2021-07-30 2023-02-02 富士フイルム株式会社 データ作成装置、記憶装置、データ処理システム、データ作成方法、及びプログラム
WO2023007956A1 (ja) * 2021-07-30 2023-02-02 富士フイルム株式会社 データ作成装置、記憶装置、データ処理システム、データ作成方法、プログラム、及び撮像装置
JP7267523B1 (ja) * 2022-05-09 2023-05-01 スパイダープラス株式会社 詳細図切出システム、詳細図切出方法及びプログラム
JP7217570B1 (ja) * 2022-08-04 2023-02-03 株式会社センシンロボティクス 情報処理システム及びプログラム、情報処理方法、サーバ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1929530A (zh) * 2005-09-09 2007-03-14 株式会社理光 图像质量预测方法和设备以及故障诊断系统
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US20180232601A1 (en) * 2017-02-16 2018-08-16 Mitsubishi Electric Research Laboratories, Inc. Deep Active Learning Method for Civil Infrastructure Defect Detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4232064B2 (ja) * 1999-10-25 2009-03-04 株式会社ニコン 画像処理を用いたひび割れ評価装置
JP5333080B2 (ja) * 2009-09-07 2013-11-06 株式会社日本自動車部品総合研究所 画像認識システム
JP2016143354A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016191973A (ja) * 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム
JP6629678B2 (ja) 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1929530A (zh) * 2005-09-09 2007-03-14 株式会社理光 图像质量预测方法和设备以及故障诊断系统
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US20180232601A1 (en) * 2017-02-16 2018-08-16 Mitsubishi Electric Research Laboratories, Inc. Deep Active Learning Method for Civil Infrastructure Defect Detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATHIEU LAROZE等: "Active learning to assist annotation of aerial images in environmental surveys", 2018 INTERNATIONAL CONFERENCE ON CONTENT-BASED MULTIMEDIA INDEXING, IEEE,, 4 September 2018 (2018-09-04) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110200A1 (en) * 2019-10-11 2021-04-15 Cargo Spectre Method, system, and apparatus for damage assessment and classification
US11727522B2 (en) * 2019-10-11 2023-08-15 Cargo Spectre Method, system, and apparatus for damage assessment and classification

Also Published As

Publication number Publication date
JP2022133467A (ja) 2022-09-13
JP2023139099A (ja) 2023-10-03
EP3855389A1 (en) 2021-07-28
JP7104799B2 (ja) 2022-07-21
WO2020059706A1 (ja) 2020-03-26
EP3855389A4 (en) 2021-11-24
US11657491B2 (en) 2023-05-23
JPWO2020059706A1 (ja) 2021-09-16
JP7319432B2 (ja) 2023-08-01
US20210209422A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP7319432B2 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
Prasanna et al. Computer-vision based crack detection and analysis
CN113167742B (zh) 混凝土构造物的点检辅助装置、点检辅助方法及记录介质
CN111210399B (zh) 一种成像质量评价方法、装置及设备
JP2008139285A (ja) 映像処理技法を利用した構造物及び製品のクラック幅測定方法
CN110008947B (zh) 一种基于卷积神经网络的粮仓粮食数量监测方法及装置
JP6811217B2 (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
CN111126460A (zh) 基于人工智能的路面病害自动巡检方法、介质、设备及装置
CN104700395A (zh) 一种构造物外观裂缝检测方法及系统
CN107798293A (zh) 一种道路裂缝检测装置
JPWO2020110717A1 (ja) 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ
CN113989353A (zh) 一种猪只背膘厚度测定方法及系统
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
CN116152219A (zh) 混凝土构件损伤检测与评估方法及其系统
CN115690089A (zh) 一种微弱缺陷检测用的图像增强前处理方法及系统
JP2013117409A (ja) ひび割れ検出方法
JP2008267943A (ja) ひび割れ検出方法
CN112703725B (zh) 合成处理系统、合成处理装置以及合成处理方法
Khalifa et al. A new image-based model for predicting cracks in sewer pipes
Bush et al. Deep Neural Networks for visual bridge inspections and defect visualisation in Civil Engineering
JP4452793B2 (ja) 不法投棄箇所検知装置、方法、およびプログラム
JP4030318B2 (ja) 地図データ更新装置および地図データ更新方法
JP5679312B2 (ja) カラー画像に含まれる植生領域の判別方法、判別装置、判別システム、及び判別プログラム
Majidi et al. Intelligent 3D crack reconstruction using close range photogrammetry imagery
CN111626256A (zh) 基于扫描电镜图像的高精度硅藻检测识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination