CN114730394A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN114730394A
CN114730394A CN202080079100.1A CN202080079100A CN114730394A CN 114730394 A CN114730394 A CN 114730394A CN 202080079100 A CN202080079100 A CN 202080079100A CN 114730394 A CN114730394 A CN 114730394A
Authority
CN
China
Prior art keywords
model
attribute
learning
data
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080079100.1A
Other languages
English (en)
Inventor
野上敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019206352A external-priority patent/JP7493323B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN114730394A publication Critical patent/CN114730394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种信息处理装置包括：第一获取部，其用于获取关于学习数据的信息，在用于识别输入数据的多个预学习模型中的各预学习模型的学习中使用所述学习数据；第二获取部，其用于获取指示识别目标数据的属性的信息；以及模型选择部，其用于基于所述识别目标数据的属性与在多个模型中的各模型的学习中使用的所述学习数据的属性之间的匹配度，并基于在所述多个模型中的各模型的学习中使用的所述学习数据的属性的多样性，从所述多个模型中选择要在对所述识别目标数据的识别中使用的模型。

Description

信息处理装置、信息处理方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序，更具体地，涉及用于选择学习模型的技术。
背景技术
在机器学习中，通过对学习数据的学习来形成学习模型。如果学习数据集的数据内容不同，则形成具有不同特征的模型。当使用如上所述的多个不同的学习数据集来学习多个模型时，必须根据识别目标选择合适的模型。
PTL 1公开了一种技术，通过该技术，选择如下模型作为要在识别中使用的模型，所述模型通过使用具有与包括识别目标图像的成像位置和成像角度的成像条件相似的成像条件的图像进行学习。
此外，通过使用由各种数据形成的学习数据集学习的模型通常能够应对各种识别目标数据。另一方面，通过使用由有限数据形成的学习数据集学习的模型只能应对变化微小的识别目标数据。然而，该模型可以以比使用各种数据学习的模型的性能更高的性能来识别具有包含在学习数据集中的条件的识别目标数据。因此，如果存在通过不同学习数据集而获得的多个模型，则希望选择尽可能与识别目标数据的属性相匹配且通过使用由有限数据形成的学习数据集而学习的模型。
引用列表
专利文献
专利文献1：日本专利第6474946号
发明内容
技术问题
遗憾的是，PTL 1中描述的技术只能选择具有相似成像条件的模型。这造成了这样的问题，即，难以从多个模型中选择通过使用与识别目标的属性相对应且相对于识别目标具有高的识别性能的数据而学习的模型。
本发明是考虑到上述问题而做出的，并且提供了一种技术，该技术用于从多个模型中选择通过使用与识别目标的属性相对应且相对于识别目标具有高的识别性能的数据而学习的模型。
解决问题的方案
根据本发明的一个方面的一种信息处理装置用于实现上述目的，其特征在于，所述信息处理装置包括：第一获取部，其用于获取关于学习数据的信息，在用于识别输入数据的多个预学习模型中的各预学习模型的学习中使用所述学习数据；第二获取部，其用于获取指示识别目标数据的属性的信息；以及模型选择部，其用于基于所述识别目标数据的属性与在多个模型中的各模型的学习中使用的所述学习数据的属性之间的匹配度，并基于在所述多个模型中的各模型的学习中使用的所述学习数据的属性的多样性，从所述多个模型中选择要在对所述识别目标数据的识别中使用的模型。
发明的有益效果
根据本发明，可以从多个模型中选择通过使用与识别目标的属性相对应且相对于识别目标具有高的识别性能的数据而学习的模型。
通过以下结合附图的描述，本发明的其他特征和优点将变得显而易见。请注意，在所有附图中相同的附图标记表示相同或相似的部件。
附图说明
包含在本说明书中并构成本说明书的一部分的附图，示出了本发明的实施例，并与本描述一起用于解释本发明的原理。
图1是示出根据第一实施例的信息处理装置的硬件构造的示例的图；
图2是示出根据第一实施例的信息处理装置的功能构造的示例的框图；
图3是用于解释根据第一实施例的学习数据和学习模型的图；
图4是示出由根据第一实施例的信息处理装置进行的处理过程的流程图；
图5是示出根据第一实施例的用于设置识别目标数据的属性的用户界面的图；
图6是示出根据第一实施例的要由模型选择单元进行的处理过程的流程图；
图7是用于解释根据第一实施例的模型选择处理的图；
图8是用于解释根据第三施例的学习数据和识别目标数据的图；
图9是用于解释根据第四实施例的用户界面的图；
图10是示出根据第四实施例的信息处理装置的使用形式的示例的图；
图11是示出根据第五实施例的信息处理装置的功能构造的示例的框图；
图12是示出根据第五实施例的用于输入用户评估的用户界面的图；以及
图13是示出根据第六实施例的用于设置识别目标数据的属性的用户界面的图。
具体实施方式
在下文中，将参照附图详细地描述实施例。请注意，以下实施例不旨在限制要求保护的发明的范围。在实施例中描述了多个特征，但是并不限于发明需要所有这些特征，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或相似的构造，并且省略其赘述。
(第一实施例)
使用如下模型来对识别目标数据进行识别本来是有利的，该模型已经通过使用具有与识别目标数据的属性完全匹配的属性的学习数据集进行了学习。如果存在这样的学习模型，则只需选择该模型作为适合于识别的模型。然而，如果属性的类型是多样的，则难以准备已经通过使用具有与所有组合相对应的属性模式(attribute pattern)的学习数据集而学习的模型。例如，在相对于数据而设置10种属性的情况下，如果数据集由针对各属性的“包括”和“不包括”的组合形成，则形成1023个模式的数据集。在这种情况下，如果针对各数据集对模型进行学习，则必须进行1023次学习。如果通过细分数据条件来增加属性类型的数量，则要学习的模型数量进一步增加。由于学习通常需要大量的计算时间，因此很难形成所有属性模式的学习模型。
因此，在现实中，可以准备具有所有属性模式组合中的仅一些组合的属性模式的模型。这使得难以总是选择具有与识别目标数据的属性模式完全匹配的属性模式的模型。
另一方面，当通过使用没有学习过在识别目标数据中包含的属性的模型来对识别目标数据进行识别时，有时不能对识别目标数据进行充分地识别。这使得需要选择已经对识别目标数据的属性进行了学习的模型，但是简单且可靠地选择已经学习了识别目标数据的属性的模型的方法是选择已经学习了所有属性的模型。然而，如果识别目标数据的属性是有限的，则与在选择已经学习了所有属性的模型时相比，在选择包含识别目标数据的属性但是已经学习了具有尽可能少的额外属性的数据的模型时，相对于识别目标数据的识别性能变高。
在第一实施例中，通过以基础设施检查中的缺陷识别模型的学习以及对识别目标的结构图像适合的模型选择为例，将解释选择如下模型的方法，该模型包含识别目标数据的属性但是已经学习了具有尽可能少的额外属性的数据。
首先，将解释基础设施的检查。在基础设施的墙面检查中，检查员记录诸如混凝土墙面的裂缝的缺陷。在使用图像的检查中，检查员拍摄结构的墙面图像，并根据拍摄的图像来记录缺陷的位置和范围，从而形成检查结果。将形成的检查结果和图像一起与结构的图纸(drawing)相关联地管理。在这种情况下，从图像中找到并记录所有缺陷的工作是一项非常艰巨的工作。因此，最近尝试通过学习识别模型来提高图像检查的效率，该识别模型用于通过机器学习来识别混凝土墙面图像的缺陷。
在本实施例中，用于识别缺陷的识别模型是用于从混凝土墙面图像识别裂缝的图像识别模型。请注意，用于基础设施检查的缺陷识别模型不限于裂缝识别模型，而且还可以是用于识别其他缺陷的模型。例如，该模型可以是用于识别漏水区域、剥落区域或锈液区域的识别模型，并且还可以是用于通过机器学习确定给定的混凝土墙面区域的劣化程度的模型。
在本实施例中，数据具有稍后将详细描述的以下内容。首先，通过使用学习数据和训练数据来学习用于识别裂缝的模型，该学习数据包含包括裂缝的混凝土墙面图像，该训练数据指示图像中正确的裂缝位置。此外，本实施例中的数据属性的一个示例是诸如桥梁或隧道的基础设施的类型。通过使用所有类型的结构的图像已经学习了该属性的模型是适用于任何结构类型的模型。然而，如果已知识别目标图像是桥梁，则通过使用只使用桥梁图像(只有结构类型的属性为“桥梁”的数据)已学习的模型可以获得高精度结果。
将参照图5进一步解释本实施例的属性。该属性指示包含在学习数据集中或识别目标数据中的数据的条件。该属性包括各种项目，并且在下文中各项目将被称为属性项目。属性项目的示例是基础设施的结构类型。结构类型的示例为“桥梁”、“隧道”和“堤坝”。即，属性项目的一个示例是由数据指示的识别目标的类型。属性项目的另一示例是基础设施的墙面状态。图5示出了作为墙面状态的示例的“许多裂缝”和“许多锈液”。即，属性项目可以包括图像数据的外观和墙面劣化的模式。图5进一步示出了作为基于成像条件的属性项目的示例的相机参数。作为相机参数的示例，图5示出了作为曝光参数的“EV-2以下”和“EV+2以上”。成像条件不仅可以包含如上所述的成像参数，还可以包含诸如相机类型和进行成像时的天气和季节的信息。即，本实施例的属性可以包含用于对数据进行分类的所有项目。为方便起见，图5仅示出了上述属性项目，但也可以添加更多的属性项目并对属性项目的内容进行细分。请注意，图5的其他内容将在稍后解释。
下面将参照图1和图2解释根据本实施例的信息处理装置100的构造。
<信息处理装置的硬件构造>
图1是示出根据本实施例的信息处理装置100的硬件构造的图。如图1所示，信息处理装置100包括CPU 101、ROM 102、RAM 103、HDD 104、显示单元105、操作单元106和通信单元107。CPU 101是中央处理单元，为各种处理进行算术运算、逻辑确定等，并且控制连接到系统总线108的构成元件。ROM(只读存储器)102是程序存储器并且存储用于由CPU 101控制的程序，该程序包括稍后描述的过程。RAM(随机存取存储器)103用作诸如工作区域、CPU101的主存储器等临时存储区域。请注意，程序存储器也可以通过将程序从连接到信息处理装置100的外部存储装置加载到RAM 103中来实现。
HDD 104是根据本实施例的用于存储电子数据和程序的硬盘。也可以使用外部存储设备作为起类似作用的设备。该外部存储设备可以由介质(记录介质)和用于访问该介质的外部存储驱动器来实现。像这样的介质的已知示例是软盘(FD)、CD-ROM、DVD、USB存储器、MO和闪速存储器。外部存储设备也可以是通过网络连接的服务器装置。
显示单元105是例如CRT显示器或液晶显示器，并且是用于将图像输出到显示屏幕的设备。请注意，显示单元105也可以是通过有线连接或无线连接而连接到信息处理装置100的外部设备。操作单元106包括键盘、鼠标等，并且从用户接受各种操作。通信单元107通过使用已知的通信技术与例如其他信息处理装置、通信装置和外部存储设备进行有线或无线双向通信。
<信息处理装置的功能构造>
图2是示出根据本实施例的信息处理装置100的功能构造的框图示例。信息处理装置100包括学习单元201、模型存储单元202、属性处理单元203、模型选择单元204和识别单元205。这些功能单元由CPU 101通过将存储在ROM 102中的程序加载到RAM 103中并执行符合各流程图(稍后描述)的处理来实现。CPU 101将各处理的执行结果保存在RAM 103或HDD104中。例如，在构造硬件代替使用CPU 101的软件处理时，仅需要形成与这里要解释的各功能单元的处理相对应的电路或算术单元。
下面将解释图2中所示的各功能单元的概要。学习单元201学习多个模型。模型存储单元202将多个学习模型存储在诸如HDD 104的记录设备中。属性处理单元203处理识别目标数据的属性信息，并将处理后的信息传送到模型选择单元204。模型选择单元204从属性处理单元203接收识别目标数据的属性信息，并从模型存储单元202获取关于学习模型的信息。根据这些信息，模型选择单元204选择适合于对识别目标数据进行识别的模型。识别单元205通过使用由模型选择单元204选择的模型对识别目标数据进行识别处理。请注意，并非所有功能单元都需要被包括在信息处理装置100中，而是至少一些功能可以由可连接到信息处理装置100的外部设备来实现。例如，学习单元201和识别单元205的功能可以由外部设备实现，并且模型存储单元202可以安装在外部设备中。还可以通过与外部设备适当地通信来交换所需信息，从而使信息处理装置100的处理最少化。
在本实施例中，学习单元201预先学习多个模型并将它们存储在模型存储单元202中。下面将解释对多个模型的学习以及各模型的学习数据集的属性。
首先，在本实施例中，如前所述，用于学习识别在图像中的裂缝的模型的学习数据包含混凝土墙面的图像和指示图像中的裂缝位置的训练数据的对。通过收集大量的图像和训练数据的对来获得学习数据集。通过使用学习数据集来学习模型。在本实施例中，可以通过使用任何机器学习算法(例如，诸如神经网络的算法)来进行模型学习。
在本实施例中，准备具有各种条件的学习数据，以识别各种成像条件和各种基础设施的图像。在以下的解释中，将准备的所有学习数据称为总学习数据。通过使用该总学习数据作为学习数据集而学习的模型是可在各种条件下使用的鲁棒模型。
另一方面，为了形成专门用于有限条件的模型，从总学习数据中提取针对有限条件的学习数据，并且形成作为总学习数据的子集的学习数据集。与已经通过总学习数据而学习的模型相比，已经通过使用作为子集的该学习数据集而学习的模型可以在有限的条件下实现高性能的结果。此外，学习数据集的属性集与学习模型相关联地记录。
下面将参照图3解释根据本实施例的由学习单元201进行的模型学习和学习数据集的属性集。图3示出了将学习数据集D1至D3形成为总学习数据的子集的方式，并且通过使用各学习数据集进行学习来形成模型M1至M3。
气球300指示包含在总学习数据中的数据，并且包括大量学习数据，各学习数据包括混凝土墙面的图像310和指示图像310中的裂缝位置的训练数据311的对。此外，指示各学习数据的属性的信息312与学习数据相关联。
气球301指示信息的示例，该信息指示给定的学习数据的属性。气球301包括例如作为属性项目的“桥梁”，并且示出了指示学习数据图像是否是桥梁的图像的信息。在本实施例中，属性项目由两个值(即，“真”和“假”)来设置。在气球301的示例中，学习数据图像是桥梁图像，因此在属性项目“桥梁”中设置“真”。
出于形成适合于预定条件的模型的学习数据的目的，通过从总学习数据中提取预定条件的学习数据来形成学习数据集。出于这一目的，设置指示预定条件的属性，并通过从总学习数据中收集与该属性匹配的学习数据来形成学习数据集。例如，为了形成适合桥梁的识别模型，可以通过从总学习数据中仅提取桥梁图像来形成学习数据集。还可以通过进一步收窄条件并提取具有许多裂缝的桥梁和墙面的图像来形成学习数据集。比较而言，也可以形成包括桥梁和隧道的学习数据的学习数据集，从而形成用于学习相对鲁棒的模型的学习数据集。作为如上所述的学习数据集形成方法，人可以手动分布和形成学习数据。还可以基于与各学习数据相关联的属性的信息，自动形成包含各种属性组合的学习数据集。
然后，将形成作为总学习数据的子集的学习数据集的学习数据的属性相加。图3中的气球302指示在学习数据集D3中包含的学习数据的属性的相加结果。学习数据集D3不仅包括桥梁图像的学习数据，还包括隧道图像的学习数据。因此，对于气球302中的属性，在属性项目“桥梁”和“隧道”中设置“真”。如上所述通过将包括在学习数据集中的用于学习的数据的属性相加并记录各属性项目的“真”或“假”而获得的信息将在下文中被称为属性集。如上所述，学习数据包含用于学习的多个数据，并且基于用于学习的多个数据的属性的相加结果来确定该学习数据的属性。
作为学习数据集形成方法，还可以根据总学习数据随机形成多个学习数据集，并收集在各学习数据集中包括的学习数据的属性，从而形成学习数据集的属性集。
如上所述，各学习数据集的属性集是根据学习数据集中包含的学习数据的属性形成的。属性集的信息与通过使用各学习数据集学习的模型一起存储在模型存储单元202中。这使得模型选择单元204(稍后描述)能够通过将属性集与模型一起调用来参考已经学习了模型的学习数据集的内容。
请注意，在对总学习数据的上述解释中，已经解释了指示属性的信息与各学习数据一一对应地相关联的示例。然而，本发明不限于此，也可以针对多个学习数据共同准备指示总学习数据中的属性的信息。例如，可以将在属性项目“桥梁”中设置“真”的信息一次性赋予包含桥梁墙面图像的多个学习数据。
在上面解释的实施例中，预先给总学习数据中的各学习数据赋予属性信息，并通过将学习数据集中包含的学习数据的属性相加来形成学习数据集的属性集。
然而，形成学习数据集的属性集的方法不限于此，还可以使用另一方法。例如，也可以通过由人检查在该学习数据集中包含的学习数据的图像数据和属性信息，并由人设置学习数据集的各属性的“真”或“假”，来形成给定学习数据集的属性集。此外，当学习数据集仅包含少量具有给定属性的学习数据时，可以确定该属性的学习效果较小，并且即使该学习数据集包含该属性，也将该属性设置为假。假定为了学习用于识别隧道图像的模型，通过主要收集隧道图像来形成学习数据集，并且该学习数据集包含了若干个桥梁图像的学习数据。在诸如此类的情况下，可以将“真”设置为隧道的属性，并将“假”设置为桥梁的属性。
如上所述，模型存储单元202存储学习模型和学习了该模型的学习数据集的属性集。为了简化解释，在下文中的某些情况中，将学习了模型的学习数据集的属性称为模型的属性集。
<处理>
下面将参照图4所示的流程图解释根据本实施例的要由信息处理装置100进行的整体处理的过程。
在步骤S401中，属性处理单元203形成识别目标数据的属性集的信息。在详细解释步骤S401之前，首先将解释本实施例的识别目标数据。
本实施例的识别目标数据是作为检查目标的特定基础设施的图像。作为用于基础设施的检查图像，为了检查诸如混凝土墙面的裂缝的缺陷，拍摄具有非常高分辨率的图像。因此，为了以图像的形式记录基础设施的所有墙面，必须拍摄许多图像。即，为了检查给定的基础设施，对大量图像执行从图像识别裂缝的处理。从而，本实施例的识别目标数据包含大量图像。
由于大量图像是由一个基础设施形成的，因此图像的多样性低于(小于)所有基础设施的图像的多样性。为了检查给定的基础设施，对这些具有有限条件的图像进行识别处理，因此在选择与识别目标数据相匹配的模型时，获得了良好的识别性能结果。
为了选择与识别目标数据匹配的模型，属性处理单元203在步骤S401中执行形成识别目标数据的属性集的处理。与学习数据集的属性集一样，识别目标数据的属性集是为各属性项目设置了“真”或“假”的信息。
设置识别目标数据的属性集的方法的示例是人检查识别目标数据的内容并输入各属性的信息的方法。上述的图5示出了用于设置识别目标数据的用户界面的示例。如稍后将描述的，模型选择单元204基于识别目标数据的属性集和学习数据集的属性集的内容来选择模型。因此，识别目标数据具有与学习数据集的属性项目相同的属性项目。更具体地，在图3的气球302中的属性集的项目与图5所示的属性集的项目相同。
如上所述，识别目标数据由多个图像形成。因此，识别目标数据包含具有各种属性的图像。例如，结构类型的属性如下。当识别目标数据是桥梁的图像时，在属性项目“桥梁”中设置“真”，在其他结构类型的属性中设置“假”。
下面将以相机参数的属性项目为例来解释识别目标数据的属性。假定在对结构的墙面进行成像时，以曝光EV0对许多结构部分进行成像。然而，如果局部存在结构的诸如阴影部分的暗部分，则在某些情况下仅该部分以曝光EV+2进行成像。比较而言，以强烈阳光照射的墙面有时会通过缩小曝光而以曝光EV-2进行成像。作为由如上所述拍摄的图像形成的识别目标数据的属性，在曝光EV-2和曝光EV+2两者的属性项目中都设置“真”。
下面将解释对识别目标数据的属性进行设置的方法的用户界面。用户是操作本实施例的信息处理装置100的人，并且是想要执行选择适合于识别目标数据的学习模型的处理的人。此外，属性处理单元203执行与以下用户界面相关的处理。属性处理单元203执行例如以下处理：在显示单元105上显示GUI信息的处理，接受由用户经由操作单元106设置的信息的接受处理，以及将设置的信息记录在记录区域中的记录处理。
在图5所示的用户界面中，用户检查识别目标数据的内容并设置各属性。图5所示的该用户界面示出了用于通过各属性项目的单选按钮设置“真”和“假”的GUI示例。请注意，实现用户界面的方法不限于此，也可以使用其他界面。例如，也可以通过使用下拉菜单设置属性的内容的界面来设置属性。在图5所示的示例中，识别目标数据的结构是桥梁。因此，图5示出了使用鼠标光标501对“桥梁”设置“真”、对“隧道”设置“假”的状态。用户根据图5所示的状态进行设置其他属性项目的操作。
还可以将初始值设置为识别目标数据的属性。参照图5，“无效(Void)”被设置为用户未设置的属性。“无效”指示属性未知。当用户不能确定识别目标数据的给定属性并且没有为该属性输入任何内容时，将“无效”设置为初始值。当属性设置包括“无效”时，设置了“无效”的属性项目不用于由模型选择单元204(稍后描述)进行的处理中的模型选择。上面已经解释了将“无效”设置为属性的初始值的示例，但是也可以设置“假”而不是“无效”作为初始值。
当如上所述设置各属性时，形成指示识别目标数据的各属性是“真”还是“假”的信息。该信息被用作识别目标数据的属性集。请注意，在也使用“无效”信息时，也可以包括属性为“无效”的模式。
上面已经解释了用户检查识别目标数据的内容并输入识别目标数据的属性的实施例，但是本发明不限于此。例如，还可以自动确定并设置识别目标数据的属性。在本实施例中，属性处理单元203进行确定识别目标数据的内容的处理，并设置该识别目标数据的属性。在确定识别目标数据的内容时，进行确定各属性项目的内容的处理。例如，对相机参数的属性项目处理如下。即，通过读取附加到识别目标数据的图像的成像信息来获取诸如曝光设置和ISO感光度的相机参数。基于获取的相机参数，针对与相机参数相关的各属性项目设置“真”或“假”。此外，在可以获取拍摄图像的诸如纬度和经度的成像位置信息时，可以基于该位置信息和结构的数据库来确定成像位置中的结构的类型。不能通过附加到图像的信息确定的属性项目可以处理如下。即，准备用于确定各属性的图像鉴别器，并且基于该图像鉴别器的鉴别结果来设置属性的“真”或“假”。例如，已经学习过从而在包含许多裂缝的图像与包含少量裂缝的图像之间进行区分的图像鉴别器可以用于确定识别目标数据是否包含具有许多裂缝的图像，并设置与裂缝数量相关的属性。此外，不需要自动确定所有属性。即，可以针对可自动确定的属性来设置属性确定结果，并请求用户输入不能自动确定的属性。
如上所述，识别目标数据的属性集的信息通过属性处理单元203的处理来形成。
[S402]
然后，在步骤S402中，模型选择单元204基于学习数据集的属性集和识别目标数据的属性集，从多个模型中选择适合于识别目标数据的模型。更具体地，模型选择单元204通过逐渐确定学习数据集的属性集与识别目标数据的属性集之间的匹配度以及学习数据集的多样性来选择模型。
图7是示出识别目标数据的属性集和多个(n)模型的属性集的示例的图。为方便起见，图7通过○和×表示属性的“真”和“假”。图7所示的模型M1至M4是已经通过使用作为总学习数据的子集的学习数据集学习的模型，并且是已经通过使用包括有限属性的学习数据学习的模型。例如，当关注结构类型的属性时，模型M1至M3是已经通过使用桥梁图像的学习数据学习的模型，并且模型M4是已经通过使用隧道图像的学习数据学习的模型。此外，模型Mn是通过使用总学习数据学习的模型，并且是所有属性项目都为“真”的模型。
下面将参照图6和图7所示的流程图详细解释模型选择单元204的处理。图6的流程图示出了由模型选择单元204进行的步骤S402中的处理的详细过程。
在步骤S601中，模型选择单元204确定学习数据集的属性集与识别目标数据的属性集之间的匹配度。在本实施例中，通过检查识别目标数据的属性集与学习数据集的属性集之间的包含关系来确定属性集之间的匹配度。更具体地，通过关注识别目标数据中设置为“真”的属性项目，选择将相同属性项目设置为“真”的模型。在图7所示的示例中，将识别目标数据的属性项目的“桥梁”、“许多裂缝”、“EV-2以下”设置为“真”。
如下模型原本是最适合于识别目标数据的模型，在该模型中，对这三种类型的属性项目设置为“真”并且该模型具有完全匹配的属性集。在步骤S601中，模型选择单元204检查是否存在具有完全匹配的属性集的模型。如果存在具有完全匹配的属性集的模型，则模型选择单元204选择该模型。如果存在具有完全匹配的属性集的模型，则步骤S602中的确定多样性的处理是不必要的。因此，可以通过跳过步骤S602来终止处理。
然而，如前所述，难以学习包括所有属性集的模式的多个模型，因此存在从具有不完全匹配的属性集的模型中选择最佳模型的情况。在图7所示的示例中，不存在具有与识别目标数据的属性集完全匹配的属性集的模型。
在类似这样的情形下，模型选择单元204在步骤S601中选择包括识别目标数据的属性的模型。更具体地，模型选择单元204以与识别目标数据中相同的方式选择将属性项目“桥梁”、“许多裂缝”和“EV-2以下”设置为“真”的模型。这样的原因是为了应对识别目标数据的属性，需要选择学习了这些属性的条件的模型。基于此准则，在图7所示的示例中选择了三个模型，即模型M2、M3和Mn。如果因此在步骤S601中选择了多个模型，则模型进一步受到步骤S602中的处理的限制。
在步骤S602中，模型选择单元204基于在步骤S601中选择的模型的属性集的多样性来选择模型。为了以高性能执行识别，希望选择关于识别目标数据的属性包括的任何额外学习数据的已经学习了的模型。因此，在步骤S602中，从在步骤S601中选择的模型中选择已经通过使用属性多样性低(小)的学习数据学习的模型，从而选择包括识别目标数据的属性并且没有进行任何额外学习的模型。模型的多样性是通过对已学习了模型的学习数据集的属性数量进行计数来计算的。更具体地，在各模型的学习数据集中设置了“真”的属性的数量被计算为多样性。在图7所示的示例中，在步骤S601中选择的模型的多样性对于模型M2是4，对于模型M3是5，对于模型Mn是7。在步骤S602中的基于多样性的该模型选择中，从在步骤S601中选择的模型中选择具有最小多样性值的模型。因此，在图7所示的示例中选择模型M2。
已根据图6的流程图解释了选择适合于对识别目标数据进行识别的模型的处理的细节。请注意，如果在步骤S601中不存在包括识别目标数据的属性的模型，则选择具有最高属性匹配度的模型(包括识别目标数据的最多属性的模型)。在这种情况下，还可以预先设置必须匹配的属性项目。例如，结构类型是模型选择中的重要属性项目。因此，还可以选择至少结构类型的属性设置匹配的模型，并从基于结构类型选择的模型中选择其他属性项目最匹配的模型。
如前所述，对于识别目标数据的属性，可以设置“无效”作为指示属性未知的信息。在这种情况下，模型选择单元204可以通过忽略在识别目标数据的属性项目中设置为“无效”的属性来执行处理。更具体地，在确定识别目标数据的属性与模型的属性之间的匹配度的处理中，只需要防止识别目标数据的属性集中设置了“无效”的属性项目对模型的匹配度有影响，而不必考虑模型的属性项目是“真”还是“假”。
如上所述，模型选择单元204的处理选择适合于对识别目标数据进行识别的模型。
[S403]
在步骤S403中，识别单元205通过使用在步骤S402中选择的模型来执行识别处理，并且形成相对于识别目标图像的识别结果。在本实施例中，识别单元205识别在识别目标图像中的裂缝，并形成指示图像中裂缝位置的识别结果。由此完成了图4所示的一系列处理。
如上所述，本实施例获取关于在要用于识别输入数据的预学习的多个模型中的各模型的学习中使用的学习数据的信息，以及指示识别目标数据的属性的信息。然后，基于识别目标数据的属性与在多个模型中的各模型的学习中使用的学习数据的属性之间的匹配度以及在多个模型中的各模型的学习中使用的学习数据的属性的多样性，从多个模型中选择用于对识别目标数据进行识别的模型。即，在本实施例中选择的模型是包括识别目标数据的属性并且没有学习任何额外属性的模型。因此，可以从多个模型中选择已经通过使用与识别目标数据的属性相对应的数据而学习的并且相对于识别目标具有高识别性能的模型，因此可以预期获得良好的识别结果。
(第二实施例)
在第一实施例中，已经解释了选择一个适合于对识别目标数据进行识别的模型的示例。然而，模型选择不限于选择一个模型，还可以基于多样性选择多个模型。在第二实施例中，将解释选择适合于对识别目标数据进行识别的多个模型的示例。
请注意，根据第二实施例的信息处理装置100的硬件构造和功能构造与第一实施例的相同，因此将省略其解释。此外，与第一实施例一样，在第二实施例中也将解释使用用于检查基础设施的裂缝识别模型的实施例。根据第二实施例的处理过程符合图4和图6所示的流程图。
在第一实施例中选择的模型是包括识别目标数据的属性并且没有学习任何额外属性的模型，因此可以期望以高性能对识别目标数据进行识别。为了获得这种效果，需要正确地设置识别目标数据的属性。然而，当识别目标数据中的图像数据的数量非常大时，有时难以正确地确定识别目标数据的所有属性。尤其是在用户设置识别目标数据的属性时，难以检查所有的识别目标图像，并且这可能使得无法正确地设置与诸如墙面状态的图像外观有关的属性。
为了应对类似这样的情形，除了在第一实施例中选择的模型之外，第二实施例还选择了属性集多样性高(大)并且能够进行鲁棒识别的模型。更具体地，在第一实施例中解释的步骤S602中，以与第一实施例相同的方式选择多样性最小的模型作为第一模型。然后，选择多样性值相对较高的模型作为用于进行鲁棒识别的第二模型。更具体地，选择属性项目中设置的“真”的数量大于第一模型的属性项目中的“真”的数量的模型作为第二模型。即，选择已通过使用多样性大的学习数据学习的模型。因此，即使在识别目标数据的属性的设置有错误时，也选择相对鲁棒的模型作为第二模型。因此，即使在识别目标数据的多样性比期望的高时，也选择可以应对识别目标数据的模型。
如果在存在已经通过使用总学习数据学习的模型时选择了具有最大多样性的模型，则总是选择已经使用总学习数据学习的模型。虽然这也是一个实施例，但也可以选择多样性比第一模型的多样性大预设预定值的模型。这使得可以选择包括识别目标数据的属性并且具有稍高的鲁棒性的模型。该模型示出了总学习数据模型与第一模型之间的性能中间值。尽管该模型的鲁棒性不如总学习数据的模型，但由于额外的学习数据的量相对较少，因此该模型适合于对识别目标数据进行识别。
如前所述，存在这样的可能性：未正确设置关于墙面状态的识别目标数据的属性。因此，可以选择对与墙面状态相关的属性具有鲁棒性的模型作为第二模型。因此，也可以选择在与墙面状态相关的属性项目中设置的“真”的数量比为第一模型的属性设置的“真”的数量多预定数量的模型。如上所述，即使在基于多样性设置第二模型时，也可以通过限制用于评估多样性的属性来选择第二模型。
通过上述处理，基于识别目标数据的属性集，可以选择被视为对于识别目标最佳的第一模型和相对鲁棒的第二模型。
之后，在第一实施例中解释的步骤S403中，识别单元205形成选择的两个模型中的各模型的识别结果，并向用户呈现这两个结果。用户检查这两个识别结果，并采用可能更合适的识别结果。
对于该处理，识别单元205进行在显示单元105上显示识别结果的处理，以及经由操作单元106接受由用户对识别结果的选择的处理。进行这两个识别结果的呈现，从而使得可以比较各个模型的识别结果。更具体地，通过将各个模型的裂缝识别结果叠加在识别目标图像上来形成图像，并且将所形成的图像并排显示或一次一个地显示。
还可以在识别单元205执行识别处理之前使显示单元105显示由模型选择单元204选择的两个模型的信息，从而允许用户确定要在该识别处理中使用的模型。这里要显示的模型的信息例如是各模型的属性集的信息。此外，为了使模型的属性集的信息的比较更容易，可以并排显示信息或突出显示具有差异的属性项目。通过允许用户预先选择模型，可以减少识别单元205对其进行识别处理的模型的数量，因此也可以减少识别处理的时间。
请注意，在本实施例中，已经解释了选择两个模型的示例。然而，要选择的模型的数量不限于两个，也可以基于多样性选择三个或更多模型。在这种情况下，基于多样性选择多个第二模型。更具体地，可以选择多样性比第一模型稍高的模型，并选择具有更高多样性的模型。这使得可以选择鲁棒性不同的多个模型。
(第三实施例)
在上述各实施例中，属性是诸如人类可以视觉理解的结构类型的清楚项目。然而，本发明不限于此。在第三实施例中，将解释基于图像特征量来形成属性信息的示例。请注意，根据第三实施例的信息处理装置100的硬件构造和功能构造与第一实施例的相同，因此将省略其解释。此外，与第一实施例一样，在第三实施例中也将解释使用用于检查基础设施的裂缝识别模型的实施例。
在第三实施例中，属性集的信息由学习数据集的图像或识别目标数据的图像通过称为特征袋(Bag-of-Features)或视觉词袋(Bag-of-Visual Words)的方法形成。由于特征袋是一种公知的方法，因此将省略对算法本身的详细解释。下面将参照图8解释通过特征袋形成属性集的实施例。
图8示出了学习数据集801至80n。将解释从这些学习数据集中的学习数据集801形成属性集841的信息的处理。为了解释这个处理，将首先解释本实施例中的视觉词(Visualword)。视觉词是通过对总学习数据的图像的图像特征进行聚类并将各聚类的中心设置为视觉词而形成的。图像特征可以是在传统特征袋中常用的诸如SIFT或SURF的局部特征量，并且也可以通过使用卷积神经网络(CNN)提取的图像特征。SIFT代表尺度不变特征变换(Scale Invariant Feature Transform)，SURF代表加速鲁棒特征(Speeded Up RobustFeatures)。
然后，基于包含在学习数据集801中的图像和基于视觉词来形成直方图831。直方图831的“区间”指示视觉词的索引。为方便起见，图8示出了视觉词的类型数为四的情况。然而，视觉词的类型数通常要大得多。为了形成直方图831，提取在学习数据集801中所包含的图像的图像特征，并且对具有最相似的图像特征的视觉词进行投票。参照图8，箭头822指示图像821投票给索引1的方式，这是因为图像821的图像特征类似于索引1的视觉词。在正常的特征袋中，直方图特征由一个图像形成。然而，本实施例的目的是形成指示学习数据集的趋势的信息。因此，从学习数据集801中的所有图像提取图像特征，并为直方图进行投票。
图8示出了从一个图像821进行一次投票822的方式，这是因为图像821是具有局部块大小的图像。当学习图像的尺寸较大时，也可以从一个图像提取局部图像特征，并基于各图像特征对直方图进行投票。
通过上述处理形成视觉词的直方图831。该直方图指示学习数据集801的图像特征的趋势。即，在本实施例中，通过将各视觉词用作属性项目，基于图像特征来表达学习数据集的数据条件。
然后，如同在第一实施例中，为了形成在各项目中设置了二进制信息“真”或“假”的属性集，对直方图831进行阈值处理。图8示出了由于通过使用阈值832对直方图831进行阈值处理而形成的属性集841。在属性集841中，只有具有比阈值832大的值的索引1是“真”。请注意，还可以在不进行如上所述的阈值处理的情况下，形成其中至少进行一次投票的视觉词索引被设置为“真”的属性集。然而，在通过将少量投票结果视为噪声来进行阈值处理时，可以正确地形成用于指示学习数据集的趋势的属性集。
通过对各学习数据集进行上述处理，形成学习数据集的属性集。如同在第一实施例中，这些属性集的信息与已经通过使用学习数据集学习的模型一起存储在模型存储单元202中。
通过使用相同的方法，也针对识别目标数据来形成基于图像特征设置的属性集。图8示出了识别目标数据的图像组810。根据该图像组，通过使用与由学习数据集形成直方图时使用的视觉词相同的视觉词来形成直方图833，并获得属性集851的信息。
通过上述处理获得学习数据集的属性集841至84n和识别目标数据的属性集851。可以以与第一实施例中相同的方式进行使用这些信息的模型选择方法，因此将省略其解释。
请注意，视觉词是通过上述方法中的聚类自动形成的，这使得难以确定由各视觉词所指示的图像特征。由于视觉词在本实施例中是属性项目，因此也难以确定识别目标数据或学习数据集的趋势。因此，为了明确由视觉词指示的属性，也可以手动形成用于表示特定图像的视觉词。例如，可以从总学习数据中手动采集具有许多裂缝的图像，并将这些图像的特征量分布中心视为一个视觉词。因此，这个视觉词清楚地指示了属性“许多裂缝”。
如上所述，本实施例基于图像形成属性集。这使得可以基于图像的外观和环境来选择要用于识别的模型。
请注意，还可以使用在第一实施例中使用的人可以理解的属性项目和在第三实施例中使用的基于图像特征的属性的组合。例如，在第一实施例中可以将诸如结构类型或相机参数的可以明确输入的属性设置为具有明确名称的属性项目，并且可以基于图像特征形成诸如墙面状态的基于图像的属性。这些属性设置也可以被组合以形成用于模型选择的属性集。
(第四实施例)
在第二实施例中，已经解释了选择多个模型并将其呈现给用户并且用户检查所选择的模型并进一步选择模型的实施例。在第四实施例中，将在下面更详细地解释将模型选择结果这样呈现给用户的示例。
请注意，根据第四实施例的信息处理装置100的硬件构造和功能构造与第一实施例的相同，因此将省略其解释。此外，与第一实施例一样，在第四实施例中也将解释使用用于检查基础设施的裂缝识别模型的实施例。
图9是用于解释用于模型选择的GUI应用的图。应用窗口900包括区域901和区域902，区域901示出关于识别目标数据的信息，区域902示出通过模型选择单元204选择的模型的信息。在本实施例中，将从用户界面的角度来解释从设置识别目标数据的属性的处理到选择模型的处理的处理。CPU 101充当显示控制单元，并通过控制显示单元105的显示来显示应用窗口。
应用窗口900具有用于输入识别目标数据的属性的区域911。区域911是用于与图5所示的界面有相同目的和功能的界面。然而，在图9中，区域911是用于通过下拉按钮为各属性项目设置“真”或“假”的界面。在设置了属性项目之后，用户按下最佳模型搜索按钮912。
响应于该操作，模型选择单元204选择适合于识别目标数据的模型。图9示出了这样的示例，其中选择了三种类型的模型M3、M8和M6，并且各模型的信息都显示在其选项卡中。请注意，模型选项卡的顺序指示模型多样性的顺序。图9示出了按钮922和按钮923，用于通过切换模型来显示这些模型。用户通过使用按钮922和按钮923切换这些模型来显示这些模型，并且在检查各模型的信息的同时确定要在识别处理中使用的模型。
图9示出了用于选择当前显示的模型作为要在识别过程中使用的模型的确定按钮924。请注意，多个模型的显示不限于这样的显示，并且也可以同时显示多个模型并比较这些模型的内容。另外，要选择的模型的数量不限于一个，而是也可以选择多个模型。当选择多个模型时，通过使用各模型来执行识别处理，比较识别结果，并确定更合适的识别结果。
下面将解释示出模型信息的区域902。示出模型信息的区域902显示模型的属性集的信息925。用户可以比较并确认模型的属性集的信息925和识别目标数据的属性集的信息911，并选择已经通过更类似的条件学习的模型。请注意，为了使该比较更容易，还可以突出显示在识别目标数据的属性集911和模型的属性集925中具有相同设置的属性项目。相反地，也可以突出显示具有不同设置的项目。还可以显示所选择模型的属性集的信息925和识别目标数据的属性集的信息925中的至少一个。
示出模型信息的区域902可以进一步显示如图像926所指示的学习了该模型的学习图像的示例。通过这样将学习图像显示为模型的信息，用户可以更直观地理解在何种条件下学习了该模型。
请注意，当属性信息如在第一实施例中那样与各学习数据相关联时，也可以仅显示对预定属性设置“真”的图像。这使得用户能够容易地理解，例如，由给定模型学习的具有属性“许多裂缝”的图像的类型。
另外，示出关于识别目标数据的信息的区域901也可以显示识别目标数据的图像。参照图9，示出关于识别目标数据的信息的区域901显示由图像913指示的识别目标数据的图像。该识别目标数据的图像例如是识别目标的结构墙面的一部分的图像。通过这样相比较地显示识别目标数据的图像和已学习了模型的图像，更容易选择学习图像的条件与识别目标数据的图像的条件相似的模型。
此外，作为已学习了模型的图像926，也可以预先选择各属性的典型图像并显示该预先选择的图像，而不是显示所有学习图像。如果用户可以理解通过模型学习的图像的趋势，则也可以使用不是实际学习了的图像，而是使用类似的样本图像、图例等。这使得可以显示可以容易地与识别目标数据的图像进行比较的图像。
已经学习了模型的图像926不需要是实际学习的图像，也可以是虚拟生成的图像。近来，称为GAN(生成对抗网络)的技术正在开发基于学习而生成图像的技术。通过使用该技术，可以学习在学习数据集的图像组中的图像的趋势，通过使用学习模型生成与学习数据集的图像类似的图像，以及将生成的图像用作要显示的学习图像。还可以显示已学习了所选择的模型的学习数据的图像926和识别目标数据的图像913中的至少一者。
如上所述，当提供了用于从由模型选择单元204选择的多个模型中选择一个或更多个模型的界面时，用户可以容易地选择模型。请注意，上面已经解释了从多个模型中选择要在识别处理中使用的模型的示例。然而，即使当模型选择单元204选择了仅一个模型时，为了检查所选择的模型，也可以提供根据本实施例的用户界面。在这种情况下，不需要用于通过切换模型来显示多个模型的在图9中的按钮922和按钮923以及用于选择模型的确定按钮924。
信息处理装置100的CPU 101通过将存储在ROM 102中的程序加载到RAM 103中并执行该程序来实现上述处理。此外，CPU 101在显示单元105上显示GUI，并根据需要接受用户通过操作单元106的操作。
模型选择和识别处理也可以以SaaS(软件即服务，Software as a Service)的形式进行。图10示出了SaaS形式的信息处理装置110、120、121和122。与信息处理装置100一样，这些信息处理装置中的各信息处理装置都包括CPU 101、ROM 102、RAM 103、HDD 104、显示单元105、操作单元106和通信单元107。各信息处理装置的构造与对信息处理装置100的解释相同，因此将省略其详细解释。
在图10所示的该示例中，信息处理装置110是服务器，信息处理装置120、121和122是客户端。客户端信息处理装置120、121和122从服务器信息处理装置110接收信息，并执行与用户界面相关的处理。更具体地，各客户端显示在本实施例中解释的如图9所示的GUI，并接受用户操作。服务器信息处理装置110执行在第一实施例中解释的模型选择处理和识别处理的功能。请注意，客户端信息处理装置的数量不限于图10所示的示例的数量。通过这样以SaaS的形式进行服务，可以将服务提供给许多用户。
(第五实施例)
在第五实施例中，将解释添加模型评估作为模型选择的确定标准的示例。
图11是示出第五实施例的信息处理装置100的功能构造的框图示例。CPU 100通过将存储在ROM 102中的程序扩展到RAM 103中并执行符合各流程图的处理来实现这些功能单元。CPU 101将各处理的执行结果保存在RAM 103或HDD 104中。当例如构造硬件代替使用CPU 101的软件处理时，仅需要构造与这里要解释的各功能单元的处理相对应的电路和算术单元。请注意，以下解释包括SaaS形式的实施例。然而，以SaaS的形式，服务器信息处理装置和客户端信息处理装置执行如第四实施例中解释的以下处理。
除了图2所示的功能框图之外，根据本实施例的信息处理装置100还包括模型评估单元206。模型评估单元206执行模型评估，并进行信息收集。下面将解释要由模型评估单元206执行的处理。
模型评估的一个实施例是使用对模型的用户评估的方法。如第四实施例所解释的，可以以SaaS的形式向许多用户提供服务。各用户接收使用所选择的模型的识别结果，并且在某些情况下对该结果满意，而在某些其他情况下对该结果不满意。在本实施例中，针对各模型收集用户的满意度并将其用作对模型的评估。
图12是用于解释用于收集各模型的用户满意度的界面的视图。客户端信息处理装置向用户呈现如图12所示的该界面。GUI窗口1200显示由给定模型识别的识别目标图像的识别结果1201。在图12所示的本示例中，识别结果1201是给定结构墙面图像的裂缝识别结果。用户看到这个结果并输入对识别结果的满意度。图12示出了用于输入用户满意度的输入区1202。在本示例中，可以由用于通过“好”、“普通”和“坏”三个阶段进行评估的单选按钮来接受选择。用户输入这些评估的中的一者并按下发送按钮1203。因此，形成了识别结果的模型和用户评估相互关联并被记录在服务器信息处理装置中。
通过如上所述累积用户评估来确定各模型的评估值(评估精度)。可以通过简单地对来自用户的评估进行评分和累加来获得模型的评估值。例如，通过将“好”设置为+1，将“普通”设置为0，以及将“差”设置为-1，来累积对各模型的用户评估。因此，用户满意度高和性能高的模型的评估值增大。如上所述，模型评估单元206执行对用户评估的收集和累积以及对模型评估值的计算。
在模型选择处理中，模型选择单元204从模型评估单元206获取各模型的评估值，并将该模型评估值作为模型选择的标准。即，模型选择单元204基于对模型的用户评估来选择模型。例如，在第一实施例的步骤S602中，模型选择单元204选择多样性值小和模型评估值高的模型。通过这样将模型评估值考虑在内来选择模型，可以选择用户满意度高的经过验证的模型。
作为测量用户满意度的另一种方法，还可以记录模型被选择的计数。如在第二实施例和第四实施例中所解释的，模型选择单元204还可以选择多个模型并将它们呈现给用户。在这种情况下，用户从多个模型中选择要在识别处理中使用的模型。针对各模型记录该选择计数，并且将这些记录相加，从而使得模型评估值随着选择计数的增大而上升。
又一种用户满意度测量方法如下。即，为了让用户再利用选择的模型，还可以通过书签来注册模型并基于注册计数来计算模型评估值。
上面已经解释了在模型选择中使用基于用户满意度的模型评估的示例。
作为使用模型评估的模型选择方法的另一实施例，以下将解释通过使用准备的性能评估数据来评估模型的方法。在本实施例中，与第一实施例的总学习数据一样，准备大量性能评估数据作为总性能评估数据，该大量性能评估数据包含图像和指示图像中的裂缝位置的真实值(ground truth)信息的对。此外，指示各性能评估数据的属性的信息与性能评估数据相关联并被记录。通过使用给定的模型对上述性能评估数据的图像进行识别处理，并将识别处理结果与真实值信息进行比较。因此，可以获得模型的准确率或精度。在使用性能评估结果作为评估值的实施例中，将如上所述获得的准确率或精度用作评估值。
此外，形成与识别目标数据的属性集匹配的性能评估数据集，并对该性能评估数据集进行使用模型的识别处理，从而计算准确率或精度并计算该模型的评估值。然后，从总性能评估数据中收集并形成性能评估数据，从而使得性能评估数据集成为属性集与识别目标数据的属性集类似的数据集。可以在所有模型上进行或者仅在属性集与识别目标数据的属性集类似的各有限模型上进行，通过计算相对于性能评估数据集的准确率或精度来形成评估值的处理。
在模型选择中使用如上所述计算的模型的评估值。以与使用前述的基于用户评估的评估值时相同的方式，可以执行使用该评估值的模型选择。
请注意，上面已经解释了根据识别目标数据的属性集构建评估数据集并评估模型的实施例。然而，也可以通过使用预先设置的任意性能评估数据评估模型来计算评估值。在这种情况下，形成具有不同属性集的各种性能评估数据集，通过使用这些性能评估数据集中的各性能评估数据集评估各模型来计算评估值，并将性能评估数据集和模型记录为它们彼此关联。在模型选择处理中，设置识别目标数据的属性，并且当获得识别目标数据的属性集时，调用通过属性集与识别目标数据的属性集类似的性能评估数据集而评估的评估值，作为各模型的评估值。然后，被调用的评估值在模型选择中被用作各模型的评估值。
如上所述，在构建性能评估数据集并预先评估模型时，无论在何时设置识别目标数据的属性都无需进行模型评估，因此评估和模型选择所需的时间可以省略。
请注意，如果在基于识别目标数据的属性选择模型的处理之后无法选择适合于识别目标数据的模型，则可以学习新的模型。例如，如果不能从现有的学习模型中选择包括识别目标数据的属性集的模型，则学习单元201执行学习新模型的处理。
学习单元201基于识别目标数据的属性集形成要学习的新模型的学习数据集。更具体地，从总学习数据中收集学习数据集的数据，以获得与识别目标数据的属性集类似的属性集。在形成与识别目标数据的属性集类似的学习数据集的处理中，至少可以构造包括识别目标数据的属性集在内的学习数据集的属性集。通过使用如上所述形成的学习数据集来学习新模型。因此，可以形成适合于识别目标数据的模型。
请注意，当根据识别目标数据学习模型时，为了减少学习时间，还可以基于现有学习模型进行附加学习。通过使用在上述实施例中选择的模型作为基础模型来进行该附加学习。更具体地，首先通过在本实施例或其他实施例中解释的处理从现有学习模型中选择适合于对识别目标数据进行识别的模型。通过使用该模型作为基础模型可以缩短学习时间。另外，作为在附加学习中使用的学习数据集，如上所述形成属性集与识别目标数据的属性集类似的学习数据集。此外，还可以通过将作为基础模型的模型的属性集与识别目标数据的属性集进行比较并且仅收集具有在识别目标数据的识别中缺少的属性的学习数据来构建学习数据集。
(第六实施例)
在上述各实施例中，通过将用于检查基础设施的裂纹识别作为识别目标的示例，已经进行了解释。然而，本发明不限于此，并且还可以用于其他应用中。在第六实施例中，将解释要在诸如监控相机的固定相机中使用的识别模型的选择。请注意，根据第六实施例的信息处理装置100的硬件构造和功能构造与第一实施例至第五实施例的相同，因此将省略其解释。
在本实施例中，从多个学习模型中选择适合于安装了诸如监控相机的固定相机的环境的模型。在这种情况下，如在第一实施例至第五实施例中解释的识别目标的属性只需改变为与由固定相机进行的识别相关的属性即可。除了属性项目之外，可以进行与在第一实施例至第五实施例中解释的处理相同的处理。因此，下面将解释在固定相机是目标的实施例中使用的属性。
将参照图13解释本实施例的属性项目。图13示出了用于设置识别目标数据的属性以选择固定相机模型的用户界面。图13是第一实施例的图5的变型例。固定相机的实施例中的属性的示例包括与相机安装环境、识别目标和成像有关的项目。图13示出了包括作为相机安装环境的属性项目“商店”、“车站”和“道路”的示例。相机安装环境中的主要识别目标也可以设置为属性项目，并且图13示出了包括属性项目“人”和“车辆”的示例。请注意，图13所示的属性项目仅为示例，因此本发明不限于这些属性项目，还可以包括其他属性项目作为相机安装环境。例如，还可以包括诸如“内部”、“外部”和“夜间成像”的项目。请注意，图13示出了用户在“商店”中设置“真”而在“车站”中设置“假”的状态，并且用户对于其他属性项目继续设置作为模型选择目标的固定相机的属性。另外，如图13所示，也可以如第一实施例那样在属性项目中设置“无效”。
如上所述，当设置识别目标数据的属性时，针对作为模型选择目标的固定相机设置这些属性。当通过该处理完全设置了所有属性项目时，形成作为识别目标数据的固定相机图像的属性集。基于识别目标数据的属性集选择学习模型的处理可以以与其他实施例中相同的方式进行。请注意，对于该处理，各学习模型和指示使用学习了模型的学习数据的属性组合的属性集信息以彼此相关联方式被保存。
如上所述，根据上述各实施例的信息处理装置可用于通过改变属性项目对任意识别目标进行模型选择。
(其他实施例)
本发明可以通过经由网络或存储介质向系统或设备供应实现上述实施例的一个或更多个功能的程序并使系统或设备的计算机中的一个或更多个处理器读取和执行该程序来实现。本发明还可以通过用于实现一个或更多个功能的电路(例如，ASIC)来实现。
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，作出了所附权利要求。
本申请要求于2019年11月14日提交的日本专利申请第2019-206352号的优先权，在此通过引用将其并入本文。

Claims (14)

1.一种信息处理装置，其特征在于，所述信息处理装置包括：
第一获取部，其用于获取关于学习数据的信息，在用于识别输入数据的多个预学习模型中的各预学习模型的学习中使用所述学习数据；
第二获取部，其用于获取指示识别目标数据的属性的信息；以及
模型选择部，其用于基于所述识别目标数据的属性与在多个模型中的各模型的学习中使用的所述学习数据的属性之间的匹配度，并基于在所述多个模型中的各模型的学习中使用的所述学习数据的属性的多样性，从所述多个模型中选择要在对所述识别目标数据的识别中使用的模型。
2.根据权利要求1所述的信息处理装置，其特征在于，模型选择部选择通过使用具有包括所述识别目标数据的属性的属性的学习数据而学习的模型。
3.根据权利要求1或2所述的信息处理装置，其特征在于，模型选择部进一步基于多样性从基于匹配度选择的模型中选择不少于一个模型。
4.根据权利要求3所述的信息处理装置，其特征在于，多样性由所述学习数据的属性的数量来表示。
5.根据权利要求3或4所述的信息处理装置，其特征在于，模型选择部从基于匹配度选择的模型中选择通过使用多样性小的学习数据学习的模型。
6.根据权利要求3或4所述的信息处理装置，其特征在于，模型选择部从基于匹配度选择的模型中选择通过使用多样性大的学习数据学习的模型。
7.根据权利要求1至6中任一项所述的信息处理装置，其特征在于，所述信息处理装置还包括：显示控制部，其用于控制显示单元显示所述识别目标数据的属性和由模型选择部选择的模型的属性中的至少一者。
8.根据权利要求7所述的信息处理装置，其特征在于，显示控制部控制显示单元进一步显示所述识别目标数据的图像和已经学习了由模型选择部选择的模型的学习数据的图像中的至少一者。
9.根据权利要求1至6中任一项所述的信息处理装置，其特征在于，模型选择部进一步基于模型的识别精度来选择模型。
10.根据权利要求1至9中任一项所述的信息处理装置，其特征在于，模型选择部进一步基于关于模型的用户评估来选择模型。
11.根据权利要求1至10中任一项所述的信息处理装置，其特征在于，属性是基于图像的图像特征。
12.根据权利要求1至11中任一项所述的信息处理装置，其特征在于，
所述学习数据包括用于学习的多个数据，并且
基于用于学习的所述多个数据的属性的相加结果来确定所述学习数据的属性。
13.一种信息处理方法，其特征在于，所述信息处理方法包括：
获取关于学习数据的信息，在用于识别输入数据的多个预学习模型中的各预学习模型的学习中使用所述学习数据；
获取指示识别目标数据的属性的信息；以及
基于所述识别目标数据的属性与在多个模型中的各模型的学习中使用的所述学习数据的属性之间的匹配度，并基于在所述多个模型中的各模型的学习中使用的所述学习数据的属性的多样性，从所述多个模型中选择要在对所述识别目标数据的识别中使用的模型。
14.一种程序，其用于使计算机用作根据权利要求1至12中任一项所限定的信息处理装置。
CN202080079100.1A 2019-11-14 2020-11-09 信息处理装置、信息处理方法和程序 Pending CN114730394A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019206352A JP7493323B2 (ja) 2019-11-14 情報処理装置、情報処理装置の制御方法およびプログラム
JP2019-206352 2019-11-14
PCT/JP2020/041754 WO2021095693A1 (ja) 2019-11-14 2020-11-09 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN114730394A true CN114730394A (zh) 2022-07-08

Family

ID=75912911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079100.1A Pending CN114730394A (zh) 2019-11-14 2020-11-09 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20220269996A1 (zh)
EP (1) EP4060607A4 (zh)
CN (1) CN114730394A (zh)
WO (1) WO2021095693A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7487748B2 (ja) 2022-01-21 2024-05-21 横河電機株式会社 装置、方法およびプログラム
JP2023136811A (ja) 2022-03-17 2023-09-29 株式会社東芝 磁気ディスク装置のｒｗパラメータ調整方法及び調整装置と磁気ディスク装置
JP2023183235A (ja) * 2022-06-15 2023-12-27 キヤノン株式会社 画像処理装置、制御方法およびプログラム
JP2024024504A (ja) * 2022-08-09 2024-02-22 堺化学工業株式会社 学習済モデル選択方法、学習済モデル選択装置および学習済モデル選択プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6460095B2 (ja) * 2014-03-28 2019-01-30 日本電気株式会社 学習モデル選択システム、学習モデル選択方法及びプログラム
EP3214585A4 (en) * 2014-10-28 2018-06-13 Nec Corporation Estimated result display system, estimated result display method and estimated result display program
JP6946081B2 (ja) * 2016-12-22 2021-10-06 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2018173121A1 (ja) * 2017-03-21 2018-09-27 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
JP6796015B2 (ja) * 2017-03-30 2020-12-02 キヤノン株式会社 シーケンス生成装置およびその制御方法
WO2019003355A1 (ja) 2017-06-28 2019-01-03 株式会社オプティム 画像解析結果提供システム、画像解析結果提供方法、およびプログラム
JP7011472B2 (ja) * 2018-01-15 2022-01-26 キヤノン株式会社 情報処理装置、情報処理方法
JP7117153B2 (ja) 2018-05-28 2022-08-12 トキコシステムソリューションズ株式会社 燃料荷卸しシステム

Also Published As

Publication number Publication date
US20220269996A1 (en) 2022-08-25
EP4060607A1 (en) 2022-09-21
WO2021095693A1 (ja) 2021-05-20
JP2021081793A (ja) 2021-05-27
EP4060607A4 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
CN114730394A (zh) 信息处理装置、信息处理方法和程序
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
CN111539908B (zh) 对样本的缺陷检测的方法及其系统
US8577124B2 (en) Method and apparatus of pattern inspection and semiconductor inspection system using the same
US8625906B2 (en) Image classification standard update method, program, and image classification device
US11816579B2 (en) Method and apparatus for detecting defect pattern on wafer based on unsupervised learning
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN109558620B (zh) 产生检查方案的方法和其系统
US20150279129A1 (en) Failure cause classification apparatus
CN111758117A (zh) 检查系统、识别系统以及学习数据生成装置
CN110866931B (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
CN115151952A (zh) 一种变电设备高精度识别方法及系统
WO2019176988A1 (ja) 検査システム、識別システム、及び識別器評価装置
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
JP7493323B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP7321452B2 (ja) プログラム、情報処理装置、情報処理方法及び学習済みモデルの生成方法
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN111368823B (zh) 一种指针式仪表读数识别方法及装置
US20090080763A1 (en) Method and system for the visual classification of defects
CN113298166A (zh) 缺陷分类器和缺陷分类方法、装置、设备及存储介质
JP3022356B2 (ja) 自動検査システム及び判定方法
WO2024095721A1 (ja) 画像処理装置および画像処理方法
WO2022190518A1 (ja) 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination