CN111066061A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN111066061A
CN111066061A CN201780094728.7A CN201780094728A CN111066061A CN 111066061 A CN111066061 A CN 111066061A CN 201780094728 A CN201780094728 A CN 201780094728A CN 111066061 A CN111066061 A CN 111066061A
Authority
CN
China
Prior art keywords
image processing
processing program
image
programs
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780094728.7A
Other languages
English (en)
Inventor
长门毅
冈本浩明
肥塚哲男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN111066061A publication Critical patent/CN111066061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

为了缩短图像处理程序的再学习所需的时间，确定部(121)确定多个初始个体并包含在母集群(11)中，提取部(122)从母集群(11)中提取至少2个亲本个体。此外，生成部(123)根据遗传编程，从所提取的亲本个体中生成子个体，处理部(124)使用学习用数据计算子个体的适应度，根据计算出的适应度确定用于图像处理的图像处理程序或者更新母集群(11)。然后，确定部(121)将在紧前方确定用于图像处理的图像处理程序时包含在母集群(11)中的个体的至少一部分确定为再学习处理中的初始个体的一部分。

Description

信息处理装置、信息处理方法和信息处理程序
技术领域
本发明涉及信息处理装置、信息处理方法和信息处理程序。
背景技术
在工业产品的外观检查等中，使用摄像装置拍摄工业产品的外观，判定出是否存在缺陷。这里，在FA(Factory Automation：工厂自动化)领域中，多数情况下，与现场的摄影环境对应的噪声、阴影、明亮度的变动等对摄影图像产生影响，在提取缺陷部的图像处理程序中，期望实现对环境变化鲁棒的处理。此外，在运用检查工业产品的外观的外观检查装置的情况下，在检查环境由于检查对象的变更、外观检查装置的改良而发生了变化时，有时需要图像处理程序的再构建。因此，在外观检查装置中，要求能够容易地构建图像处理方法。
在外观检查装置所使用的图像处理装置中，由图像处理滤波器对由照相机等拍摄出的图像进行图像处理，由此获得了输出图像。这里，在现有的图像处理装置中，已知有进行基于遗传编程(Genetic Programming：GP)的进化计算而自动生成图像处理滤波器的技术。在该技术中，表示图像处理程序的个体用具有分别与图像处理的程序要素(图像处理滤波器)对应的1个以上的节点的树结构表现，根据某一代的亲本个体生成子个体，使用被作为学习用数据给出的输入图像来执行基于子个体的图像处理。然后，通过该处理结果与作为被作为学习用数据给出的目标的处理结果(例如，目标图像)的比较，计算子个体的适应度。此外，通过根据适应度选择在代交替时更换的个体，使图像处理程序优化(例如，参照非专利文献1等)。
现有技术文献
专利文献
专利文献1：日本特开2008-204102号公报
专利文献2：日本特开2008-204103号公报
非专利文献
非专利文献1：青木绅也、长尾智晴，“树结构图像变换的自动构建法ACTIT”，信息介质学会志Vol.53，No.6、1999年6月20日，第p.890-892页(青木紳也、長尾智晴、“木構造画像変換の自動構築法ACTIT”、情報メディア学会誌Vol.53，No.6、1999年6月20日、p.890-892)
发明内容
发明要解决的课题
当需要根据摄影环境的变化而修改图像处理程序时，需要根据遗传编程再次自动生成(再学习)图像处理程序。在该情况下，使用从环境变化后的摄影图像所新生成的学习数据(输入图像、目标图像)，但是，基本学习流程与在环境变化之前进行的自动生成相同。
但是，在再学习图像处理程序的情况下，比在初始阶段中进行的学习更要求迅速性时偏多，因此，需要进行缩短再学习所需的时间的研究。
在1个侧面中，本发明的目的在于提供能够缩短图像处理程序的再学习所需的时间的信息处理装置、信息处理方法和信息处理程序。
用于解决问题的手段
在一个方式中，一种信息处理装置，其使用具有树结构的图像处理程序对由摄像装置拍摄出的图像进行图像处理，其中，该信息处理装置具有：确定部，其确定多个初始的图像处理程序，并将所述多个初始的图像处理程序包含在图像处理程序组中；提取部，其从所述图像处理程序组中提取至少2个图像处理程序；生成部，其根据遗传编程，由所提取的所述图像处理程序生成下一代的图像处理程序的候选；以及处理部，其使用包含输入图像和作为目标的处理结果的学习用数据来计算所述下一代的图像处理程序的候选的适应度，根据计算出的适应度确定下一代的图像处理程序或者更新所述图像处理程序组，所述确定部将第1图像处理程序的至少一部分确定为所述初始的图像处理程序的一部分，该第1图像处理程序在所述处理部过去确定下一代的图像处理程序时包含在所述图像处理程序组中。
发明效果
能够缩短图像处理程序的再学习所需的时间。
附图说明
图1是示出一个实施方式的图像处理程序生成处理的概要的图。
图2是示出图像处理装置的硬件结构的图。
图3是图像处理装置的功能框图。
图4是示出初始学习处理的流程图。
图5是示出再学习处理的流程图。
图6是示出图像处理程序的再学习处理的概要的图。
图7是用于说明一个实施方式的作用效果的图。
具体实施方式
以下，根据图1～图7详细地说明信息处理装置的一个实施方式。
首先，根据图1，对基于遗传编程的图像处理程序的生成处理的概要进行说明。
(图像处理程序生成处理的概要)
图1是示出图像处理程序的生成处理过程的概要的图。作为前提，在图像处理程序的生成处理之前准备1个以上的学习用数据20。学习用数据20中包含输入图像21和对输入图像21实施图像处理时的处理结果(在本实施方式中为目标图像22)。输入图像21例如通过由照相机拍摄被摄体来获得。
在基于遗传编程的图像处理程序的生成处理中，个体(在图1中用白圈记述)组合1个以上的图像处理滤波器来构成。例如，如图1的左上所示，个体用树结构定义，在树结构的各节点组装了图像处理滤波器。另外，在图1的左上，“F”表示组装于节点的图像处理滤波器，“I”表示输入端子，“O”表示输出端子。此外，还预先准备了可组装于个体的多个图像处理滤波器。
基于遗传编程的图像处理程序的生成处理例如以下那样执行。
首先，在步骤S1中，生成母集群11所包含的多个初始个体。在各初始个体的节点组装了从预先准备的多个图像处理滤波器中随机地选择出的图像处理滤波器。此外，针对所生成的各初始个体计算适应度。另外，之后叙述适应度的计算处理的详细内容。另外，在计算出的适应度的最大值为规定的阈值以上的情况下，将适应度为最大的初始个体作为最终的图像处理程序输出。
在适应度的最大值小于规定的阈值的情况下，在步骤S2中，从母集群11中随机地选择一定数量(在图1中，例如为2个)的亲本个体。接着，在步骤S3中，通过对所选择的一定数量(2个)的亲本个体实施进化过程的处理，生成2个以上的一定数量的子个体。在进化过程中，对2个亲本个体进行交叉处理和突变处理。也可以通过对2个亲本个体分别进行不同的交叉处理、突变处理，生成3个以上的子个体。即，所生成的子个体的数量为从母集群11选择的亲本个体的数量以上。
接着，在步骤S4中，针对所生成的各子个体计算适应度。
这里，在所生成的子个体中的任意一个适应度为规定的阈值以上的情况下，该个体被作为最终的图像处理程序输出，程序生成处理结束。
另一方面，在这些全部子个体的适应度小于规定的阈值的情况下，在步骤S5中，从包含所生成的各子个体和原来的2个亲本个体的个体群12中进行生存选择。在该生存选择中，从个体群12中选择计算出的适应度为最大的个体。此外，通过规定的方法从个体群12内的剩余个体中选择1个个体。例如，按照与适应度对应的概率从剩余个体中选择个体(轮盘选择)。
通过这样的生存选择而选择出的2个个体在步骤S6中被调换为集群11所包含的个体中的、被选择为亲本个体的2个个体。由此，母集群11所包含的个体变更为下一代的个体。而且，直到适应度为规定的阈值以上的个体出现为止，反复相同的处理。
作为通过如上所述的过程生成的图像处理程序的用途，例如，在FA(FactoryAutomation：工厂自动化)领域中，考虑对拍摄了产品的图像实施图像处理而获得期望的效果的用途。例如，考虑如下这样的用途：对拍摄了产品的外观的图像实施图像处理而提取发生缺陷的部位、提取进行对位的部位。
在这样的用途中，有时需要根据成为被摄体的产品的变更、改善、随之产生的摄像环境的变化等进行图像处理程序的再构建。因此，要求图像处理程序的构建的容易性。并且，要求构建照明条件的变化、被摄体的形状，位置姿势的偏差等对摄像环境的变化的鲁棒性较高的图像处理程序。
仅通过利用遗传编程来预先准备输入图像21和与该输入图像21对应的目标图像22，就能够容易地生成可用作这样的用途的图像处理程序。并且，通过分别预先准备多个摄像环境不同的输入图像21与目标数据22的对(学习用数据20)，还能够自动生成对摄像环境的变化的鲁棒性较高的图像处理程序。另外，以下，假设将最初生成图像处理程序的处理称作“初始学习处理”、伴随摄像环境的变化等而再构建图像处理程序的处理称作“再学习处理”。
(图像处理装置的结构)
接着，根据图2，说明作为实施上述的图像处理程序的生成处理(初始学习处理、再学习处理)的信息处理装置的图像处理装置100的结构等。图2示意性示出了图像处理装置100的硬件结构的一例。本实施方式的图像处理装置100例如被作为如图2所示的计算机(信息处理装置)来实现。
图像处理装置100的整个装置通过处理器101来控制。处理器101也可以是多处理器。处理器101例如为CPU(Central Processing Unit：中央处理装置)、MPU(MicroProcessing Unit)、DSP(Digital Signal Processor：数字信号处理器)、ASIC(Application Specific Integrated Circuit：专用集成电路)、PLD(Programmable LogicDevice：可编程逻辑器件)等。此外，处理器101也可以为CPU、MPU、DSP、ASIC、PLD中的2个以上的元素的组合。处理器101经由总线109与RAM 102和多个设备(周边设备)连接。
RAM 102被用作图像处理装置100的主存储装置。RAM 102中临时存储有使处理器101执行的OS(Operating System：操作系统)的程序、应用程序中的至少一部分。此外，RAM102中存储有处理器101进行的处理所需的各种数据。
与总线109连接的设备包含HDD(Hard Disk Drive：硬盘驱动器)103、图形处理装置104、输入接口105、读取装置106、通信接口107和网络接口108等。
HDD 103被用作图像处理装置100的辅助存储装置。在HHD 103中存储有OS程序、应用程序和各种数据。另外，作为辅助存储装置，还能够使用SSD(Solid State Drive：固态硬盘)等其他种类的非易失性存储装置。
显示装置104a与图形处理装置104连接。图形处理装置104依照来自处理器101的命令，在显示装置104a的画面上显示图像。作为显示装置104a，存在液晶显示器、有机EL(Electro Luminescence：电致发光)显示器等。
输入装置105a与输入接口105连接。输入接口105将从输入装置105a输出的信号发送到处理器101。作为输入装置105a，存在键盘、定点设备等。作为定点设备，存在鼠标、触摸面板、平板、触摸输入板、触控板等。
在读取装置106上能够装卸可移动型记录介质106a。读取装置106读取可移动型记录介质106a所记录的数据并发送到处理器101。可移动型记录介质106a中包含光盘、光磁盘、半导体存储器等。
通信接口107与所连接的外部器件之间进行数据的收发。在本实施方式中，通信接口107与作为摄像装置的照相机107a连接，通信接口107将从照相机107a发送的图像数据发送到处理器101。
网络接口108经由网络与其他装置之间进行数据的收发。
(图像处理装置100具备的处理功能)
图3是示出图像处理装置具备的处理功能的结构例的框图(功能框图)。图像处理装置100具有图像取得部111、图像处理部112、程序生成部120、程序存储部130和学习用数据存储部141。图像取得部111、图像处理部112和程序生成部120的处理例如通过使图像处理装置100的处理器101执行规定的程序来实现。此外，图像处理部112的处理的一部分通过使图像处理装置100的处理器101执行程序存储部130所保存的图像处理程序来实现。程序存储部130、学习用数据存储部141例如作为图像处理装置100的HDD 103的存储区域来实现。
图像取得部111从照相机107a取得由照相机107a拍摄出的图像的数据，并输出到程序生成部120或图像处理部112。
程序生成部120通过遗传编程生成图像处理程序，将所生成的图像处理程序保存到程序存储部130中。另外，之后叙述程序生成部120的详细内容。
图像处理部112经由图像取得部111取得由照相机107a拍摄出的图像的数据。图像处理部112依照程序存储部130所保存的最终的图像处理程序(用于图像处理的程序)，对所取得的图像实施图像处理。处理后的图像例如显示在显示装置104a上。
程序存储部130存储由程序生成部120在学习时或再学习时生成的最终的图像处理程序和在生成最终的图像处理程序时包含在存储母集群11中的图像处理程序。
学习用数据存储部141存储1个以上的学习用数据，该学习用数据分别包含输入图像和目标图像的各数据。学习用数据所包含的输入图像例如也可以为由与图像处理装置100连接的照相机107a拍摄出的图像。
另外，在本实施方式中，作为一例，输出了图像作为使用所生成的图像处理程序的处理的结果，但是，也可以输出除了图像以外的信息作为处理的结果。作为这样的处理的结果，例如，考虑表示输入图像中的区域的位置信息、输入图像的分类结果、评价结果等。这样，在处理的结果不是图像的情况下，也可以在学习用数据中替代目标图像，包含表示作为目标的处理结果的、除了图像以外的信息。
如图3所示，程序生成部120具有学习用数据设定部128、确定部121、提取部122、生成部123和处理部124。
学习用数据设定部128进行学习用数据的设定。例如，学习用数据设定部128从学习用数据存储部141所存储的学习用数据中指定要使用的学习用数据，或者根据图像取得部111所取得的图像来生成要使用的学习用数据，并登记在学习用数据存储部141中。
确定部121确定多个初始个体(初始的图像处理程序)，并将所述多个初始个体包含在母集群11中(图1的S1)。另外，确定部121对初始个体的确定方法在初始学习处理时和再学习处理时不同，但是，之后叙述详细内容。
提取部122从母集群11中提取多个(例如2个)亲本个体(图像处理程序)(图1的S2)。另外，提取部122对亲本个体的提取方法在初始学习处理时和再学习处理时不同，但是，之后叙述详细内容。
生成部123根据遗传编程，从所提取的多个(例如2个)的亲本个体生成子个体(图1的S3)。
处理部124使用包含输入图像和作为目标的处理结果的学习用数据来计算用于评价个体(下一代的图像处理程序的候选)的适应度(图1的S4)。具体而言，处理部124使用学习用数据存储部141所存储的学习用数据，计算各图像处理程序的适应度。处理部124依照图像处理程序，对学习用数据所包含的输入图像实施图像处理，将所获得的图像与对应于图像处理后的输入图像的目标图像的类似度作为个体的适应度计算。此外，处理部124根据计算出的适应度确定下一代的图像处理程序，或者利用生成部123所生成的子个体对母集群11进行更新(图1的S5、S6)。
(图像处理装置100的初始学习处理)
图4是示出由图像处理装置100执行的初始学习处理的详细内容的流程图。
在图4的步骤S10中，学习用数据设定部128设定学习用数据。例如，从学习用数据存储部141所存储的学习用数据中指定在本处理中使用的学习用数据，或者从图像取得部111所取得的图像生成在本处理中使用的学习用数据，并登记在学习用数据存储部141中。
接着，在步骤S12中，确定部121生成母集群11所包含的规定个数(P个)的初始个体(参照图1的步骤S1)。各初始个体通过对树结构的各节点随机地选择并组合图像处理滤波器来生成。此外，各初始个体的树结构例如从预先确定的多个树结构中随机地选择。或者，也可以随机地确定树结构自身。
接着，在步骤S14中，处理部124执行针对母集群11所包含的个体的、使用学习用数据的适应度的计算。
接着，在步骤S16中，处理部124判断在步骤S14中计算出的各个体的适应度的最大值是否大于预先确定的阈值。该步骤S16的判断为肯定的情况下，转移到步骤S26，设适应度为最大的个体为最终的图像处理程序，将最终的图像处理程序和母集群11所包含的个体存储到程序存储部130中。然后，结束图4的处理(初始学习处理)。
另一方面，在步骤S16的判断为否定的情况(在当前时刻，母集群11中不存在能够成为最终的图像处理程序的个体的情况)下，转移到步骤S18，提取部122从母集群11所包含的个体中随机地选择2个亲本个体(参照图1的步骤S2)。
接着，在步骤S20中，生成部123通过进化过程的处理生成子个体(参照图1的步骤S3)。在该情况下，生成部123通过在所选择的2个亲本个体之间进行交叉，生成2个以上的规定数量的子个体。此外，生成部123使所生成的子个体中的任意一个节点产生突变，将组装于原来的子个体的节点的图像处理滤波器置换为其他图像处理滤波器。
接着，在步骤S22中，处理部124使用学习用数据计算各子个体的适应度。这里的处理与上述的步骤S14的处理相同。
接着，在步骤S24中，处理部124从在步骤S22中计算出的各子个体的适应度中确定最大适应度，判定最大适应度是否大于规定的阈值。在最大适应度大于阈值的情况下，处理部124转移到步骤S26的处理，在最大适应度为阈值以下的情况下，处理部124转移到步骤S28的处理。
当转移到步骤S28时，处理部124从在步骤S18中选择出的各亲本个体和在步骤S20中生成的各子个体中选择适应度为最大的个体作为要使得生存的个体(参照图1的步骤S5)。并且，处理部124从剩余个体中选择1个要使得生存的个体。在该选择中，以与剩余个体各自的适应度对应的概率选择要使得生存的个体(轮盘选择)。
接着，在步骤S30中，处理部124将母集群11所包含的个体中的、在步骤S18中选择出的亲本个体替换为在步骤S28中选择出的2个个体(参照图1的步骤S6)。由此，更新母集群11的代。然后，返回步骤S18，如上述那样执行步骤S18以后的处理。
另一方面，当步骤S24的判断为肯定并转移到步骤S26时，处理部124将在步骤S24中判定为适应度比阈值大的个体(图像处理程序)存储到程序存储部130中，并且将母集群11所包含的个体(图像处理程序)存储到程序存储部130中，结束图4的处理(初始学习处理)。另外，在下一个执行的再学习处理中使用程序存储部130所存储的最终的图像处理程序和母集群11所包含的个体。
(图像处理装置100的再学习处理)
接着，根据示出图5的流程图和再学习处理的概要的图6，对由图像处理装置100执行的再学习处理的详细内容进行说明。该再学习处理是在使用通过如图4所示的方法而确定的图像处理程序反复执行图像处理的期间内产生摄影环境的变化等从而需要修改图像处理程序的阶段中执行的处理。
在图5的处理中，首先，在步骤S110中，学习用数据设定部128设定新学习用数据。在该情况下，学习用数据设定部128使用在产生摄影环境的变化等之后由照相机107a拍摄出的图像生成新学习用数据，并登记在学习用数据存储部141中。
接着，在步骤S112A中，处理部124使用在步骤S110中所生成的新学习用数据，计算在紧前方的学习处理时存储到程序DB130中的个体(紧前方的学习中的最终的图像处理程序和母集群11所包含的个体)的适应度(参照图6的步骤S201)。
接着，在步骤S112B中，处理部124将适应度为上位N0个的个体插入母集群11中(参照图6的步骤S202)。这里，N0能够设为母集群11的总个体数P的50％(N0＝0.5×P)等。
接着，在步骤S112C中，处理部124随机地生成P-N0个的个体，插入母集群11中(参照图6的步骤S203)。该步骤S112C的处理与图4的步骤S12的处理相同。
接着，在步骤S114中计算在步骤S112C中所随机地生成的个体各自的适应度。
接着，在步骤S116中，处理部124判断在步骤S112A、S114中计算出的各个体的适应度的最大值是否大于预先确定的阈值。在该步骤S116的判断为肯定的情况下，转移到步骤S126，设适应度为最大的个体为最终的图像处理程序，将最终的图像处理程序和母集群11所包含的个体存储到程序存储部130中。然后，结束图5的处理(再学习处理)。
另一方面，在步骤S116的判断为否定的情况(在母集群11中不存在能够成为最终的图像处理程序的个体的情况)下，转移到步骤S118A，提取部122判断Ni/P是否比K大。这里，假设K例如为0.1。Ni是母集群所包含的通过紧前方的学习而获得的个体的个数。例如，在母集群中包含20个个体，当其中的10个为通过紧前方的学习而获得的个体时，Ni/P＝1/2，因此，判断为比K(＝0.1)大，步骤S118A的判断为肯定。另一方面，通过如后述那样选择通过紧前方的学习而获得的个体作为亲本个体，从母集群11减少，在Ni/P比K小的情况下，步骤S118A的判断为否定。在步骤S118A的判断为肯定的情况下，转移到步骤S118B，在为否定的情况下，转移到步骤S118C。
在转移到步骤S118B的情况下，提取部122选择母集群11所包含的通过紧前方的学习而获得的个体作为亲本个体的一方，选择母集群11所包含的新生成的个体作为另一方(参照图6的步骤S204)。
另一方面，在转移到步骤S118C的情况下，提取部122从母集群11中随机地选择亲本个体双方(参照图6的步骤S204)。
接着，在步骤S120中，与图4的步骤S20相同，生成部123通过进化过程的处理生成子个体(参照图6的步骤S205)。接着，在步骤S122中，处理部124使用新学习用数据计算各子个体的适应度(参照图6的步骤S206)。
接着，在步骤S124中，与步骤S24同样，处理部124从在步骤S122中计算出的各子个体的适应度中确定最大适应度，判定最大适应度是否大于规定的阈值。在最大适应度大于阈值的情况下，处理部124转移到步骤S126的处理，在最大适应度为阈值以下的情况下，处理部124转移到步骤S128的处理。
当转移到步骤S128时，处理部124从在步骤S118B或118C中所选择的各亲本个体和在步骤S120中所生成的各子个体中选择适应度为最大的个体作为要生存的个体。并且，处理部124从剩余个体中轮盘选择1个要使得生存的个体(参照图6的步骤S207)。
接着，在步骤S130中，处理部124将母集群11所包含的个体中的、在步骤S118B或S118C中选择出的亲本个体替换为在步骤S128中选择出的2个个体(参照图6的步骤S208)。由此，更新母集群11的代。然后，在步骤S132中，处理部124对母集群11所包含的通过紧前方的学习而获得的个体的数量Ni进行更新。另外，i是表示执行图6所示的循环(S2104～S208)的次数的值。例如，在步骤S118B或S118C中选择出的1个亲本个体为通过紧前方的学习而获得的个体的情况下，Ni+1比Ni减少1个。此外，在亲本个体双方为通过紧前方的学习而获得的个体的情况下，Ni+1比Ni减少2个。并且，在亲本个体双方不是通过紧前方的学习而获得的个体的情况下，Ni+1不从Ni发生变化。在步骤S132之后，转移到步骤S118A。
另一方面，当步骤S124的判断为肯定并转移到步骤S126时，处理部124将在步骤S124中判定为适应度大于阈值的个体(图像处理程序)存储到程序存储部130中。此外，处理部124将母集群11所包含的个体(图像处理程序)存储到程序存储部130中，结束图5的处理(再学习处理)。另外，在下一个再学习时，在步骤S112A中使用在步骤S126中存储到程序存储部130中的图像处理程序。
如上所述，在再学习处理中，通过使用通过紧前方的学习而获得的图像处理程序作为再学习时的母集群11的初始个体的一部分，能够较早地搜索适应度较高的个体。此外，由于不将通过紧前方的学习而获得的图像处理程序作为再学习处理中的全部初始个体使用，所以还能够防止紧前方的学习的过学习状态。
图7是示出通过与图5相同的方法进行再学习的情况(比较例)和通过图5的方法进行再学习的情况(N0＝0.5×P、K＝0.1)下的、适应度相对于代数的变化的曲线图。另外，代数表示进行了母集群的替换的次数。此外，适应度的意思与程序性能相同，表示适应度的值越接近1，程序性能越高。即，到适应度的值成为规定值(例如1)为止的代数表示学习速度。
如图7所示，当与比较例进行比较时可知，在通过图5的方法进行了再学习的情况下，能够通过学习的较早收敛实现再学习时间的缩短。更具体而言，在图7的例子中，可知学习速度大致成为4倍左右。
如以上所详细地说明的那样，根据本实施方式，确定部121确定多个初始个体，包含在母集群11中，提取部122从母集群11中提取2个亲本个体。此外，生成部123根据遗传编程，从所提取的亲本个体中生成子个体，处理部124使用学习用数据计算子个体的适应度，根据计算出的适应度确定用于图像处理的图像处理程序或者更新母集群11。在该情况下，确定部121将在紧前确定用于图像处理的图像处理程序时包含在母集群11中的个体的至少一部分确定为再学习处理中的初始个体的一部分。由此，在本实施方式中，由于使用通过紧前方的学习而获得的图像处理程序作为再学习时的母集群11的初始个体的一部分，所以与随机地生成全部的初始个体的情况相比，能够较早地搜索适应度较高的个体。此外，由于不使用通过紧前方的学习而获得的个体作为再学习时的全部初始个体，所以还能够防止紧前方的学习的过学习状态。
此外，在本实施方式中，确定部121使用新的学习用数据来计算通过紧前方的学习而获得的图像处理程序的适应度，根据计算出的适应度确定母集群11所包含的图像处理程序。由此，由于在再学习中，能够从最初就将表示较高的适应度的图像处理程序包含在母集群11中，所以能够以较短的时间确定最终的图像处理程序。
此外，在本实施方式中，提取部122根据在再学习时包含在母集群11中的通过紧前方的学习而获得的图像处理程序的比例，确定是选择紧前方的学习的个体作为亲本个体的一方并选择新生成的个体作为另一方(S118B)、还是随机地选择亲本个体双方(S118C)。由此，在母集群11中包含多个通过紧前方的学习而获得的图像处理程序的情况下，通过将通过紧前方的学习而获得的适应度较高的图像处理程序积极地选择为亲本个体，能够缩短再学习所需的时间。此外，在母集群11中未包含太多通过紧前方的学习而获得的图像处理程序的情况下，通过从包含通过反复进化过程而获得的图像处理程序的母集群11中随机地选择亲本个体，能够缩短再学习所需的时间。
另外，在上述的实施方式中，对使用通过紧前方的学习而获得的个体作为再学习的初始个体的一部分的情况进行了说明，但是，不限于此。即，在再学习之前所获得的个体也可以不是通过紧前方的学习而获得的个体。
另外，在上述的实施方式中，说明了从母集群11中提取2个亲本个体的情况，但是，不限于此。例如，要提取的亲本个体的数量也可以为3个以上。另外，在提取3个以上的亲本个体的情况下，在步骤S118B中，设进化过程的交叉所使用的一对亲本个体的一方为从通过紧前方的学习而获得的个体中选择出的个体、另一方为从新生成的个体中选择出的个体即可。
另外，在上述的实施方式中，适当地调整在图5的流程图中使用的值Ni、K，以使满足请求精度、请求处理时间。
另外，在上述的实施方式中，在步骤S118A中，根据母集群11所包含的通过紧前方的学习而获得的图像处理程序的比例进行了判断，但是，不限于此，例如，也可以根据母集群11所包含的通过紧前方的学习而获得的图像处理程序的数量进行判断。此外，在图5的步骤S118A中，也可以根据循环(图6的S204～S208)的反复次数，判断执行步骤S118B、S118B中的哪一个。
另外，上述的处理功能可以通过计算机实现。该情况下，可提供记述有处理装置应该具有的功能的处理内容的程序。通过利用计算机执行该程序，在计算机上实现上述处理功能。记述有处理内容的程序能够预先记录在可由计算机读取的记录介质(但是，除了载波以外)中。
在使程序流通的情况下，例如，以记录有该程序的DVD(Digital Versatile Disc：数字多功能光盘)、CD-ROM(Compact Disc Read Only Memory：光盘只读式存储器)等可移动型记录介质的形式销售。此外，还能够预先将程序存储到服务器计算机的存储装置中，并将该程序经由网络从服务器计算机传输到其他计算机。
执行程序的计算机例如将可移动型记录介质所记录的程序或从服务器计算机传输的程序存储到自己的存储装置中。然后，计算机从自己的存储装置读取程序，执行遵循程序的处理。另外，计算机还能够从可移动型记录介质直接读取程序，遵循该程序执行处理。此外，计算机还能够在每次从服务器计算机传输程序时，依次执行遵循所接收到的程序的处理。
上述的实施方式为本发明的优选实施例。但是，不限于此，可以在不脱离本发明主旨的范围内实施各种变更。
标号说明
100：图像处理装置(信息处理装置)；107a：照相机(摄像装置)；121：确定部；122：提取部；123：生成部；124：处理部。

Claims (9)

1.一种信息处理装置，其使用具有树结构的图像处理程序对由摄像装置拍摄出的图像进行图像处理，该信息处理装置的特征在于，具有：
确定部，其确定多个初始的图像处理程序，并将所述多个初始的图像处理程序包含在图像处理程序组中；
提取部，其从所述图像处理程序组中提取至少2个图像处理程序；
生成部，其根据遗传编程，由所提取的所述图像处理程序生成下一代的图像处理程序的候选；以及
处理部，其使用包含输入图像和作为目标的处理结果的学习用数据来计算所述下一代的图像处理程序的候选的适应度，根据计算出的适应度确定下一代的图像处理程序或者更新所述图像处理程序组，
所述确定部将第1图像处理程序的至少一部分确定为所述初始的图像处理程序的一部分，该第1图像处理程序在所述处理部过去确定下一代的图像处理程序时包含在所述图像处理程序组中。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述确定部使用基于由所述摄像装置新拍摄出的图像的学习用数据来计算所述第1图像处理程序的适应度，
所述确定部根据计算出的所述适应度，将从所述第1图像处理程序中选择出的图像处理程序确定为所述初始的图像处理程序的一部分。
3.根据权利要求1或2所述的信息处理装置，其特征在于，
所述提取部执行如下的处理：根据所述图像处理程序组所包含的所述第1图像处理程序的比例或数量，来确定是从所述图像处理程序组中随机地选择要提取的全部图像处理程序、还是从所述第1图像处理程序中随机地选择要提取的图像处理程序的一部分并从除了所述图像处理程序组所包含的所述第1图像处理程序以外的图像处理程序中随机地选择其他图像处理程序。
4.根据权利要求3所述的信息处理装置，其特征在于，
在所述图像处理程序组所包含的所述第1图像处理程序的比例或数量比规定值小的情况下，所述提取部确定为从所述图像处理程序组中随机地选择要提取的全部图像处理程序。
5.一种信息处理方法，使用具有树结构的图像处理程序对由摄像装置拍摄出的图像进行图像处理，该信息处理方法的特征在于，使计算机执行以下处理：
确定多个初始的图像处理程序，并将所述多个初始的图像处理程序包含在图像处理程序组中；
从所述图像处理程序组中提取至少2个图像处理程序；
根据遗传编程，由所提取的所述图像处理程序生成下一代的图像处理程序的候选；以及
使用包含输入图像和作为目标的处理结果的学习用数据来计算所述下一代的图像处理程序的候选的适应度，根据计算出的适应度确定下一代的图像处理程序或者更新所述图像处理程序组，
在所述确定的处理中，将第1图像处理程序的至少一部分确定为所述初始的图像处理程序的一部分，该第1图像处理程序在过去确定下一代的图像处理程序时包含在所述图像处理程序组中。
6.根据权利要求5所述的信息处理方法，其特征在于，在确定所述初始的图像处理程序的处理中，
使用基于由所述摄像装置新拍摄出的图像的学习用数据来计算所述第1图像处理程序的适应度，
根据计算出的所述适应度，将从所述第1图像处理程序中选择出的图像处理程序确定为所述初始的图像处理程序的一部分。
7.根据权利要求5或6所述的信息处理方法，其特征在于，
在所述提取的处理中，执行如下的处理：根据所述图像处理程序组所包含的所述第1图像处理程序的比例或数量，来确定是从所述图像处理程序组中随机地选择要提取的全部图像处理程序、还是从所述第1图像处理程序中随机地选择要提取的图像处理程序的一部分并从除了所述图像处理程序组所包含的所述第1图像处理程序以外的图像处理程序中随机地选择其他图像处理程序。
8.根据权利要求7所述的信息处理方法，其特征在于，
在所述提取的处理中，在所述图像处理程序组所包含的所述第1图像处理程序的比例或数量比规定值小的情况下，确定为从所述图像处理程序组中随机地选择要提取的全部图像处理程序。
9.一种信息处理程序，其使用具有树结构的图像处理程序对由摄像装置拍摄出的图像进行图像处理，该信息处理程序的特征在于，其使计算机执行以下处理：
确定多个初始的图像处理程序，并将所述多个初始的图像处理程序包含在图像处理程序组中；
从所述图像处理程序组中提取至少2个图像处理程序；
根据遗传编程，由所提取的所述图像处理程序生成下一代的图像处理程序的候选；以及
使用包含输入图像和作为目标的处理结果的学习用数据来计算所述下一代的图像处理程序的候选的适应度，根据计算出的适应度确定下一代的图像处理程序或者更新所述图像处理程序组，
在所述确定的处理中，将第1图像处理程序的至少一部分确定为所述初始的图像处理程序的一部分，该第1图像处理程序在过去确定下一代的图像处理程序时包含在所述图像处理程序组中。
CN201780094728.7A 2017-09-11 2017-09-11 信息处理装置、信息处理方法和信息处理程序 Pending CN111066061A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/032672 WO2019049365A1 (ja) 2017-09-11 2017-09-11 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN111066061A true CN111066061A (zh) 2020-04-24

Family

ID=65633774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094728.7A Pending CN111066061A (zh) 2017-09-11 2017-09-11 信息处理装置、信息处理方法和信息处理程序

Country Status (5)

Country Link
US (1) US11328176B2 (zh)
EP (1) EP3683763A4 (zh)
JP (1) JP6729810B2 (zh)
CN (1) CN111066061A (zh)
WO (1) WO2019049365A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3814444B1 (en) 2018-06-29 2023-11-01 Dow Silicones Corporation Anchorage additive and methods for its preparation and use
US20210246337A1 (en) 2018-06-29 2021-08-12 Dow Silicones Corporation Solventless silicone pressure sensitive adhesive and methods for making and using same
CA3163782A1 (en) 2019-12-06 2021-06-10 Natural Computation LLC Using genetic programming to create generic building blocks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149795A (zh) * 2004-05-14 2008-03-26 欧姆龙株式会社 特定被摄体检测装置
CN101517602A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 使用基于分类器集成的遗传算法进行特征选择的方法
CN101731004A (zh) * 2007-04-23 2010-06-09 夏普株式会社 摄像装置、记录有该摄像装置的控制程序的计算机可读取的记录介质以及控制方法
CN103942571A (zh) * 2014-03-04 2014-07-23 西安电子科技大学 一种基于遗传规划算法的图形图像分类方法
CN104504719A (zh) * 2015-01-05 2015-04-08 浪潮(北京)电子信息产业有限公司 一种图像边缘检测方法及设备
US20150287160A1 (en) * 2012-12-28 2015-10-08 Fujitsu Limited Image processing apparatus and feature detection method
JP2017010475A (ja) * 2015-06-26 2017-01-12 富士通株式会社 プログラム生成装置、プログラム生成方法および生成プログラム
CN106462401A (zh) * 2014-06-19 2017-02-22 富士通株式会社 程序生成装置、程序生成方法和程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US7603000B2 (en) * 2005-08-31 2009-10-13 Siemens Medical Solutions Usa, Inc. System and method for learning relative distance in a shape space using image based features
JP2008204103A (ja) 2007-02-19 2008-09-04 Yokohama National Univ 画像認識システム
JP4910090B2 (ja) 2007-02-19 2012-04-04 国立大学法人横浜国立大学 画像処理システム
US8401332B2 (en) * 2008-04-24 2013-03-19 Old Dominion University Research Foundation Optical pattern recognition technique
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US9014449B2 (en) * 2011-10-04 2015-04-21 Siemens Aktiengesellschaft Method and system for segmentation and removal of pulmonary arteries, veins, left atrial appendage
US10255681B2 (en) * 2017-03-02 2019-04-09 Adobe Inc. Image matting using deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149795A (zh) * 2004-05-14 2008-03-26 欧姆龙株式会社 特定被摄体检测装置
CN101517602A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 使用基于分类器集成的遗传算法进行特征选择的方法
CN101731004A (zh) * 2007-04-23 2010-06-09 夏普株式会社 摄像装置、记录有该摄像装置的控制程序的计算机可读取的记录介质以及控制方法
US20150287160A1 (en) * 2012-12-28 2015-10-08 Fujitsu Limited Image processing apparatus and feature detection method
CN103942571A (zh) * 2014-03-04 2014-07-23 西安电子科技大学 一种基于遗传规划算法的图形图像分类方法
CN106462401A (zh) * 2014-06-19 2017-02-22 富士通株式会社 程序生成装置、程序生成方法和程序
CN104504719A (zh) * 2015-01-05 2015-04-08 浪潮(北京)电子信息产业有限公司 一种图像边缘检测方法及设备
JP2017010475A (ja) * 2015-06-26 2017-01-12 富士通株式会社 プログラム生成装置、プログラム生成方法および生成プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKANORI OGAWA ET AL.: "《Generating function of color information detection using genetic programming》", 《14TH INTERNATIONAL SYMPOSIUM ON ARTIFICIAL LIFE AND ROBOTICS》 *
吴鹏: "《基于语法引导遗传编程的神经树的研究与应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
JP6729810B2 (ja) 2020-07-22
WO2019049365A1 (ja) 2019-03-14
JPWO2019049365A1 (ja) 2020-03-26
US20200202169A1 (en) 2020-06-25
EP3683763A1 (en) 2020-07-22
US11328176B2 (en) 2022-05-10
EP3683763A4 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
US8601013B2 (en) Analyzing data using a hierarchical structure
US9430817B2 (en) Blind image deblurring with cascade architecture
JP6511986B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
US10489710B2 (en) Program generation apparatus and program generation method
US11328176B2 (en) Information processing apparatus, information processing method, and storage medium
WO2017068675A1 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN113239875B (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
JP6015670B2 (ja) 画像処理装置及び画像処理方法
JP2013254291A (ja) 動体検出装置、動体検出方法およびプログラム
JP6703289B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN115439708A (zh) 一种图像数据处理方法和装置
CN112633085A (zh) 一种基于注意力导向机制的人脸检测方法、系统、存储介质及终端
JP6798607B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN111726592B (zh) 获取图像信号处理器的架构的方法和装置
JP7028317B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6331914B2 (ja) アルゴリズム生成装置、アルゴリズム生成方法及びアルゴリズム生成用コンピュータプログラム
JP6544435B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
US20240013407A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN114821207A (zh) 一种图像分类方法、装置、存储介质及终端
JP6217116B2 (ja) データ処理装置、方法、およびプログラム
CN117372798A (zh) 一种模型训练方法及相关装置
CN115601629A (zh) 模型训练方法、图像识别方法、介质、装置和计算设备
JP2015125513A (ja) 画像処理方法、画像処理装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200424