CN108475425A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN108475425A
CN108475425A CN201680079208.4A CN201680079208A CN108475425A CN 108475425 A CN108475425 A CN 108475425A CN 201680079208 A CN201680079208 A CN 201680079208A CN 108475425 A CN108475425 A CN 108475425A
Authority
CN
China
Prior art keywords
image processing
node
program
image
characteristic quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680079208.4A
Other languages
English (en)
Other versions
CN108475425B (zh
Inventor
长门毅
冈本浩明
肥塚哲男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN108475425A publication Critical patent/CN108475425A/zh
Application granted granted Critical
Publication of CN108475425B publication Critical patent/CN108475425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

检测由图像处理程序进行的图像处理精度下降的征兆。在存储部(1a)中存储有构成向多个节点(N1～N4)的各个节点并入部分程序的树结构的图像处理程序(2)。运算部(1b)在每次按照图像处理程序(2)而对通过摄像装置拍摄到的摄像图像(3)执行图像处理时，根据多个节点(N1～N4)中除终端节点以外的中间节点的各个节点处的处理结果(11～13)而计算特征量(20)。运算部(1b)根据伴随时间经过的特征量(20)的变动量来计算图像处理程序(2)的性能评价值。

Description

图像处理装置、图像处理方法及图像处理程序
技术领域
本发明涉及图像处理装置、图像处理方法及图像处理程序。
背景技术
最近，通过遗传编程而自动生成执行期望的图像处理的图像处理程序的技术备受关注。该技术利用输入图像和成为目标的处理结果(例如，目标图像)，通过遗传编程而优化将用于图像处理的部分程序组合而生成的图像处理程序。
并且，作为关于制作图像处理算法的技术的例子，提出了如下的外观检查装置：该外观检查装置利用所制作的算法而实施检查对象物的外观检查，根据其检查结果而计算评价值，通过评价值是否满足规定的条件来判断算法的再学习的必要性。
现有技术文献
专利文献
专利文献1：日本特开2006-293820号公报
非专利文献
非专利文献1：青木绅也、长尾智晴，“树结构图像变换的自动构建法ACTIT”，信息媒体学会志Vol.53，No.6，1999年6月20日，第890-892页(青木紳也、長尾智晴、「木構造画像変換の自動構築法ACTIT」、信息メディア学会誌Vol.53，No.6，1999年6月20日，p.890-892)
发明内容
发明要解决的课题
在利用通过遗传编程而生成的图像处理程序来执行图像处理时，随着拍摄其图像处理对象的图像的环境、摄像对象物的规格等条件发生变化，图像处理精度下降。因此，在判断为无法维持期望的图像处理精度的时间点，加入改变摄像环境、摄像对象物而拍摄的输入图像和成为其目标的处理结果而进行图像处理程序的再学习。
但是，在通过再学习而生成新的图像处理程序为止的期间内，无法执行利用图像处理程序的图像处理。例如，在产品的制造线上为了进行部件的对位、检查而利用图像处理程序的情况下，直到通过再学习而生成新的图像处理程序为止，不得不停止制造线的运用。因此，成为课题的是，能够比图像处理精度显著下降早多少判断需要图像处理程序的再学习的时机。
在一个侧面中，本发明的目的在于提供一种可检测出由图像处理程序进行的图像处理精度下降的征兆的图像处理装置、图像处理方法及图像处理程序。
用于解决课题的手段
在一个方案中，提供一种具备如下的存储部及运算部的图像处理装置。存储部存储有构成向多个节点分别并入了部分程序的树结构的图像处理程序。运算部在每次按照图像处理程序而对拍摄装置拍摄到的摄像图像执行图像处理时，根据多个节点中除终端节点以外的中间节点的各个节点处的处理结果而计算特征量，根据伴随时间经过的特征量的变动量来计算图像处理程序的性能评价值。
并且，在一个方案中，提供一种使计算机执行与上述的图像处理装置相同的处理的图像处理方法。
进而，在一个方案中，提供一种使计算机执行与上述的图像处理装置相同的处理的图像处理程序。
发明效果
在一个侧面中，能够检测出由图像处理程序进行的图像处理精度下降的征兆。
关于本发明的上述及其他的目的、特征及优点，通过作为本发明的例子而示出优选的实施方式的附图和与此相关的以下的说明而可清楚地理解。
附图说明
图1是表示第1实施方式的图像处理装置的结构例及处理例的图。
图2是表示第2实施方式的图像处理装置的硬件结构例的图。
图3是表示图像处理程序的重新生成时机的例子的图。
图4是表示识别率的迁移的曲线图。
图5是对用来评价程序重新生成的必要性的指标的计算进行说明的图。
图6是表示与部分程序的种类对应的节点特征量的计算方法的例子的图。
图7是用于对在中间图像设定分割区域的情况下的处理进行说明的图。
图8是表示伴随时间经过的节点特征量的变化的第1例的图。
图9是表示伴随时间经过的节点特征量的变化的第2例的图。
图10是表示图像处理装置所具备的处理功能的结构例的框图。
图11是表示图像处理程序及基准信息的生成处理过程的例子的流程图。
图12是表示图像处理程序的生成处理过程的例子的流程图。
图13是表示执行所生成的图像处理程序时的处理过程的例子的流程图。
图14是表示特征量的计算例的图。
图15是表示第3实施方式的图像处理装置所具备的处理功能的结构例的框图。
图16是表示第3实施方式中的图像处理程序及基准信息的生成处理过程的例子的流程图。
图17是表示执行第3实施方式中的图像处理程序时的处理过程的例子的流程图。
图18是表示第4实施方式的程序生成装置及图像处理装置的处理功能的结构例的框图。
图19是表示第5实施方式的图像处理系统的结构例的图。
具体实施方式
下面，参照附图而对本发明的实施方式进行说明。
[第1实施方式]
图1是表示第1实施方式的图像处理装置的结构例及处理例的图。图像处理装置1具备存储部1a和运算部1b。存储部1a例如为RAM(Random Access Memory：随机存取存储器)、HDD(Hard Disk Drive：硬盘驱动器)等存储装置。运算部1b例如为处理器。
在存储部1a中存储有图像处理程序2。图像处理程序2形成向多个节点分别并入部分程序的树结构。并且，图像处理程序2利用遗传编程而生成。在利用遗传编程的图像处理程序2的生成中，分别利用包括输入图像和目标数据的1组以上的学习数据而进行学习。通过学习而优化树结构中的节点的结构、并入各个节点的部分程序。
在图1的例子中，图像处理程序2具备节点N1～N4。在运算部1b将摄像图像3作为输入而执行图像处理程序2时，执行如下的处理。另外，摄像图像3是通过未图示的摄像装置而拍摄的图像。
在节点N1处，按照并入节点N1的部分程序而对输入到输入端子In的摄像图像3执行处理，输出处理结果11。在节点N2处，按照并入节点N2的部分程序而对处理结果11执行处理，输出处理结果12。在节点N3处，按照并入节点N3的部分程序而对输入到输入端子In的摄像图像3执行处理，输出处理结果13。在节点N4处，按照并入节点N4的部分程序而对处理结果12、13执行处理。节点N4成为终端节点，从输出端子Out输出节点N4处的处理结果。
运算部1b将从未图示的摄像装置取得的摄像图像3作为输入而执行图像处理程序2。运算部1b在每次按照图像处理程序2而执行图像处理时，根据节点N1～N4中除终端节点以外的中间节点，即节点N1～N3处的处理结果11～13而计算特征量20(步骤S1)。
例如，特征量20作为根据处理结果11～13分别计算的节点特征量的组合而被计算。例如，在作为图像而获得处理结果11～13的情况下，将各个图像中的亮度的平均值分别作为节点特征量而计算。并且，例如，也可以通过按照并入各个中间节点的部分程序的每个种类而不同的计算方法来计算节点特征量。
运算部1b根据所计算的特征量20的伴随时间经过的变动量来计算图像处理程序2的性能评价值(步骤S2)。变动量例如作为在图像处理程序2的生成时间点计算的初始特征量与现在的特征量20之间的距离而计算。或者，将执行最近的规定次数的图像处理程序2时分别计算的特征量的变动幅度作为变动量而计算。
在此，在生成图像处理程序2时，利用与摄像环境的变化、摄像对象物的规格的变化的预测对应的学习数据而进行学习，从而生成鲁棒性高的图像处理程序2。但是，当开始进行利用图像处理程序2的运用起经过时间时，有时会发生在其生成时未能预测到的摄像环境的变化、摄像对象物的规格的变化。在该情况下，由图像处理程序2进行的图像处理精度下降。在此所谓的图像处理精度表示，对摄像图像的处理结果以何种程度接近图像处理程序2的用户所期望的结果。
作为图像处理精度的判断方法，具有由利用了对摄像图像的图像处理程序2的最终处理结果来进行判断的方法。但是，由于在由最终处理结果判断为图像处理精度低的时间点需要进行图像处理程序2的重新生成，因此需要暂时停止利用图像处理程序2的运用。
对此，与终端节点处的最终处理结果相比，在图像处理程序2的中间节点处的处理结果中，摄像环境的变化、摄像对象物的状态变化产生较大的影响。这是因为，在并入中间节点的部分程序中包括为了获得图像处理的最终结果而用于从图像提取特征的部分程序，所提取的特征有可能根据摄像环境的变化、摄像对象物的状态变化而发生较大变动。因此，通过使用基于中间节点处的处理结果的特征量的变动量，敏感地捕捉摄像环境的变化、摄像对象物的状态变化。
即，通过利用根据上述特征量的变动量而计算的性能评价值，从而能够在由图像处理程序2进行的图像处理精度大幅下降之前检测其精度下降的征兆，由此判断是否应重新生成图像处理程序2。因此，在维持某种程度的图像处理精度的状态下继续进行利用图像处理程序2的运用，并追加与摄像环境的变化、摄像对象物的状态变化对应的新的学习数据来重新生成图像处理程序2。
[第2实施方式]
接下来，作为第2实施方式，对在图1所示的图像处理装置1所具备的判断功能的基础上，还具备利用了遗传编程的图像处理程序的生成功能的图像处理装置进行说明。
图2是表示第2实施方式的图像处理装置的硬件结构例的图。第2实施方式的图像处理装置100例如作为图2所示的计算机而实现。
在图像处理装置100中，由处理器101对整个装置进行控制。处理器101可以是多处理器。处理器101例如为CPU(Central Processing Unit：中央处理器)、MPU(MicroProcessing Unit：微处理单元)、DSP(Digital Signal Processor：数字信号处理器)、ASIC(Application Specific Integrated Circuit：专用集成电路)或PLD(ProgrammableLogic Device：可编程逻辑器件)。并且，处理器101可以是CPU、MPU、DSP、ASIC、PLD中的2个以上的要件的组合。
处理器101上介由总线109连接有RAM102和多个周边设备。
RAM102作为图像处理装置100的主存储装置而使用。在RAM102中暂时存储有使处理器101执行的OS(Operating System：操作系统)程序、应用程序的至少一部分。并且，RAM102中存储有由处理器101进行的处理中所需的各种数据。
作为连接在总线109上的周边设备，具有HDD103、图形处理装置104、输入接口105、读取装置106、通信接口107及网络接口108。
HDD103作为图像处理装置100的辅助存储装置而使用。在HDD103中存储有OS程序、应用程序及各种数据。另外，作为辅助存储装置，可使用SSD(Solid State Drive：固态硬盘)等其他种类的非易失性存储装置。
在图形处理装置104上连接有显示装置104a。图形处理装置104按照来自处理器101的命令，将图像显示到显示装置104a的画面。作为显示装置，具有液晶显示器、有机EL(ElectroLuminescence：电致发光)显示器等。
在输入接口105上连接有输入装置105a。输入接口105将从输入装置105a输出的信号发送到处理器101。作为输入装置105a，具有键盘、指示设备等。作为指示设备，具有鼠标、触摸面板、平板、触摸板、跟踪球等。
便携式记录介质106a可拆装到读取装置106。读取装置106读取记录到便携式记录介质106a的数据而发送到处理器101。作为便携式记录介质106a，具有光盘、磁光盘、半导体存储器等。
通信接口107在与所连接的外部设备之间进行数据的收发。在本实施方式中，在通信接口107上作为外部设备而连接有照相机107a，通信接口107将从照相机107a发送的图像数据发送到处理器101。
网络接口108介由网络108a而与其他的装置之间进行数据的收发。
通过如上述的硬件结构，能够实现图像处理装置100的处理功能。
但是，如上述，图像处理装置100具备通过遗传编程而生成图像处理程序的功能。在该生成处理中，通过树结构来定义图像处理程序，将部分程序并入各个节点。并且，通过利用了包括输入图像和成为目标的处理结果(例如，目标图像)的学习数据的学习，优化树结构中的节点的结构、并入各个节点的部分程序。
并且，作为通过图像处理程序而实现的图像处理，例如有边缘检测、区域检测、模板匹配。在这些图像处理中，例如，在输入图像中的特定的边缘、特定的区域、模板图像的区域输出由特定的像素值表示的图像。在该情况下，这样的输出图像成为包括在学习数据中的目标图像。并且，在上述的图像处理中，例如可输出输入图像中的特定的边缘、特定的区域、模板图像的区域的位置信息。在该情况下，位置信息成为包括在学习数据中的目标数据。
作为这样的图像处理程序的用途的例子，可以是如下的用途：在FA(FactoryAutomation：工厂自动化)领域中，对拍摄了产品的图像实施图像处理而获得期望的效果。例如可以是如下的用途：对拍摄了产品的外观的图像实施图像处理，从而提取发生缺陷的部位、提取进行对位的部位、判断是否搭载有特定的部件。
在这样的用途中，根据成为被摄体的产品的变更、改善、随之产生的摄像环境的变化等，有时需要进行图像处理算法的再构建。因此，要求图像处理算法的构建的容易性。并且，要求构建对照明条件的变化、被摄体的形状变化，位置姿势的偏差等的状态变化的鲁棒性高的图像处理算法。
通过利用遗传编程，仅预先准备输入图像和与此对应的目标数据，就能够容易地生成可用作这样的用途的图像处理程序。并且，通过准备多个摄像环境、摄像对象物的状态分别不同的输入图像和目标数据的对(学习数据)，从而能够自动生成对摄像环境的变化、摄像对象物的状态变化的鲁棒性高的图像处理算法。
在此，图3是表示图像处理程序的重新生成时机的例子的图。作为判断需要图像处理程序的重新生成的时机的方法，可以是利用基于图像处理的最终处理结果的图像处理精度的方法。在图3中，作为图像处理的例子而假设检测摄像对象物上的特定部分的位置的处理，并作为表示图像处理精度的指标的例子，示出表示能够正确地检测出特定部分的位置的比例的识别率。
例如，假设进行用于制造某产品的制造装置的研发。在该情况下，在制造装置中使用的图像处理程序也在制造装置的研发期间(期间P1)中生成。在图像处理程序的生成中，例如，由搭载于产品的部件51、52所拍下的摄像图像50a作为学习数据的一个输入图像而使用。并且，将摄像图像50a中的部件51的边缘51a及部件52的边缘52a的各个位置作为对应的目标数据而使用。
在这样生成图像处理程序，并研发出制造装置之后，开始进行利用制造装置及图像处理程序的产品的制造(期间P2)。在该期间P2内，例如假设照明的变化等装置的周围环境慢慢发生变化，并随着其变化，边缘51a、52a的识别率慢慢下降。并且，假设时机T1中识别率下降到不能允许的程度。例如，假设在时机T1，因照明的光量下降而拍摄了部件51、52的亮度下降的摄像图像50b，并由该摄像图像50b未能正确地检测出边缘51a、52a的位置。
在该情况下，通过追加了学习数据的学习而重新生成图像处理程序(期间P3)，该学习数据作为输入图像而包括由部件51、52拍摄成较暗的摄像图像(例如，摄像图像50b)，并作为目标数据而包括该摄像图像中的边缘51a、52a的位置。并且，再开始进行利用重新生成的图像处理程序的产品的制造(期间P4)。
之后，例如，假设在时机T2中产品的规格发生变更，并且部件51、52的安装角度发生。并且，假设通过该变更，识别率下降到不能允许的程度。例如，假设从变更该规格之后拍摄的摄像图像50c未能正确地检测出边缘51a、52a的位置。
在该情况下，通过追加了学习数据的学习，从而重新生成图像处理程序(期间P5)，该学习数据作为输入图像而包括拍摄部件51、52的安装位置发生变更的产品的摄像图像(例如，摄像图像50c)，作为目标数据而包括该摄像图像中的边缘51a、52a的位置。并且，再开始进行利用了重新生成的图像处理程序的产品的制造(期间P6)。
如以上的图3的例子所示，由利用了图像处理程序的图像处理的最终结果判断图像处理精度，并判断是否需要进行图像处理程序的重新生成。但是，在该方法中，实际在图像处理的输出中出现问题的时间点进行图像处理程序的重新生成，因此直到生成新的图像处理程序为止需要停止图像处理程序的利用。
图4是表示识别率的迁移的曲线图。图4的曲线图61表示如图3中所说明，由基于图像处理的最终结果的指标即识别率判断图像处理精度的下降并进行图像处理程序的重新生成的情况下的识别率的迁移的例子。另外，在时间轴方向上不包括图像程序的重新生成的期间。根据曲线图61，在识别率下降到规定的阈值为止的情况下，重新生成图像处理程序，识别率得到恢复。
对此，如曲线图62所示，在发生摄像环境的变化、摄像对象物的状态变化时，第2实施方式的图像处理装置100根据从基于图像处理的最终结果的指标发生较大的变化的新的指标而判断需要进行图像处理程序的重新生成的时机。在这样的新的指标发生较大变动的情况下判断为需要进行图像处理程序的重新生成，从而能够在图像处理程序的精度大幅下降之前开始进行图像处理程序的重新生成。其结果，在无需利用图像处理程序而使产品的制造工程停止的情况下，能够更新图像处理程序。
图5是对用于评价程序重新生成的必要性的指标的计算进行说明的图。第2实施方式的图像处理装置100根据图像处理程序的各个中间节点处的处理结果而计算用于评价图像处理程序的重新生成的必要性的指标。在图像处理程序的中间节点初，包括多个为了得到图像处理的最终结果而检测输入图像内的特征的图像滤波器。这些图像滤波器的处理结果根据摄像环境的变化、摄像对象物的状态变化而敏感地变化。因此，通过利用基于中间节点处的处理结果的指标，从而能够早期探测图像处理精度劣化的征兆，并开始进行图像处理程序的重新生成。
在图5中，作为例子，表示具备节点N11～N31的图像处理程序。在利用了该图像处理程序的图像处理中，例如当输入了由部件62、63拍下的摄像图像61a时，检测出部件62的边缘62a和部件63的边缘63a的各个位置。例如，在输入了摄像图像61a时的输出图像61b中，以特定的亮度来表示与边缘62a对应的直线62b和与边缘63a对应的直线63b。
图像处理装置100在每次执行图5所示的图像处理程序时，根据除终端节点(节点N31)以外的中间节点(节点N11～N30)的各个节点处的处理结果而计算上述的指标。在图5的例子中，将作为中间节点的节点N11～N30的各个节点处的处理结果作为图像而输出。下面，将中间节点处的处理结果记载为“中间处理结果”，在作为中间处理结果而输出图像的情况下，将其图像记载为“中间图像”。例如，作为节点N15中的中间处理结果而输出中间图像64，作为节点N26中的中间处理结果而输出中间图像65，并作为节点N29中的中间处理结果而输出中间图像66。
图像处理装置100根据各个中间节点处的中间处理结果而计算用于评价图像处理程序的重新生成的必要性的指标。下面，将该指标记载为“特征量”。具体地，图像处理装置100根据各个中间处理结果而针对每个中间处理结果而计算“节点特征量”。并且，特征量作为节点特征量的集合而表示。当假设图像处理程序的中间节点数为m个时，可将特征量F表示为(MF1，MF2，…，MFm)。
在各个中间节点处输出中间图像的情况下，节点特征量例如作为中间图像中的平均亮度而计算。并且，按照并入中间节点的部分程序的每个种类，基于中间处理结果而利用不同的方法来计算节点特征量。例如，利用下面的图6所示的计算方法，由中间图像计算节点特征量。
图6是表示与部分程序的种类对应的节点特征量的计算方法的例子的图。
在部分程序为Smooth(平滑化)滤波器或Inverse(灰度反转)滤波器的情况下，节点特征量作为中间图像中的平均亮度而计算。
在部分程序为Sobel(1次微分)滤波器或Laplace(2次微分)滤波器的情况下，节点特征量作为中间图像中的亮度的最大值或最小值或该两者而计算。
在部分程序为Sub(差分)滤波器的情况下，节点特征量作为中间图像的像素中，像素值成为正的像素的数或比例或差分值成为负的像素的数或比例或该两者而计算。
在部分程序为Add(相加)滤波器的情况下，节点特征量作为中间图像的像素中，像素值成为大于0的规定值(例如，255)以上的像素的数或比例而计算。
在部分程序为Diff(差分的绝对值)滤波器的情况下，节点特征量作为中间图像的像素中，像素值为0的像素的数或比例而计算。
在部分程序为Threshold(阈值处理)滤波器、And(逻辑积)滤波器、Or(逻辑和)滤波器的任一个的情况下，节点特征量作为2值图像即中间图像的像素中，具备一个像素值的像素(例如，白像素)的数或比例而计算。
在部分程序为Erode(收缩)滤波器的情况下，节点特征量作为2值图像即中间图像的像素中，具备一个像素值的像素(例如，白像素)的减少量而计算。
在部分程序为Dilate(膨胀)滤波器的情况下，节点特征量作为2值图像即中间图像的像素中，具备一个像素值的像素(例如，白像素)的增加量而计算。
如这些例子所示，利用按照并入中间节点的每个部分程序而不同的方法来计算节点特征量，从而能够更准确地捕捉摄像环境的变化、摄像对象物的状态变化。其结果，能够提高图像处理程序的重新生成时机的判断精度。
图7是用于对在中间图像设定分割区域的情况下的处理进行说明的图。如图7所示，将中间图像分割成多个分割区域，针对每个分割区域计算节点特征量。在图7的例子中，中间图像在横向上等分为3个。并且，对中间图像64中的分割区域64a、64b、64c及中间图像66中的分割区域66a、66b、66c的各个区域计算节点特征量。并且，由中间图像中的任一个分割区域计算节点特征量。
图8是表示伴随时间经过的节点特征量的变化的第1例的图。并且，图9是表示伴随时间经过的节点特征量的变化的第2例的图。
在图8中表示基于由图7所示的节点N15输出的中间图像而计算的节点特征量的变化。在此，针对将中间图像在横向上等分为3个而获得的每个分割区域计算节点特征量。曲线图71a表示基于中间图像中的左侧的分割区域(第1区域)的节点特征量的变化。曲线图71b表示基于中间图像中的中间的分割区域(第2区域)的节点特征量的变化。曲线图71c表示基于中间图像中的右侧的分割区域(第3区域)的节点特征量的变化。
并且，图9表示基于由图7所示的节点N29输出的中间图像而计算的节点特征量的变化。曲线图72a表示基于中间图像中的左侧的分割区域(第1区域)的节点特征量的变化。曲线图72b表示基于中间图像中的中间的分割区域(第2区域)的节点特征量的变化。曲线图72c表示基于中间图像中的右侧的分割区域(第3区域)的节点特征量的变化。
另外，在图8、图9中，节点特征量均作为平均亮度而计算。
并且，图8、图9所示的曲线图70示出表示由通过执行图像处理程序而输入的摄像图像是否正确地识别特定的区域的识别结果的迁移。识别结果“1”表示正确地识别，识别结果“0”表示未能正确地识别。根据曲线图70，到时机T11为止，正确地识别出特定的区域，但从时机T11起不能正确地识别特定的区域。
对曲线图71a～71c和曲线图70比较可知，特别是，在曲线图71b中，从比时机T11早的阶段起开始发生节点特征量的下降。并且，对曲线图72a～72c和曲线图70比较可知，特别是，在曲线图72b中，从比时机T11早的阶段起开始发生节点特征量的下降。因此，通过将伴随时间经过的节点特征量的下降量作为指标而利用，从而能够在实际图像处理精度大幅下降之前的时机判断需要图像处理程序的重新生成。
并且，根据图8、图9可知，与利用基于第1区域、第3区域的节点特征量的情况相比，在利用基于第2区域的节点特征量的情况下，更能准确地探测需要进行图像处理程序的重新生成的时机。其原因在于，作为识别的对象的特定的区域拍摄到第2区域。因此，图像处理装置100可仅由中间图像的第2区域的信息来计算与各个中间节点对应的节点特征量。由此，不会导致重新生成的必要性的判断精度下降，能够缩短节点特征量的计算处理时间，其结果，能够缩短判断出是否需要图像处理程序的重新生成为止的时间。
关于利用在中间图像中设定的分割区域中的哪个分割区域来计算节点特征量，可根据作为识别的对象的特定的区域所拍摄的可能性的高低来指定。该指定例如通过管理产品的制造装置的管理者的操作来进行。
接下来，对图像处理装置100的具体情况进行说明。
图10是表示图像处理装置所具备的处理功能的结构例的框图。图像处理装置100具备：学习数据存储部111、部分程序存储部112、程序存储部113、基准信息存储部114、中间处理结果存储部115、摄像图像取得部121、程序生成部122、基准信息计算部123、程序执行部124及判断处理部125。
学习数据存储部111、部分程序存储部112、程序存储部113、基准信息存储部114及中间处理结果存储部115例如作为RAM102或HDD103等的图像处理装置100所具备的存储装置的存储区域而实现。摄像图像取得部121、程序生成部122、基准信息计算部123、程序执行部S124及判断处理部125的各个处理例如通过由图像处理装置100所具备的处理器101执行规定的程序来实现。
在学习数据存储部111中存储有生成图像程序时所利用的学习数据。在各个学习数据中包括输入图像和对输入图像实施图像处理的情况下成为目标的目标数据或目标图像。
在部分程序存储部112中存储有可并入到构成树结构的图像处理程序的各个节点的多个种类的部分程序。
在程序存储部113中存储有通过遗传编程生成的图像处理程序。实际上，程序存储部113中只要存储所生成的图像处理程序的节点的连接结构和并入各个节点的部分程序的识别信息即可。
在基准信息存储部114中存储有各种基准信息，该基准信息在执行了所生成的图像处理程序时，利用于判断是否需要进行图像处理程序的重新生成。
在中间处理结果存储部115中存储有中间处理结果，该中间处理结果在执行了所生成的图像处理程序时，通过各个中间节点处的处理而输出。
摄像图像取得部121取得通过照相机107a拍摄到的摄像图像。所取得的摄像图像例如作为包括在学习数据中的输入图像而利用。并且，在由程序执行部124执行了所生成的图像处理程序时，摄像图像取得部121从照相机107a取得摄像图像而输出到程序执行部124。
程序生成部122利用存储在学习数据存储部111中的学习数据而通过遗传编程来生成图像处理程序。在进行该生成时，程序生成部122从部分程序存储部112取得并入各个节点的部分程序。程序生成部122将关于所生成的图像处理程序的信息存储到程序存储部113。
基准信息计算部123利用在生成图像处理程序时所利用的各个学习数据来执行所生成的图像处理程序，并基于各个中间节点处的中间处理结果而计算基准信息并存储到基准信息存储部114中。在由程序执行部124执行了所生成的图像处理程序时，基准信息被用来判断是否需要图像处理程序的重新生成。基准信息中具有初始特征量和阈值。
程序执行部124根据程序存储部113的信息而构建所生成的图像处理程序，并将通过摄像图像取得部121取得的摄像图像作为输入来执行所构建的图像处理程序。并且，程序执行部124具有中间处理结果输出部126。中间处理结果输出部126将执行图像处理程序时从各个中间节点输出的中间处理结果存储到中间处理结果存储部115中。
判断处理部125根据存储于中间处理结果存储部115的中间处理结果而计算特征量。判断处理部125根据所计算的特征量和存储于基准信息存储部114的基准信息而判断是否需要图像处理程序的重新生成。
接下来，利用流程图而对图像处理装置100的处理进行说明。
首先，图11是表示图像处理程序及基准信息的生成处理过程的例子的流程图。
[步骤S11]程序生成部122设定生成图像处理程序时所使用的学习数据。例如，在初次生成图像处理程序时，程序生成部122根据用户的操作，将通过摄像图像取得部121取得的摄像图像作为学习数据的输入图像而存储到学习数据存储部111中。并且，程序生成部122根据用户的操作而生成与输入图像对应的目标图像或目标数据，并与输入图像对应地存储到学习数据存储部111。由此，学习数据存储部111中存储1组以上的学习数据。
并且，在重新生成图像处理程序时，程序生成部122将在从上次重新生成到现在为止由程序执行部124来执行程序时作为输入图像进行利用的摄像图像的至少一部分作为学习数据的输入图像而存储到学习数据存储部111中。并且，程序生成部122根据用户的操作而生成与这些输入图像对应的目标图像或目标数据，与输入图像对应地存储到学习数据存储部111中。由此，在学习数据存储部111中追加新的学习数据。
[步骤S12]程序生成部122利用存储于学习数据存储部111的学习数据，通过遗传编程而生成图像处理程序。程序生成部122将关于所生成的图像处理程序的信息存储到程序存储部113中。
[步骤S13]基准信息计算部123从在步骤S12的程序生成处理中利用的学习数据中选择一个。
[步骤S14]基准信息计算部123将所选择的学习数据的输入图像作为输入而执行所生成的图像处理程序，由此计算图像处理程序的各个中间节点处的中间处理结果。基准信息计算部123根据所计算的各个中间处理结果而计算特征量。如上述，特征量表示根据各个中间节点处的中间处理结果而计算的节点特征量的集合。
[步骤S15]基准信息计算部123判断是否将程序生成处理中利用的所有的学习数据已处理完。在存在未处理的学习数据的情况下，返回到步骤S13，并选择一个未处理的学习数据。另一方面，在将所有的学习数据已处理完的情况下，执行步骤S16的处理。
[步骤S16]基准信息计算部123利用根据各个学习数据而计算的特征量，作为基准信息而计算初始特征量F0和阈值TH，并存储到基准信息存储部114中。
假设在步骤S12的程序生成处理中利用了n组的学习数据时，在执行步骤S16的时间点计算n组的特征量。基准信息计算部123将这些n组的特征量的平均作为初始特征量F0而计算。具体地，基准信息计算部123计算包括在n组的特征量中的每个中间节点的节点特征量的平均值。设图像处理程序的节点数为m时，通过该运算，计算包括m个节点特征量的平均值的初始特征量F0。另外，如图6所示，在通过按照并入中间节点的部分程序的每个种类而不同的方法来计算节点特征量的情况下，在将各个节点特征量标准化的基础上计算平均值。
并且，基准信息计算部123将表示n组的特征量的偏差程度的数值作为阈值TH而计算。例如，基准信息计算部123计算n组的特征量的各个特征量与初始特征量F0之间的距离。作为距离，例如计算欧几里得距离或马氏距离。基准信息计算部123计算所计算的n个距离的平均值AVE和标准偏差σ。基准信息计算部123将平均值AVE与标准偏差σ的相加值作为阈值TH而计算。
图12是表示图像处理程序的生成处理过程的例子的流程图。该图12的处理与图11的步骤S12的处理对应。
[步骤S121]程序生成部122生成包括在母集群中的多个初始个体。从存储于部分程序存储部112的多个种类的部分程序中随机选择部分程序而并入到各初始个体的节点中。
[步骤S122]程序生成部122从母集群中随机地选择一定数量的父个体。下面，作为例子假设选择两个父个体。
[步骤S123]程序生成部122通过对所选择的两个父个体实施进化过程的处理，从而生成2个以上的一定数量的子个体。在进化过程中，对两个父个体进行交叉处理及突然变异处理。通过对两个父个体进行分别不同的交叉处理、突然变异处理，从而生成3个以上的子个体。
[步骤S124]程序生成部122对在步骤S122中选择的父个体及步骤S123中生成的子个体的各个个体而计算适应度。在该处理中，对包括在各个学习数据中的各个输入图像执行利用了对象的各个个体的图像处理，通过对执行后的图像和对应的目标图像或目标数据进行比较，从而计算适应度。在存在多组学习数据的情况下，对各个个体，计算分别利用多组的学习数据而得到的适应度的平均值。
另外，可以在步骤S121中生成母集群的时间点计算包括在母集群中的初始个体的适应度。在该情况下，在步骤S124中，仅计算所生成的子个体的适应度。
[步骤S125]程序生成部122判断所生成的子个体及原父个体中的任一个个体的适应度是否大于规定的阈值。在所有的适应度为阈值以下的情况下，执行步骤S126的处理。在1个以上的适应度大于阈值的情况下，执行步骤S127的处理。
[步骤S126]程序生成部122从在步骤S122中选择的父个体及步骤S123中生成的子个体中进行生存选择。例如，将所计算的适应度最大的个体作为第1生存个体而选择，进而从剩余的个体中，以与适应度对应的概率来选择第2生存个体。程序生成部122在包括在母集群的个体中，将在步骤S122中作为父个体而选择的两个个体替换为第1生存个体及第2生存个体。由此，更新母集群的代。
[步骤S127]程序生成部122在步骤S122中选择的父个体及步骤S123中生成的子个体中，将适应度最大的个体作为最佳个体而选择。所选择的最佳个体成为优化的图像处理程序。程序生成部122将表示所选择的最佳个体的信息保存到程序存储部113中。
图13是表示执行所生成的图像处理程序时的处理过程的例子的流程图。
[步骤S21]摄像图像取得部121使照相机107a拍摄图像，并从照相机107a取得摄像图像。
[步骤S22]程序执行部124根据程序存储部113的信息而构建所生成的图像处理程序。程序执行部124将通过摄像图像取得部121取得的摄像图像作为输入而执行所构建的图像处理程序，并输出最终处理结果。并且，中间处理结果输出部126将执行图像处理程序时从各个中间节点输出的中间处理结果存储到中间处理结果存储部115中。
[步骤S23]判断处理部125根据存储于中间处理结果存储部115的每个中间节点的中间处理结果而计算特征量F。在进行该计算时，判断处理部125针对每个中间节点，根据中间处理结果而计算节点特征量。在节点数为m个的情况下，特征量F中包括m个节点特征量。
[步骤S24]判断处理部125计算所计算的特征量F与存储于基准信息存储部114的初始特征量F0之间的距离D1。通过与图11的步骤S16相同的方法来计算距离D1。该距离D1表示图像处理程序的性能评价值。
[步骤S25]判断处理部125对所计算的距离D1和存储于基准信息存储部114的阈值TH进行比较。在距离D1大于阈值TH的情况下，判断处理部125判断为需要图像处理程序的重新生成，并执行步骤S26的处理。另一方面，在距离D1为阈值TH以下的情况下，判断处理部125判断为不需要图像处理程序的重新生成而结束处理。
[步骤S26]判断处理部125例如将表示需要图像处理程序的重新生成的主旨的信息显示到显示装置104a。并且，通过遗传编程而重新生成图像处理程序。此时，判断处理部125例如将由程序执行部124执行最近的多次图像处理程序时输入的摄像图像作为新的学习数据的输入图像而存储到学习数据存储部111中。并且，通过与用户的操作对应的处理而生成与新的输入图像对应的目标图像或目标数据，并与输入图像对应地存储到学习数据存储部111中。由此，向学习数据存储部111追加新的学习数据。并且，执行图11所示的处理。在图11的步骤S11中，程序生成部122将现有的学习数据和追加的学习数据设定为通过程序生成而利用的学习数据。
图14是表示特征量的计算例的图。在该图14中，为了简化说明，假设在图像处理程序中仅包括第1节点及第2节点这两个中间节点。
图14的曲线图81表示通过程序生成部122而生成图像处理程序时的特征量的分布。曲线图81中的圆圈表示关于分别将个别的输入图像作为输入而执行图像处理程序时计算的特征量的第1节点的节点特征量和第2节点的节点特征量的坐标空间中的位置。在图11的步骤S16中，根据这些特征量而计算初始特征量F0和阈值TH。如曲线图81所示，以如下方式计算初始特征量F0和阈值TH：以初始特征量F0为中心，以阈值TH为半径的圆83中包括上述各个特征量。
另一方面，图14的曲线图82表示通过程序执行部124执行所生成的图像处理程序时的特征量的分布。曲线图82中的圆圈表示关于分别将个别的摄像图像作为输入而执行图像处理程序时计算的特征量的第1节点的节点特征量和第2节点的节点特征量的坐标空间中的位置。图13的步骤S25的判断处理与判断所计算的特征量的坐标空间上的位置是否包括在圆83中的处理相同。
在特征量的位置包括在圆83中的情况下，自生成程序时起的特征量的变动量收敛在一定的范围内，由此判断为摄像环境的变化、摄像对象物的状态变化不大。在该情况下，判断为不需要图像处理程序的重新生成。另一方面，在特征量的位置在圆83的范围外的情况下，自生成程序时起的特征量的变动量脱离出一定的范围，由此判断为摄像环境的变化或摄像对象物的状态变化大到不能允许的程度。在该情况下，判断为需要图像处理程序的重新生成。
这样，根据第2实施方式的图像处理装置100，在每次执行所生成的图像处理程序时，准确地捕捉图像处理程序的性能下降的征兆，在图像处理精度大幅下降之前能够判断为需要图像处理程序的重新生成。其结果，在无需停止利用图像处理程序的运用的情况下，通过再学习而能够重新生成图像处理程序。
[第3实施方式]
接下来，对第3实施方式的图像处理装置进行说明。第3实施方式的图像处理装置将第2实施方式的图像处理装置100的处理的一部分变形而成。
图15是表示第3实施方式的图像处理装置所具备的处理功能的结构例的框图。在图15中，对与图10共有的构成要件赋予相同的符号而表示。第3实施方式的图像处理装置100a代替图10的基准信息存储部114、中间处理结果存储部115、基准信息计算部123、判断处理部125而具备基准信息存储部114a、中间处理结果存储部115a、基准信息计算部123a、判断处理部125a。
基准信息计算部123a在作为基准信息而仅计算阈值TH的点上与图10的基准信息计算部123不同，基准信息存储部114a在作为基准信息而仅存储阈值TH的点上与图10的基准信息存储部114不同。判断处理部125a在将通过程序执行部124执行图像处理程序时所计算的特征量存储到中间处理结果存储部115a的点和代替距离D1而计算指标D2的点上，与图10的判断处理部125不同。中间处理结果存储部115a在进一步保持通过程序执行部124而执行最近的p次的图像处理程序时通过判断处理部125a而计算的特征量的点上，与图10的中间处理结果存储部115不同(另外，p为2以上的整数)。即，中间处理结果存储部115a除了保持中间处理结果之外，还保持p组的特征量。
图16是表示第3实施方式中的图像处理程序及基准信息的生成处理过程的例子的流程图。在该图16的处理中，图11的处理中的步骤S16被替换成步骤S16a。另外，代替基准信息计算部123而通过基准信息计算部123a来执行步骤S13～S15的处理，而其处理内容相同。
[步骤S16a]基准信息计算部123a利用根据各个学习数据而计算的特征量，作为基准信息而计算阈值TH，并存储到基准信息存储部114a中。阈值TH的计算方法与图11的步骤S16相同。
图17是表示执行第3实施方式中的图像处理程序时的处理过程的例子的流程图。在该图17的处理中，图13的处理中的步骤S23～S25被替换成步骤S23a～S25a。另外，在步骤S22中，中间处理结果存储到中间处理结果存储部115a中。
[步骤S23a]判断处理部125a通过与图13的步骤S23相同的过程，根据存储于中间处理结果存储部115a的每个中间节点的中间处理结果而计算特征量F。在中间节点的数量为m的情况下，特征量F中包括m个节点特征量。判断处理部125a将所计算的特征量F保存到中间处理结果存储部115a。此时，判断处理部125a控制为仅将最近计算的p组的特征量F保持在中间处理结果存储部115a。
[步骤S24a]判断处理部125a从中间处理结果存储部115a读入p组的特征量F。判断处理部125a计算表示p组的特征量F的偏差程度的指标D2。该指标D2表示图像处理程序的性能评价值。
指标D2例如通过与阈值TH相同的计算方法来计算。即，判断处理部125a首先计算p组的特征量F的平均即平均特征量。具体地，判断处理部125a计算p组的特征量中所包含的每个中间节点的节点特征量的平均值。设图像处理程序的节点数为m时，通过该运算，计算包括m个节点特征量的平均值的平均特征量。另外，如图6所示，在通过按照并入中间节点的部分程序的每个种类而不同的方法来计算节点特征量的情况下，在将各个节点特征量标准化的基础上计算平均值。接下来，基准信息计算部123a计算p组的特征量的各个特征量与平均特征量之间的距离。基准信息计算部123a计算所计算的n个距离的平均值和标准偏差。基准信息计算部123a将平均值和标准偏差的相加值作为指标D2而计算。
[步骤S25a]判断处理部125a对所计算的指标D2和存储于基准信息存储部114的阈值TH进行比较。在指标D2大于阈值TH的情况下，判断处理部125a判断为需要图像处理程序的重新生成，并执行步骤S26的处理。另一方面，在指标D2为阈值TH以下的情况下，判断处理部125a判断为不需要图像处理程序的重新生成而结束处理。
根据以上的图像处理装置100a，根据执行最近的规定次数的图像处理程序时分别计算的特征量F的变动量而检测出摄像环境的变化、摄像对象物的状态变化的大小。由此，准确地捕捉图像处理程序的性能下降的征兆，在图像处理精度大幅下降之前能够判断出需要图像处理程序的重新生成。
另外，上述的图像处理装置100a利用执行最近的规定次数的图像处理程序时分别计算的特征量F而计算了指标D2。但是，作为其他的例子，图像处理装置100a也可利用在最近的一定时间内执行图像处理程序时所分别计算的特征量F来计算指标D2。在该情况下，为计算指标D2而利用的特征量F的数量可变。
[第4实施方式]
可使个别的装置分别具备第2实施方式的图像处理装置100或第3实施方式的图像处理装置100a所具备的程序生成功能和程序执行功能。下面，将这样的系统作为第4实施方式而例示。
图18是表示第4实施方式的程序生成装置及图像处理装置的处理功能的结构例的框图。在该图18中，程序生成装置200、图像处理装置300分别具备第2实施方式的图像处理装置100所具备的程序生成功能和程序执行功能。另外，在图18中，对与图10相同的构成要件赋予相同的符号。并且，程序生成装置200及图像处理装置300例如可作为图2所示的硬件结构的计算机而实现。
程序生成装置200具备学习数据存储部111、部分程序存储部112、程序生成部122及基准信息计算部123。但是，在从照相机取得作为输入图像而登记到学习数据中的摄像图像的情况下，程序生成部122例如介由图像处理装置300的摄像图像取得部121而取得摄像图像。并且，程序生成部122将所生成的图像处理程序发送到图像处理装置300，并存储到图像处理装置300的程序存储部113。并且，基准信息计算部123将所计算的基准信息发送到图像处理装置300，并保存到图像处理装置300的基准信息存储部114。
图像处理装置300具备程序存储部113、基准信息存储部114、中间处理结果存储部115、摄像图像取得部121、程序执行部124及判断处理部125。另外，照相机107a连接到图像处理装置300，摄像图像取得部121从照相机107a取得摄像图像。
通过这样的结构，由程序生成装置200而通过遗传编程来生成图像处理程序并计算基准信息。并且，由图像处理装置300来执行所生成的图像处理程序并判断是否应重新生成图像处理程序。
另外，由程序生成装置200、图像处理装置300分别具备第3实施方式的图像处理装置100a所具备的程序生成功能和程序执行功能的情况下，将图18的结构变形为如下。程序生成装置200代替基准信息计算部123而具备基准信息计算部123a。图像处理装置300代替基准信息存储部114、中间处理结果存储部115、判断处理部125而具备基准信息存储部114a、中间处理结果存储部115a、判断处理部125a。
[第5实施方式]
图19是表示第5实施方式的图像处理系统的结构例的图。第5实施方式的图像处理系统具备多台终端装置410、420、430和服务器装置440。终端装置410、420、430介由网络450与服务器装置440连接。并且，终端装置410、420、430上分别连接有照相机411、421、431。另外，终端装置410、420、430及服务器装置440例如可作为图2所示的硬件结构的计算机而实现。
在图19所示的结构的图像处理系统中，可实现第2实施方式的图像处理装置100或第3实施方式的图像处理装置100a的各个处理功能。例如，由服务器装置440具备图像处理装置100或图像处理装置100a的处理功能。在该情况下，服务器装置440分别介由终端装置410、420、430而取得由照相机411、421、431摄像的摄像图像。并且，服务器装置440按照每个照相机411、421、431个别地执行图像处理装置100或图像处理装置100a的处理。或者，关于图像处理程序及基准信息的生成处理，服务器装置440可以共同地执行。
并且，作为其他的例子，由服务器装置440来实现图18的程序生成装置200的处理功能，并由终端装置410、420、430来实现图像处理装置300的处理功能。在该情况下，例如，既可以对终端装置410、420、430的各个装置个别地实现程序生成装置200的处理功能，也可以共同地实现。在后者的情况下，将在服务器装置440中以共用方式生成的图像处理程序和基准信息配送到终端装置410、420、430。
另外，可通过计算机来实现上述的各个实施方式中所示的装置(图像处理装置1、100、100a、300、程序生成装置200、终端装置410、420、430、服务器装置440)的处理功能。在该情况下，提供记述了各个装置应具备的功能的处理内容的程序，并由计算机来执行其程序，从而在计算机上实现上述处理功能。记述了处理内容的程序可记录到由计算机可读取的记录介质。作为由计算机可读取的记录介质，具有磁存储装置、光盘、磁光记录装置、半导体存储器等。磁存储装置有硬盘装置(HDD)、软盘(FD)、磁带等。光盘有DVD(DigitalVersatile Disc：数字多功能光盘)、DVD-RAM、CD-ROM(Compact Disc-Read Only Memory：光盘只读存储器)、CD-R(Recordable：可记录)/RW(ReWritable：可擦写)等。磁光记录装置有MO(Magneto-Optical disk：磁光盘)等。
在使程序流通的情况下，例如销售记录有其程序的DVD、CD-ROM等便携式记录介质。并且，将程序存储到服务器计算机的存储装置，并介由网络，从服务器计算机向其他的计算机转送其程序。
执行程序的计算机例如将从记录在便携式记录介质的程序或从服务器计算机转送的程序存储到自己的存储装置中。并且，计算机从自己的存储装置读取程序，并按照程序而执行处理。另外，计算机从便携式记录介质直接读取程序，并按照其程序而执行处理。并且，在每次从介由网络而连接的服务器计算机转送到程序时，计算机依次按照所接受到的程序而执行处理。
以上，仅示出本发明的原理。进而，本领域技术人员可进行多种变形、变更，如上所示，本发明不限于所说明的正确的结构及应用例，所对应的所有的变形例及均等物均被视为由所附的权利要求及其均等物确定的本发明的范围。
符号的说明
1图像处理装置
1a存储部
1b运算部
2图像处理程序
3摄像图像
11～13处理结果
20特征量

Claims (8)

1.一种图像处理装置，其具有：
存储部，其存储有图像处理程序，该图像处理程序构成向多个节点分别并入了部分程序的树结构；和
运算部，其在每次按照所述图像处理程序而对摄像装置拍摄到的摄像图像执行图像处理时，根据所述多个节点中除终端节点以外的各个中间节点处的处理结果计算特征量，根据伴随时间经过的所述特征量的变动量来计算所述图像处理程序的性能评价值。
2.根据权利要求1所述的图像处理装置，其中，
所述运算部根据所述性能评价值判断是否要通过遗传编程而重新生成所述图像处理程序。
3.根据权利要求2所述的图像处理装置，其中，
所述运算部对通过遗传编程而生成所述图像处理程序时所利用的输入图像，按照所述图像处理程序而实施初始图像处理，根据所述各个中间节点处的处理结果而针对每个所述中间节点计算节点特征量，根据表示所述节点特征量的偏差程度的指标来计算阈值，
在所述判断中，根据所述性能评价值与所述指标之间的比较来判断是否要重新生成所述图像处理程序。
4.根据权利要求1或2所述的图像处理装置，其中，
所述运算部对通过遗传编程而生成所述图像处理程序时所利用的输入图像，按照所述图像处理程序而实施初始图像处理，根据所述各个中间节点处的处理结果计算初始特征量，
在计算所述评价值时，计算所述特征量与所述初始特征量之间的距离，作为所述性能评价值。
5.根据权利要求1至3中的任意一项所述的图像处理装置，其中，
在计算所述评价值时，计算表示执行最近的多次所述图像处理时分别计算的所述特征量的偏差程度的指标，作为所述性能评价值。
6.根据权利要求1、2、4、5中的任意一项所述的图像处理装置，其中，
在计算所述特征量时，通过按照并入到所述各个中间节点中的所述部分程序的每个种类而不同的计算方法，针对每个所述中间节点计算节点特征量，并根据所述节点特征量而计算所述特征量。
7.一种图像处理方法，使计算机执行如下处理：
在每次按照图像处理程序而对摄像装置拍摄到的摄像图像执行图像处理时，根据多个节点中除终端节点以外的各个中间节点处的处理结果计算特征量，该图像处理程序构成向所述多个节点分别并入了部分程序的树结构，
根据伴随时间经过的所述特征量的变动量计算所述图像处理程序的性能评价值。
8.一种图像处理程序，其使计算机执行如下处理：
在每次按照图像处理程序而对摄像装置拍摄到的摄像图像执行图像处理时，根据所述多个节点中除终端节点以外的各个中间节点处的处理结果计算特征量，该图像处理程序构成向多个节点分别并入了部分程序的树结构，
根据伴随时间经过的所述特征量的变动量计算所述图像处理程序的性能评价值。
CN201680079208.4A 2016-01-20 2016-01-20 图像处理装置、图像处理方法及计算机可读取的记录介质 Active CN108475425B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/051519 WO2017126046A1 (ja) 2016-01-20 2016-01-20 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN108475425A true CN108475425A (zh) 2018-08-31
CN108475425B CN108475425B (zh) 2022-03-08

Family

ID=59362679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079208.4A Active CN108475425B (zh) 2016-01-20 2016-01-20 图像处理装置、图像处理方法及计算机可读取的记录介质

Country Status (4)

Country Link
US (1) US11468261B2 (zh)
JP (1) JP6631641B2 (zh)
CN (1) CN108475425B (zh)
WO (1) WO2017126046A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862741A (zh) * 2019-11-12 2021-05-28 株式会社日立制作所 医用图像处理装置及医用图像处理方法、医用图像处理程序
CN113168368A (zh) * 2018-11-28 2021-07-23 株式会社特拉斯特技术 编程装置及程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238376B2 (ja) * 2018-12-14 2023-03-14 富士通株式会社 情報処理システム及び情報処理システムの制御方法
JP7206892B2 (ja) * 2018-12-20 2023-01-18 富士通株式会社 画像検査装置、画像検査のための学習方法および画像検査プログラム
JP7079745B2 (ja) * 2019-03-08 2022-06-02 日立Astemo株式会社 演算装置
JP7173308B2 (ja) * 2019-05-09 2022-11-16 日本電信電話株式会社 検知装置、検知方法および検知プログラム
CN110428399B (zh) * 2019-07-05 2022-06-14 百度在线网络技术（北京）有限公司 用于检测图像的方法、装置、设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293820A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
CN101149795A (zh) * 2004-05-14 2008-03-26 欧姆龙株式会社 特定被摄体检测装置
CN101848327A (zh) * 2009-03-25 2010-09-29 株式会社尼康 摄像装置及图像处理方法
CN102187656A (zh) * 2008-10-27 2011-09-14 日本电信电话株式会社 像素预测值生成顺序自动生成方法、图像编码方法、图像解码方法、其装置、其程序和记录了这些程序的记录介质
WO2014104151A1 (ja) * 2012-12-28 2014-07-03 富士通株式会社 画像処理装置及び特徴検出方法
JP5541426B1 (ja) * 2012-08-10 2014-07-09 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN104182770A (zh) * 2013-05-24 2014-12-03 塔塔咨询服务有限公司 用于一个或多个图像处理算法的自动选择的方法和系统
JP2015064625A (ja) * 2013-09-24 2015-04-09 株式会社Ｓｃｒｅｅｎホールディングス 画像処理装置、画像処理方法およびプログラム
US20150106310A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network
WO2015189935A1 (ja) * 2014-06-11 2015-12-17 富士通株式会社 プログラム生成装置、プログラム生成方法およびプログラム
WO2015194006A1 (ja) * 2014-06-19 2015-12-23 富士通株式会社 プログラム生成装置、プログラム生成方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51100804A (en) 1975-02-28 1976-09-06 Chubu Rika Kk Insatsuyoheibanno saiseishoriho oyobi saiseihin
JP2001092972A (ja) * 1999-09-24 2001-04-06 Mamoru Minami 画像認識方法
JP4827285B2 (ja) 2000-09-04 2011-11-30 東京エレクトロン株式会社 パターン認識方法、パターン認識装置及び記録媒体
JP2008507372A (ja) 2004-07-26 2008-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動化された疑わしいオブジェクト境界判定のためのシステム及び方法
US20140321756A9 (en) * 2008-05-27 2014-10-30 Samsung Electronics Co., Ltd. System and method for circling detection based on object trajectory
JP5448758B2 (ja) * 2009-11-30 2014-03-19 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、プログラム及びデータ構造
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
GB201215944D0 (en) * 2012-09-06 2012-10-24 Univ Manchester Image processing apparatus and method for fittng a deformable shape model to an image using random forests

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149795A (zh) * 2004-05-14 2008-03-26 欧姆龙株式会社 特定被摄体检测装置
JP2006293820A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
CN102187656A (zh) * 2008-10-27 2011-09-14 日本电信电话株式会社 像素预测值生成顺序自动生成方法、图像编码方法、图像解码方法、其装置、其程序和记录了这些程序的记录介质
CN101848327A (zh) * 2009-03-25 2010-09-29 株式会社尼康 摄像装置及图像处理方法
US20150186422A1 (en) * 2012-08-10 2015-07-02 Konica Minolta, Inc. Image processing apparatus, image processing method, and image processing program
JP5541426B1 (ja) * 2012-08-10 2014-07-09 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2014104151A1 (ja) * 2012-12-28 2014-07-03 富士通株式会社 画像処理装置及び特徴検出方法
US20150287160A1 (en) * 2012-12-28 2015-10-08 Fujitsu Limited Image processing apparatus and feature detection method
CN104182770A (zh) * 2013-05-24 2014-12-03 塔塔咨询服务有限公司 用于一个或多个图像处理算法的自动选择的方法和系统
JP2015064625A (ja) * 2013-09-24 2015-04-09 株式会社Ｓｃｒｅｅｎホールディングス 画像処理装置、画像処理方法およびプログラム
US20150106310A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network
WO2015189935A1 (ja) * 2014-06-11 2015-12-17 富士通株式会社 プログラム生成装置、プログラム生成方法およびプログラム
WO2015194006A1 (ja) * 2014-06-19 2015-12-23 富士通株式会社 プログラム生成装置、プログラム生成方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAIYING BAI ET AL.: ""Efficient Evolutionary Image Processing Using Genetic Programming：Reducing computation time for generating feature images of the Automatically Construction of Tree-Structural Image Transformation (ACTIT)"", 《2010 10TH INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS DESIGN AND APPLICATIONS》 *
TAKANORI OGAWA ET AL.: ""Generating function of color information detection using genetic programming"", 《14TH INTERNATIONAL SYMPOSIUM ON ARTIFICIAL LIFE AND ROBOTICS》 *
丛爽: "《智能控制系统及其应用》", 31 August 2013, 中国科学技术大学出版社 *
吴鹏: ""基于语法引导遗传编程的神经树的研究与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168368A (zh) * 2018-11-28 2021-07-23 株式会社特拉斯特技术 编程装置及程序
CN113168368B (zh) * 2018-11-28 2023-09-29 株式会社特拉斯特技术 编程装置及记录介质
CN112862741A (zh) * 2019-11-12 2021-05-28 株式会社日立制作所 医用图像处理装置及医用图像处理方法、医用图像处理程序

Also Published As

Publication number Publication date
US20180322364A1 (en) 2018-11-08
JPWO2017126046A1 (ja) 2018-09-20
US11468261B2 (en) 2022-10-11
WO2017126046A1 (ja) 2017-07-27
JP6631641B2 (ja) 2020-01-15
CN108475425B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN108475425A (zh) 图像处理装置、图像处理方法及图像处理程序
JP6814981B2 (ja) 学習装置、識別装置、学習識別システム、及び、プログラム
JP6798619B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
JP6511986B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
Alkım et al. A fast and adaptive automated disease diagnosis method with an innovative neural network model
JP2016085704A (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2017182319A (ja) 機械学習装置
CN107636698B (zh) 程序生成装置、程序生成方法以及生成程序
CN111626349A (zh) 一种基于深度学习的目标检测方法和系统
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2013005815A1 (ja) 物体検出装置、物体検出方法及びプログラム
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN106462401A (zh) 程序生成装置、程序生成方法和程序
TW202129535A (zh) 視頻分析方法及其相關的模型訓練方法、電子設備、儲存介質
JP6623851B2 (ja) 学習方法、情報処理装置および学習プログラム
WO2021200392A1 (ja) データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
JP2020004360A (ja) 多変数データシーケンスの画像化
KR102108549B1 (ko) 타일 및 위생 도기의 유통 관리 방법 및 장치
CN111091022A (zh) 机器视觉的效能评估方法与系统
JP7331926B2 (ja) 学習装置、物体検出装置、学習方法、及び、プログラム
JP7429514B2 (ja) 機械学習装置
JP6981554B2 (ja) 識別システム、パラメータ値更新方法およびプログラム
WO2020116129A1 (ja) 前処理装置、前処理方法及び前処理プログラム
JP6798607B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant