CN113168698A - 小批量学习装置及其工作程序和工作方法 - Google Patents

小批量学习装置及其工作程序和工作方法 Download PDF

Info

Publication number
CN113168698A
CN113168698A CN201980081719.3A CN201980081719A CN113168698A CN 113168698 A CN113168698 A CN 113168698A CN 201980081719 A CN201980081719 A CN 201980081719A CN 113168698 A CN113168698 A CN 113168698A
Authority
CN
China
Prior art keywords
class
value
loss value
rare
area ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081719.3A
Other languages
English (en)
Inventor
涌井隆史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113168698A publication Critical patent/CN113168698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种可以抑制用于实施语义分割的机器学习模型的类别的判别精度降低的小批量学习装置及其工作程序和工作方法。若启动工作程序，则小批量学习装置的CPU作为计算部、确定部、评价部发挥作用。计算部计算小批量数据中的多个类别中每个类别的面积比例。确定部将面积比例低于设定值的稀有类别确定为校正对象类别。评价部使用损失函数来评价机器学习模型类别的判别精度。评价部使对稀有类别的损失值的权重大于对除了稀有类别以外的类别的损失值的权重来作为校正处理。

Description

小批量学习装置及其工作程序和工作方法
技术领域
本发明技术涉及一种小批量学习装置及其工作程序和工作方法。
背景技术
已知有以像素单元来判别图像内的多个类别的语义分割。语义分割通过U形卷积神经网络(U-Net；U-Shaped Neural Network)等机器学习模型(以下，简称为模型)来实现。
为了提高模型的判别精度，需要对模型赋予学习数据来进行训练，从而更新模型。学习数据由学习用输入图像和手动指定学习用输入图像内的类别的注释图像构成。在专利文献1中，从多个学习用输入图像中提取了成为注释图像来源的一个学习用输入图像。
以往技术文献
专利文献
专利文献1：日本专利公开2017-107386号公报
发明内容
发明要解决的技术课题
在学习中有称为小批量学习的方法。在小批量学习中，将小批量数据作为学习数据赋予到模型。小批量数据由将学习用输入图像和注释图像进行分割的多个分割图像(例如以原始图像的1/100尺寸的框来分割的1万张分割图像)中的一部分(例如100张)构成。小批量数据生成多组(例如100组)，各组依次被赋予到模型。
在此，考虑在学习用输入图像及注释图像中存在类别偏差的情况。例如，学习用输入图像是显现出细胞培养状态的相差显微镜的图像，并且是类别1分类为分化细胞，类别2分类为未分化细胞，类别3分类为培养基、类别4分类为死细胞的图像。而且，是如下情况：在整个学习用输入图像及注释图像中的各类别的面积比例是分化细胞为38％、未分化细胞为2％、培养基为40％、死细胞为20％，未分化细胞的面积比例相对低。
若如此在学习用输入图像及注释图像中存在类别偏差，则在由学习用输入图像及注释图像构成的小批量数据中产生类别偏差的可能性也变高。在小批量数据中产生了类别偏差的情况下，不考虑面积比例相对低的稀有类别而进行训练。其结果，导致创建稀有类别的判别精度低的模型。
在专利文献1中，如上所述，从多个学习用输入图像中提取了成为注释图像来源的一个学习用输入图像。然而，在该方法中，在多个学习用输入图像的所有图像中存在类别偏差的情况下，最终导致创建稀有类别的判别精度低的模型。从而，在专利文献1中记载的方法中，无法解决导致创建稀有类别的判别精度低的模型的问题。
本发明技术的目的在于提供一种可以抑制用于实施语义分割的机器学习模型的类别的判别精度降低的小批量学习装置及其工作程序和工作方法。
用于解决技术课题的手段
为了实现上述目的，本发明的小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备：计算部，计算小批量数据中的多个类别中每个类别的面积比例；确定部，根据面积比例来确定校正对象类别；及评价部，其通过使用损失函数针对多个类别中每个类别计算损失值来评价机器学习模型的类别的判别精度，所述评价部包括根据校正对象类别的第1损失值及除了校正对象类别以外的类别的第2损失值的比较结果来执行校正第1损失值的校正处理的校正处理部。
优选确定部将面积比例低于预先设定的设定值的稀有类别确定为校正对象类别，校正处理部执行使对第1损失值的权重大于对第2损失值的权重的处理来作为校正处理。
优选确定部将面积比例高于预先设定的设定值的非稀有类别确定为校正对象类别，校正处理部执行使对第1损失值的权重小于对第2损失值的权重的处理来作为校正处理。
优选确定部将面积比例低于设定值的稀有类别确定为校正对象类别，校正处理部执行使计算第1损失值时的正解值及预测值大于计算第2损失值时的正解值及预测值的放大处理来作为校正处理。在该情况下，优选校正处理部将放大处理中的放大率设为小批量数据中的稀有类别的面积比例与为小批量数据来源的学习用输入图像及注释图像中的稀有类别的面积比例成为相同的值。
优选确定部将面积比例高于设定值的非稀有类别确定为校正对象类别，校正处理部执行使计算第1损失值时的正解值及预测值小于计算第2损失值时的正解值及预测值的缩小处理来作为校正处理。在该情况下，优选校正处理部将缩小处理中的缩小率设为小批量数据中的非稀有类别的面积比例与为小批量数据来源的学习用输入图像及注释图像中的非稀有类别的面积比例成为相同的值。
优选具备接收部，所述接收部接收是否使校正处理部执行校正处理的选择指示。
在本发明的小批量学习装置的工作程序中，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，小批量学习装置的工作程序使计算机发挥如下作用：计算部，计算小批量数据中的多个类别中每个类别的面积比例；确定部，根据面积比例来确定校正对象类别；及评价部，其通过使用损失函数针对多个类别的每个类别计算损失值来评价机器学习模型的类别的判别精度，评价部包括根据校正对象类别的第1损失值及除了校正对象类别以外的类别的第2损失值的比较结果来执行校正第1损失值的校正处理的校正处理部。
在本发明的小批量学习装置的工作方法中，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作方法具备：计算步骤，计算小批量数据中的多个类别中每个类别的面积比例；确定步骤，根据面积比例来确定校正对象类别；及评价步骤，其通过使用损失函数针对多个类别的每个类别计算损失值来评价机器学习模型的类别的判别精度，评价步骤包括根据校正对象类别的第1损失值及除了校正对象类别以外的类别的第2损失值的比较结果来执行校正第1损失值的校正处理的校正处理步骤。
发明效果
根据本发明技术，能够提供一种可以抑制用于实施语义分割的机器学习模型的类别的判别精度降低的小批量学习装置及其工作程序和工作方法。
附图说明
图1是表示小批量学习装置及其处理的概要的图。
图2是表示应用装置及其处理的概要的图。
图3是表示图像的图，图3A表示学习用输入图像，图3B表示注释图像。
图4是表示从学习用输入图像生成分割学习用输入图像的状态的图。
图5是表示从注释图像生成分割注释图像的状态的图。
图6是表示由多个分割学习用输入图像的一部分构成分割学习用输入图像组的图。
图7是表示由多个分割注释图像的一部分构成分割注释图像组的图。
图8是表示构成小批量学习装置的计算机的框图。
图9是表示小批量学习装置的CPU的处理部的框图。
图10是表示计算部及确定部的处理的具体例的图。
图11是表示评价部的处理的具体例的图。
图12是表示各类别的损失值和损失函数的计算值的表的图，图12A表示将对各类别的损失值的权重设为相同的情况，图12B表示增大了对稀有类别的损失值的权重的情况。
图13是表示小批量学习装置的处理顺序的流程图。
图14是表示评价部的处理的变形例的图。
图15是表示第2实施方式中的计算部及确定部的处理的具体例的图。
图16是表示第2实施方式中的评价部的处理的具体例的图。
图17是表示第2实施方式中的各类别的损失值和损失函数的计算值的表的图，图17A表示将对各类别的损失值的权重设为相同的情况，图17B表示减小了对非稀有类别的损失值的权重的情况。
图18是表示第3实施方式中的评价部的处理的具体例的图。
图19是概念性地表示第3实施方式中的评价部的处理的图。
图20是概念性地表示第3实施方式中的评价部的处理的图。
图21是表示放大处理的放大率的确定方法的图。
图22是表示第4实施方式中的评价部的处理的具体例的图。
图23是概念性地表示第4实施方式中的评价部的处理的图。
图24是概念性地表示第4实施方式中的评价部的处理的图。
图25是表示缩小处理的缩小率的确定方法的图。
图26是表示询问是否使校正处理部执行校正处理的第5实施方式的图。
具体实施方式
[第1实施方式]
在图1中，小批量学习装置2为了提高用于实施以像素单元来判别输入图像内的多个类别的语义分割的模型10的判别精度，使模型10使用小批量数据11进行小批量学习。小批量学习装置2例如是台式个人电脑。并且，模型10例如是U-Net。
类别也可以说是在输入图像中显现的物体的类型。并且，简而言之，语义分割对在输入图像中显现的物体的类别及其轮廓进行判别，模型10将其判别结果作为输出图像而输出。例如，在输入图像中显现出杯子、书本、移动电话这三个物体的情况下，作为输出图像理想的是，杯子、书本、移动电话被判别为各个类别，并且忠实地追随这些物体轮廓的轮廓线被绘制在各个物体上。
模型10的类别的判别精度通过对模型10赋予学习数据来进行训练并更新模型10而被提高。学习数据由输入于模型10的学习用输入图像与手动指定学习用输入图像内的类别的注释图像的组构成。注释图像是用于与根据学习用输入图像从模型10输出的学习用输出图像进行所谓的核对答案的图像，与学习用输出图像进行比较。模型10的类别的判别精度越高，注释图像与学习用输出图像之间的差异越小。
在小批量学习装置2中，如上所述，将小批量数据11用作学习数据。小批量数据11由分割学习用输入图像组12和分割注释图像组13构成。
在小批量学习中，分割学习用输入图像组12被赋予到模型10。由此，从模型10针对分割学习用输入图像组12的每个分割学习用输入图像20S(参考图4)输出学习用输出图像。如此从模型10输出的学习用输出图像的集合即学习用输出图像组14与分割注释图像组13被进行比较，并且评价模型10的类别的判别精度。然后，根据该类别的判别精度的评价结果来更新模型10。小批量学习装置2在替换小批量数据11的同时，进行将这些分割学习用输入图像组12输入到模型10和从模型10输出学习用输出图像组14，模型10的类别的判别精度的评价、以及模型10的更新，并且重复至模型10的类别的判别精度成为所期望的级别。
如图2所示，如上所述将类别的判别精度提高至所期望的级别的模型10作为已进行训练的机器学习模型(以下，已进行训练的模型)10T并入到应用装置15中。还未判别所显现的物体的类别及其轮廓的输入图像16被赋予到已进行训练的模型10T。已进行训练的模型10T判别在输入图像16中显现的物体的类别及其轮廓，并输出输出图像17来作为其判别结果。与小批量学习装置2同样，应用装置15例如是台式个人电脑，将输入图像16和输出图像17并排显示于显示器。另外，应用装置15可以是与小批量学习装置2不同的装置，也可以是与小批量学习装置2相同的装置。并且，在将已进行训练的模型10T并入到应用装置15中之后，也可以对已进行训练的模型10T赋予小批量数据11来进行训练。
如图3A所示，学习用输入图像20在该例中是显现出细胞培养状态的相差显微镜的1张图像。在学习用输入图像20中，分化细胞、未分化细胞、培养基、死细胞作为物体而显现。在该情况下的注释图像21中，如图3B所示，类别1的分化细胞、类别2的未分化细胞、类别3的培养基、类别4的死细胞分别被手动指定。另外，与学习用输入图像20同样，赋予到已进行训练的模型10T的输入图像16也是显现出细胞培养状态的相差显微镜的图像。
如图4所示，分割学习用输入图像20S是将由矩形框25包围的区域每次进行剪切的图像，该矩形框25在学习用输入图像20内在横向上依次每次移动DX且在纵向上依次每次移动DY。框25的横向移动量DX例如是框25的横向尺寸的1/2。同样地，框25的纵向移动量DY例如是框25的纵向尺寸的1/2。框25例如是学习用输入图像20的1/50的尺寸。在该情况下，分割学习用输入图像20S是20S_1～20S_10000共计1万张。
同样地，如图5所示，分割注释图像21S是将由矩形框25包围的区域每次进行剪切的图像，该矩形框25在注释图像21内在横向上依次每次移动DX且在纵向上依次每次移动DY。分割注释图像21S是21S_1～21S_10000共计1万张。另外，以下设为在小批量学习装置2内备有学习用输入图像20及注释图像21，并且也已生成分割学习用输入图像20S及分割注释图像21S来进行说明。
如图6所示，分割学习用输入图像组12由如图4所示生成的多个分割学习用输入图像20S中的一部分(例如1万张分割学习用输入图像20S中的100张)构成。同样地，如图7所示，分割注释图像组13由如图5所示生成的多个分割注释图像21S中的一部分(例如1万张分割注释图像21S中的100张)构成。在构成分割学习用输入图像组12的分割学习用输入图像20S和构成分割注释图像组13的分割注释图像21S中，由框25剪切的区域彼此相同。
在图8中，构成小批量学习装置2的计算机具备存储器件30、内存31、CPU(CentralProcessing Unit：中央处理单元)32、通信部33、显示器34及输入器件35。这些经由数据总线36相互连接。
存储器件30是构成小批量学习装置2的计算机中内置的、或通过电缆、网络而连接于计算机的硬盘驱动器。或者，存储器件30是联装多个硬盘驱动器的磁盘阵列。在存储器件30存储有操作系统等控制程序、各种应用程序及这些程序附带的各种数据等。
内存31是用于CPU32执行处理的工作存储器。CPU32将存储在存储器件30中的程序加载到内存31并通过按照程序执行处理，由此集中控制计算机的各部分。
通信部33是经由互联网或公用通信网等WAN(Wide Area Network：广域网)之类的网络进行各种信息的传输控制的网络接口。显示器34显示各种画面。在各种画面上具备基于GUI(Graphical User Interface：图形用户界面)的操作功能。构成小批量学习装置2的计算机通过各种画面来接收来自输入器件35的操作指示的输入。输入器件35是键盘、鼠标、触摸面板等。
在图9中，存储器件30中存储有学习用输入图像20、注释图像21、分割学习用输入图像20S、分割注释图像21S及模型10。并且，存储器件30中存储有工作程序40来作为应用程序。工作程序40是用于使计算机作为小批量学习装置2发挥作用的应用程序。
若启动工作程序40，则构成小批量学习装置2的计算机的CPU32与内存31等协同而作为生成部50、计算部51、确定部52、学习部53、评价部54及更新部55发挥作用。在评价部54中设置有校正处理部56。
生成部50从如图4及图5所示生成自学习用输入图像20及注释图像21的分割学习用输入图像20S及分割注释图像21S中，如图6及图7所示选择其一部分，由此生成小批量数据11。生成部50生成多组(例如100组)小批量数据11。生成部50将所生成的小批量数据11输出到计算部51、学习部53及评价部54。
另外，在生成部50中，可以执行使作为小批量数据11的分割学习用输入图像20S及分割注释图像21S的选项增加的方法。具体而言，对分割学习用输入图像20S及分割注释图像21S实施修整、左右翻转、旋转之类的图像处理来制作成另一图像，从而设为小批量数据11的新选项。这种方法被称为数据增强。
计算部51计算小批量数据11中的多个类别中每个类别的面积比例。更详细而言，计算部51针对每个类别加算在构成来自生成部50的小批量数据11的分割注释图像组13的分割注释图像21S中被手动指定的区域的像素数。接着，通过将加算的像素数除以分割注释图像21S的总像素数来计算面积比例。例如，在指定为类别1的分化细胞的区域的被加算的像素数为10000且总像素数为50000的情况下，类别1的分化细胞的面积比例为(10000/50000)×100＝20％。计算部51将计算出的面积比例输出到确定部52。
确定部52根据面积比例来确定校正对象类别。在本实施方式中，确定部52将面积比例低于预先设定的设定值的稀有类别确定为校正对象类别。确定部52将所确定的稀有类别输出到评价部54。
学习部53将来自生成部50的小批量数据11的分割学习用输入图像组12赋予到模型10来进行训练。由此，学习部53将从模型10输出的学习用输出图像组14输出到评价部54。
评价部54比较来自生成部50的小批量数据11的分割注释图像组13和来自学习部53的学习用输出图像组14，并评价模型10的类别的判别精度。评价部54将评价结果输出到更新部55。
评价部54使用以下所示的损失函数L(TN、PN)来评价模型10的类别的判别精度。损失函数L(TN、PN)是表示分割注释图像组13与学习用输出图像组14的差异程度的函数。损失函数L(TN、PN)的TN表示分割注释图像组13中的类别的判别状态，相当于正解值。PN表示学习用输出图像组14中的类别的判别状态，相当于预测值。损失函数L(TN、PN)的计算值越接近0，表示模型10的类别的判别精度越高。
[数式1]
Figure BDA0003109367800000091
N是类别数，该例中N＝4。WK是加权系数。F(TK、PK)例如是分类交叉熵函数。F(TK、PK)相当于各类别的损失值。即，损失函数L(TN、PN)是各类别的损失值F(TK、PK)和加权系数WK的乘积之和。评价部54将该损失函数L(TN、PN)的计算值作为评价结果输出到更新部55。
校正处理部56根据校正对象类别的损失值即第1损失值及除了校正对象类别以外的类别的损失值即第2损失值的比较结果来执行校正第1损失值的校正处理。另外，校正处理包括使第1损失值及第2损失值的位数一致的处理。使位数一致的处理例如是指，在第1损失值的位数为1且第2损失值的位数为2时，将第1损失值的位数设为2的处理。并且，校正处理还包括将第1损失值和第2损失值设为相同的值的处理。设为相同值的处理不仅包括将第1损失值和第2损失值设为完全相同的值的处理，而且还包括使第1损失值相对于第2损失值收敛在规定的误差范围内，例如在±50％的范围(在第2损失值为50的情况下，将第1损失值设为25～75)内的处理。
更详细而言，校正处理部56执行使对第1损失值的权重大于对第2损失值的权重的处理来作为校正处理。在此，“权重”是指加权系数WK。并且，在本实施方式中，如上所述，校正对象类别是面积比例低于设定值的稀有类别。因此，在本实施方式中，第1损失值是稀有类别的损失值F(TK、PK)，第2损失值是除了稀有类别以外的类别的损失值F(TK、PK)。若根据以上内容俩变更上述表现，则校正处理部56执行使对稀有类别的损失值F(TK、PK)的加权系数WK大于对除了稀有类别以外的类别的损失值F(TK、PK)的加权系数WK的处理来作为校正处理。校正处理部56例如将对稀有类别的损失值F(TK、PK)的加权系数WK设为10，并且将对除了稀有类别以外的类别的损失值F(TK、PK)的加权系数WK设为1(参考图11及图12)。
更新部55根据来自评价部54的评价结果来更新模型10。更具体而言，更新部55通过伴随学习系数的随机梯度下降法等来改变模型10的各种参数值。学习系数表示模型10的各种参数值的变化幅度。即，学习系数越是相对大的值，各种参数值的变化幅度越大，模型10的更新程度也越大。
图10及图11表示计算部51、确定部52、评价部54(校正处理部56)各部的处理的具体例。首先，在图10中，计算部51如表60所示对小批量数据11的各组1、2、3、......计算各类别的面积比例。图10中例示出如下计算出的情况：第1组小批量数据11的类别1的分化细胞的面积比例为38％，类别2的未分化细胞的面积比例为2％，类别3的培养基的面积比例为40％，类别4的死细胞的面积比例为20％等。
确定部52确定面积比例低于设定值的稀有类别。图10中例示出如下情况：由于设定值为5％，因此将面积比例为2％而低于设定值的、第1组小批量数据11的类别2的未分化细胞确定为稀有类别。另外，在此例示出仅确定有一个稀有类别的情况，但是在存在多个面积比例低于设定值的类别的情况下，当然，多个类别被确定为稀有类别。
接着，在图11中，如表61所示，评价部54的校正处理部56将对第1组小批量数据11的类别1、3、4、第2组、第3组的小批量数据11的所有类别等、除了稀有类别以外的类别的损失值F(TK、PK)的加权系数WK设为1。相对于此，校正处理部56将对第1组小批量数据11的类别2之类的稀有类别的损失值F(TK、PK)的加权系数WK设为10。
图12表示各类别的损失值F(TK、PK)和损失函数L(TN、PN)的计算值的表。图12A的表65A表示将对各类别的损失值F(TK、PK)的加权系数WK均设为相同的1的情况。另一方面，图12B的表65B表示增大了对稀有类别的损失值F(TK、PK)的加权系数WK的情况。并且，例示出在稀有类别为类别2的未分化细胞中，损失值F(T2、P2)为2，其他类别1、3、4的损失值F(T1、P1)、F(T3、P3)、F(T4、P4)分别为25、20、15的情况。
如此，稀有类别的损失值F(TK、PK)比除了稀有类别以外的类别的损失值F(TK、PK)小。生成这种差异的原因在于，稀有类别与其他类别相比，模型10的学习机会受到限制，从而在赋予了1组小批量数据11的训练(称为期)中，模型10的判别精度改善或变差的程度小。
在稀有类别和其他类别的损失值F(TK、PK)中存在大的差异的状态下，如图12A所示，将加权系数WK均设为相同的情况下，稀有类别的损失值F(TK、PK)对损失函数L(TN、PN)的计算值(＝62)带来的影响相对少。相对于此，如图12B所示，在增大了对稀有类别的损失值F(TK、PK)的加权系数WK的情况下，与图12A的情况相比，稀有类别的损失值F(TK、PK)对损失函数L(TN、PN)的计算值(＝80)带来的影响大。如此通过增大对稀有类别的损失值F(TK、PK)的加权系数WK，评价部54将稀有类别的损失值F(TK、PK)提高到相当于除了稀有类别以外的类别的损失值F(TK、PK)的值，然后计算损失函数L(TN、PN)，并评价模型10的判别精度。
接着，参考图13所示的流程图，对具有上述结构的作用进行说明。首先，启动工作程序40，如图9所示，构成小批量学习装置2的计算机的CPU32作为各处理部50～56发挥作用。
在生成部50中生成小批量数据11(步骤ST100)。小批量数据11从生成部50输出到计算部51、学习部53及评价部54。
如图10的表60所示，由计算部51对小批量数据11的各组计算各类别的面积比例(步骤ST110、计算步骤)。接着，也如图10所示，在确定部52中，面积比例低于设定值的稀有类别被确定为校正对象类别(步骤ST120、确定步骤)。
在学习部53中，来自生成部50的小批量数据11的分割学习用输入图像组12被赋予到模型10来进行训练(步骤ST130)。
在步骤ST130中赋予到模型10的小批量数据11中存在稀有类别的情况下(步骤ST140中为“是”)，如图11的表61及图12B的表65B所示，由校正处理部56使对稀有类别的损失值F(TK、PK)的加权系数WK大于对除了稀有类别以外的类别的损失值F(TK、PK)的加权系数WK(步骤ST150、校正处理步骤)。相对于此，在步骤ST130中赋予到模型10的小批量数据11中没有稀有类别的情况下(步骤ST140中为“否”)，对稀有类别的损失值F(TK、PK)的加权系数WK不会被增大，而设为通常的加权系数WK。
在评价部54中，比较从模型10输出的学习用输出图像组14和来自生成部50的小批量数据11的分割注释图像组13，并评价模型10的类别的判别精度(步骤ST160、评价步骤)。更详细而言，针对多个类别的每个类别，计算损失值F(TK、PK)。而且，对损失值F(TK、PK)积算在步骤ST150中设定的加权系数WK或通常的加权系数WK，计算其总和作为损失函数L(TN、PN)的计算值。
在根据基于评价部54的损失函数L(TN、PN)的计算值来判定为模型10的类别的判别精度达到所期望的级别的情况下(步骤ST170中为“是”)，结束小批量学习。另一方面，在判定为模型10的类别的判别精度未达到所期望的级别的情况下(步骤ST170中为“否”)，由更新部55来更新模型10(步骤ST180)。然后，处理返回到步骤ST130，另一组小批量数据11被赋予到模型10，并重复随后的步骤。
在确定部52中确定有稀有类别的情况，即为在小批量数据11中存在类别偏差的情况。在存在这种类别偏差的小批量数据11中，不考虑稀有类别而进行训练。更详细而言，稀有类别的训练频率比其他类别相对低。在进行了这种偏向的训练之后，在评价部54中不受任何限制而评价了模型10的判别精度的情况下，如图12A所示，会输出几乎未考虑稀有类别的评价结果。由此，在此后的模型10的更新中也不会考虑到稀有类别。其结果，导致创建稀有类别的判别精度低的模型10。
然而，在本实施方式中，如上所述，在校正处理部56中，根据稀有类别的损失值F(TK、PK)及除了稀有类别以外的类别的损失值F(TK、PK)的比较结果来执行校正处理。更详细而言，在校正处理部56中，使对稀有类别的损失值F(TK、PK)的加权系数WK大于对除了稀有类别以外的类别的损失值F(TK、PK)的加权系数WK。由此，能够输出充分考虑到稀有类别的评价结果，在此后的模型10的更新中也趋向于提高稀有类别的判别精度。从而，可以避免创建稀有类别的判别精度低的模型10的情况，并可以抑制模型10的类别的判别精度降低。
另外，面积比例越小，越可以增加对稀有类别的损失值F(TK、PK)的加权系数WK增大的程度。例如，如图14的表70所示，如第20组小批量数据11那样，在面积比例为0％以上且小于2.5％的情况下，将稀有类别即类别2的加权系数W2设为100。相对于此，如第21组小批量数据11那样，在面积比例为2.5％以上且小于5％的情况下，将稀有类别即类别4的加权系数W4设为10。可以认为，面积比例越小，损失值F(TK、PK)也变得越小。从而，若如此根据面积比例来变更加权系数WK，则能够输出进一步考虑到稀有类别的评价结果，其结果，可以进一步抑制模型10的类别的判别精度降低。
[第2实施方式]
在图15～图17所示的第2实施方式中，与上述第1实施方式相反，将面积比例高于预先设定的设定值的非稀有类别确定为校正对象类别，并执行使对第1损失值的权重小于对第2损失值的权重的处理来作为校正处理。
在图15中，本实施方式的确定部80将面积比例高于设定值的非稀有类别确定为校正对象类别。在图15中例示出如下情况：由于设定值为50％，因此如表75等所示，将面积比例为56％而高于设定值的、第30组小批量数据11的类别2的未分化细胞确定为非稀有类别。另外，与上述第1实施方式的稀有类别同样，有时多个类别也被确定为非稀有类别。
在图16中，本实施方式的评价部81的校正处理部82执行使对非稀有类别的损失值F(TK、PK)的加权系数WK小于对除了非稀有类别以外的类别的损失值F(TK、PK)的加权系数WK的处理来作为校正处理。具体而言，如表83所示，将对第30组小批量数据11的类别1、3、4、第31组、第32组的小批量数据11的所有类别等、除了非稀有类别以外的类别的损失值F(TK、PK)的加权系数WK设为1。相对于此，校正处理部82将对第30组小批量数据11的类别2等非稀有类别的损失值F(TK、PK)的加权系数WK设为0.5。
与图12同样，图17表示各类别的损失值F(TK、PK)和损失函数L(TN、PN)的计算值的表。图17A的表85A表示将对各类别的损失值F(TK、PK)的加权系数WK均设为相同的1的情况。另一方面，图17B的表85B表示减小了对非稀有类别的损失值F(TK、PK)的加权系数WK的情况。而且，例示出如下情况：非稀有类别为类别2的未分化细胞，损失值F(T2、P2)为42，其他类别1、3、4的损失值F(T1、P1)、F(T3、P3)、F(T4、P4)分别为19、22、18。
与上述第1实施方式相反，非稀有类别的损失值F(TK、PK)比除了非稀有类别以外的类别的损失值F(TK、PK)大。因此，评价部81减小对非稀有类别的损失值F(TK、PK)的加权系数WK。由此，如图17B所示，非稀有类别的损失值F(TK、PK)减小到相当于除了非稀有类别以外的类别的损失值F(TK、PK)的值，与将加权系数WK均设为相同的值的图17A的情况相比，减少了非稀有类别的损失值F(TK、PK)对损失函数L(TN、PN)的计算值带来的影响。
如此，在第2实施方式中，将面积比例高于设定值的非稀有类别确定为校正对象类别，并执行使对第1损失值的权重小于对第2损失值的权重的处理来作为校正处理。从而，与上述第1实施方式同样，可以抑制模型10的类别的判别精度降低。
另外，在该情况下，也与上述第1实施方式同样，面积比例越大，越可以增加减小对非稀有类别的损失值F(TK、PK)的加权系数WK的程度。
[第3实施方式]
在图18～图21所示的第3实施方式中，将面积比例低于预先设定的设定值的稀有类别确定为校正对象类别，并执行使计算第1损失值时的正解值及预测值大于计算第2损失值时的正解值及预测值的放大处理来作为校正处理。
如图10所示，图18例示出将第1组小批量数据11的类别2的未分化细胞确定为稀有类别的情况。在该情况下，如表92所示，本实施方式的评价部90的校正处理部91将第1组小批量数据11的类别1、3、4、第2组、第3组的小批量数据11的所有类别等、除了稀有类别以外的类别的正解值及预测值保持不变。相对于此，校正处理部91执行将第1组小批量数据11的类别2等稀有类别的正解值及预测值设为10倍的放大处理。
图19及图20是概念性地示出将图18的第1组小批量数据11的类别2的正解值及预测值设为10倍的放大处理的图。如图19所示，正解值T2的大小通过放大处理而设为放大处理前的10倍。同样地，如图20所示，预测值P2的大小通过放大处理而设为放大处理前的10倍。如此，放大处理是使稀有类别的正解值的对象像素数及稀有类别的预测值的对象像素数增加的处理。
如图21的表95所示，校正处理部91将放大处理中的放大率设为小批量数据11中的稀有类别的面积比例与为小批量数据11的来源的学习用输入图像20及注释图像21中的稀有类别的面积比例成为相同的值。在图21中例示出如下情况：第1组小批量数据11的类别2的未分化细胞被确定为稀有类别，小批量数据11中的稀有类别的面积比例为2％，学习用输入图像20及注释图像21中的稀有类别的面积比例为20％。在该情况下，校正处理部91将放大处理中的放大率设为20/2＝10倍。另外，成为相同的值不仅包括使小批量数据11中的稀有类别的面积比例与学习用输入图像20及注释图像21中的稀有类别的面积比例完全成为相同的值，而且还包括使小批量数据11中的稀有类别的面积比例与学习用输入图像20及注释图像21中的稀有类别的面积比例收敛在规定的误差范围内，例如在±10％的范围内的值。
如此，在第3实施方式中，将面积比例低于预先设定的设定值的稀有类别确定为校正对象类别，并执行使计算第1损失值时的正解值及预测值大于计算第2损失值时的正解值及预测值的放大处理来作为校正处理。通过这种校正处理，也能够校正稀有类别与非稀有类别的损失值F(TK、PK)的不均衡。从而，可以抑制模型10的类别的判别精度降低。此外，这种校正处理在损失值F(TK、PK)不是线性函数的情况下有效。
并且，在第3实施方式中，将放大处理中的放大率设为小批量数据11中的稀有类别的面积比例与学习用输入图像20及注释图像21中的稀有类别的面积比例成为相同的值。从而，能够将放大率设为适当的值。另外，这种放大率的确定方法优选在学习用输入图像20及注释图像21中的各类别的面积比例中没有偏差的情况下进行采用。
学习用输入图像20及注释图像21中的各类别的面积比例中没有偏差的情况，例如是各类别的面积比例的最大值与最小值的差分在10％以内的情况等。
[第4实施方式]
在图22～图25所示的第4实施方式中，与上述第3实施方式相反，将面积比例高于预先设定的设定值的非稀有类别确定为校正对象类别，并执行使计算第1损失值时的正解值及预测值小于计算第2损失值时的正解值及预测值的缩小处理来作为校正处理。
如图15所示，图22例示出将第30组小批量数据11的类别2的未分化细胞确定为非稀有类别的情况。在该情况下，如表102所示，本实施方式的评价部100的校正处理部101将第30组小批量数据11的类别1、3、4、第31组、第32组的小批量数据11的所有类别等、除了非稀有类别以外的类别的正解值及预测值保持不变。相对于此，校正处理部101执行将第30组小批量数据11的类别2等非稀有类别的正解值及预测值设为0.5倍的缩小处理。
图23及图24是概念性地示出将图22的第30组小批量数据11的类别2的正解值及预测值设为0.5倍的缩小处理的图。如图23所示，正解值T2的大小通过缩小处理而设为缩小处理前的0.5倍。同样地，如图24所示，预测值P2的大小通过缩小处理而设为缩小处理前的0.5倍。如此，与上述第3实施方式的放大处理相反，缩小处理是使非稀有类别的正解值的对象像素数及非稀有类别的预测值的对象像素数减少的处理。
如图25的表105所示，校正处理部101将缩小处理中的缩小率设为小批量数据11中的非稀有类别的面积比例与为小批量数据11的来源的学习用输入图像20及注释图像21中的非稀有类别的面积比例成为相同的值。在图25中例示出如下情况：第30组小批量数据11的类别2的未分化细胞被确定为非稀有类别，小批量数据11中的非稀有类别的面积比例为56％，学习用输入图像20及注释图像21中的非稀有类别的面积比例为28％。在该情况下，校正处理部101将缩小处理中的缩小率设为28/56＝0.5倍。另外，在该情况下，也与上述第3实施方式同样，成为相同的值不仅包括使小批量数据11中的稀有类别的面积比例与学习用输入图像20及注释图像21中的稀有类别的面积比例完全成为相同的值，而且还包括使小批量数据11中的稀有类别的面积比例与学习用输入图像20及注释图像21中的稀有类别的面积比例收敛在规定的误差范围内，例如在±10％的范围内的值。
如此，在第4实施方式中，将面积比例高于预先设定的设定值的非稀有类别确定为校正对象类别，并执行使计算第1损失值时的正解值及预测值小于计算第2损失值时的正解值及预测值的缩小处理来作为校正处理。从而，与上述第3实施方式同样，可以抑制模型10的类别的判别精度降低。此外，与上述第3实施方式同样，在损失值F(TK、PK)不是线性函数的情况下有效。
并且，在第4实施方式中，将缩小处理中的缩小率设为小批量数据11中的非稀有类别的面积比例与学习用输入图像20及注释图像21中的非稀有类别的面积比例成为相同的值。从而，能够将缩小率设为适当的值。另外，与上述第3实施方式同样，这种缩小率的确定方法优选在学习用输入图像20及注释图像21中的各类别的面积比例中没有偏差的情况下进行采用。
[第5实施方式]
在图26所示的第5实施方式中，询问是否使校正处理部执行校正处理。
在图26中，第5实施方式的小批量学习装置的CPU除了上述各实施方式的各处理部以外，还作为接收部110发挥作用。在确定部52中确定有校正对象类别的情况下，接收部110接收是否使校正处理部执行校正处理的选择指示。
在第5实施方式中，在确定部52中确定有校正对象类别的情况下，在显示器34上显示询问画面111。在询问画面111上显示确定有校正对象类别的内容、询问是否可以执行对校正对象类别的损失值进行校正的校正处理的内容的消息112、“是”按钮113、“否”按钮114。接收部110接收“是”按钮113和“否”按钮114的选择指示来作为是否执行校正处理的选择指示。在选择了“是”按钮113的情况下，在校正处理部中执行校正处理。另一方面，在选择了“否”按钮114的情况下，在校正处理部中不执行校正处理。
当生成注释图像时，由于手动指定类别，因此可能会错误指定类别。并且，也会出现虽然在模型10的开发初期指定为类别，但是随着进行开发被视为不太重要的类别。在这种情况下，会存在虽然在确定部52中被确定为校正对象类别，但是可以不执行校正处理的情况。
因此，在第5实施方式中，由接收部110接收是否使校正处理部执行校正处理的选择指示。从而，能够应对虽然在确定部52中确定了校正对象类别，但是可以不执行校正处理的情况。
也可以将第1实施方式和第2实施方式组合而实施。即，可以使对稀有类别的损失值的加权系数小于对除了稀有类别以外的类别的损失值的加权系数，并且使对非稀有类别的损失值的加权系数大于对除了非稀有类别以外的类别的损失值的加权系数。同样地，可以将第3实施方式和第4实施方式组合而实施。即，可以使计算稀有类别的损失值时的正解值及预测值大于计算除了稀有类别以外的类别的损失值时的正解值及预测值，并且使计算非稀有类别的损失值时的正解值及预测值小于计算除了非稀有类别以外的类别的损失值时的正解值及预测值。
在上述各实施方式中，作为输入图像16及学习用输入图像20而例示出显现细胞培养状态的相差显微镜的图像，并且作为类别而例示出分化细胞或培养基，但是并不限定于此。例如，可以将MRI(Magnetic Resonance Imaging：核磁共振成像)图像设为输入图像16及学习用输入图像20，并将肝、肾之类的器官设为类别。
模型10并不限定于U-Net，也可以是其他卷积神经网络，例如SegNet。
构成小批量学习装置2的计算机的硬件结构可以进行各种变形。例如，以提高处理能力或可靠性为目的，作为硬件，可以由分离的多台计算机来构成小批量学习装置2。具体而言，使两台计算机分散承担生成部50、计算部51及确定部52的功能、以及学习部53、评价部54及更新部55的功能。在该情况下，由两台计算机构成小批量学习装置2。
如此，计算机的硬件结构能够根据处理能力、安全性、可靠性等所需性能来适当地变更。此外，并不限定于硬件，关于工作程序40等应用程序，也以确保安全性或可靠性为目的，当然可以进行双重化，或者分散存储于多个存储器件。
在上述各实施方式中，例如作为生成部50、计算部51、确定部52、80、学习部53、评价部54、81、90、100，更新部55及校正处理部56、82、91、101、接收部110之类的执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下所示的各种处理器(Processor)。在各种处理器中，如上所述，除了执行软件(工作程序40)而作为各种处理部发挥功能的通用的处理器即CPU以外，还包括FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造之后可以变更电路结构的处理器即可编程逻辑器件(Progra mmable LogicDevice：PLD)、ASIC(Application Specific Integrated Ci rcuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上处理器的组合(例如多个FPGA的组合或CPU和FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。
作为由一个处理器构成多个处理部的例子，第一，如以客户端、服务器等计算机为代表，由一个以上的CPU与软件的组合而构成一个处理器，该处理器作为多个处理部而发挥作用。第二，如以片上系统(System on Chip：SoC)等为代表，使用由一个IC(IntegratedCircuit：集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器。如此，作为硬件结构，各种处理部使用一个以上的上述各种处理器而构成。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件的电路(circuitry)。
根据以上记载，能够掌握以下附加项1中所记载的发明。
[附加项1]
一种小批量学习装置，其对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备：
计算处理器，计算所述小批量数据中的所述多个类别中每个类别的面积比例；
确定处理器，根据所述面积比例来确定校正对象类别；及
评价处理器，其通过使用损失函数针对所述多个类别的每个类别计算损失值来评价所述机器学习模型的所述类别的判别精度，所述评价处理器包括根据所述校正对象类别的第1损失值及除了所述校正对象类别以外的类别的第2损失值的比较结果来执行校正所述第1损失值的校正处理的校正处理处理器。
本发明技术也可以适当地组合上述各种实施方式或各种变形例。并且，并不限定于上述各实施方式，只要不脱离主旨，当然可以采用各种结构。此外，本发明技术不仅涉及到程序，而且也涉及到非临时存储程序的存储介质。
符号说明
2-小批量学习装置，10-机器学习模型(模型)，10T-已进行训练的机器学习模型(已进行训练的模型)，11-小批量数据，12-分割学习用输入图像组，13-分割注释图像组，14-学习用输出图像组，15-应用装置，16-输入图像，17-输出图像，20-学习用输入图像，20S-分割学习用输入图像，21-注释图像，21S-分割注释图像，25-框，30-存储器件，31-内存，32-CPU，33-通信部，34-显示器，35-输入器件，36-数据总线，40-工作程序，50-生成部，51-计算部，52、80-确定部，53-学习部，54、81、90、100-评价部，55-更新部，56、82、91、101-校正处理部，60、61、65A、65B、70、75、83、85A、85B、92、95、102、105-表，110-接收部，111-询问画面，112-消息，113-“是”按钮，114-“否”按钮，DX-框的横向移动量，DY-框的纵向移动量，L(TN、PN)-损失函数，WK-各类别的加权系数，F(TK、PK)-各类别的损失值，TK-各类别的正解值，PK-各类别的预测值，ST100～ST180-步骤。

Claims (10)

1.一种小批量学习装置，其对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备：
计算部，计算所述小批量数据中的所述多个类别中每个类别的面积比例；
确定部，根据所述面积比例来确定校正对象类别；及
评价部，通过使用损失函数针对所述多个类别的每个类别计算损失值来评价所述机器学习模型的所述类别的判别精度，所述评价部包括根据所述校正对象类别的第1损失值及除了所述校正对象类别以外的类别的第2损失值的比较结果来执行校正所述第1损失值的校正处理的校正处理部。
2.根据权利要求1所述的小批量学习装置，其中，
所述确定部将所述面积比例低于预先设定的设定值的稀有类别确定为所述校正对象类别，
所述校正处理部执行使对所述第1损失值的权重大于对所述第2损失值的权重的处理来作为所述校正处理。
3.根据权利要求1或2所述的小批量学习装置，其中，
所述确定部将所述面积比例高于预先设定的设定值的非稀有类别确定为所述校正对象类别，
所述校正处理部执行使对所述第1损失值的权重小于对所述第2损失值的权重的处理来作为所述校正处理。
4.根据权利要求1所述的小批量学习装置，其中，
所述确定部将所述面积比例低于设定值的稀有类别确定为所述校正对象类别，
所述校正处理部执行使计算所述第1损失值时的正解值及预测值大于计算所述第2损失值时的正解值及预测值的放大处理来作为所述校正处理。
5.根据权利要求4所述的小批量学习装置，其中，
所述校正处理部将所述放大处理中的放大率设为所述小批量数据中的所述稀有类别的所述面积比例与为所述小批量数据的来源的学习用输入图像及注释图像中的所述稀有类别的面积比例成为相同的值。
6.根据权利要求1、4、5中任一项所述的小批量学习装置，其中，
所述确定部将所述面积比例高于设定值的非稀有类别确定为所述校正对象类别，
所述校正处理部执行使计算所述第1损失值时的正解值及预测值小于计算所述第2损失值时的正解值及预测值的缩小处理来作为所述校正处理。
7.根据权利要求6所述的小批量学习装置，其中，
所述校正处理部将所述缩小处理中的缩小率设为所述小批量数据中的所述非稀有类别的所述面积比例与为所述小批量数据来源的学习用输入图像及注释图像中的所述非稀有类别的面积比例成为相同的值。
8.根据权利要求1至7中任一项所述的小批量学习装置，其具备：
接收部，所述接收部接收是否使所述校正处理部执行所述校正处理的选择指示。
9.一种小批量学习装置的工作程序，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作程序使计算机发挥如下作用：
计算部，计算所述小批量数据中的所述多个类别中每个类别的面积比例；
确定部，根据所述面积比例来确定校正对象类别；及
评价部，其通过使用损失函数针对所述多个类别的每个类别计算损失值来评价所述机器学习模型的所述类别的判别精度，评价部包括根据所述校正对象类别的第1损失值及除了所述校正对象类别以外的类别的第2损失值的比较结果来执行校正所述第1损失值的校正处理的校正处理部。
10.一种小批量学习装置的工作方法，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作方法具备：
计算步骤，计算所述小批量数据中的所述多个类别中每个类别的面积比例；
确定步骤，根据所述面积比例来确定校正对象类别；及
评价步骤，其通过使用损失函数针对所述多个类别的每个类别计算损失值来评价所述机器学习模型的所述类别的判别精度，所述评价步骤包括根据所述校正对象类别的第1损失值及除了所述校正对象类别以外的类别的第2损失值的比较结果来执行校正所述第1损失值的校正处理的校正处理步骤。
CN201980081719.3A 2018-12-14 2019-10-31 小批量学习装置及其工作程序和工作方法 Pending CN113168698A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-234882 2018-12-14
JP2018234882 2018-12-14
PCT/JP2019/042937 WO2020121679A1 (ja) 2018-12-14 2019-10-31 ミニバッチ学習装置とその作動プログラムおよび作動方法

Publications (1)

Publication Number Publication Date
CN113168698A true CN113168698A (zh) 2021-07-23

Family

ID=71077225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081719.3A Pending CN113168698A (zh) 2018-12-14 2019-10-31 小批量学习装置及其工作程序和工作方法

Country Status (5)

Country Link
US (1) US11983880B2 (zh)
EP (1) EP3896646A4 (zh)
JP (1) JP7096362B2 (zh)
CN (1) CN113168698A (zh)
WO (1) WO2020121679A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121678A1 (ja) * 2018-12-14 2020-06-18 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
JP2022079322A (ja) * 2020-11-16 2022-05-26 沖電気工業株式会社 学習装置、学習方法および学習プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196837A1 (zh) * 2017-04-28 2018-11-01 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6509717B2 (ja) 2015-12-09 2019-05-08 日本電信電話株式会社 事例選択装置、分類装置、方法、及びプログラム
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
US20190295260A1 (en) * 2016-10-31 2019-09-26 Konica Minolta Laboratory U.S.A., Inc. Method and system for image segmentation using controlled feedback
JP7277699B2 (ja) * 2018-12-05 2023-05-19 日本電信電話株式会社 画像処理装置、学習装置、画像処理方法、学習方法、及びプログラム
WO2020121678A1 (ja) * 2018-12-14 2020-06-18 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods
EP4036211A4 (en) * 2019-09-27 2022-11-09 FUJIFILM Corporation INFORMATION PROCESSING DEVICE, METHOD OF OPERATING INFORMATION PROCESSING DEVICE, AND OPERATING PROGRAM OF INFORMATION PROCESSING DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196837A1 (zh) * 2017-04-28 2018-11-01 阿里巴巴集团控股有限公司 车辆定损图像获取方法、装置、服务器和终端设备
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN108898604A (zh) * 2018-06-28 2018-11-27 上海连尚网络科技有限公司 用于处理图像的方法和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JOHN-MELLE BOKHORST等: "Learning from sparsely annotated data for semantic segmentation in histopathology images", PROCEEDINGS OF MACHINE LEARNING RESEARCH 102:84-91, 2019, 13 December 2018 (2018-12-13) *
KE LI等: "Amodal Instance Segmentation", 14TH EUROPEAN CONFERENCE AMSTERDAM, THE NETHERLANDS, OCTOBER 11–14, 2016 PROCEEDINGS, PART II, 17 September 2016 (2016-09-17) *
MINGZHONG LI: "Detecting, segmenting and tracking bio-medical objects", HTTPS://SCHOLARSMINE.MST.EDU/DOCTORAL_DISSERTATIONS/2512, 31 December 2016 (2016-12-31) *

Also Published As

Publication number Publication date
US20210287052A1 (en) 2021-09-16
US11983880B2 (en) 2024-05-14
EP3896646A1 (en) 2021-10-20
WO2020121679A1 (ja) 2020-06-18
JP7096362B2 (ja) 2022-07-05
EP3896646A4 (en) 2022-01-26
JPWO2020121679A1 (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
CN111031346B (zh) 一种增强视频画质的方法和装置
US20220189149A1 (en) Information processing apparatus, method for operating information processing apparatus, and operating program of information processing apparatus
CN109409432B (zh) 一种图像处理方法、装置和存储介质
US11983880B2 (en) Mini-batch learning apparatus, operation program of mini-batch learning apparatus, and operation method of mini-batch learning apparatus
US11900249B2 (en) Mini-batch learning apparatus, operation program of mini-batch learning apparatus, operation method of mini-batch learning apparatus, and image processing apparatus
US20210248729A1 (en) Superpixel merging
Letscher et al. Image segmentation using topological persistence
CN116071300A (zh) 一种基于上下文特征融合的细胞核分割方法及相关设备
US20220012895A1 (en) Image processing apparatus, and operation method and operating program thereof, operating apparatus, and operation method and operating program thereof, and machine learning system
JP7096360B2 (ja) ミニバッチ学習装置とその作動プログラムおよび作動方法
US20110052059A1 (en) Generating image histogram by parallel processing
JP7195220B2 (ja) 学習装置、学習装置の作動方法、および学習装置の作動プログラム
US11676050B2 (en) Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees using leaf nodes
CN113900748A (zh) 一种图像处理的方法、装置及计算机可读存储介质
Six et al. Techniques for the refinement of orthogonal graph drawings
CN114596637B (zh) 图像样本数据增强训练方法、装置及电子设备
EP4198837A1 (en) Method and system for global explainability of neural networks
EP4202777A1 (en) Method and apparatus for distributing network layers in neural network model
US20240104133A1 (en) Image retrieval apparatus, image retrieval method, and non-transitory storage medium
CN117762402A (zh) 产品属性配置方法、装置、计算机设备及存储介质
CN116485523A (zh) 基于决策树的数据评估方法、装置、设备及存储介质
CN117215744A (zh) 神经网络处理方法、装置、电子设备及存储介质
JP2024512344A (ja) 反復的改良を通した効率的なポーズ推定
CN114648112A (zh) 数据处理方法、装置、设备和存储介质
CN114463546A (zh) 图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination