CN112840352B - 配置图像评估装置的方法和图像评估方法及图像评估装置 - Google Patents
配置图像评估装置的方法和图像评估方法及图像评估装置 Download PDFInfo
- Publication number
- CN112840352B CN112840352B CN201980063209.3A CN201980063209A CN112840352B CN 112840352 B CN112840352 B CN 112840352B CN 201980063209 A CN201980063209 A CN 201980063209A CN 112840352 B CN112840352 B CN 112840352B
- Authority
- CN
- China
- Prior art keywords
- neural network
- network module
- subtype
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 33
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000013528 artificial neural network Methods 0.000 claims abstract description 95
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 45
- OFHWSHGIZXHMJP-UHFFFAOYSA-N 1,3,5-tripropyl-1,3,5-triazinane-2,4,6-trione Chemical compound CCCN1C(=O)N(CCC)C(=O)N(CCC)C1=O OFHWSHGIZXHMJP-UHFFFAOYSA-N 0.000 claims abstract description 25
- 238000009826 distribution Methods 0.000 claims description 7
- 238000013531 bayesian neural network Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 22
- 101710150311 Dolichyl-phosphooligosaccharide-protein glycotransferase Proteins 0.000 description 12
- 101710202156 Dolichyl-phosphooligosaccharide-protein glycotransferase 1 Proteins 0.000 description 12
- 101710202150 Dolichyl-phosphooligosaccharide-protein glycotransferase 2 Proteins 0.000 description 12
- 238000011161 development Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 210000005036 nerve Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010561 standard procedure Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
为了配置图像评估装置(BA),将多个分别与对象类型(OT)和对象亚类型(OST)相关联的训练图像(TPIC)馈入到第一神经网络模块(CNN)中以识别图像特征。此外,将第一神经网络模块(CNN)的训练输出数据集(FEA)馈入到第二神经网络模块(MLP)中,以根据图像特征识别对象类型。根据本发明,第一和第二神经网络模块(CNN、MLP)共同地训练为:第二神经网络模块(MLP)的训练输出数据集(OOT)至少近似地复现与训练图像(TPIC)相关联的对象类型(OT)。此外,对于相应的对象类型(OT1、OT1):‑将与该对象类型(OT1、OT1)相关联的训练图像(TPIC)馈入到已训练的第一神经网络模块(CNN)中,‑将第一神经网络模块的针对相应的训练图像(TPIC)生成的训练输出数据集(FEA1、FEA2)与相应的训练图像(TPIC)的对象亚类型(OST)相关联,并且‑根据该亚类型关联关系为图像评估装置(BA)配置亚类型识别模块(BMLP1、BMLP2),以根据图像特征识别对象亚类型(OST)。
Description
技术领域
本发明涉及配置图像评估装置的方法和图像评估方法及图像评估装置。
背景技术
为了自动评估图像记录,例如在医学诊断中、在工程或非工程系统的监控中和/或在自主系统的视觉传感装置的范畴中,越来越多地使用机器学习方法。借助于这种方法,可以训练基于学习的图像评估装置,以自动识别图像上显示的对象或将其与对象类型相关联。
因此,例如,可以训练医学诊断设备的图像评估装置,以在显微图像上特异性地识别细胞或组织类型,或者分别与细胞类型或组织类型相关联。特别地,可以训练图像评估装置,以将生物细胞(如血细胞)的图像记录分别与作为对象类型的细胞类型相关联以及与作为对象亚类型的该细胞类型的发展阶段相关联。
对于这种训练通常使用大量预设图像,这些图像已经关联有对象类型和可能的对象亚类型。借助于这种训练图像,可以训练基于学习的图像评估装置,以尽可能良好地复现预设的对象类型以及可能的对象亚类型,这就是说,所识别的例如细胞类型及其发展阶段与预设的对象类型和对象亚类型有尽可能小的偏差。为了执行这种训练,提供大量已知的学习方法、特别是监督学习的方法。
然而,在实践中经常发生:某些待识别的对象类型比其他对象类型显著更罕见地出现。因此,一些生物细胞类型、特别是病理细胞类型仅占所有细胞类型的少于0.005%的份额。与之相应地,与更常见的对象类型相比,对于罕见的对象类型而言,可用的训练图像通常明显更少。但是,如果只提供少量的训练图像用于训练,则在常规的训练方法中,训练成效进而识别精度显著变差。此外,罕见对象类型的亚类型通常难以识别或区分。
但是,恰恰在医学领域中重要的是:尽可能正确地辨别罕见病理模式和发展阶段。已知的是:为了对罕见对象类型进行更好的分类而由专家单独得出特异性图像特征并据此匹配训练。替选地或附加地,可以继续训练,直到评估了足够多的罕见对象类型的训练图像为止。但是,通过上述方法方式,特别是在存在罕见对象类型时,所需的训练开销会显著增加。
发明内容
本发明的目的是,提出一种用于配置图像评估装置的方法、一种图像评估方法和一种图像评估装置,它们能够实现更高效的训练。
该目的通过本发明的配置方法、图像评估方法、图像评估装置、计算机程序产品以及计算机可读存储介质来实现。
为了配置图像评估装置以得出所成像的对象的对象类型和对象亚类型,将多个分别与对象类型和对象亚类型相关联的训练图像馈入到第一神经网络模块中,以识别图像特征。特别地,生物细胞可以用作为对象,其相应的细胞类型可以作为对象类型而得出,并且其相应的发展阶段或细胞状态可以作为对象亚类型而得出。此外,将第一神经网络模块的训练输出数据集馈入到第二神经网络模块中,以根据图像特征识别对象类型。根据本发明,第一和第二神经网络模块共同地训练为:第二神经网络模块的训练输出数据集至少近似地复现与训练图像相关联的对象类型。此外,对于相应的对象类型:
-将与该对象类型相关联的训练图像馈入到已训练的第一神经网络模块中,
-将第一神经网络模块的针对相应的训练图像生成的训练输出数据集与相应的训练图像的对象亚类型相关联,并且
-根据该亚类型关联关系,为图像评估装置配置亚类型识别模块以根据图像特征识别对象亚类型。
通过将配置划分为数据驱动的训练和特定于对象类型的配置,可缓解常规训练方法的由于缺乏特定于对象类型的训练数据而导致的许多缺点。
因此,根据本发明的配置方法通常证实为,对于罕见对象类型的对象亚类型的得出并且普适地在对象频率分布有强不均性的情况下是特别有效的。
借助于如上训练的第一和第二神经网络模块以及如上配置的亚类型识别模块,可以实施用于得出所成像的对象的对象类型和对象亚类型的、根据本发明的图像评估方法。在此,待评估的图像被馈入到已训练的第一神经网络模块中,并且将已训练的第一神经网络模块的结果输出数据集馈入到已训练的第二神经网络模块中。然后,从已训练的第二神经网络模块的结果输出数据集推导出对象类型。此外,选择对于所推导出的对象类型专门配置的亚类型识别模块,通过亚类型识别模块得出与已训练的第一神经网络模块的输出数据集相关联的对象亚类型。最后,输出推导出的对象类型和所得出的对象亚类型。
由于根据本发明的图像输出方法的对应于根据本发明的配置方法的划分,该图像评估方法尤其在对象频率分布不均匀强的情况下通常运行可靠地得出罕见的对象类型的对象亚类型。
为了执行根据本发明的配置方法和/或根据本发明的图像评估方法,提出相应的图像评估装置、计算机程序产品和计算机可读存储介质。
根据本发明的配置方法、根据本发明的图像评估方法、根据本发明的图像评估装置以及根据本发明的计算机程序可以例如借助于一个或多个处理器、特殊应用集成电路(ASIC)、数字信号处理器(DSP)和/或所谓的“现场可编程门阵列”(FPGA)实施或实现。
优选地,根据亚类型关联关系可以推导出关于图像特征与对象亚类型之间的相关性的相关性参数。根据相关性参数可以配置亚类型识别模块。这种相关性或相关性参数使得:借助于统计标准方法对于给出的、尚未分类的图像特征得出对其最佳或足够良好相关的对象亚类型。
根据本发明的一个有利的实施方式,可以将概率分类器、特别是所谓的贝叶斯分类器用作为亚类型识别模块。在这种情况下,可以将估计和/或条件概率和不确定性用作为相关性参数。概率分类器、特别是所谓的贝叶斯分类器可以将给出的图像特征或其他特征与如下类别相关联,该类别为该图像特征或其他特征以最大概率所归属的类别。
有利地,亚类型识别模块可以具有对应于第二神经网络模块的链接结构。如果将多层感知器用作为第二神经网络模块,则在该意义上可以将相应的亚类型识别模块构成为多层贝叶斯感知器。在对应的链接结构中,第二神经网络模块的学习参数和超参数可以有利地在配置亚类型识别模块时被再次使用。
此外,在待针对对象类型识别的对象亚类型形成通过预设的序列信息具化的有序序列的前提下,可以根据序列信息配置亚类型识别模块。这种序列例如可以通过细胞类型的发展阶段的时间序列来给出。
根据这种序列信息,在配置亚类型识别模块时,优选地可以执行所谓的序数回归。特别地,可以适配亚类型识别模块的神经端层的激活功能和/或可以使用所谓的Probit模型。此外,可以学习出激活功能的激活阈值。
根据本发明的另一实施方式,可以根据已训练的第二神经网络模块的学习参数得出概率分类器的配置参数的先验分布。在此,将尤其通过训练设置或优化的第二神经网络模块参数称作为学习参数。为了推导出概率分类器的配置参数,尤其可以使用马尔科夫链蒙特卡罗方法以及基于变异的或其他贝叶斯推导方法。以这种方式,通过训练获得的、关于学习参数及其值分布的信息可以有利地被再次用于配置亚类型识别模块。
此外,可以根据第一和/或第二神经网络模块的训练参数来设置亚类型识别模块的配置参数。训练参数可以是超参数和控制训练的其他参数和/或通过训练获得的参数。
此外,在根据本发明的配置方法以及根据本发明的图像评估方法中,第一神经网络模块、第二神经网络模块和/或亚类型识别模块可以包括人工神经网络、递归神经网络、卷积神经网络、多层感知器、贝叶斯神经网络,自编码器、深度学习架构、支持向量机、数据驱动的可训练回归模型、k近邻分类器、物理模型和/或决策树。
附图说明
下面根据附图详细阐述本发明的实施例。在此,分别以示意图说明:
图1示出根据本发明的图像评估装置的配置,并且
图2示出借助所配置的图像评估装置对图像进行评估。
具体实施方式
图1示出根据本发明的图像评估装置BA的配置,图像评估装置用于识别成像到待评估的图像上的对象,并且特别是用于得出相应成像的对象的对象类型和对象亚类型。
图像评估装置BA具有一个或多个处理器PROC,以执行图像评估装置BA的方法步骤和具有一个或多个与处理器PROC耦联的存储器MEM,以存储待由图像评估装置BA处理的数据。
在当前的实施例中,作为本发明的示例性应用而描述有医学图像评估装置BA,其用于评估作为待识别对象的生物细胞的显微图像记录。根据细胞的一个或多个图像,应将其细胞类型作为对象类型来得出以及将该细胞类型的发展阶段或细胞状态作为对象亚类型来得出。为此目的,如下所述,借助于机器学习方法来配置图像评估装置BA。
在该配置的范畴中,通过图像评估装置BA从数据库DB中读取大量预先分类的训练图像TPIC,在此为生物细胞的显微图像。分类在此表示:例如通过专家将训练图像TPIC分别事先与对象类型OT(即细胞类型)和对象亚类型OST(即发展阶段或细胞状态)相关联。相应的对象类型OT和对象亚类型OST分别可以用类型或亚类型标识的形式来说明并且按照与所涉及的训练图像TPIC的关联关系通过图像评估装置BA从数据库DB中读取。
读取的训练图像TPIC被馈入到图像评估装置BA的第一神经网络模块CNN中。在此,训练图像TPIC分别通过图像数据集来表示。第一神经网络模块CNN优选地包括形成深度卷积神经网络的卷积神经层。这种卷积神经网络(通常也称为Convolutional NeuralNetwork)特别适合于有效识别在馈入的图像内部的图像特征。这种图像特征尤其可以说明包含在图像中的边、角、面或其他的几何特性、特别是局部的几何特性或图像元素之间的关系。
第一神经网络模块CNN应训练成,提取馈入的图像的特别适合于对象类型识别的图像特征或将其作为输出数据来生成。在此,相应馈入的图像的图像特征通过第一神经网络模块CNN的分别由此产生的输出数据集来表示。因此,其输出数据集可以理解为图像数据,该图像数据被缩减到对于对象类型识别而言基本的图像特征。这样的图像特征通常被称为“特征”(Feature)。
为了该训练,通过第一神经网络模块CNN从训练图像TPIC生成的训练输出数据集FEA被馈入到图像评估装置BA的第二神经网络模块MLP中。相应的训练输出数据集FEA在此分别由对相应的训练图像TPIC的处理来产生。
优选地,第二神经网络模块MLP包括多层感知器(MLP:Multi Layer Perceptron)。这种感知器MLP特别适用于分类任务,在此适用于根据图像特征对对象进行分类。
第一和第二神经网络模块CNN和MLP一起形成一个深度神经网络DNN。借此,神经网络CNN和MLP尤其也可以理解为更高级的深度神经网络DNN的子网络。
根据本发明,第二神经网络模块MLP应被训练为,根据合适的图像特征来识别预设的对象类型OT。
为了实现第一神经网络模块CNN和第二神经网络模块MLP的上述训练目标,这两个网络模块CNN和MLP一起被训练。在此寻求:通过第二神经网络模块MLP从馈入的训练输出数据集FEA生成的训练输出数据集OOT尽可能精确地复现与馈入的训练图像TPIC事先相关联的对象类型OT。第二神经网络模块MLP的相应的训练输出数据集OOT在此分别由对相应的训练图像TPIC的处理来产生。
将“训练”普适地理解为对参数化的系统模型(例如神经网络)的输入数据集(在此为TPIC)到其输出数据(在此到训练输出数据集OOT)的映射的优化。在训练阶段期间,根据预设的、学习的和/或待学习的标准对该映射进行优化。例如在分类模型中,分类误差、分析误差和/或预测误差可以作为标准被使用。在当前情况下,通过对网络模块CNN和MLP的共同训练来寻求:训练输出数据集OOT尽可能频繁地和/或尽可能良好地与事先相关联的对象类型OT一致。
为此目的,通过训练设置网络模块CNN和MLP的学习参数,使得由第二神经网络模块MLP作为对象类型输出的训练输出数据集OOT尽可能良好地复现该训练图像TPIC的预设的对象类型OT。在此,学习参数可以包括例如网络模块CNN和MLP的神经的联网结构和/或这些神经之间的连接的权重。
所寻求的对学习参数的优化可以例如通过如下方式来实现:按适当的度量得出训练输出数据集OOT和与其对应的、预设的对象类型OT之间的偏差D。在此,偏差D代表神经网络DNN的分类误差。如果训练输出数据集OOT和预设的对象类型通过矢量表示,则偏差D可以例如被确定为这些矢量的多维欧式距离或加权距离。如图1中通过虚线箭头所示,所得出的偏差D被反馈回神经网络DNN,即,被反馈回网络模块CNN和MLP的共同训练。
根据反馈回的偏差D训练神经网络DNN,以将该偏差D最小化,即通过输出的对象类型OOT尽可能良好地复现预设的对象类型OT。为此,可以通过标准优化方法来改变学习参数,直到偏差D最小或接近最小为止。例如,为了最小化可以使用梯度下降法。大量机器学习的标准方法均可用于执行上述优化。
通过上述共同训练,一方面,第一网络模块CNN被训练为识别或生成特别良好地适于对象类型识别的图像特征,并且另一方面,第二网络模块MLP被同时训练为根据该图像特征得出所属的对象类型。
网络模块CNN和MLP的这种数据驱动训练形式通常可以非常成功地应用于分类问题,对于该问题有大量的训练图像可用。但是,正如前文已经提到的那样,并不少见的是:尤其对于罕见对象类型的对象亚类型的识别来说,用于有效训练深度神经网络的可用的相关训练图像过少。
出于该理由,对于对象亚类型的确定,根据本发明使用概率分类器代替第二神经网络模块MLP作为特定于对象类型的亚类型识别模块。通常,这种概率分类器还可以根据相对少量的参考数据执行分类。例如,根据参考数据可以得出相应的对象亚类型存在的相应概率,并且可以输出具有高或最高概率的对象亚类型作为分类结果。
通过相应的亚类型识别模块对图像进行亚类型分类根据该图像的分类相关的图像特征来执行,已训练的第一神经网络模块CNN一定程度再次用于该图像特征的生成。已训练的第一神经网络模块CNN的这种再次使用在图1中通过虚线箭头示出。
有利地,针对每个对象类型分别专门配置自有的亚类型识别模块,以根据图像特征识别对象亚类型。
为此目的,将训练图像TPIC(OT、OST)输送给图像评估装置BA的分配模块SPL,并且根据分别相关联的对象类型(此处为OT1、OT2、……)由分配模块分配到特定于对象类型的配置管线上。为了清楚起见,在图1中仅明确给出两种对象类型OT1和OT2。
因此,与对象类型OT1相关联的训练图像TPIC(OT1、OST)输送给已训练的第一神经网络模块CNN,第一神经网络模块由此生成特定于对象类型OT1的图像特征FEA1作为训练输出数据集。相应的训练图像TPIC(OT1、OST)的图像特征FEA1关联于该训练图像的对象亚类型OST,并且按该关联关系传输至作为亚类型识别模块的、特定于对象类型OT1的概率分类器BMLP1。根据这些对象关联关系,概率分类器BMLP1被配置用于识别该对象类型OT1的对象亚类型。
概率分类器BMLP1优选地构成为贝叶斯神经网络。有利地,贝叶斯神经网络具有在神经或相对应的架构之间的、与第二神经网络模块MLP对应的链接结构。在当前的实施例中,概率分类器BMLP1因此实施为多层贝叶斯感知器。
概率分类器BMLP1的配置例如可以如下地实现,对象类型OT1的所有或几乎所有训练图像TPIC(OT1、OST)的特定于对象类型的图像特征FEA1按与相应的训练图像的相应的对象亚类型OST的关联关系存储在概率分类器BMLP1中。这在罕见对象类型OT1的情况下需要相对小的存储开销。此外,与在常规神经网络训练不同,由此基本上保留关于图像特征和对象亚类型的关联关系的每个训练信息。
借助于如此配置的概率分类器BMLP1,为了识别对象亚类型,例如可以用简单的方式将待分类的图像的图像特征与该对象类型的所有存储的图像特征进行比较,并且得出具有最小或小偏差的对象亚类型作为分类结果。相反,由于通常极大量的训练图像,一般不能以可接受的开销来将这种比较扩展为横跨所有训练图像的、即横跨常见的对象类型。
替选地或附加地,根据图像特征FEA1与对象亚类型OST的关联关系得出图像特征FEA1和对象亚类型OST之间的统计相关性,并且通过特定于对象的相关性参数CP1来说明或表示。根据这些相关性或相关性参数CP1可以配置概率分类器BMLP1。为此目的,可以使用大量已知的标准方法,通过这些方法从相关性得出对于配置贝叶斯神经网络所必需的条件概率、不确定性和/或概率图作为配置参数。
此外,特别是在对细胞类型的发展阶段进行分类时,关于发展阶段的必要的或可能的序列的序列信息可以通过概率分类器BMLP1评估为在亚类型识别中的附加信息或辅助条件。优选地,根据序列信息在配置概率分类器BMLP1时执行所谓的有序回归。
另外,可以从第二神经网络模块MLP的通过训练设置的学习参数(即在此从神经连接的已优化的权重和/或从其统计分布)推导出概率分类器BMLP1的相关性参数CP1的所谓的先验分布AD。以该方式,如图1中通过虚线箭头所示,第二神经网络模块MLP的学习参数以及其他训练参数可以用作为用于配置概率分类器BMLP1的超参数HP。
对于对象类型OT2且可能也对于其他对象类型,类似地执行上面专门关于对象类型OT1描述的方法方式,以便以该方式配置图像评估装置BA的一个或多个其他的特定于对象的亚类型识别模块BMLP2、……,以识别所涉及的对象类型之内的对象亚类型。
借助于上述的已训练和已配置的图像评估装置BA,现在应评估新记录的和/或尚未分类的图像。
图2示出借助于已训练和已配置的图像评估装置BA对对象OBJ的图像PIC进行的这种评估。只要在图2中使用与图1中相同的附图标记,就表示相同的实体。
在本实施例中,所记录的对象OBJ是生物细胞,通过已配置的图像评估装置BA应识别生物细胞的细胞类型作为对象类型并且识别其发展阶段作为对象亚类型。待评估的图像PIC借助于设有照相机的显微镜MIC来拍摄。
所记录的图像PIC由图像评估装置BA读取并且被馈入到已训练的第一神经网络模块CNN中。已训练的第一神经网络模块CNN从图像PIC生成输出数据集FEA,输出数据集根据上述训练目标优选包括尤其良好适于对象类型识别的图像特征。从已训练的第一神经网络模块CNN生成的输出数据集FEA由已训练的第一神经网络模块CNN馈入到已训练的第二神经网络模块MLP中。已训练的第二神经网络模块MLP从第一神经网络模块CNN的输出数据集FEA推导出输出数据集,输出数据集根据上述训练目标应当尽可能正确地说明所记录的对象OBJ的对象类型。当前的实施例中假设:已训练的第二神经网络模块MLP的输出数据集说明对象OBJ的对象类型OT1。
从已训练的第一神经网络模块CNN生成的图像特征FEA以及所得出的对象类型OT1被传输给图像评估装置BA的选择模块SEL。选择模块SEL与相应的特定于对象配置的概率分类器BMLP1、BMLP2、……耦联,并且用于根据分别推导出的对象类型选择概率分类器BMLP1、BMLP2、……之一。在当前的实施例中,将OT1作为对象类型得出,因此,通过选择模块SEL选择特定于对象类型OT1的概率分类器BMLP1。
此外,如图2中通过虚线箭头所示,图像特征FEA从选择模块SEL专门被传输给所选择的概率分类器BMLP1。所选择的分类器BMLP1将图像特征FEA根据其相关性参数CP1和/或通过比较来与第一神经网络模块CNN的所存储的训练输出数据集或图像特征相关联。在此,优选地得出如下对象亚类型,其根据相关性参数CP1与图像特征FEA最佳相关,即具有最大或足够大的相关性。替选地或附加地,可以确定图像特征FEA与第一神经网络模块CNN的所存储的训练输出数据集或图像特征之间的间距。在这种情况下,可以得出如下对象亚类型,与该对象亚类型相关的训练输出数据集具有最小或足够小的间距。以上述方式得出的对象亚类型可以被理解为对象OBJ的最可能的对象亚类型OST。
通过已训练的第二神经网络模块MLP得出的对象类型OT1和在此通过分类器BMLP1得出的对象亚类型OST最终通过图像评估装置BA作为对象OBJ的分类结果输出。
通过将分类任务划分为数据驱动的对象类型识别(通常也称为大数据方案)和也适于少量训练数据(小数据)的概率对象亚类型识别,通常可以显著改进识别可靠性。这尤其适用于识别罕见对象类型的对象亚类型。
除了上述在医学诊断中的应用之外,根据本发明的配置方法和/或图像评估方法还可以在许多其他工程领域中用于对所成像的对象进行高效分类。因此,例如用于对工程或非工程系统的光学监控(诸如生产设施或农业地区的光学监控),用于自主系统的光学传感装置或还用于普通的光学分类任务。
Claims (12)
1.一种用于配置图像评估装置(BA)以得出所成像的对象(OBJ)的对象类型和对象亚类型(OST)的方法,其中,
a)将多个分别与对象类型和对象亚类型(OST)相关联的训练图像(TPIC)馈入到第一神经网络模块(CNN)中,以识别图像特征,
b)将所述第一神经网络模块(CNN)的训练输出数据集馈入到第二神经网络模块(MLP)中,以根据图像特征识别对象类型,
c)所述第一神经网络模块和所述第二神经网络模块共同地训练为:所述第二神经网络模块(MLP)的训练输出数据集复现与所述训练图像(TPIC)相关联的对象类型,和,
d)对于相应的对象类型:
-将与该对象类型相关联的训练图像(TPIC)馈入到已训练的所述第一神经网络模块(CNN)中,
-将所述第一神经网络模块的针对相应的训练图像(TPIC)生成的训练输出数据集与所述相应的训练图像(TPIC)的对象亚类型(OST)相关联,并且
-根据亚类型关联关系,为所述图像评估装置(BA)配置亚类型识别模块,以根据图像特征识别对象亚类型(OST),将概率分类器用作所述亚类型识别模块,根据已训练的所述第二神经网络模块(MLP)的学习参数得出所述概率分类器的配置参数的先验分布。
2.根据权利要求1所述的方法,其特征在于,根据所述亚类型关联关系推导出关于图像特征与对象亚类型(OST)之间的相关性的相关性参数,并且根据所述相关性参数配置所述亚类型识别模块。
3.根据权利要求1或2所述的方法,其特征在于,所述亚类型识别模块具有对应于所述第二神经网络模块(MLP)的链接结构。
4.根据权利要求1或2所述的方法,其特征在于,待针对对象类型识别的对象亚类型(OST)形成通过预设的序列信息具化的有序序列,并且,根据所述序列信息配置所述亚类型识别模块。
5.根据权利要求4所述的方法,其特征在于,在配置所述亚类型识别模块时根据所述序列信息执行序数回归。
6.根据权利要求1或2所述的方法,其特征在于,根据所述第一神经网络模块(CNN)和/或所述第二神经网络模块(MLP)的训练参数来设置所述亚类型识别模块的配置参数。
7.一种用于得出所成像的对象(OBJ)的对象类型和对象亚类型(OST)的图像评估方法,其中,
a)将待评估的图像馈入根据权利要求1至6中任一项所述的方法训练的第一神经网络模块(CNN)中,
b)将已训练的所述第一神经网络模块(CNN)的结果输出数据集馈入到根据权利要求1至6中任一项所述的方法训练的第二神经网络模块(MLP)中,
c)从已训练的所述第二神经网络模块(MLP)的结果输出数据集推导出对象类型,
d)选择专门用于推导出的对象类型的、根据权利要求1至6中任一项所述的方法配置的亚类型识别模块,
e)通过所选择的所述亚类型识别模块得出与已训练的所述第一神经网络模块(CNN)的所述输出数据集相关的对象亚类型(OST),并且
f)输出推导出的对象类型以及所得出的对象亚类型(OST)。
8.根据权利要求7所述的图像评估方法,其特征在于,在得出关联的所述对象亚类型(OST)时,得出已训练的所述第一神经网络模块(CNN)的所述输出数据集与所述第一神经网络模块(CNN)的多个存储的训练输出数据集之间的相应间距,
选择训练输出数据集,该训练输出数据集具有与另一训练输出数据集相比的更小的间距,并且
将与所选择的训练输出数据集相关联的对象亚类型作为关联的对象亚类型(OST)得出。
9.根据权利要求7或8所述的图像评估方法,其特征在于,
所述第一神经网络模块(CNN)、所述第二神经网络模块(MLP)和/或所述亚类型识别模块包括人工神经网络、递归神经网络、卷积神经网络、多层感知器、贝叶斯神经网络,自编码器、深度学习架构、支持向量机、数据驱动的可训练回归模型、k近邻分类器、物理模型和/或决策树。
10.一种用于得出所成像的对象(OBJ)的对象类型和对象亚类型(OST)的图像评估装置(BA),设计用于执行根据权利要求1至9中任一项所述的方法。
11.一种计算机程序产品,设置用于执行根据权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质,具有根据权利要求11所述的计算机程序产品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18197650.7A EP3629242B1 (de) | 2018-09-28 | 2018-09-28 | Verfahren zum konfigurieren einer bildauswerteeinrichtung sowie bildauswerteverfahren und bildauswerteeinrichtung |
EP18197650.7 | 2018-09-28 | ||
PCT/IB2019/057772 WO2020065436A1 (de) | 2018-09-28 | 2019-09-16 | Verfahren zum konfigurieren einer bildauswerteeinrichtung sowie bildauswerteverfahren und bildauswerteeinrichtung |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112840352A CN112840352A (zh) | 2021-05-25 |
CN112840352B true CN112840352B (zh) | 2024-07-23 |
Family
ID=63713690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980063209.3A Active CN112840352B (zh) | 2018-09-28 | 2019-09-16 | 配置图像评估装置的方法和图像评估方法及图像评估装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220012531A1 (zh) |
EP (1) | EP3629242B1 (zh) |
JP (1) | JP7441830B2 (zh) |
CN (1) | CN112840352B (zh) |
WO (1) | WO2020065436A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554356B (zh) * | 2021-09-18 | 2023-06-20 | 中国地质大学(武汉) | 基于多模型融合的人口分布估计方法、装置及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532915B2 (ja) * | 2004-01-29 | 2010-08-25 | キヤノン株式会社 | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
EP1828961A2 (en) * | 2004-12-17 | 2007-09-05 | Koninklijke Philips Electronics N.V. | Method and apparatus for automatically developing a high performance classifier for producing medically meaningful descriptors in medical diagnosis imaging |
CN105849274B (zh) * | 2013-10-28 | 2020-01-21 | 分子装置有限公司 | 用于显微图像中的单独细胞的分类和识别的方法和系统 |
AU2015261891A1 (en) * | 2014-05-23 | 2016-10-13 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
US10417525B2 (en) * | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
US20170262996A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Action localization in sequential data with attention proposals from a recurrent network |
US10572996B2 (en) * | 2016-06-28 | 2020-02-25 | Contextvision Ab | Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide |
WO2018052587A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for cell image segmentation using multi-stage convolutional neural networks |
US10846566B2 (en) * | 2016-09-14 | 2020-11-24 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
WO2018140014A1 (en) * | 2017-01-25 | 2018-08-02 | Athelas, Inc. | Classifying biological samples using automated image analysis |
WO2018165620A1 (en) * | 2017-03-09 | 2018-09-13 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for clinical image classification |
CN108564123B (zh) * | 2018-04-10 | 2021-11-02 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置 |
-
2018
- 2018-09-28 EP EP18197650.7A patent/EP3629242B1/de active Active
-
2019
- 2019-09-16 WO PCT/IB2019/057772 patent/WO2020065436A1/de active Application Filing
- 2019-09-16 CN CN201980063209.3A patent/CN112840352B/zh active Active
- 2019-09-16 JP JP2021517208A patent/JP7441830B2/ja active Active
- 2019-09-16 US US17/280,863 patent/US20220012531A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
Also Published As
Publication number | Publication date |
---|---|
US20220012531A1 (en) | 2022-01-13 |
JP7441830B2 (ja) | 2024-03-01 |
EP3629242B1 (de) | 2024-07-03 |
EP3629242A1 (de) | 2020-04-01 |
CN112840352A (zh) | 2021-05-25 |
WO2020065436A1 (de) | 2020-04-02 |
JP2022502767A (ja) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650508B2 (en) | Automatic defect classification without sampling and feature selection | |
CN110852983A (zh) | 用于检测半导体装置中的缺陷的方法 | |
CN111860236B (zh) | 一种基于迁移学习的小样本遥感目标检测方法及系统 | |
Fathy et al. | Learning with imbalanced data in smart manufacturing: A comparative analysis | |
US20220374720A1 (en) | Systems and methods for sample generation for identifying manufacturing defects | |
CN111325260B (zh) | 数据处理方法及装置、电子设备、计算机可读介质 | |
US20220051138A1 (en) | Method and device for transfer learning between modified tasks | |
US20200202210A1 (en) | Systems and methods for training a neural network | |
US11481584B2 (en) | Efficient machine learning (ML) model for classification | |
WO2021147066A1 (en) | Method and apparatus for image classification | |
EP4068155A1 (en) | Systems and methods for identifying manufacturing defects | |
CN112836103A (zh) | 用于基于ki地运行自动化系统的方法和设备 | |
WO2020147957A1 (en) | System and method for generating a mask for object instances in an image | |
CN112613617A (zh) | 基于回归模型的不确定性估计方法和装置 | |
JP7392488B2 (ja) | 遺留物誤検出の認識方法、装置及び画像処理装置 | |
CN115205279A (zh) | 检验半导体样本的系统和方法 | |
CN112840352B (zh) | 配置图像评估装置的方法和图像评估方法及图像评估装置 | |
CN110163206B (zh) | 车牌识别方法、系统、存储介质和装置 | |
US20220019890A1 (en) | Method and device for creating a machine learning system | |
US20220300805A1 (en) | Device and method for defect inspection based on explainable artificial intelligence | |
JP2021033564A (ja) | 画像分類方法、画像分類装置および画像分類プログラム | |
US20190370588A1 (en) | Estimating grouped observations | |
CN113496251A (zh) | 确定用于识别图像中的物体的分类器的装置、识别图像中的物体的装置和相应方法 | |
US20230260259A1 (en) | Method and device for training a neural network | |
CN111507396A (zh) | 缓解神经网络对未知类样本产生错误分类的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |