CN108352069A - 自动核分割 - Google Patents
自动核分割 Download PDFInfo
- Publication number
- CN108352069A CN108352069A CN201680065655.4A CN201680065655A CN108352069A CN 108352069 A CN108352069 A CN 108352069A CN 201680065655 A CN201680065655 A CN 201680065655A CN 108352069 A CN108352069 A CN 108352069A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- score
- global
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 70
- 230000004069 differentiation Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 31
- 238000003860 storage Methods 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000004087 circulation Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 210000003626 afferent pathway Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
- G16B40/20—Supervised data analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Biotechnology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
自动核分割。在实施方案中，确定数字图像中的多个超像素。对于所述超像素中的每一者，识别位于所述超像素的搜索半径内的任何超像素，并且对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一局部组合，确定所述局部组合的局部得分。基于所述所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
Description
对相关申请的交叉参考
本申请要求2015年12月15日提交的标题为“Automatic Nuclear Segmentation”的美国临时专利申请号62/267,775的优先权，所述临时专利申请的全部内容在此以引用的方式并入本文。
技术领域
本文描述的实施方案一般针对于数字成像中的自动分割，并且在一个实施方案中，针对于数字病理学中的自动核分割。
背景技术
在用于识别数字图像中的对象的分割任务中，以比个别像素的层级更高的层级进行操作常常是有利的。这可以通过根据类似性规则将个别像素聚类成实体(所谓的“超像素”)来实现。因为超像素的数目比图像中的像素的原始数目小得多，所以与对个别像素的操作相比，可以快得多地并且以更低的存储器要求来执行对超像素的后续操作。
可以使用专用的超像素算法或者通过将正常分割算法设定成过度分割而以不同的成功度实现此聚类任务。专用的超像素算法的实例包含：
·快速移位，在Vedaldi等的“Quick shift and kernel methods for modeseeking”(Lecture Notes in Computer Science(包含其子系列Lecture NotesArtificial Intelligence and Lecture Notes in Bioinformatics)，vol.5305LNCS,no.PART 4，第705页-第718页(2008))中进行了描述，所述文献在此以引用的方式并入本文；
·经由能量驱动的取样而提取的超像素(SEEDS)，在Van Den Bergh等的“SEEDS:Superpixels Extracted via Energy-Driven Sampling”(2013)中进行了描述，所述文献在此以引用的方式并入本文；以及
·简单线性迭代聚类(SLIC)超像素，在Achanta等的“SLIC superpixelscompared to state-of-the-art superpixel methods”(IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.34,no.11，第2274页-第2281页(2012))中进行了描述，所述文献在此以引用的方式并入本文。
正常分割算法的实例是分水岭算法，在Vincent等的“Watersheds in digitalspaces:an efficient algorithm based on immersion simulations”(IEEETransactions on Pattern Analysis and Machine Intelligence,vol.13(1991))中进行了描述，所述文献在此以引用的方式并入。
通常，分割的最终目标是识别在被分割的图像中存在的对象。在基于超像素的分割中，传统上已经通过使用聚类算法(例如，分层聚类)将个别超像素聚类成对象来实现此目标。在Jain等的“Learning to agglomerate superpixel hierarchies”(Advances inNeural Information Processing Systems，第1页-第9页(2011))和Nunez-Iglesias等的“Machine Learning of Hierarchical Clustering to Segment 2D and 3D images”(Public Library of Science(PLoS)One,vol.8,no.8(2013))中描述了分层聚类，所述文献在此以引用的方式并入本文。分层聚类将彼此类似的超像素连成对象，这与将个别像素连成超像素的方式类似。然而，对于仅可以通过连接不同的超像素来恰当聚类的对象，此方法将失效。
发明内容
公开了自动核分割的实施方案。
在实施方案中，公开了一种方法。所述方法包括使用至少一个硬件处理器来进行以下操作：确定数字图像中的多个超像素；对于所述多个超像素中的每一者，识别位于所述超像素的搜索半径内的任何超像素，并且，对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一的局部组合，确定所述局部组合的局部得分；以及基于所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
在另一实施方案中，公开了一种系统。所述系统包括：至少一个硬件处理器；以及一个或多个软件模块，所述一个或多个软件模块在由所述至少一个硬件处理器执行时确定数字图像中的多个超像素；对于所述多个超像素中的每一者，识别位于所述超像素的搜索半径内的任何超像素，并且，对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一的局部组合，确定所述局部组合的局部得分；以及基于所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
在另一实施方案中，公开了一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有指令。所述指令在由处理器执行时致使所述处理器进行以下操作：确定数字图像中的多个超像素；对于所述多个超像素中的每一者，识别位于所述超像素的搜索半径内的任何超像素，并且，对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一的局部组合，确定所述局部组合的局部得分；以及基于所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
附图说明
可以部分通过研究附图来搜集本发明的关于其结构和操作的细节，在附图中，相同的参考数字是指相同的部分，并且其中：
图1说明根据实施方案的自动核分割的过程；
图2A说明根据实施方案的超像素产生的实例；
图2B说明根据实施方案的可以如何对超像素的组合进行评分的实例；
图2C说明根据实施方案的全局优化的实例；
图3A和图3B说明根据实施方案的可以如何根据搜索半径来选择可能的超像素组合的实例；
图4A至图4D说明根据实施方案的可以如何确定局部超像素组合的全局集合的简化实例；以及
图5说明根据实施方案的处理系统，可以在所述处理系统上执行本文描述的过程中的一者或多者。
具体实施方式
公开了用于自动核分割的系统、方法和非暂时性计算机可读介质的实施方案。有利的是，某些实施方案可以使用(例如)机器学习技术和全局优化来准确地组合超像素，而不管超像素是类似的还是不同的。虽然在核分割的背景下公开了这些实施方案，但它们可以适用于其它类型的对象分割。
在阅读了此描述之后，本领域技术人员将了解如何实施替代性实施方案和替代性应用。然而，虽然将在本文描述各种实施方案，但应理解，仅通过实例和说明的方式而非限制地呈现这些实施方案。因此，不应将对各种实施方案的此详细描述理解为限制本申请的范围或广度，在所附权利要求书中陈述了本申请的范围或广度。
1.过程概述
将详细描述自动核分割的过程的实施方案。应理解，可以在由一个或多个硬件处理器执行的一个或多个软件模块中体现所描述的过程。可以将所描述的过程实施为以源代码、目标代码和/或机器代码表示的指令。这些指令可以直接由硬件处理器执行，或者替代地，可以由在目标代码与硬件处理器之间操作的虚拟机执行。
图1说明根据实施方案的自动核分割的过程100。开始于步骤110，接收数字图像。应理解，可以通过任何手段接收所述数字图像。举例来说，可以从本地存储器检索或者以其它方式接收数字图像，或者使用标准通信协议经由一个或多个网络从远程系统检索或者以其它方式接收数字图像。图像获取装置(例如，幻灯片扫描仪)可以在本地或远程地、同时或不同时地获取数字图像，并且所述数字图像可以包括标本(例如，病理标本)的图像(例如，使用荧光或其它照明成像)。
1.1.超像素产生
在步骤120中，产生数字图像的超像素。在实施方案中，将数字图像中的每个像素指派给超像素。可以使用如上文所论述的快速移位算法、SEEDS算法、SLIC超像素算法或被配置成用于过度分割的分水岭算法来产生超像素。然而，在核分割的优选实施方案中，使用曲率分割技术来产生超像素。曲率分割技术往往会产生良好适合于核分割的超像素的类型。
在曲率分割技术的实施方案中，将曲率图像从原始图像的平滑版本近似为：
并且
I(x,y)是平滑的图像的坐标x,y处的强度值。图像中的高正曲率的区域用于标记超像素的边界。这些边界界定对象(例如，核)的过度分割和背景。
一旦已经将数字图像分割成超像素，在步骤130中，便可以丢弃背景超像素(即，可能不受关注的超像素，例如，这是因为它们不太可能表示所关注的对象的任何部分)。可以使用局部取阈值技术来丢弃这些背景超像素。
在局部取阈值技术的实施方案中，将高斯差(DoG)技术用作大对象检测器，以使对象(例如，核)与背景超像素分离。然而，可以使用任何类型的局部取阈值技术来实现相同或类似的结果。在DoG技术中，使用不同宽度的两个高斯内核来平滑图像的缩小版本。将差图像中的正像素用作掩模来识别表示对象(例如，核)的超像素。在数学上，可以将DoG操作概括成：
其中是两个高斯函数的方差。
取阈值技术的结果是，将把数字图像中的所关注对象内的每个像素指派给超像素，使得每个超像素表示所关注对象的至少一部分，并且每个所关注对象是由一个或多个超像素构成。应理解，在步骤130中，可以使用除了取阈值技术之外的方法以作为取阈值技术的代替或补充，从而减小在过程100的后续步骤中必须考虑的超像素的数目。
图2A说明根据实施方案的超像素产生的实例。具体来说，将最左边图像中的细胞核的数字图像分割成超像素，如最右边图像中所示。如所说明，这些超像素中的一些超像素可以表示细胞核的一部分，而这些超像素中的其它超像素可以表示整个细胞核。因此，在超像素产生之后，通过未在步骤130中被取阈值和/或其它技术丢弃的一个或多个超像素来表示数字图像中的每个细胞核。
1.2.机器学习
在实施方案中，可以训练机器学习算法以预测超像素的特定组合是否可能表示所关注对象(例如，细胞核)。可以使用一组被注释的测试图像来训练机器学习算法。举例来说，专家可以例如通过在一组测试图像中的每个对象(例如，核)周围绘制外形或者以其它方式限定所述组测试图像中的测试图像中的每一者中的每个对象来对所述对象进行注释，而识别所述对象。在被设计成用于核分割的实施方案中，所述组测试图像可以包括以一定范围的密度(即，多个密度)和一定范围的光学放大率(即，多个光学放大率)成像的不同类型的核(例如，荧光标记的核)。
可以向所述组测试图像中的每个被注释的图像应用步骤110-130，以产生每个被注释的图像的多个超像素。对于每个被注释的图像，过程100针对在步骤130之后剩余的超像素中的每一者来迭代步骤140至160，即，直到已经考虑所有超像素为止。此外，过程100针对正在考虑的当前超像素与当前超像素的搜索半径R内的超像素的每个可能的组合来迭代步骤150和160。当前超像素与当前超像素的搜索半径R内的一个或多个超像素的任何可能的组合在本文可以被称作“局部组合”。在实施方案中，如本文所使用，局部组合还可以包含孤立的当前超像素，即，不需要与当前超像素的搜索半径R内的任何超像素组合。
在步骤140中，确定是否仍将考虑任何超像素。以此方式，过程100可以考虑在步骤130之后留下的每个超像素。一旦已经考虑所有超像素(即，步骤140处的“否”)，过程100前进到步骤170。否则(即，步骤140处的“是”)，过程100指派下一个超像素以视为当前超像素，并且前进到步骤150。
在步骤150中，确定当前超像素是否仍有任何可能的局部组合。以此方式，过程100可以考虑在步骤130之后剩余的每个超像素的每个可能的局部组合。然而，出于效率起见，可以丢弃超像素的冗余或非唯一的组合。举例来说，如果已经在超像素A的迭代期间考虑了超像素A与超像素B的组合，那么随后不需要在超像素B的迭代期间考虑超像素B与超像素A的组合。一旦已经考虑所有唯一可能的局部组合(即，在当前超像素的搜索半径R内)(即，步骤150处的“否”)，那么过程100返回到步骤140。否则(即，步骤150处的“是”)，过程100确定针对当前超像素的要考虑的下一个可能的局部组合，并且前进到步骤160。
在实施方案中，搜索半径R是距当前超像素的中心的半径。此外，在实施方案中，基于在步骤110中接收的数字图像中的核的预期半径或直径和/或在步骤110中接收的数字图像的分辨率或缩放水平来设定搜索半径R。举例来说，可以将搜索半径R设定成数字图像中的所关注核的预期直径的两倍。这可以确保考虑到可以切实地表示核的超像素的所有可能的组合，甚至在数字图像中的核的大小广泛变化时也如此。然而，应理解，这仅仅是一个实例，并且可以根据任何特定实现方式的设计目标来设定搜索半径R。另外，搜索半径R可以是系统指定或用户指定的值(例如，由用户经由用户接口输入)，或者可以基于系统指定或用户指定的值(例如，针对预期的核半径或直径的系统指定或用户指定的值的倍数，或者以其它方式从预期的核半径或直径导出)。还可以基于数字图像的分辨率或缩放水平(这可以是用户指定的设定、系统设定、与数字图像一起接收的参数，或从数字图像的元数据检索得到的参数)将搜索半径R从一个度量(例如，μm)转换成像素数目。以此方式，可以通过来自正在考虑的当前超像素的像素的数目来表示搜索半径R。
图3A和图3B说明根据实施方案的可以如何根据搜索半径R来确定可能的超像素组合的实例。在图3A和图3B中的每一者中，细虚线表示数字图像中的对象(例如，核)，粗虚线表示搜索半径R，并且所标记的实线椭圆中的每一者表示超像素。在图3A中，处于搜索半径R的中心的超像素A表示在步骤140中选择的当前超像素，而在图3B中，处于搜索半径R的中心的超像素D表示在步骤140中选择的当前超像素。
在实施方案中，考虑至少部分在搜索半径R内的所有超像素与正在考虑的当前超像素进行可能的组合。在此实施方案中，在图3A中，其中超像素A是当前超像素，将考虑超像素B、C、D、E和G与超像素A进行可能的组合，这是因为所有这些超像素至少部分在搜索半径R内。在图3B中，其中超像素D是当前超像素，将考虑超像素A、B、C、E、G、J和L与超像素D进行可能的组合，这是因为所有这些超像素至少部分在搜索半径R内。通过不同的实现方式，如果超像素的任何部分在搜索半径R内，如果超像素的特定百分比在搜索半径R内，如果超像素的中心在搜索半径R内等，那么所述超像素可以是至少部分在搜索半径R内。
在替代性实施方案中，仅考虑完全在搜索半径R内的超像素与正在考虑的当前超像素进行可能的组合。参看图3A，其中超像素A是当前超像素，在此实施方案中，将考虑超像素B、C和D与超像素A进行可能的局部组合，这是因为这些超像素完全在搜索半径R内，而将不考虑超像素E和G进行可能的局部组合，这是因为这些超像素仅部分在搜索半径R内。在此实施方案中，将考虑超像素A的以下唯一局部组合中的每一者：A、AB；ABC；ABD；ABCD；AC；ACD；以及AD。此外，参看图3B，其中超像素D是当前超像素，将考虑超像素A、C和G与超像素D进行可能的局部组合。因此，可以考虑超像素D的以下唯一局部组合中的每一者：D、DA；DAC；DAG；DACG；DC；DCG；以及DG。然而，如果在超像素A是当前超像素之后超像素D是当前超像素，那么为了增加效率，可以跳过组合DA和DAC，这是因为这些组合对于在超像素A是当前超像素时所考虑的组合AD和ACD来说是冗余的。
在步骤160中，确定当前超像素的每个可能的局部组合的得分(即，单独地，或者与搜索半径R内的一个或多个其它超像素)。在实施方案中，得分表示超像素的特定局部组合表示所关注对象(例如，核)的相对可能性。举例来说，在实施方案中，具有较低得分的超像素的局部组合比具有更高得分的超像素的局部组合更不可能表示所关注对象。然而，应理解，在替代性实施方案中，可以使用较低得分来表示超像素的局部组合有较高可能性表示所关注对象，并且可以使用较高的得分来表示超像素的局部组合有较低可能性表示所关注对象。
图2B说明根据核分割的实施方案的可以如何对超像素的组合进行评分的实例。如所说明，四个超像素的第一可能的组合产生得分4.07，而三个超像素的第二可能的组合产生得分2.85。因此，在此实例中，第一可能的组合比第二可能的组合更可能表示所关注的核。值得注意的是，第一组合比第二组合更圆，并且第二组合包括间隙。因此，直观上，第一组合的得分应高于第二组合，这是因为第一组合更接近地类似于典型的核的形状。
可以基于可能性度量来对超像素的每个局部组合进行评分，所述可能性度量对特定局部组合表示所关注对象(例如，核)的可能性进行定量。每个局部组合的“局部得分”可以包括所述可能性度量、由所述可能性度量组成，或者由所述可能性度量导出。
在实施方案中，所述可能性度量包括Dice指数。可以将Dice指数计算成：
其中M表示组成人工注释的核的集合，A表示对应于那个核的像素的自动检测的集合，并且M∩A是M和A的交集。Dice指数的值的范围是从零(表示A和M之间不重叠)到一(表示A和M之间完美重叠)。
替代地，形状类似性的其它量度(例如，Hausdorff距离)，或不同量度的组合可以用作所述可能性度量。在任何情况下，可以针对来自被注释的测试图像的集合的超像素与其共享最多重叠的被注释的对象(例如，核)来计算超像素的任何特定局部组合的可能性度量。如果不存在此类对象，那么可以将为零的局部得分指派给特定局部组合。
在实施方案中，可以使可能性度量乘以特定局部组合中的超像素的数目以获得局部得分，所述局部得分表示超像素的局部组合表示来自被注释的测试图像的集合的所关注对象(例如，核)的总可能性。举例来说，在将Dice指数用作可能性度量的实施方案中，可以将Dice指数为4.00并且由四个超像素组成的局部组合的局部得分计算为16.00(即，4.00×4)。
在实施方案中，将在步骤160中计算出的被注释的测试图像的集合中的超像素的每个组合的局部得分用于训练随机森林回归算法或其它回归或机器学习算法，以预测超像素的任何局部组合的局部得分(例如，基于Dice指数或其它可能性度量)。此预测可以基于针对局部组合而计算出的一连串几何或数字特征。举例来说，可以产生每个局部组合的特征向量。每个特征向量可以包括表示局部组合的几何属性(例如，圆度、归一化矩等)的多个值。应理解，在替代性实施方案中，可以采用其它机器学习算法，例如支持向量机、神经网络等。另外，可以将机器学习算法应用于超像素的局部组合的原始像素，而不是几何或数字特征。
在实施方案中，用于训练机器学习算法的几何特征是平移、旋转和尺度不变的特征。具体来说，这些特征可以包括凸性缺陷得分、偏心度、等周商、钝角比、实度、方度和/或七个Hu不变矩。可以将凸性缺陷得分界定为：
C＝e-d，
其中d是凸性缺陷的数目。
可以将凸性缺陷计算成局部组合与其凸包之间的偏差。可以将偏心度计算成：
其中a和b分别表示最佳拟合局部组合的椭圆的半长轴和半短轴的长度。可以将等周商界定为：
Q＝4πA/P2，
其中A是局部组合的面积，并且P是其周长。可以将钝角比计算成钝角与局部组合中的总角度的比率。可以将实度界定为其局部组合的面积与其凸包的面积的比率。可以将方度计算为：
S＝A/D2，
其中A是局部组合的面积，并且D是围住局部组合的边界框的最长尺寸。在实施方案中，可以如Hu的“Visual pattern recognition by moment invariants”(IRETransactions on Information Theory(1962)，第179页-第187页)中所描述来计算七个Hu不变矩，所述文献在此以引用的方式并入本文。在实施方案中，在训练和预测之前，所有特征通过减去平均值并且除以标准偏差而进行缩放和定心。
一旦已经训练了机器学习算法，便可以在步骤160中使用所述机器学习算法来预测数字图像中的超像素的任何可能的局部组合的局部得分。因此，例如，如果在步骤110中接收的数字图像是将要经由由步骤150和160构成的循环来处理(例如，而不是训练机器学习算法)的数字图像，那么对当前超像素的每个可能的局部组合进行评分。参看图3A，在其中仅考虑完全在搜索半径R内的超像素的实施方案中，将在步骤160中对局部组合A、AB、ABC、ABC、ABCD、AC、ACD和AD中的每一者进行评分。参看图3B，在其中仅考虑完全在搜索半径R内的超像素的实施方案中，将在步骤160中对局部组合D、DAG、DACG、DC、DCG和DG中的每一者进行评分。应注意，在此情况下，假设在超像素D之前考虑了超像素A，那么在步骤150和160中跳过局部组合DA和DAC，这是因为它们分别对于在步骤150和160的先前迭代中所考虑的局部组合AD和ACD来说是冗余的。
有利的是，上文描述的机器学习技术考虑到了依赖于超像素之间的类似性的量度的技术所未考虑到的局部组合。例如，通过使用搜索半径R而不是类似性量度，所公开的技术将考虑当前超像素与周围的超像素(可能包含非相邻的超像素)之间的组合，而不管那些超像素是否与当前超像素类似或不同。因此，与常规过程相比，所公开的过程不会遭受以下可能性：表示单个对象(例如，核)的两个超像素可能会由于它们的特征之间的不同而无法恰当地组合。
1.3.全局优化
如上文所论述，在实施方案中，在步骤160中确定的每个可能的局部组合的局部得分表示局部组合是所关注对象(例如，核)的可能性(例如，如在例如Dice指数等可能性度量中，乘以组合中的超像素的数目)。在过程100从步骤140转变到步骤170时，已经向超像素的这些局部组合中的每一者指派了局部得分。
在步骤170中，可以使用例如整数规划等优化技术来识别局部组合的全局最佳集合。在实施方案中，局部组合的每个全局集合是由在步骤130之后剩余的所有超像素组成，但在那些超像素如何连成超像素的局部组合方面不同于其它可能的全局集合中的每一者。
图4A至图4D说明根据实施方案的超像素的局部组合的全局集合的简化实例。为了易于阐释，图4A至图4D描绘仅具有四个超像素的数字图像：A；B；C；以及D。然而，应理解，对于实际数字图像，可能存在任何大量的超像素，包含数千、数百万或数十亿的超像素。不管像素和超像素的数目如何，可以缩放所描述的实施方案以涵盖任何数目的像素和超像素。另外，为了说明的目的，将根据实施方案来描述图4A至图4D，其中考虑至少部分在当前超像素的搜索半径R内的所有超像素与当前超像素进行局部组合。
在图4A中，执行由步骤140-160形成的外循环的第一迭代。具体来说，在步骤140中，将超像素A选择为当前超像素。在由步骤150和160形成的内循环的迭代中，在步骤150中选择局部组合A并且在步骤160中进行评分，随后在步骤150中选择局部组合AC并且在步骤160中进行评分，随后在步骤150中选择局部组合AD并且在步骤160中进行评分，并且随后在步骤150中选择局部组合ACD并且在步骤160中进行评分。
在图4B中，执行由步骤140-160形成的外循环的第二迭代。具体来说，在步骤140中，将超像素B选择为当前超像素。在由步骤150和160形成的内循环的迭代中，在步骤150中选择局部组合B并且在步骤160中进行评分，随后在步骤150中选择局部组合BA并且在步骤160中进行评分，随后在步骤150中选择局部组合BC并且在步骤160中进行评分，并且随后在步骤150中选择局部组合BAC并且在步骤160中进行评分。
在图4C中，执行由步骤140-160形成的外循环的第三迭代。具体来说，在步骤140中，将超像素C选择为当前超像素。在由步骤150和160形成的内循环的迭代中，在步骤150中选择局部组合C并且在步骤160中进行评分，随后在步骤150中选择局部组合CD并且在步骤160中进行评分，随后在步骤150中选择局部组合CBD并且在步骤160中进行评分，并且随后在步骤150中选择局部组合CABD并且在步骤160中进行评分。可以跳过局部组合CA、CB、CAB和CAD，这是因为已经对AC、BC、BAC和ACD进行评分，如上文描述。
在图4D中，执行由步骤140-160形成的外循环的第四迭代。具体来说，在步骤140中，将超像素D选择为当前超像素。在由步骤150和160形成的内循环中，仅在步骤150中选择局部组合D并且在步骤160中进行评分，这是因为已经对所有其它可能的局部组合(即，DA、DC和DAC)进行评分(即，作为AD、CD和ACD)，如上文所论述。
接下来，过程100前进到步骤170，其中为了在下文容易理解，可以将局部组合A、B、C、D、AC、AD、ACD、BA、BC、BAC、CD、CBD和CABD重新标记为A、B、C、D、AB、AC、AD、BC、CD、ABC、ACD、BCD和ABCD。应理解，如果在步骤160中确定的这些局部组合中的任一者的局部得分是零(即，指示不存在局部组合表示所关注对象的可能性)，那么可以丢弃那个局部组合，使得将不在步骤170中在局部组合的全局集合中考虑所述局部组合。
在实施方案中，对局部组合的可能的全局集合进行限制，使得每个全局集合仅可以由共同地包含不超过k次的任何特定超像素的局部组合组成，其中k是大于零的整数。参数k可以是系统指定或用户指定(例如，由用户经由用户接口进行输入)的参数。默认情况下，k可以是一，在那种情况下，每个全局集合仅可以包含一次每个超像素。
在所说明的实例中，在图4A至图4D中，如果k是一，那么可能的全局集合由以下各者组成：A-B-C-D；A-BC-D；A-B-CD；A-BCD；AB-C-D；AB-CD；AC-B-D；AD-B-C；AD-BC；ABC-D；ACD-B；以及ABCD。为了比较，如果k是二，那么可能的全局集合增加到包含(例如)A-AB-CD(k＝2允许在两个局部组合中包含超像素A)、ABC-ACD(k＝2允许在两个局部组合中包含超像素A和C)、ACD-BC等等。一般来说，k应为表示重叠的核的预期最大数目的小整数。如果不需要检测重叠的核，那么应将k设定为一。
另外，可以对局部组合的全局集合进行限制，使得每个全局集合必须包括共同地包含至少一次每个超像素(即，在步骤130之后剩余的)的局部组合。在此情况下，如果k是一，那么每个全局集合必须包括共同地包含恰好一次每个特定超像素的局部组合。
在步骤170中，可以确定局部组合的全局集合的全局得分。在实施方案中，从全局集合中的所有局部组合的局部得分导出全局得分。举例来说，可以从局部组合A的第一局部得分、局部组合BC的第二局部得分和/或局部组合D的第三局部得分导出全局集合A-BC-D的全局得分。全局得分可以是全局集合内的局部组合的所有局部得分的直接总和。在此情况下，全局集合A-BC-D的全局得分将是第一局部得分(即，针对A)、第二局部得分(即，针对BC)和第三局部得分(即，针对D)的总和。因此，如果第一局部得分是2.91，第二局部得分是0.95，并且第三局部得分是2.11，那么A-BC-D的全局得分将是5.97。
在实施方案中，可以使用整数规划来实施步骤170。在整数规划中，通过向每个局部组合指派指示是否将在解中使用局部组合的为零或一的值，并且基于被指派有值一的局部组合的局部得分来计算全局得分(例如，通过求和)，而最大化超像素的局部组合的函数。结果是表示产生最大全局得分的局部组合的全局集合的一组指派。在John E.Mitchell的“Branch-and-Cut Algorithms for Combinatorial Optimization Problems”(Handbookof Applied Optimization(2002)，第65页-第77页)中描述了可以在实施方案中使用的分支-切割整数规划的实例，所述文献在此以引用的方式并入本文。然而，在其它实施方案中，可以使用其它整数规划技术，例如分支-定界，并且可以使用其它优化技术，例如模拟退火。
使用整数规划会确保以获得受制于两组约束条件的目标函数的全局最佳解的方式来选择局部组合的集合。将要最大化的目标函数是局部组合得分的总和。第一组约束条件是必须向至少一个并且最多k个局部组合指派每个超像素。在所述算法的实施方案中，k＝1，这意味着不允许对象(例如，核)重叠。然而，在其它实施方案中，可以将k设定为大于一的值，从而允许重叠的对象(例如，核)。可以针对任何超像素i将此约束条件表达为：
其中bij在超像素i被指派给局部组合j的情况下是等于一的二进制变量，否则等于零。第二组约束条件是属于同一全局集合的二进制变量的集合必须同时全部等于零或者全部等于一。这防止仅向最终的解指派局部组合的部分。在数学上，这可以表达为：
可以使用例如遗传规划或模拟退火等其它优化方法来实现使全局分割得分最大化的相同目的。
下表1说明在其中当前超像素与至少部分在半径R内的所有超像素组合、k＝1，并且每个超像素必须在每个全局集合中出现至少一次(即，每个超像素必须在每个全局集合中恰好出现一次)的实施方案中，使用在步骤160中评分的每个局部组合的示例性局部得分来对在图4A至图4D中说明的超像素的全局集合执行的全局得分确定的示例性结果：
在步骤170中，识别具有最佳全局得分的局部组合的全局集合。在其中较高得分指示在特定全局集合内的局部组合有较高可能性准确地表示所关注对象的实施方案中，最佳得分可以是最大得分。应理解，在替代性实施方案中，可以修改每个局部组合的局部得分和/或全局得分的计算，使得较低的全局得分表示在特定全局集合内的局部组合有较高可能性准确地表示所关注对象，在那种情况下，在步骤170中，应将具有最小全局得分的局部组合的全局集合确定为具有最佳全局得分。在任一情况下，在步骤170中识别的局部组合的全局集合是有最高可能性将数字图像中的超像素准确地分割成准确地表示所关注对象(例如，核)的局部组合的全局集合。因此，可以假设在步骤170中识别的全局集合中所包括的超像素的每个局部组合表示用于后续可视化和/或分析的所关注对象(例如，核)。
在表1中说明的实例中，将在步骤170中将包括两个局部组合ACD和B的全局集合ACD-B识别成全局最佳集合(即，具有全局得分14.67)。因此，在步骤170中，将通过过程100来确定全局集合ACD-B比其它全局集合中的任一者具有表示准确对象(例如，核)的更高可能性。全局集合ACD-B将超像素A、B、C和D限定为包括超像素A、C和D的第一对象(例如，核)以及仅包括超像素B的第二对象(例如，核)。可以将对象(例如，核)的此限定输入到要使用此类信息的任何后续应用中。举例来说，如果后续应用包括对象计数(例如，核计数)算法，那么所述算法将输出计数二(即，由超像素ACD表示的第一对象和由超像素B表示的第二对象)。
有利的是，由过程100中的步骤170表示的全局优化的所描述的过程产生最佳分割。相比而言，仅仅选择具有最高局部得分的局部组合的过程可以产生次最佳分割。举例来说，参看表1，ABCD的全局组合具有局部组合中的最高得分。然而，基于全局组合ABCD具有局部组合中的最高得分而选择所述全局组合将导致次最佳分割，这是因为存在具有更高总得分的全局组合(例如，上文论述的ACD-B)。
1.4.应用
一旦识别出具有最佳全局得分的全局集合，便可以确定那个全局集合中的每个局部组合是单独的对象(例如，核)。换句话说，每个局部组合的周长表示数字图像内的个别对象的周长。因此，可以(例如)通过向每个对象指派唯一标签Li来限定在步骤110中接收的数字图像中的对象。可以向给定对象内的每个超像素指派相同标签Li，使得根据超像素表示的相应对象而将超像素分组在一起。在实施方案中，可以(例如)使用边界线、标签或其它注释来在视觉上区分数字图像内的对象(例如，核)。
图2C说明根据实施方案的全局优化的实例。在所说明的实施方案中，已经将整个数字图像上的超像素的局部组合的Dice指数的总和最大化。如所说明，指派给在最大化的全局集合中的每个局部组合(即，表示所预测的核)的超像素的组合在视觉上被注释为最终分割的数字图像中的单个核。
替代地或另外，可以将由在步骤170中识别的超像素的局部组合的全局集合表示的对对象的限定输入到其它应用中以供分析。举例来说，可以使用相同方法向正常或恶性组织中的一者指派细胞。在此情况下，超像素将处于细胞层级，并且对象将处于组织层级。在较低尺度下，可以使用所述方法向特定细胞隔室指派用荧光标记的信号。
2.示例性处理装置
图5是说明可以结合本文描述的各种实施方案而使用的示例性有线或无线系统500的框图。举例来说，系统500可以用作上文描述的过程中的一者或多者(例如，图1中的过程100)或者与所述过程结合使用，并且可以表示执行上文描述的过程中的一者或多者(例如，图1中的过程100)的系统的组件。系统500可以是服务器或任何常规的个人计算机，或者是能够进行有线或无线数据通信的任何其它配有处理器的装置。本领域技术人员将清楚，还可以使用其它计算机系统和/或架构，包含不能够进行有线或无线数据通信的装置。
系统500优选包含一个或多个处理器，例如处理器510。可以提供额外的处理器，例如用于管理输入/输出的辅助处理器、用于执行浮点数学运算的辅助处理器、具有适合于快速执行信号处理算法的架构的专用微处理器(例如，数字信号处理器)、从属于主处理系统的从属处理器(例如，后端处理器)、用于双处理器或多处理器系统的额外的微处理器或控制器，或协处理器。此类辅助处理器可以是独立的处理器或者可以与处理器510集成。可以用于系统500的处理器的实例包含(不限于)，处理器、Core处理器和处理器，所有这些可以购自加利福尼亚州圣克拉拉市的英特尔公司。
处理器510优选连接到通信总线505。通信总线505可以包含用于促进系统500的存储装置与其它外围组件之间的信息传递的数据通道。通信总线505进一步可以提供用于与处理器510通信的一组信号，包含数据总线、地址总线和控制总线(未示出)。通信总线505可以包括任何标准或非标准总线架构，例如，顺应工业标准架构(ISA)的总线架构、扩展工业标准架构(EISA)、微通道架构(MCA)、外围组件互连(PCI)局部总线，或由电气和电子工程师协会(IEEE)颁布的标准，包含IEEE 488通用接口总线(GPIB)、IEEE 696/S-100等。
系统500优选包含主存储器515，并且还可以包含辅助存储器520。主存储器515提供对用于在处理器510上执行的程序(例如，上文论述的函数和/或模块中的一者或多者)的指令和数据的存储。应理解，可以根据任何合适的语言来编写和/或编译存储在存储器中并且由处理器510执行的程序，包含(非限制)C/C++、Java、JavaScript、Perl、Visual Basic、.NET等。主存储器515通常是基于半导体的存储器，例如动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。其它基于半导体的存储器类型包含(例如)同步动态随机存取存储器(SDRAM)、Rambus动态随机存取存储器(RDRAM)、铁电随机存取存储器(FRAM)等，包含只读存储器(ROM)。
辅助存储器520可以任选地包含内部存储器525和/或可移除介质530。通过任何众所周知的方式对可移除介质530进行读取和/或写入。可移除存储介质530可以是(例如)磁带驱动器、压缩光盘(CD)驱动器、数字多功能光盘(DVD)驱动器、其它光学驱动器、快闪存储器驱动器等。
可移除存储介质530是上面存储有计算机可执行代码(即，软件)和/或数据的非暂时性计算机可读介质。将存储在可移除存储介质530上的计算机软件或数据读取到系统500中，以供处理器510执行。
在替代性实施方案中，辅助存储器520可以包含用于允许将计算机程序或其它数据或指令加载到系统500中的其它类似的构件。此类构件可以包含(例如)外部存储介质545和通信接口540，其允许将软件和数据从外部存储介质545传递到系统500。外部存储介质545的实例可以包含外部硬盘驱动器、外部光学驱动器、外部磁光驱动器等。辅助存储器520的其它实例可以包含基于半导体的存储器，例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)，或快闪存储器(类似于EEPROM的面向块的存储器)。
如上文提及，系统500可以包含通信接口540。通信接口540允许在系统500与外部装置(例如打印机)、网络或其它信息源之间传递软件和数据。举例来说，可以经由通信接口540将计算机软件或可执行代码从网络服务器传递到系统500。通信接口540的实例包含内置的网络适配器、网络接口卡(NIC)、个人计算机存储器卡国际协会(PCMCIA)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(USB)网络适配器、调制解调器、网络接口卡(NIC)、无线数据卡、通信端口、红外接口、IEEE 1394火线，或能够使系统550与网络或另一计算装置介接的任何其它装置。通信接口540优选实施行业颁布的协议标准，例如以太网IEEE 802标准、光纤通道、数字订户线(DSL)、异步数字订户线(ADSL)、帧中继、异步传递模式(ATM)、综合数字服务网络(ISDN)、个人通信服务(PCS)、传输控制协议/因特网协议(TCP/IP)、串行线因特网协议/点到点协议(SLIP/PPP)等，但还可以实施定制或非标准的接口协议。
经由通信接口540传递的软件和数据一般呈电通信信号555的形式。可以经由通信信道550向通信接口540提供这些信号555。在实施方案中，通信信道550可以是有线或无线网络，或者任何种类的其它通信链路。通信信道550载运信号555，并且可以使用多种有线或无线通信构件来实施，所述有线或无线通信构件包含(仅仅举几例)电线或缆线、光纤、常规的电话线、蜂窝式电话链路、无线数据通信链路、射频(“RF”)链路，或红外链路。
计算机可执行代码(即，计算机程序或软件)存储在主存储器515和/或辅助存储器520中。还可以经由通信接口540接收计算机程序，并且将计算机程序存储在主存储器515和/或辅助存储器520中。此类计算机程序在执行时使得系统500能够执行在本文其它地方描述的所公开的实施方案的各种功能。
在本描述中，术语“计算机可读介质”用于指用于向系统500提供计算机可执行代码(例如，软件和计算机程序)的任何非暂时性计算机可读存储介质。此类介质的实例包含主存储器515、辅助存储器520(包含内部存储器525、可移除介质530和外部存储介质545)，以及与通信接口540通信地耦合的任何外围装置(包含网络信息服务器或其它网络装置)。这些非暂时性计算机可读介质是用于向系统500提供可执行代码、程序指令和软件的构件。
在使用软件实施的实施方案中，所述软件可以存储在计算机可读介质上并且通过可移除介质530、I/O接口535或通信接口540而加载到系统500中。在此实施方案中，所述软件以电通信信号555的形式加载到系统500中。所述软件在由处理器510执行时优选致使处理器510执行在本文其它地方描述的特征和功能。
在实施方案中，I/O接口535在系统500的一个或多个组件与一个或多个输入和/或输出装置之间提供接口。示例性输入装置包含(不限于)键盘、触摸屏或其它触敏装置、生物识别感测装置、计算机鼠标、追踪球、基于笔的指向装置等。输出装置的实例包含(不限于)阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器、液晶显示器(LCD)、打印机、真空荧光显示器(VFD)、表面传导电子发射器显示器(SED)、场致发射显示器(FED)等。
系统500还包含促进经由语音网络和/或数据网络的无线通信的任选的无线通信组件。所述无线通信组件包括天线系统570、无线电系统565和基带系统560。在系统500中，在无线电系统565的管理下通过天线系统570在空中传输和接收射频(RF)信号。
在一个实施方案中，天线系统570可以包括一个或多个天线和一个或多个多路复用器(未示出)，所述一个或多个多路复用器执行切换功能以向天线系统570提供传输和接收信号路径。在接收路径中，所接收的RF信号可以从多路复用器耦合到低噪声放大器(未示出)，所述低噪声放大器放大所接收的RF信号并且将经放大的信号发送到无线电系统565。
在替代性实施方案中，无线电系统565可以包括被配置成在各种频率上进行通信的一个或多个无线电。在实施方案中，无线电系统565可以在一个集成电路(IC)中组合解调器(未示出)和调制器(未示出)。解调器和调制器也可以是单独的组件。在传入路径中，解调器剥离离开被从无线电系统565发送到基带系统560的基带接收音频信号的RF载波信号。
如果所接收的信号含有音频信息，那么基带系统560解码所述信号并且将所述信号转换成模拟信号。随后将所述信号放大并且发送到扬声器。基带系统560还从麦克风接收模拟音频信号。这些模拟音频信号被转换成数字信号，并且由基带系统560编码。基带系统560还编码数字信号以便进行传输，并且产生基带传输音频信号，所述基带传输音频信号被路由到无线电系统565的调制器部分。调制器使基带传输音频信号与RF载波信号混合，从而产生RF传输信号，所述RF传输信号被路由到天线系统570并且可以穿过功率放大器(未示出)。功率放大器放大所述RF传输信号并且将RF传输信号路由到天线系统570，其中所述信号被切换到天线端口以便进行传输。
基带系统560还与处理器510通信地耦合，所述处理器可以是中央处理单元(CPU)。处理器510具有对数据存储区域515和520的访问权。处理器510优选被配置成执行可以存储在主存储器515或辅助存储器520中的指令(即，计算机程序或软件)。还可以从基带处理器560接收计算机程序并且将计算机程序存储在主存储器510中或辅助存储器520中，或者在接收之后就执行。此类计算机程序在执行时使得系统500能够执行所公开的实施方案的各种功能。举例来说，数据存储区域515或520可以包含各种软件模块。
还可以使用(例如)例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)等组件主要在硬件中实施各种实施方案。本领域技术人员还将了解能够执行本文描述的功能的硬件状态机的实现方式。还可以使用硬件和软件的组合来实施各种实施方案。
此外，本领域技术人员将了解，结合上文描述的图和本文所公开的实施方案而描述的各种说明性逻辑块、模块、电路和方法步骤常常可以实施为电子硬件、计算机软件或以上两者的组合。为了清楚地说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束条件。技术人员可以针对每个特定应用以不同方式来实施所描述的功能性，但此类实现方式决策不应被解释为会导致脱离本发明的范围。另外，为了易于描述而在模块、块、电路或步骤内将功能进行分组。特定功能或步骤可以从一个模块、块或电路移动到另一模块、块或电路而不脱离本发明。
另外，可以使用通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其被设计成执行本文描述的功能的任何组合来实施或执行结合本文公开的实施方案而描述的各种说明性逻辑块、模块功能和方法。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何处理器、控制器、微控制器或状态机。还可以将处理器实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。
另外，结合本文公开的实施方案而描述的方法或算法的步骤可以直接以硬件、以由处理器执行的软件模块，或以以上两者的组合体现。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除磁盘、CD-ROM或任何其它形式的存储介质(包含网络存储介质)中。示例性存储介质可以耦合到处理器，使得处理器可以从存储介质读取信息，并且向存储介质写入信息。在替代方案中，存储介质可以与处理器成一体。处理器和存储介质还可以驻留在ASIC中。
本文描述的软件组件中的任一者可以采取多种形式。举例来说，组件可以是独立的软件包，或者其可以是作为更大软件产品中的“工具”而并入的软件包。其可以是可以从网络(例如，网站)下载以作为独立的产品或作为插件包，以便安装在现有的软件应用中。其还可以可用作客户端-服务器软件应用、用作具有网络功能的软件应用和/或用作移动应用。
提供所公开的实施方案的以上描述以使得本领域技术人员能够制作或使用本发明。对这些实施方案的各种修改对于本领域技术人员来说将容易显而易见，并且在不脱离本发明的精神或范围的情况下，本文描述的一般原理可以应用于其它实施方案。因此，将理解，本文呈现的描述和图式表示本发明的目前优选的实施方案，并且因此表示本发明广泛预期的标的。应进一步理解，本发明的范围完全涵盖本领域技术人员可能会想到的其它实施方案，并且因此本发明的范围不受限制。
Claims (16)
1.一种方法，所述方法包括使用至少一个硬件处理器来进行以下操作：
确定数字图像中的多个超像素；
对于所述多个超像素中的每一者，
识别位于所述超像素的搜索半径内的任何超像素，以及，
对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一局部组合，
确定所述局部组合的局部得分；以及
基于所述所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
2.如权利要求1所述的方法，其中确定所述数字图像中的所述多个超像素包括：
接收所述数字图像；以及
将所述数字图像中的多个像素组合成超像素的初始集合；以及
从超像素的所述初始集合确定所述多个超像素。
3.如权利要求2所述的方法，其中从超像素的所述初始集合确定所述多个超像素包括：基于阈值而从超像素的所述初始集合选择所述多个超像素。
4.如任一前述权利要求所述的方法，其中局部组合的所述多个全局集合中的每一者包括至少一次所述超像素中的每一者。
5.如权利要求4所述的方法，其中局部组合的所述多个全局集合中的每一者是由恰好一次所述超像素中的每一者组成。
6.如任一前述权利要求所述的方法，其中识别局部组合的所述多个全局集合中的具有最佳全局得分的一个全局集合包括：使所述多个全局集合中的每一者内的所有局部组合的所述局部得分的总和最大化。
7.如权利要求6所述的方法，其中通过整数规划来执行使所述多个全局集合中的每一者内的所有局部组合的所述局部得分的所述总和最大化。
8.如任一前述权利要求所述的方法，其中当超像素至少部分在所述搜索半径内时，所述超像素位于所述搜索半径内。
9.如权利要求1至7中任一项所述的方法，其中仅当超像素完全在所述搜索半径内时，所述超像素位于所述搜索半径内。
10.如任一前述权利要求所述的方法，其中每个局部组合的所述局部得分是基于所述局部组合的Dice指数。
11.如权利要求10所述的方法，其中每个局部组合的所述局部得分包括所述局部组合的所述Dice指数乘以所述局部组合内的超像素的数目。
12.如任一前述权利要求所述的方法，其中每个局部组合的所述局部得分表示所述局部组合表示所关注对象的可能性。
13.如权利要求12所述的方法，其进一步包括使用所述至少一个硬件处理器以在视觉上区分用户界面内的所述数字图像内的每个所关注对象。
14.如权利要求12所述的方法，其中所述所关注对象是细胞核。
15.一种系统，所述系统包括：
至少一个硬件处理器；以及
一个或多个软件模块，所述一个或多个软件模块在由所述至少一个硬件处理器执行时，
确定数字图像中的多个超像素；
对于所述多个超像素中的每一者，识别位于所述超像素的搜索半径内的任何超像素，并且对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一局部组合，确定所述局部组合的局部得分，以及
基于所述所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
16.一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有指令，其中所述指令在由处理器执行时致使所述处理器进行以下操作：
确定数字图像中的多个超像素；
对于所述多个超像素中的每一者，
识别位于所述超像素的搜索半径内的任何超像素，以及，
对于所述超像素与位于所述超像素的所述搜索半径内的任何所识别的超像素之间的每个唯一局部组合，确定所述局部组合的局部得分；以及
基于所述所确定的局部得分来识别局部组合的多个全局集合中的具有最佳全局得分的一个全局集合。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562267775P | 2015-12-15 | 2015-12-15 | |
| US62/267,775 | 2015-12-15 | ||
| PCT/US2016/066200 WO2017106106A1 (en) | 2015-12-15 | 2016-12-12 | Automatic nuclear segmentation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108352069A true CN108352069A (zh) | 2018-07-31 |
| CN108352069B CN108352069B (zh) | 2022-11-25 |
Family
ID=59057884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680065655.4A Active CN108352069B (zh) | 2015-12-15 | 2016-12-12 | 自动核分割 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10108779B2 (zh) |
| EP (1) | EP3391335A4 (zh) |
| JP (1) | JP6559353B2 (zh) |
| CN (1) | CN108352069B (zh) |
| WO (1) | WO2017106106A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3025822A1 (en) * | 2016-06-03 | 2017-12-07 | Koninklijke Philips N.V. | Biological object detection |
| WO2019068045A1 (en) * | 2017-09-29 | 2019-04-04 | Leica Biosystems Imaging, Inc. | FIXED Z SCANNING IN TWO AND THREE DIMENSIONS |
| CN211668521U (zh) * | 2018-05-31 | 2020-10-13 | 上海快仓智能科技有限公司 | 用于图像采集的自动引导车、以及图像采集和处理系统 |
| US10853704B2 (en) * | 2018-12-18 | 2020-12-01 | Clarifai, Inc. | Model-based image labeling and/or segmentation |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130156314A1 (en) * | 2011-12-20 | 2013-06-20 | Canon Kabushiki Kaisha | Geodesic superpixel segmentation |
| CN103262119A (zh) * | 2010-12-08 | 2013-08-21 | 阿尔卡特朗讯公司 | 用于对图像进行分割的方法和系统 |
| CN103353938A (zh) * | 2013-06-14 | 2013-10-16 | 山东大学 | 一种基于层次级特征的细胞膜分割方法 |
| CN103489187A (zh) * | 2013-09-23 | 2014-01-01 | 华南理工大学 | 基于质量检测的宫颈lct图像中细胞核的分割方法 |
| US20140126810A1 (en) * | 2012-11-08 | 2014-05-08 | Seiko Epson Corporation | Computer Vision Methods And Systems To Recognize And Locate An Object Or Objects In One Or More Images |
| CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
| CN103984958A (zh) * | 2014-05-07 | 2014-08-13 | 深圳大学 | 宫颈癌细胞分割方法及系统 |
| CN104063707A (zh) * | 2014-07-14 | 2014-09-24 | 金陵科技学院 | 基于人类视觉多尺度感知特性的彩色图像聚类分割方法 |
| TW201510936A (zh) * | 2013-09-13 | 2015-03-16 | Univ Nat Cheng Kung | 細胞影像分割方法以及核質比評估方法 |
| EP2874119A1 (en) * | 2013-11-19 | 2015-05-20 | Thomson Licensing | Method and apparatus for generating superpixels |
| CN104766324A (zh) * | 2015-04-08 | 2015-07-08 | 山东大学 | 基于超像素和异常检测的彩色血细胞图像白细胞分割方法 |
| US20150213598A1 (en) * | 2014-01-30 | 2015-07-30 | Case Western Reserve University | Spatially Aware Cell Cluster (SPACCL) Graphs |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3010836C (en) * | 2010-07-30 | 2020-09-08 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| EP3779779A1 (en) * | 2014-08-04 | 2021-02-17 | Ventana Medical Systems, Inc. | Image analysis system using context features |
| AU2015345199A1 (en) * | 2014-11-10 | 2017-04-27 | Ventana Medical Systems, Inc. | Classifying nuclei in histology images |
-
2016
- 2016-12-12 JP JP2018531090A patent/JP6559353B2/ja active Active
- 2016-12-12 CN CN201680065655.4A patent/CN108352069B/zh active Active
- 2016-12-12 WO PCT/US2016/066200 patent/WO2017106106A1/en active Application Filing
- 2016-12-12 US US15/517,489 patent/US10108779B2/en active Active
- 2016-12-12 EP EP16876451.2A patent/EP3391335A4/en not_active Withdrawn
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103262119A (zh) * | 2010-12-08 | 2013-08-21 | 阿尔卡特朗讯公司 | 用于对图像进行分割的方法和系统 |
| US20130156314A1 (en) * | 2011-12-20 | 2013-06-20 | Canon Kabushiki Kaisha | Geodesic superpixel segmentation |
| US20140126810A1 (en) * | 2012-11-08 | 2014-05-08 | Seiko Epson Corporation | Computer Vision Methods And Systems To Recognize And Locate An Object Or Objects In One Or More Images |
| CN103353938A (zh) * | 2013-06-14 | 2013-10-16 | 山东大学 | 一种基于层次级特征的细胞膜分割方法 |
| TW201510936A (zh) * | 2013-09-13 | 2015-03-16 | Univ Nat Cheng Kung | 細胞影像分割方法以及核質比評估方法 |
| CN103489187A (zh) * | 2013-09-23 | 2014-01-01 | 华南理工大学 | 基于质量检测的宫颈lct图像中细胞核的分割方法 |
| EP2874119A1 (en) * | 2013-11-19 | 2015-05-20 | Thomson Licensing | Method and apparatus for generating superpixels |
| US20150213598A1 (en) * | 2014-01-30 | 2015-07-30 | Case Western Reserve University | Spatially Aware Cell Cluster (SPACCL) Graphs |
| CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
| CN103984958A (zh) * | 2014-05-07 | 2014-08-13 | 深圳大学 | 宫颈癌细胞分割方法及系统 |
| CN104063707A (zh) * | 2014-07-14 | 2014-09-24 | 金陵科技学院 | 基于人类视觉多尺度感知特性的彩色图像聚类分割方法 |
| CN104766324A (zh) * | 2015-04-08 | 2015-07-08 | 山东大学 | 基于超像素和异常检测的彩色血细胞图像白细胞分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHONG ZHANG等: "Cell Detection and Segmentation using Correlation Clustering", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 * |
| DANIELA MAYUMI USHIZIMA等: "Segmentation of subcellular compartiments combining superpixel representation with voronoi diagrams", 《INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 * |
| 张灵等: "异常宫颈细胞核的自适应局部分割", 《中国图象图形学报》 * |
| 顾广华等: "极坐标描述的显微白细胞图像分割算法", 《生物医学工程学杂志》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US10108779B2 (en) | 2018-10-23 |
| JP2019502994A (ja) | 2019-01-31 |
| US20170300617A1 (en) | 2017-10-19 |
| CN108352069B (zh) | 2022-11-25 |
| WO2017106106A1 (en) | 2017-06-22 |
| EP3391335A4 (en) | 2019-07-17 |
| EP3391335A1 (en) | 2018-10-24 |
| JP6559353B2 (ja) | 2019-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yoo et al. | Prostate cancer detection using deep convolutional neural networks | |
| Kothari et al. | Pathology imaging informatics for quantitative analysis of whole-slide images | |
| US10552960B2 (en) | Image processing systems and methods for displaying multiple images of a biological specimen | |
| US20200388033A1 (en) | System and method for automatic labeling of pathology images | |
| Anand et al. | Histographs: graphs in histopathology | |
| Mi et al. | Deep learning-based multi-class classification of breast digital pathology images | |
| Kumar et al. | Convolutional neural networks for prostate cancer recurrence prediction | |
| Korzynska et al. | Validation of various adaptive threshold methods of segmentation applied to follicular lymphoma digital images stained with 3, 3’-Diaminobenzidine&Haematoxylin | |
| Xu et al. | Deep learning for histopathological image analysis: Towards computerized diagnosis on cancers | |
| CN108352069A (zh) | 自动核分割 | |
| US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
| Alsubaie et al. | A bottom-up approach for tumour differentiation in whole slide images of lung adenocarcinoma | |
| Bergtholdt et al. | Pulmonary nodule detection using a cascaded SVM classifier | |
| Gandomkar et al. | BI-RADS density categorization using deep neural networks | |
| Atupelage et al. | Computational hepatocellular carcinoma tumor grading based on cell nuclei classification | |
| US20190087693A1 (en) | Predicting recurrence in early stage non-small cell lung cancer (nsclc) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei | |
| Matias et al. | Segmentation, detection, and classification of cell nuclei on oral cytology samples stained with papanicolaou | |
| Gandomkar et al. | A framework for distinguishing benign from malignant breast histopathological images using deep residual networks | |
| Yücel et al. | Mitotic cell detection in histopathological images of neuroendocrine tumors using improved YOLOv5 by transformer mechanism | |
| Fell et al. | Detection of malignancy in whole slide images of endometrial cancer biopsies using artificial intelligence | |
| Hamidinekoo et al. | Comparing the performance of various deep networks for binary classification of breast tumours | |
| Patsanis et al. | CROPro: a tool for automated cropping of prostate magnetic resonance images | |
| García et al. | Identification of individual glandular regions using lcwt and machine learning techniques | |
| Dudzińska et al. | Tissue differentiation based on classification of morphometric features of nuclei | |
| Shakarami et al. | Tcnn: A transformer convolutional neural network for artifact classification in whole slide images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |