CN111652329B - 一种图像分类方法、装置、存储介质和电子设备 - Google Patents

一种图像分类方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN111652329B
CN111652329B CN202010775286.6A CN202010775286A CN111652329B CN 111652329 B CN111652329 B CN 111652329B CN 202010775286 A CN202010775286 A CN 202010775286A CN 111652329 B CN111652329 B CN 111652329B
Authority
CN
China
Prior art keywords
image
cell structure
classified
cell
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010775286.6A
Other languages
English (en)
Other versions
CN111652329A (zh
Inventor
王婧雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010775286.6A priority Critical patent/CN111652329B/zh
Publication of CN111652329A publication Critical patent/CN111652329A/zh
Application granted granted Critical
Publication of CN111652329B publication Critical patent/CN111652329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本申请实施例公开了一种图像分类方法、装置、存储介质和电子设备，所述方法涉及人工智能领域中的深度学习方向，包括：获取待分类图像，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及集合位置信息，构建目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。该方案可以通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。

Description

一种图像分类方法、装置、存储介质和电子设备
技术领域
本申请涉及计算机技术领域，具体涉及一种图像分类方法、装置、存储介质和电子设备。
背景技术
在医疗领域，全切片病理图像（Whole Slide Image, WSI），是指将传统的玻璃病理切片通过全自动显微镜或者光学放大系统扫描采集得到的大尺寸高分辨数字图像，是病理医生在诊断时的重要依据。其中，可以利用人工智能的图像分类技术，对全切片病理图像进行特征提取，然后通过分类器获取图像分类结果。相关技术中，由于全切片病理图像中存在大量信息，通常会对病理图像进行分割，并分别进行图像分类，但这样会割裂病理图像内部细胞之间的联系，影响图像分类的准确性。
发明内容
本申请实施例提供一种图像分类方法、装置、存储介质和电子设备，该方案可以通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。
本申请实施例提供一种图像分类方法，包括：
获取待分类图像，所述待分类图像包括多个细胞结构单元；
确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度；
基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合；
在所述待分类图像中，确定每个所述细胞结构集合对应的集合区域；
提取每个所述集合区域对应的区域特征信息；
基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据；
对所述目标图结构数据进行内容分类操作，得到图像分类结果。
相应的，本申请实施例还提供一种图像分类装置，包括：
获取模块，用于获取待分类图像，所述待分类图像包括多个细胞结构单元；
密度计算模块，用于确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度；
聚类模块，用于基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合；
确定模块，用于在所述待分类图像中，确定每个所述细胞结构集合对应的集合区域；
提取模块，用于提取每个所述集合区域对应的区域特征信息；
构建模块，用于基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据；
分类模块，用于对所述目标图结构数据进行内容分类操作，得到图像分类结果。
则此时，所述密度计算模块，具体可以用于基于所述细胞结构单元在所述待分类图像中的单元位置信息、以及预设半径，确定所述细胞结构单元对应的密度检测区域；计算所述密度检测区域内细胞结构单元的单元密度。
则此时，所述聚类模块，具体可以用于从所述多个细胞结构单元中确定初始细胞结构单元；当所述初始细胞结构单元对应密度检测区域的单元密度达到预设密度阈值时，确定所述初始细胞结构单元对应的细胞结构集合；返回执行从所述多个细胞结构单元中确定初始细胞结构单元的步骤，直至确定出所述待分类图像中所有细胞结构集合。
则此时，所述提取模块，具体可以用于提取所述集合区域中每个所述细胞结构单元对应的单元特征信息；基于所述单元特征信息、以及每个所述细胞结构单元在所述集合区域中的单元位置信息，构建所述集合区域对应的图结构数据；对所述图结构数据进行图卷积操作，得到所述集合区域对应的区域特征信息。
则此时，所述构建模块，具体可以用于基于每个所述细胞结构集合在所述待分类图像中的集合位置信息、以及相邻细胞结构集合之间的间隔距离，确定多个细胞结构集合之间的关联关系；基于所述区域特征信息、以及多个细胞结构集合之间的关联关系，构建所述待分类图像对应的目标图结构数据。
可选的，在一些实施例中，所述分类模块可以包括卷积子模块和分类子模块，如下：
卷积子模块，用于对所述目标图结构数据进行图卷积操作，得到卷积后图像；
分类子模块，用于对所述卷积后图像进行内容分类操作，得到图像分类结果。
则此时，所述卷积子模块，具体可以用于确定每个所述细胞结构集合对应的邻居细胞结构集合；基于图卷积层、以及每个所述细胞结构集合对应的邻居细胞结构集合，提取所述目标图结构数据中每个细胞结构集合对应的集合特征信息；基于所述集合特征信息，确定所述目标图结构数据对应的卷积后图像。
此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像分类方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像分类方法中的步骤。
本申请实施例可以获取待分类图像，待分类图像包括多个细胞结构单元，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，在待分类图像中，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。该方案可以通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像分类系统的场景示意图；
图2是本申请实施例提供的图像分类方法的第一流程图；
图3是本申请实施例提供的图像分类方法的第二流程图；
图4是本申请实施例提供的待分类图像的示意图；
图5是本申请实施例提供的密度聚类得到的多个细胞结构集合的示意图；
图6是本申请实施例提供的构建每个细胞结构集合对应图结构数据示意图；
图7是本申请实施例提供的目标图结构数据示意图；
图8是本申请实施例提供的基准点确定示意图；
图9是本申请实施例提供的图像分类装置的结构示意图；
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供一种图像分类方法、装置、存储介质和电子设备。具体地，本申请实施例的图像分类方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备，该终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机（PC，Personal Computer）等设备。其中，终端可以包括客户端，该客户端可以是视频客户端或浏览器客户端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
例如，参见图1，以该图像分类方法由电子设备执行为例，该电子设备可以获取待分类图像，待分类图像包括多个细胞结构单元，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，在待分类图像中，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。
本申请实施例提供的图像分类方法涉及人工智能领域中的机器学习方向。本申请实施例可以利用神经网络提取待分类图像中每个细胞核对应的细胞核特征，然后对多个细胞核进行密度聚类，得到多个细胞核集合。基于细胞核特征、以及多个细胞核之间的关联关系，构建每个细胞核集合对应的图结构数据，并利用图卷积神经网络提取每个图结构数据对应的集合特征。基于集合特征、以及多个细胞核集合之间的关联关系，构建待分类图像对应的目标图结构数据，并利用图卷积神经网络对目标图结构数据进行特征提取、以及图像分类。
其中，人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供了一种图像分类方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以图像分类方法由服务器执行为例来进行说明，如图2所示，该图像分类方法的具体流程可以如下：
201、获取待分类图像。
其中，待分类图像是需要进行图像内容分类的图像，比如，待分类图像可以是全切片病理图像，其中，全切片病理图像（Whole Slide Image, WSI），是指将传统的玻璃病理切片通过全自动显微镜或者光学放大系统扫描采集得到的大尺寸高分辨数字图像，是病理医生在诊断时的重要依据。利用机器学习对全切片病理图像进行图像分类得到图像分类结果，将该图像分类结果作为辅助处理结果，并将该图像分类结果返回至用户，以使医生可以结合该图像分类结果作出判断，从而辅助医生进行病情诊断。如对于结直肠癌组织学图像而言，通过图像分类可以得到保留图像中细胞水平的信息、以及腺体形态的图像分类结果，用户接收到该图像分类结果后，可以将该图像分类结果作为辅助诊断结果，确定出最终的诊断方案，因此结直肠癌组织学图像可以作为一种待分类图像进行图像分类。
其中，细胞结构单元是病理图像中表征细胞结构的单元，比如，当病理图像为结直肠癌组织学图像时，细胞结构单元可以为细胞核，由于结直肠癌组织学图像中包括多个细胞核，因此，待分类图像中包括多个细胞结构单元。
在实际应用中，比如，可以获取如图4所示的结直肠癌组织学图像，并将该结直肠癌组织学图像作为待分类图像，其中，该结直肠癌组织学图像中包括多个点状结构，也即多个细胞核。本申请不仅可以适用于全切片病理图像，还可以扩展到适用于任意尺寸较大、不易处理的病理图像。
202、确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度。
其中，如图4所示的待分类图像中包括多个细胞核，这些细胞核在待分类图像中某些区域分布的较为密集，在待分类图像中某些区域分布的较为稀疏，待分类图像中细胞的分布方式包含了细胞之间的联系、以及图像中腺体的分布信息等与病理判定相关的信息。因此，可以通过对待分类图像中多个细胞核进行密度聚类，从而保留待分类图像上细胞以及腺体的分布信息，以便提升图像分类的准确性。
在实际应用中，比如，为了对待分类图像中的多个细胞核进行密度聚类，可以计算待分类图像不同区域中细胞核的密度。以待分类图像中的某个细胞核为基准，确定该细胞核对应的密度检测区域，然后利用该密度检测区域中细胞核的数量、以及该密度检测区域的区域面积，计算得到该密度检测区域内细胞核的单元密度。
在一实施例中，具体地，步骤“确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度”，可以包括：
基于所述细胞结构单元在所述待分类图像中的单元位置信息、以及预设半径，确定所述细胞结构单元对应的密度检测区域；
计算所述密度检测区域内细胞结构单元的单元密度。
在实际应用中，比如，可以从待分类图像的多个细胞核中确定一个细胞核，然后以该细胞核为圆心，以预设半径为半径，构建圆形的密度检测区域。该密度检测区域中包括若干细胞核，可以利用密度检测区域中细胞核的数量、以及密度检测区域的区域面积，计算得到该密度检测区域内细胞核的单元密度。
203、基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合。
其中，聚类是物理或者抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。而密度聚类就是基于密度的概念进行聚类，密度聚类后被分到同一个簇中的对象密度可以达到预设密度阈值。
在实际应用中，比如，可以根据单元密度对待分类图像中的多个细胞核进行密度聚类，密度聚类后会将这多个细胞核划分为若干个簇，每个簇实质上是一个细胞结构集合，这个簇中的细胞核密度可以达到预设密度阈值，如图5所示，密度聚类后会将多个细胞核划分成1~8八个细胞结构集合。
在一实施例中，可以利用DBSCAN算法进行密度聚类。具体地，步骤“基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合”，可以包括：
从所述多个细胞结构单元中确定初始细胞结构单元；
当所述初始细胞结构单元对应密度检测区域的单元密度达到预设密度阈值时，确定所述初始细胞结构单元对应的细胞结构集合；
返回执行从所述多个细胞结构单元中确定初始细胞结构单元的步骤，直至确定出所述待分类图像中所有细胞结构集合。
其中，DBSCAN（Density-Based Spatial Clustering of Applications withNoise）算法是一种基于密度的聚类算法，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN算法包括如下定义：
E邻域：给定对象半径为E内的区域称为该对象的E邻域。本申请中的E邻域即为密度检测区域。
核心对象：如果给定对象E邻域内的样本点数大于等于MinPts，则称该对象为核心对象。本申请中若细胞核1对应的密度检测区域1中细胞核的数量大于等于MinPts，即可认为密度检测区域1中细胞核的单元密度达到预设密度阈值，可以将该细胞核1称为核心对象。
直接密度可达：对于样本集合D，如果样本点q在p的E邻域内，并且p为核心对象，那么对象q从对象p直接密度可达。在本申请中，若细胞核1为核心对象，细胞核2位于细胞核1对应的密度检测区域1中，那么细胞核2从细胞核1直接密度可达。
密度可达：对于样本集合D，给定一串样本点p1、p2、…、pn，p=p1，q=qn，假如对象pi从pi-1直接密度可达，那么对象q从对象p密度可达。在本申请中，若存在细胞核1、细胞核2…细胞核n…细胞核m，若细胞核n从细胞核n-1直接密度可达，那么细胞核m从细胞核1密度可达。
密度相连：存在样本集合D中的一点o，如果对象o到对象p和对象q都是密度可达的，那么p和q密度相连。在本申请中，若细胞核1到细胞核2和细胞核3都是密度可达的，那么细胞核2和细胞核3密度相连。
在实际应用中，比如，可以首先确定待分类图像中每个细胞核的单元位置信息，也即每个细胞核在待分类图像中的坐标(xp,yp)，所有细胞核的坐标{(x1,y1),(x2,y2),(x3,y3)…(xi,yi)}构成了一个样本集合D。
得到所有细胞核的坐标后，可以从待分类图像的多个细胞核中任选一个未被访问的初始细胞核，并以该初始细胞核为圆心，预设半径eps为半径，构建该初始细胞核对应的密度检测区域，若该密度检测区域中细胞核的数量达到预设数量MinPts，可以确定该密度检测区域中细胞核的单元密度达到预设密度阈值，此时，该密度检测区域中的细胞核与初始细胞核可以形成一个簇，也即一个细胞结构集合，并将初始细胞核标记为已访问。然后递归，以相同的方法处理该簇内所有未被标记为已访问的细胞核，从而实现对簇的扩展。如果簇充分的被扩展，即簇内的所有细胞核都被标记为已访问，可以用同样的算法处理其他未被访问的细胞核。
若密度检测区域中细胞核的数量没有达到预设数量MinPts，可以确定该密度检测区域中细胞核的单元密度没有达到预设密度阈值，此时，可以将该初始细胞核暂时标记为噪声点。如图5所示，对待分类图像的多个细胞核完成密度聚类后，可以将多个细胞核分为多个细胞结构集合，而没有处于细胞结构集合中的细胞核即为噪声点。
在一实施例中，比如，对多个细胞核进行密度聚类的程序可以如下：
Begin
init C=θ; //初始化簇的个数为θ
for each unvisited point p in D
mark p as visited; //将p标记为已访问
N = getNeighbours (p, Eps);
if sizeOf(N) <MinPts then
mark p as Noise; //如果满足sizeOf(N)<MinPts，则将p标记为噪声
else
C= next cluster; //建立新簇C
ExpandCluster (p, N, C, Eps, MinPts);
end if
end for
End
在一实施例中，对多个细胞核进行密度聚类的方法不限于DBSCAN，还可以利用OPTICS聚类方法等。其中，OPTICS（Ordering points to identify the clusteringstructure）是基于密度的聚类算法，目标是将空间中的数据按照密度分布进行聚类，并且可以获得不同密度的聚类。
204、在待分类图像中，确定每个细胞结构集合对应的集合区域。
在实际应用中，比如，在对待分类图像中多个细胞核进行密度聚类，得到多个细胞结构集合后，可以根据细胞结构集合的分布确定每个细胞结构集合对应的集合区域，其中，如图5所示，每个黑色曲线框住的区域可以确定为一个集合区域，每个集合区域中的细胞核可以构成一个细胞结构集合。
205、提取每个集合区域对应的区域特征信息。
在实际应用中，比如，为了方便构建待分类图像对应的目标图结构数据，需要获取每个集合区域对应的区域特征信息，其中，可以利用图卷积操作的方法，提取集合区域对应的区域特征信息。
在一实施例中，可以构建集合区域对应的图结构数据，并利用图卷积操作提取区域特征信息。具体地，步骤“提取每个所述集合区域对应的区域特征信息”，可以包括：
提取所述集合区域中每个所述细胞结构单元对应的单元特征信息；
基于所述单元特征信息、以及每个所述细胞结构单元在所述集合区域中的单元位置信息，构建所述集合区域对应的图结构数据；
对所述图结构数据进行图卷积操作，得到所述集合区域对应的区域特征信息。
其中，图结构数据是指图论中的图（Graph），图（Graph）是表示物件与物件之间关系的数学对象，是图论的基本研究对象，它是一种由若干个节点及连接两个节点的边所构成的图形，用于刻画不同节点之间的关系。比如，本申请中的图结构数据与集合区域相对应，该图结构数据中包括多个细胞核之间的关系、以及每个细胞核的单元特征信息。比如，对于图G=(V,E)，V为节点的集合，E为边的集合，对于每个节点i，均有其特征xi，可以用矩阵XN*D表示，其中，N表示节点数，D表示每个节点的特征数，也可以说是特征向量的维度。
其中，K近邻算法（k-Nearest Neighbor，KNN）的思路是：在特征空间中，如果一个样本附近的k个最近（即特征空间中最邻近）样本的大多数属于某一个类别，则该样本也属于这个类别。
其中，图卷积是一种可以在不具备规则空间结构的数据（比如蛋白质结构，细胞核分布，脑信号中抽象出的图谱）上进行的卷积操作，并能够深入发掘其特征和规律。类似于CNN，图卷积也采用共享权重，但图卷积中的权重通常是一个集合。
在实际应用中，比如，可以利用神经网络针对集合区域中每个细胞核，提取一些细胞核基本形态以及纹理方面的特征，如细胞核的周长、面积、离心率等等，这些特征可以称为该细胞核对应的单元特征信息。然后利用K近邻算法，确定集合区域中各个细胞核之间的连接关系，然后构建集合区域对应的图结构数据，该图结构数据中包括各个细胞核之间的连接关系，还包括每个细胞核对应的单元特征信息。如图6所示，即为构建后细胞结构集合1~8对应的图结构数据1’~8’，其中，每个黑框所框住的区域对应着一个图结构数据，该图结构数据中包括多个节点、以及多个节点之间的连线，多个节点就代表多个细胞核，多个节点之间的连线就代表多个细胞核之间的关联关系。针对该图结构数据可以进行图卷积操作，得到集合区域对应的区域特征信息。
206、基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据。
在实际应用中，比如，确定每个细胞结构集合在待分类图像中的集合位置信息之后，可以利用K近邻算法确定多个细胞结构集合之间的关联关系，然后构建待分类图像对应的目标图结构数据，该目标图结构数据包括多个节点、多个节点之间的连接关系、以及每个节点对应的特征信息，每个节点对应一个细胞结构集合。
在一实施例中，具体地，步骤“基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据”，可以包括：
基于每个所述细胞结构集合在所述待分类图像中的集合位置信息、以及相邻细胞结构集合之间的间隔距离，确定多个细胞结构集合之间的关联关系；
基于所述区域特征信息、以及多个细胞结构集合之间的关联关系，构建所述待分类图像对应的目标图结构数据。
在实际应用中，比如，可以确定每个细胞结构集合的基准点，其中，如图8所示，当细胞结构集合对应的集合区域形状为如图8右侧规则的图形如圆形时，可以直接将圆心作为该细胞结构集合的基准点；当细胞结构集合对应的集合区域形状为如图8左侧不规则图形时，可以将聚类该细胞结构集合过程中最初选取的细胞核作为该细胞结构集合的基准点。
确定了每个细胞结构集合的基准点之后，可以将该基准点的位置信息确定为细胞结构集合的集合位置信息，此时可以将待分类图像中的多个细胞结构集合，看作是多个节点，每个细胞结构集合对应一个节点，且该节点的位置就是细胞结构集合中基准点的位置。此时可以利用K近邻算法进行目标图结构数据的构建，每个节点仅于离它最近的K个节点相连，并且仅当它们在一定距离之间才会生成边，每个节点的邻接矩阵Aij可由以下公式定义：
Figure 577862DEST_PATH_IMAGE001
这样，每个细胞结构集合的图结构数据可以用Gi={Vi,Ei}表示，整张待分类图像的目标图结构数据由多个图结构数据构成，目标图结构数据可以表示为{G1,G2,G3…Gi}。如图7所示，即为构建完成的目标图结构数据，其中，该目标图结构数据中包括多个节点、以及多个节点之间的连线，多个节点可以代表多个细胞结构集合，多个节点之间的连线可以代表多个细胞结构集合之间的关联关系。
207、对目标图结构数据进行内容分类操作，得到图像分类结果。
在实际应用中，比如，可以利用图卷积神经网络完成对目标图结构数据的内容分类操作，可以首先利用图卷积神经网络中的图卷积层，对目标图结构数据进行特征提取，然后利用分类器进行内容分类操作，得到图像分类结果。若待分类图像为病理图像，医生即可根据该图像分类结果进行病情的诊断等后续工作。
在一实施例中，具体地，步骤“对所述目标图结构数据进行内容分类操作，得到图像分类结果”，可以包括：
对所述目标图结构数据进行图卷积操作，得到卷积后图像；
对所述卷积后图像进行内容分类操作，得到图像分类结果。
在实际应用中，比如，可以利用图卷积神经网络中的图卷积层，对目标图结构数据进行特征提取，得到卷积后图像，然后利用图卷积神经网络中的分类器，对卷积后图像进行内容分类操作，得到图像分类结果。其中，分类器可以利用给定的类别、已知的训练数据来学习分类规则，然后对未知数据进行分类。
在一实施例中，具体地，步骤“对所述目标图结构数据进行图卷积操作，得到卷积后图像”，可以包括：
确定每个所述细胞结构集合对应的邻居细胞结构集合；
基于图卷积层、以及每个所述细胞结构集合对应的邻居细胞结构集合，提取所述目标图结构数据中每个细胞结构集合对应的集合特征信息；
基于所述集合特征信息，确定所述目标图结构数据对应的卷积后图像。
在实际应用中，比如，可以利用GraphSage对目标图结构数据进行图卷积操作，其 中，GraphSage使用了节点的特征来学习一个可以泛化到未知数据的embedding方法。通过 在学习算法中加入节点特征，GraphSAGE同时学习了每个节点的邻域的拓扑结构以及邻域 内节点特征的分布。可以确定每个细胞结构集合对应的邻居细胞结构集合，也就是确定目 标图结构数据中每个节点对应的若干邻居节点，其中，可以通过采样的方法确定每个节点 对应的邻居节点。在进行卷积操作的过程中，会获取第k-1次GraphSage所得到的邻居节点 的特征，得到第k层邻居聚合特征
Figure 88478DEST_PATH_IMAGE002
，并获取节点v在第k-1层的特征
Figure 133794DEST_PATH_IMAGE003
。节点v在第k 层的特征
Figure 997845DEST_PATH_IMAGE004
与
Figure 140113DEST_PATH_IMAGE005
和
Figure 228155DEST_PATH_IMAGE006
相关，
Figure 698451DEST_PATH_IMAGE007
可以表示为如下公式：
Figure 162930DEST_PATH_IMAGE008
其中，N(v)表示节点的邻居节点。
本申请首先对待分类图像中的细胞核进行特征提取，然后对多个细胞核进行密度聚类，得到多个集合区域，并针对每个集合区域构建图结构数据，提取每个图结构数据的特征，然后针对整体待分类图像构建目标图结构数据，实现了在多种层次上构建图结构数据，并提取图像在不同尺度上的特征，那么最终对图像进行分类时可以将不同尺度上的特征进行融合，从而提升图像分类的准确性。
另外，由于病理图像的特殊性，有些病理图像尺寸较大或者包括过多细胞核，计算机对这种病理图像进行图像处理时，会出现由于细胞核过多导致的计算资源不足，计算效率减低等问题。但是本申请通过对多个细胞核进行密度聚类，减少目标图结构数据中节点的数量，使得节点数量被控制在神经网络模型以及计算资源可以接受的范围之内。
对于某些尺寸过大或者信息量过大的病理图像，通常会选择将其分割为较小的图像块，并对每个小图像块进行处理，但是这样无法考虑整张图像的信息，并且切断了细胞之间的联系。而本申请通过对多个细胞核进行密度聚类，可以保留图像上细胞以及腺体的分布信息，从而提高分类的准确性。
由上可知，本申请实施例可以获取待分类图像，待分类图像包括多个细胞结构单元，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，在待分类图像中，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。该方案可以通过在多种层次上构建图结构数据，并提取图像在不同尺度上的特征，最终对图像进行分类时可以将不同尺度上的特征进行融合，从而提升图像分类的准确性。同时通过对多个细胞核进行密度聚类，减少目标图结构数据中节点的数量，使得节点数量被控制在神经网络模型以及计算资源可以接受的范围之内。并且通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。
根据前面实施例所描述的方法，以下将以该图像分类装置具体集成在电子设备中举例作进一步详细说明。
参考图3，本申请实施例的图像分类方法的具体流程可以如下：
301、获取病理图像。
302、提取病理图像中多个细胞核的细胞核特征。
在实际应用中，比如，利用神经网络提取病理图像中每个细胞核的细胞核特征，其中，该细胞核特征是有关细胞核基本形态以及纹理方面的特征，如细胞核的周长、面积、离心率等等。同时可以确定每个细胞核p在病理图像中的坐标(xp,yp)，那么所有细胞核{(x1,y1),(x2,y2),(x3,y3)…(xi,yi)}构成了一个样本集合D。
303、对病理图像中多个细胞核进行密度聚类，得到多个细胞核集合。
在实际应用中，比如，可以利用DBSCAN算法对细胞核进行密度聚类，其中，DBSCAN主要接受三个参数：样本集合D、半径eps、以及领域密度阈值MinPts。可以首先从多个细胞核中任选一个未被访问的初始细胞核，并以该初始细胞核为圆心，预设半径eps为半径，构建该初始细胞核对应圆形的密度检测区域，若该密度检测区域中细胞核的数量达到预设数量MinPts，可以确定该密度检测区域中细胞核的单元密度达到预设密度阈值，此时，该密度检测区域中的细胞核与初始细胞核可以形成一个簇，也即一个细胞结构集合，并将初始细胞核标记为已访问。然后递归，以相同的方法处理该簇内所有未被标记为已访问的细胞核，从而实现对簇的扩展。如果簇充分的被扩展，即簇内的所有细胞核都被标记为已访问，可以用同样的算法处理其他未被访问的细胞核。
若密度检测区域中细胞核的数量没有达到预设数量MinPts，可以确定该密度检测区域中细胞核的单元密度没有达到预设密度阈值，此时，可以将该初始细胞核暂时标记为噪声点。对病理图像的多个细胞核完成密度聚类后，可以将多个细胞核分为多个细胞结构集合，而没有处于细胞结构集合中的细胞核即为噪声点。比如，对多个细胞核进行密度聚类的程序可以如下：
Begin
init C=θ; //初始化簇的个数为θ
for each unvisited point p in D
mark p as visited; //将p标记为已访问
N = getNeighbours (p, Eps);
if sizeOf(N) <MinPts then
mark p as Noise; //如果满足sizeOf(N)<MinPts，则将p标记为噪声
else
C= next cluster; //建立新簇C
ExpandCluster (p, N, C, Eps, MinPts);
end if
end for
End
304、确定每个细胞核集合中多个细胞核之间的连接关系。
在实际应用中，可以利用k近邻算法确定每个细胞核集合中多个细胞核之间的连接关系。比如，可以将每个细胞核看作一个节点，k近邻算法定义每个节点仅于离它最近的k个节点相连，并且仅当它们在一定距离之间才会生成边，那么每个节点的邻接矩阵可以定义如下：
Figure 159705DEST_PATH_IMAGE009
305、以细胞核为节点构建每个细胞核集合所对应的图结构数据。
在实际应用中，比如，获取到每个细胞核对应的细胞核特征、以及每个细胞核集合中多个细胞核之间的连接关系，就可以构建每个细胞核集合对应的图结构数据。其中，该图结构数据中包括多个节点，就是位于该细胞核集合中的多个细胞核，有连接关系的细胞核所对应节点之间会进行连线生成边，并且该图结构数据包括每个细胞核对应的细胞核特征。可以用G=(V,E)表示图结构数据，V为节点的集合，E为边的集合，对于每个节点i，均有其特征xi，可以用矩阵XN*D表示，其中，N表示节点数，D表示每个节点的特征数，也可以说是特征向量的维度。
306、提取每个图结构数据对应的子图特征。
在实际应用中，可以利用图卷积操作提取每个图结构数据的子图特征，比如，可以 通过采样的方法确定图结构数据中每个节点的邻居节点，在进行卷积的过程中，会获取第 k-1次GraphSage所得到的邻居节点的特征，得到第k层邻居聚合特征
Figure 621910DEST_PATH_IMAGE010
，并获取节点v在 第k-1层的特征
Figure 641819DEST_PATH_IMAGE011
。节点v在第k层的特征
Figure 706727DEST_PATH_IMAGE012
与
Figure 495691DEST_PATH_IMAGE013
和
Figure 128798DEST_PATH_IMAGE014
相关，
Figure 636003DEST_PATH_IMAGE015
可以表示为如下公 式：
Figure 239022DEST_PATH_IMAGE016
其中，N(v)表示节点的邻居节点。
307、确定病理图像中多个细胞核集合之间的连接关系。
在实际应用中，可以利用k近邻算法确定病理图像中多个细胞核集合之间的连接关系。比如，可以将每个细胞核集合看作一个节点，k近邻算法定义每个节点仅于离它最近的k个节点相连，并且仅当它们在一定距离之间才会生成边，那么每个节点的邻接矩阵可以定义如下：
Figure 351335DEST_PATH_IMAGE017
在一实施例中，若细胞核集合对应的集合区域形状为规则的图形如圆形时，可以直接将圆心作为该细胞核集合的基准点；当细胞核集合对应的集合区域形状为不规则图形时，可以将聚类该细胞核集合过程中最初选取的细胞核作为该细胞核集合的基准点。然后将基准点的位置确定为细胞核集合的位置，也即节点的位置。
308、以细胞核集合为节点构建病理图像对应的目标图结构数据。
在实际应用中，比如，获取到每个图结构数据对应的子图特征、以及病理图像中多个细胞核集合之间的连接关系，就可以构建病理图像对应的目标图结构数据。其中，该目标图结构数据中包括多个节点，就是位于病理图像中的多个细胞核集合，有连接关系的细胞核集合所对应节点之间会进行连线生成边，并且该目标图结构数据包括每个图结构数据对应的子图特征。每个细胞核集合的图结构数据可以用Gi={Vi,Ei}表示，整张病理图像的目标图结构数据由多个图结构数据构成，目标图结构数据可以表示为{G1,G2,G3…Gi}。
309、对目标图结构数据进行图像分类，得到图像分类结果。
在实际应用中，可以利用图卷积操作提取目标图结构数据的子图特征，比如，可以 通过采样的方法确定目标图结构数据中每个节点的邻居节点，在进行卷积的过程中，会获 取第k-1次GraphSage所得到的邻居节点的特征，得到第k层邻居聚合特征
Figure 952080DEST_PATH_IMAGE018
，并获取节 点v在第k-1层的特征
Figure 8898DEST_PATH_IMAGE019
。节点v在第k层的特征
Figure 353292DEST_PATH_IMAGE020
与
Figure 54532DEST_PATH_IMAGE021
和
Figure 91758DEST_PATH_IMAGE022
相关，
Figure 635871DEST_PATH_IMAGE023
可以表示 为如下公式：
Figure 721639DEST_PATH_IMAGE024
其中，N(v)表示节点的邻居节点。
利用图卷积操作提取特征后，可以利用分类器对提取出的卷积后图像进行图像分类，得到图像分类结果。
由上可知，本申请实施例可以通过电子设备获取病理图像，提取病理图像中多个细胞核的细胞核特征，对病理图像中多个细胞核进行密度聚类，得到多个细胞核集合，确定每个细胞核集合中多个细胞核之间的连接关系，以细胞核为节点构建每个细胞核集合所对应的图结构数据，提取每个图结构数据对应的子图特征，确定病理图像中多个细胞核集合之间的连接关系，以细胞核集合为节点构建病理图像对应的目标图结构数据，对目标图结构数据进行图像分类，得到图像分类结果。该方案可以通过在多种层次上构建图结构数据，并提取图像在不同尺度上的特征，最终对图像进行分类时可以将不同尺度上的特征进行融合，从而提升图像分类的准确性。同时通过对多个细胞核进行密度聚类，减少目标图结构数据中节点的数量，使得节点数量被控制在神经网络模型以及计算资源可以接受的范围之内。并且通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像分类装置，该图像分类装置可以集成在电子设备中，参考图9，该图像分类装置包括获取模块91、密度计算模块92、聚类模块93、确定模块94、提取模块95、构建模块96和分类模块97，如下：
获取模块91，用于获取待分类图像，所述待分类图像包括多个细胞结构单元；
密度计算模块92，用于确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度；
聚类模块93，用于基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合；
确定模块94，用于在所述待分类图像中，确定每个所述细胞结构集合对应的集合区域；
提取模块95，用于提取每个所述集合区域对应的区域特征信息；
构建模块96，用于基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据；
分类模块97，用于对所述目标图结构数据进行内容分类操作，得到图像分类结果。
在一实施例中，所述密度计算模块92可以具体用于：
基于所述细胞结构单元在所述待分类图像中的单元位置信息、以及预设半径，确定所述细胞结构单元对应的密度检测区域；
计算所述密度检测区域内细胞结构单元的单元密度。
在一实施例中，所述聚类模块93可以具体用于：
从所述多个细胞结构单元中确定初始细胞结构单元；
当所述初始细胞结构单元对应密度检测区域的单元密度达到预设密度阈值时，确定所述初始细胞结构单元对应的细胞结构集合；
返回执行从所述多个细胞结构单元中确定初始细胞结构单元的步骤，直至确定出所述待分类图像中所有细胞结构集合。
在一实施例中，所述提取模块95可以具体用于：
提取所述集合区域中每个所述细胞结构单元对应的单元特征信息；
基于所述单元特征信息、以及每个所述细胞结构单元在所述集合区域中的单元位置信息，构建所述集合区域对应的图结构数据；
对所述图结构数据进行图卷积操作，得到所述集合区域对应的区域特征信息。
在一实施例中，所述构建模块96可以具体用于：
基于每个所述细胞结构集合在所述待分类图像中的集合位置信息、以及相邻细胞结构集合之间的间隔距离，确定多个细胞结构集合之间的关联关系；
基于所述区域特征信息、以及多个细胞结构集合之间的关联关系，构建所述待分类图像对应的目标图结构数据。
在一实施例中，所述分类模块97可以包括卷积子模块和分类子模块，如下：
卷积子模块，用于对所述目标图结构数据进行图卷积操作，得到卷积后图像；
分类子模块，用于对所述卷积后图像进行内容分类操作，得到图像分类结果。
在一实施例中，所述卷积子模块可以具体用于：
确定每个所述细胞结构集合对应的邻居细胞结构集合；
基于图卷积层、以及每个所述细胞结构集合对应的邻居细胞结构集合，提取所述目标图结构数据中每个细胞结构集合对应的集合特征信息；
基于所述集合特征信息，确定所述目标图结构数据对应的卷积后图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例可以通过获取模块91获取待分类图像，待分类图像包括多个细胞结构单元，通过密度计算模块92确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，通过聚类模块93基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，通过确定模块94在待分类图像中，确定每个细胞结构集合对应的集合区域，通过提取模块95提取每个集合区域对应的区域特征信息，通过构建模块96基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，通过分类模块97对目标图结构数据进行内容分类操作，得到图像分类结果。该方案可以通过在多种层次上构建图结构数据，并提取图像在不同尺度上的特征，最终对图像进行分类时可以将不同尺度上的特征进行融合，从而提升图像分类的准确性。同时通过对多个细胞核进行密度聚类，减少目标图结构数据中节点的数量，使得节点数量被控制在神经网络模型以及计算资源可以接受的范围之内。并且通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。
本申请实施例还提供一种电子设备，该电子设备可以集成本申请实施例所提供的任一种图像分类装置。
例如，如图10所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器101、一个或一个以上计算机可读存储介质的存储器102、电源103和输入单元104等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器101是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器101可包括一个或多个处理核心；优选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、玩家界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。
存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。
电子设备还包括给各个部件供电的电源103，优选的，电源103可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元104，该输入单元104可用于接收输入的数字或字符信息，以及产生与玩家设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器101会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文本加载到存储器102中，并由处理器101来运行存储在存储器102中的应用程序，从而实现各种功能，如下：
获取待分类图像，待分类图像包括多个细胞结构单元，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，在待分类图像中，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例可以获取待分类图像，待分类图像包括多个细胞结构单元，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，在待分类图像中，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。该方案可以通过在多种层次上构建图结构数据，并提取图像在不同尺度上的特征，最终对图像进行分类时可以将不同尺度上的特征进行融合，从而提升图像分类的准确性。同时通过对多个细胞核进行密度聚类，减少目标图结构数据中节点的数量，使得节点数量被控制在神经网络模型以及计算资源可以接受的范围之内。并且通过对待分类图像中的多个细胞结构单元进行密度聚类，保留待分类图像上细胞结构单元的分布信息，从而提升图像分类的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种电子设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分类方法中的步骤。例如，该指令可以执行如下步骤：
获取待分类图像，待分类图像包括多个细胞结构单元，确定细胞结构单元对应的密度检测区域，并计算密度检测区域内细胞结构单元的单元密度，基于单元密度对待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，在待分类图像中，确定每个细胞结构集合对应的集合区域，提取每个集合区域对应的区域特征信息，基于区域特征信息、以及每个细胞结构集合在待分类图像中的集合位置信息，构建待分类图像对应的目标图结构数据，对目标图结构数据进行内容分类操作，得到图像分类结果。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像分类方面的各种可选实现方式中提供的方法。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像分类方法、装置、存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图像分类方法，其特征在于，包括：
获取待分类图像，所述待分类图像包括多个细胞结构单元；
确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度；
基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合；
在所述待分类图像中，确定每个所述细胞结构集合对应的集合区域；
提取所述集合区域中每个所述细胞结构单元对应的单元特征信息；
基于所述单元特征信息、以及每个所述细胞结构单元在所述集合区域中的单元位置信息，构建所述集合区域对应的图结构数据；
对所述图结构数据进行图卷积操作，得到所述集合区域对应的区域特征信息；
基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据；
对所述目标图结构数据进行内容分类操作，得到图像分类结果。
2.根据权利要求1所述的图像分类方法，其特征在于，确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度，包括：
基于所述细胞结构单元在所述待分类图像中的单元位置信息、以及预设半径，确定所述细胞结构单元对应的密度检测区域；
计算所述密度检测区域内细胞结构单元的单元密度。
3.根据权利要求1所述的图像分类方法，其特征在于，基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合，包括：
从所述多个细胞结构单元中确定初始细胞结构单元；
当所述初始细胞结构单元对应密度检测区域的单元密度达到预设密度阈值时，确定所述初始细胞结构单元对应的细胞结构集合；
返回执行从所述多个细胞结构单元中确定初始细胞结构单元的步骤，直至确定出所述待分类图像中所有细胞结构集合。
4.根据权利要求1所述的图像分类方法，其特征在于，基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据，包括：
基于每个所述细胞结构集合在所述待分类图像中的集合位置信息、以及相邻细胞结构集合之间的间隔距离，确定多个细胞结构集合之间的关联关系；
基于所述区域特征信息、以及多个细胞结构集合之间的关联关系，构建所述待分类图像对应的目标图结构数据。
5.根据权利要求1所述的图像分类方法，其特征在于，对所述目标图结构数据进行内容分类操作，得到图像分类结果，包括：
对所述目标图结构数据进行图卷积操作，得到卷积后图像；
对所述卷积后图像进行内容分类操作，得到图像分类结果。
6.根据权利要求5所述的图像分类方法，其特征在于，对所述目标图结构数据进行图卷积操作，得到卷积后图像，包括：
确定每个所述细胞结构集合对应的邻居细胞结构集合；
基于图卷积层、以及每个所述细胞结构集合对应的邻居细胞结构集合，提取所述目标图结构数据中每个细胞结构集合对应的集合特征信息；
基于所述集合特征信息，确定所述目标图结构数据对应的卷积后图像。
7.一种图像分类装置，其特征在于，包括：
获取模块，用于获取待分类图像，所述待分类图像包括多个细胞结构单元；
密度计算模块，用于确定所述细胞结构单元对应的密度检测区域，并计算所述密度检测区域内细胞结构单元的单元密度；
聚类模块，用于基于所述单元密度对所述待分类图像中的多个细胞结构单元进行聚类，得到多个细胞结构集合；
确定模块，用于在所述待分类图像中，确定每个所述细胞结构集合对应的集合区域；
提取模块，用于提取每个所述集合区域对应的区域特征信息；
构建模块，用于基于所述区域特征信息、以及每个所述细胞结构集合在所述待分类图像中的集合位置信息，构建所述待分类图像对应的目标图结构数据；
分类模块，用于对所述目标图结构数据进行内容分类操作，得到图像分类结果。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-6任一项所述的图像分类方法。
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至6任一项所述方法的步骤。
CN202010775286.6A 2020-08-05 2020-08-05 一种图像分类方法、装置、存储介质和电子设备 Active CN111652329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010775286.6A CN111652329B (zh) 2020-08-05 2020-08-05 一种图像分类方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010775286.6A CN111652329B (zh) 2020-08-05 2020-08-05 一种图像分类方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111652329A CN111652329A (zh) 2020-09-11
CN111652329B true CN111652329B (zh) 2020-11-10

Family

ID=72345516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010775286.6A Active CN111652329B (zh) 2020-08-05 2020-08-05 一种图像分类方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN111652329B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270273A (zh) * 2020-10-30 2021-01-26 湘潭大学 基于gcn和wpt-md的风力发电机故障部位识别方法
CN113762163B (zh) * 2021-09-09 2022-06-07 杭州澳亚生物技术股份有限公司 一种gmp车间智能化监控管理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156988A (zh) * 2011-05-27 2011-08-17 天津大学 一种细胞分裂序列检测方法
WO2020081343A1 (en) * 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894490A (zh) * 2015-11-05 2016-08-24 广西师范大学 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置
US11508168B2 (en) * 2018-10-15 2022-11-22 Upmc Systems and methods for specimen interpretation
CN111325271B (zh) * 2020-02-18 2023-09-12 Oppo广东移动通信有限公司 图像分类方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156988A (zh) * 2011-05-27 2011-08-17 天津大学 一种细胞分裂序列检测方法
WO2020081343A1 (en) * 2018-10-15 2020-04-23 Ventana Medical Systems, Inc. Systems and methods for cell classification

Also Published As

Publication number Publication date
CN111652329A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
Zhang et al. Detection of co-salient objects by looking deep and wide
Liu et al. Adaptive partial differential equation learning for visual saliency detection
CN111709497B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN112396106B (zh) 内容识别方法、内容识别模型训练方法及存储介质
Singh et al. A multilevel thresholding algorithm using LebTLBO for image segmentation
Tong et al. A density-peak-based clustering algorithm of automatically determining the number of clusters
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
CN111950408B (zh) 基于规则图的手指静脉图像识别方法、装置及存储介质
CN110188763B (zh) 一种基于改进图模型的图像显著性检测方法
CN111652329B (zh) 一种图像分类方法、装置、存储介质和电子设备
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN112052771A (zh) 一种对象重识别方法及装置
CN110807379A (zh) 一种语义识别方法、装置、以及计算机存储介质
JP2015036939A (ja) 特徴抽出プログラム及び情報処理装置
Kostavelis et al. Object recognition using saliency maps and HTM learning
Gao et al. Full-scale video-based detection of smoke from forest fires combining ViBe and MSER algorithms
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
Wang et al. Salient object detection using biogeography-based optimization to combine features
Wang et al. An improved simplified PCNN model for salient region detection
Li et al. Hierarchical clustering driven by cognitive features
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
Zhu et al. Automatic salient object detection for panoramic images using region growing and fixation prediction model
Wu et al. Salient object detection via reliable boundary seeds and saliency refinement
CN114648762A (zh) 语义分割方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028456

Country of ref document: HK