CN116246100A - 染色体图像可解释评估选取方法、装置、设备及存储介质 - Google Patents

染色体图像可解释评估选取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116246100A
CN116246100A CN202310061228.0A CN202310061228A CN116246100A CN 116246100 A CN116246100 A CN 116246100A CN 202310061228 A CN202310061228 A CN 202310061228A CN 116246100 A CN116246100 A CN 116246100A
Authority
CN
China
Prior art keywords
chromosome
image
concept
real microscopic
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310061228.0A
Other languages
English (en)
Inventor
张浩曦
徐煜锋
赖怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kemosheng Medical Technology Co ltd
Original Assignee
Shanghai Kemosheng Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kemosheng Medical Technology Co ltd filed Critical Shanghai Kemosheng Medical Technology Co ltd
Priority to CN202310061228.0A priority Critical patent/CN116246100A/zh
Publication of CN116246100A publication Critical patent/CN116246100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种染色体图像可解释评估选取方法、装置、设备及存储介质，涉及染色体图像处理技术领域。所述方法是在先对细胞核内物质的真实显微图像进行染色体识别处理，得到染色体识别结果，然后根据染色体识别结果进行染色体位置分析，得到在至少一个专家视觉概念上所得的统计结果，然后根据专家视觉评分规则和该统计结果得到图像评分，最后按照图像评分从高至低顺序确定前若干个真实显微图像为图像选取结果，如此不但可使选取过程具有可解释性，还可相比较于传统深度学习分类技术，既无需依赖样本，又能够更加准确地对中期图进行有目的选取，利于降低后续核型分析难度。

Description

染色体图像可解释评估选取方法、装置、设备及存储介质
技术领域
本发明属于染色体图像处理技术领域，具体涉及一种染色体图像可解释评估选取方法、装置、设备及存储介质。
背景技术
在进行染色体核型分析时，往往需要对分割出来的染色体单体图像进行分类和异常判断。目前，基于人工智能的辅助做法普遍是先用基于深度学习的分割网络(一般而言是实例分割网络，比如Mask R-CNN)对细胞核内物质的真实显微图像进行分割，得到每一根染色体的独立图像(即染色体单体图像)，然后再通过一个识别网络来对每一根染色体进行分类识别。
由于所述真实显微图像主要是染色体中期图像，而中期图(即染色体中期图像的简称)中的独立染色体是随机分布的，因此不同的中期图具有不同程度的染色体互相交叉、重叠以及粘连等情况，使得进行染色体核型分析所需图像的最好情况是在一张中期图里没有一处染色体交叉、重叠或者是粘连，而最坏情况可能是在一张中期图里会有大量的染色体互相交叉、重叠以及粘连等情况(因为这样会给核型分析造成巨大的困难)。因此在进行染色体核型分析前，有必要对中期图进行有目标选取(即最好选取没有一处染色体交叉、重叠或者是粘连的中期图)，以便降低后续核型分析难度。
现有的图像评估方法，大都是集中于评价图像锐度以及色彩等方面，而缺少对图像中个体元素的分布及个体元素间相互关系进行理解和评价。如果采用普通的且基于深度学习的方法来对图像进行评分(即通过大量的样本来训练人工神经网络模型进行分数回归预测)，虽然在一定程度上可缓解此问题，但是这类方法的缺点是可解释性很差，难以达到医疗业务需要给出判断依据的需求；另外，这类方法大量依赖样本，而染色体分布随机性很强，长短差异变化大，从而使得普通基于深度学习的方法不仅缺少可解释性，还不够准确，有时候甚至还会给出错误分数，不利于对中期图进行准确地有目的选取。
发明内容
本发明的目的是提供一种染色体图像可解释评估选取方法、装置、计算机设备及计算机可读存储介质，用以解决现有图像评估方法在选取染色体中期图像时所存在可解释性差和准确性低的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种染色体图像可解释评估选取方法，包括：
获取多个细胞核的真实显微图像；
对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置；
针对各个所述真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的染色体分布情况描述信息，其中，所述染色体分布情况描述信息包含有在至少一个专家视觉概念上所得的统计结果，所述专家视觉概念是指在染色体专家对染色体进行核型分析时所采用的且用于评估图像好坏程度的染色体位置概念；
针对各个所述真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，其中，所述专家视觉评分规则是指在染色体专家对染色体进行核型分析时所采用的且基于所述至少一个专家视觉概念来评估图像好坏程度的图像评分规则；
按照图像评分从高至低顺序依次排列所述多个细胞核的真实显微图像，得到图像序列，并根据预设的图像选取数量K，将所述图像序列中的前K个真实显微图像作为图像选取结果。
基于上述发明内容，提供了一种基于专家视觉概念和专家视觉评分规则的染色体图像选取新方案，即在先对细胞核内物质的真实显微图像进行染色体识别处理，得到染色体识别结果，然后根据染色体识别结果进行染色体位置分析，得到在至少一个专家视觉概念上所得的统计结果，然后根据专家视觉评分规则和该统计结果得到图像评分，最后按照图像评分从高至低顺序确定前若干个真实显微图像为图像选取结果，如此不但可使选取过程具有可解释性，还可相比较于传统深度学习分类技术，既无需依赖样本，又能够更加准确地对中期图进行有目的选取，利于降低后续核型分析难度，便于实际应用和推广。
在一个可能的设计中，在获取多个细胞核的真实显微图像之后且在对各个所述真实显微图像分别进行染色体识别处理之前，所述方法还包括：
对所述真实显微图像进行图像滤波处理，得到已去除图像噪声的真实显微图像；
对所述已去除图像噪声的真实显微图像进行预处理，得到待识别的真实显微图像，其中，所述预处理包括有图像尺寸统一调整处理和像素值标准化处理，所述像素值标准化处理是指对图像色彩分布和/或曝光度进行统一校准操作。
在一个可能的设计中，对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，包括：
采用基于深度学习的图像目标识别算法对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置。
在一个可能的设计中，所述图像目标识别算法采用YOLO v4目标检测算法或Mask2Former算法，所述图中所在位置由检测所得标记框的一组对角顶点坐标表示。
在一个可能的设计中，所述至少一个专家视觉概念包含有染色体交叉概念、染色体粘连概念、染色体嵌入概念、染色体无接触概念和/或染色体独立概念，其中，所述染色体交叉概念是指两染色体在位置关系上出现交叉现象，所述染色体粘连概念是指两染色体在位置关系上出现粘连现象，所述染色体嵌入概念是指两染色体在位置关系上出现嵌入现象，所述染色体无接触概念是指两染色体在位置关系上出现无接触现象，所述染色体独立概念是指单个染色体与其它染色体在位置关系上出现独立现象。
在一个可能的设计中，当所述至少一个专家视觉概念包含有染色体交叉概念时，针对所述多个细胞核的真实显微图像中的某个真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的且在所述染色体交叉概念上的统计结果，包括：
根据所述某个真实显微图像的染色体识别结果，统计得到在该染色体识别结果中的且满足如下条件的染色体对数：
max(Ax0,Bx0)＜＝min(Ax1,Bx1)且max(Ay0,By0)＜＝min(Ay1,By1)
式中，(Ax0,Ay0)表示在该染色体识别结果中第一染色体的标记框左下角顶点坐标，(Ax1,Ay1)表示所述第一染色体的标记框右上角顶点坐标，(Bx0,By0)表示在该染色体识别结果中第二染色体的标记框左下角顶点坐标，(Bx1,By1)表示所述第二染色体的标记框右上角顶点坐标。
在一个可能的设计中，当所述至少一个专家视觉概念包含有染色体交叉概念和染色体独立概念时，针对所述多个细胞核的真实显微图像中的某个真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，包括：
根据所述某个真实显微图像的染色体分布情况描述信息，按照如下公式计算得到图像评分P：
P＝(p×a)+(q×b)或P＝(bΛCopΛm)×(p×a)
式中，p表示在所述专家视觉评分规则中的且针对所述染色体交叉概念而预设的评分系数，a表示在所述染色体交叉概念上的统计结果，q表示在所述专家视觉评分规则中的且针对所述染色体独立概念而预设的评分系数，b表示在所述染色体独立概念上的统计结果，m表示在所述专家视觉评分规则中的且针对所述染色体独立概念而预设的目标统计值，ΛCopΛ表示比较运算符。
第二方面，提供了一种染色体图像可解释评估选取装置，包括有依次通信连接的图像获取模块、识别处理模块、分析处理模块、图像评分模块和图像选取模块；
所述图像获取模块，用于获取多个细胞核的真实显微图像；
所述识别处理模块，用于对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置；
所述分析处理模块，用于针对各个所述真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的染色体分布情况描述信息，其中，所述染色体分布情况描述信息包含有在至少一个专家视觉概念上所得的统计结果，所述专家视觉概念是指在染色体专家对染色体进行核型分析时所采用的且用于评估图像好坏程度的染色体位置概念；
所述图像评分模块，用于针对各个所述真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，其中，所述专家视觉评分规则是指在染色体专家对染色体进行核型分析时所采用的且基于所述至少一个专家视觉概念来评估图像好坏程度的图像评分规则；
所述图像选取模块，用于按照图像评分从高至低顺序依次排列所述多个细胞核的真实显微图像，得到图像序列，并根据预设的图像选取数量K，将所述图像序列中的前K个真实显微图像作为图像选取结果。
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发数据，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的染色体图像可解释评估选取方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的染色体图像可解释评估选取方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的染色体图像可解释评估选取方法。
上述方案的有益效果：
(1)本发明创造性提供了一种基于专家视觉概念和专家视觉评分规则的染色体图像选取新方案，即在先对细胞核内物质的真实显微图像进行染色体识别处理，得到染色体识别结果，然后根据染色体识别结果进行染色体位置分析，得到在至少一个专家视觉概念上所得的统计结果，然后根据专家视觉评分规则和该统计结果得到图像评分，最后按照图像评分从高至低顺序确定前若干个真实显微图像为图像选取结果，如此不但可使选取过程具有可解释性，还可相比较于传统深度学习分类技术，既无需依赖样本，又能够更加准确地对中期图进行有目的选取，利于降低后续核型分析难度；
(2)由于是以理解图像中各目标的位置和相互关系为基础，再结合专家规则实现推理评估，因此具备可解释性高、灵活性高、对样本依赖度低和正确率高等优点，解决了目前染色体核型分析中缺少专门的选图方法，或者选图方法缺乏可解释性、正确率低、不够灵活以及对图像无法做到理解等问题，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的染色体图像可解释评估选取方法的流程示意图。
图2为本申请实施例提供的染色体图像可解释评估选取结果的示例图，其中，图2(a)示出了第一中期图，图2(b)示出了第二中期图。
图3为本申请实施例提供的染色体图像可解释评估选取装置的结构示意图。
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的所述染色体图像可解释评估选取方法，可以但不限于由具有一定计算资源的计算机设备执行，例如由平台服务器、个人计算机(Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal Digital Assistant，PDA)或可穿戴设备等电子设备执行。如图1所示，所述染色体图像可解释评估选取方法，可以但不限于包括有如下步骤S1～S5。
S1.获取多个细胞核的真实显微图像。
在所述步骤S1中，所述真实显微图像即为对细胞核内物质的电子显微成像结果，可优选在培养至细胞中期时采集的电子显微成像结果。所述真实显微图像可以具体是高倍镜图像，例如63倍油镜图像。
S2.对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含但不限于有识别出的至少一个染色体以及各个染色体的图中所在位置。
在所述步骤S2之前，为了确保能够准确进行所述染色体识别处理，优选的，在获取多个细胞核的真实显微图像之后且在对各个所述真实显微图像分别进行染色体识别处理之前，所述方法还包括但不限于有：先对所述真实显微图像进行图像滤波处理，得到已去除图像噪声的真实显微图像；再对所述已去除图像噪声的真实显微图像进行预处理，得到待识别的真实显微图像，其中，所述预处理包括但不限于有图像尺寸统一调整处理和像素值标准化处理等，所述像素值标准化处理是指对图像色彩分布和/或曝光度等进行统一校准操作。前述图像滤波处理的目的是滤除诸如细胞核边界成像和细胞质成像等的杂质成像，以便得到只含有染色体及背景色的所述已去除图像噪声的真实显微图像。此外，所述图像滤波处理、所述图像尺寸统一调整处理和所述像素值标准化处理的具体过程为现有技术，于此不再赘述。
在所述步骤S2中，具体的，对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，包括但不限于有：采用基于深度学习的图像目标识别算法对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含但不限于有识别出的至少一个染色体以及各个染色体的图中所在位置。前述图像目标识别算法为现有算法，具体可以但不限于采用YOLO v4目标检测算法或Mask2Former算法，其中，所述YOLO v4目标检测算法的具体模型结构由三部分组成，分别是骨干网络backbone、颈部网络neck和头部网络head。所述骨干网络Backbone可采用CSPDarknet53(CSP表示Cross Stage Partial)网络，用于提取特征。所述颈部网络neck由SPP(Spatial Pyramid Pooling block)块和PANet(PathAggregation Network)网络组成，前者用于增加感受野以及分离出最重要的特征，后者用于保证同时从高级别层接受语义特征和从横向骨干网络的低级别层接收细粒度的特征。所述头部网络head是基于锚框进行检测，并对三种不同尺寸的特征图13x13、26x26和52x52进行检测，分别用于检测从大到小的目标(在这里，尺寸大的特征图包含到信息更加丰富，因此，52x52尺寸的特征图用于检测小目标，反之亦然)。由于所述图像目标识别算法会将在图像中的物体识别出来并以矩形框形式标记出物体位置，因此可用染色体标记框的位置来作为所述图中所在位置，即具体的，所述图中所在位置可由检测所得标记框的一组对角顶点坐标表示，例如具体表示为boxi＝[(x0,y0),(x1,y1)]，其中，i表示正整数，boxi表示在所述至少一个染色体中第i个染色体的矩形标记框，(x0,y0)表示该矩形标记框的左下角顶点坐标，(x1,y1)表示该矩形标记框的右上角顶点坐标。
S3.针对各个所述真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的染色体分布情况描述信息，其中，所述染色体分布情况描述信息包含但不限于有在至少一个专家视觉概念上所得的统计结果，所述专家视觉概念是指在染色体专家对染色体进行核型分析时所采用的且用于评估图像好坏程度的染色体位置概念。
在所述步骤S3中，所述专家视觉概念可具体根据染色体专家的需求来编辑确定，例如若染色体专家需要根据染色体“交叉”数量来评估图像的好坏，那么就可以编写一个用于认定“交叉”这一专家视觉概念的认定规则，以便进行所述染色体位置分析。具体的，所述至少一个专家视觉概念包含但不限于有染色体交叉概念、染色体粘连概念、染色体嵌入概念、染色体无接触概念和/或染色体独立概念等，其中，所述染色体交叉概念是指两染色体在位置关系上出现交叉现象，所述染色体粘连概念是指两染色体在位置关系上出现粘连现象，所述染色体嵌入概念是指两染色体在位置关系上出现嵌入现象，所述染色体无接触概念是指两染色体在位置关系上出现无接触现象，所述染色体独立概念是指单个染色体与其它染色体在位置关系上出现独立现象。
在所述步骤S3中，具体的，当所述至少一个专家视觉概念包含有染色体交叉概念时，针对所述多个细胞核的真实显微图像中的某个真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的且在所述染色体交叉概念上的统计结果，包括但不限于有：根据所述某个真实显微图像的染色体识别结果，统计得到在该染色体识别结果中的且满足如下条件的染色体对数：
max(Ax0,Bx0)＜＝min(Ax1,Bx1)且max(Ay0,By0)＜＝min(Ay1,By1)
式中，(Ax0,Ay0)表示在该染色体识别结果中第一染色体的标记框左下角顶点坐标，(Ax1,Ay1)表示所述第一染色体的标记框右上角顶点坐标，(Bx0,By0)表示在该染色体识别结果中第二染色体的标记框左下角顶点坐标，(Bx1,By1)表示所述第二染色体的标记框右上角顶点坐标。此外，参照所述染色体交叉概念还可得到其它概念的统计结果，使得所述染色体分布情况描述信息可具体表示为D＝[(c1:a1),(c2:a2),…,(cn:an),…,(cN:aN)]，其中，N表示在所述至少一个专家视觉概念中的概念总数，n表示正整数，cn表示所述至少一个专家视觉概念中的第n个概念，an表示在所述第n个概念上的统计出现次数。
S4.针对各个所述真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，其中，所述专家视觉评分规则是指在染色体专家对染色体进行核型分析时所采用的且基于所述至少一个专家视觉概念来评估图像好坏程度的图像评分规则。
在所述步骤S4中，所述专家视觉评分规则也是可具体根据染色体专家的需求来编辑确定，具体的，当所述至少一个专家视觉概念包含有染色体交叉概念和染色体独立概念时，针对所述多个细胞核的真实显微图像中的某个真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，包括但不限于有：根据所述某个真实显微图像的染色体分布情况描述信息，按照如下公式计算得到图像评分P：
P＝(p×a)+(q×b)或P＝(bΛCopΛm)×(p×a)
式中，p表示在所述专家视觉评分规则中的且针对所述染色体交叉概念而预设的评分系数，a表示在所述染色体交叉概念上的统计结果(即出现次数)，q表示在所述专家视觉评分规则中的且针对所述染色体独立概念而预设的评分系数，b表示在所述染色体独立概念上的统计结果(即出现次数)，m表示在所述专家视觉评分规则中的且针对所述染色体独立概念而预设的目标统计值，ΛCopΛ表示比较运算符。前述的比较运算符包含但不限于有：“＝＝”(等于)、“＝＝＝”(全等)、“！＝”(不等于)、“>”(大于)、“<”(小于)、“>＝”(大于或等于)和“<＝”(小于或等于)等。例如若染色体专家不希望选择交叉数量很多的中期图，那么相关标准就应该是对交叉出现的次数进行扣分，同时如果染色体专家还希望选择一张在图中只有46根染色体的中期图，那么对于独立染色体个数的出现次数是否为46的情况就要进行筛选，即可根据所述某个真实显微图像的染色体分布情况描述信息，按照如下公式计算得到图像评分P：
P＝(b＝＝m)×(p×a)
式中，m为46，由于是对交叉出现的次数进行扣分，因此前述评分系数p为负数，例如为-2表示每出现一次交叉扣2分。此外，参照所述染色体交叉概念和所述染色体独立概念，还可得到在其它概念上的图像评分，最后累加所有概念的图像评分结果，即可得到总的图像评分。
S5.按照图像评分从高至低顺序依次排列所述多个细胞核的真实显微图像，得到图像序列，并根据预设的图像选取数量K，将所述图像序列中的前K个真实显微图像作为图像选取结果。
在所述步骤S5中，举例的，若K＝10，那么可选择出得分最高的前十张中期图作为所述图像选取结果。如图2所示，有两张中期图：第一中期图和第二中期图，从所述第一中期图可以看出几乎没有交叉，但似乎分布密(其实是“好图”)，而从所述第二中期图可以看出似乎分布稀疏，容易被传统方法分类成“好图”，但其实仔细看有很多交叉，交叉会大大增加分割难度，所以其实是“坏图”。针对前述这两张中期图，基于前述步骤S1～S4和传统深度学习分类技术所得的评分结果如下表1所示：
表1.本实施例与现有传统深度学习分类技术的评分结果对比表
方法 第一中期图的图像评分 第二中期图的图像评分
传统深度学习分类技术 116.77 119.67
本方法 85.28 70.14
根据上述表1可知，采用本实施例可使所述第一中期图的图像评分高于所述第二中期图的图像评分，与所述第一中期图为“好图”且所述第二中期图为“坏图”的真实情况一致，由此相比较于传统深度学习分类技术，可以更加准确地对中期图进行有目的选取。
由此基于前述步骤S1～S5所描述的染色体图像可解释评估选取方法，提供了一种基于专家视觉概念和专家视觉评分规则的染色体图像选取新方案，即在先对细胞核内物质的真实显微图像进行染色体识别处理，得到染色体识别结果，然后根据染色体识别结果进行染色体位置分析，得到在至少一个专家视觉概念上所得的统计结果，然后根据专家视觉评分规则和该统计结果得到图像评分，最后按照图像评分从高至低顺序确定前若干个真实显微图像为图像选取结果，如此不但可使选取过程具有可解释性，还可相比较于传统深度学习分类技术，既无需依赖样本，又能够更加准确地对中期图进行有目的选取，利于降低后续核型分析难度，便于实际应用和推广。
如图3所示，本实施例第二方面提供了一种实现第一方面所述的染色体图像可解释评估选取方法的虚拟装置，包括有依次通信连接的图像获取模块、识别处理模块、分析处理模块、图像评分模块和图像选取模块；
所述图像获取模块，用于获取多个细胞核的真实显微图像；
所述识别处理模块，用于对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置；
所述分析处理模块，用于针对各个所述真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的染色体分布情况描述信息，其中，所述染色体分布情况描述信息包含有在至少一个专家视觉概念上所得的统计结果，所述专家视觉概念是指在染色体专家对染色体进行核型分析时所采用的且用于评估图像好坏程度的染色体位置概念；
所述图像评分模块，用于针对各个所述真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，其中，所述专家视觉评分规则是指在染色体专家对染色体进行核型分析时所采用的且基于所述至少一个专家视觉概念来评估图像好坏程度的图像评分规则；
所述图像选取模块，用于按照图像评分从高至低顺序依次排列所述多个细胞核的真实显微图像，得到图像序列，并根据预设的图像选取数量K，将所述图像序列中的前K个真实显微图像作为图像选取结果。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面所述的染色体图像可解释评估选取方法，于此不再赘述。
如图4所示，本实施例第三方面提供了一种实现如第一方面所述的染色体图像可解释评估选取方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发数据，所述处理器用于读取所述计算机程序，执行如第一方面所述的染色体图像可解释评估选取方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面所述的染色体图像可解释评估选取方法，于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面所述的染色体图像可解释评估选取方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的染色体图像可解释评估选取方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面所述的染色体图像可解释评估选取方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的染色体图像可解释评估选取方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种染色体图像可解释评估选取方法，其特征在于，包括：
获取多个细胞核的真实显微图像；
对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置；
针对各个所述真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的染色体分布情况描述信息，其中，所述染色体分布情况描述信息包含有在至少一个专家视觉概念上所得的统计结果，所述专家视觉概念是指在染色体专家对染色体进行核型分析时所采用的且用于评估图像好坏程度的染色体位置概念；
针对各个所述真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，其中，所述专家视觉评分规则是指在染色体专家对染色体进行核型分析时所采用的且基于所述至少一个专家视觉概念来评估图像好坏程度的图像评分规则；
按照图像评分从高至低顺序依次排列所述多个细胞核的真实显微图像，得到图像序列，并根据预设的图像选取数量K，将所述图像序列中的前K个真实显微图像作为图像选取结果。
2.根据权利要求1所述的染色体图像可解释评估选取方法，其特征在于，在获取多个细胞核的真实显微图像之后且在对各个所述真实显微图像分别进行染色体识别处理之前，所述方法还包括：
对所述真实显微图像进行图像滤波处理，得到已去除图像噪声的真实显微图像；
对所述已去除图像噪声的真实显微图像进行预处理，得到待识别的真实显微图像，其中，所述预处理包括有图像尺寸统一调整处理和像素值标准化处理，所述像素值标准化处理是指对图像色彩分布和/或曝光度进行统一校准操作。
3.根据权利要求1所述的染色体图像可解释评估选取方法，其特征在于，对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，包括：
采用基于深度学习的图像目标识别算法对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置。
4.根据权利要求3所述的染色体图像可解释评估选取方法，其特征在于，所述图像目标识别算法采用YOLO v4目标检测算法或Mask2Former算法，所述图中所在位置由检测所得标记框的一组对角顶点坐标表示。
5.根据权利要求1所述的染色体图像可解释评估选取方法，其特征在于，所述至少一个专家视觉概念包含有染色体交叉概念、染色体粘连概念、染色体嵌入概念、染色体无接触概念和/或染色体独立概念，其中，所述染色体交叉概念是指两染色体在位置关系上出现交叉现象，所述染色体粘连概念是指两染色体在位置关系上出现粘连现象，所述染色体嵌入概念是指两染色体在位置关系上出现嵌入现象，所述染色体无接触概念是指两染色体在位置关系上出现无接触现象，所述染色体独立概念是指单个染色体与其它染色体在位置关系上出现独立现象。
6.根据权利要求5所述的染色体图像可解释评估选取方法，其特征在于，当所述至少一个专家视觉概念包含有染色体交叉概念时，针对所述多个细胞核的真实显微图像中的某个真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的且在所述染色体交叉概念上的统计结果，包括：
根据所述某个真实显微图像的染色体识别结果，统计得到在该染色体识别结果中的且满足如下条件的染色体对数：
max(Ax0,Bx0)＜＝min(Ax1,Bx1)且max(Ay0,By0)＜＝min(Ay1,By1)
式中，(Ax0,Ay0)表示在该染色体识别结果中第一染色体的标记框左下角顶点坐标，(Ax1,Ay1)表示所述第一染色体的标记框右上角顶点坐标，(Bx0,By0)表示在该染色体识别结果中第二染色体的标记框左下角顶点坐标，(Bx1,By1)表示所述第二染色体的标记框右上角顶点坐标。
7.根据权利要求5所述的染色体图像可解释评估选取方法，其特征在于，当所述至少一个专家视觉概念包含有染色体交叉概念和染色体独立概念时，针对所述多个细胞核的真实显微图像中的某个真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，包括：
根据所述某个真实显微图像的染色体分布情况描述信息，按照如下公式计算得到图像评分P：
P＝(p×a)+(q×b)或P＝(bΛCopΛm)×(p×a)
式中，p表示在所述专家视觉评分规则中的且针对所述染色体交叉概念而预设的评分系数，a表示在所述染色体交叉概念上的统计结果，q表示在所述专家视觉评分规则中的且针对所述染色体独立概念而预设的评分系数，b表示在所述染色体独立概念上的统计结果，m表示在所述专家视觉评分规则中的且针对所述染色体独立概念而预设的目标统计值，ΛCopΛ表示比较运算符。
8.一种染色体图像可解释评估选取装置，其特征在于，包括有依次通信连接的图像获取模块、识别处理模块、分析处理模块、图像评分模块和图像选取模块；
所述图像获取模块，用于获取多个细胞核的真实显微图像；
所述识别处理模块，用于对各个所述真实显微图像分别进行染色体识别处理，得到各个所述真实显微图像的染色体识别结果，其中，所述染色体识别结果包含有识别出的至少一个染色体以及各个染色体的图中所在位置；
所述分析处理模块，用于针对各个所述真实显微图像，根据对应的染色体识别结果进行染色体位置分析，得到对应的染色体分布情况描述信息，其中，所述染色体分布情况描述信息包含有在至少一个专家视觉概念上所得的统计结果，所述专家视觉概念是指在染色体专家对染色体进行核型分析时所采用的且用于评估图像好坏程度的染色体位置概念；
所述图像评分模块，用于针对各个所述真实显微图像，根据专家视觉评分规则和对应的染色体分布情况描述信息，得到对应的图像评分，其中，所述专家视觉评分规则是指在染色体专家对染色体进行核型分析时所采用的且基于所述至少一个专家视觉概念来评估图像好坏程度的图像评分规则；
所述图像选取模块，用于按照图像评分从高至低顺序依次排列所述多个细胞核的真实显微图像，得到图像序列，并根据预设的图像选取数量K，将所述图像序列中的前K个真实显微图像作为图像选取结果。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发数据，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的染色体图像可解释评估选取方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的染色体图像可解释评估选取方法。
CN202310061228.0A 2023-01-16 2023-01-16 染色体图像可解释评估选取方法、装置、设备及存储介质 Pending CN116246100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310061228.0A CN116246100A (zh) 2023-01-16 2023-01-16 染色体图像可解释评估选取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310061228.0A CN116246100A (zh) 2023-01-16 2023-01-16 染色体图像可解释评估选取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116246100A true CN116246100A (zh) 2023-06-09

Family

ID=86627124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310061228.0A Pending CN116246100A (zh) 2023-01-16 2023-01-16 染色体图像可解释评估选取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116246100A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152147A (zh) * 2023-10-31 2023-12-01 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152147A (zh) * 2023-10-31 2023-12-01 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质
CN117152147B (zh) * 2023-10-31 2024-02-09 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质

Similar Documents

Publication Publication Date Title
CN108596166B (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
Nazlibilek et al. Automatic segmentation, counting, size determination and classification of white blood cells
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN106778705B (zh) 一种行人个体分割方法及装置
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN114092389A (zh) 一种基于小样本学习的玻璃面板表面缺陷检测方法
WO2015107722A1 (ja) 検出制御装置、プログラム、検出システム、記憶媒体及び検出制御方法
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN112819821B (zh) 一种细胞核图像检测方法
CN111507965A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN110245697B (zh) 一种表面脏污检测方法、终端设备及存储介质
CN111860459A (zh) 一种基于显微图像的禾本科植物叶片气孔指数测量方法
CN113658174B (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN114749342A (zh) 一种锂电池极片涂布缺陷识别方法、装置及介质
CN107704867A (zh) 一种视觉定位中基于衡量因子的图像特征点误匹配剔除方法
CN116246100A (zh) 染色体图像可解释评估选取方法、装置、设备及存储介质
CN114972922A (zh) 基于机器学习的煤矸分选识别方法、装置及设备
CN114581928A (zh) 一种表格识别方法及系统
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN109389173B (zh) 一种基于m-cnn的试卷分数自动统计分析方法和装置
CN116091828A (zh) 一种染色体图像可解释分析方法、装置、设备及存储介质
CN112508900B (zh) 细胞病理图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination