CN115601360B - 染色体结构异常辅助识别方法、系统及计算机设备 - Google Patents

染色体结构异常辅助识别方法、系统及计算机设备 Download PDF

Info

Publication number
CN115601360B
CN115601360B CN202211593128.4A CN202211593128A CN115601360B CN 115601360 B CN115601360 B CN 115601360B CN 202211593128 A CN202211593128 A CN 202211593128A CN 115601360 B CN115601360 B CN 115601360B
Authority
CN
China
Prior art keywords
chromosome
real
image
reconstructed
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211593128.4A
Other languages
English (en)
Other versions
CN115601360A (zh
Inventor
蔡昱峰
卢沁阳
刘丽珏
穆阳
高悦
邹磊
徐思
彭伟雄
蔡自兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zixing Wisdom Medical Technology Co ltd
Original Assignee
Hunan Zixing Wisdom Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zixing Wisdom Medical Technology Co ltd filed Critical Hunan Zixing Wisdom Medical Technology Co ltd
Priority to CN202211593128.4A priority Critical patent/CN115601360B/zh
Publication of CN115601360A publication Critical patent/CN115601360A/zh
Application granted granted Critical
Publication of CN115601360B publication Critical patent/CN115601360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种染色体结构异常辅助识别方法、系统及计算机设备，包括如下步骤：S100、获取需要判断的真实染色体图像；S200、通过染色体内容重构模型生成指定染色体类型的重构染色体图像；S300、通过染色体相似度计算模块获得两者的相似度；S400、根据真实染色体和重构染色体之间的相似度预警，比对真实染色体图像和重构染色体图像中染色体特征，判断真实染色体是否异常。本发明采用辅助识别的方式，在为医生提供染色体相似度的同时，也能使医生能够对异常预警的真实染色体和生成的重构染色体进行对比，避免了对真实染色体进行直接识别不准确而对医生产生误导，有效提高了染色体智能识别的准确率。

Description

染色体结构异常辅助识别方法、系统及计算机设备
技术领域
本发明涉及一种染色体结构异常辅助识别方法、系统及计算机设备，属于生物遗传染色体信息识别技术。
背景技术
染色体结构异常是染色体的一种常见异常，包括易位、倒位等，通常这些异常与各种遗传疾病具有高度关联性。染色体核型分析是筛查遗传疾病、白血病的重要手段，医生可以通过分析染色体的图像来判断该条染色体是否异常。但由于染色体异常的医院诊断的病例中占比不高，因此许多基层医疗机构以及一些资历较浅的医生对异常染色体的判断能力较弱，往往需要将病例移交至大医院或是资深医生，十分不便。为了解决这个问题，市面上出现了一些基于深度学习的染色体结构异常识别系统，这类系统通过历史数据的训练，以达到直接判断染色体是否存在结构异常的目的。但深度学习模型只是拟合了历史数据，并不完全可靠，其判断逻辑也不可知，缺乏可解释性。
发明内容
本发明解决的技术问题是：针对通过历史数据训练来直接判断染色体是否存在结构异常的不足之处，提供一种基于扩散概率模型的染色体结构异常辅助识别方法、系统及计算机设备。
本发明采用如下技术方案实现：
染色体结构异常辅助识别方法，包括如下步骤：
S100、获取需要判断的真实染色体图像；
S200、指定所述真实染色体的类别，以真实染色体图像中的染色体轮廓和染色体类别作为染色体内容，通过染色体内容重构模型生成指定染色体类型的重构染色体图像；
S300、将真实染色体和重构染色体的特征向量化，通过染色体相似度计算模块获得两者的相似度；
S400、根据真实染色体和重构染色体之间的相似度预警，比对真实染色体图像和重构染色体图像中染色体特征，判断真实染色体是否异常。
进一步的，在本发明的染色体结构异常辅助识别方法中，所述步骤S200从染色体图像数据库中调取训练染色体数据，采用以扩散概率模型为基础的模型离线训练模块对训练染色体进行所述染色体内容重构模型的训练。
进一步的，在本发明的染色体结构异常辅助识别方法中，所述扩散概率模型将训练染色体的轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型。
具体的，在本发明的染色体结构异常辅助识别方法中，所述扩散概率模型的损失函数如下：
Figure 100002_DEST_PATH_IMAGE001
（1），
其中，t代表扩散概率模型中扩散过程的第t步，Lt代表在第t步扩散时的损失函数值，xa为训练时的训练染色体图像，ϵ是在扩散概率模型的标准高斯分布中的一次随机采样，ϵθ代表扩散概率模型，其输入为
Figure 495885DEST_PATH_IMAGE002
和t，/>
Figure 100002_DEST_PATH_IMAGE003
是人工设置的超参数。
具体的，在本发明的染色体结构异常辅助识别方法中，所述步骤200中重构染色体图像的生成包括如下子步骤：
S201、对染色体内容重构模型进行训练；
S202、提取真实染色体轮廓并生成二值图，使用自然语言处理嵌入技术，将真实染色体的轮廓二值图和真实染色体类别作为两个条件嵌入两条特征向量，输入到训练好的染色体内容重构模型中；
S203、从标准正态分布中采样一张同尺寸的噪声图像xT，输入至所述染色体内容重构模型中，得到xT-1；
S204、重复步骤S202和步骤S203，并将步骤S203中的xT替换为xT-1输入至所述染色体内容重构模型中，得到xT-2；
S205、重复步骤S204，直至获得最终输出xT-T，即x0，生成重构染色体图像。
进一步的，在本发明的染色体结构异常辅助识别方法中，所述步骤S300的染色体特征向量化包括：通过图像处理算法对染色体图像依次进行染色体拉直、带纹提取、带纹向量化、概率归一化，提取染色体的带纹后，使用所述带纹的平均灰度作为向量中的值，再进行概率归一化，概率归一化公式如下：
Figure 118496DEST_PATH_IMAGE004
（2），
其中，向量长度取50，f为概率归一化之前的向量，V为目标概率特征向量，f(x)代表f在x位置的值，v(x)代表V在x位置的值，f(i)代表f在i位置的值，通过公式（2），即可由向量f得到向量V。
进一步的，在本发明的染色体结构异常辅助识别方法中，所述步骤S300中，通过染色体相似度计算模块计算染色体特征向量间的相对熵作为染色体特征向量的相似度，所述相对熵的公式如下：
Figure 952460DEST_PATH_IMAGE005
（3），
其中，KL代表相对熵，v1代表由真实染色体对应的特征向量，v2代表重构染色体对应的特征向量，v1(x)和v2(x)分别代表两个向量在各自x位置的值，相对熵的值越小，则代表两个特征向量的相似度越高。
进一步的，在本发明的染色体结构异常辅助识别方法中，所述步骤S400设定相似度异常预警阈值，当步骤S300中计算得到的相似度超过相似度异常预警阈值，则发出染色体异常预警，提醒人工比对真实染色体图像和重构染色体图像中的染色体详细带纹特征，来判断真实染色体是否异常。
本发明还公开了一种染色体结构异常辅助识别系统，包括如下模块：
染色体内容重构模块，通过染色体内容重构模型将真实染色体生成指定染色体类型的重构染色体图像，内嵌有模型离线训练模块，所述模型离线训练模块从染色体图像数据库中调取训练染色体数据，进行所述染色体内容重构模型的训练；
染色体特征向量化模块，用于将真实染色体和重构染色体的特征向量化；
染色体相似度计算模块，用于计算特征向量化后的真实染色体和重构染色体之间的相似度，并根据计算得出的相似度做出染色体异常预警；
交互界面，用于获取真实染色体图像，并用于异常预警的真实染色体和重构染色体的图像比对。
本发明还公开了一种计算机设备，包括存储器、处理器和显示器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明上述染色体结构异常辅助识别方法的步骤，所述显示器作为获取真实染色体图像和预警异常染色体图像比对的交互界面。
本发明的染色体异常识别辅助方法和系统中，以医生指定的真实染色体为标准，对其轮廓内的染色体图像进行重建，生成出指定染色体类型的正常的重构染色体。染色体内容重构模块的以扩散概率模型为基础，同时辅以自然语言处理中的技术，通过将染色体的前景掩膜与染色体类型嵌入至特征向量中，并通过自然语言处理中的交叉注意力技术将特征向量作用于扩散概率模型中，以达到控制模型生成染色体的轮廓以及类别。由于重构过程中并未用到真实染色体内部图像信息，而只是使用了其轮廓信息，因此当真实染色体图像内部带纹模糊时，本发明仍然能重构出一条清晰的、符合条件的染色体。
一方面，本发明的染色体异常识别辅助方法和系统能自动计算重构染色体与真实染色体之间的相似度，根据相似度阈值做出染色体异常预警，供医生参考；另一方面，生成的重构染色体为正常染色体，可以以此作为标准，方便医生将其与异常预警的真实染色体进行比对，以识别出结构异常。
本发明与现有技术相比，具有如下有益效果: 本发明不同于一般的直接进行异常识别的方法，而是采用辅助识别的方式，能够为医生生成一条任意轮廓的指定类别重构染色体，在为医生提供染色体相似度的同时，也能使医生能够对异常预警的真实染色体和生成的重构染色体进行对比，避免了对真实染色体进行直接识别不准确而对医生产生误导；本发明在提供染色体相似度提示的同时，生成的正常重构染色体能使医生进行真实染色体图像细节的比对，即便是经验不足的医生，也能通过有理有据的图像信息比对准确判断出染色体异常。
综上所述，本发明提供的染色体结构异常辅助识别方法、系统及计算机设备提出了对异常结构染色体的辅助识别方式，有效提高了染色体智能识别的准确率，降低了染色体结构异常识别的操作技术门槛，有利于染色体识别检测在各大中小医院进行推广应用。
以下结合附图和具体实施方式对本发明作进一步说明。
附图说明
图1为实施例1的染色体结构异常辅助识别方法的流程示意图。
图2为实施例1中的重构染色体生成的流程示意图。
图3为实施例1中的扩散概率模型推理示意图。
图4为实施例1中获取的真实染色体图像。
图5为图4中真实染色体的同类别正常染色体图像。
图6为实施例1中生成的重构染色体图像。
图7为实施例2的染色体结构异常辅助识别系统结构示意图。
具体实施方式
实施例1
如图1所示，本实施例提供的一种染色体结构异常辅助识别方法包括如下步骤：
S100、获取需要判断的真实染色体图像。
S200、指定所述真实染色体的类别，以真实染色体图像中的染色体轮廓和染色体类别作为染色体内容，通过染色体内容重构模型生成指定染色体类型的重构染色体图像。
具体的，本步骤从染色体图像数据库中调取训练染色体数据，采用以扩散概率模型为基础的模型离线训练模块对训练染色体进行所述染色体内容重构模型的训练。上述所采用的扩散概率模型中，将训练染色体的轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型，最终得到的扩散概率模型的损失函数如下：
Figure 463951DEST_PATH_IMAGE001
（1），
其中，t代表扩散概率模型中扩散过程的第t步，Lt代表在第t步扩散时的损失函数值，xa为训练时的训练染色体图像，ϵ是在扩散概率模型的标准高斯分布中的一次随机采样，ϵθ代表扩散概率模型，其输入为
Figure 408773DEST_PATH_IMAGE002
和t，/>
Figure 557995DEST_PATH_IMAGE003
是人工设置的超参数。
S300、将真实染色体和重构染色体的特征向量化，通过染色体相似度计算模块获得两者的相似度。
具体的，所述步骤S300的染色体特征向量化包括：通过图像处理算法对染色体图像依次进行染色体拉直、带纹提取、带纹向量化、概率归一化。在提取染色体的带纹后，使用所述带纹的平均灰度作为向量中的值，再进行概率归一化，概率归一化公式如下：
Figure 562860DEST_PATH_IMAGE004
（2），
其中，向量长度取50，f为概率归一化之前的向量，V为目标概率特征向量，f(x)代表f在x位置的值，v(x)代表V在x位置的值，f(i)代表f在i位置的值，通过公式（2），即可由向量f得到向量V。
在完成真实染色体和重构染色体的图像特征向量化后，通过染色体相似度计算模块计算染色体特征向量间的相对熵作为染色体特征向量的相似度，所述相对熵的公式如下：
Figure 797532DEST_PATH_IMAGE005
（3），
其中，KL代表相对熵，v1代表由真实染色体对应的特征向量，v2代表重构染色体对应的特征向量，v1(x)和v2(x)分别代表两个向量在各自x位置的值，相对熵的值是恒大于等于0的，相对熵的值越小，则代表两个特征向量的相似度越高。
S400、根据真实染色体和重构染色体之间的相似度预警，比对真实染色体图像和重构染色体图像中染色体特征，判断真实染色体是否异常。
具体的，所述步骤S400中设定相似度异常预警阈值，在本地图像数据库中，对大量同类染色体之间的特征向量间统计计算一个相似度，据此相似度异常预警阈值threshold。当步骤S300中计算得到的相似度超过相似度异常预警阈值，则发出染色体异常预警，提醒人工比对真实染色体图像和重构染色体图像中的染色体详细带纹特征，来判断真实染色体是否异常。
在染色体内容重构模型训练完成后，对真实染色体图像生成重构染色体图像的过程如图2所示，具体包括如下子步骤：
S201、对染色体内容重构模型进行训练；
S202、提取真实染色体轮廓并生成二值图，使用自然语言处理嵌入技术，将真实染色体的轮廓二值图和真实染色体类别作为两个条件嵌入两条特征向量，输入到训练好的染色体内容重构模型中；
S203、从标准正态分布中采样一张同尺寸的噪声图像xT，输入至所述染色体内容重构模型中，得到xT-1；
S204、重复步骤S202和步骤S203，并将步骤S203中的xT替换为xT-1输入至所述染色体内容重构模型中，得到xT-2；
S205、重复步骤S204，直至获得最终输出xT-T，即x0，生成重构染色体图像。
以下结合图3来详细说明染色体内容重构模型的训练和生成重构染色体的推理过程。
首先，本实施例中采用本地染色体图像数据库作为模型离线训练模块的训练染色体来源，本地染色体图像数据库的染色体图像数据来源于数百万张已经由专业的染色体核型分析师分析过的染色体图像，并且对染色体图像进行了增强，以保障染色体图像带纹表达明显、特征突出，作为后续的训练图像，染色体图像增强方式可参考申请号为CN202111345047.8公开的染色体带纹图像增强方法。
模型离线训练模块用于训练染色体内容重构模型，训练中多线程地调取本地染色体图像数据库中的数据，并在多块GPU上完成分布式训练。本实施例的染色体内容重构模型基于扩散概率模型，基于马尔可夫随机过程和深度神经网络，能够通过随机采样的高斯分布来生成出目标图像。如图3所示，扩散概率模型在推理时本质上是一个由随机高斯噪声
Figure DEST_PATH_IMAGE006
经过T次扩散，到目标图像/>
Figure DEST_PATH_IMAGE007
的过程，其中T是可人工设置的超参数，噪声/>
Figure 375406DEST_PATH_IMAGE006
为与真实染色体输入尺寸相同的标准正态分布采样图，图3的虚线框内描述了一次由相邻的两张中间图像
Figure DEST_PATH_IMAGE008
到/>
Figure DEST_PATH_IMAGE009
的扩散过程。在一次扩散过程中，输入图像为/>
Figure 285460DEST_PATH_IMAGE008
，输出图像为/>
Figure 195648DEST_PATH_IMAGE009
，中间经过深度卷积神经网络处理。为了能够限制生成出的染色体图像的轮廓和类别，本实施例借鉴自然语言处理技术，将染色体轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型。通过使用分布式训练技术，能够在两天内完成染色体内容重构模型的训练。
通过完成训练后的染色体内容重构模型生成重构染色体时，如图3所示，获取一条真实的1号染色体C，目标是生成一条与染色体C的轮廓一致且符合正常1号染色体特征的重构染色体。
第一步，提取染色体C的轮廓，生成二值图
Figure DEST_PATH_IMAGE010
，并将/>
Figure 979933DEST_PATH_IMAGE010
的尺寸缩放为64*64，使用自然语言处理中的嵌入技术，将/>
Figure 768023DEST_PATH_IMAGE010
和“1号”作为两个条件，嵌入到两条特征向量中，输入至以上训练好的染色体内容重构模型中。
第二步，在标准正态分布中采样一张尺寸为64*64的噪声图
Figure DEST_PATH_IMAGE011
，输入至模型中，得到/>
Figure DEST_PATH_IMAGE012
。
第三步，仍然重复第一步和第二步，只是将第二步中的
Figure 750891DEST_PATH_IMAGE011
换成/>
Figure 831979DEST_PATH_IMAGE012
，则得到模型输出/>
Figure DEST_PATH_IMAGE013
。重复上述过程，直到获得最终的输出/>
Figure DEST_PATH_IMAGE014
，即/>
Figure DEST_PATH_IMAGE015
。
从图3中可以看出，生成的重构染色体
Figure DEST_PATH_IMAGE016
与真实染色体C在带纹分布上极为相似，且带纹清晰。由于重构过程中并未用到真实染色体C的染色体内部图像信息，而只是使用了其轮廓信息和染色体类别，因此当真实染色体C的染色体带纹模糊时，通过染色体内容重构模型仍然能重构出一条清晰的、符合条件的染色体。
以下通过图4、图5和图6三个关联染色体图像的对比来详细说明本实施例的染色体结构异常辅助识别方法的技术效果
图4中是一条inv11（11号倒位）的11号染色体，记为C，inv11是发生在11号染色体上的结构异常，其特点是由于倒位，造成它的带纹分布与正常11号染色体的带纹分布完全不同。图5是C的同源染色体，是一条正常的11号染色体，记为Ch，可以看出Ch和C的带纹特征是不同的。当用户认为C的带纹分布有些怪异，但又不能确定时，便可以使用本发明的染色体结构异常辅助识别方法进行辅助识别。
首先，用户选取染色体C为重构的真实染色体样本，然后设置重构染色体类别为11号，通过染色体内容重构模型会自动输出一条新的重构染色体，记为R，如图6所示。
在重构染色体R生成后，将重构染色体R和真实染色体C的染色体特征向量化，并通过染色体相似度计算模块输出R和C的相似度KL，在本地图像数据库中，对大量同类染色体之间的特征向量间统计计算一个相似度，据此相似度异常预警阈值threshold。KL越大，则重构染色体R和真实染色体C之间的相似度越低，因此当KL > threshold时，向用户发出提示染色体C结构异常，反之则不会。
最后，通过染色体结构异常预警提示可以引起用户的重视，而最终的判断还需要由用户来做。利用染色体内容重构模型输出的重构染色体R，可以作为用户判断的参考，根据由中南大学湘雅医院产前诊断中心，医学遗传学国家重点实验室所编辑的《全国染色体病诊断与产前诊断培训班医学细胞遗传学实验室工作手册》记载，正常11号染色体的带纹特征为：“短臂近中段可见一条宽的深带，长臂近侧有一条深带，紧贴着丝粒，近中段可见一条明显的深带，在这条深带与近侧深带之间有一条宽阔的浅带”。比较图6中的重构染色体R和图4中的真实染色体C，首先，R和C的短臂近中段深带和长臂近侧深带都很明显；R的长臂中段深带明显，且与近侧深带间的宽阔浅带也明显，但C的长臂中段没有深带，只有长臂末端才有深带，并且近侧深带与中段深带间的宽阔浅带和着丝粒明显下移，这也是11号染色体倒位的显著特征。综上所述，结合医学知识、本发明所提出系统的异常提示、以及R和C的视觉比较，用户便可以更确定地对此例11号倒位病例做出判断。
实施例2
本实施例公开了一种染色体结构异常辅助识别系统，如图7所示，具体包括染色体图像数据库101、模型离线训练模块102、染色体内容重构模块103、交互界面200、染色体特征向量化模块301、染色体相似度计算模块302几个模块，可以分为三个部分，其中，染色体图像数据库101、模型离线训练模块102和染色体内容重构模块103为一个部分；染色体特征向量化模块301、染色体相似度计算模块302为一个部分；用户交互界面为一个部分。
具体的，染色体内容重构模块103以真实染色体图像中的染色体轮廓和染色体类别作为染色体内容，通过染色体内容重构模型生成指定染色体类型的重构染色体图像。染色体内容重构模块103内嵌有模型离线训练模块102，模型离线训练模块102从染色体图像数据库101中调取训练染色体数据，采用以扩散概率模型为基础的模型离线训练模块对训练染色体进行所述染色体内容重构模型的训练，在通过扩散概率模型进行训练时，以训练染色体的轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型，最终得到的扩散概率模型的损失函数如下：
Figure 24932DEST_PATH_IMAGE001
（1），
其中，t代表扩散概率模型中扩散过程的第t步，Lt代表在第t步扩散时的损失函数值，xa为训练时的训练染色体图像，ϵ是在扩散概率模型的标准高斯分布中的一次随机采样，ϵθ代表扩散概率模型，其输入为
Figure 849669DEST_PATH_IMAGE002
和t，/>
Figure 93568DEST_PATH_IMAGE003
是人工设置的超参数。
染色体特征向量化模块301用于将真实染色体和重构染色体的特征向量化，染色体特征向量化通过图像处理算法对染色体图像依次进行染色体拉直、带纹提取、带纹向量化、概率归一化。在提取染色体的带纹后，使用所述带纹的平均灰度作为向量中的值，再进行概率归一化，概率归一化公式如下：
Figure 79979DEST_PATH_IMAGE004
（2），
其中，向量长度取50，f为概率归一化之前的向量，V为目标概率特征向量，f(x)代表f在x位置的值，v(x)代表V在x位置的值，f(i)代表f在i位置的值，通过上述公式，即可由向量f得到向量V。
染色体相似度计算模块302用于计算特征向量化后的真实染色体和重构染色体之间的相似度。在完成真实染色体和重构染色体的图像特征向量化后，通过染色体相似度计算模块计算染色体特征向量间的相对熵作为染色体特征向量的相似度，所述相对熵的公式如下：
Figure 42119DEST_PATH_IMAGE005
（3），
其中，KL代表相对熵，v1代表由真实染色体对应的特征向量，v2代表重构染色体对应的特征向量，v1(x)和v2(x)分别代表两个向量在各自x位置的值，相对熵的值是恒大于等于0的，相对熵的值越小，则代表两个特征向量的相似度越高。最终染色体相似度计算模块302根据计算得出的相似度做出染色体异常预警。
交互界面200，用于获取真实染色体图像，并用于异常预警的真实染色体和重构染色体的图像比对。
实施例3
本发明还公开了一种计算机设备，包括存储器、处理器和显示器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下染色体结构异常辅助识别方法的步骤，
S100、获取需要判断的真实染色体图像。
S200、指定所述真实染色体的类别，以真实染色体图像中的染色体轮廓和染色体类别作为染色体内容，通过染色体内容重构模型生成指定染色体类型的重构染色体图像。
具体的，本步骤从染色体图像数据库中调取训练染色体数据，采用以扩散概率模型为基础的模型离线训练模块对训练染色体进行所述染色体内容重构模型的训练。上述所采用的扩散概率模型中，将训练染色体的轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型，最终得到的扩散概率模型的损失函数如下：
Figure 909361DEST_PATH_IMAGE001
（1），
其中，t代表扩散概率模型中扩散过程的第t步，Lt代表在第t步扩散时的损失函数值，xa为训练时的训练染色体图像，ϵ是在扩散概率模型的标准高斯分布中的一次随机采样，ϵθ代表扩散概率模型，其输入为
Figure 7767DEST_PATH_IMAGE002
和t，/>
Figure 430658DEST_PATH_IMAGE003
是人工设置的超参数。
S300、将真实染色体和重构染色体的特征向量化，通过染色体相似度计算模块获得两者的相似度。
具体的，所述步骤S300的染色体特征向量化包括：通过图像处理算法对染色体图像依次进行染色体拉直、带纹提取、带纹向量化、概率归一化。在提取染色体的带纹后，使用所述带纹的平均灰度作为向量中的值，再进行概率归一化，概率归一化公式如下：
Figure 880094DEST_PATH_IMAGE004
（2），
其中，向量长度取50，f为概率归一化之前的向量，V为目标概率特征向量，f(x)代表f在x位置的值，v(x)代表V在x位置的值，f(i)代表f在i位置的值，通过上述公式，即可由向量f得到向量V。
在完成真实染色体和重构染色体的图像特征向量化后，通过染色体相似度计算模块计算染色体特征向量间的相对熵作为染色体特征向量的相似度，所述相对熵的公式如下：
Figure 548098DEST_PATH_IMAGE005
（3），
其中，KL代表相对熵，v1代表由真实染色体对应的特征向量，v2代表重构染色体对应的特征向量，v1(x)和v2(x)分别代表两个向量在各自x位置的值，相对熵的值是恒大于等于0的，相对熵的值越小，则代表两个特征向量的相似度越高。
S400、根据真实染色体和重构染色体之间的相似度预警，比对真实染色体图像和重构染色体图像中染色体特征，判断真实染色体是否异常。
具体的，所述步骤S400中设定相似度异常预警阈值，在本地图像数据库中，对大量同类染色体之间的特征向量间统计计算一个相似度，据此相似度异常预警阈值threshold。当步骤S300中计算得到的相似度超过相似度异常预警阈值，则发出染色体异常预警，提醒人工比对真实染色体图像和重构染色体图像中的染色体详细带纹特征，来判断真实染色体是否异常。
所述显示器作为获取真实染色体图像和预警异常染色体图像比对的交互界面，在处理器发出真实染色体结构异常的预警时，将真实染色体图像和重构染色体图像从存储器中调出在显示器上进行显示，用于用户对真实染色体和重构染色体进行内部结构特征详细比对。
在本文中，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了表达技术方案的清楚及描述方便，因此不能理解为对本发明的限制。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种染色体结构异常辅助识别方法，其特征在于包括如下步骤：
S100、获取需要判断的真实染色体图像；
S200、指定所述真实染色体的类别，以真实染色体图像中的染色体轮廓和染色体类别作为染色体内容，通过染色体内容重构模型生成指定染色体类型的重构染色体图像；
S300、将真实染色体和重构染色体的特征向量化，通过染色体相似度计算模块获得两者的相似度；
S400、根据真实染色体和重构染色体之间的相似度预警，比对真实染色体图像和重构染色体图像中染色体特征，判断真实染色体是否异常；
所述步骤S200包括如下子步骤：
S201、对染色体内容重构模型进行训练，从染色体图像数据库中调取训练染色体数据，采用以扩散概率模型为基础的模型离线训练模块对训练染色体进行所述染色体内容重构模型的训练，所述扩散概率模型中，将训练染色体的轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型，
S202、提取真实染色体轮廓并生成二值图，将真实染色体的轮廓二值图和真实染色体类别作为两个条件嵌入两条特征向量，使用自然语言处理中的交叉注意力技术将上述两条特征向量输入到训练好的染色体内容重构模型中；
S203、从标准正态分布中采样一张同尺寸的噪声图像xT，输入至所述染色体内容重构模型中，得到xT-1；
S204、重复步骤S202和步骤S203，将步骤S203中的xT替换为xT-1输入至所述染色体内容重构模型中，得到xT-2；
S205、重复步骤S204，直至获得最终输出xT-T，即x0，生成得到重构染色体图像。
2.根据权利要求1所述的染色体结构异常辅助识别方法，所述扩散概率模型的损失函数如下：
Figure DEST_PATH_IMAGE001
（1），
其中，t代表扩散概率模型中扩散过程的第t步，Lt代表在第t步扩散时的损失函数值，xa为训练时的训练染色体图像，ϵ是在扩散概率模型的标准高斯分布中的一次随机采样，ϵθ代表扩散概率模型，其输入为
Figure 654736DEST_PATH_IMAGE002
和t，/>
Figure DEST_PATH_IMAGE003
是人工设置的超参数。
3.根据权利要求1所述的染色体结构异常辅助识别方法，所述步骤S300的染色体特征向量化包括：通过图像处理算法对染色体图像依次进行染色体拉直、带纹提取、带纹向量化、概率归一化，提取染色体的带纹后，使用所述带纹的平均灰度作为向量中的值，再进行概率归一化，概率归一化公式如下：
Figure 634193DEST_PATH_IMAGE004
（2），
其中，向量长度取50，概率归一化之前的向量记为f，目标概率特征向量记为V，f(x)代表f在x位置的值，v(x)代表V在x位置的值，f(i)代表f在i位置的值。
4.根据权利要求1所述的染色体结构异常辅助识别方法，所述步骤S300中，通过染色体相似度计算模块计算染色体特征向量间的相对熵作为染色体特征向量的相似度，所述相对熵的公式如下：
Figure DEST_PATH_IMAGE005
（3），
其中，KL代表相对熵，v1代表由真实染色体对应的特征向量，v2代表重构染色体对应的特征向量，v1(x)和v2(x)分别代表两个向量在各自x位置的值，相对熵的值越小，则代表两个特征向量的相似度越高。
5.根据权利要求1所述的染色体结构异常辅助识别方法，所述步骤S400中，设定相似度异常预警阈值，当步骤S300中计算得到的相似度超过相似度异常预警阈值，则发出染色体异常预警，提醒人工比对真实染色体图像和重构染色体图像中的染色体详细带纹特征，来判断真实染色体是否异常。
6.一种染色体结构异常辅助识别系统，其特征在于包括：
染色体内容重构模块，通过染色体内容重构模型将真实染色体生成指定染色体类型的重构染色体图像，内嵌有模型离线训练模块，所述模型离线训练模块从染色体图像数据库中调取训练染色体数据，进行所述染色体内容重构模型的训练，所述染色体内容重构模块通过如下步骤生成指定染色体类型的重构染色体图像：
S201、对染色体内容重构模型进行训练，从染色体图像数据库中调取训练染色体数据，采用以扩散概率模型为基础的模型离线训练模块对训练染色体进行所述染色体内容重构模型的训练，所述扩散概率模型中，将训练染色体的轮廓二值图和染色体类别嵌入至特征向量，再使用自然语言处理中的交叉注意力技术将该特征向量作用于扩散概率模型，
S202、提取真实染色体轮廓并生成二值图，将真实染色体的轮廓二值图和真实染色体类别作为两个条件嵌入两条特征向量，使用自然语言处理中的交叉注意力技术将上述两条特征向量输入到训练好的染色体内容重构模型中，
S203、从标准正态分布中采样一张同尺寸的噪声图像xT，输入至所述染色体内容重构模型中，得到xT-1，
S204、重复步骤S202和步骤S203，将步骤S203中的xT替换为xT-1输入至所述染色体内容重构模型中，得到xT-2，
S205、重复步骤S204，直至获得最终输出xT-T，即x0，生成得到重构染色体图像；
染色体特征向量化模块，用于将真实染色体和重构染色体的特征向量化；
染色体相似度计算模块，用于计算特征向量化后的真实染色体和重构染色体之间的相似度，并根据计算得出的相似度做出染色体异常预警；
交互界面，用于获取真实染色体图像，并用于异常预警的真实染色体和重构染色体的图像比对。
7.一种计算机设备，包括存储器、处理器和显示器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1-5中任一项所述的方法步骤，所述显示器作为获取真实染色体图像和预警异常染色体图像比对的交互界面。
CN202211593128.4A 2022-12-13 2022-12-13 染色体结构异常辅助识别方法、系统及计算机设备 Active CN115601360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211593128.4A CN115601360B (zh) 2022-12-13 2022-12-13 染色体结构异常辅助识别方法、系统及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211593128.4A CN115601360B (zh) 2022-12-13 2022-12-13 染色体结构异常辅助识别方法、系统及计算机设备

Publications (2)

Publication Number Publication Date
CN115601360A CN115601360A (zh) 2023-01-13
CN115601360B true CN115601360B (zh) 2023-03-28

Family

ID=84854066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211593128.4A Active CN115601360B (zh) 2022-12-13 2022-12-13 染色体结构异常辅助识别方法、系统及计算机设备

Country Status (1)

Country Link
CN (1) CN115601360B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977338B (zh) * 2023-09-25 2023-12-12 湖南自兴智慧医疗科技有限公司 基于视觉语义联合的染色体病例级异常提示系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269195A (ja) * 2000-03-27 2001-10-02 Olympus Optical Co Ltd 細胞の画像解析方法，装置、及び記録媒体
JP2008009549A (ja) * 2006-06-27 2008-01-17 Yamaguchi Univ 画像処理方法、画像処理装置及び画像処理プログラム
CN107145831A (zh) * 2017-04-11 2017-09-08 中国地质大学（武汉） 基于矢量概率扩散和马尔科夫随机场高光谱影像分类方法
CN113643306A (zh) * 2021-08-16 2021-11-12 中国科学院长春光学精密机械与物理研究所 一种染色体散型图像自动分割方法
CN113822320A (zh) * 2021-07-12 2021-12-21 腾讯科技（深圳）有限公司 生成模型训练方法和装置、样本生成方法和计算设备
CN114240883A (zh) * 2021-12-16 2022-03-25 易构智能科技(广州)有限公司 一种染色体图像处理方法及系统
CN114512114A (zh) * 2021-12-30 2022-05-17 浙江大学 基于概率扩散模型的声学模型后处理方法、服务器及可读存储器
CN114550170A (zh) * 2022-02-24 2022-05-27 上海交通大学 基于分组信息辅助的r带染色体核型图像识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200111212A1 (en) * 2018-10-05 2020-04-09 China Medical University Hospital Chromosome Abnormality Detecting Model, Detecting System Thereof, And Method For Detecting Chromosome Abnormality

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269195A (ja) * 2000-03-27 2001-10-02 Olympus Optical Co Ltd 細胞の画像解析方法，装置、及び記録媒体
JP2008009549A (ja) * 2006-06-27 2008-01-17 Yamaguchi Univ 画像処理方法、画像処理装置及び画像処理プログラム
CN107145831A (zh) * 2017-04-11 2017-09-08 中国地质大学（武汉） 基于矢量概率扩散和马尔科夫随机场高光谱影像分类方法
CN113822320A (zh) * 2021-07-12 2021-12-21 腾讯科技（深圳）有限公司 生成模型训练方法和装置、样本生成方法和计算设备
CN113643306A (zh) * 2021-08-16 2021-11-12 中国科学院长春光学精密机械与物理研究所 一种染色体散型图像自动分割方法
CN114240883A (zh) * 2021-12-16 2022-03-25 易构智能科技(广州)有限公司 一种染色体图像处理方法及系统
CN114512114A (zh) * 2021-12-30 2022-05-17 浙江大学 基于概率扩散模型的声学模型后处理方法、服务器及可读存储器
CN114550170A (zh) * 2022-02-24 2022-05-27 上海交通大学 基于分组信息辅助的r带染色体核型图像识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Julian Wyatt 等.AnoDDPM: Anomaly Detection with Denoising Diffusion Probabilistic Models using Simplex Noise.《2022 IEEE/CVF conference computer vision and pattern recognition workshops》.2022,第650-656页. *
Puria Azadi Moghadam 等.A Morphology Focused Diffusion Probabilistic Model for Synthesis of Histopathology Images.《arxiv》.2022,第1-14页. *

Also Published As

Publication number Publication date
CN115601360A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
Al-Haija et al. Breast cancer diagnosis in histopathological images using ResNet-50 convolutional neural network
CN107203999B (zh) 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN111462042B (zh) 癌症预后分析方法及系统
CN113450328B (zh) 基于改进神经网络的医学图像关键点检测方法及系统
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN112258514B (zh) 一种ct影像肺血管的分割方法
CN115601360B (zh) 染色体结构异常辅助识别方法、系统及计算机设备
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
WO2021073279A1 (zh) 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN110705565A (zh) 淋巴结肿瘤区域识别方法与装置
CN111462102B (zh) 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法
CN112991363A (zh) 脑肿瘤图像分割方法、装置、电子设备及存储介质
CN113139977B (zh) 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN112734911A (zh) 基于卷积神经网络的单幅图像三维人脸重建方法及系统
CN111539956A (zh) 基于脑部辅助图像的脑出血自动检测方法及电子介质
Krawczyk et al. Bones detection in the pelvic area on the basis of YOLO neural network
CN114757960A (zh) 一种基于cbct图像的牙齿分割与重建方法及存储介质
CN110751621A (zh) 基于深度卷积神经网络的乳腺癌辅助诊断方法及装置
Chakraborty et al. Automated breast cancer identification by analyzing histology slides using metaheuristic supported supervised classification coupled with bag-of-features
CN111047608A (zh) 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN113035334B (zh) 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
CN116977338B (zh) 基于视觉语义联合的染色体病例级异常提示系统
CN112419335B (zh) 一种细胞核分割网络的形状损失计算方法
Al-Haija et al. Development of breast cancer detection model using transfer learning of residual neural network (resnet-50)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant