CN116245832B - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116245832B
CN116245832B CN202310104465.0A CN202310104465A CN116245832B CN 116245832 B CN116245832 B CN 116245832B CN 202310104465 A CN202310104465 A CN 202310104465A CN 116245832 B CN116245832 B CN 116245832B
Authority
CN
China
Prior art keywords
image
feature map
initial
processed
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310104465.0A
Other languages
English (en)
Other versions
CN116245832A (zh
Inventor
于灏
高飞
张佳琦
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Zhejiang Yizhun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yizhun Intelligent Technology Co ltd filed Critical Zhejiang Yizhun Intelligent Technology Co ltd
Priority to CN202310104465.0A priority Critical patent/CN116245832B/zh
Publication of CN116245832A publication Critical patent/CN116245832A/zh
Application granted granted Critical
Publication of CN116245832B publication Critical patent/CN116245832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、设备及存储介质，通过将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图；通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值，本实施例适用于不同模态的医学影像，利用弱监督学习方法就可以实现对医学影像的分类识别，大幅度降低了人工标注成本，提高了分类识别精度，并在分类过程中对分类依据的感兴趣区域进行预测。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本公开涉及医学图像技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着医学影像技术的不断发展，人工智能水平的不断进步，人工智能和医学影像的结合越来越深，通过人工智能算法的医学影像处理技术得到飞跃发展，可以实现对医学图像的精准检测分类识别、脏器分割以及异常识别等。
在现有技术中，通过深度学习方法对医学图像进行处理，依赖于训练数据的标注标签，且大多数的深度学习训练都依赖像素级的标注标签来做监督学习，极大的增加了标注成本。尤其针对类似CT图像中的小叶间隔增厚、间质性肺炎以及伪影这类异常特征存在的检测分类识别，通过检测框标注、像素级分割标注等方式都较难对问题进行清晰刻画，且标注成本很大，针对这类问题如果采用图像级标注，基于弱监督学习方法同样可以得到较好的结果。
但是，目前的基于弱监督学习对医学影像处理技术中存在明显问题：一类是没有完全依赖图像级标注标签，在训练中部分依赖像素级标注标签；第二是未考虑到医学影像与自然图像的明显差异性，由于在医学影像中要进行检测、分割和分类的目标区域在整幅医学影像中的占比可能较明显，也可能占比很小，因此单纯通过整幅医学影像的全局信息作为训练依据，不能得到较高准确率的检测、分割以及分类精度。
发明内容
本公开提供了一种图像处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面，提供了一种图像处理方法，包括：
将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；
通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；
将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值。
在一可实施方式中，所述将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，包括：
将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；
将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图。
在一可实施方式中，通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域，包括：
将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；
通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；
通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。
在一可实施方式中，所述通过图像框在所述第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像，包括：
通过预设大小的图像框，在所述第一目标特征图上以预设步长遍历预设次数；
在每次遍历所述第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将所述目标初始子图像内的像素值设置为预设值。
在一可实施方式中，所述将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图，包括：
将所述异常特征的感兴趣区域输入所述局部子模型内的第二特征提取骨干网络，得到第二初始特征图；
通过门控注意力网络对所述第二初始特征图进行处理，得到所述第二目标特征图。
在一可实施方式中，所述将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值，包括：
通过所述融合子模型内的池化层将所述第一初始特征图进行池化处理，得到处理后的第一初始特征图；
将所述处理后的第一初始特征图和第二目标特征图进行连接操作，并输入所述融合子模型内的全连接层和第二sigmoid函数，得到所述待处理图像内异常特征的预测结果值。
在一可实施方式中，在所述将待处理图像输入分类推理模型的全局子模型之前，还包括：
将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；
将标记后的训练初始图像进行图像增强处理，得到训练目标图像；
通过所述训练目标图像训练初始分类推理模型，得到所述分类推理模型。
根据本公开的第二方面，提供了一种图像处理装置，所述装置包括：
第一获取模块，用于将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；
区域获取模块，用于通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；
第二获取模块，用于将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
结果预测模块，用于将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值。
在一可实施方式中，所述第一获取模块，具体用于：
将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；
将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图。
在一可实施方式中，区域获取模块，具体用于：
将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；
通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；
通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。
在一可实施方式中，区域获取模块，具体用于：
通过预设大小的图像框，在所述第一目标特征图上以预设步长遍历预设次数；
在每次遍历所述第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将所述目标初始子图像内的像素值设置为预设值。
在一可实施方式中，所述第二获取模块，具体用于：
将所述异常特征的感兴趣区域输入所述局部子模型内的第二特征提取骨干网络，得到第二初始特征图；
通过门控注意力网络对所述第二初始特征图进行处理，得到所述第二目标特征图。
在一可实施方式中，所述结果预测模块，具体用于：
通过所述融合子模型内的池化层将所述第一初始特征图进行池化处理，得到处理后的第一初始特征图；
将所述处理后的第一初始特征图和第二目标特征图进行连接操作，并输入所述融合子模型内的全连接层和第二sigmoid函数，得到所述待处理图像内异常特征的预测结果值。
在一可实施方式中，还包括：训练模块，用于在所述将待处理图像输入分类推理模型的全局子模型之前，将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；将标记后的训练初始图像进行图像增强处理，得到训练目标图像；通过所述训练目标图像训练初始分类推理模型，得到所述分类推理模型。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的图像处理方法、装置、设备及存储介质，通过将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值，本实施例适用于不同模态的医学影像，利用弱监督学习方法就可以实现对医学影像的分类识别，大幅度降低了人工标注成本，提高了分类识别精度，并在分类过程中对分类依据的感兴趣区域进行预测。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本公开实施例一提供的一种图像处理方法的实现流程示意图；
图2A示出了本公开实施例二提供的一种图像处理方法的实现流程示意图；
图2B示出了本公开实施例二提供的又一种图像处理方法的实现流程示意图；
图3示出了本公开实施例三提供的一种图像处理装置的结构示意图；
图4示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
实施例一
图1为本公开实施例一提供的一种图像处理方法的流程图，该方法可以由本公开实施例提供的图像处理装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：
S110、将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图。
其中，全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过第一初始特征图得到第一目标特征图。
其中，待处理图像可以是不同模态的医学影像，例如可以是电子计算机断层扫描图像(Computed Tomography，CT)、磁共振图像(Magnetic Resonance，MR)和直接数字平板X线成像系统图像(Digital Radiography，DR)。分类推理模型用于识别待处理图像内的异常组织和确定异常组织的位置。其中，全局子模型用于提取待处理图像内的全局信息，第一特征提取骨干网络fg用于提取待处理图像的特征，得到第一初始特征图hg。第一初始特征图hg为在全局子模型内的第一特征提取骨干网络所提取的抽象性的特征图。第一目标特征图A属于高维特征，分辨率与待处理图像不一样，可以是一个特征图，也可以是多个特征图。
具体的，本实施例的分类推理模型包括三部分，分别为全局子模型、局部子模型以及融合子模型，其中，全局子模型用于获得待处理图像的全局信息，局部子模型用于获得待处理图像的细粒度信息，融合子模型是用于讲待处理图像的全局信息和细粒度信息(即局部信息)进行融合，获得更为准确的待处理图像内的异常组织。
例如，以待处理图像为CT图像进行说明，本实施例将CT图像序列中的逐层图像，后接全局子模型内的第一特征提取骨干网络fg，通过全局子模型内的第一特征提取骨干网络fg，提取与待处理图像相对应的第一初始特征图，再经过全局子模型内的后续网络层进行处理得到第一目标特征图。
在本公开实施例中，将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，包括：将待处理图像输入全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，第一特征提取骨干网络为含有轻量化参数的网络；将第一初始特征图输入全局子模型内的卷积层和第一sigmoid函数得到第一目标特征图。
由于在医学影像中，为了检测、分割和分类识别的异常组织和异常组织对应的感兴趣区域在整个医学图像中的占比可能较少，在图像预处理中对原始医学影像进行缩放可能会降低图像的细粒度信息，因此待处理图像可以使用医学影像的原始大小或者是放大图像。但是，考虑到显卡的显存大小和实时性，本实施例对第一特征提取骨干网络进行轻量化处理。例如，本实施例内的第一特征提取骨干网络为含有轻量化参数的网络，具体例如可以采用ResNet-34神经网络模型，由于池化层的目的是平滑，为全连接层之前的处理步骤，本实施例中的全局子模型还没有到最后输出分类结果的步骤，因此在ResNet-34中移除全局平均池化层和全连接层，同时减少各残差阶段的模型通道数，以降低模型参数量、提高运算速度。
具体的，本实施例考虑到显卡的显存大小和实时性，没有缩小待处理图像，所以对第一特征提取骨干网络进行轻量化处理，将待处理图像经过第一特征提取骨干网络提取特征，得到第一初始特征图，再经过全局子模型内的卷积层和第一sigmoid函数可以得到最终的第一目标特征图A。其中，卷积层可以示例性的采用1x1的卷积层。
除此之外，本实施例还可以再将第一目标特征图A经过全局平均池化层fagg得到全局子模型的预测结果
S120、通过第一目标特征图进行预处理得到待处理图像内异常特征的感兴趣区域。
其中，异常特征可以是病灶特征或者是异常组织，以CT图像为例，异常特征可以是CT图像中的小叶间隔增厚、间质性肺炎等病变造成的线影和网影，或者由于设备或者患者自身造成的伪影等。异常特征的感兴趣区域可以是异常特征所在的位置区域，用于定位异常组织。
由于上述这些异常特征在人工标注中较难通过检测框或者分割方式进行刻画，且像素级标注成本较高，因此本实施例利用图像级的标注标签，基于弱监督学习方法来实现分类识别。又由于标注标签为图像级别的，预测也会是图像级别的，也即只能预测出待处理图像中是否含有异常特征，但是异常特征的具体位置却没有标注出来，因此，本实施例需要在通过弱监督学习方法的基础之上，再通过对第一目标特征图进行预处理，从而确定待处理图像内异常特征的感兴趣区域Xk。其中，预处理可以是归一化处理。
S130、将异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图。
其中，局部子模型用于获得待处理图像的细粒度信息，从而获得异常特征的感兴趣区域的细节特征。第二目标特征图指的是更为精准的、高质量的关于异常特征感兴趣区域的特征图。
在本公开实施例中，将异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图，包括：将异常特征的感兴趣区域输入局部子模型内的第二特征提取骨干网络，得到第二初始特征图；通过门控注意力网络对第二初始特征图进行处理，得到第二目标特征图。
其中，第二特征提取骨干网络ft用于提取异常特征的感兴趣区域的特征，得到第二初始特征图hk。第二初始特征图hk为在局部子模型内的第二特征提取骨干网络所提取的抽象性的特征图。
具体的，本实施例内的第二特征提取骨干网络可以采用ResNet-18神经网络模型，且同样为了达到模型轻量化，在ResNet-18中减少各残差阶段的模型通道数。本实施例通过第二特征提取骨干网络ft可以得到第二初始特征图hk，并利用门控注意力网络对第二初始特征图hk进行处理，加强第二初始特征图hk中的特征，得到第二目标特征图z。其中，第二目标特征图z为至少一个。
除此之外，本实施例在获得第二目标特征图z之后，同样可以后接全连接层和sigmoid函数得到局部子模块的预测结果
S140、将第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到待处理图像内异常特征的预测结果值。
其中，异常特征的预测结果值可以确定待处理图像内存在异常特征的可能性。
在本公开实施例中，将第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到待处理图像内异常特征的预测结果值，包括：通过融合子模型内的池化层将第一初始特征图进行池化处理，得到处理后的第一初始特征图；将处理后的第一初始特征图和第二目标特征图进行连接操作，并输入融合子模型内的全连接层和第二sigmoid函数，得到待处理图像内异常特征的预测结果值。
由于第一初始特征图和第二目标特征图大小不同，因此本实施例需要将第一初始特征图通过融合子模型内的池化层进行池化处理，得到处理后的第一初始特征图，并将得到的处理后的第一初始特征图与局部子模型内的第二目标特征图z进行连接操作得到新的特征图，后接全连接层和第二sigmoid函数得到融合子模型的预测结果
需要说明的是，本实施例中的第一初始特征图和第二目标特征图的数量可以为多个，数量可以相同，也可以不同。
在本公开实施例中，在将待处理图像输入分类推理模型的全局子模型之前，还包括：将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；将标记后的训练初始图像进行图像增强处理，得到训练目标图像；通过训练目标图像训练初始分类推理模型，得到分类推理模型。
其中，训练初始图像为在训练分类推理模型过程中用到的医学影像，且可以为各种模态的医学影像。训练目标图像为训练分类推理模型直接用到的图像。初始分类推理模型为刚搭建的不成熟的神经网络模型。
具体的，本实施例在训练分类推理模型过程中，基于弱监督学习的网络模型的训练数据来自人工标注的图像级的标注标签，并对输入图像加入多种图像增强方法，以提高分类推理模型的准确性。其中，图像增强方法包含顺逆时针随机旋转0-45度、左右上下随机翻转、一定尺度的随机裁剪等。需要说明的是，本实施例中的训练损失采用交叉熵损失进行计算，包含分类推理模型中的全局子模型、局部子模型和融合子模型三部分的交叉熵损失，因此分类推理模型总损失为三个子模型的损失总和。
本实施例利用弱监督学习方法实现对医学影像的分类识别，通过图像级的人工标注标签可实现同样的分类识别效果，大大降低了人工标注成本。基于弱监督学习的医学影像分类方法不局限于医学影像的模态，可适用于CT图像、MR图像、DR图像等各种模态医学影像，大幅图提高了分类推理模型的识别精度，并在分类推理模型中对异常特征的感兴趣区域进行预测，为异常特征的判断提供了依据。
实施例二
图2A为本公开实施例二提供的一种图像处理方法的流程图，本公开实施例在上述实施例的基础上，其中，通过第一目标特征图进行预处理得到待处理图像内异常特征的感兴趣区域，包括：将第一目标特征图进行归一化处理，得到处理后的第一目标特征图；通过图像框在处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；通过处理后的第一目标特征图和待处理图像之间的映射关系，根据至少一个目标初始子图像在待处理图像上进行截取，得到异常特征的感兴趣区域。该方法具体包括：
S210、将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图。
S220、将第一目标特征图进行归一化处理，得到处理后的第一目标特征图。
一般来说，第一目标特征图不止一张，且又由于第一目标特征图里各个像素点的像素值大小不一，因此本实施例对第一目标特征图内的值进行最大最小归一化处理，并将归一化后的第一目标特征图进行加和得到处理后的第一目标特征图Ac。
S230、通过图像框在处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像。
其中，图像框可以是固定大小的正方形patch块，预设步长可以是根据待处理图像的类别、异常特征的特点或者需求而设定的任意步长，例如，预设步长可以是一个像素点或者两个像素点，本实施例不对其进行限定。预设次数同样也可以根据待处理图像的类别、异常特征的特点或者需求而设定的遍历次数。目标初始子图像指的是在处理后的待处理图像上所确定的具有异常特征的感兴趣区域。
在本公开实施例中，通过图像框在第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像，包括：通过预设大小的图像框，在第一目标特征图上以预设步长遍历预设次数；在每次遍历第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将目标初始子图像内的像素值设置为预设值。
其中，预设大小也是根据待处理图像的类别、异常特征的特点或者需求而设定的大小，例如可以采用第一目标特征图大小的1/8为大小。第一特征子图为图像框在处理后的待处理图像上按照预设步长滑动遍历时，记录遍历过程中每个patch块对应的第一目标特征图内的图像。目标初始子图像为在每次遍历过程中，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大值，并确定加和值最大值所对应的第一特征子图。预设值为本实施例根据需求而设定的任意值，例如可以设置为0，通过设置预设值才能使得每次遍历不会重复获得相同的目标初始子图像。
示例性的，本实施例以第一目标特征图是64x64正方形图像，图像框为8×8图像块、预设步长为1个像素点为例进行说明，从第一目标特征图上从左向右逐行遍历，每遍历一回，在遍历过程中加和各个第一特征子图内的像素值，并将加和值最大的第一特征子图作为目标初始子图像，且将每次遍历后的目标初始子图像内的像素值设置为0，再进行下一次遍历。示例性的，若遍历6回，则可以获取6个不同的目标初始子图像。
S240、通过处理后的第一目标特征图和待处理图像之间的映射关系，根据至少一个目标初始子图像在待处理图像上进行截取，得到异常特征的感兴趣区域。
由于目标初始子图像是在处理后的第一目标特征图上所获取的感兴趣区域，而第一目标特征图是高维抽象的特征图，因此本实施例需要获取处理后的第一目标特征图和待处理图像之间的映射关系，通过映射关系，在待处理图像上截取至少一个目标初始子图像所对应的图像，即可得到异常特征的感兴趣区域。
需要说明的是，本实施例内的目标初始子图像可以包含一个或多个异常特征。
S250、将异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图。
S260、将第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到待处理图像内异常特征的预测结果值。
如图2B所示，图2B为本公开实施例提供的一种示例性的图像处理方法的流程图，包括全局子模型Global Module、局部子模型Local Module以及融合子模型FusionModule。
本实施例以CT图像中的小叶间隔增厚、间质性肺炎等病变造成的线影和网影，由于设备或者患者自身造成的伪影等的分类识别和感兴趣区域预测作为实现目标。整体思路如下：
1)通过人工标注的图像级CT图像标注标签，标签类别包含小叶间隔增厚、间质性肺炎等病变造成的线影和网影，由于设备或者患者自身造成的伪影等，患者自身伪影包含金属伪影和呼吸运动伪影等，通过该图像级CT图像的分类标注标签训练基于弱监督学习实现的分类网络模型，可以得到分类推理模型。
2)利用训练得到的基于弱监督学习的分类推理模型对待处理的CT图像序列逐层进行预测，预测结果选用分类推理模型中的融合模块的预测结果作为真实预测值，可以实现对CT图像序列的逐层分类识别，并将分类推理模型中的局部模块的输入patch块作为分类依据的感兴趣区域预测结果，实现对CT图像序列的逐层分类依据的感兴趣区域预测。
具体的，本实施例将待处理图像X分别通过全局子模型内的第一特征提取骨干网络fg得到第一初始特征图hg，再经过卷积层conV、第一sigmoid函数得到第一目标特征图A。除此之外，第一目标特征图A再经过全局平均池化层fagg得到全局子模型的预测结果
具体的，本实施例再将第一目标特征图A进行预处理，并与待处理图像X进行裁剪，得到待处理图像内异常特征的感兴趣区域Xk。本实施例再将异常特征的感兴趣区域Xk输入局部子模型内的第二特征提取骨干网络ft，得到第二初始特征图hk，在通过后接的门控注意力网络Gated Attention学习，得到第二目标特征图z。除此之外，第二目标特征图z还可以经过全连接层FC和sigmoid函数得到局部子模型的预测结果
具体的，本实施例最后再将第一初始特征图hg通过融合子模型里的池化层进行池化处理，再和第二目标特征图z连接输入全连接层FC和第二sigmoid函数得到融合子模型的预测结果
需要说明的是，本实施例中的全局子模型Global Module、局部子模型LocalModule以及融合子模型Fusion Module仅仅以交叉熵损失BCE为例进行说明，本实施例不对损失函数的类型进行限定。
本实施例主要针对CT图像中的小叶间隔增厚、间质性肺炎等病变造成的线影和网影，由于设备或者患者自身造成的伪影等的分类识别，利用基于弱监督学习的分类推理模型对待处理的CT图像序列进行逐层预测，对每一层图像可以得到分类推理模型中三个子模型的分类预测结果，通过实验对比，将融合子模型的预测结果作为最终的分类结果准确率最高，可以实现对待处理CT图像序列中的逐层分类识别，同时将预测过程中的局部子模型的输入patch块Xk作为分类依据的感兴趣区域预测结果，实现对待处理CT图像序列中的逐层分类依据的感兴趣区域的预测。
需要说明的是，本实施例提供的图像处理方法，还适用于3D医学影像，基于弱监督学习的分类推理模型中的各子模型中的卷积等操作仅需要使用3D卷积等操作进行替换，即可实现处理3D数据的基于弱监督学习的分类网络模型构建，可实现对待处理3D医学影像的分类识别和感兴趣区域进行预测。
本实施例通过第一目标特征图进行预处理得到待处理图像内异常特征的感兴趣区域，弥补了弱监督学习方法对医学影像的分类识别却不能准确定位的缺陷，并给予异常特征的确定提供了充分性依据。
实施例三
图3是本公开实施例提供的一种图像处理装置的结构示意图，该装置具体包括：
第一获取模块310，用于将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过第一初始特征图得到第一目标特征图；
区域获取模块320，用于通过第一目标特征图进行预处理得到待处理图像内异常特征的感兴趣区域；
第二获取模块330，用于将异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
结果预测模块340，用于将第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到待处理图像内异常特征的预测结果值。
在一可实施方式中，第一获取模块310，具体用于：将待处理图像输入全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，第一特征提取骨干网络为含有轻量化参数的网络；将第一初始特征图输入全局子模型内的卷积层和第一sigmoid函数得到第一目标特征图。
在一可实施方式中，区域获取模块320，具体用于：将第一目标特征图进行归一化处理，得到处理后的第一目标特征图；通过图像框在处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；通过处理后的第一目标特征图和待处理图像之间的映射关系，根据至少一个目标初始子图像在待处理图像上进行截取，得到异常特征的感兴趣区域。
在一可实施方式中，区域获取模块320，具体用于：通过预设大小的图像框，在第一目标特征图上以预设步长遍历预设次数；在每次遍历第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将目标初始子图像内的像素值设置为预设值。
在一可实施方式中，第二获取模块330，具体用于：将异常特征的感兴趣区域输入局部子模型内的第二特征提取骨干网络，得到第二初始特征图；通过门控注意力网络对第二初始特征图进行处理，得到第二目标特征图。
在一可实施方式中，结果预测模块340，具体用于：通过融合子模型内的池化层将第一初始特征图进行池化处理，得到处理后的第一初始特征图；将处理后的第一初始特征图和第二目标特征图进行连接操作，并输入融合子模型内的全连接层和第二sigmoid函数，得到待处理图像内异常特征的预测结果值。
在一可实施方式中，还包括：训练模块，用于在将待处理图像输入分类推理模型的全局子模型之前，将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；将标记后的训练初始图像进行图像增强处理，得到训练目标图像；通过训练目标图像训练初始分类推理模型，得到分类推理模型。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；
通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；
将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值；
其中，所述将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，包括：将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图；
其中，所述将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图，包括：将所述异常特征的感兴趣区域输入所述局部子模型内的第二特征提取骨干网络，得到第二初始特征图；通过门控注意力网络对所述第二初始特征图进行处理，得到所述第二目标特征图；
其中，所述将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值，包括：通过所述融合子模型内的池化层将所述第一初始特征图进行池化处理，得到处理后的第一初始特征图；将所述处理后的第一初始特征图和第二目标特征图进行连接操作，并输入所述融合子模型内的全连接层和第二sigmoid函数，得到所述待处理图像内异常特征的预测结果值。
2.根据权利要求1所述的方法，其特征在于，通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域，包括：
将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；
通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；
通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。
3.根据权利要求2所述的方法，其特征在于，所述通过图像框在所述第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像，包括：
通过预设大小的图像框，在所述第一目标特征图上以预设步长遍历预设次数；
在每次遍历所述第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将所述目标初始子图像内的像素值设置为预设值。
4.根据权利要求3所述的方法，其特征在于，在所述将待处理图像输入分类推理模型的全局子模型之前，还包括：
将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；
将标记后的训练初始图像进行图像增强处理，得到训练目标图像；
通过所述训练目标图像训练初始分类推理模型，得到所述分类推理模型。
5.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；
区域获取模块，用于通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；
第二获取模块，用于将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
结果预测模块，用于将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值；
其中，所述第一获取模块，具体用于：将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图；
其中，第二获取模块，具体用于：将所述异常特征的感兴趣区域输入所述局部子模型内的第二特征提取骨干网络，得到第二初始特征图；通过门控注意力网络对所述第二初始特征图进行处理，得到所述第二目标特征图；
其中，结果预测模块，具体用于：通过所述融合子模型内的池化层将所述第一初始特征图进行池化处理，得到处理后的第一初始特征图；将所述处理后的第一初始特征图和第二目标特征图进行连接操作，并输入所述融合子模型内的全连接层和第二sigmoid函数，得到所述待处理图像内异常特征的预测结果值。
6.根据权利要求5所述的装置，其特征在于，所述区域获取模块，具体用于：
将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；
通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；
通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。
7.根据权利要求6所述的装置，其特征在于，所述区域获取模块，具体用于：
通过预设大小的图像框，在所述第一目标特征图上以预设步长遍历预设次数；
在每次遍历所述第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将所述目标初始子图像内的像素值设置为预设值。
8.根据权利要求7所述的装置，其特征在于，还包括：
训练模块，用于在所述将待处理图像输入分类推理模型的全局子模型之前，将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；将标记后的训练初始图像进行图像增强处理，得到训练目标图像；通过所述训练目标图像训练初始分类推理模型，得到所述分类推理模型。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-4中任一项所述的方法。
CN202310104465.0A 2023-01-30 2023-01-30 一种图像处理方法、装置、设备及存储介质 Active CN116245832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310104465.0A CN116245832B (zh) 2023-01-30 2023-01-30 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310104465.0A CN116245832B (zh) 2023-01-30 2023-01-30 一种图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116245832A CN116245832A (zh) 2023-06-09
CN116245832B true CN116245832B (zh) 2023-11-14

Family

ID=86632495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310104465.0A Active CN116245832B (zh) 2023-01-30 2023-01-30 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116245832B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496280B (zh) * 2024-01-03 2024-04-02 安徽大学 基于3d卷积和多标签解码的颅脑ct影像质量控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186385A1 (zh) * 2019-03-15 2020-09-24 深圳市大疆创新科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN111899265A (zh) * 2020-06-24 2020-11-06 上海联影智能医疗科技有限公司 图像分析方法、装置、计算机设备和存储介质
CN112614119A (zh) * 2020-12-28 2021-04-06 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN112801164A (zh) * 2021-01-22 2021-05-14 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、设备及存储介质
CN112926537A (zh) * 2021-04-07 2021-06-08 南方科技大学 图像处理方法、装置、电子设备以及存储介质
WO2022027987A1 (zh) * 2020-08-04 2022-02-10 杰创智能科技股份有限公司 一种图像识别模型的训练方法及图像识别方法
CN115346071A (zh) * 2022-08-20 2022-11-15 南京理工大学 高置信局部特征与全局特征学习的图片分类方法及系统
CN115439423A (zh) * 2022-08-22 2022-12-06 北京医准智能科技有限公司 一种基于ct图像的识别方法、装置、设备及存储介质
CN115578373A (zh) * 2022-10-31 2023-01-06 杭州博钊科技有限公司 基于全局和局部特征协作的骨龄评估方法、装置、设备及介质
CN115620178A (zh) * 2022-10-14 2023-01-17 国网江苏省电力有限公司电力科学研究院 一种用于无人机的电网异常危险行为的实时检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186385A1 (zh) * 2019-03-15 2020-09-24 深圳市大疆创新科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN111899265A (zh) * 2020-06-24 2020-11-06 上海联影智能医疗科技有限公司 图像分析方法、装置、计算机设备和存储介质
WO2022027987A1 (zh) * 2020-08-04 2022-02-10 杰创智能科技股份有限公司 一种图像识别模型的训练方法及图像识别方法
CN112614119A (zh) * 2020-12-28 2021-04-06 上海市精神卫生中心（上海市心理咨询培训中心） 医学图像感兴趣区域可视化方法、装置、存储介质和设备
CN112801164A (zh) * 2021-01-22 2021-05-14 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、设备及存储介质
CN112926537A (zh) * 2021-04-07 2021-06-08 南方科技大学 图像处理方法、装置、电子设备以及存储介质
CN115346071A (zh) * 2022-08-20 2022-11-15 南京理工大学 高置信局部特征与全局特征学习的图片分类方法及系统
CN115439423A (zh) * 2022-08-22 2022-12-06 北京医准智能科技有限公司 一种基于ct图像的识别方法、装置、设备及存储介质
CN115620178A (zh) * 2022-10-14 2023-01-17 国网江苏省电力有限公司电力科学研究院 一种用于无人机的电网异常危险行为的实时检测方法
CN115578373A (zh) * 2022-10-31 2023-01-06 杭州博钊科技有限公司 基于全局和局部特征协作的骨龄评估方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CT影像识别的卷积神经网络模型;管姝;张骞予;谢红薇;强彦;程臻;;计算机辅助设计与图形学学报(08);第150-155页 *
Multi-Scale Context-Guided Deep Network for Automated Lesion Segmentation With Endoscopy Images of Gastrointestinal Tract;Shuai Wang 等;《IEEE Journal of Biomedical and Health Informatics》;第514 - 525页 *

Also Published As

Publication number Publication date
CN116245832A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN115409990B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN116245832B (zh) 一种图像处理方法、装置、设备及存储介质
CN116109824A (zh) 基于扩散模型的医学影像及像素级标注生成方法及装置
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN114820652A (zh) 乳腺x线图像局部质量异常区域的分割方法、装置及介质
CN115409856B (zh) 一种肺部医学图像处理方法、装置、设备及存储介质
CN115100731B (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质
Wu et al. Semiautomatic segmentation of glioma on mobile devices
CN116052288A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备
CN112801964B (zh) 肺部ct图像的多标签智能检测方法、装置、设备和介质
CN114419375A (zh) 图像分类方法、训练方法、装置、电子设备以及存储介质
CN113222989A (zh) 一种图像分级方法、装置、存储介质及电子设备
CN115564788B (zh) 基于先验信息的肺气管分割模型训练、分割方法和装置
JP2022546303A (ja) 管状フィーチャのセグメント化
CN115578564B (zh) 实例分割模型的训练方法、装置、电子设备及存储介质
CN116128863B (zh) 一种医学图像处理方法、装置及设备
CN115908300B (zh) 心脏瓣膜钙化分割的方法、装置、设备及存储介质
Carvalho et al. Holistic modeling in medical image segmentation using spatial recurrence
CN117809092A (zh) 一种医学图像的处理方法、装置、电子设备及存储介质
CN118015401A (zh) 一种模型训练、目标检测方法、装置、电子设备及存储介质
CN117115134A (zh) 一种确定肺结节中实性成分占比的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Applicant after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Applicant before: Beijing Yizhun Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant