CN111341438A - 图像处理、装置、电子设备及介质 - Google Patents

图像处理、装置、电子设备及介质 Download PDF

Info

Publication number
CN111341438A
CN111341438A CN202010122161.3A CN202010122161A CN111341438A CN 111341438 A CN111341438 A CN 111341438A CN 202010122161 A CN202010122161 A CN 202010122161A CN 111341438 A CN111341438 A CN 111341438A
Authority
CN
China
Prior art keywords
processing
network
image
probability map
denseunet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010122161.3A
Other languages
English (en)
Other versions
CN111341438B (zh
Inventor
张勇东
武海
谢洪涛
毛震东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Original Assignee
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Research Institute, University of Science and Technology of China USTC filed Critical Beijing Zhongke Research Institute
Priority to CN202010122161.3A priority Critical patent/CN111341438B/zh
Publication of CN111341438A publication Critical patent/CN111341438A/zh
Application granted granted Critical
Publication of CN111341438B publication Critical patent/CN111341438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种图像处理方法及装置，用于处理医学影像图像，方法包括：采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图；对所述概率图进行二值化处理；对二值化处理后的概率图进行处理，得到最大的稳定且联通区域；做所述最大的稳定且联通区域的外接矩形框，以所述联通区域的外接矩形框的中心作为所述关键特征点。该方法及装置可辅助诊断，显著加快了诊断速度，减轻医生的负担。

Description

图像处理、装置、电子设备及介质
技术领域
本公开涉及智能医学影像分析领域，特别是涉及一种图像处理、装置、电子设备及介质。
背景技术
发育性髋关节脱位是儿童骨科中最常见的髋关节疾病，目前医生常用的手段是基于相关知识，根据X光医学影像图像进行诊断。但是，该种方式的诊断效率较低，当医院的病人较多时，可能导致医生应接不暇。并且，由于许多基层医院的医生缺乏相关的诊断知识，根据原始的X光医学影像图像诊断存在困难。为了加快诊断速度并减轻医生的负担，计算机辅助诊断(computer Aided Diagnosis，CAD)应运而生。因此，本公开提取一种医学影像图像的处理方法以辅助医生的诊断具有重大的意义。
公开内容
(一)要解决的技术问题
针对于上述技术问题，本公开提出一种多图像处理、装置、电子设备及介质，用于至少解决上述技术问题。
(二)技术方案
根据本公开实施例的第一方面，提供一种图像处理方法，用于处理医学影像图像，方法包括：采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图；对概率图进行二值化处理；对二值化处理后的概率图进行处理，得到最大的稳定且联通区域；做最大的稳定且联通区域的外接矩形框，以联通区域的外接矩形框的中心作为关键特征点。
可选地，采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，包括：基于DenseUnet网络，对待处理的医学影像图像进行特征提取及融合，其中，DenseUnet网络包括多层网络，第一层网络至最后一层网络提取的特征图大小依次递减；特征提取及融合过程中，将每层网络提取的特征图进行上采样或下采样，并将采样结果与相邻的网络层提取的特征图进行融合。
可选地，方法还包括：训练DenseUnet网络，该操作包括：获取训练图像集，对训练图像集中的关键特征点进行位置标注；以标注的关键特征点的位置为中心，生成每幅训练图像的标签掩码；采用带有标签掩码的训练图像集训练DenseUnet网络。
可选地，采用均方误差损失函数：
Figure BDA0002391378070000021
训练DenseUnet网络，其中，xn表示未经处理的训练图像，s(·)函数表示DenseUnet网络，yn表示标签掩码，N表示图像总数，k表示每张图像所要定位的关键特征点。
可选地，对二值化处理后的概率图进行处理，得到最大的稳定且联通区域，包括：采用最大稳定极值区域算法，寻找二值化处理后的概率图中最大的稳定且联通区域。
可选地，方法还包括：获取测试图像集；采用测试图像集测试DenseUnet网络的性能。
可选地，对概率图进行二值化处理包括：将上述二值化的阈值设置为0.01。
根据本公开实施例的第二方面，提供一种图像处理装置，用于处理医学影像图像，装置包括：特征融合模块，用于采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图；第一处理模块，用于对概率图进行二值化处理；第二处理模块，用于对二值化处理后的概率图进行处理，得到最大的稳定且联通区域；关键特征点模块，用于绘制最大的稳定且联通区域的外接矩形框，以联通区域的外接矩形框的中心作为关键特征点。
根据本公开实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器。存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开实施例的第五方面，提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
(三)有益效果
本公开提一种图像处理、装置、电子设备及介质，采用稠密的特征图融合方式，对原始的医学影像图像进行特征提取及融合，快速提取医学图像中的关键特征点，根据提取的这些关键点，辅助医生进行诊断，相对于根据原始医学图像进行诊断，显著加快了诊断速度，减轻的医生的负担。并且，医生不需要具备丰富的诊断经验，根据简单的基础知识结合处理后的医学影像即可诊断。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。其中：
图1示意性示出了根据本公开一示例性实施例的图像处理方法的流程图；
图2示意性示出了根据本公开一示例性实施例的DenseUnet网络架构图；
图3示意性示出了根据本公开一示例性实施例的DenseUnet网络训练方法流程图；
图4示意性示出了根据本公开一示例性实施例的DenseUnet网络测试方法流程图；
图5示意性示出了根据本公开一示例性实施例的关键特征点位置图；
图6示意性示出了根据本公开一示例性实施例的辅助诊断区域划分图；
图7示意性示出了根据本公开一示例性实施例的图像处理装置的框图；
图8示意性示出了根据本公开一示例性实施例的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
图1示意性示出了根据本公开一示例性实施例的图像处理方法的流程图，该方法例如可以包括操作S101～S103。下面以发育性髋关节发育异常(Developmental dysplaisaof the hips，DDH)为例进行说明。
S101，采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图。
在本实施例一可行的方式中，基于新型的DenseUnet网络，采用稠密的特征图融合方式对需要分析的医学影响进行处理。如图2所示，本实施例采用的DenseUnet网络为多层网络架构，第一层网络至最后一层网络提取的特征图大小依次递减。例如，的第一层网络提取的特征图宽高为1024*768，这一层特征图在特征图融合过程中一直保持高分辨率，从而可以保证图像的像素尺度不会减少，从而能很好地保留图像的细节信息，同时也能很好地学习高分辨率图像空间信息的语义表征。第二、三、四层网络提取的特征图大小依次递减，从而使网络获得从低层到高层丰富的语义信息。
特征提取及融合过程中，将每层网络对相邻的网络层提取的特征图进行上采样或下采样，并将采样结果与相邻的网络层提取的特征图进行融合。例如，对第二、三、四层网络的特征图不断地进行下采样与上采样，并分别与其下层与上层网络提取的特征图进行融合，从而可以缩小不同层特征图之间的语义鸿沟。
基于上述方式，即可得到包含关键特征点的概率图。本实施例中，由于辅助诊断发育性髋关节发育异常一般需要6个关键特征点，包括盆骨右中心点、盆骨左中心点、髋臼右前缘、髋臼左前缘、右股骨头中心以及左股骨头中心，因此，DenseUnet网络输出6通道的概率图，每个通道用来预测一个关键特征点。
本实施例中，在基于DenseUnet网络对医学影像进行处理之前，还需要训练及测试DenseUnet网络。具体的操作过程如图3所示，该方法例如可以包括操作S301～S303。
S301，获取训练图像集，对训练图像集中的关键特征点进行位置标注。
在本实施例一可行的方式中，选取医学影像科已有的7709幅X光图像数据，作为训练图像集。对每一幅图像关键特征点进行位置标注，以便深度学习如何寻找关键特征点位置。可让对该方面诊断知识非常丰富的专业医生对关键特征点进行标注。
S302，以标注的关键特征点的位置为中心，生成每幅训练图像的标签掩码。
根据标注的关键特征点，每幅图像生成6幅以关键点为中心的圆形标签掩码(Mask)，每张Mask含有一个关键特征点的标签，如图2所示。
S303，采用带有标签掩码的训练图像集训练DenseUnet网络。
根据带有标签掩码的训练图像集训练如图2所示的DenseUnet网络，使得DenseUnet网络深度学习如何寻找关键特征点位置，训练完成后，DenseUnet网络便具备上述稠密的特征图融合的功能。训练采用均方误差损失函数：
Figure BDA0002391378070000061
其中，xn表示未经处理的训练图像，s(·)函数表示DenseUnet网络，yn表示标签掩码，N表示图像总数，k表示每张图像所要定位的关键特征点。
本实施例中，为了验证上述训练的DenseUnet网络是否具备稠密的特征图融合的功能，还对训练完成的DenseUnet网络进行了测试。具体的操作过程如图4所示，该方法例如可以包括操作S401～S403。
S401，获取测试图像集。
在本实施例一可行的方式中，选取医学影像科已有的1828幅X光图像数据，作为测试图像集。
S402，采用测试图像集测试DenseUnet网络的性能。
根据测试结果，对训练的DenseUnet网络的性能进行测试，并根据测试结果对训练的DenseUnet网络进行优化，以便训练得到的DenseUnet网络识别准确度高。例如，将一幅测试图像输入训练好的DenseUnet网络，输出的图像上标注的关键特征点与具有丰富诊断经验医生标注的关键特征点位置基本重合或完全重合，表示DenseUnet网络识别准确度高。
S102，对概率图进行二值化处理。
在本实施例一可行的方式中，将二值化的阈值设置为0.01，取得了较好的二值化效果。
S103，对二值化处理后的概率图进行处理，得到最大的稳定且联通区域，做最大的稳定且联通区域的外接矩形框，以联通区域的外接矩形框的中心作为关键特征点。
在本实施例一可行的方式中，采用最大稳定极值区域算法(MSER)寻找二值化处理后的概率图中的最大的稳定且联通的区域，做最大的稳定且联通区域的外接矩形框，以联通区域的外接矩形框的中心作为关键特征点。如图5所示，其中阴影区域与白色区域为经过二值化处理后得到的一个关键点对应的网络输出图，黑色线框为白色区域的外接矩形框，黑色的点为矩形框的中心点。以此类推，最终得到的6个关键点如图2中预测结果图中的6个黑色的点。
由此，基于上述方式可对原始的医学影像进行处理，得到图像中的关键特征点，基于识别的关键特征点，即可辅助医生进行诊断。下面介绍一种可行的辅助诊断方法，应当理解，该方法并不限制本公开的内容。
具体地，如图6所示，以图中的1点及2点(盆骨中心点)做一条直线H，根据图中的3点及4点(髋臼前缘点)，分别作H线的垂线P，连接1点与3点，连接2点与4点得到辅助线L，这样就可以划分出四个区域，I区域，II区域，III区域，IV区域。依据划分的四个区域，可以根据股骨头中心点(5、6点)所处的区域来辅助医生进行诊断。
综上所述，本实施例采用稠密的特征图融合方式，对原始的医学影像图像进行特征提取及融合，快速提取医学图像中的关键特征点，根据提取的这些关键点，辅助医生进行诊断，相对于根据原始医学图像进行诊断，显著加快了诊断速度，减轻的医生的负担。并且，医生不需要具备丰富的诊断经验，根据简单的基础知识结合处理后的医学影像即可诊断。
图7示意性实处了根据本公开一示例性实施例的图像处理装置的框图，如图7所示，该装置700例如可以包括特征融合模块710、第一处理模块720、第二处理模块730及关键特征点模块740。
特征融合模块710，用于采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图。
第一处理模块720，用于对概率图进行二值化处理。
第二处理模块730，用于对二值化处理后的概率图进行处理，得到最大的稳定且联通区域；
关键特征点模块740，用于绘制最大的稳定且联通区域的外接矩形框，以联通区域的外接矩形框的中心作为关键特征点。
本实施例的装置在实施上，可以以软件的方式安装于医生的工作电脑，提供实时检测；也可以安装于医院的后台服务器，提供大批量后台检测。
需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，具体细节请参照方法实施例部分，在此不再赘述。
根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，特征融合模块710、第一处理模块720、第二处理模块730及关键特征点模块740中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，特征融合模块710、第一处理模块720、第二处理模块730及关键特征点模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者特征融合模块710、第一处理模块720、第二处理模块730及关键特征点模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8是根据一示例性实施例示出的一种电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800包括处理器810、计算机可读存储介质820。该电子设备800可以执行根据本公开实施例的方法。
具体地，处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存等等。
计算机可读存储介质820可以包括计算机程序821，该计算机程序821可以包括代码/计算机可执行指令，其在由处理器810执行时使得处理器810执行根据本公开实施例的方法或其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序821中的代码可以包括一个或多个程序模块，例如包括821A、模块821B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器810执行时，使得处理器810可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例特征融合模块710、第一处理模块720、第二处理模块730及关键特征点模块740中的至少一个可以实现为参考图8描述的计算机程序模块，其在被处理器810执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，具体依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种图像处理方法，用于处理医学影像图像，其特征在于，方法包括：
采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图；
对所述概率图进行二值化处理；
对二值化处理后的概率图进行处理，得到最大的稳定且联通区域；
做所述最大的稳定且联通区域的外接矩形框，以所述联通区域的外接矩形框的中心作为所述关键特征点。
2.根据权利要求1所述的方法，其特征在于，所述采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，包括：
基于DenseUnet网络，对所述待处理的医学影像图像进行特征提取及融合，其中，DenseUnet网络包括多层网络，第一层网络至最后一层网络提取的特征图大小依次递减；
特征提取及融合过程中，将每层网络提取的特征图进行上采样或下采样，并将采样结果与相邻的网络层提取的特征图进行融合。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：训练所述DenseUnet网络，该操作包括：
获取训练图像集，对所述训练图像集中的关键特征点进行位置标注；
以标注的关键特征点的位置为中心，生成每幅训练图像的标签掩码；
采用带有标签掩码的训练图像集训练所述DenseUnet网络。
4.根据权利要求3所述的方法，其特征在于，采用均方误差损失函数：
Figure FDA0002391378060000011
训练所述DenseUnet网络，其中，xn表示未经处理的训练图像，s(·)函数表示所述DenseUnet网络，yn表示所述标签掩码，N表示图像总数，k表示每张图像所要定位的关键特征点。
5.根据权利要求1所述的方法，其特征在于，所述对二值化处理后的概率图进行处理，得到最大的稳定且联通区域，包括：
采用最大稳定极值区域算法，寻找所述二值化处理后的概率图中所述最大的稳定且联通区域。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取测试图像集；采用所述测试图像集测试所述DenseUnet网络的性能。
7.根据权利要求1所述的方法，其特征在于，所述对所述概率图进行二值化处理包括：
将上述二值化的阈值设置为0.01。
8.一种图像处理装置，用于处理医学影像图像，其特征在于，装置包括：
特征融合模块，用于采用稠密的特征图融合方式，对待处理的医学影像图像进行特征提取及融合，得到包含关键特征点的概率图；
第一处理模块，用于对所述概率图进行二值化处理；
第二处理模块，用于对二值化处理后的概率图进行处理，得到最大的稳定且联通区域；
关键特征点模块，用于绘制所述最大的稳定且联通区域的外接矩形框，以所述联通区域的外接矩形框的中心作为所述关键特征点。
9.一种电子设备，其特征在于，该电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至7中任一项所述的方法。
CN202010122161.3A 2020-02-25 2020-02-25 图像处理方法、装置、电子设备及介质 Active CN111341438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010122161.3A CN111341438B (zh) 2020-02-25 2020-02-25 图像处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010122161.3A CN111341438B (zh) 2020-02-25 2020-02-25 图像处理方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111341438A true CN111341438A (zh) 2020-06-26
CN111341438B CN111341438B (zh) 2023-04-28

Family

ID=71182004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010122161.3A Active CN111341438B (zh) 2020-02-25 2020-02-25 图像处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111341438B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766618B (zh) * 2020-06-30 2022-06-01 大陸商北京市商湯科技開發有限公司 關鍵點檢測方法、電子設備及電腦可讀儲存介質

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108346154A (zh) * 2018-01-30 2018-07-31 浙江大学 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
US20190252073A1 (en) * 2018-02-12 2019-08-15 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110189308A (zh) * 2019-05-17 2019-08-30 山东财经大学 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110705365A (zh) * 2019-09-06 2020-01-17 北京达佳互联信息技术有限公司 一种人体关键点检测方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN108346154A (zh) * 2018-01-30 2018-07-31 浙江大学 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
US20190252073A1 (en) * 2018-02-12 2019-08-15 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN110189308A (zh) * 2019-05-17 2019-08-30 山东财经大学 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN110705365A (zh) * 2019-09-06 2020-01-17 北京达佳互联信息技术有限公司 一种人体关键点检测方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOMENG LI: "H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation From CT Volumes", 《IEEE TRANSACTIONS ON MEDICAL IMAGING ( VOLUME: 37, ISSUE: 12, DECEMBER 2018)》 *
俞益洲等: "深度学习在医学影像分析中的应用综述", 《数据与计算发展前沿》 *
田娟秀等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 *
蒋应锋;张桦;薛彦兵;周冕;徐光平;高赞;: "一种新的多尺度深度学习图像语义理解方法研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766618B (zh) * 2020-06-30 2022-06-01 大陸商北京市商湯科技開發有限公司 關鍵點檢測方法、電子設備及電腦可讀儲存介質
JP2022543954A (ja) * 2020-06-30 2022-10-17 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体
JP7182021B2 (ja) 2020-06-30 2022-12-01 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド キーポイント検出方法、キーポイント検出装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
CN111341438B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Tang et al. Xlsor: A robust and accurate lung segmentor on chest x-rays using criss-cross attention and customized radiorealistic abnormalities generation
WO2020108525A1 (zh) 图像分割方法、装置、诊断系统、存储介质及计算机设备
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
US20200364570A1 (en) Machine learning method and apparatus, program, learned model, and discrimination apparatus
CN112184657A (zh) 一种肺结节自动检测方法、装置及计算机系统
CN107688783B (zh) 3d图像检测方法、装置、电子设备及计算机可读介质
Ghayvat et al. AI-enabled radiologist in the loop: novel AI-based framework to augment radiologist performance for COVID-19 chest CT medical image annotation and classification from pneumonia
CN112967287A (zh) 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质
CN111091521A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110767292A (zh) 病理编号识别方法、信息识别方法、装置及信息识别系统
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN115063425B (zh) 基于读片知识图谱的结构化检查所见生成方法及系统
CN112241961A (zh) 基于深度卷积神经网络的胸部x光片辅助诊断方法及系统
CN110827291A (zh) 一种用于自动化脑mri定量分析的方法和装置
CN111445457B (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
Zhao et al. Deep learning solution for medical image localization and orientation detection
CN111341438A (zh) 图像处理、装置、电子设备及介质
CN117237351A (zh) 一种超声图像分析方法以及相关装置
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
Liu et al. TrEnD: A transformer‐based encoder‐decoder model with adaptive patch embedding for mass segmentation in mammograms
CN114842492A (zh) 一种关键信息抽取方法、装置、存储介质与电子设备
Cui et al. SCU-Net++: A Nested U-Net Based on Sharpening Filter and Channel Attention Mechanism
Yang et al. Cervical nuclei segmentation in whole slide histopathology images using convolution neural network
CN112750124A (zh) 模型生成、图像分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant