CN112446862A - 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 - Google Patents

一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 Download PDF

Info

Publication number
CN112446862A
CN112446862A CN202011333447.2A CN202011333447A CN112446862A CN 112446862 A CN112446862 A CN 112446862A CN 202011333447 A CN202011333447 A CN 202011333447A CN 112446862 A CN112446862 A CN 112446862A
Authority
CN
China
Prior art keywords
module
image
segmentation
data
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011333447.2A
Other languages
English (en)
Other versions
CN112446862B (zh
Inventor
马璐
王东
王立威
张文涛
王子腾
张佳琦
丁佳
胡阳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Yizhun Intelligent Technology Co ltd
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Guangxi Yizhun Intelligent Technology Co ltd
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Yizhun Intelligent Technology Co ltd, Beijing Yizhun Medical AI Co Ltd filed Critical Guangxi Yizhun Intelligent Technology Co ltd
Priority to CN202011333447.2A priority Critical patent/CN112446862B/zh
Priority to CN202111065625.2A priority patent/CN113781439B/zh
Priority to CN202111065766.4A priority patent/CN113781440B/zh
Publication of CN112446862A publication Critical patent/CN112446862A/zh
Application granted granted Critical
Publication of CN112446862B publication Critical patent/CN112446862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割系统。该系统至少包含该系统至少包含一台超声机、和AI服务器。其中AI服务器中设置有基于AI的动态乳腺超声视频检测和分割装置，该装置至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。本发明的系统可以在不改动超声机以及现有诊断流程的前提下，实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测，并对检测出的病灶进行智能分割和测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。

Description

一种基于人工智能的动态乳腺超声视频全病灶实时检测和分 割装置、系统及图像处理方法
技术领域
本发明涉及医学图像领域，特别涉及一种基于人工智能(AI)的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法。
背景技术
乳腺癌即乳腺恶性肿瘤，根据国家癌症中心公布的数据显示，乳腺癌位居我国女性恶性肿瘤发病第1位，严重威胁女性健康。美国弗吉尼亚大学Hillman教授2010年在《NEngl J Med》上撰文指出：早期精确诊断可使乳腺癌患者5年生存率从25％提高到99％。
乳腺超声技术具有无创、快捷、重复性强等优点，能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性，可适用于任何年龄，尤其是妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘)，可以作为弥补检查，而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺，即使有肿块也难以分辨时，超声可利用声波界面反射的差别，清晰显示病灶的轮廓和形态。
但我国的超声检查却面临两大难题：一是超声医生培养难，医生在能够正确解读超声图像之前，需要经过大量的培训，且学习周期长、学习难度大，不同操作者对图像的解读具有差异性；二是我国超声医生资源严重紧缺，卫计委统计年鉴显示，超声注册医生至少有10万人的缺口。目前，乳腺超声影像诊断的高需求和现实供给之间的不平衡，已经成为临床实践中亟待解决的主要问题之一。
医学影像的全面数字化和计算机技术的发展，为从技术层面解决这一问题带来了希望。最先发展起来的是计算机辅助检测/诊断(computer aided detection/diagnosis，CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法，由人工从医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种训练方法易于理解，因为其结果是依据输入的特征运算的，可以有效提高训练的效率和准确率，降低运算的复杂度。但传统CAD功能单一、性能不足，病灶检出假阳性率过高，在性能上很快到达瓶颈，其临床价值没有得到充分肯定。
近几年，随着深度学习算法的出现和成熟，AI技术在医学影像中的应用逐步走向了更高的层面，为突破传统CAD系统的准确性瓶颈带来了可能。与传统CAD不同的是，深度学习可以不依据人工提取的特征进行后续的图像处理。有学者指出，深度神经网络提取的特征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中，将S-DPN网络应用于两个小的乳腺超声数据集中，在加入了一些后处理方法如SVM之后最高分类准确率达到了92.4％；Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张超声影像进行了乳腺超声影像的分类，实现了端对端的学习，分类准确率达到了90％，超过了人类医生。
但目前这些探索大多都还着眼于二维影像的结节，对于临床实际应用场景来讲，一是基于二维图的辅助检测对临床的帮助非常有限，通常需要医生手动截图，再将图像传给服务器进行检测，而临床扫描超声的过程中，图像是在不断的变化的，所以这种检测方式不仅会打破医生的诊断流程，增加操作负担，而且医生也不可能图像变化一次就截图一次，完全无法应用于临床；二是，大多研究都仅着眼于结节的辅助检测，其他类型病灶还是需要完全靠医生，并不能有效的帮助医生提高信心及效率；三是，二维图病灶信息并不充分，超声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异，必须结合前后的影像综合判断，所以基于二维图的准确性存在天然的瓶颈，通常会有很高的假阳性。
关于为什么目前极少有关于乳腺超声动态视频的探索？首先是视频数据缺乏，通常的超声检查只会保留个别二维图，而不会保存视频影像，所以乳腺超声的视频数据很难获得，即使获得了视频数据，数据的标注难度也是极大的，AI的学习是依赖于大量经过高质量标注的数据的，而视频以每秒30帧来计算，每个人检查大约十分钟，所以每个病人就要标注10*60*30＝18000张图像，且都需要具有丰富经验的高年资超声医生来完成，通常超声医生的工作强度非常高，要完成如此大量的标注是极为困难的，而没有高质量的大量数据，基于视频的AI就是不可能实现的；其次在技术上，从二维图像为2D的模型到视频图像为4D模型难度是飞跃式的，二维模型只需要考虑准确率，所以模型可以尽可能的复杂，提取尽可能多维度的空间特征以实现较高的准确率，通常会以更多的时间消耗为代价，而基于视频的4D技术不仅要考虑模型的准确率，同时要实现模型的实时性，这就注定了其不能通过采用复杂的模型来提高准确率，且基于视频的4D技术需要将时间维度信息加入模型，对模型本身提出了极高的要求，且目前并没有成熟的相关模型和算法参考，需要创新性的去重新设计模型。
有鉴于此，提出本发明。
发明内容
针对现有乳腺超声的检测和分割研究大多只着眼于肿块，且多为基于二维影像的研究，而临床诊断通常需要结合前后帧的信息综合判断，所以基于二维影像的人工智能临床易用性较差，如假阳性高，无法实现实时检测等，为有效解决已有方法临床易用性较差，对临床帮助严重不足的现状，本发明提出了基于AI的动态乳腺超声视频全病灶实时检测和分割的装置、系统及检测方法，以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊问题，提高医生诊断效率。
为实现上述目的，本发明第一方面提供了一种基于AI的动态乳腺超声视频处理方法，其特征在于：所述方法至少包含如下步骤：(1)系统鲁棒性设计、(2)数据预处理、(3)数据扩增、(4)病灶检测以及(5)病灶分割；
在一些方式中，所述(1)系统鲁棒性设计包括：
1)按照1：1比例对主流超声机型产生的数据进行采集；
2)正常和异常的数据按照1：1的比例进行采集；
3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。
在一些方式中，所述(2)数据预处理包括有效区域分割和数据归一化步骤；优选的，所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将图像分割出来；所述数据归一化模块采用Max/Min归一化方法；优选的步骤包括：
1)读取视频影像，对每一帧影像进行归一化；
2)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
3)根据公式
Figure BDA0002796468420000031
对每一个像素的灰度值计算获得其归一化之后的值。
在一些方式中，所述(3)数据扩增步骤包括：
1)按顺序读取视频；
2)为当前视频随机选择是否反转；
3)若当前视频选择反转，继续随机选择反转方法。
在一些方式中，所述(4)病灶检测是利用超声视频影像进行检测和分割的fasterrcnn模型训练；优选的，所述病灶检测步骤包括：
1)利用递归特征金字塔RFP网络进行特征提取；
2)利用Deformable convolutional network学习特征偏移；
3)利用LSTM网络提取时间维度信息；
4)加入注意力机制提高检测精度。
在一些方式中，所述(4)病灶分割步骤包括：
1)依据bounding box的尺寸将病灶从原图像剪切下来；
2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；
4)通过一层卷积层生成最终的分割图；
5)根据形态学方法获得病灶的长短径。
本发明另一方面提供了一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统，该系统至少包含一台超声机和AI服务器；优选的，还包括超声机显示器和AI显示器。其中，超声机设备提供视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相连接。AI服务器中设置有基于AI的动态乳腺超声视频检测和分割的系统或装置，该系统或装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。
本发明第二方面提供了基于AI的动态乳腺超声视频检测和分割系统或装置，该系统或装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。
在一些方式中，所述系统鲁棒性设计模块可以使系统自动适应不同机型、不同参数设置下的超声影像，同时提升后续检出和分割的效率和准确性，还可以使系统涵盖所有类型的病灶。本发明针对性的设计了数据集，要求：
1)不同参数按照1：1的比例对主流超声机型产生的数据进行采集；
2)正常和异常(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)的数据按照1：1的比例进行采集；
3)异常数据中各类型(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)数据按照1：1的比例进行采集。
在一些方式中，所述数据预处理模块主要用于提高计算效率、减少计算耗时，加快模型收敛速度，节约训练时间，同时提高模型精度。数据处理模块主要包括有效区域分割模块和数据归一化模块。
在一些方式中，所述有效区域分割模块可以根据不同机型设定有效区域范围，通过读取视频影像，对每一帧影响按照对应的有效区域范围，将图像分割出来。
在一些方式中，所述数据归一化模块优选可以通过采用Max/Min归一化方法，将数据映射到指定的范围，缩小由于不同参数带来的差异，还可以简化计算、加快模型收敛的速度、提高模型的精度。具体步骤可以包括：
4)读取视频影像，对每一帧影像进行归一化；
5)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
6)根据公式
Figure BDA0002796468420000041
对每一个像素的灰度值计算获得其归一化之后的值。
在一些方式中，所述数据扩增模块可以增加训练集样本，大大缓解由于数据量不足导致的模型过拟合的问题。具体步骤可以包括：
3)按顺序读取视频；
4)为当前视频随机选择是否反转；
3)若当前视频选择反转，继续随机选择反转方法(包括左右反转和上下反转)。
在一些方式中，所述病灶检测模块主要是利用病人的超声视频影像进行检测和分割的模型训练。该模块主要基于Detectron2平台和二阶段检测框架FasterRCNN，并在现有框架基础上进行了改进。具体步骤可以包括：
5)利用递归特征金字塔RFP(Recursive Feature Pyramid)网络进行特征提取；
6)利用Deformable convolutional network学习特征偏移；
7)利用LSTM网络提取时间维度信息；
8)加入注意力机制提高检测精度。
在一些方式中，所述病灶分割模块主要是将病灶检测模块声称的病灶的框bounding box进行病灶分割，具体步骤可以包括：
6)依据bounding box的尺寸将病灶从原图像剪切下来；
7)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
8)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；
9)通过一层卷积层生成最终的分割图；
10)根据形态学方法获得病灶的长短径。
本发明第四方面还提供了基于AI的动态乳腺超声视频全病灶实时检测和分割系统的医学影像处理方法，其主要步骤包括：
1)通过超声机采集超声影像；
2)超声影像通过超声机的视频输出端口输入AI服务器；
3)输入AI服务器的超声影像依次经过AI服务器中设定的系统鲁棒性设计模块、数据预处理模块、数据扩增模块、病灶检测模块、病灶分割模块进行处理，生成病灶分析结果；
4)将AI服务器生成的病灶分析结果显示于AI显示器。
本发明第四方面还提供了一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述系统或装置进行医学影像处理的方法。
本发明第五方面还提供了一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现上述系统或装置进行医学影像处理的方法。
本发明提出的基于AI的动态乳腺超声视频全病灶实时检测和分割装置、系统具有如下突出的技术效果：
1.本发明无需改动超声机，无需改变医生现有诊断流程，即可提供实时的辅助检测分割结果；
2.本发明可一站式解决乳腺超声影像所能涉及到的所有病灶，包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化等；
3.本发明基于动态乳腺超声视频的智能检测和分割系统，可以在扫描病人的同时自动实时检测病灶，并对检测的病灶进行自动智能分割，可以在保证高准确率的情况下，达到每秒计算50次的计算效率，节约医生操作超声机进行测量病灶的时间，提高效率，完全满足实时需求；
4.采用速度和精度兼顾的faster rcnn网络，在达到实时效果的同时，获得良好的精度效果；
5.通过数据扩增的方式，解决由于医学数据量过小导致的过拟合问题；
6.在充分观察学习医生检测病灶的流程和方法的基础上，引入了LSTM模块进行时间维度信息的提取，有效地利用前后帧信息，大大降低了检测的假阳性；
7.通过引入注意力机制，提高检出率的同时，降低假阳性；
8.通过对数据集分布的控制以及乳腺超声影像的预处理，可以适应不同机型、不同参数设置导致的超声影像质量层次不齐的情况，鲁棒性好表现稳定。
总体来讲，本发明可以在不改动超声机以及现有诊断流程的前提下，实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测，并对检测出的病灶进行智能分割和测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。
附图说明
图1示出了本发明基于人工智能的动态乳腺超声视频全病灶实时检测和分割的系统
图2示出了Faster RCNN的网络结构
图3示出了利用递归特征金字塔RFP网络进行特征提取
图4示出了利用Deformable convolutional network学习特征偏移
图5示出了利用LSTM网络提取时间维度信息
图6示出了利用注意力机制获得病灶的分类以及框的回归
图7示出了将病灶的框bounding box进行病灶分割的流程图
图8是对超声图像进行有效区域分割的结果图
图9是对超声图像进行数据归一化处理的结果图
图10是对超声突变进行左右反转和上下反转的效果图
图11是本发明检测的FROC图
图12-图17是对超声图像进行检测分割的效果图
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
定义
除非在下文中另有定义，本文中所用的所有技术术语和科学术语的含义意图与本领域技术人员通常所理解的相同。提及本文中使用的技术意图指在本领域中通常所理解的技术，包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以下术语对于本领域技术人员很好理解，但仍然阐述以下定义以更好地解释本发明。
如本文中所使用，术语“包括”、“包含”、“具有”、“含有”或“涉及”及其在本文中的其它变体形式为包含性的(inclusive)或开放式的，且不排除其它未列举的元素或方法步骤。
在提及单数形式名词时使用的不定冠词或定冠词例如“一个”或“一种”，“所述”，包括该名词的复数形式。
本发明中的术语“大约”、“大体”表示本领域技术人员能够理解的仍可保证论及特征的技术效果的准确度区间。该术语通常表示偏离指示数值的±10％，优选±5％。
此外，说明书和权利要求书中的术语第一、第二、第三、(a)、(b)、(c)以及诸如此类，是用于区分相似的元素，不是描述顺序或时间次序必须的。应理解，如此应用的术语在适当的环境下可互换，并且本发明描述的实施方案能以不同于本发明描述或举例说明的其它顺序实施。
本发明实施例中，提供了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割的系统。如图1所示，该系统至少包含一台超声机、超声机显示器、AI服务器、AI显示器。其中，基于AI的动态乳腺超声视频检测和分割装置部署在AI服务器中。超声机设备提供视频输出端口，超声机视频输出线通过视频输出端口与AI服务器相连接，AI服务器就可以实时接收超声动态视频信号，进行实时分析，最后将分析结果通过AI显示器实时展示给医生。
基于AI的动态乳腺超声视频检测和分割装置至少包含：(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。
(1)系统鲁棒性设计模块
深度学习是基于大数据的，但一直以来，人们更重视模型架构的设计，而对数据的重视程度不足，越来越多的研究证明，数据的质量和数量对模型最终的表现至关重要，分布合理的高质量数据集能够大大提升模型的表现，为了提高本发明的准确率以及对不同机型、不同参数导致的不同质量超声影像的鲁棒性，提升后续检出和分割的效率和准确率，本发明针对性的设计了数据集，具体要求如下：
1)不同机型不同参数的数据按照1：1的比例进行采集。
2)正常和异常(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)的数据按照1：1的比例进行采集。
3)异常数据中各类型(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)数据按照1：1的比例进行采集。
此模块的设计目的：一是为了使系统能够自动适应不同机型、不同参数设置下的不同质量的超声影像，同时提升后续检出和分割的效率和准确率；二是为了使本产品涵盖超声影像设计的所有类型病灶。
(2)数据预处理模块
为了提高计算效率、减少计算耗时，加快模型收敛速度，节约训练时间，同时提高模型精度，本发明设计了数据预处理模块，主要包括：
2.1有效区域分割模块
采集的超声视频影像中除了包含真正有意义的超声图像还有很多对诊断病灶无意义的部分，而这些对诊断病灶无意义的图像部分会增加计算量降低计算效率，所以本发明设计了有效区域分割模块，具体为：
1)根据不同机型设定有效区域范围；
2)读取视频影像，对每一帧影像，按照对应的有效区域范围，将图像分割出来，用于参与后续处理与训练。
图8为对超声图像进行有效区域分割的结果图。
2.2数据归一化模块
不同的超声机参数，可能会导致图像明暗度差异较大，本发明采用Max/Min归一化方法，将数据映射到指定的范围，缩小由于不同参数带来的差异，还可以简化计算、加快模型收敛的速度、提高模型的精度。具体做法如下：
5)读取视频影像，对每一帧影像进行归一化；
6)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
根据公式
Figure BDA0002796468420000081
对每一个像素的灰度值计算获得其归一化之后的值。
图9为对超声图像进行数据归一化处理的结果图。
(3)数据扩增模块
由于医疗数据的特殊性，其获取、标注不仅难度大而且成本特别高，所以医疗影像的数据量往往很难像自然图像一样达到百万或者几十万，甚至过万都特别艰难，这种情况下对于基于大数据的深度学习来说，通过数据扩增的方式来增加训练集样本，可以大大缓解由于数据量不足导致的模型过拟合的问题，具体方法如下：
1)按顺序读取视频
2)为当前视频随机选择是否反转
3)若当前视频选择反转，继续随机选择反转方法(包括左右反转和上下反转)
图10为对超声突变进行左右反转和上下反转的效果图。
(4)病灶检测模块
这一阶段主要是利用病人的超声视频影像进行检测和分割的模型训练，主要包括以下几部分：
i.平台
本发明基于Detectron2平台，Detectron2是FAIR在2018年初公开的目标检测平台，基于PyTorch实现，以maskrcnn基准测试作为起点。通过全新的模块化设计，Detectron2变得更灵活且易于扩展，它能够在单个或多个GPU服务器上提供更快速的训练速度，目前包含了大量业内最具代表性的目标检测、图像分割、关键点检测算法。
ii.框架
为了提高计算速度同时达到比较理想的计算精度，本发明采用了在速度和精度上表现都很出色的二阶段检测框架FasterRCNN(图2所示)。
iii.模型改进
因为超声视频影像的特殊性，它不同于一般的静态医疗影像如CT、MR等，也不同于普通的自然视频影像，所以目前公开的框架并不能达到实时的高精度的检测效果，因此本发明在公开的框架上进行了很多创新性的改动，最终使得模型能够在乳腺超声视频影像的检测任务中达到实时的高精度检测的效果，其具体步骤如下：
1)利用递归特征金字塔RFP(Recursive Feature Pyramid)网络进行特征提取
将连续的多幅超声影像分别输入递归特征金字塔RFP网络，进行特征提取，生成FeatureMap，这样做可以增加模型对尺度的鲁棒性并提高模型精度，首先因为低层的特征语义信息比较少，但是目标位置准确，对小目标更敏感，高层的特征语义信息比较丰富，但是目标位置比较粗略，对大目标更敏感，通过利用不同尺度的特征同步检测，可以大大提高模型的尺度的鲁棒性；其次RFP在FPN的基础上，将FPN层中的额外反馈连接加入到自下而上的主干层中，增加了网络对图片的关注次数，可以提高检出率。具体操作如下：
a.bottom-up网络:对单帧影像，首先将输入图像进行自下而上的特征卷积，如下图RFP部分的左侧，对输入图像采用3*3的卷积核进行卷积操作，得到feature map；
b.Top-down网络:对高层特征逐个进行2倍上采样，将与采样后的高层特征同尺度的bottom-up特征进行1*1卷积降低维度，将降低维度后的bottom-up特征与同尺度的top-down特征对应元素相加，得到新的feature map；
c.将top-down中的额外反馈连接加入到bottom-up网络中(如图3中的虚线部分)。
本阶段完成后，每一个输入图像input 1……n，都会得到对应的feature map f1，f2......fn。
2)利用Deformable convolutional network学习特征偏移
Deformable convolutional network通过学习偏移，打破了传统框只能是矩形的限制，可以提升当前CNN网络对不规则物体的空间信息建模能力，从而提高检测的精度。具体做法如下(参见图4)：
a.对于每一个feature map fi上的每个位置学习偏移offset，选择kernel为3*3，考虑xy方向都可能存在偏移，所以channel为2*3*3＝18，即对原始feature map fi通过18*3*3的卷积，获得偏移map offsets；
b.对原始feature map fi做deformable conv，并且传入offsets，获得新的feature map f‘i，参考公式如下：
Figure BDA0002796468420000101
其中P0是中心点，R为3x3大小的卷积核采样网格点：{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}，Pn为属于R的3x3的kernel的9个位置，ΔPn为偏移量。
本阶段完成后每一个feature map f1，f2......fn会生成一个新的feature mapf1′，f2′......fn′。
3)利用LSTM网络提取时间维度信息
根据大量观察、学习医生的诊断逻辑后，发现仅仅凭借单幅超声影像来判断是否是病灶会造成非常多的假阳性，医生通常要观察前后帧信息之后，综合前后帧信息去判断是否为病灶。因此，本发明加入了LSTM去提取时间维度的前后帧信息，如果在原图上直接进行LSTM会导致运算速度慢，达不到实时效果，所以本发明对提取后的feature map进行LSTM网络提取时间维度信息，具体做法如下(参见图5)：
将上一阶段获得的连续的feature map f1′，f2′......fn′作为LSTM网络的输入，得到新的feature map f1″，f2″......fn″。
4)加入注意力机制提高检测精度
接下来利用上一阶段的feature map，输入faster rcnn网络的rpn网络生成proposal，然后通过ROIpooling生成统一尺寸的proposal feature map，然后将前后连续多幅图像的proposal feature map通过权重累加生成最终的feature map，得到病灶的分类以及框的回归(参见图6)。
图11为本发明检测的FROC图，横轴为假阳性率，即：FPR＝FP/(FP+TN)；纵轴为敏感度，即：recall＝TP/(TP+FN)。(True Positive(TP)被模型预测为正的正样本；TrueNegative(TN)被模型预测为负的负样本；False Positive(FP)被模型预测为正的负样本；False Negative(FN)被模型预测为负的正样本)
(5)病灶分割模块
利用第四阶段生成的病灶的框bounding box进行病灶分割，具体方法如下(参见图7)：
1)依据bounding box的尺寸将病灶从原图像剪切下来；
2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图。将融合得到的全局特征与原始特征图连接起来。
4)通过一层卷积层生成最终的分割图。
5)根据形态学方法获得病灶的长短径。
图12-图17为本发明第四和第五阶段的检测分割效果图，如图所示，不管是大病灶还是小病灶，良性病灶还是恶性病灶，本发明都能达到非常好的检出以及分割效果。

Claims (14)

1.一种基于AI的动态乳腺超声视频处理方法，其特征在于：所述方法至少包含如下步骤：(1)系统鲁棒性设计、(2)数据预处理、(3)数据扩增、(4)病灶检测以及(5)病灶分割；
所述(1)系统鲁棒性设计包括：
1)按照1：1比例对不同主流超声机型产生的数据进行采集；
2)正常和异常的数据按照1：1的比例进行采集；
3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。
2.根据权利要求1所述的方法，其特征在于，所述(2)数据预处理包括有效区域分割和数据归一化步骤；优选的，所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将图像分割出来；所述数据归一化模块采用Max/Min归一化方法；优选的步骤包括：
1)读取视频影像，对每一帧影像进行归一化；
2)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
3)根据公式
Figure FDA0002796468410000011
对每一个像素的灰度值计算获得其归一化之后的值。
3.根据权利要求1-2任一所述的方法，其特征在于，所述(3)数据扩增步骤包括：
1)按顺序读取视频；
2)为当前视频随机选择是否反转；
3)若当前视频选择反转，继续随机选择反转方法。
4.根据权利要求1-3任一所述的方法，其特征在于，所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练；优选的，所述病灶检测步骤包括：
1)利用递归特征金字塔RFP网络进行特征提取；
2)利用Deformable convolutional network学习特征偏移；
3)利用LSTM网络提取时间维度信息；
4)加入注意力机制提高检测精度。
5.根据权利要求1-4任一所述的方法，其特征在于，所述(4)病灶分割步骤包括：
1)依据bounding box的尺寸将病灶从原图像剪切下来；
2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；
4)通过一层卷积层生成最终的分割图；
5)根据形态学方法获得病灶的长短径。
6.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统或装置，所述系统或装置中至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块以及(5)病灶分割模块。
所述(1)系统鲁棒性设计模块：
1)针对不同参数按照1：1比例对主流超声机型产生的数据进行采集；
2)正常和异常的数据按照1：1的比例进行采集；
3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。
7.根据权利要求6所述的系统或装置，其特征在于，所述数据预处理模块包括有效区域分割模块和数据归一化模块；优选的；所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将图像分割出来；更优选的，所述数据归一化模块采用Max/Min归一化方法，步骤包括：
1)读取视频影像，对每一帧影像进行归一化；
2)对单帧影像遍历整幅图，找到灰度值的最大值xmax以及最小值xmin；
3)根据公式
Figure FDA0002796468410000021
对每一个像素的灰度值计算获得其归一化之后的值。
8.根据权利要求6-7任一所述的系统或装置，其特征在于，所述数据扩增模块执行步骤包括：
1)按顺序读取视频；
2)为当前视频随机选择是否反转；
3)若当前视频选择反转，继续随机选择反转方法。
9.根据权利要求6-8任一所述的系统或装置，其特征在于，所述病灶检测模块是利用超声视频影像进行检测和分割的faster rcnn模型训练；优选的，该模块执行步骤包括：
1)利用递归特征金字塔RFP网络进行特征提取；
2)利用Deformable convolutional network学习特征偏移；
3)利用LSTM网络提取时间维度信息；
4)加入注意力机制提高检测精度。
10.根据权利要求6-9任一所述的系统或装置，其特征在于，所述病灶分割模块执行步骤包括：
6)依据bounding box的尺寸将病灶从原图像剪切下来；
7)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；
8)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；
9)通过一层卷积层生成最终的分割图；
10)根据形态学方法获得病灶的长短径。
11.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统，包含超声机和AI服务器；优选的，还包括超声机显示器和AI显示器；其中，所述AI服务器中设置有权利要求6-10任一项所述的基于AI的动态乳腺超声视频检测和分割系统或装置。
12.一种利用权利要求11所述的基于AI的动态乳腺超声视频全病灶实时检测和分割系统进行医学影像处理的方法，所述方法的步骤包括：
1)通过超声机采集超声影像；
2)超声影像通过超声机的视频输出端口输入AI服务器；
3)输入AI服务器的超声影像依次经过AI服务器中设定的系统鲁棒性设计模块、数据预处理模块、数据扩增模块、病灶检测模块、病灶分割模块进行处理，生成病灶分析结果；
4)将AI服务器生成的病灶分析结果显示于AI显示器。
13.一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5中任一项所述方法，或实现权利要求6-10中任一项所述系统或装置进行医学影像处理的方法。
14.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储一条或多条可读指令，所述一条或多条可读指令被所述处理器执行时，实现权利要求1-5中任一项所述方法，或实现权利要求6-10中任一项所述系统或装置进行医学影像处理的方法。
CN202011333447.2A 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 Active CN112446862B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011333447.2A CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
CN202111065625.2A CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置
CN202111065766.4A CN113781440B (zh) 2020-11-25 2020-11-25 超声视频病灶检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333447.2A CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202111065625.2A Division CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置
CN202111065766.4A Division CN113781440B (zh) 2020-11-25 2020-11-25 超声视频病灶检测方法及装置

Publications (2)

Publication Number Publication Date
CN112446862A true CN112446862A (zh) 2021-03-05
CN112446862B CN112446862B (zh) 2021-08-10

Family

ID=74738761

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202111065766.4A Active CN113781440B (zh) 2020-11-25 2020-11-25 超声视频病灶检测方法及装置
CN202111065625.2A Active CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置
CN202011333447.2A Active CN112446862B (zh) 2020-11-25 2020-11-25 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202111065766.4A Active CN113781440B (zh) 2020-11-25 2020-11-25 超声视频病灶检测方法及装置
CN202111065625.2A Active CN113781439B (zh) 2020-11-25 2020-11-25 超声视频病灶分割方法及装置

Country Status (1)

Country Link
CN (3) CN113781440B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239951A (zh) * 2021-03-26 2021-08-10 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113344855A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 降低乳腺超声病灶检测假阳率的方法、装置、设备及介质
CN113344028A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 乳腺超声序列图像分类方法及装置
CN113855079A (zh) * 2021-09-17 2021-12-31 上海仰和华健人工智能科技有限公司 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法
CN113902670A (zh) * 2021-08-31 2022-01-07 北京医准智能科技有限公司 一种基于弱监督学习的超声视频分割方法及装置
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN114155193A (zh) * 2021-10-27 2022-03-08 北京医准智能科技有限公司 一种基于特征强化的血管分割方法及装置
CN116309585A (zh) * 2023-05-22 2023-06-23 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764811B (zh) * 2022-03-14 2024-07-09 什维新智医疗科技(上海)有限公司 一种基于动态超声视频的病灶区域实时分割装置
CN114764812B (zh) * 2022-03-14 2024-08-02 什维新智医疗科技(上海)有限公司 一种病灶区域分割装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和系统
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN108307660A (zh) * 2016-11-09 2018-07-20 松下知识产权经营株式会社 信息处理方法、信息处理装置以及程序
CN108399419A (zh) * 2018-01-25 2018-08-14 华南理工大学 基于二维递归网络的自然场景图像中中文文本识别方法
US20180260949A1 (en) * 2017-03-09 2018-09-13 Kevin Augustus Kreeger Automatic key frame detection
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN109191442A (zh) * 2018-08-28 2019-01-11 深圳大学 超声图像评估及筛选方法和装置
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
CN109830303A (zh) * 2019-02-01 2019-05-31 上海众恒信息产业股份有限公司 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法
CN110047068A (zh) * 2019-04-19 2019-07-23 山东大学 基于金字塔场景分析网络的mri脑肿瘤分割方法及系统
CN110288597A (zh) * 2019-07-01 2019-09-27 哈尔滨工业大学 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN110490863A (zh) * 2019-08-22 2019-11-22 北京红云智胜科技有限公司 基于深度学习的检测冠脉造影有无完全闭塞病变的系统
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111227864A (zh) * 2020-01-12 2020-06-05 刘涛 使用超声图像利用计算机视觉进行病灶检测的方法与装置
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111667459A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
AU2020101581A4 (en) * 2020-07-31 2020-09-17 Ampavathi, Anusha MS Lymph node metastases detection from ct images using deep learning
CN111695592A (zh) * 2020-04-27 2020-09-22 平安科技（深圳）有限公司 基于可变形卷积的图像识别方法、装置、计算机设备
CN111709950A (zh) * 2020-08-20 2020-09-25 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274810B2 (en) * 2000-04-11 2007-09-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
CN108364006B (zh) * 2018-01-17 2022-03-08 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN110674845B (zh) * 2019-08-28 2022-05-31 电子科技大学 一种结合多感受野注意与特征再校准的菜品识别方法
CN110705457B (zh) * 2019-09-29 2024-01-19 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111210443B (zh) * 2020-01-03 2022-09-13 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN111462049B (zh) * 2020-03-09 2022-05-17 西南交通大学 一种乳腺超声造影视频中病灶区形态自动标注方法
CN111784701B (zh) * 2020-06-10 2024-05-10 深圳市人民医院 结合边界特征增强和多尺度信息的超声图像分割方法及系统
CN112132833B (zh) * 2020-08-25 2024-03-26 沈阳工业大学 一种基于深度卷积神经网络的皮肤病图像病灶分割方法
CN112489060B (zh) * 2020-12-07 2022-05-10 北京医准智能科技有限公司 一种用于肺炎病灶分割的系统及方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108307660A (zh) * 2016-11-09 2018-07-20 松下知识产权经营株式会社 信息处理方法、信息处理装置以及程序
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和系统
US20180260949A1 (en) * 2017-03-09 2018-09-13 Kevin Augustus Kreeger Automatic key frame detection
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
CN108399419A (zh) * 2018-01-25 2018-08-14 华南理工大学 基于二维递归网络的自然场景图像中中文文本识别方法
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN109191442A (zh) * 2018-08-28 2019-01-11 深圳大学 超声图像评估及筛选方法和装置
CN109830303A (zh) * 2019-02-01 2019-05-31 上海众恒信息产业股份有限公司 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法
CN110047068A (zh) * 2019-04-19 2019-07-23 山东大学 基于金字塔场景分析网络的mri脑肿瘤分割方法及系统
CN110288597A (zh) * 2019-07-01 2019-09-27 哈尔滨工业大学 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN110490863A (zh) * 2019-08-22 2019-11-22 北京红云智胜科技有限公司 基于深度学习的检测冠脉造影有无完全闭塞病变的系统
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111227864A (zh) * 2020-01-12 2020-06-05 刘涛 使用超声图像利用计算机视觉进行病灶检测的方法与装置
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN111695592A (zh) * 2020-04-27 2020-09-22 平安科技（深圳）有限公司 基于可变形卷积的图像识别方法、装置、计算机设备
CN111667459A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
AU2020101581A4 (en) * 2020-07-31 2020-09-17 Ampavathi, Anusha MS Lymph node metastases detection from ct images using deep learning
CN111709950A (zh) * 2020-08-20 2020-09-25 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
CHINTHAKINDI BALARAM MURTHY等: "Investigations of Object Detection in Images/Videos Using Various Deep Learning Techniques and Embedded Platforms—A Comprehensive Review", 《APPL.SCI》 *
CHONGQING CHEN 等: "Multimodal Encoder-Decoder Attention Networks for Visual Question Answering", 《SPECIAL SECTION ON INTEGRATIVE COMPUTER VISION AND MULTIMEDIA ANALYTICS》 *
SWAPNA G 等: "Automated detection of diabetes using CNN and CNN-LSTM network and heart rate signals", 《INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND DATA SCIENCE (ICCIDS 2018)》 *
汤丽丹: "基于图像的无人船目标检测研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王嘉琦: "基于时相超声造影图像的辅助诊断算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
王督: "基于深度学习的医学病理图像智能分析算法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
田娟秀等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 *
许庆勇: "《基于深度学习理论的纹身图像识别与检测研究》", 31 December 2018, 华中科技大学出版社 *
韩哲: "基于卷积神经网络的乳腺肿瘤良恶性鉴定技术研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239951A (zh) * 2021-03-26 2021-08-10 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113239951B (zh) * 2021-03-26 2024-01-30 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN113344855A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 降低乳腺超声病灶检测假阳率的方法、装置、设备及介质
CN113344028A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 乳腺超声序列图像分类方法及装置
CN113902670A (zh) * 2021-08-31 2022-01-07 北京医准智能科技有限公司 一种基于弱监督学习的超声视频分割方法及装置
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN113855079A (zh) * 2021-09-17 2021-12-31 上海仰和华健人工智能科技有限公司 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法
CN114155193A (zh) * 2021-10-27 2022-03-08 北京医准智能科技有限公司 一种基于特征强化的血管分割方法及装置
CN116309585A (zh) * 2023-05-22 2023-06-23 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统
CN116309585B (zh) * 2023-05-22 2023-08-22 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Also Published As

Publication number Publication date
CN113781439B (zh) 2022-07-29
CN113781440A (zh) 2021-12-10
CN113781440B (zh) 2022-07-29
CN113781439A (zh) 2021-12-10
CN112446862B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN112446862B (zh) 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
Su et al. Lung nodule detection based on faster R-CNN framework
US10614573B2 (en) Method for automatically recognizing liver tumor types in ultrasound images
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
CN111429474B (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN111214255B (zh) 一种医学超声图像计算机辅助方法
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
CN107274402A (zh) 一种基于胸部ct影像的肺结节自动检测方法及系统
TW202032577A (zh) 醫學圖像分割方法、裝置、系統及圖像分割方法
CN111583385B (zh) 一种可变形数字人解剖学模型的个性化变形方法及系统
CN111429457B (zh) 图像局部区域亮度智能评价方法、装置、设备及介质
Nayan et al. A deep learning approach for brain tumor detection using magnetic resonance imaging
CN103839048B (zh) 基于低秩分解的胃部ct图像淋巴结识别系统和方法
Zhang et al. SEG-LUS: A novel ultrasound segmentation method for liver and its accessory structures based on muti-head self-attention
CN110648333B (zh) 基于中智学理论的乳腺超声视频图像实时分割系统
Asha et al. Segmentation of Brain Tumors using traditional Multiscale bilateral Convolutional Neural Networks
Hemalatha et al. Segmentation of 2D and 3D images of carotid artery on unified technology learning platform
Sun Development of segmentation methods for vascular angiogram
Hemalatha et al. Implementation of medical image segmentation using Virtex FPGA kit
Wu et al. B-ultrasound guided venipuncture vascular recognition system based on deep learning
Mohamed et al. Advancing Cardiac Image Processing: An Innovative Model Utilizing Canny Edge Detection For Enhanced Diagnostics
Filist Two-Dimensional Walsh Spectral Transform in Problems of Automated Analysis of Ultrasound Images
Yasrab et al. Automating the Human Action of First-Trimester Biometry Measurement from Real-World Freehand Ultrasound

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Patentee after: Guangxi Yizhun Intelligent Technology Co.,Ltd.

Address before: 1106, 11 / F, Weishi building, No.39 Xueyuan Road, Haidian District, Beijing

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.

Patentee before: Guangxi Yizhun Intelligent Technology Co.,Ltd.