CN109559295A - 图像分析系统、方法、计算机可读存储介质、及电子终端 - Google Patents
图像分析系统、方法、计算机可读存储介质、及电子终端 Download PDFInfo
- Publication number
- CN109559295A CN109559295A CN201810561657.3A CN201810561657A CN109559295A CN 109559295 A CN109559295 A CN 109559295A CN 201810561657 A CN201810561657 A CN 201810561657A CN 109559295 A CN109559295 A CN 109559295A
- Authority
- CN
- China
- Prior art keywords
- image
- organ
- algorithm
- information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 84
- 210000000056 organ Anatomy 0.000 claims abstract description 76
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000003709 image segmentation Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003703 image analysis method Methods 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000001575 pathological effect Effects 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 230000005055 memory storage Effects 0.000 claims description 2
- 201000010099 disease Diseases 0.000 claims 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 210000004185 liver Anatomy 0.000 description 5
- 210000000952 spleen Anatomy 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 210000000709 aorta Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000009470 Theobroma cacao Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000002073 mitogenetic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供图像分析系统、方法、计算机可读存储介质、及电子终端，其包括目标检测模块，用于基于目标检测算法检测所述待分析图像中器官影像的包围框；图像分割模块，用于基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；描述信息生成模块，用于将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息。本发明能够从扫描图像中自动检测、识别、分割和描述各器官，特别是在CT和MR的模态方面的应用，自动生成医学报告有助于提高放射科医师的效率。此外，基于器官的训练直接设置图像和相应的报告将确保描述的精确性和完整性。
Description
技术领域
本发明涉及图像分析领域，特别是涉及图像分析系统、方法、计算机可读存储介质、及电子终端。
背景技术
众所周知的是，基于放射学影像描述和总结信息是一项耗时的任务，而且需要丰富的临床经验。近年来，基于深度学习的图像描述解决了语言和视觉数据(图像)之间的模型间对应问题，特别是基于长短记忆(LSTM)句子生成器的多模式递归神经网络结构，它基于IMANET数据库获取输入图像并在文本中生成其描述。但是，因训练集的种类繁多，图像描述结果的性能不尽如人意。
因此，如何使用不太多样化的图像来源，例如放射学/病理学，自动从影像图获取信息形成结构化描述称为亟需解决的一项技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供图像分析系统、方法、计算机可读存储介质、及电子终端，用于解决现有技术中图像描述结果的性能不尽如人意等技术问题。
为实现上述目的及其他相关目的，本发明提供一种图像分析系统，待分析图像包括一或多个器官影像，所述图像分析系统包括：目标检测模块，用于基于目标检测算法检测所述待分析图像中器官影像的包围框；图像分割模块，用于基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；所述特征信息包括表面状态信息、边缘状态信息、回声强弱信息中的任一种或多种组合；描述信息生成模块，用于将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息；所述描述信息包括器官的位置信息、尺寸信息、病变信息中的任一种或多种组合。
于本发明的一实施例中，所述目标检测模块具体包括：候选区域生成模块，用于针对所述待分析图像生成候选区域；特征提取模块，用于提取所述候选区域的特征信息；分类模块，用于将所述候选区域的特征信息进行分类；位置精修模块，用于根据所述特征信息的分类结果精修位置，以形成最优的所述包围框。
于本发明的一实施例中，所述目标检测算法包括CNN算法，所述CNN算法包括R-CNN算法、Fast R-CNN算法、或者Faster R-CNN算法。
于本发明的一实施例中，所述图像分割算法包括FCN算法。
于本发明的一实施例中，所述神经网络模型包括递归神经网络，所述递归神经网络包括LSTM神经网络模型。
于本发明的一实施例中，所述系统还包括：选取模块，用于在分割后的各器官影像中选取部分或全部器官影像，以供所述描述信息生成模块生成与被选取的器官影像相关联的描述信息。
为实现上述目的及其他相关目的，本发明提供一种图像分析方法，待分析图像包括一或多个器官影像，所述方法包括：基于目标检测算法检测所述待分析图像中器官影像的包围框；基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；所述特征信息包括表面状态信息、边缘状态信息、回声强弱信息中的任一种或多种组合；将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息；所述描述信息包括器官的位置信息、尺寸信息、病变信息中的任一种或多种组合。
于本发明的一实施例中，所述目标检测算法包括CNN算法，所述CNN算法包括R-CNN算法、Fast R-CNN算法、或者Faster R-CNN算法；所述图像分割算法包括FCN算法；所述神经网络模型包括LSTM神经网络模型。
为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及通信器；述存储器用于存储计算机程序，所述通信器用于与外部设备进行通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述的图像分析方法。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述图像分析方法。
如上所述，本发明的图像分析系统、方法、计算机可读存储介质、及电子终端，具有以下有益效果：能够从扫描图像中自动检测、识别、分割和描述各器官，特别是在CT和MR的模态方面的应用，自动生成医学报告有助于提高放射科医师的效率。此外，基于器官的训练直接设置图像和相应的报告将确保描述的精确性和完整性。
附图说明
图1显示为本发明一实施例中图像分析系统的示意图。
图2显示为本发明一实施例中待分析图像的示意图。
图3显示为本发明一实施例中图像分析系统可视化界面的示意图。
图4显示为本发明一实施例中图像分析方法的示意图。
图5显示为本发明一实施例中电子终端的示意图。
元件标号说明
11 目标检测模块
12 图像分割模块
13 描述信息生成模块
14 选取模块
21 肝脏
22 肿瘤
23 脊椎
24 主动脉
25 胃
26 脾脏
51 处理器
52 存储器
53 通信器
54 通信接口
55 系统总线
S41～S43 方法流程
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供基于深度学习的图像分析系统、方法、计算机可读存储介质、及电子终端，用于自动从扫描图像生成文本描述结构化报告，下文将以具体的实施例予以说明本发明的实施方式以及实现原理。
如图1所示，展示本发明一实施例中图像分析系统的示意图。所述图像分析系统包括目标检测模块11、图像分割模块12、描述信息生成模块13；所述目标检测模块11用于基于目标检测算法检测所述待分析图像中器官影像的包围框；所述图像分割模块12用于基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；所述特征信息包括表面状态信息、边缘状态信息、回声强弱信息中的任一种或多种组合；所述描述信息生成模块13用于将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息；所述描述信息包括器官的位置信息、尺寸信息、病变信息中的任一种或多种组合。
可选的，所述目标检测模块11具体包括候选区域生成模块、特征提取模块、分类模块、以及位置精修模块。所述候选区域生成模块用于针对所述待分析图像生成候选区域，所述特征提取模块用于提取所述候选区域的特征信息，所述分类模块用于将所述候选区域的特征信息进行分类，所述位置精修模块用于根据所述特征信息的分类结果精修位置，以形成最优的所述包围框。
具体而言，所述目标检测算法可采用CNN算法，所述CNN算法包括R-CNN算法、FastR-CNN算法、或者Faster R-CNN算法，下文以Faster R-CNN算法为例，说明如何形成包围框。
所述Faster R-CNN算法是RPN(Region Proposal Networks)区域生成网络和fastR-CNN相结合的系统，Faster R-CNN算法主要执行候选区域生成、特征提取、分类、以及位置精修等任务，该些任务具体包括：所述RPN区域生成网络在特征图上对所有可能的候选框进行判别；针对每个候选框进行特征提取并输出多维特征，例如输出51*39*256维特征，每个特征可看做一个尺度为51*39的256通道图像；以51*39的256通道图像中的每个位置作为候选中心位置，考虑多个可能的候选窗口anchor，例如可采用9个不同面积不同长宽比的候选窗口anchor；分类层计算每个候选中心位置上的9个候选窗口anchor分别属于前景和背景的概率；窗口回归层输出每个候选中心位置上的9个候选窗口anchor应该平移缩放的参数。因Faster R-CNN算法本身属于现有，故不再赘述。
需要说明的是，目标检测算法除了上文提到的R-CNN算法、Fast R-CNN算法、FasterR-CNN算法之外，还可采用基于回归的目标检测算法，例如：YOLO算法、YOLO2算法、SSD算法、或者DSSD算法；或者可采用特殊的文字序列检测算法，例如：CTPN算法、Seglink算法等等，但因该些算法均为现有故不再一一赘述。
可选的，所述图像分割算法包括FCN算法，即Fully Convolutional Networks全卷积网络算法。FCN全卷积网络算法对图像进行像素级的分类，从而解决了语义级别的图像分割问题。FCN全卷积网络算法可接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复至输入图像相同的尺寸，从而可对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类，最后逐个像素计算softmax分类的损失，从而完成图像的分割任务。
需要说明的是，所述图像分割算法除了上文提到的FCN算法之外，还可采用传统的CNN算法，其通常的图像分割方法是为了对一个像素分类，使用该像素周围的一个图像块作为输入用于训练和预测。因CNN算法已为现有，故不再赘述。
可选的，用于对各器官影像进行描述并生成相应的描述信息的述神经网络模型包括LSTM神经网络模型。所述LSTM神经网络模型也称为长短期记忆网络，用于从图像生成文本描述，该网络中的每个神经元均有一个记忆单元和三个门：输入门、输出门、遗忘门，这三个门的功能就是通过禁止或允许信息流动来保护信息。
所述LSTM神经网络模型主要包括特征提取模型和语言模型。特征提取模型用于从给定的图像中提取出显著的特征，即该图像的内部表征，通常用固定长度的向量表示；用于特征提取模型的神经网络通常是CNN深度卷积神经网络。语言模型基于所述特征提取模型提取到的特征生成相应的文本描述，描述诸如器官位置、大小和强度均匀性等主要特征。
可选的，所述图像分析系统还包括选取模块14，所述选取模块14供用户在分割后的各器官影像中选取部分或全部器官影像。所述描述信息生成模块13生成与被选取的器官影像相关联的描述信息。通常来说，一张器官影像中包含多个器官的影像，但并非全部的器官影像都是用户需要的，若每次分生成全部的器官影像对应的描述信息，必然带来巨大的计算量和计算耗时。因此，本发明提供的图像分析系统设有选取模块14，供用户选取其需要的器官影像并生成相应的文本描述，不仅方便用户使用还可可大大节约系统的计算量并提升系统的工作效率。
需要说明的是，所述LSTM神经网络模型是基于模型训练的结果。举例来说，LSTM神经网络模型可选用已有的图像作为输入数据，根据LSTM神经网络针对该些已有图像做出的文本描述结果，以端对端的方式调整LSTM神经网络模型的模型参数，直至LSTM神经网络模型每次的文本描述结果的准确率达到预设标准为止。
本领域技术人员应当理解的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
如图2所示，展示本发明一实施例中待分析图像的示意图。于本实施例中，所述待分析图像为器官影像图，其具体包括肝脏21、肿瘤22、脊椎23、主动脉24、胃25、脾脏26。但需要说明的是，图2作为各器官的示意图，各器官的大小和位置仅供参考。
待分析图像进行图像分割后，得到如图3所示的图像分析系统的可视化界面，其中方框31表示各器官被分割，识别，训练后得到的相应的模型。图像分析系统中的描述信息生成模块接收到该用户选取的各器官的特征信息后，生成如图3所示的被选取器官的描述信息。于本实施例中，所述可视化界面中显示有分割后的肝脏21、肿瘤22、脊椎23、主动脉24、胃25、脾脏26；用户于该可视化界面中进行人机交互，选取其需要的器官，包括：肝脏21、肿22瘤、以及脾脏26，图3中已用虚线框表示被选中的器官。图像分析系统随即通过描述信息生成模块生成与被选取的器官相关联的描述信息，例如：肝脏位置和大小正常，边缘尖锐，衰减正常；在第六段和第七段有疑似肿块，直径15mm；脾脏无异常，边缘圆滑，实质均匀等等。
值得注意的是，现有的基于器官影像的分析均由人工识别完成，人工识别的方式不仅效率低下且容易产生误差。本发明提供的图像分析系统则有效地解决了上述技术问题，该系统能够从扫描图像中自动检测、识别、分割和描述各器官，特别是在CT和MR的模态方面的应用，自动生成医学报告有助于提高放射科医师的效率。此外，基于器官的训练直接设置图像和相应的报告将确保描述的精确性和完整性。
如图4所示，展示本发明提供的一种图像分析方法的示意图。所述方法具体包括：
S41：基于目标检测算法检测所述待分析图像中器官影像的包围框；
S42：基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；所述特征信息包括表面状态信息、边缘状态信息、回声强弱信息中的任一种或多种组合；
S43：将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息；所述描述信息包括器官的位置信息、尺寸信息、病变信息中的任一种或多种组合。
其中，所述目标检测算法包括CNN算法，所述CNN算法包括R-CNN算法、Fast R-CNN算法、或者Faster R-CNN算法；所述图像分割算法包括FCN算法；所述神经网络模型包括LSTM神经网络模型。因图像分析方法的实施方式与图像分析系统的实施方式雷同，故不再赘述。
如图5所示，展示本发明提供的一种电子终端的示意图。所述电子终端包括处理器51、存储器52、通信器53、通信接口54和系统总线55；存储器52和通信接口54通过系统总线55与处理器51和通信器53连接并完成相互间的通信，存储器52用于存储计算机程序，通信器54、通信接口54用于和其他设备进行通信，处理器51和通信器53用于运行计算机程序，使电子终端执行如上图像分析方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提供图像分析系统、方法、计算机可读存储介质、及电子终端，能够从扫描图像中自动检测、识别、分割和描述各器官，特别是在CT和MR的模态方面的应用，自动生成医学报告有助于提高放射科医师的效率。此外，基于器官的训练直接设置图像和相应的报告将确保描述的精确性和完整性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种图像分析系统，其特征在于，待分析图像包括一或多个器官影像，所述图像分析系统包括：
目标检测模块，用于基于目标检测算法检测所述待分析图像中器官影像的包围框；
图像分割模块，用于基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；所述特征信息包括表面状态信息、边缘状态信息、回声强弱信息中的任一种或多种组合；
描述信息生成模块，用于将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息；所述描述信息包括器官的位置信息、尺寸信息、病变信息中的任一种或多种组合。
2.根据权利要求1所述的图像分析系统，其特征在于，所述目标检测模块具体包括：
候选区域生成模块，用于针对所述待分析图像生成候选区域；
特征提取模块，用于提取所述候选区域的特征信息；
分类模块，用于将所述候选区域的特征信息进行分类；
位置精修模块，用于根据所述特征信息的分类结果精修位置，以形成最优的所述包围框。
3.根据权利要求1或2所述的图像分析系统，其特征在于，所述目标检测算法包括CNN算法，所述CNN算法包括R-CNN算法、Fast R-CNN算法、或者Faster R-CNN算法。
4.根据权利要求1所述的图像分析系统，其特征在于，所述图像分割算法包括FCN算法。
5.根据权利要求1所述的图像分析系统，其特征在于，所述神经网络模型包括递归神经网络，所述递归神经网络包括LSTM神经网络模型。
6.根据权利要求1所述的图像分析系统，其特征在于，所述系统还包括：
选取模块，用于在分割后的各器官影像中选取部分或全部器官影像，以供所述描述信息生成模块生成与被选取的器官影像相关联的描述信息。
7.一种图像分析方法，其特征在于，待分析图像包括一或多个器官影像，所述方法包括：
基于目标检测算法检测所述待分析图像中器官影像的包围框；
基于图像分割算法对所述包围框中的各个器官影像进行分割，并生成分割后各器官影像的特征信息；所述特征信息包括表面状态信息、边缘状态信息、回声强弱信息中的任一种或多种组合；
将所述器官影像的特征信息输入至神经网络模型，以对各器官影像进行描述并生成相应的描述信息；所述描述信息包括器官的位置信息、尺寸信息、病变信息中的任一种或多种组合。
8.根据权利要求7所述的图像分析方法，其特征在于，所述目标检测算法包括CNN算法，所述CNN算法包括R-CNN算法、Fast R-CNN算法、或者Faster R-CNN算法；所述图像分割算法包括FCN算法；所述神经网络模型包括LSTM神经网络模型。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求7至8中任一项所述的图像分析方法。
10.一种电子终端，其特征在于，包括：处理器、存储器、及通信器；
所述存储器用于存储计算机程序，所述通信器用于与外部设备进行通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求7至8中任一项所述的图像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810561657.3A CN109559295A (zh) | 2018-06-04 | 2018-06-04 | 图像分析系统、方法、计算机可读存储介质、及电子终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810561657.3A CN109559295A (zh) | 2018-06-04 | 2018-06-04 | 图像分析系统、方法、计算机可读存储介质、及电子终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109559295A true CN109559295A (zh) | 2019-04-02 |
Family
ID=65864380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810561657.3A Pending CN109559295A (zh) | 2018-06-04 | 2018-06-04 | 图像分析系统、方法、计算机可读存储介质、及电子终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109559295A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175538A (zh) * | 2019-05-10 | 2019-08-27 | 国网福建省电力有限公司龙岩供电公司 | 一种基于机器学习的变电站鸟巢识别方法及系统 |
| CN110327071A (zh) * | 2019-08-06 | 2019-10-15 | 上海联影医疗科技有限公司 | 电子计算机断层扫描方法、装置、设备及存储介质 |
| CN110348500A (zh) * | 2019-06-30 | 2019-10-18 | 浙江大学 | 基于深度学习和红外热像的睡眠障碍辅助诊断方法 |
| CN110379492A (zh) * | 2019-07-24 | 2019-10-25 | 复旦大学附属中山医院青浦分院 | 一种全新的ai+pacs系统及其检查报告构建方法 |
| CN110880366A (zh) * | 2019-12-03 | 2020-03-13 | 上海联影智能医疗科技有限公司 | 一种医学影像处理系统 |
| CN111080654A (zh) * | 2019-11-18 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 图像的病变区域分割方法、装置及服务器 |
| CN111402269A (zh) * | 2020-03-17 | 2020-07-10 | 东北大学 | 一种基于改进的FC-DenseNets的椎管分割方法 |
| CN111598904A (zh) * | 2020-05-21 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、设备及存储介质 |
| CN111681251A (zh) * | 2020-05-29 | 2020-09-18 | 上海联影智能医疗科技有限公司 | 组织器官参数确定方法、装置以及计算机设备 |
| CN112508941A (zh) * | 2020-12-25 | 2021-03-16 | 上海深博医疗器械有限公司 | 三维超声扫描完整性检测方法及装置 |
| CN112529857A (zh) * | 2020-12-03 | 2021-03-19 | 重庆邮电大学 | 基于目标检测与策略梯度的超声图像诊断报告生成方法 |
| CN115880294A (zh) * | 2023-02-22 | 2023-03-31 | 广州高通影像技术有限公司 | 基于内镜影像的一体化处理方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090028403A1 (en) * | 2006-03-03 | 2009-01-29 | Medic Vision - Brain Technologies Ltd. | System and Method of Automatic Prioritization and Analysis of Medical Images |
| CN105512640A (zh) * | 2015-12-30 | 2016-04-20 | 重庆邮电大学 | 一种基于视频序列的人流量统计方法 |
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN107644419A (zh) * | 2017-09-30 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
-
2018
- 2018-06-04 CN CN201810561657.3A patent/CN109559295A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090028403A1 (en) * | 2006-03-03 | 2009-01-29 | Medic Vision - Brain Technologies Ltd. | System and Method of Automatic Prioritization and Analysis of Medical Images |
| CN105512640A (zh) * | 2015-12-30 | 2016-04-20 | 重庆邮电大学 | 一种基于视频序列的人流量统计方法 |
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN107644419A (zh) * | 2017-09-30 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175538A (zh) * | 2019-05-10 | 2019-08-27 | 国网福建省电力有限公司龙岩供电公司 | 一种基于机器学习的变电站鸟巢识别方法及系统 |
| CN110348500A (zh) * | 2019-06-30 | 2019-10-18 | 浙江大学 | 基于深度学习和红外热像的睡眠障碍辅助诊断方法 |
| CN110379492A (zh) * | 2019-07-24 | 2019-10-25 | 复旦大学附属中山医院青浦分院 | 一种全新的ai+pacs系统及其检查报告构建方法 |
| CN110327071A (zh) * | 2019-08-06 | 2019-10-15 | 上海联影医疗科技有限公司 | 电子计算机断层扫描方法、装置、设备及存储介质 |
| CN111080654A (zh) * | 2019-11-18 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 图像的病变区域分割方法、装置及服务器 |
| CN110880366B (zh) * | 2019-12-03 | 2022-10-25 | 上海联影智能医疗科技有限公司 | 一种医学影像处理系统 |
| CN110880366A (zh) * | 2019-12-03 | 2020-03-13 | 上海联影智能医疗科技有限公司 | 一种医学影像处理系统 |
| CN111402269A (zh) * | 2020-03-17 | 2020-07-10 | 东北大学 | 一种基于改进的FC-DenseNets的椎管分割方法 |
| CN111598904A (zh) * | 2020-05-21 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、设备及存储介质 |
| CN111681251A (zh) * | 2020-05-29 | 2020-09-18 | 上海联影智能医疗科技有限公司 | 组织器官参数确定方法、装置以及计算机设备 |
| CN111681251B (zh) * | 2020-05-29 | 2023-09-26 | 上海联影智能医疗科技有限公司 | 组织器官参数确定方法、装置以及计算机设备 |
| CN112529857A (zh) * | 2020-12-03 | 2021-03-19 | 重庆邮电大学 | 基于目标检测与策略梯度的超声图像诊断报告生成方法 |
| CN112529857B (zh) * | 2020-12-03 | 2022-08-23 | 重庆邮电大学 | 基于目标检测与策略梯度的超声图像诊断报告生成方法 |
| CN112508941A (zh) * | 2020-12-25 | 2021-03-16 | 上海深博医疗器械有限公司 | 三维超声扫描完整性检测方法及装置 |
| CN115880294A (zh) * | 2023-02-22 | 2023-03-31 | 广州高通影像技术有限公司 | 基于内镜影像的一体化处理方法及系统 |
| CN115880294B (zh) * | 2023-02-22 | 2023-06-13 | 广州高通影像技术有限公司 | 基于内镜影像的一体化处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109559295A (zh) | 图像分析系统、方法、计算机可读存储介质、及电子终端 | |
| US11551337B2 (en) | Boundary-aware object removal and content fill | |
| EP3388978B1 (en) | Image classification method, electronic device, and storage medium | |
| Luo et al. | Non-local deep features for salient object detection | |
| CN107730515B (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| CN102496023B (zh) | 像素层面的感兴趣区域提取方法 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN109740668B (zh) | 深度模型训练方法及装置、电子设备及存储介质 | |
| CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| CN106682127A (zh) | 图像搜索系统及方法 | |
| CN109740752A (zh) | 深度模型训练方法及装置、电子设备及存储介质 | |
| CN110533632A (zh) | 图像模糊篡改检测方法、装置、计算机设备和存储介质 | |
| CN113096080B (zh) | 图像分析方法及系统 | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| Haindl et al. | Unsupervised texture segmentation using multispectral modelling approach | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN108877927A (zh) | 一种医学图像诊断方法 | |
| Li et al. | Segmentation evaluation with sparse ground truth data: Simulating true segmentations as perfect/imperfect as those generated by humans | |
| US10192295B2 (en) | Methods and systems for normalizing images | |
| US11651496B2 (en) | Liver fibrosis recognition method based on medical images and computing device using thereof | |
| Yang et al. | Rdhcformer: Fusing resdcn and transformers for fetal head circumference automatic measurement in 2d ultrasound images | |
| KR102460899B1 (ko) | 심층 구조 학습 기반 사람 계수 방법 및 시스템 | |
| Gupta et al. | Multi Level Approach for Segmentation of Interstitial Lung Disease (ILD) Patterns Classification Based on Superpixel Processing and Fusion of K‐Means Clusters: SPFKMC | |
| CN104680513A (zh) | 估计心室容积的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190402 |