CN111915553A - 基于时序建模的部位识别方法和装置 - Google Patents

基于时序建模的部位识别方法和装置 Download PDF

Info

Publication number
CN111915553A
CN111915553A CN202010558638.2A CN202010558638A CN111915553A CN 111915553 A CN111915553 A CN 111915553A CN 202010558638 A CN202010558638 A CN 202010558638A CN 111915553 A CN111915553 A CN 111915553A
Authority
CN
China
Prior art keywords
neural network
network model
convolutional neural
sequence
dimensional convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010558638.2A
Other languages
English (en)
Inventor
张笑
周振
俞益洲
李一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010558638.2A priority Critical patent/CN111915553A/zh
Publication of CN111915553A publication Critical patent/CN111915553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于时序建模的部位识别方法和装置，解决了现有基于电子计算机断层扫描图像的部位识别方式的准确率低的问题。该基于时序建模的部位识别方法包括：将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取；获取所述二维卷积神经网络模型输出的特征图序列，其中，所述特征图序列包括与所述多个断层扫描图像分别对应的多个特征图，所述多个特征图按照电子计算机断层扫描的时间顺序排列；以及将所述特征图序列输入循环神经网络模型以获取部位识别结果。

Description

基于时序建模的部位识别方法和装置
技术领域
本申请涉及影像分析技术领域，具体涉及一种基于时序建模的部位识别方法、装置、电子设备和计算机可读存储介质。
背景技术
电子计算机断层扫描(英文全称:Computed Tomography，简称:CT)是医院中一种常见的疾病检查手段，可以对患者的某一部位进行连续的断面扫描。在实际的场景中，CT数据中关于部位的标签(Tag)会存在缺失和错误的情况，有时候这些标签信息往往比较宽泛和模糊。准确的部位标签会在许多应用中带来便利：1、许多数据的整理都依据影像的部位信息，部位识别有助于对数据的管理和分类；2、越来越多的人工智能辅助系统出现，这些系统运行的前提是要准确识别部位。
目前最常见的部位识别算法是对CT中的每一层图像进行识别，最后把所有的结果进行综合。这种算法没有利用到CT数据的时序信息，精度较低。具体而言：1、目前的算法识别精度偏低，很难达到临床使用的要求；2、目前的部位识别算法都是基于卷积神经网络，同一份CT中不同序列的识别结果是相互独立的，因此在识别时会出现由于识别错误而出现的跳帧现象。跳帧现象指的是，对CT进行识别的时候，经常会出现在某个连续的区域出现一张或几张图像被识别为错误部位的错误识别结果。出现这种情况的原因是现有的一些算法没有考虑到不同序列之间的时序信息，最终导致无法得到准确的识别结果。
由此可见，现有技术使用卷积神经网络对CT中每一个序列进行识别，没有考虑到不同序列之间的关系，因此错误率较高，尤其是在CT连扫情况下，处在不同部位切换层面，经常无法准确识别。
发明内容
有鉴于此，本申请实施例提供了一种基于时序建模的部位识别方法和装置，解决了现有基于电子计算机断层扫描图像的部位识别方式的准确率低的问题。
根据本申请的一个方面，本申请一实施例提供的一种基于时序建模的部位识别方法包括：将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取；获取所述二维卷积神经网络模型输出的特征图序列，其中，所述特征图序列包括与所述多个断层扫描图像分别对应的多个特征图，所述多个特征图按照电子计算机断层扫描的时间顺序排列；以及将所述特征图序列输入循环神经网络模型以获取部位识别结果。
在本申请一实施例中，所述二维卷积神经网络模型包括全连接层，其中，在将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取后，所述方法进一步包括：获取所述全连接层输出的与所述多个断层扫描图像分别对应的初步部位识别结果。
在本申请一实施例中，所述二维卷积神经网络模型通过如下训练过程建立：将带有第一部位识别标签的断层扫描图像样本输入所述二维卷积神经网络模型；获取所述二维卷积神经网络输出的第一部位预测结果；以及根据所述第一部位预测结果与所述第一部位识别标签之间的差别调整所述二维卷积神经网络模型的网络参数。
在本申请一实施例中，所述循环神经网络模型通过如下训练过程建立：将带有第二部位识别标签的图像特征序列样本输入所述循环神经网络模型，其中，所述图像特征序列样本通过将多个断层扫描图像样本输入所述二维间距神经网络获取；获取所述循环神经网络模型输出的第二部位预测结果；以及根据所述第二部位预测结果与所述第二部位识别标签之间的差别调整所述循环神经网络模型的网络参数。
根据本申请的另一个方面，本申请一实施例提供的一种基于时序建模的部位识别装置包括：特征提取模块，配置为将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取；特征图序列获取模块，配置为获取所述二维卷积神经网络模型输出的特征图序列，其中，所述特征图序列包括与所述多个断层扫描图像分别对应的多个特征图，所述多个特征图按照电子计算机断层扫描的时间顺序排列；以及部位识别模块，配置为将所述特征图序列输入循环神经网络模型以获取部位识别结果。
在本申请一实施例中，所述二维卷积神经网络模型包括全连接层，其中所述装置进一步包括：初步部位识别模块，配置为在将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取后，获取所述全连接层输出的与所述多个断层扫描图像分别对应的初步部位识别结果。
在本申请一实施例中，所述装置进一步包括：第一训练模块，配置为通过如下训练过程建立所述二维卷积神经网络模型：将带有第一部位识别标签的断层扫描图像样本输入所述二维卷积神经网络模型；获取所述二维卷积神经网络输出的第一部位预测结果；以及根据所述第一部位预测结果与所述第一部位识别标签之间的差别调整所述二维卷积神经网络模型的网络参数。
在本申请一实施例中，所述装置进一步包括：第二训练模块，配置为通过如下训练过程建立所述循环神经网络模型：将带有第二部位识别标签的图像特征序列样本输入所述循环神经网络模型，其中，所述图像特征序列样本通过将多个断层扫描图像样本输入所述二维间距神经网络获取；获取所述循环神经网络模型输出的第二部位预测结果；以及根据所述第二部位预测结果与所述第二部位识别标签之间的差别调整所述循环神经网络模型的网络参数。
根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的基于时序建模的部位识别方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的基于时序建模的部位识别方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的基于时序建模的部位识别方法。
本申请实施例提供的一种基于时序建模的部位识别方法、装置、电子设备和计算机可读存储介质，首先使用二维卷积神经网络模型进行特征提取，然后将二维卷积神经网络模型输出的特征图序列作为图像特征输入到循环神经网络，使用循环神经网络对特征图序列进行时序建模，综合了二维卷积神经网络模型提取的图像特征和CT数据本身的时序特征得到部位识别结果，实现了CT序列的图像特征和不同序列间的时序特征之间的结合，相比与单纯的使用卷积神经网络进行部位识别相比，可以获得更高的识别精度。
附图说明
图1所示为本申请一实施例提供的一种基于时序建模的部位识别方法的流程示意图。
图2所示为本申请一实施例提供的一种基于时序建模的部位识别方法中二维卷积神经网络模型的训练流程示意图。
图3所示为本申请一实施例提供的一种基于时序建模的部位识别方法中循环神经网络模型的训练流程示意图。
图4所示为本申请一实施例提供的基于时序建模的部位识别装置的结构示意图。
图5所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术使用卷积神经网络对CT中每一个序列进行识别，没有考虑到不同序列之间的关系，因此错误率较高，尤其是在CT连扫情况下，处在不同部位切换层面，经常无法准确识别。本发明发明人提出在使用卷积神经网络提取图像特征的同时，使用循环神经网络获取不同序列之间的时序特征，以提高部位识别的准确率。
图1所示为本申请一实施例提供的一种基于时序建模的部位识别方法的流程示意图。如图1所示，该基于时序建模的部位识别方法包括如下步骤：
步骤101：将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取。
由于待检测的断层扫描图像中可能包含身体各个部位，因此可以并不使用特定的窗宽窗位，而是将原始CT数据中的数据统一进行归一化操作，从而获取更充分的数据信息。将经过归一化操作后的多个断层扫描图像输入二维卷积神经网络模型。
步骤102：获取二维卷积神经网络模型输出的特征图序列，其中，特征图序列包括与多个断层扫描图像分别对应的多个特征图，多个特征图按照电子计算机断层扫描的时间顺序排列。
二维卷积神经网络具有比较好的图像特征提取能力，可以有效的提高部位识别的精度。在本申请一实施例中，二维卷积神经网络模型包括多个卷积层和全连接层，二维卷积神经网络模型可通过训练过程预先建立，如图2所示，训练过程可包括如下步骤：将带有第一部位识别标签的断层扫描图像样本输入二维卷积神经网络模型(S21)；获取二维卷积神经网络输出的第一部位预测结果(S22)；以及根据第一部位预测结果与第一部位识别标签之间的差别调整二维卷积神经网络模型的网络参数(S23)。通过利用大量的断层扫描图像样本并不断循环上述训练过程，当达到预设的回归精度后即可使得该二维卷积神经网络模型具备部位识别的能力。在本申请一实施例中，可以获取全连接层输出的与多个断层扫描图像分别对应的初步部位识别结果，用于连同后续的部位识别结果一起提供给医生作为参考。
然而，由于后续还需要结合循环神经网络以结合时序特征进行部位识别，因此步骤102中并不一定需要利用二维卷积神经网络模型的全连接层输出初步部位识别结果，但需要基于二维卷积神经网络模型的卷积层输出(s*h*w)大小的特征图序列作为循环神经网络的输入，其中s为特征图序列的长度，h和w为特征图对应的断层扫描图像的尺寸，多个特征图按照电子计算机断层扫描的时间顺序排列，以构成特征图序列。该特征图序列中已经包含了时序特征。这里的时序特征指的是同一个序列之中不同层(特征图)之间的特征，也就是上面提到的同一组特征图的基于扫描顺序的时序特征。
步骤103：将特征图序列输入循环神经网络模型以获取部位识别结果。
循环神经网络模型可包括多个隐层，循环神经网络是一类以序列数据为输入的一种链式连接神经网络，具有记忆性，对于解决CT这种包含序列输入的数据分析具有优势。循环神经网络接受特征图输入的顺序与CT扫描顺序是一致的，同时所有的特征图将按照时间顺序参与运算，并影响到最终的输出结果。所以，循环神经网络可以做到结合时间序列的特征。
在本申请一实施例中，循环神经网络模型可通过训练过程预先建立，如图3所示，训练过程可包括如下步骤：将带有第二部位识别标签的图像特征序列样本输入循环神经网络模型，其中，图像特征序列样本通过将多个断层扫描图像样本输入二维间距神经网络获取(S31)；获取循环神经网络模型输出的第二部位预测结果(S32)；以及根据第二部位预测结果与第二部位识别标签之间的差别调整循环神经网络模型的网络参数(S33)。通过利用大量的图像特征序列样本并不断循环上述训练过程，当达到预设的回归精度后即可使得该循环神经网络模型具备部位识别的能力。
由此可见，本申请实施例提供的一种基于时序建模的部位识别方法，首先使用二维卷积神经网络模型进行特征提取，然后将二维卷积神经网络模型输出的特征图序列作为图像特征输入到循环神经网络，使用循环神经网络对特征图序列进行时序建模，综合了二维卷积神经网络模型提取的图像特征和CT数据本身的时序特征得到部位识别结果，实现了CT序列的图像特征和不同序列间的时序特征之间的结合，相比与单纯的使用卷积神经网络进行部位识别相比，可以获得更高的识别精度。
图4所示为本申请一实施例提供的基于时序建模的部位识别装置的结构示意图。如图4所示，该一种基于时序建模的部位识别方法装置40包括：
特征提取模块401，配置为将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取；
特征图序列获取模块402，配置为获取二维卷积神经网络模型输出的特征图序列，其中，特征图序列包括与多个断层扫描图像分别对应的多个特征图，多个特征图按照电子计算机断层扫描的时间顺序排列；以及
部位识别模块403，配置为将特征图序列输入循环神经网络模型以获取部位识别结果。
在本申请一实施例中，二维卷积神经网络模型包括全连接层，其中装置40进一步包括：初步部位识别模块404，配置为在将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取后，获取全连接层输出的与多个断层扫描图像分别对应的初步部位识别结果。
在本申请一实施例中，装置40进一步包括：
第一训练模块405，配置为通过如下训练过程建立二维卷积神经网络模型：将带有第一部位识别标签的断层扫描图像样本输入二维卷积神经网络模型；获取二维卷积神经网络输出的第一部位预测结果；以及根据第一部位预测结果与第一部位识别标签之间的差别调整二维卷积神经网络模型的网络参数。
在本申请一实施例中，装置40进一步包括：
第二训练模块406，配置为通过如下训练过程建立循环神经网络模型：将带有第二部位识别标签的图像特征序列样本输入循环神经网络模型，其中，图像特征序列样本通过将多个断层扫描图像样本输入二维间距神经网络获取；获取循环神经网络模型输出的第二部位预测结果；以及根据第二部位预测结果与第二部位识别标签之间的差别调整循环神经网络模型的网络参数。
上述基于时序建模的部位识别装置40中的各个模块的具体功能和操作已经在上面参考图1到图3描述的基于时序建模的部位识别方法中进行了详细介绍。因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的基于时序建模的部位识别装置40可以作为一个软件模块和/或硬件模块而集成到电子设备50中，换言之，该电子设备50可以包括该基于时序建模的部位识别装置40。例如，该基于时序建模的部位识别装置40可以是该电子设备50的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该基于时序建模的部位识别装置40同样可以是该电子设备50的众多硬件模块之一。
在本申请另一实施例中，该基于时序建模的部位识别装置40与该电子设备50也可以是分立的设备(例如，服务器)，并且该基于时序建模的部位识别装置40可以通过有线和/或无线网络连接到该电子设备50，并且按照约定的图像格式来传输交互信息。
图5所示为本申请一实施例提供的电子设备的结构示意图。如图5所示，该电子设备50包括：一个或多个处理器501和存储器502；以及存储在存储器502中的计算机程序指令，计算机程序指令在被处理器501运行时使得处理器501执行如上述任一实施例的基于时序建模的部位识别方法。
处理器501可以是中央处理单元(CPU)或者具有图像处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器502可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行程序指令，以实现上文的本申请的各个实施例的基于时序建模的部位识别方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
在一个示例中，电子设备50还可以包括：输入装置503和输出装置504，这些组件通过总线系统和/或其他形式的连接机构(图5中未示出)互连。
例如，在该电子设备是如工业生产线上的机器人时，该输入装置503可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置503可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置503还可以包括例如键盘、鼠标、麦克风等等。
该输出装置504可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备50中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备50还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的基于时序建模的部位识别方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性基于时序建模的部位识别方法”部分中描述的根据本申请各种实施例的基于时序建模的部位识别方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于时序建模的部位识别方法，其特征在于，包括：
将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取；
获取所述二维卷积神经网络模型输出的特征图序列，其中，所述特征图序列包括与所述多个断层扫描图像分别对应的多个特征图，所述多个特征图按照电子计算机断层扫描的时间顺序排列；以及
将所述特征图序列输入循环神经网络模型以获取部位识别结果。
2.根据权利要求1所述的方法，其特征在于，所述二维卷积神经网络模型包括全连接层，其中，在将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取后，进一步包括：
获取所述全连接层输出的与所述多个断层扫描图像分别对应的初步部位识别结果。
3.根据权利要求1所述的方法，其特征在于，所述二维卷积神经网络模型通过如下训练过程建立：
将带有第一部位识别标签的断层扫描图像样本输入所述二维卷积神经网络模型；
获取所述二维卷积神经网络输出的第一部位预测结果；以及
根据所述第一部位预测结果与所述第一部位识别标签之间的差别调整所述二维卷积神经网络模型的网络参数。
4.根据权利要求1所述的方法，其特征在于，所述循环神经网络模型通过如下训练过程建立：
将带有第二部位识别标签的图像特征序列样本输入所述循环神经网络模型，其中，所述图像特征序列样本通过将多个断层扫描图像样本输入所述二维间距神经网络获取；
获取所述循环神经网络模型输出的第二部位预测结果；以及
根据所述第二部位预测结果与所述第二部位识别标签之间的差别调整所述循环神经网络模型的网络参数。
5.一种基于时序建模的部位识别装置，其特征在于，包括：
特征提取模块，配置为将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取；
特征图序列获取模块，配置为获取所述二维卷积神经网络模型输出的特征图序列，其中，所述特征图序列包括与所述多个断层扫描图像分别对应的多个特征图，所述多个特征图按照电子计算机断层扫描的时间顺序排列；以及
部位识别模块，配置为将所述特征图序列输入循环神经网络模型以获取部位识别结果。
6.根据权利要求5所述的装置，其特征在于，所述二维卷积神经网络模型包括全连接层，其中所述装置进一步包括：
初步部位识别模块，配置为在将电子计算机断层扫描得到的多个断层扫描图像输入二维卷积神经网络模型进行特征提取后，获取所述全连接层输出的与所述多个断层扫描图像分别对应的初步部位识别结果。
7.根据权利要求5所述的装置，其特征在于，进一步包括：
第一训练模块，配置为通过如下训练过程建立所述二维卷积神经网络模型：
将带有第一部位识别标签的断层扫描图像样本输入所述二维卷积神经网络模型；
获取所述二维卷积神经网络输出的第一部位预测结果；以及
根据所述第一部位预测结果与所述第一部位识别标签之间的差别调整所述二维卷积神经网络模型的网络参数。
8.根据权利要求5所述的装置，其特征在于，进一步包括：
第二训练模块，配置为通过如下训练过程建立所述循环神经网络模型：
将带有第二部位识别标签的图像特征序列样本输入所述循环神经网络模型，其中，所述图像特征序列样本通过将多个断层扫描图像样本输入所述二维间距神经网络获取；
获取所述循环神经网络模型输出的第二部位预测结果；以及
根据所述第二部位预测结果与所述第二部位识别标签之间的差别调整所述循环神经网络模型的网络参数。
9.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至4中任一所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至4中任一所述的方法。
CN202010558638.2A 2020-06-18 2020-06-18 基于时序建模的部位识别方法和装置 Pending CN111915553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010558638.2A CN111915553A (zh) 2020-06-18 2020-06-18 基于时序建模的部位识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010558638.2A CN111915553A (zh) 2020-06-18 2020-06-18 基于时序建模的部位识别方法和装置

Publications (1)

Publication Number Publication Date
CN111915553A true CN111915553A (zh) 2020-11-10

Family

ID=73237973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010558638.2A Pending CN111915553A (zh) 2020-06-18 2020-06-18 基于时序建模的部位识别方法和装置

Country Status (1)

Country Link
CN (1) CN111915553A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091428A (zh) * 2022-12-29 2023-05-09 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
US20190130578A1 (en) * 2017-10-27 2019-05-02 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
CN110047075A (zh) * 2019-03-15 2019-07-23 天津大学 一种基于对抗网络的ct图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130578A1 (en) * 2017-10-27 2019-05-02 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN110047075A (zh) * 2019-03-15 2019-07-23 天津大学 一种基于对抗网络的ct图像分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091428A (zh) * 2022-12-29 2023-05-09 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及系统
CN116091428B (zh) * 2022-12-29 2023-09-01 国网电力空间技术有限公司 一种输电线路巡检图像高精度智能分塔的方法及系统

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
US10089556B1 (en) Self-attention deep neural network for action recognition in surveillance videos
US20230260108A1 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN108922622B (zh) 一种动物健康监测方法、装置及计算机可读存储介质
CN110969245B (zh) 医学图像的目标检测模型训练方法和装置
CN111325745B (zh) 骨折区域分析方法和装置、电子设备及可读存储介质
CN111008957A (zh) 医疗信息处理方法和装置
US11094059B2 (en) Vulnerable plaque identification method, application server thereof, and computer readable medium
CN110664395B (zh) 图像处理方法、图像处理装置以及存储介质
CN112233128B (zh) 图像分割方法及模型的训练方法、装置、介质、电子设备
CN111047611A (zh) 病灶体积测量方法和装置
CN111915584A (zh) 一种基于ct影像的病灶随访评估方法及系统
CN111681247B (zh) 肺叶肺段分割模型训练方法和装置
CN114730392A (zh) 解析装置、解析方法以及解析程序
Ataş et al. Forensic dental age estimation using modified deep learning neural network
CN111915553A (zh) 基于时序建模的部位识别方法和装置
CN111667457B (zh) 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质
CN111462203B (zh) Dr病灶演化分析装置和方法
CN111402213A (zh) 骨龄评测方法和装置、电子设备及计算机可读存储介质
CN116824670A (zh) 基于微表情的问诊辅助方法、装置、设备及介质
CN113284145B (zh) 图像处理方法及装置、计算机可读存储介质及电子设备
CN113673318B (zh) 一种动作检测方法、装置、计算机设备和存储介质
CN114881941A (zh) 一种基于大数据的脊柱健康变化预测方法及系统
US11501451B2 (en) Detecting subject motion in medical imaging
CN111429406A (zh) 结合多视图推理的乳腺x射线影像病变检出方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination