CN109003651A - 病灶报告生成装置和方法 - Google Patents

病灶报告生成装置和方法 Download PDF

Info

Publication number
CN109003651A
CN109003651A CN201810714495.2A CN201810714495A CN109003651A CN 109003651 A CN109003651 A CN 109003651A CN 201810714495 A CN201810714495 A CN 201810714495A CN 109003651 A CN109003651 A CN 109003651A
Authority
CN
China
Prior art keywords
lesion
true
report
preparing apparatus
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810714495.2A
Other languages
English (en)
Inventor
王季勇
张玉
于红
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201810714495.2A priority Critical patent/CN109003651A/zh
Publication of CN109003651A publication Critical patent/CN109003651A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种病灶报告生成装置和方法。病灶报告生成装置包括：计算机可读存储介质，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如下步骤：a.获取医学图像；b.检测所述医学图像中的病灶，以获取真病灶；c.对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；d.对所述真病灶进行特征分析，以得到所述真病灶的特征；以及e.根据所述真病灶为恶性的概率和所述真病灶的特征的部分或全部生成病灶报告。本发明的病灶报告生成装置和方法还对病灶进行了特征分析，并且能够生成含有病灶特征信息的病灶报告。

Description

病灶报告生成装置和方法
技术领域
本发明主要涉及医学图像分析，尤其涉及一种病灶报告生成装置和方法。
背景技术
为了对疾病进行诊断，通常需要通过医学成像系统来获取病灶的医学图像，并对医学图像进行分析以得到病灶报告。现有的通常做法是由医生来对医学图像进行分析，由医生口述、手写或在医学报告生成系统选择相应的选项来生成病灶报告。可见，对医学图像进行分析，生成病灶报告均需要医生的参与，如此生成的病灶报告无疑是主观的，并且对于医生而言，这些工作无疑是繁重、效率低下的。
为了克服由医生来生成病灶报告所具有的缺点，现有技术中主要通过如下方法生成病灶报告：第一种为将采集的图像建立一个数据集，通过分割过程将灰度值分配给该数据集中的每个点，在操作中为数据中的每种物质类型分配一个特定的值，由此得到不同的灰度值，并由此标识出不同的亮暗区域，系统根据亮暗区域的标识可确定病灶疑似区域或者病变区域，最终生成诊断报告，但是该方法并未给出具体的报告生成相关的技术解决方案；另一种方法为首先通过模型来解析输入数据集以确定临床域和相关图像注释，然后使用相关图像注释来填充注释表，接着基于注释表填充报告模板，最后基于报告模板生成自然语言放射学报告，但是该方法是一种宽泛的报告生成方法，并未涉及病灶的相关特征和特征的信息，在诊断过程中医生可参考的信息有限。
发明内容
本发明要解决的技术问题是提供一种病灶报告生成装置和方法，其能够对病灶进行特征分析，并生成含有病灶特征的病灶报告。
为解决上述技术问题，本发明提供了一种病灶报告生成装置，包括：计算机可读存储介质，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如下步骤：a.获取医学图像；b.检测所述医学图像中的病灶，以确定真病灶；c.对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；d.对所述真病灶进行特征分析，以得到所述真病灶的特征；以及e.根据所述真病灶为恶性的概率和所述真病灶的特征的部分或全部生成病灶报告。
在本发明的一实施例中，步骤b包括：b1.检测所述医学图像中的病灶，以得到一个或多个候选病灶；以及b2.接收对所述候选病灶的选择，以从所述候选病灶中确定出所述真病灶。
在本发明的一实施例中，在步骤b中还获取所述真病灶的相关参数；在步骤e中还根据所述相关参数生成所述病灶报告。
在本发明的一实施例中，步骤b和步骤c的部分或者全部是由卷积神经网络来实现。
在本发明的一实施例中，在步骤e中生成的所述病灶报告包括自然语言报告和/或表格报告。
在本发明的一实施例中，所述处理器执行所述指令时还实现如下步骤：提取所述真病灶在器官内的解剖位置信息；其中，在步骤e中还根据所述解剖位置信息生成所述病灶报告。
在本发明的一实施例中，所述处理器执行所述指令时还实现如下步骤：对所述真病灶进行病理分析，以得到所述真病灶的病理分型；其中，在步骤e中还根据所述真病灶的病理分型生成所述病灶报告。
本发明的另一方面提供了一种病灶报告生成装置，包括：获取模块，用于获取医学图像；病灶检测模块，用于检测所述医学图像中的病灶，以确定真病灶；良恶性鉴别模块，用于对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；特征分析模块，用于对所述真病灶进行特征分析，以得到所述真病灶的特征；病灶报告生成模块，用于根据所述真病灶为恶性的概率、和所述真病灶的特征的部分或全部生成病灶报告。
在本发明的一实施例中，病灶报告生成装置还包括：解剖位置提取模块，用于提取所述真病灶在器官内的解剖位置信息；和/或病理分析模块，用于对所述真病灶进行病理分析，以得到所述真病灶的病理分型；相应地，所述病灶报告生成模块还根据所述解剖位置信息和/或所述真病灶的病理分型生成所述病灶报告。
本发明的另一方面提供了一种病灶报告生成方法，适于在计算机中执行，所述病灶报告生成方法包括：a.由所述计算机获取医学图像；b.由所述计算机检测所述医学图像中的病灶，以确定真病灶；c.由所述计算机对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；d.由所述计算机对所述真病灶进行分析，以得到所述真病灶的特征；以及e.由所述计算机根据所述真病灶为恶性的概率和所述真病灶的特征的部分或全部生成病灶报告。
与现有技术相比，本发明具有以下优点：
本发明的病灶报告生成装置和方法还对病灶进行了特征分析，并且能够生成含有病灶特征信息的病灶报告。
附图说明
图1是本发明一些实施例的计算机设备的结构示意图。
图2是本发明一些实施例的病灶报告生成装置的方框图。
图3是本发明一些实施例的病灶报告生成方法的流程图。
图4是本发明一些实施例的卷积神经网络的架构示意图。
图5是本发明一些实施例的对卷积神经网络进行训练的方法的流程图。
图6是本发明一些实施例的病灶报告的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接，或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请描述基于医学图像的病灶报告生成装置/方法，在此，医学图像可以包括由各种成像系统获得的投影图像数据。成像系统可为单模成像系统，例如计算机断层摄影(CT)系统、发射计算机断层摄影(ECT)、超声成像系统、X射线光学成像系统、正电子发射断层摄影(PET)系统等。成像系统也可为多模成像系统，例如计算机断层摄影-磁共振成像(CT-MRI)系统、正电子发射断层摄影-磁共振成像(PET-MRI)系统、单光子发射断层摄影-计算机断层摄影(SPECT-CT)系统、数字减影血管造影-计算机断层摄影(DSA-CT)系统等。医学图像可以包括将投影数据重建后得到的重建图像。
图1是本发明一些实施例的计算机设备的结构示意图。计算机100可以被用于实现实施本发明一些实施例中披露的特定方法和装置。本实施例中的特定装置利用功能框图展示了一个包含显示模块的硬件平台。在一些实施例中，计算机100可以通过其硬件设备、软件程序、固件以及它们的组合来实现本发明一些实施例的具体实施。在一些实施例中，计算机100可以是一个通用目的的计算机，或一个有特定目的的计算机。在一些实施例中，计算机100可以是移动终端、个人电脑、服务器、云计算平台等。
如图1所示，计算机100可以包括内部通信总线101、处理器(processor)102、只读存储器(ROM)103、随机存取存储器(RAM)104、通信端口105、输入/输出组件106、硬盘107以及用户界面108。内部通信总线101可以实现计算机100组件间的数据通信。处理器102可以进行判断和发出提示。在一些实施例中，处理器102可以由一个或多个处理器组成。通信端口105可以实现计算机100与其他部件(图中未示出)例如：外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。在一些实施例中，计算机100可以通过通信端口105从网络发送和接受信息及数据。输入/输出组件106支持计算机100与其他部件之间的输入/输出数据流。作为举例，输入/输出组件106可以包括以下的组件的一种或多种：鼠标、轨迹球、键盘、触控组件、声音接收器等。用户界面108可以实现计算机100和用户之间的交互和信息交换。计算机100还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘107，只读存储器(ROM)103和随机存取存储器(RAM)104，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器102所执行的可能的程序指令。
图2是本发明一些实施例的病灶报告生成装置200的方框图。病灶报告生成装置200可被实施于各种部件上(例如图1所示的计算机100的处理器102)。病灶报告生成装置200可以包括获取模块210、病灶检测模块220、良恶性鉴别模块230、特征分析模块250和病灶报告生成模块260。
获取模块210可用于获取医学图像。获取模块210可从成像系统或者存储装置(例如硬盘107、ROM 103或者RAM 104)获取医学图像。医学图像可包括投影数据、重建图像等。在一些实施例中，获取模块210可将获取的医学图像发送到病灶报告生成装置200的其它模块或单元以用于进一步处理。例如，获取的医学图像可发送到存储模块250存储。作为另一个示例，获取模块210可发送医学图像(例如投影数据)到病灶检测模块220以进行病灶的检测。
病灶检测模块220可以用于检测医学图像中的病灶，以获取/确定真病灶。在一些实施例中，病灶检测模块220可以对医学图像进行病灶检测，以得到候选病灶，而后病灶检测模块220可以接收例如用户(例如医生)对候选病灶的选择，以从候选病灶中确定出真病灶。可以理解，病灶检测模块220检测出的候选病灶可以包括假阳性病灶和/或真病灶。所述的假阳性病灶是指被误判为病灶的正常组织。所述的真病灶是指被检出的真实的病灶。
在一些实施例中，病灶检测模块220还可以提取真病灶的相关参数。所述的相关参数可以包括但不限于病灶体积、病灶最大截面长径、病灶最大截面垂直于长径的最大径、病灶密度、图像值的最大值、图像值的最小值、图像值的平均值、图像值的标准差、图像值的方差、图像值的中位数等简单统计量。
良恶性鉴别模块230可以用于对真病灶进行良恶性鉴别，以得到真病灶为恶性的概率。
在一些实施例中，病灶报告生成装置200还可以包括病理分析模块240。病理分析模块240可以用于对真病灶进行病理分析，以得到真病灶的病理分型。所述的病理分型可以包括但不限于磨玻璃结节(ground-glass nodule，GGN)、浸润性腺癌(invasiveadenocarcinoma cancer，IAC)、微浸润性腺癌(minimally invasive adenocarcinoma，MIA)、原位癌(adenocarcinoma in situ，AIS)等病理分型。可以理解，病理分析模块240可以对被确定为恶性的真病灶和/或被确定为良性的真病灶进行病理分型。通常而言，病理分析模块240可以仅对被确定为恶性的真病灶进行病理分型。如有必要，病理分析模块240还可以对被确定为良性的真病灶进行病理分型。
特征分析模块250可以用于对真病灶进行特征分析，以得到真病灶的特征。所述特征可以包括但不限于病灶密度是否变化(例如，是否为磨玻璃病灶(ground-glassopacity，GGO)、混合磨玻璃病灶(Mixed GGO)等)、病灶是否包含脂肪、病灶是否包含钙化、病灶是否包含液体、病灶形态、病灶边缘模糊或者清晰、病灶内是否有血管变形、病灶内是否有器官变形、病灶内是否有空洞、病灶是否导致胸膜牵拉等。
病灶报告生成模块260可以用于根据病灶的相关参数、真病灶为恶性的概率、真病灶的病理分型和真病灶的特征的部分或全部自动生成病灶报告。在一些实施例中，病灶报告生成模块260生成的病灶报告可以是自然语言形式的报告。
在另一些实施例中，病灶报告生成模块260生成的病灶报告可以是表格形式的报告，如图6所示。在另一些实施例中，病灶报告生成模块260生成的病灶报告可以是自然语言和表格混合的报告。其中，图6所示的报告的分析结果主要包括：病灶的位置、病灶的类型、病灶的形状、体积倍增时间。可选地，通过比较两次影像检查时结节体积变化可计算肿瘤生长速度，而结节体积增加一倍所需的时间即为体积倍增时间。本实施例中，检测报告显示的病灶的类型为混合性磨玻璃密度影；病灶的形状为类圆形；预测得到的体积倍增时间为287.65天。可选地，倍增时间可通过如下公式获得：
VDT＝t×log2/log(Vt/V0)
其中，VDT表示体积倍增时间；t表示当前影像检查距离前次影像检查的时间；Vt表示当前影像检查的病灶的体积；V0表示前次影像检查的病灶的体积。
在一些实施例中，病灶报告生成装置200还包括解剖位置提取模块270。解剖位置提取模块270可以用于提取病灶在器官内的解剖位置信息。仅作为示例，为提取肺部病灶的解剖位置信息，可以将肺段和肺叶分割结果生成的多类掩膜与肺部病灶的掩膜结合使用，以提取出病灶在肺内的解剖位置信息。可以理解，在病灶报告生成装置200包括解剖位置提取模块270的实施例中，病灶报告生成模块260还可以根据解剖位置提取模块270提取病灶在器官内的解剖位置信息自动生成病灶报告。
在一些实施例中，病灶报告生成模块260还可包括治疗建议，即：根据病灶的相关参数、真病灶为恶性的概率、真病灶的病理分型和真病灶、病灶在器官内的解剖位置信息的特征的部分或全部自动确定治疗或诊断建议，诊断建议可包括定期随访、化疗、手术切除等中的一种或几种。例如，在一个实施例中，病灶报告生成模块260可根据特征分析模块250、病理分析模块240、良恶性鉴别模块230、病灶检测模块220中结果的一种或多种自动生成诊断建议。在此实施例中，医学图像为CT图像，病灶报告的结果为：肺部有7mm大小的GGO；不包含脂肪；没有钙化；病灶为类球形，边缘清晰；无血管病变；无支气管病变；无空洞；无胸膜拉伸，则病灶报告生成模块260会生成诊断建议为随访。在另一实施例中，医学图像为CT图像，病灶报告的结果为：肺部无GGO；不包含脂肪；没有钙化；不包含液体；边缘清晰；有血管病变；有支气管病变；有空洞；胸膜拉伸，则病灶报告生成模块260会生成诊断建议为手术。
图3是本发明一些实施例的病灶报告生成方法300的流程图。病灶报告生成方法300可以在如图1所示的计算机100或如图2所示的病灶报告生成装置200中被执行。病灶报告生成方法300可以包括如下步骤：
步骤310：接收医学图像；
步骤320：检测医学图像中的病灶，以获取真病灶；
步骤330：对真病灶进行良恶性鉴别，以得到真病灶为恶性的概率；
步骤340：对真病灶进行病理分析，以得到真病灶的病理分型；
步骤350：对真病灶进行特征分析，以得到真病灶的特征；以及
步骤360：根据真病灶为恶性的概率、真病灶的病理分型和真病灶的特征的部分或全部自动生成病灶报告。
在一些实施例中，步骤310可从成像系统或者存储装置(例如硬盘107、ROM 103或者RAM 104)获取医学图像。医学图像可包括投影数据、重建图像等。
在一些实施例中，步骤320可以先对医学图像进行病灶检测，以得到候选病灶，而后再接收例如用户(例如医生)对候选病灶的选择，以从候选病灶中选出真病灶。
在一些实施例中，步骤320还可以提取真病灶的相关参数。所述的相关参数可以包括但不限于病灶体积、病灶最大截面长径、病灶最大截面垂直于长径的最大径、病灶密度、图像值的最大值、图像值的最小值、图像值的平均值、图像值的标准差、图像值的方差、图像值的中位数等简单统计量。
在步骤330中，可以对每一真病灶进行良恶性鉴别，也可以对其中的部分真病灶进行良恶性鉴别，本发明对此不加以限制。
在步骤340中可以对被确定为恶性的真病灶和/或被确定为良性的真病灶进行病理分型。在一些实施例中，步骤340可以仅对被确定为恶性的真病灶进行病理分型。在另一些实施例中，步骤340还可以对被确定为良性的真病灶进行病理分型。所述的病理分型可以包括但不限于磨玻璃结节(ground-glass nodule，GGN)、浸润性腺癌(invasiveadenocarcinoma cancer，IAC)、微浸润性腺癌(minimally invasive adenocarcinoma，MIA)、原位癌(adenocarcinoma in situ，AIS)等病理分型。可以理解，病理分析模块240可以对被确定为恶性的真病灶和/或被确定为良性的真病灶进行病理分型。需要说明的是，步骤340在病灶报告生成方法300中不是必须的，其属于可选的步骤。
在步骤350中分析得到的病灶的特征可以包括但不限于病灶密度是否变化(例如，是否为磨玻璃病灶(ground-glass opacity，GGO)、混合磨玻璃病灶(Mixed GGO)等)、病灶是否包含脂肪、病灶是否包含钙化、病灶是否包含液体、病灶形态、病灶边缘模糊或者清晰、病灶内是否有血管变形、病灶内是否有器官变形、病灶内是否有空洞、病灶是否导致胸膜牵拉等。
在一些实施例中，步骤360生成的病灶报告可以是自然语言形式的报告。在另一些实施例中，步骤360生成的病灶报告可以是表格形式的报告，如图6所示。在另一些实施例中，步骤360生成的病灶报告可以是自然语言和表格混合的报告。
在一些实施例中，病灶报告生成方法300还可以包括步骤370：提取病灶在器官内的解剖位置信息。仅作为示例，为提取肺部病灶的解剖位置信息，可以将肺段和肺叶分割结果生成的多类掩膜与肺部病灶的掩膜结合使用，以提取出病灶在肺内的解剖位置信息。可以理解，在病灶报告生成方法300包括步骤370的实施例中，在步骤360还可以根据步骤370提取病灶在器官内的解剖位置信息自动生成病灶报告。
可以理解，图3所示的病灶报告生成方法300的操作顺序并非旨在限制本发明。例如，步骤340和步骤350可以同时执行。又例如，步骤350可以先于步骤340执行。再例如，步骤370可以在步骤320之后，步骤360之前的任意时机被执行，具体来说，步骤370可以在步骤330和步骤340之间被执行。
在一些实施例中，病灶报告生成装置200中的良恶性检测模块230、病理分析模块240和特征分析模块250中的一者或多者，和/或病灶报告生成方法300中的步骤330、步骤340和步骤350中的一者或多者，可以由卷积神经网络来实现。可以理解，良恶性检测模块230和步骤330中对病灶的良恶性检测是二分类；病理分析模块240和步骤340中对病灶的病理分析是多分类；特征分析模块250和步骤350中对部分特征的分析是二分类，对部分特征的分析是多分类。
图4是本发明一些实施例的卷积神经网络400的架构示意图。卷积神经网络400可以在如图1所示的计算机100中被实现。参考图4所示，卷积神经网络400可以包括卷积层410、激活层420、批量归一化层430、池化层440、卷积层450和全连接层460。可以理解，卷积神经网络400在池化层440和卷积层450之间还可以包括卷积层、池化层、激活层和批量归一化层中的一者或多者。同样地，在卷积层450和全连接层460之间还可以包括卷积层、池化层、激活层和批量归一化层中的一者或多者。在一些实施例中，卷积神经网络400可以为三维卷积神经网络，相应地，其中的卷积层为三维卷积层。在一些实施例中，激活层可以是ReLU(Rectified Linear Unit)激活层。
在一个实施例中，医学图像选择CT肺部图像，病灶设置为肺部结节。其检测过程可包括：
首先，定位肺结节所在位置。其中定位肺结节所在位置的方法可参考文献MessayT,Hardie R C,Rogers S K.A new computationally efficient CAD system forpulmonary nodule detection in CT imagery[J].Medical image analysis,2010,14(3):390-406或者Jacobs C,van Rikxoort E M,Twellmann T,et al.Automaticdetection of subsolid pulmonary nodules in thoracic computed tomographyimages[J].Medical image analysis,2014,18(2):374-384。
然后，截取肺结节周围区域的图像(即从图像中提取出肺结节区域)。将截取得到的三维图像立方体输入到三维卷积神经网络中，经过卷积层、池化层、ReLU(RectifiedLinear Unit)激活层、批量归一化层、全连接层，最终形成此目标结节是良性/恶性的概率。
可以理解，如果更换训练目标，比如将良性/恶性的训练目标改成若干个病例的分类，此技术模型则可以分类病理。如果更换训练目标为某一结节特征，则此特征的若干可能性即为若干种最终分类概率。
为叙述方便，定义良恶性鉴别系统为A，定义病理分类系统为B，定义特征分类系统中部分特征中是二分类的为C，定义特征分类系统中部分特征是多分类的为D。可以理解，良恶性鉴别系统可以是二分类，病理分类系统可以是多分类。
以上ABCD可以集成在一个卷积神经网络中，也可以集成在若干不同的卷积神经网络中。这里指的一个卷积神经网络指的是，共享权重的概念。即通过若干卷积层、池化层、ReLU激活层、批量归一化层，提取得到若干特征图像。这些特征图像对于不同的分类任务是共享的。得到的共享权重的特征图像与每一个分类任务的概率之间，用全连接层链接。每一个分类任务独享一组全连接层。这样形成一个多任务输出的卷积神经网络。
因为ABCD四个任务都是分类任务，所以可以设计成其中几项任务或全部任务使用共享权重的卷积神经网络，也可以设计成每一个任务只使用一个特定的卷积神经网络。
在一些实施例中，在良恶性检测模块230和步骤330中为对病灶(例如肺结节)的良恶性进行检测，可以先确定病灶所在位置，然后截取病灶周围的医学图像输入到卷积神经网络400中，经过卷积层410、激活层420、批量归一化层430、池化层440、卷积层450和全连接层460，最终可以形成该病灶为良性和/或恶性的概率。
可以理解，如果更换训练目标，比如将上述实施例中的良性/恶性的训练目标改成，若干个病例的分类，卷积神经网络400可以分类病理。如果更换训练目标为某一结节特征，则此特征的若干可能性即为若干种最终分类概率。
在一些实施例中，可以采用医学图像原始的CT值作为输入，对初始神经网络进行训练。在一些更具体的实施例中，可以使用正负样本对初始神经网络进行训练。仅作为示例，如图5所示的对卷积神经网络进行训练的方法500可以包括：
在第一层设置64个卷积核，每个卷积核大小为5*5*5，将二维切片数据与卷积核进行卷积运算后，得到64个第一层特征图，每个第一层特征图大小为32*32*32；
在第二层使用稀疏激活函数ReLU(Rectified Linear Unit)函数对第一层特征图进行非线性映射，得到第二层特征图；
在第三层设置池化核，每个池化核的大小为2*2*2，对第二层特征图进行池化，得到64个第三层特征图，每个第三层特征图大小为16*16*16；
在第四层设置64个卷积核，每个卷积核大小为5*5*5，将第三层特征图与卷积核进行卷积运算后，得到64个第四层特征图，每个第四层特征图大小为16*16*16；
在第五层使用ReLU函数对第四层特征图进行非线性映射，得到第五层特征图；
在第六层设置池化核，每个池化核的大小为3*3*3，对第五层特征图进行池化，得到64个第六层特征图，每个第六层特征图大小为8*8*8；
在第七层设置128个卷积核，每个卷积核大小为5*5*5，将第六层特征图与卷积核进行卷积运算后，得到64个第七层特征图，每个第七层特征图大小为8*8*8；
在第八层使用修正线性单元函数对第七层特征图进行非线性映射，得到第八层特征图；
在第九层设置池化核，每个池化核的大小为3*3*3，对第八层特征图进行池化，得到128个第九层特征图，每个第九层特征图大小为4*4*4；
在第十层设置128个卷积核，每个卷积核大小为4*4*4，对第九层特征图进行全连接处理，得到第十层特征图，每个第十层特征图大小为1*1*1；
在第十一层设置2个卷积核，每个卷积核大小为1*1*1，对第十层特征图进行全连接处理，得到第十一层特征图，每个第十层特征图大小为1*1*1；
在第十二层计算预测值与实际值之间的差异，将梯度通过反向传播算法进行回传，更新每一层的权重和偏置。
训练过程中，训练集和验证集的损失值持续降低，当验证集的损失值不再降低时停止训练，防止过拟合。
在一些实施例中，病灶报告生成装置200中的良恶性检测模块230、病理分析模块240和特征分析模块250中的至少二者，和/或病灶报告生成方法300中的步骤330、步骤340和步骤350中的至少二者，可以由一个卷积神经网络来实现。这里一个卷积神经网络指的是，共享权重的概念。具体来说，是通过若干卷积层、池化层、激活层、归一化层，提取得到若干特征图像，这些特征图像对于不同的分类任务是共享的，得到的共享权重的特征图像与每一个分类任务的概率之间，用全连接层链接，每一个分类任务独享一组全连接层。这样可以形成一个多任务输出的卷积神经网络。
在另一些实施例中，病灶报告生成装置200中的良恶性检测模块230、病理分析模块240和特征分析模块250，和/或病灶报告生成方法300中的步骤330、步骤340和步骤350，可以分别由不同的卷积神经网络来实现。也就是说，可以设计成每一个任务只使用一个特定的卷积神经网络。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质、或任何上述介质的组合。计算机可读存储介质可以用于存储计算机可读程序编码，其可以包括硬盘、内存和存储器中的一者或多者。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”等来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±明所述的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (10)

1.一种病灶报告生成装置，包括：
计算机可读存储介质，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如下步骤：
a.获取医学图像；
b.检测所述医学图像中的病灶，以确定真病灶；
c.对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；
d.对所述真病灶进行特征分析，以得到所述真病灶的特征；以及
e.根据所述真病灶为恶性的概率和所述真病灶的特征的部分或全部生成病灶报告。
2.根据权利要求1所述的病灶报告生成装置，其特征在于，步骤b包括：
b1.检测所述医学图像中的病灶，以得到一个或多个候选病灶；以及
b2.接收对所述候选病灶的选择，以从所述候选病灶中确定出所述真病灶。
3.根据权利要求1所述的病灶报告生成装置，其特征在于，在步骤b中还获取所述真病灶的相关参数；在步骤e中还根据所述相关参数生成所述病灶报告。
4.根据权利要求1所述的病灶报告生成装置，其特征在于，步骤b和步骤c的部分或者全部是由卷积神经网络来实现。
5.根据权利要求1所述的病灶报告生成装置，其特征在于，在步骤e中生成的所述病灶报告包括自然语言报告和/或表格报告。
6.根据权利要求1所述的病灶报告生成装置，其特征在于，所述处理器执行所述指令时还实现如下步骤：
提取所述真病灶在器官内的解剖位置信息；
其中，在步骤e中还根据所述解剖位置信息生成所述病灶报告。
7.根据权利要求1所述的病灶报告生成装置，其特征在于，所述处理器执行所述指令时还实现如下步骤：
对所述真病灶进行病理分析，以得到所述真病灶的病理分型；
其中，在步骤e中还根据所述真病灶的病理分型生成所述病灶报告。
8.一种病灶报告生成装置，包括：
获取模块，用于获取医学图像；
病灶检测模块，用于检测所述医学图像中的病灶，以确定真病灶；
良恶性鉴别模块，用于对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；特征分析模块，用于对所述真病灶进行特征分析，以得到所述真病灶的特征；
病灶报告生成模块，用于根据所述真病灶为恶性的概率、和所述真病灶的特征的部分或全部生成病灶报告。
9.根据权利要求8所述的病灶报告生成装置，其特征在于，还包括：
解剖位置提取模块，用于提取所述真病灶在器官内的解剖位置信息；和/或
病理分析模块，用于对所述真病灶进行病理分析，以得到所述真病灶的病理分型；
相应地，所述病灶报告生成模块还根据所述解剖位置信息和/或所述真病灶的病理分型生成所述病灶报告。
10.一种病灶报告生成方法，适于在计算机中执行，所述病灶报告生成方法包括：
a.由所述计算机获取医学图像；
b.由所述计算机检测所述医学图像中的病灶，以确定真病灶；
c.由所述计算机对所述真病灶进行良恶性鉴别，以得到所述真病灶为恶性的概率；
d.由所述计算机对所述真病灶进行分析，以得到所述真病灶的特征；以及
e.由所述计算机根据所述真病灶为恶性的概率和所述真病灶的特征的部分或全部生成病灶报告。
CN201810714495.2A 2018-06-29 2018-06-29 病灶报告生成装置和方法 Pending CN109003651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810714495.2A CN109003651A (zh) 2018-06-29 2018-06-29 病灶报告生成装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810714495.2A CN109003651A (zh) 2018-06-29 2018-06-29 病灶报告生成装置和方法

Publications (1)

Publication Number Publication Date
CN109003651A true CN109003651A (zh) 2018-12-14

Family

ID=64598201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810714495.2A Pending CN109003651A (zh) 2018-06-29 2018-06-29 病灶报告生成装置和方法

Country Status (1)

Country Link
CN (1) CN109003651A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727243A (zh) * 2018-12-29 2019-05-07 无锡祥生医疗科技股份有限公司 乳腺超声图像识别分析方法及系统
CN110148452A (zh) * 2019-05-07 2019-08-20 东软医疗系统股份有限公司 一种图像渲染方法及装置
CN110211672A (zh) * 2019-06-14 2019-09-06 杭州依图医疗技术有限公司 用于影像分析的信息显示方法、设备和存储介质
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN111767931A (zh) * 2019-04-01 2020-10-13 复旦大学附属肿瘤医院 基于医学图像的自动报告生成系统
CN113889213A (zh) * 2021-12-06 2022-01-04 武汉大学 超声内镜报告的生成方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018245A1 (en) * 2001-07-17 2003-01-23 Accuimage Diagnostics Corp. Methods for generating a lung report
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN108078581A (zh) * 2017-12-12 2018-05-29 北京青燕祥云科技有限公司 基于卷积神经网络的肺癌良恶性判别方法系统和实现装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018245A1 (en) * 2001-07-17 2003-01-23 Accuimage Diagnostics Corp. Methods for generating a lung report
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN108078581A (zh) * 2017-12-12 2018-05-29 北京青燕祥云科技有限公司 基于卷积神经网络的肺癌良恶性判别方法系统和实现装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727243A (zh) * 2018-12-29 2019-05-07 无锡祥生医疗科技股份有限公司 乳腺超声图像识别分析方法及系统
CN111767931A (zh) * 2019-04-01 2020-10-13 复旦大学附属肿瘤医院 基于医学图像的自动报告生成系统
CN111767931B (zh) * 2019-04-01 2024-09-13 复旦大学附属肿瘤医院 基于医学图像的自动报告生成系统
CN110148452A (zh) * 2019-05-07 2019-08-20 东软医疗系统股份有限公司 一种图像渲染方法及装置
CN110211672A (zh) * 2019-06-14 2019-09-06 杭州依图医疗技术有限公司 用于影像分析的信息显示方法、设备和存储介质
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN110689025B (zh) * 2019-09-16 2023-10-27 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN113889213A (zh) * 2021-12-06 2022-01-04 武汉大学 超声内镜报告的生成方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Altaf et al. Going deep in medical image analysis: concepts, methods, challenges, and future directions
Ueda et al. Technical and clinical overview of deep learning in radiology
CN109003651A (zh) 病灶报告生成装置和方法
Su et al. Lung nodule detection based on faster R-CNN framework
Mahmood et al. Deep adversarial training for multi-organ nuclei segmentation in histopathology images
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
Mridha et al. A comprehensive survey on deep-learning-based breast cancer diagnosis
JP2023030214A (ja) 階層式マルチレベル特徴画像合成および提示のためのシステムおよび方法
US10991460B2 (en) Method and system for identification of cerebrovascular abnormalities
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
CN109544534A (zh) 一种病灶图像检测装置、方法和计算机可读存储介质
WO2021021329A1 (en) System and method for interpretation of multiple medical images using deep learning
US10956635B1 (en) Radiologist-assisted machine learning with interactive, volume subtending 3D cursor
Shubbar Ultrasound medical imaging systems using telemedicine and blockchain for remote monitoring of responses to neoadjuvant chemotherapy in women’s breast cancer: concept and implementation
US11238197B1 (en) Generating a 3D dataset containing a simulated surgical device
Sreenivasu et al. [Retracted] Dense Convolutional Neural Network for Detection of Cancer from CT Images
CN111260636B (zh) 模型训练方法及设备、图像处理方法及设备以及介质
Lachinov et al. Projective skip-connections for segmentation along a subset of dimensions in retinal OCT
Zhou et al. Interpreting medical images
Li et al. Automatic quantification of epicardial adipose tissue volume
CN112884759A (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
Wang et al. An intelligent system of pelvic lymph node detection
Maynord et al. Semi‐supervised training using cooperative labeling of weakly annotated data for nodule detection in chest CT
Mata et al. MedicalSeg: a medical GUI application for image segmentation management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214

RJ01 Rejection of invention patent application after publication