CN113889213A - 超声内镜报告的生成方法、装置、计算机设备及存储介质 - Google Patents

超声内镜报告的生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113889213A
CN113889213A CN202111475652.7A CN202111475652A CN113889213A CN 113889213 A CN113889213 A CN 113889213A CN 202111475652 A CN202111475652 A CN 202111475652A CN 113889213 A CN113889213 A CN 113889213A
Authority
CN
China
Prior art keywords
image
preset
ultrasonic endoscope
network model
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111475652.7A
Other languages
English (en)
Inventor
于红刚
姚理文
卢姿桦
李迅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111475652.7A priority Critical patent/CN113889213A/zh
Publication of CN113889213A publication Critical patent/CN113889213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种超声内镜报告的生成方法、装置、计算机设备及存储介质。该方法包括：接收超声内镜图像；若超声内镜图像为合格图像，将超声内镜图像输入至多分类神经网络模型中，得到超声内镜图像的多个标准站点；将每个标准站点输入至UNet神经网络模型中，得到每个标准站点的解剖结构；对每个解剖结构进行二分类，得到每个解剖结构的二分类结果；根据二分类结果从词库中提取超声内镜图像的多个词语；将多个词语输入至第一生成式对抗网络模型中，得到超声内镜报告。本发明基于神经网络技术，预先识别出超声内镜图像中的多个标准站点后，对每个标准站点的解剖结构进行再次分类以自动生成超声内镜报告，提高了内镜检查的效率以及准确率。

Description

超声内镜报告的生成方法、装置、计算机设备及存储介质
技术领域
本发明涉及医疗辅助技术领域，尤其涉及一种超声内镜报告的生成方法、装置、计算机设备及存储介质。
背景技术
胆胰超声内镜是一种将微超声探头置入胆管或胰管内扫查诊断胆胰疾病的装置，是胆胰系统疾病得以早诊早治的重要手段。在传统的超声内镜诊疗过程中，通常是通过超声内镜拍摄到相应的图像，然后采用人工手段进行内镜描述并由医生进行相应的诊断。现有技术中，由于内镜医师间的经验、工作习惯以及状态等差异性，使得在进行超声内镜检测的过程中出现过于主观的评判且描述的内容不完整，进而使得超声内镜报告缺乏完整性和系统性，阻碍了超声内镜报告的准确性和标准化，极大的降低了内镜检查的效率。
发明内容
本发明实施例提供了一种超声内镜报告的生成方法、装置、计算机设备及存储介质，用于解决现有技术中超声内镜报告的准确率不高、内镜检查效率低的技术问题。
第一方面，本发明实施例提供了一种超声内镜报告的生成方法，其包括：
接收预设的超声内镜图像；
若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；
将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；
对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；
根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；
将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
第二方面，本发明实施例提供了一种超声内镜报告的生成装置，其包括：
接收单元，用于接收预设的超声内镜图像；
第一输入单元，用于若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；
第二输入单元，用于将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；
第一分类单元，用于对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；
第一提取单元，用于根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；
第三输入单元，用于将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述第一方面所述的超声内镜报告的生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的超声内镜报告的生成方法。
本发明实施例提供了一种超声内镜报告的生成方法、装置、计算机设备及存储介质，该方法在接收到超声内镜图像后，预先对超声内镜图像的合格性识别，若为合格图像，则获取超声内镜图像中的标准站点并对标准站点中的解剖结构进行二分类，同时根据二分类的结果从词库中提取相应的多个词语，最后通过生成式对抗网络自动生成超声内镜报告。通过该方法不仅提高了内镜检查的效率以及准确率，而且保证了生成的超声内镜报告的完整性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的超声内镜报告的生成方法的流程示意图；
图2为本发明实施例提供的超声内镜报告的生成方法的另一流程示意图；
图3为本发明实施例提供的超声内镜报告的生成方法的另一流程示意图；
图4为本发明实施例提供的超声内镜报告的生成方法的另一流程示意图；
图5为本发明实施例提供的超声内镜报告的生成方法的另一流程示意图；
图6为本发明实施例提供的超声内镜报告的生成装置的示意图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的超声内镜报告的生成方法的流程示意图。本发明实施例的所述的超声内镜报告的生成方法应用于终端设备中，该方法通过安装于终端设备中的应用软件进行执行。其中，终端设备为具备接入互联网功能的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等终端设备。
下面对所述的超声内镜报告的生成方法进行详细说明。
如图1所示，该方法包括以下步骤S110~S160。
S110、接收预设的超声内镜图像。
具体的，所述超声内镜图像为需进行超声内镜在患者的胆胰内部拍摄到的图像，终端设备在接收到所述超声内镜图像后，便可根据所述超声内镜图像生成所述超声内镜图像的检测报告。
S120、若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点。
具体的，所述多分类神经网络模型为预先训练好且用于对所述超声内径图像进行分类识别以识别出所述超声内径图像中的多个标准站点，由于超声内镜检测时会出现白光、环阵超声、弹性增强超声、模糊、巨大病灶、肝脏以及嫉妒扩张的胆管等瑕疵的超声内镜图像，导致无法从超声内镜图像中分类出多个标准站点，进而影响生成的超声内镜报告的准确性。因此，所述合格图像不包括上述具有瑕疵的超声内镜图像，即所述合格图像中存在病灶、肝脏胆管等信息的超声内镜图像。在本实施例中，所述多分类神经网络模型为ResNet神经网络模型，所述超声内径图像中的标准站点包括：腹主动脉站、胃腔胰体站、胃腔胰尾站、Confluence站、第一肝门站、胃腔胰头站、十二指肠球部站、二指肠降部站等8个类型标准站点组成，其中，腹主动脉站包括：腹主动脉、腹腔干和肠系膜上动脉等三个解剖结构，胃腔胰体站包括：脾动静脉和胰体等两个解剖结构，胃腔胰尾站包括：胰尾、脾动静脉、肾脏和脾脏等四个解剖结构，Confluence站包括：肠系膜上静脉、门静脉、脾静脉、胰颈和胆管等五个解剖结构，第一肝门站包括：肝脏、门静脉、胆管等三个解剖结构，胃腔胰头站包括：胰管、门静脉、胆管以及胰头等四个解剖结构，十二指肠球部站包括：胆管、门静脉以及胰腺等三个解剖结构，十二指肠降部站包括：壶腹部、胆管、胰管、肠系膜上动静脉以及肠腔等五个解剖结构。
在另一实施例中，步骤S120之前，还包括步骤：根据预置的二分类神经网络模型对所述超声内镜图像进行分类，得到所述超声内镜图像的类型。
具体的，所述二分类神经网络模型为预先训练好且用于所述超声内镜图像进行分类以得到所述超声内镜图像是否为合格图像。在本实施例中，所述超声内镜图像的类型为合格或不合格两种类型，预先将所述二分类神经网络模型输出的数值为0设置为合格类型，将输出的数值为1设置为不合格类型，所述二分类神经网络模型由ResNet神经网络构建得到，所述超声内镜图像输入至所述二分类神经网络模型中，输出数值为0或1，然后根据输出的数值得到所述超声内镜图像的类型，最后根据该类型便可判断所述超声内镜图像是否为合格图像。
S130、将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构。
具体的，所述UNet神经网络模型为预先训练好且用于对所述超声内镜图像中每个标准站点所在区域进行分割标注以识别出每个标准站点的标准解剖结构。在本实施例中，所述多分类神经网络对所述超声内镜图像中每个标准站点进行分类识别，以识别出每个所述标准站点的类型，然后基于该类型将每个所述标准站点所在区域输入至所述UNet神经网络模型中进行分割标注，便可得到每个所述标准站点中的解剖结构的区域。
S140、对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果。
在本实施例中，所述二分类结果为每个所述解剖结构是否出现病灶的结果信息，每个所述解剖结果采用预先训练好的ResNet神经网络模型进行二分类，根据该二分类神经网络模型输出的二分类结果便可得到每个所述解剖结构中是否出现病灶。
S150、根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语。
其中，当所述二分类结果为所述解剖结构中出现病灶，则需再次对该病灶进行一次二分类，以得到该病灶的类型。
具体的，病灶的类型为良性或恶性两种类型。
在本实施例中，采用预先训练好的ResNet神经网络模型对该病灶所在解剖结构进行再一次的二分类，从而得到该病灶的类型，然后根据该病灶的类型从词库中提取所述超声内镜图像的多个词语。
在另一实施例中，如图2所示，步骤S150包括子步骤S151和S152。
S151、若所述二分类结果为预设的第一结果，根据预置的ResNet神经网络模型对所述第一结果的解剖结构进行分割标注并根据分割标注后的图像从所述预设词库中提取所述多个词语；
S152、若所述二分类结果为预设的第二结果，根据所述第二结果从所述预设的词库中提取所述多个词语。
在本实施例中，所述第一结果为解剖结构中出现病灶的结果，所述第二结果为解剖结构中未出现病灶的结果。当所述二分类结果为所述第一结果时，采用预先训练好的ResNet神经网络模型对出现病灶的解剖结构中的病灶区域进行分割标注，便可得到解剖结构中的病灶图像，即所述分割标注后的图像，然后通过该图像从词库中提取与该图像相关的多个词语；当所述二分类结果为所述第二结果时，便可判定所述超声内镜图中每个标注站点的解剖结构中不存在病灶并从词库中提取与所述第二结果相匹配的多个词语。
在另一实施例中，如图3所示，步骤S151包括子步骤S1511和S1512。
S1511、对所述分割标注后的图像进行二分类，得到所述分割标注后的图像的分类结果；
S1512、根据所述分类结果测量所述分割标注后的图像的物理长度并根据所述物理长度从所述预设词库中提取所述多个词语。
在本实施例中，采用预先训练好的二分类神经网络模型对所述分割标注后的图像进行二分类以得到该图像所在的解剖结构的分类结果，其中，所述分类结果为该图像所在的解剖结构的构造信息，当该图像所在的解剖结构可分为第一类型结构和第二类型结构，其中，第一类型结构包括胆管、胰管等结构，第二类型结构包括腹主动脉、腹腔干、肠系膜上动脉、脾动静脉、胰体、胰尾、肾脏、脾脏、肠系膜上静脉、门静脉、脾静脉、胰颈、肝脏、胰头、胰腺、壶腹部、肠系膜上动静脉以及肠腔等结构。当所述分类结果为该图像所在的解剖结构为第一类型结构时，则将该分类结果作为第三结果；当分类结果为该图像所在的解剖结构为第二类型结构时，则将该分类结果作为第四结果；最后根据该分类结果获取分割标注后的图像的物理长度，进而从预设词库中提取所述多个词语。
在另一实施例中，如图4所示，步骤S1512包括子步骤S15121和S15122。
S15121、若所述分类结果为预设的第三结果，根据所述分割标注后的图像的外接矩形测量所述物理长度；
S15122、若所述分类结果为预设的第四结果，根据所述分割标注后的图像的最长径和最短径测量所述物理长度。
在本实施例中，所述第三结果为分割标注后的图像中的解剖结构存在胆管、胰管等信息，所述第四分类结果为分割标注后的图像中的解剖结构存在腹主动脉、腹腔干、肠系膜上动脉、脾动静脉、胰体、胰尾、肾脏、脾脏、肠系膜上静脉、门静脉、脾静脉、胰颈、肝脏、胰头、胰腺、壶腹部、肠系膜上动静脉以及肠腔等信息。当所述分类结果为预设的第三结果时，需在所述解剖结构出现病灶的区域处生成外接矩形以将该区域覆盖，并标记该外接矩形的高度，然后根据所述超声内镜图像中边缘的刻度将该外接矩形的高度把该长度换算成所述病灶图像的物理长度，便可测量出病灶区域的物理长度；当所述分类结果为预设的第四结果时，无需在所述解剖结构出现病灶的区域处生成外接矩形，只需在所述解剖结构出现病灶的区域处生成最长径及最短径，并根据所述超声内镜图像中边缘的刻度将该区域处生成最长径及最短径换算成病灶区域的物理长度，便可测量出病灶区域的物理长度。
S160、将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
在本实施例中，所述病灶图像的类型为良性或恶性两种类型，预设词库包括基础词库和特征词库，其中，基础词库包括：超声内镜、胆、胰腺、胆管、胰管、回声、边界、连接词等词语，特征词库包括站点特征词、解剖特征词、病灶特征词、测量特征词、标准站点名、解剖结构名、正常、异常、良性、恶性、均一、不均一、增强、减弱、测量数值、测量单位等。终端设备获取所述病灶图像的类型后，根据病灶图像的特征信息从特征词库中确定所述超声内镜图像的标准站点名、解剖结构名等词语，然后根据病灶图像从特征词库中提取描述该病灶图像的类型的多个词语，并根据上述确定的词语从基础词库中提取相应的基础词语，最后将提取到的词语输入至所述第一生成式对抗网络模型中，便可得到超声内镜的检测报告。
在另一实施例中，如图5所示，步骤S160包括子步骤S161和S162。
S161、将所述多个词语输入至预置的第二生成式对抗网络模型的生成器中，得到所述超声内镜图像的结构化语句；
S162、将所述结构化语句输入至预置的第三生成式对抗网络模型的生成器中，得到所述超声内镜图像报告。
其中，生成式对抗网络通常包括生成器和判别器，采用对抗训练的思想，通过生成器和判别器的互相博弈学习以输出所需要的数据。在本实施例中，所述第一生成式对抗网络模型包括第二生成式对抗网络模型和第三生成式对抗网络模型，所述第二生成式对抗网络模型包括第二生成器和第二判别器，所述第三生成式对抗网络模型包括第三生成器和第三判别器，所述第二生成器用于生成所述超声内径图像报告中的语句，该语句为结构化语句，所述第二判别器为用于判别所述第二生成器生成的结构化语句是否正确，所述第三生成器为通过所述第二生成器生成的结构化语句生成所述超声内镜图像报告，所述第三判别器为用于判别所述第二生成器生成的超声内镜图像报告是否符合预设要求。
在另一实施例中，步骤S160之前还包括：基于强化学习分别对所述第二生成式对抗网络模型、所述第三生成式对抗网络模型进行训练，得到训练后的第二生成式对抗网络模型和训练后的第三生成式对抗网络模型。
具体的，所述第二生成式对抗网络模型、所述第三生成式对抗网络模型在应用于生成所述超声内镜图像报告之前，需进行相应的学习训练。在本实施例中，采用强化学习的方式分别对所述第二生成式对抗网络模型、所述第三生成式对抗网络模型进行训练，具体过程为：将多个超声内镜图像作为训练所述第二生成式对抗网络的样本集，根据每个样本的标注信息从预设词库中提取相应的多个词语，然后将多个词语输入至所述第二生成式对抗网络模型中，通过所述第二生成器生成该样本的检测报告的语句，然后采用所述第二判别器对该语句进行判别，根据第二判别器的判别结果作为强化学习中奖励信号更新所述第二生成器和所述第二判别器，直至所述第二生成器生成的语句骗过所述第二判别器，即可完成所述第二生成式对抗网络模型的训练；所述第三生成式对抗网络模型的训练样本为所述第二生成式对抗网络模型生成的语句的样本集，将该样本集中的每个样本输入至所述第三生成器中，得到每个样本的检测报告，然后通过第三判别器对每个样本的检测报告进行判定，根据第三判别器的判别结果作为强化学习中奖励信号更新所述第三生成器和所述第三判别器，直至所述第三生成器生成的检测报告骗过所述第三判别器，即可完成所述第三生成式对抗网络模型的训练。
在本发明实施例所提供的超声内镜报告的生成方法中，通过接收预设的超声内镜图像；若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。通过该方法不仅提高了内镜检查的效率以及准确率，而且保证了生成的超声内镜报告的完整性。
本发明实施例还提供了一种超声内镜报告的生成装置100，该装置用于执行前述超声内镜报告的生成方法的任一实施例。
具体地，请参阅图6，图6是本发明实施例提供的超声内镜报告的生成装置100的示意性框图。
如图6所示，所述的超声内镜报告的生成装置100，该装置包括：接收单元110、第一输入单元120、第二输入单元130、第一分类单元140、第一提取单元150和第三输入单元160。
接收单元110，用于接收预设的超声内镜图像。
第一输入单元120，用于若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点。
在其他发明实施例中，所述的超声内镜报告的生成装置100还包括：第二分类单元。
第二分类单元，用于根据预置的二分类神经网络模型对所述超声内镜图像进行分类，得到所述超声内镜图像的类型。
第二输入单元130，用于将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构。
第一分类单元140，用于对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果。
第一提取单元150，用于根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语。
在其他发明实施例中，所述第一提取单元150包括：第二提取单元和第三提取单元。
第二提取单元，用于若所述二分类结果为预设的第一结果，根据预置的ResNet神经网络模型对所述第一结果的解剖结构进行分割标注并根据分割标注后的图像从所述预设词库中提取所述多个词语；第三提取单元，用于若所述二分类结果为预设的第二结果，根据所述第二结果从所述预设的词库中提取所述多个词语。
在其他发明实施例中，所述第二提取单元包括：第三分类单元和第一测量单元。
第三分类单元，用于对所述分割标注后的图像进行二分类，得到所述分割标注后的图像的分类结果；第一测量单元，用于根据所述分类结果测量所述分割标注后的图像的物理长度并根据所述物理长度从所述预设词库中提取所述多个词语。
在其他发明实施例中，所述第一测量单元包括：第二测量单元和第三测量单元。
第二测量单元，用于若所述分类结果为预设的第三结果，根据所述分割标注后的图像的外接矩形测量所述物理长度；第三测量单元，用于若所述分类结果为预设的第四结果，根据所述分割标注后的图像的最长径和最短径测量所述物理长度。
第三输入单元160，用于将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
在其他发明实施例中，所述第三输入单元160包括：第四输入单元和第五输入单元。
第四输入单元，用于将所述多个词语输入至预置的第二生成式对抗网络模型的生成器中，得到所述超声内镜图像的结构化语句；第五输入单元，用于将所述结构化语句输入至预置的第三生成式对抗网络模型的生成器中，得到所述超声内镜图像报告。
在其他发明实施例中，所述的超声内镜报告的生成装置100还包括：训练单元。
训练单元，用于基于强化学习分别对所述第二生成式对抗网络模型、所述第三生成式对抗网络模型进行训练，得到训练后的第二生成式对抗网络模型和训练后的第三生成式对抗网络模型。
本发明实施例所提供的超声内镜报告的生成装置100用于执行上述接收预设的超声内镜图像；若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。
参阅图7，该设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行超声内镜报告的生成方法。
该处理器502用于提供计算和控制能力，支撑整个设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行超声内镜报告的生成方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的设备500的限定，具体的设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收预设的超声内镜图像；若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
本领域技术人员可以理解，图7中示出的设备500的实施例并不构成对设备500具体构成的限定，在其他实施例中，设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，设备500可以仅包括存储器及处理器502，在这样的实施例中，存储器及处理器502的结构及功能与图7所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器502、数字信号处理器502(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器502可以是微处理器502或者该处理器502也可以是任何常规的处理器502等。
在本发明的另一实施例中提供计算机存储介质。该存储介质可以为非易失性的计算机可读存储介质，也可以是易失性的存储介质。该存储介质存储有计算机程序5032，其中计算机程序5032被处理器502执行时实现以下步骤：接收预设的超声内镜图像；若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备500 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种超声内镜报告的生成方法，其特征在于，包括：
接收预设的超声内镜图像；
若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；
将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；
对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；
根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；
将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
2.根据权利要求1所述的超声内镜报告的生成方法，其特征在于，在所述若所述超声内镜图像为合格图像之前，还包括：
根据预置的二分类神经网络模型对所述超声内镜图像进行分类，得到所述超声内镜图像的类型。
3.根据权利要求1所述的超声内镜报告的生成方法，其特征在于，所述根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语，包括：
若所述二分类结果为预设的第一结果，根据预置的ResNet神经网络模型对所述第一结果的解剖结构进行分割标注并根据分割标注后的图像从所述预设词库中提取所述多个词语；
若所述二分类结果为预设的第二结果，根据所述第二结果从所述预设的词库中提取所述多个词语。
4.根据权利要求3所述的超声内镜报告的生成方法，其特征在于，所述根据分割标注后的图像从所述预设词库中提取所述多个词语，包括：
对所述分割标注后的图像进行二分类，得到所述分割标注后的图像的分类结果；
根据所述分类结果测量所述分割标注后的图像的物理长度并根据所述物理长度从所述预设词库中提取所述多个词语。
5.根据权利要求4所述的超声内镜报告的生成方法，其特征在于，所述根据所述分类结果测量所述分割标注后的图像的物理长度，包括：
若所述分类结果为预设的第三结果，根据所述分割标注后的图像的外接矩形测量所述物理长度；
若所述分类结果为预设的第四结果，根据所述分割标注后的图像的最长径和最短径测量所述物理长度。
6.根据权利要求1所述的超声内镜报告的生成方法，其特征在于，所述将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告，包括：
将所述多个词语输入至预置的第二生成式对抗网络模型的生成器中，得到所述超声内镜图像的结构化语句；
将所述结构化语句输入至预置的第三生成式对抗网络模型的生成器中，得到所述超声内镜图像报告。
7.根据权利要求6所述的超声内镜报告的生成方法，其特征在于，在所述将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告之前，还包括：
基于强化学习分别对所述第二生成式对抗网络模型、所述第三生成式对抗网络模型进行训练，得到训练后的第二生成式对抗网络模型和训练后的第三生成式对抗网络模型。
8.一种超声内镜报告的生成装置，其特征在于，包括：
接收单元，用于接收预设的超声内镜图像；
第一输入单元，用于若所述超声内镜图像为合格图像，将所述超声内镜图像输入至预置的多分类神经网络模型中，得到所述超声内镜图像的多个标准站点；
第二输入单元，用于将每个所述标准站点输入至预置的UNet神经网络模型中，得到每个所述标准站点的解剖结构；
第一分类单元，用于对每个所述解剖结构进行二分类，得到每个所述解剖结构的二分类结果；
第一提取单元，用于根据所述二分类结果从预设词库中提取所述超声内镜图像的多个词语；
第三输入单元，用于将所述多个词语输入至预置的第一生成式对抗网络模型中，得到超声内镜报告。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的超声内镜报告的生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的超声内镜报告的生成方法。
CN202111475652.7A 2021-12-06 2021-12-06 超声内镜报告的生成方法、装置、计算机设备及存储介质 Pending CN113889213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111475652.7A CN113889213A (zh) 2021-12-06 2021-12-06 超声内镜报告的生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111475652.7A CN113889213A (zh) 2021-12-06 2021-12-06 超声内镜报告的生成方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113889213A true CN113889213A (zh) 2022-01-04

Family

ID=79016288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111475652.7A Pending CN113889213A (zh) 2021-12-06 2021-12-06 超声内镜报告的生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113889213A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392147A (zh) * 2017-07-20 2017-11-24 北京工商大学 一种基于改进的生成式对抗网络的图像语句转换方法
CN108491497A (zh) * 2018-03-20 2018-09-04 苏州大学 基于生成式对抗网络技术的医疗文本生成方法
CN109003651A (zh) * 2018-06-29 2018-12-14 上海联影医疗科技有限公司 病灶报告生成装置和方法
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN111159454A (zh) * 2019-12-30 2020-05-15 浙江大学 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统
CN111415564A (zh) * 2020-03-02 2020-07-14 武汉大学 基于人工智能的胰腺超声内镜检查导航方法及系统
CN113555078A (zh) * 2021-06-16 2021-10-26 合肥工业大学 模式驱动的胃镜检查报告智能生成方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392147A (zh) * 2017-07-20 2017-11-24 北京工商大学 一种基于改进的生成式对抗网络的图像语句转换方法
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN108491497A (zh) * 2018-03-20 2018-09-04 苏州大学 基于生成式对抗网络技术的医疗文本生成方法
CN109003651A (zh) * 2018-06-29 2018-12-14 上海联影医疗科技有限公司 病灶报告生成装置和方法
CN111159454A (zh) * 2019-12-30 2020-05-15 浙江大学 基于Actor-Critic生成式对抗网络的图片描述生成方法及系统
CN111415564A (zh) * 2020-03-02 2020-07-14 武汉大学 基于人工智能的胰腺超声内镜检查导航方法及系统
CN113555078A (zh) * 2021-06-16 2021-10-26 合肥工业大学 模式驱动的胃镜检查报告智能生成方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴蠡荪，王育才: "《新编临床辅助检查指南》", 30 June 1999, 中国医药科技出版社 *
李德毅，于剑，中国人工智能学会: "《中国科协新一代信息技术系列丛书 人工智能导论》", 31 August 2018, 中国科学技术出版社 *

Similar Documents

Publication Publication Date Title
JP7100336B2 (ja) デジタル病理学のために、画像を処理し、処理された画像を分類するためのシステムおよび方法
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
US11494907B2 (en) Systems and methods for processing electronic images for computational assessment of disease
Sinagra et al. Use of artificial intelligence in improving adenoma detection rate during colonoscopy: might both endoscopists and pathologists be further helped
CN115131300B (zh) 一种基于深度学习的骨性关节炎智能三维诊断方法及系统
CN115210772A (zh) 用于处理通用疾病检测的电子图像的系统和方法
CN115210817A (zh) 用于分析电子图像以进行质量控制的系统和方法
Takahashi et al. Artificial intelligence and deep learning: New tools for histopathological diagnosis of nonalcoholic fatty liver disease/nonalcoholic steatohepatitis
Low et al. Automated detection of cecal intubation with variable bowel preparation using a deep convolutional neural network
CN113889213A (zh) 超声内镜报告的生成方法、装置、计算机设备及存储介质
WO2020078252A1 (en) Method, apparatus and system for automatic diagnosis
CN116168029A (zh) 一种用于评估肋骨骨折的方法、设备和介质
Zulqarnain et al. Machine and deep learning in inflammatory bowel disease
EP4116992A1 (en) Method and system for predicting expression of biomarker from medical image
Basiron et al. Medical image processing using matlab in detecting kidney stones
Oner et al. An AI-assisted tool for efficient prostate cancer diagnosis
Kanwal et al. Extract, detect, eliminate: Enhancing reliability and performance of computational pathology through artifact processing pipelines
Monabbati et al. Automated analysis of computerized morphological features of cell clusters associated with malignancy on bile duct brushing whole slide images
NZ766350A (en) Sequencing data-based itd mutation ratio detecting apparatus and method
KR102526434B1 (ko) 병변 진단 장치 및 그 방법
US20240127444A1 (en) Systems and methods for biomarker detection in digitized pathology samples
Adlersson Is eXplainable AI suitable as a hypotheses generating tool for medical research? Comparing basic pathology annotation with heat maps to find out
US20230197250A1 (en) Medical information processing device, medical information processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220104