CN112242185A - 基于深度学习的医学图像报告自动生成方法及系统 - Google Patents

基于深度学习的医学图像报告自动生成方法及系统 Download PDF

Info

Publication number
CN112242185A
CN112242185A CN202010940977.7A CN202010940977A CN112242185A CN 112242185 A CN112242185 A CN 112242185A CN 202010940977 A CN202010940977 A CN 202010940977A CN 112242185 A CN112242185 A CN 112242185A
Authority
CN
China
Prior art keywords
report
medical image
deep learning
text
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010940977.7A
Other languages
English (en)
Inventor
崔立真
曹益铭
何伟
郭伟
鹿旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010940977.7A priority Critical patent/CN112242185A/zh
Publication of CN112242185A publication Critical patent/CN112242185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

本申请公开了基于深度学习的医学图像报告自动生成方法及系统，包括：获取待生成报告的医学图像；将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。本申请改善了传统医学图像报告的生成过程，传统的报告书写是医生根据自身的知识和经验进行判断，而本申请可以在医生进行报告书写时给出有效的参考，用来辅助医生的报告书写，从而提高医生的工作效率。

Description

基于深度学习的医学图像报告自动生成方法及系统
技术领域
本申请涉及深度学习技术领域，特别是涉及基于深度学习的医学图像报告自动生成方法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。
目前医师通过临床应用的医学图像报告系统对医学图像所见进行报告书写，报告的形成过程是医师根据医学图像进行主观判断后，通过操作计算机鼠标、键盘等输入设备书写图像所显示的内容。
在实现本申请的过程中，发明人发现现有技术中存在以下技术问题：
因为不同医师的业务水平和工作环境不同造成书写的医学图像报告的质量良莠不齐，此外，医师在根据图像做出判断后，还需要花费大量的时间操作计算机输入设备书写报告，容易出现效率低下的问题。
发明内容
为了解决现有技术的不足，本申请提供了基于深度学习的医学图像报告自动生成方法及系统；基于医学图像(含视频)自动生成医学图像所对应的医学报告，辅助医生进行医学图像报告的书写，提高医师工作效率。
第一方面，本申请提供了基于深度学习的医学图像报告自动生成方法；
基于深度学习的医学图像报告自动生成方法，包括：
获取待生成报告的医学图像；
将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；
所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。
第二方面，本申请提供了基于深度学习的医学图像报告自动生成系统；
基于深度学习的医学图像报告自动生成系统，包括：
获取模块，其被配置为：获取待生成报告的医学图像；
报告生成模块，其被配置为：将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；
所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。
第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比，本申请的有益效果是：
本申请使用ImageEncoder+TextDecoder的深度学习模型自动提取医学图像特征和文本特征，并将图像特征与文本特征相结合，自动生成医学图像的文本描述报告。本申请改善了传统医学图像报告的生成过程，传统的报告书写是医生根据自身的知识和经验进行判断，而本申请可以在医生进行报告书写时给出有效的参考，用来辅助医生的报告书写，从而提高医生的工作效率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的深度学习模型示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于深度学习的医学图像报告自动生成方法；
如图1所示，基于深度学习的医学图像报告自动生成方法，包括：
S101：获取待生成报告的医学图像；
S102：将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；
所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。
作为一个或多个实施例，如图2所示，所述预先训练好的深度学习模型，网络架构包括：
图像编码器ImageEncoder、文本嵌入层Text Embedding、注意力机制模块Attention和文本解码器TextDecoder；
所述图像编码器Image Encoder的输入端用于输入医学图像；所述图像编码器Image Encoder对医学图像进行特征提取，所述图像编码器Image Encoder还将提取的医学图像特征从图像的语义空间转为词向量的语义空间得到图像特征向量；
所述文本嵌入层Text Embedding的输入端用于输入预处理后的文本描述数据；所述文本嵌入层Text Embedding对文本描述数据中的每个词进行词嵌入处理，得到文本描述数据中每个词的词嵌入向量；
将图像编码器Image Encoder的输出的图像特征向量与文本嵌入层TextEmbedding的词嵌入向量进行串联拼接，得到融合特征向量ConcatenateEmbedding；
将融合特征向量ConcatenateEmbedding输入到注意力机制模块Attention中，进行向量映射；
再将映射后的向量，输入到文本解码器TextDecoder中，文本解码器TextDecoder输出端为文本描述报告。
进一步地，所述图像编码器Image Encoder采用卷积神经网络模型CNN建立。
应理解的，Image Encoder由卷积层和池化层组成，用于提取图像特征，将训练集中获取的医学图像输入到ImageEncoder中进行图像特征提取，得到一个2048维的向量，然后使用全连接层嵌入为256维的图像特征向量，将图像从图像的语义空间转为词向量的语义空间。
应理解的，所述文本嵌入层Text Embedding将与图像对应的分词后的文本描述输入到Embedding层(嵌入层)，将文本描述中的每个词进行词嵌入，Embedding的输出是文本描述中每个词的词嵌入向量。
进一步地，所述文本解码器TextDecoder，采用循环神经网络RNN建立。
进一步地，所述文本解码器TextDecoder，计算每个词的输出，采用beam search算法搜索最优结果，beam search是一个动态规划算法，每次搜索时不只记下最可能的一个词，而是记住最可能的k个词，然后继续搜索下一个词，找到k2个序列，保存概率最大的k，不断搜索直到最后得到最优结果。
作为一个或多个实施例，所述预先训练好的深度学习模型，训练步骤包括：
获取医学图像数据和文本描述报告数据；将获取到的医学图像数据和文本描述报告数据进行匹配对应，删除数据缺失的记录；
对文本描述数据进行预处理，所述预处理，包括分词和将文本描述进行等长补齐处理；将预处理之后的结果存储到数据库中；
构建数据集，所述数据集为患者的医学图像数据和对应的文本描述数据；
将数据集按比例划分为：训练集、验证集和测试集；
将训练集，输入到深度学习模型中，对深度学习模型进行训练，得到训练好的深度学习模型。
进一步地，所述分词处理，是将文本放入分词器中对文本描述进行分词。
进一步地，所述将文本描述进行等长补齐处理，是使用空格字符补齐为最长的文本长度。
应理解的，对于医学领域的词汇，采用医学词汇词典进行分词以保证更高的正确率；将文本描述数据放入分词器中对文本描述进行分词，分词器采用中文分词效果优秀的jieba分词工具，对于涉及到的医学领域的词汇，采用医学词汇词典作为补充，以保证更高的正确率。
示例性的，所述患者的医学图像数据，包括但不限于：消化内镜视频、图像数据和甲状腺超声图像数据。
示例性的，所述对应的文本描述数据，包括但不限于：消化内镜镜下所见报告、甲状腺超声报告数据。
进一步地，所述获取医学图像数据和文本描述报告数据步骤之后，还包括：
对文本描述数据中的敏感信息进行脱敏处理。
用病人id唯一标识一个病人，将数据中包含的病人私人信息脱敏处理。将脱敏处理的数据存储到构建的mysql数据库中。
应理解的，所述删除数据缺失的记录，是指：删除只有医学图像而没有对应的文本描述报告的这类数据。
从数据库中提取出医学图像及其对应的分词后的文本描述构建作为数据集，按照6:2:2的比例划分为训练集、验证集和测试集。
通过使用训练集的数据，对模型进行训练，通过使用验证集的数据进行调参和对模型的优化，最终会训练好模型，可以较好地根据医学图片自动生成文本描述报告。
从测试集中获取新的医学图像，将图像输入到训练好的ImageEncoder+TextDecoder模型中，模型可以根据提取到的图像特征生成对应的文本描述报告。
将医学图像和由模型生成的文本描述报告进行组合，通过报告展示界面展示给用户。
使用构建知识图谱的技术，构建了一个医疗领域的专业知识图谱，作为医学词汇词典。本模块包括一个Neo4j数据库，用来存储构建好的医学词汇词典。
本申请使用ImageEncoder+TextDecoder的深度学习模型自动提取医学图像特征和文本特征，并将图像特征与文本特征相结合，自动生成医学图像的文本描述报告。本申请改善了传统医学图像报告的生成过程，传统的报告书写是医生根据自身的知识和经验进行判断，而本申请可以在医生进行报告书写时给出有效的参考，用来辅助医生的报告书写，从而提高医生的工作效率。
实施例二
本实施例提供了基于深度学习的医学图像报告自动生成系统；
基于深度学习的医学图像报告自动生成系统，包括：
获取模块，其被配置为：获取待生成报告的医学图像；
报告生成模块，其被配置为：将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；
所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。
此处需要说明的是，上述获取模块和报告生成模块对应于实施例一中的步骤S101至S102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于深度学习的医学图像报告自动生成方法，其特征是，包括：
获取待生成报告的医学图像；
将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；
所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。
2.如权利要求1所述的方法，其特征是，所述预先训练好的深度学习模型，网络架构包括：
图像编码器Image Encoder、文本嵌入层Text Embedding、注意力机制模块Attention和文本解码器TextDecoder；
所述图像编码器Image Encoder的输入端用于输入医学图像；所述图像编码器ImageEncoder对医学图像进行特征提取，所述图像编码器Image Encoder还将提取的医学图像特征从图像的语义空间转为词向量的语义空间得到图像特征向量；
所述文本嵌入层Text Embedding的输入端用于输入预处理后的文本描述数据；所述文本嵌入层Text Embedding对文本描述数据中的每个词进行词嵌入处理，得到文本描述数据中每个词的词嵌入向量；
将图像编码器Image Encoder的输出的图像特征向量与文本嵌入层Text Embedding的词嵌入向量进行串联拼接，得到融合特征向量ConcatenateEmbedding；
将融合特征向量ConcatenateEmbedding输入到注意力机制模块Attention中，进行向量映射；
再将映射后的向量，输入到文本解码器TextDecoder中，文本解码器TextDecoder输出端为文本描述报告。
3.如权利要求2所述的方法，其特征是，所述图像编码器Image Encoder采用卷积神经网络模型CNN建立。
4.如权利要求2所述的方法，其特征是，所述文本解码器TextDecoder，采用循环神经网络RNN建立。
5.如权利要求2所述的方法，其特征是，所述文本解码器TextDecoder，计算每个词的输出，采用beam search算法搜索最优结果，beam search是一个动态规划算法，每次搜索时不只记下最可能的一个词，而是记住最可能的k个词，然后继续搜索下一个词，找到k2个序列，保存概率最大的k，不断搜索直到最后得到最优结果。
6.如权利要求1所述的方法，其特征是，所述预先训练好的深度学习模型，训练步骤包括：
获取医学图像数据和文本描述报告数据；将获取到的医学图像数据和文本描述报告数据进行匹配对应，删除数据缺失的记录；
对文本描述数据进行预处理，所述预处理，包括分词和将文本描述进行等长补齐处理；将预处理之后的结果存储到数据库中；
构建数据集，所述数据集为患者的医学图像数据和对应的文本描述数据；
将数据集按比例划分为：训练集、验证集和测试集；
将训练集，输入到深度学习模型中，对深度学习模型进行训练，得到训练好的深度学习模型。
7.如权利要求6所述的方法，其特征是，所述分词处理，是将文本放入分词器中对文本描述进行分词；所述将文本描述进行等长补齐处理，是使用空格字符补齐为最长的文本长度。
8.基于深度学习的医学图像报告自动生成系统，其特征是，包括：
获取模块，其被配置为：获取待生成报告的医学图像；
报告生成模块，其被配置为：将待生成报告的医学图像输入到预先训练好的深度学习模型中，深度学习模型生成医学图像报告；辅助医生进行诊断报告的书写；
所述预先训练好的深度学习模型，是通过训练集训练得到的，所述训练集包括患者的医学图像数据和对应的文本描述数据。
9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202010940977.7A 2020-09-09 2020-09-09 基于深度学习的医学图像报告自动生成方法及系统 Pending CN112242185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010940977.7A CN112242185A (zh) 2020-09-09 2020-09-09 基于深度学习的医学图像报告自动生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010940977.7A CN112242185A (zh) 2020-09-09 2020-09-09 基于深度学习的医学图像报告自动生成方法及系统

Publications (1)

Publication Number Publication Date
CN112242185A true CN112242185A (zh) 2021-01-19

Family

ID=74171251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010940977.7A Pending CN112242185A (zh) 2020-09-09 2020-09-09 基于深度学习的医学图像报告自动生成方法及系统

Country Status (1)

Country Link
CN (1) CN112242185A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781459A (zh) * 2021-09-16 2021-12-10 人工智能与数字经济广东省实验室(广州) 一种面向血管疾病辅助报告生成方法及装置
CN114582494A (zh) * 2022-03-03 2022-06-03 数坤(北京)网络科技股份有限公司 诊断结果分析方法、装置、存储介质及电子设备
CN114724670A (zh) * 2022-06-02 2022-07-08 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种医学报告生成方法、装置、存储介质和电子设备
CN115985509A (zh) * 2022-12-14 2023-04-18 广东省人民医院 一种医学影像学数据检索系统、方法、装置和存储介质
CN116843778A (zh) * 2023-05-23 2023-10-03 北京邮电大学 一种基于放射学报告生成x线胸片图像的方法及系统
CN117437365A (zh) * 2023-12-20 2024-01-23 中国科学院深圳先进技术研究院 医学三维模型的生成方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN108376558A (zh) * 2018-01-24 2018-08-07 复旦大学 一种多模态核磁共振影像病历报告自动生成方法
CN108874776A (zh) * 2018-06-11 2018-11-23 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN109741806A (zh) * 2019-01-07 2019-05-10 北京推想科技有限公司 一种医学影像诊断报告辅助生成方法及其装置
CN109918497A (zh) * 2018-12-21 2019-06-21 厦门市美亚柏科信息股份有限公司 一种基于改进textCNN模型的文本分类方法、装置及存储介质
CN110362797A (zh) * 2019-06-14 2019-10-22 哈尔滨工业大学（深圳） 一种研究报告生成方法及相关设备
CN110399798A (zh) * 2019-06-25 2019-11-01 朱跃飞 一种基于深度学习的离散图片文件信息提取系统及方法
CN111048170A (zh) * 2019-12-23 2020-04-21 山东大学齐鲁医院 基于图像识别的消化内镜结构化诊断报告生成方法与系统
CN111063410A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
CN111079377A (zh) * 2019-12-03 2020-04-28 哈尔滨工程大学 一种面向中文医疗文本命名实体识别的方法
CN111223085A (zh) * 2020-01-09 2020-06-02 北京安德医智科技有限公司 一种基于神经网络的头部医疗影像辅助判读报告生成方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599557A (zh) * 2017-08-30 2019-12-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN108376558A (zh) * 2018-01-24 2018-08-07 复旦大学 一种多模态核磁共振影像病历报告自动生成方法
CN108874776A (zh) * 2018-06-11 2018-11-23 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN109065110A (zh) * 2018-07-11 2018-12-21 哈尔滨工业大学 一种基于深度学习方法的自动生成医学影像诊断报告的方法
CN109918497A (zh) * 2018-12-21 2019-06-21 厦门市美亚柏科信息股份有限公司 一种基于改进textCNN模型的文本分类方法、装置及存储介质
CN109741806A (zh) * 2019-01-07 2019-05-10 北京推想科技有限公司 一种医学影像诊断报告辅助生成方法及其装置
CN110362797A (zh) * 2019-06-14 2019-10-22 哈尔滨工业大学（深圳） 一种研究报告生成方法及相关设备
CN110399798A (zh) * 2019-06-25 2019-11-01 朱跃飞 一种基于深度学习的离散图片文件信息提取系统及方法
CN111079377A (zh) * 2019-12-03 2020-04-28 哈尔滨工程大学 一种面向中文医疗文本命名实体识别的方法
CN111063410A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
CN111048170A (zh) * 2019-12-23 2020-04-21 山东大学齐鲁医院 基于图像识别的消化内镜结构化诊断报告生成方法与系统
CN111223085A (zh) * 2020-01-09 2020-06-02 北京安德医智科技有限公司 一种基于神经网络的头部医疗影像辅助判读报告生成方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781459A (zh) * 2021-09-16 2021-12-10 人工智能与数字经济广东省实验室(广州) 一种面向血管疾病辅助报告生成方法及装置
CN114582494A (zh) * 2022-03-03 2022-06-03 数坤(北京)网络科技股份有限公司 诊断结果分析方法、装置、存储介质及电子设备
CN114724670A (zh) * 2022-06-02 2022-07-08 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种医学报告生成方法、装置、存储介质和电子设备
CN115985509A (zh) * 2022-12-14 2023-04-18 广东省人民医院 一种医学影像学数据检索系统、方法、装置和存储介质
CN116843778A (zh) * 2023-05-23 2023-10-03 北京邮电大学 一种基于放射学报告生成x线胸片图像的方法及系统
CN116843778B (zh) * 2023-05-23 2024-03-26 北京邮电大学 一种基于放射学报告生成x线胸片图像的方法及系统
CN117437365A (zh) * 2023-12-20 2024-01-23 中国科学院深圳先进技术研究院 医学三维模型的生成方法、装置、电子设备及存储介质
CN117437365B (zh) * 2023-12-20 2024-04-12 中国科学院深圳先进技术研究院 医学三维模型的生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112242185A (zh) 基于深度学习的医学图像报告自动生成方法及系统
US10929420B2 (en) Structured report data from a medical text report
US11024066B2 (en) Presentation generating system for medical images, training method thereof and presentation generating method
WO2022199462A1 (zh) 医学图像报告生成模型的训练方法及图像报告生成方法
US11813113B2 (en) Automated extraction of echocardiograph measurements from medical images
CN111916207A (zh) 一种基于多模态融合的疾病识别方法及装置
US10878570B2 (en) Knockout autoencoder for detecting anomalies in biomedical images
CN108984679B (zh) 对话生成模型的训练方法和装置
CN110472049B (zh) 疾病筛查文本分类方法、计算机设备和可读存储介质
US20190197418A1 (en) Analytics Framework for Selection and Execution of Analytics in a Distributed Environment
CN110263167B (zh) 医疗实体分类模型生成方法、装置、设备和可读存储介质
US20190197419A1 (en) Registration, Composition, and Execution of Analytics in a Distributed Environment
CN111967334A (zh) 一种人体意图识别方法、系统以及存储介质
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
CN114708976A (zh) 辅助诊断技术的方法、装置、设备及存储介质
CN112069805A (zh) 结合rpa与ai的文本标注方法、装置、设备及存储介质
CN116958693A (zh) 图像分析方法、装置、设备、存储介质和程序产品
CN116884648A (zh) 基于中医问诊的语音交互优化方法、装置、设备及介质
WO2022071208A1 (ja) 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法
CN114387602B (zh) 医疗ocr数据优化模型训练方法、优化方法及设备
CN113988274B (zh) 一种基于深度学习的文本智能生成方法
CN114492386A (zh) 网络文本中药物名称及药物不良反应的联合检测方法
CN114840680A (zh) 一种实体关系联合抽取方法、装置、存储介质及终端
US11386991B2 (en) Methods and apparatus for artificial intelligence informed radiological reporting and model refinement
CN111815631B (zh) 模型生成方法、装置、设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination