CN107145910A - 医学影像的表现生成系统、其训练方法及表现生成方法 - Google Patents

医学影像的表现生成系统、其训练方法及表现生成方法 Download PDF

Info

Publication number
CN107145910A
CN107145910A CN201710318888.7A CN201710318888A CN107145910A CN 107145910 A CN107145910 A CN 107145910A CN 201710318888 A CN201710318888 A CN 201710318888A CN 107145910 A CN107145910 A CN 107145910A
Authority
CN
China
Prior art keywords
vector
feature vector
semantic feature
image
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710318888.7A
Other languages
English (en)
Inventor
王闾威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710318888.7A priority Critical patent/CN107145910A/zh
Publication of CN107145910A publication Critical patent/CN107145910A/zh
Priority to PCT/CN2018/077524 priority patent/WO2018205715A1/zh
Priority to US16/301,594 priority patent/US11024066B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

本发明公开了一种医学影像的表现生成系统、其训练方法及表现生成方法，在医学影像获取单元获取到二维的医学影像后，卷积神经网络单元则提取医学影像的图像特征，并将图像特征转换成图像特征向量后输出至预先建立的第一向量空间；循环神经网络单元会根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出；表现输出单元将与图像特征向量匹配的语义特征向量转换成对应的自然语言并输出；因此，该表现生成系统使得对医学影像的读取和分析变得简单和容易，在提高了读片的效率的同时，还提高了读片的质量，大大地降低了误诊的几率。

Description

医学影像的表现生成系统、其训练方法及表现生成方法
技术领域
本发明涉及计算机领域，尤指一种医学影像的表现生成系统、其训练方法及表现生成方法。
背景技术
为了提高疾病诊断的准确率，出现了各种用于表现人体影像的技术，例如核磁共振、电子计算机断层扫描(Computed tomography,CT)、X光扫描和B超(B-scanUltrasonography)扫描等，使得通过这些技术可以精确地获得一些关键信息，从而提高疾病确诊的准确率。然而，随着每年的医学影像数据的大幅度增加，读片医师的工作也变得异常繁重，并且由于每年的医学影像数据的增长量远远超过影像科医生的增长量，使得每名读片医师每天要读取近千张医学影像，超负荷的工作使得对疾病误诊的几率大大增加。
发明内容
本发明实施例提供一种医学影像的表现生成系统、其训练方法及表现生成方法，用以提高对医学影像的读片速度和信息读取的准确率，降低误诊的几率。
本发明实施例提供了一种医学影像的表现生成系统，包括：医学影像获取单元、卷积神经网络单元、循环神经网络单元和表现输出单元；其中，
所述医学影像获取单元，用于获取二维的医学影像；
所述卷积神经网络单元，用于提取所述医学影像的图像特征，并将所述图像特征转换成图像特征向量后输出至预先建立的第一向量空间；
所述循环神经网络单元，用于根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与所述图像特征向量对应的语义特征向量并输出；
所述表现输出单元，用于将与所述图像特征向量匹配的语义特征向量转换成对应的自然语言并输出。
在一种可能的实施方式中，在本发明实施例提供的上述表现生成系统中，所述循环神经网络单元，具体用于在确定所述第一向量空间中与所述图像特征向量位置相同或相近的预先建立的图像特征向量后，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，将确定出的与预先建立的图像特征向量对应的语义特征向量，确定为所述图像特征向量对应的语义特征向量，并根据预设的各语义特征向量的输出顺序，将确定出的各所述语义特征向量依次输出。
在一种可能的实施方式中，在本发明实施例提供的上述表现生成系统中，所述表现输出单元为解码器。
在一种可能的实施方式中，在本发明实施例提供的上述表现生成系统中，还包括：预处理单元，用于对获取到的所述医学影像进行缩放裁剪处理、颜色增强处理和/或复制处理，并输出至所述卷积神经网络单元。
本发明实施例还提供了一种如本发明实施例提供的上述表现生成系统的表现生成方法，包括：
获取二维的医学影像；
提取所述医学影像的图像特征，并将所述图像特征转换成图像特征向量后输出至预先建立的第一向量空间；
根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与所述图像特征向量对应的语义特征向量并输出；
将与所述图像特征向量匹配的语义特征向量转换成对应的自然语言并输出。
在一种可能的实施方式中，在本发明实施例提供的上述表现生成方法中，所述根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与所述图像特征向量对应的语义特征向量并输出，具体包括：
在确定所述第一向量空间中与所述图像特征向量位置相同或相近的预先建立的图像特征向量后，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，将确定出的与预先建立的图像特征向量对应的语义特征向量，确定为所述图像特征向量对应的语义特征向量，并根据预设的各语义特征向量的输出顺序，将确定出的各所述语义特征向量依次输出。
在一种可能的实施方式中，在本发明实施例提供的上述表现生成方法中，还包括：
对获取到的所述医学影像进行缩放裁剪处理、颜色增强处理和/或复制处理。
本发明实施例还提供了一种如本发明实施例提供的上述表现生成系统的训练方法，包括：
对所述表现生成系统输入多个二维的医学影像和包含有与所述医学影像匹配的语义特征的表现文档；
所述表现生成系统对输入的所述医学影像进行预处理后，提取所述医学影像的图像特征，生成对应的图像特征向量，并输出至预先建立的第一向量空间；
所述表现生成系统对输入的所述表现文档进行预处理后，提取所述表现文档的语义特征，生成对应的语义特征向量，并输出至预先建立的第二向量空间；
所述表现生成系统根据各所述图像特征向量和匹配的各语义特征向量，调整各所述图像特征向量和匹配的各语义特征向量之间的映射参数，以确定各所述图像特征向量和匹配的各语义特征向量之间的对应关系。
在一种可能的实施方式中，在本发明实施例提供的上述训练方法中，所述表现生成系统对输入的所述医学影像进行预处理，具体包括以下处理方式中的一种或多种：
所述表现生成系统对输入的所述医学影像进行缩放裁剪处理；
所述表现生成系统对输入的所述医学影像进行颜色增强处理；
所述表现生成系统对输入的所述医学影像进行复制处理。
在一种可能的实施方式中，在本发明实施例提供的上述训练方法中，所述表现生成系统对输入的所述表现文档进行预处理，具体包括：
所述表现生成系统对输入的所述表现文档进行分词处理。
在一种可能的实施方式中，在本发明实施例提供的上述训练方法中，所述表现生成系统根据各所述图像特征向量和匹配的各语义特征向量，调整各所述图像特征向量和匹配的各语义特征向量之间的映射参数，具体包括：
所述表现生成系统根据匹配的各语义特征向量和采用上一次调整后的映射参数确定出的各语义特征向量之间的损失度，调整各所述图像特征向量和匹配的各语义特征向量之间的映射参数，直至匹配的各语义特征向量和采用本次调整后的映射参数确定出的各语义特征向量之间的损失度属于预设范围为止。
在一种可能的实施方式中，在本发明实施例提供的上述训练方法中，所述根据匹配的各语义特征向量和采用上一次调整后的映射参数确定出的各语义特征向量之间的损失度，具体包括：
根据如下公式计算出的匹配的各语义特征向量S和采用上一次调整后的映射参数确定出的各语义特征向量Y之间的损失度L(S,Y)：
其中，N表示所述表现生成系统中循环神经网络单元包括的子单元的数量，Yt表示第t个子单元采用上一次调整后的映射参数确定出的语义特征向量，St表示所述图像特征向量匹配的第t个语义特征向量，RNN(St＝Yt)表示所述图像特征向量匹配的第t个语义特征向量St和所述第t个子单元采用上一次调整后的映射参数确定出的语义特征向量Yt相同，I表示各所述图像特征向量，CNN(I)表示各所述图像特征向量的集合。
本发明有益效果如下：
本发明实施例提供的一种医学影像的表现生成系统、其训练方法及表现生成方法，该表现生成系统包括：医学影像获取单元、卷积神经网络单元、循环神经网络单元和表现输出单元；其中，在医学影像获取单元获取到二维的医学影像后，卷积神经网络单元则提取医学影像的图像特征，并将图像特征转换成图像特征向量后输出至预先建立的第一向量空间；接着，循环神经网络单元会根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出；最后，表现输出单元将与图像特征向量匹配的语义特征向量转换成对应的自然语言并输出，最终将医学影像转换成对应的自然语言，便于医生对疾病的诊断；因此，该表现生成系统基于深度学习技术，并结合了卷积神经网络技术和循环神经网络技术，使得对医学影像的读取和分析变得简单和容易，在提高了读片的效率的同时，还提高了读片的质量，大大地降低了误诊的几率。
附图说明
图1和图2分别为本发明实施例中提供的一种医学影像的表现生成系统的结构示意图；
图3为本发明实施例中提供的一种循环神经网络单元的结构示意图；
图4为本发明实施例中提供的一种医学影像的表现生成系统的表现生成方法的流程图；
图5为本发明实施例中提供的一种医学影像的表现生成系统的训练方法的流程图。
具体实施方式
下面将结合附图，对本发明实施例提供的一种医学影像的表现生成系统、其训练方法及表现生成方法的具体实施方式进行详细地说明。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例提供的一种医学影像的表现生成系统，仅仅适用于对二维的医学影像的处理，例如X光片，而对于三维的医学影像的处理在本发明中并不适用；因此，下面就主要针对本发明实施例提供的一种医学影像的表现生成系统对二维的医学影像的处理进行详细描述。
本发明实施例提供了一种医学影像的表现生成系统，如图1所示，可以包括：医学影像获取单元101、卷积神经网络单元102、循环神经网络单元103和表现输出单元104；其中，
医学影像获取单元101，用于获取二维的医学影像；
卷积神经网络单元102，用于提取医学影像的图像特征，并将图像特征转换成图像特征向量后输出至预先建立的第一向量空间；
循环神经网络单元103，用于根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出；
表现输出单元104，用于将与图像特征向量匹配的语义特征向量转换成对应的自然语言并输出。
本发明实施例提供的上述表现生成系统，是基于深度学习技术，结合了卷积神经网络技术和循环神经网络技术，使得通过该表现生成系统可以自动地将二维的医学影像转换成对应的自然语言，以便于医生对疾病的进一步诊断，使得对医学影像的读取和分析变得简单和容易，在提高了读片的效率的同时，还提高了读片的质量，大大地降低了误诊的几率。
在具体实施时，为了使不同医院设备得到的医学影像的质量统一，提高本发明实施例提供的上述表现生成系统对质量较差的医学影像的识别精度，需要对医学影像进行预处理，以便于表现生成系统的处理；因此，在本发明实施例提供的上述表现生成系统中，如图2所示，还可以包括：预处理单元105，用于对获取到的医学影像进行缩放裁剪处理、颜色增强处理和/或复制处理，并输出至卷积神经网络单元102。
具体地，对获取到的医学影像进行的预处理过程，又可以称为扩充处理，对识别性能和泛化能力都有着非常重要的作用；此外，在进行预处理时，可以对获取到的医学影像进行缩放裁剪处理、颜色增强处理和复制处理中的一种或多种，当然并不限于上述三种处理方式，还可以是其他的处理方式，只要可以使获取到的医学影像在进行处理后，满足表现生成系统对医学影像的质量要求即可，在此不作限定。
进一步地，在本发明实施例提供的上述表现生成系统中，对获取到的医学影像进行的颜色增强处理，可以包括色彩的饱和度处理、亮度和对比度的处理等，只要能够使颜色增强处理后的医学影像，满足表现生成系统对医学影像的质量要求即可，并不限于上述处理方式。
进一步地，在本发明实施例提供的上述表现生成系统中，对获取到的医学影像进行的复制处理，主要是由于医疗数据的高度不平衡，因此需要使用复制处理等方式将特殊症状的案例数量增多，以提高医学影像读取的准确性。
当然，当获取到的二维的医学影像满足表现生成系统的图像质量要求时，则无需再对获取到的医学影像进行预处理，可以将医学影像获取单元101获取到的医学影像直接输入至卷积神经网络单元102即可，在此不作限定。
一般地，在向量空间中，具有相似意义的两个向量在向量空间中的位置非常相近，相应地，在预先建立的第一向量空间中，相似的两个图像特征所对应的向量在向量空间中的位置同样会非常相近，所以，可以根据这一特点，首先在预先建立的第一向量空间中，寻找与图像特征向量位置相同或相近的预先建立的图像特征向量，然后根据预先建立的图像特征向量与第二向量空间中的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量；因此，在本发明实施例提供的上述表现生成系统中，循环神经网络单元103，具体用于在确定第一向量空间中与图像特征向量位置相同或相近的预先建立的图像特征向量后，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，将确定出的与预先建立的图像特征向量对应的语义特征向量，确定为图像特征向量对应的语义特征向量，并根据预设的各语义特征向量的输出顺序，将确定出的各语义特征向量依次输出。
具体地，预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，是在本发明实施例提供的上述表现生成系统建立完成之后，采用大量的数据进行训练学习之后确定的(具体的训练过程会在下面的描述中作详细介绍)，因此，可以保证经过本发明实施例提供的上述表现生成系统处理得到的与医学影像对应的自然语言信息是比较准确的，可以作为医生在诊断病情时的有益参考。
具体地，在本发明实施例提供的上述表现生成系统中，在根据预设的各语义特征向量的输出顺序，将确定出的各语义特征向量依次输出时，预设的各语义特征向量的输出顺序，一般是根据读片医师在人工读取医学影像时常采用的描述顺序而确定的，但并不限于此，还可以是特定的顺序，以便于医生更好的理解，在此不作限定。
具体地，在本发明实施例提供的上述表现生成系统中，循环神经网络单元103在根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出时，循环神经网络单元103内部的结构采用现有技术中的结构设置，如图3所示，循环神经网络单元103包括多个级联的子单元，因一个子单元只能输出一个语义特征向量，因此子单元的设置数量一般是在对表现生成系统训练过程中，根据用于训练的语义特征向量的个数而设定的，当然，设置的子单元数量可以大于或等于用于训练的语义特征向量的个数；同时，每个子单元不仅输入时序的各语义特征向量301(如图3中所示的虚线)，还输入各图像特征向量302(如图3中所示的实线)。
进一步地，如图3所示，第一级子单元303在接收到预设的起始符向量304后，开始工作，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，以及预设的各语义特征向量的输出顺序，将确定出的语义特征向量中的第一个语义特征向量305输出；同时，第一级子单元303不仅将输出的第一个语义特征向量305传递至第二级子单元306，还将处理结果传递给至第二级子单元306；第二级子单元306在接收到第一级子单元303传递的信息后，将确定出的第二个语义特征向量307输出；同时，第二级子单元306将输出的第二个语义特征向量307传递至第三级子单元308，还将处理结果传递给至第三级子单元308；以此类推，直至第N-1级子单元309将确定出的第N-1个语义特征向量310输出，第N-1级子单元309同样地将第N-1个语义特征向量310和处理结果传递给至第N级子单元311，此时，第N级子单元311输出预设的终止符向量312，表示语义特征向量确定结束；当然，除第一级子单元303之外，每级子单元还可以将本级处理的结果传递至上一级子单元,在此不作限定。
在具体实施时，在本发明实施例提供的上述表现生成系统中，表现输出单元104为解码器，负责将循环神经网络单元103输出的各语义特征向量转换成对应的自然语言，而一个语义特征向量可以对应一个词，还可以对应一个短语，将转换后的自然语言组合便得到了医学影像的分析结果，可以大大提高医学影像读取和分析的效率。
基于同一发明构思，本发明实施例还提供了一种如本发明实施例提供的上述表现生成系统的表现生成方法，由于该表现生成方法解决问题的原理与前述一种医学影像的表现生成系统相似，故该方法的实施可以参见前述系统的实施，重复之处不在赘述。
具体地，本发明实施例提供的上述表现生成方法，如图4所示，可以包括：
S401、获取二维的医学影像；
S402、提取医学影像的图像特征，并将图像特征转换成图像特征向量后输出至预先建立的第一向量空间；
S403、根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出；
S404、将与图像特征向量匹配的语义特征向量转换成对应的自然语言并输出。
本发明实施例提供的上述表现生成方法，是基于深度学习技术，并结合了卷积神经网络技术和循环神经网络技术，使得通过该表现生成方法可以自动地将二维的医学影像转换成对应的自然语言，以便于医生对疾病的进一步诊断，使得对医学影像的读取和分析变得简单和容易，在提高了读片的效率的同时，还提高了读片的质量，大大地降低了误诊的几率。
在具体实施时，为了确定与图像特征向量对应的语义特征向量并输出，在本发明实施例提供的上述表现生成方法中的步骤S403根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出，可以具体包括：
在确定第一向量空间中与图像特征向量位置相同或相近的预先建立的图像特征向量后，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，将确定出的与预先建立的图像特征向量对应的语义特征向量，确定为图像特征向量对应的语义特征向量，并根据预设的各语义特征向量的输出顺序，将确定出的各语义特征向量依次输出。
在具体实施时，在本发明实施例提供的上述表现生成方法中，还可以包括：对获取到的医学影像进行缩放裁剪处理、颜色增强处理和/或复制处理。
基于同一发明构思，本发明实施例还提供了一种如本发明实施例提供的上述表现生成系统的训练方法，如图5所示，可以包括：
S501、对表现生成系统输入多个二维的医学影像；
S502、表现生成系统对输入的医学影像进行预处理后，提取医学影像的图像特征，生成对应的图像特征向量，并输出至预先建立的第一向量空间；执行步骤S505；
S503、对表现生成系统输入包含有与医学影像匹配的语义特征的表现文档；
S504、表现生成系统对输入的表现文档进行预处理后，提取表现文档的语义特征，生成对应的语义特征向量，并输出至预先建立的第二向量空间；
S505、表现生成系统根据各图像特征向量和匹配的各语义特征向量，调整各图像特征向量和匹配的各语义特征向量之间的映射参数，以确定各图像特征向量和匹配的各语义特征向量之间的对应关系。
在具体实施时，为了便于表现生成系统对获取的医学影像进行处理，在本发明实施例提供的上述训练方法中的步骤S502表现生成系统对输入的医学影像进行预处理，可以具体包括以下处理方式中的一种或多种：
表现生成系统对输入的医学影像进行缩放裁剪处理；
表现生成系统对输入的医学影像进行颜色增强处理；
表现生成系统对输入的医学影像进行复制处理。
具体地，在对输入的医学影像进行预处理之后，将医学影像输出至表现生成系统中的卷积神经网络单元，以使卷积神经网络单元对预处理后的医学影像进行图像特征提取，并将提取的图像特征转换成对应的图像特征向量，并输出至预先建立的第一向量空间中，以便于循环神经网络单元确定与图像特征向量匹配的语义特征向量。
进一步地，可以采用现有的卷积神经网络(Convolutional Neural Network,CNN)模型对卷积神经网络单元进行训练，例如初始残差网络(Inception-ResNet)或谷歌网络结构(GoogLeNet v3)等最新的CNN模型；还可以根据其工作原理自行搭建CNN网络进行训练；此外，在卷积神经网络单元的训练过程中，CNN网络的初始参数可以设置为ImageNet等已标注图像数据库的训练好的参数，以使表现生成系统正常的工作。
在具体实施时，为了能够获取到输入的表现文档中的各语义特征，需要对表现文档进行预处理；因此，在本发明实施例提供的上述训练方法中的步骤S503表现生成系统对输入的表现文档进行预处理，可以具体包括：
表现生成系统对输入的表现文档进行分词处理。
具体地，因不同医生对相似的医学影像有着不同的表述和解读，为了确保最后生成的自然语言的一致性，在对表述文档进行分词处理后，提取各语义特征，并转换成对应的语义特征向量，输出至预先建立的第二向量空间；在这一步骤的训练过程中，可以采用词嵌入(word embedding)的方式将医学术语与表述的语义特征转换成向量，使得具有相似意义的语义特征向量在第二向量空间中的位置相近。
在具体实施时，在本发明实施例提供的上述训练方法中的步骤S504表现生成系统根据各图像特征向量和匹配的各语义特征向量，调整各图像特征向量和匹配的各语义特征向量之间的映射参数，可以具体包括：
表现生成系统根据匹配的各语义特征向量和采用上一次调整后的映射参数确定出的各语义特征向量之间的损失度，调整各图像特征向量和匹配的各语义特征向量之间的映射参数，直至匹配的各语义特征向量和采用本次调整后的映射参数确定出的各语义特征向量之间的损失度属于预设范围为止。
具体地，为了确定匹配的各语义特征向量和采用上一次调整后的映射参数确定出的各语义特征向量之间的损失度，在本发明实施例提供的上述训练方法中，可以具体包括：
根据如下公式计算出的匹配的各语义特征向量S和采用上一次调整后的映射参数确定出的各语义特征向量Y之间的损失度L(S,Y)：
其中，N表示表现生成系统中循环神经网络单元包括的子单元的数量，Yt表示第t个子单元采用上一次调整后的映射参数确定出的语义特征向量，St表示图像特征向量匹配的第t个语义特征向量，RNN(St＝Yt)表示图像特征向量匹配的第t个语义特征向量St和第t个子单元采用上一次调整后的映射参数确定出的语义特征向量Yt相同，I表示各图像特征向量，CNN(I)表示各图像特征向量的集合。
具体地，在计算匹配的各语义特征向量S和采用上一次调整后的映射参数确定出的各语义特征向量Y之间的损失度L(S,Y)时，采用的公式为损失函数公式，当然上述公式只是损失函数中的一种，且在计算时并不限于只是使用上述损失函数公式来计算损失度L(S,Y)，在此不作限定；并且，上述损失函数可以作为对表现生成系统的训练结果的评判标准，当计算得到的损失度L(S,Y)越小，表明对表现生成系统的训练就越好，利用该训练后的表现生成系统，在对医学影像进行处理后得到的自然语言也就越准确。
具体地，在对表现生成系统中的循环神经网络单元进行训练时，可以采用现有技术中的循环神经网络(Recurrent Neural Network,RNN)模型中适合自然语言生成的模型进行训练，例如时间递归神经网络(Long Short-Term Memory,LSTM)和栅循环单元(GatedRecurrent Unit,GRU)等；当然，还可以在现有技术上根据表现生成系统的需要进行搭建和改进，只要能够使表现生成系统完成对医学影像的读取即可，在此不作限定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
本发明实施例提供了一种医学影像的表现生成系统、其训练方法及表现生成方法，该表现生成系统包括：医学影像获取单元、卷积神经网络单元、循环神经网络单元和表现输出单元；其中，在医学影像获取单元获取到二维的医学影像后，卷积神经网络单元则提取医学影像的图像特征，并将图像特征转换成图像特征向量后输出至预先建立的第一向量空间；接着，循环神经网络单元会根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与图像特征向量对应的语义特征向量并输出；最后，表现输出单元将与图像特征向量匹配的语义特征向量转换成对应的自然语言并输出，最终将医学影像转换成对应的自然语言，便于医生对疾病的诊断；因此，该表现生成系统基于深度学习技术，并结合了卷积神经网络技术和循环神经网络技术，使得对医学影像的读取和分析变得简单和容易，在提高了读片的效率的同时，还提高了读片的质量，大大地降低了误诊的几率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种医学影像的表现生成系统，其特征在于，包括：医学影像获取单元、卷积神经网络单元、循环神经网络单元和表现输出单元；其中，
所述医学影像获取单元，用于获取二维的医学影像；
所述卷积神经网络单元，用于提取所述医学影像的图像特征，并将所述图像特征转换成图像特征向量后输出至预先建立的第一向量空间；
所述循环神经网络单元，用于根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与所述图像特征向量对应的语义特征向量并输出；
所述表现输出单元，用于将与所述图像特征向量匹配的语义特征向量转换成对应的自然语言并输出。
2.如权利要求1所述的表现生成系统，其特征在于，所述循环神经网络单元，具体用于在确定所述第一向量空间中与所述图像特征向量位置相同或相近的预先建立的图像特征向量后，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，将确定出的与预先建立的图像特征向量对应的语义特征向量，确定为所述图像特征向量对应的语义特征向量，并根据预设的各语义特征向量的输出顺序，将确定出的各所述语义特征向量依次输出。
3.如权利要求1所述的表现生成系统，其特征在于，所述表现输出单元为解码器。
4.如权利要求1-3任一项所述的表现生成系统，其特征在于，还包括：预处理单元，用于对获取到的所述医学影像进行缩放裁剪处理、颜色增强处理和/或复制处理，并输出至所述卷积神经网络单元。
5.一种如权利要求1-4任一项所述的表现生成系统的表现生成方法，其特征在于，包括：
获取二维的医学影像；
提取所述医学影像的图像特征，并将所述图像特征转换成图像特征向量后输出至预先建立的第一向量空间；
根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与所述图像特征向量对应的语义特征向量并输出；
将与所述图像特征向量匹配的语义特征向量转换成对应的自然语言并输出。
6.如权利要求5所述的表现生成方法，其特征在于，所述根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，确定与所述图像特征向量对应的语义特征向量并输出，具体包括：
在确定所述第一向量空间中与所述图像特征向量位置相同或相近的预先建立的图像特征向量后，根据预先建立的第一向量空间中包含的图像特征向量与第二向量空间中包含的匹配的语义特征向量之间的对应关系，将确定出的与预先建立的图像特征向量对应的语义特征向量，确定为所述图像特征向量对应的语义特征向量，并根据预设的各语义特征向量的输出顺序，将确定出的各所述语义特征向量依次输出。
7.如权利要求5或6所述的表现生成方法，其特征在于，还包括：
对获取到的所述医学影像进行缩放裁剪处理、颜色增强处理和/或复制处理。
8.一种如权利要求1-4任一项所述的表现生成系统的训练方法，其特征在于，包括：
对所述表现生成系统输入多个二维的医学影像和包含有与所述医学影像匹配的语义特征的表现文档；
所述表现生成系统对输入的所述医学影像进行预处理后，提取所述医学影像的图像特征，生成对应的图像特征向量，并输出至预先建立的第一向量空间；
所述表现生成系统对输入的所述表现文档进行预处理后，提取所述表现文档的语义特征，生成对应的语义特征向量，并输出至预先建立的第二向量空间；
所述表现生成系统根据各所述图像特征向量和匹配的各语义特征向量，调整各所述图像特征向量和匹配的各语义特征向量之间的映射参数，以确定各所述图像特征向量和匹配的各语义特征向量之间的对应关系。
9.如权利要求8所述的训练方法，其特征在于，所述表现生成系统对输入的所述医学影像进行预处理，具体包括以下处理方式中的一种或多种：
所述表现生成系统对输入的所述医学影像进行缩放裁剪处理；
所述表现生成系统对输入的所述医学影像进行颜色增强处理；
所述表现生成系统对输入的所述医学影像进行复制处理。
10.如权利要求8所述的训练方法，其特征在于，所述表现生成系统对输入的所述表现文档进行预处理，具体包括：
所述表现生成系统对输入的所述表现文档进行分词处理。
11.如权利要求8所述的训练方法，其特征在于，所述表现生成系统根据各所述图像特征向量和匹配的各语义特征向量，调整各所述图像特征向量和匹配的各语义特征向量之间的映射参数，具体包括：
所述表现生成系统根据匹配的各语义特征向量和采用上一次调整后的映射参数确定出的各语义特征向量之间的损失度，调整各所述图像特征向量和匹配的各语义特征向量之间的映射参数，直至匹配的各语义特征向量和采用本次调整后的映射参数确定出的各语义特征向量之间的损失度属于预设范围为止。
12.如权利要求11所述的训练方法，其特征在于，所述根据匹配的各语义特征向量和采用上一次调整后的映射参数确定出的各语义特征向量之间的损失度，具体包括：
根据如下公式计算出的匹配的各语义特征向量S和采用上一次调整后的映射参数确定出的各语义特征向量Y之间的损失度L(S,Y)：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>S</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <mo>{</mo> <mi>P</mi> <mo>&amp;lsqb;</mo> <mi>R</mi> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>t</mi> </msub> <mo>=</mo> <msub> <mi>Y</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <mi>C</mi> <mi>N</mi> <mi>N</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>}</mo> </mrow> <mi>N</mi> </mfrac> </mrow>
其中，N表示所述表现生成系统中循环神经网络单元包括的子单元的数量，Yt表示第t个子单元采用上一次调整后的映射参数确定出的语义特征向量，St表示所述图像特征向量匹配的第t个语义特征向量，RNN(St＝Yt)表示所述图像特征向量匹配的第t个语义特征向量St和所述第t个子单元采用上一次调整后的映射参数确定出的语义特征向量Yt相同，I表示各所述图像特征向量，CNN(I)表示各所述图像特征向量的集合。
CN201710318888.7A 2017-05-08 2017-05-08 医学影像的表现生成系统、其训练方法及表现生成方法 Pending CN107145910A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710318888.7A CN107145910A (zh) 2017-05-08 2017-05-08 医学影像的表现生成系统、其训练方法及表现生成方法
PCT/CN2018/077524 WO2018205715A1 (zh) 2017-05-08 2018-02-28 医学影像的表现生成系统、其训练方法及表现生成方法
US16/301,594 US11024066B2 (en) 2017-05-08 2018-02-28 Presentation generating system for medical images, training method thereof and presentation generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710318888.7A CN107145910A (zh) 2017-05-08 2017-05-08 医学影像的表现生成系统、其训练方法及表现生成方法

Publications (1)

Publication Number Publication Date
CN107145910A true CN107145910A (zh) 2017-09-08

Family

ID=59778332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710318888.7A Pending CN107145910A (zh) 2017-05-08 2017-05-08 医学影像的表现生成系统、其训练方法及表现生成方法

Country Status (3)

Country Link
US (1) US11024066B2 (zh)
CN (1) CN107145910A (zh)
WO (1) WO2018205715A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009154A (zh) * 2017-12-20 2018-05-08 哈尔滨理工大学 一种基于深度学习模型的图像中文描述方法
WO2018205715A1 (zh) * 2017-05-08 2018-11-15 京东方科技集团股份有限公司 医学影像的表现生成系统、其训练方法及表现生成方法
CN109166120A (zh) * 2018-09-11 2019-01-08 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109378066A (zh) * 2018-12-20 2019-02-22 翼健(上海)信息科技有限公司 一种基于特征向量实现疾病预测的控制方法及控制装置
WO2019052062A1 (zh) * 2017-09-15 2019-03-21 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
WO2019052561A1 (zh) * 2017-09-18 2019-03-21 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
CN109559799A (zh) * 2018-10-12 2019-04-02 华南理工大学 医学图像语义描述方法、描述模型的构建方法及该模型
CN109830284A (zh) * 2017-11-23 2019-05-31 天启慧眼(北京)信息技术有限公司 医学影像的分析方法及装置
CN109887577A (zh) * 2017-11-06 2019-06-14 北京昆仑医云科技有限公司 用于基于患者的医学图像生成报告的系统、方法和介质
CN109978139A (zh) * 2019-03-20 2019-07-05 深圳大学 图片自动生成描述的方法、系统、电子装置及存储介质
CN110232413A (zh) * 2019-05-31 2019-09-13 华北电力大学（保定） 基于gru网络的绝缘子图像语义描述方法、系统、装置
US10600511B2 (en) 2018-02-20 2020-03-24 International Business Machine Corporation Accelerating human understanding of medical images by dynamic image alteration
CN111063410A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
US10643092B2 (en) 2018-06-21 2020-05-05 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing with an image pyramid
CN111414750A (zh) * 2020-03-18 2020-07-14 北京百度网讯科技有限公司 一种词条的同义判别方法、装置、设备和存储介质
US10776923B2 (en) 2018-06-21 2020-09-15 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing
US10803579B2 (en) 2017-10-13 2020-10-13 Beijing Keya Medical Technology Co., Ltd. Interactive clinical diagnosis report system
CN112419437A (zh) * 2019-11-29 2021-02-26 上海联影智能医疗科技有限公司 用于重建磁共振图像的系统和方法
CN112529857A (zh) * 2020-12-03 2021-03-19 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法
US11227389B2 (en) 2017-10-13 2022-01-18 Keya Medical Technology Co., Ltd. Interactive clinical diagnosis report system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622213B (zh) * 2018-02-09 2022-11-15 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的系统和方法
US20220284542A1 (en) * 2021-03-08 2022-09-08 Embryonics LTD Semantically Altering Medical Images
CN114628036B (zh) * 2022-05-17 2022-08-02 中南大学湘雅医院 基于神经网络的脑缺血风险预估平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373518A (zh) * 2008-06-28 2009-02-25 合肥工业大学 图像理解中基于语义信息原型向量构成及序参量重构方法
CN101853295A (zh) * 2010-05-28 2010-10-06 天津大学 一种图像检索方法
CN102053963A (zh) * 2009-10-28 2011-05-11 沈阳工业大学 一种胸部x线图像检索方法
CN104657350A (zh) * 2015-03-04 2015-05-27 中国科学院自动化研究所 融合隐式语义特征的短文本哈希学习方法
CN105184307A (zh) * 2015-07-27 2015-12-23 蚌埠医学院 一种医学领域图像语义相似度矩阵的生成方法
CN105894088A (zh) * 2016-03-25 2016-08-24 苏州赫博特医疗信息科技有限公司 基于深度学习及分布式语义特征医学信息抽取系统及方法
CN106021442A (zh) * 2016-05-16 2016-10-12 江苏大学 一种网络新闻概要提取方法
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL179582A0 (en) * 2006-11-26 2007-05-15 Algotec Systems Ltd Comparison workflow automation by registration
JP5484444B2 (ja) * 2009-03-31 2014-05-07 株式会社日立メディコ 医用画像診断装置、容積計算方法
US8675944B2 (en) * 2012-01-12 2014-03-18 Kabushiki Kaisha Toshiba Method of registering image data
EP2912634B1 (en) * 2012-10-26 2017-08-02 Brainlab AG Determining a four-dimensional ct image based on three-dimensional ct data and four-dimensional model data
RU2677764C2 (ru) * 2013-10-18 2019-01-21 Конинклейке Филипс Н.В. Координатная привязка медицинских изображений
CN105469376B (zh) 2014-08-12 2019-10-25 腾讯科技（深圳）有限公司 确定图片相似度的方法和装置
CN105654135A (zh) 2015-12-30 2016-06-08 成都数联铭品科技有限公司 一种基于递归神经网络的图像文字序列识别系统
CN105718952B (zh) * 2016-01-22 2018-10-30 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的系统
CN105760507B (zh) * 2016-02-23 2019-05-03 复旦大学 基于深度学习的跨模态主题相关性建模方法
CN106446526B (zh) * 2016-08-31 2019-11-15 北京千安哲信息技术有限公司 电子病历实体关系抽取方法及装置
US11195313B2 (en) * 2016-10-14 2021-12-07 International Business Machines Corporation Cross-modality neural network transform for semi-automatic medical image annotation
CN107145910A (zh) * 2017-05-08 2017-09-08 京东方科技集团股份有限公司 医学影像的表现生成系统、其训练方法及表现生成方法
US10896345B2 (en) * 2017-06-02 2021-01-19 Fujitsu Limited Feature vector generation and encryption
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
US10531807B2 (en) * 2017-12-20 2020-01-14 International Business Machines Corporation Automated extraction of echocardiograph measurements from medical images
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373518A (zh) * 2008-06-28 2009-02-25 合肥工业大学 图像理解中基于语义信息原型向量构成及序参量重构方法
CN102053963A (zh) * 2009-10-28 2011-05-11 沈阳工业大学 一种胸部x线图像检索方法
CN101853295A (zh) * 2010-05-28 2010-10-06 天津大学 一种图像检索方法
CN104657350A (zh) * 2015-03-04 2015-05-27 中国科学院自动化研究所 融合隐式语义特征的短文本哈希学习方法
CN105184307A (zh) * 2015-07-27 2015-12-23 蚌埠医学院 一种医学领域图像语义相似度矩阵的生成方法
CN105894088A (zh) * 2016-03-25 2016-08-24 苏州赫博特医疗信息科技有限公司 基于深度学习及分布式语义特征医学信息抽取系统及方法
CN106021442A (zh) * 2016-05-16 2016-10-12 江苏大学 一种网络新闻概要提取方法
CN106446782A (zh) * 2016-08-29 2017-02-22 北京小米移动软件有限公司 图像识别方法及装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018205715A1 (zh) * 2017-05-08 2018-11-15 京东方科技集团股份有限公司 医学影像的表现生成系统、其训练方法及表现生成方法
US11024066B2 (en) 2017-05-08 2021-06-01 Boe Technology Group Co., Ltd. Presentation generating system for medical images, training method thereof and presentation generating method
WO2019052062A1 (zh) * 2017-09-15 2019-03-21 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
KR20200003011A (ko) * 2017-09-18 2020-01-08 눅테크 컴퍼니 리미티드 검사 방법과 검사 장비 및 컴퓨터 판독 가능한 매체
CN109522913B (zh) * 2017-09-18 2022-07-19 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
WO2019052561A1 (zh) * 2017-09-18 2019-03-21 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
CN109522913A (zh) * 2017-09-18 2019-03-26 同方威视技术股份有限公司 检查方法和检查设备以及计算机可读介质
KR102240058B1 (ko) * 2017-09-18 2021-04-15 눅테크 컴퍼니 리미티드 검사 방법과 검사 장비 및 컴퓨터 판독 가능한 매체
US11769254B2 (en) 2017-10-13 2023-09-26 Keya Medical Technology Co., Ltd. Interactive clinical diagnosis report system
US11227389B2 (en) 2017-10-13 2022-01-18 Keya Medical Technology Co., Ltd. Interactive clinical diagnosis report system
US10803579B2 (en) 2017-10-13 2020-10-13 Beijing Keya Medical Technology Co., Ltd. Interactive clinical diagnosis report system
CN109887577A (zh) * 2017-11-06 2019-06-14 北京昆仑医云科技有限公司 用于基于患者的医学图像生成报告的系统、方法和介质
CN113470792A (zh) * 2017-11-06 2021-10-01 科亚医疗科技股份有限公司 用于基于患者的医学图像生成报告的系统、方法和介质
CN109887577B (zh) * 2017-11-06 2021-06-29 科亚医疗科技股份有限公司 用于基于患者的医学图像生成报告的系统、方法和介质
US11574112B2 (en) 2017-11-06 2023-02-07 Keya Medical Technology Co., Ltd. System and method for generating and editing diagnosis reports based on medical images
US10803581B2 (en) 2017-11-06 2020-10-13 Beijing Keya Medical Technology Co., Ltd. System and method for generating and editing diagnosis reports based on medical images
CN109830284A (zh) * 2017-11-23 2019-05-31 天启慧眼(北京)信息技术有限公司 医学影像的分析方法及装置
CN108009154A (zh) * 2017-12-20 2018-05-08 哈尔滨理工大学 一种基于深度学习模型的图像中文描述方法
CN108009154B (zh) * 2017-12-20 2021-01-05 哈尔滨理工大学 一种基于深度学习模型的图像中文描述方法
US10600511B2 (en) 2018-02-20 2020-03-24 International Business Machine Corporation Accelerating human understanding of medical images by dynamic image alteration
US11302440B2 (en) 2018-02-20 2022-04-12 International Business Machines Corporation Accelerating human understanding of medical images by dynamic image alteration
US10643092B2 (en) 2018-06-21 2020-05-05 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing with an image pyramid
US10776923B2 (en) 2018-06-21 2020-09-15 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing
CN109166120A (zh) * 2018-09-11 2019-01-08 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
CN109559799A (zh) * 2018-10-12 2019-04-02 华南理工大学 医学图像语义描述方法、描述模型的构建方法及该模型
CN109378066A (zh) * 2018-12-20 2019-02-22 翼健(上海)信息科技有限公司 一种基于特征向量实现疾病预测的控制方法及控制装置
CN109978139B (zh) * 2019-03-20 2021-06-04 深圳大学 图片自动生成描述的方法、系统、电子装置及存储介质
CN109978139A (zh) * 2019-03-20 2019-07-05 深圳大学 图片自动生成描述的方法、系统、电子装置及存储介质
CN110232413A (zh) * 2019-05-31 2019-09-13 华北电力大学（保定） 基于gru网络的绝缘子图像语义描述方法、系统、装置
CN112419437A (zh) * 2019-11-29 2021-02-26 上海联影智能医疗科技有限公司 用于重建磁共振图像的系统和方法
CN111063410A (zh) * 2019-12-20 2020-04-24 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
CN111063410B (zh) * 2019-12-20 2024-01-09 京东方科技集团股份有限公司 一种医学影像文本报告的生成方法及装置
CN111414750A (zh) * 2020-03-18 2020-07-14 北京百度网讯科技有限公司 一种词条的同义判别方法、装置、设备和存储介质
CN111414750B (zh) * 2020-03-18 2023-08-18 北京百度网讯科技有限公司 一种词条的同义判别方法、装置、设备和存储介质
CN112529857A (zh) * 2020-12-03 2021-03-19 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法
CN112529857B (zh) * 2020-12-03 2022-08-23 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法

Also Published As

Publication number Publication date
WO2018205715A1 (zh) 2018-11-15
US20190122406A1 (en) 2019-04-25
US11024066B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
CN107145910A (zh) 医学影像的表现生成系统、其训练方法及表现生成方法
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
US20210264599A1 (en) Deep learning based medical image detection method and related device
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN108280112A (zh) 摘要生成方法、装置及计算机设备
CN108416065A (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN108804591A (zh) 一种病历文本的文本分类方法及装置
CN106383912A (zh) 一种图片检索方法和装置
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN108763191A (zh) 一种文本摘要生成方法及系统
CN111860528B (zh) 基于改进U-Net网络的图像分割模型及训练方法
CN111243730A (zh) 一种基于乳腺超声影像的乳腺病灶智能分析方法及系统
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN109215014A (zh) Ct图像预测模型的训练方法、装置、设备及存储介质
CN105069767B (zh) 基于表征学习与邻域约束嵌入的图像超分辨重构方法
CN110136113A (zh) 一种基于卷积神经网络的阴道病理图像分类方法
He et al. Image captioning algorithm based on multi-branch cnn and bi-lstm
Li et al. Fingertip blood collection point localization research based on infrared finger vein image segmentation
CN116258685A (zh) 全局和局部特征同时提取与融合的多器官分割方法及装置
Zhang et al. Chronic wounds image generator based on deep convolutional generative adversarial networks
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
Liu et al. Back acupoint location method based on prior information and deep learning
CN108961228A (zh) 一种远程医疗诊断系统
CN112037237B (zh) 一种图像处理方法、装置、计算机设备及介质
CN106874823A (zh) 一种信息识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170908