CN106846306A - 一种超声图像自动描述方法和系统 - Google Patents

一种超声图像自动描述方法和系统 Download PDF

Info

Publication number
CN106846306A
CN106846306A CN201710026085.4A CN201710026085A CN106846306A CN 106846306 A CN106846306 A CN 106846306A CN 201710026085 A CN201710026085 A CN 201710026085A CN 106846306 A CN106846306 A CN 106846306A
Authority
CN
China
Prior art keywords
ultrasonoscopy
vector
models
sentence
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710026085.4A
Other languages
English (en)
Inventor
刘邦贵
曾宪华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710026085.4A priority Critical patent/CN106846306A/zh
Publication of CN106846306A publication Critical patent/CN106846306A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种超声图像自动理解生成方法，涉及计算机信息处理技术领域，CNN模型提取超声图像特征向量，分词工具将超声图像对应的描述句子进行分词，获得词序列特征向量；利用超声图像特征向量和对应的词序列特征向量训练LSTM模型；LSTM语言模型，利用束搜索方法，在时间步产生多个合适的句子，根据概率估计产生描述该幅超声图像的句子。本发明可以很好的解决传统图像主题描述自动生成中出现新的组合情况不能及时调整的问题。能广泛用于对超声图像的理解和语句描述。

Description

一种超声图像自动描述方法和系统
技术领域
本方法涉及模式识别技术领域，具体是结合深度学习算法中的卷积神经网络模型(CNN)和长短期记忆模型(LSTM)自动描述超声图像的方法。
背景技术
超声图像自动化理解生成方法指的是根据输入的超声图像，可以自动的生成对超声图像内容进行描述的句子。而现如今基于超声图像内容自动生成描述超声图像内容句子的方法正逐渐被越来越多的学者所关注，但却依旧存在一些技术难点：1)由于超声图像本身的复杂性，使得传统的特征提取方法，如：SIFT，LBP，SURF等等，并不能很好的捕捉超声图像中重要的图像信息；2)超声图像特征的捕捉除了要捕捉超声图像中病变区域，还需要捕捉病变程度信息、病变位置信息等等；3)传统的图像主题生成方法，主要是以图像检索文本信息方式为主，但是这需要准备一个专门的用于存储文本信息数据库，而且可能由于搜集的文本信息不全面，这就使得当新来的图像内容并不能用数据库中的文本信息来描述时，会使得生成的用于描述图像内容的句子效果很差。
基于上述这些问题，使用一种结合深度学习算法中卷积神经网络CNN模型(Convolut ional Neural Network，简称CNN)和长短期记忆模型(Long-Short TermMemory,简称LSTM)LSTM模型来自动生成描述超声图像内容句子的方法，不同于传统的人工特征提取方法和传统语言模型结合的方法。
发明内容
为了克服超声图像描述自动生成中存在的超声图像特征难以捕捉、超声图像中病变程度信息捕捉、超声图像中存在新情况组合等问题，本发明通过直接将超声图像和描述超声图像内容的文本内容作为训练样本对，用来训练LSTM模型，提高了对超声图像特征的捕捉能力，同时可以很好的解决传统的自动生成描述图像内容的病情新的组合情况出现等问题。
本发明解决其技术问题所采用的技术方案是：一种超声图像自动化理解生成方法，其特征在于，包括：获取超声图像并进行预处理；CNN模型提取超声图像的特征，得到固定长度的超声图像特征向量；将超声图像对应的描述句子用分词工具进行分词，将分词用独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；利用超声图像特征向量和对应的词序列特征向量训练LSTM语言模型；将超声图像特征向量输入训练好的LSTM语言模型，在每个时间步生成描述超声图像的词，将当前时间步及之前时间步得到的词进行拼接，直到句子长度达到最大长度或者遇到结束符为止，得到描述超声图像的若干个子句，利用束搜索方法，根据公式S＝argmaxS'p(S'|I)，选中一个使得概率估计P(S'|I)最大对应的句子，为描述该幅超声图像的句子。
本发明的其中一个实施例包括，所述对超声图像做预处理具体包括，图像提取模块获取超声图像，根据CNN模型的要求调整所有超声图像的大小，对调整后的超声图像的每个像素通道的像素值做减均值操作。
本发明的其中一个实施例包括，所述通过CNN模型对超声图像进行特征提取具体包括，CNN模型从超声图像最原始的像素特征开始，进行一系列的卷积和池化操作，逐层对超声图像进行特征提取，形成超声图像2维特征映射，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。
本发明的其中一个实施例包括，所述获得词序列特征向量具体包括：将第个时间步得到的词用一个one-hot向量表示，向量的大小为词库的大小，向量中的每一个位代表词库中的一个词，然后利用投影矩阵，将词的one-hot向量转换到和超声图像的特征向量相同的特征空间表示。
本发明的其中一个实施例包括，所述训练LSTM模型包括，在-1时间步输入超声图像的特征向量，其余每个时间步的LSTM产生对下一个词的预测概率值，利用该概率值得到每个时间步的损失函数，根据公式将每个时间步的损失函数相加，得到LSTM模型的损失函数，最小LSTM模型的损失函数对应的LSTM模型为训练好的LSTM语言模型，其中，I表示超声图像，S表示描述超声图像的句子，N表示描述句子的长度，pt(St)表示在t时间步时输入第t个词St在经过LSTM模型后，得到词库中词可能为下一个词的概率值。
本发明还提供一种超声图像自动化理解生成系统，包括：图像预处理模块、CNN模型、特征向量生成模块、模型训练模块、LSTM模型，图像预处理模块获取超声图像并进行预处理；CNN模型提取超声图像特征，得到固定长度的超声图像特征向量；分词工具将超声图像对应的描述句子进行分词，拆分成由词组成具有固定序列的分词，每个时间步得到的分词用一个独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；模型训练模块输入超声图像的特征向量和的词序列特征向量训练LSTM语言模型；LSTM语言模型将输入的超声图像特征向量在每个时间步产生多个图像描述候选句子，根据概率估计产生描述超声图像的句子。
本发明用训练好的CNN模型直接对超声图像进行特征提取，可以很好的捕捉超声图像中难以捕捉到的病理特征；同时将超声图像和描述超声图像内容的文本内容作为训练对，然后将提取的特征直接作为LSTM语言模型的输入，直接用得到的图像特征和词特征作为训练样本对，用来训练LSTM模型，对超声图像中病变程度、病变部位等等特征的捕捉也有很好的效果；最后生成适合描述超声图像内容的句子。CNN模型逐层从图像底层最原始的像素特征进行抽象，最终得到适合表达图像的特征，这种特征可以很好的弥补人类感知图像和机器感知图像之间“语义鸿沟”的问题。同时将超声图像和描述超声图像内容的文本内容作为训练对，用来训练LSTM模型，可以很好的解决传统图像主题描述自动生成中病情新的组合情况出现这种问题。
附图说明
图1为本发明具体模型框架图；
图2为本发明训练CNN模型在验证集上准确率的变化以及误差的变化情况。
具体实施方式
以下针对附图对本发明的实施作具体说明。
图1为本发明具体模型框架图，主要包括：CNN模型和长短期记忆(LSTM)模型。具体为，一种超声图像自动化理解生成系统，包括：图像预处理模块、CNN模型、特征向量生成模块、模型训练模块、LSTM模型，图像预处理模块获取超声图像并进行预处理；CNN模型提取超声图像的特征，得到固定长度的超声图像特征向量；分词工具生成模块将超声图像对应的描述句子拆分成由词组成具有固定序列的分词，每个时间步得到的词用一个独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；模型训练模块用超声图像的特征向量和词序列特征向量作为输入训练LSTM模型得到LSTM语言生成模型；LSTM语言生成模型将输入的超声图像特征向量在每个时间步产生多个合适的句子，根据概率估计产生描述超声图像的句子。
提取超声图像并进行预处理操作，利用训练好的卷积神经网络(CNN)模型，对超声图像进行特征提取，通过CNN模型提取的特征可以很好的捕获超声图像中复杂变化的特征，而且CNN模型直接从图像底层的像素特征逐层进行特征提取，这种特征提取方式和人类感知图像的方式十分相似，因此用这种方法进行特征提取可以很好的解决人类感知图像和机器感知图像之间“语义鸿沟”的问题。将超声图像和对应的描述超声图像内容的文本作为训练对，输入长短期记忆(LSTM)模型训练LSTM语言生成模型，通过上述训练可以很好的解决无法捕获超声图像中病变位置、病变程度等特征信息以及对新获得的超声图像中全新病理情况组合可能会得到新的内容描述等问题。
LSTM模型训练模块用超声图像的特征向量和词序列特征向量作为输入。提前在-1时间步会输入一次超声图像的特征向量Xi，然后通过一个映射矩阵Ws，将超声图像的特征向量Xi映射成低维的特征向量WsXi。然后LSTM模型在t≥0的每个时间步输入分别来自上一时间步t-1中间隐层记忆单元的激活函数的输出值，以及当前t时间步第t个词的特征向量St，由于原始词的特征向量St为one-hot向量，与超声图像的特征向量具有不同的特征空间，故先利用一个投影矩阵We，将one-hot向量转换到与超声图像相同的特征空间WeSt。本发明中，在除了-1时间步外，每个时间步t的LSTM模型都会得到词库中每个词可能为下一个词的概率值pi，然后对该概率值取对数可以得到每个时间步t的损失函数，根据公式将每个时间步的损失函数相加，就得到整个LSTM模型的损失函数L(S,I)。然后通过随机梯度优化算法，最小化损失函数。
下面以具体实例详细说明本发明的技术方案。
图像预处理操作。将所有图像的尺寸进行缩放，使其成统一的大小，然后进行去均值操作。图像提取模块获取训练集超声图像，根据CNN模型的精度要求调整所有训练集超声图像的大小，所有超声图像调整为适合CNN模型要求输入的图像大小。根据精度要求，可以有不同的设置要求，然后可进一步对调整大小后的超声图像的每个像素通道的像素值再做减均值操作。
特征提取。用预训练好的CNN模型对经过预处理的超声图像进行特征提取。从超声图像最原始的像素特征开始，利用预训练好的CNN模型中一系列的卷积和池化操作，逐层对超声图像进行特征提取，逐渐形成对超声图像具有更好描述的、更为高层的、更抽象的2维特征映射。完成所有的卷积和池化操作后，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将这些2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。
生成词特征向量。分词工具将超声图像对应的描述句子拆分成由词组成具有固定序列的词序列，每个时间步得到的词用一个独热编码one-hot向量表示，如第t个时间步的向量表示为St。向量St的大小为词库的大小，向量中的每一个位代表词库中的一个词，在向量的分量中，只有一个为1，其余全为0。例如：词序列中第t个位置的词在词库中位置是i，则在one-hot向量St中对应第i个位置用1标记，其余位置全标记为0。然后利用投影矩阵We，将词的one-hot向量St映射到与超声图像特征向量相同的特征空间。
训练LSTM模型。模型训练模块用超声图像的特征向量和词序列特征向量作为输入。不同于传统的神经网络模型的输入，在-1时间步只输入一次超声图像的特征向量Xi，LSTM模型在每个时间步t≥0的输入，分别来自上一时间步t-1中间隐层记忆单元的激活函数的输出值以及当前时间步t第t个词的特征向量St。本发明中，在除了-1时间步外，每个时间步t的LSTM都会得到词库中每个词可能为下一个词的概率值，利用该概率值可以得到每个时间步t的损失函数，根据公式将每个时间步的损失函数相加，就得到整个LSTM模型的损失函数L(S,I)。通过随机梯度优化算法，最小化LSTM模型的损失函数，得到可以直接产生描述超声图像句子的语言模型。其中I表示超声图像，S表示描述超声图像的句子，N表示描述句子的长度，pt(St)表示在t时间步时输入第t个词St在经过LSTM模型后，得到词库中每个词可能为下一个词的概率值。
生成描述新超声图像内容的句子。内容描述单元将特征向量生成模块生成的特征向量输入到训练好的LSTM语言模型，利用束搜索法，在t时间步产生多个合适的句子，内容描述单元将特征向量生成模块生成的特征向量输入到训练好的LSTM语言模型。然后在每个时间步利用包含超声图像内容信息的特征向量以及之前时间步得到的用于描述图像内容的若干个子句，自动得到一个包含词库中每个词可能出现的概率的向量，将子句与当前时间步生成的词进行拼接，得到新的子句，每个时间步会产生多个子句，组成子句的词的概率相乘得到子句的得分，利用束搜索方法，从中选择得分最高的子句作为候选句子，一直不停的迭代，直到句子长度达到最大长度或者遇到结束符为止。从最后一个时间步产生的所有句子中，根据公式S＝argmaxS'p(S'|I)，选中一个使得概率估计P(S'|I)近似最大，具有最好的概率估计句子，为产生最适合描述该幅超声图像的句子。其中s'表示LSTM模型生成描述图像I的句子，p(S'|I)表示生成的每个句子的得分，S表示得分最高的最适合描述超声图像内容的句子。
图2为本发明训练CNN模型在验证集上准确率的变化(左)以及误差的变化情况(右)。从右图中可以看出，整个CNN模型在经过5000多次训练以后在验证集上的误差率基本稳定在0.6左右；而从左图中可以看到，最后训练好的CNN模型在验证集上的准确率可以达到88.0％左右。
综上所述，本发明提出的一种超声图像自动化理解生成方法，不但可以很好的捕获超声图像中复杂的病理特征，而且还可以适用于许多其它全新病理情况组合的超声图像中；本发明提出的一种超声图像自动化理解生成方法，步骤清晰，针对性强；本发明提出的一种超声图像自动化理解生成方法，操作简单，易理解。
以上所述为本发明的较佳实例，并不用于限定本发明的保护范围。凡在本发明的原则之内，任何熟悉本领域的技术人员作出的修改、同等替换和改进，都应视为包含在本发明的保护范围内。

Claims (10)

1.一种超声图像自动化描述生成方法，其特征在于，包括：获取超声图像并进行预处理；CNN模型提取超声图像的特征，得到固定长度的超声图像特征向量；将超声图像对应的描述句子用分词工具进行分词，将分词用独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；利用超声图像特征向量和对应的词序列特征向量训练LSTM语言模型；将超声图像特征向量输入训练好的LSTM语言模型，在每个时间步生成描述超声图像的词，将当前时间步及之前时间步得到的词进行拼接，直到句子长度达到最大长度或者遇到结束符为止，得到描述超声图像的若干个子句，利用束搜索方法，根据公式S＝arg maxS'p(S'|I)，选中一个使得概率估计P(S'|I)最大对应的句子，为描述该幅超声图像的句子。
2.根据权利要求1所述的方法，其特征在于，所述对超声图像做预处理具体包括，图像提取模块获取超声图像，根据CNN模型的要求调整所有超声图像的大小，对调整后的超声图像的每个像素通道的像素值做减均值操作。
3.根据权利要求1所述的方法，其特征在于，所述通过CNN模型对超声图像进行特征提取具体包括，CNN模型从超声图像最原始的像素特征开始，进行一系列的卷积和池化操作，逐层对超声图像进行特征提取，形成超声图像2维特征映射，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。
4.根据权利要求1所述的方法，其特征在于，所述获得词序列特征向量具体包括：将第个时间步得到的词用一个one-hot向量表示，向量的大小为词库的大小，向量中的每一个位代表词库中的一个词，然后利用投影矩阵，将词的one-hot向量转换到和超声图像的特征向量相同的特征空间表示。
5.根据权利要求1所述的方法，其特征在于，所述训练LSTM语言模型包括，在-1时间步向LSTM语言模型输入超声图像的特征向量，其余每个时间步产生对下一个词的预测概率值，利用该概率值得到每个时间步的损失函数，根据公式将每个时间步的损失函数相加，得到LSTM语言模型的损失函数，最小损失函数对应的LSTM语言模型为训练好的LSTM语言模型，其中，I表示超声图像，S表示描述超声图像的句子，N表示句子的长度，pt(St)表示在t时间步产生的概率值。
6.一种超声图像自动化描述生成系统，其特征在于，包括：图像预处理模块、CNN模型、特征向量生成模块、模型训练模块、LSTM模型，图像预处理模块获取超声图像并进行预处理；CNN模型提取超声图像特征，得到固定长度的超声图像特征向量；分词工具将超声图像对应的描述句子进行分词，拆分成由词组成具有固定序列的分词，每个时间步得到的分词用一个独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；模型训练模块输入超声图像的特征向量和的词序列特征向量训练LSTM语言模型；LSTM语言模型将输入的超声图像特征向量在每个时间步产生多个图像描述候选句子，根据概率估计产生描述超声图像的句子。
7.根据权利要求6所述的系统，其特征在于，所述对超声图像做预处理具体包括，图像提取模块获取超声图像，根据CNN模型的要求调整所有超声图像的大小，对调整后的超声图像的每个像素通道的像素值做减均值操作。
8.根据权利要求6所述的系统，其特征在于，所述通过CNN模型对超声图像进行特征提取具体包括，CNN模型从超声图像最原始的像素特征开始，进行一系列的卷积和池化操作，逐层对超声图像进行特征提取，形成超声图像2维特征映射，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。
9.根据权利要求6所述的系统，其特征在于，所述获得词序列特征向量具体包括：特征向量生成模块将第t个时间步得到的词用一个one-hot向量St表示，向量St的大小为词库的大小，向量中的每一个位代表词库中的一个词，然后利用投影矩阵，将词的one-hot向量转换到和超声图像的特征向量相同的特征空间表示。
10.根据权利要求6所述的系统，其特征在于，其特征在于，所述训练LSTM模型进一步包括，在-1时间步输入超声图像的特征向量，其余每个时间步t的LSTM产生对下一个词的预测概率值，利用该概率值得到每个时间步的损失函数，根据公式将每个时间步的损失函数相加，得到LSTM模型的损失函数，最小化LSTM模型的损失函数，得到描述超声图像句子的语言模型，其中，I表示超声图像，S表示描述超声图像的句子，N表示描述句子的长度，pt(St)表示在t时间步产生的概率值。
CN201710026085.4A 2017-01-13 2017-01-13 一种超声图像自动描述方法和系统 Pending CN106846306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710026085.4A CN106846306A (zh) 2017-01-13 2017-01-13 一种超声图像自动描述方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710026085.4A CN106846306A (zh) 2017-01-13 2017-01-13 一种超声图像自动描述方法和系统

Publications (1)

Publication Number Publication Date
CN106846306A true CN106846306A (zh) 2017-06-13

Family

ID=59123812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710026085.4A Pending CN106846306A (zh) 2017-01-13 2017-01-13 一种超声图像自动描述方法和系统

Country Status (1)

Country Link
CN (1) CN106846306A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609009A (zh) * 2017-07-26 2018-01-19 北京大学深圳研究院 文本情感分析方法、装置、存储介质和计算机设备
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
CN108712397A (zh) * 2018-04-28 2018-10-26 天津大学 基于深度学习的通信协议识别方法
CN109271628A (zh) * 2018-09-03 2019-01-25 东北大学 一种图像描述生成方法
CN109409392A (zh) * 2017-08-18 2019-03-01 广州极飞科技有限公司 图片识别的方法及装置
CN109447242A (zh) * 2018-10-10 2019-03-08 复旦大学 基于迭代学习的图像描述重生成系统及方法
CN109460756A (zh) * 2018-11-09 2019-03-12 天津新开心生活科技有限公司 医学影像处理方法、装置、电子设备及计算机可读介质
CN109472209A (zh) * 2018-10-12 2019-03-15 咪咕文化科技有限公司 一种图像识别方法、装置和存储介质
CN109754006A (zh) * 2018-12-26 2019-05-14 清华大学 一种视图及点云融合的立体视觉内容分类方法与系统
CN109961847A (zh) * 2019-03-20 2019-07-02 武汉千屏影像技术有限责任公司 一种图片、文字和语音结合的病理智能诊断系统
CN110188775A (zh) * 2019-05-28 2019-08-30 创意信息技术股份有限公司 一种基于联合神经网络模型的图像内容描述自动生成方法
CN110866395A (zh) * 2019-10-30 2020-03-06 语联网（武汉）信息技术有限公司 基于译员编辑行为的词向量生成方法及装置
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111260602A (zh) * 2018-11-15 2020-06-09 天津大学青岛海洋技术研究院 用于ssi的超声图像分析技术
CN111444830A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 基于超声回波信号的成像的方法、装置、存储介质及电子装置
CN111448614A (zh) * 2017-11-02 2020-07-24 皇家飞利浦有限公司 用于分析超声心动图的方法和装置
CN111477318A (zh) * 2020-04-25 2020-07-31 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
WO2021008145A1 (zh) * 2019-07-12 2021-01-21 北京京东尚科信息技术有限公司 图像段落描述生成方法、装置、介质及电子设备
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
CN112529857A (zh) * 2020-12-03 2021-03-19 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469380A (zh) * 2014-12-25 2015-03-25 中国电子科技集团公司第四十一研究所 基于h.264/avc标准的视频图像预测搜索方法
CN106156848A (zh) * 2016-06-22 2016-11-23 中国民航大学 一种基于lstm‑rnn的陆空通话语义一致性校验方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469380A (zh) * 2014-12-25 2015-03-25 中国电子科技集团公司第四十一研究所 基于h.264/avc标准的视频图像预测搜索方法
CN106156848A (zh) * 2016-06-22 2016-11-23 中国民航大学 一种基于lstm‑rnn的陆空通话语义一致性校验方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUNHUA MAO等: "Generation and Comprehension of Unambiguous Object Descriptions", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
MOSES SOH: "Learning CNN-LSTM Architectures for Image Caption Generation", 《网页在线公开：HTTPS://WWW.SEMANTICSCHOLAR.ORG/PAPER/LEARNING-CNN-LSTM-ARCHITECTURES-FOR-IMAGE-CAPTION-SOH/53E9D718EC981850CFC6110385AC42CA2DA2F612》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609009A (zh) * 2017-07-26 2018-01-19 北京大学深圳研究院 文本情感分析方法、装置、存储介质和计算机设备
CN109409392A (zh) * 2017-08-18 2019-03-01 广州极飞科技有限公司 图片识别的方法及装置
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
WO2019042244A1 (zh) * 2017-08-30 2019-03-07 腾讯科技（深圳）有限公司 图像描述生成方法、模型训练方法、设备和存储介质
US11907851B2 (en) 2017-08-30 2024-02-20 Tencent Technology (Shenzhen) Company Limited Image description generation method, model training method, device and storage medium
US11270160B2 (en) 2017-08-30 2022-03-08 Tencent Technology (Shenzhen) Company Limited Image description generation method, model training method, device and storage medium
CN111448614A (zh) * 2017-11-02 2020-07-24 皇家飞利浦有限公司 用于分析超声心动图的方法和装置
CN108712397A (zh) * 2018-04-28 2018-10-26 天津大学 基于深度学习的通信协议识别方法
CN109271628A (zh) * 2018-09-03 2019-01-25 东北大学 一种图像描述生成方法
CN109447242A (zh) * 2018-10-10 2019-03-08 复旦大学 基于迭代学习的图像描述重生成系统及方法
CN109472209A (zh) * 2018-10-12 2019-03-15 咪咕文化科技有限公司 一种图像识别方法、装置和存储介质
CN109472209B (zh) * 2018-10-12 2021-06-29 咪咕文化科技有限公司 一种图像识别方法、装置和存储介质
CN109460756A (zh) * 2018-11-09 2019-03-12 天津新开心生活科技有限公司 医学影像处理方法、装置、电子设备及计算机可读介质
CN111260602A (zh) * 2018-11-15 2020-06-09 天津大学青岛海洋技术研究院 用于ssi的超声图像分析技术
CN111260602B (zh) * 2018-11-15 2023-08-15 天津大学青岛海洋技术研究院 用于ssi的超声图像分析方法
CN109754006A (zh) * 2018-12-26 2019-05-14 清华大学 一种视图及点云融合的立体视觉内容分类方法与系统
CN109961847A (zh) * 2019-03-20 2019-07-02 武汉千屏影像技术有限责任公司 一种图片、文字和语音结合的病理智能诊断系统
CN110188775A (zh) * 2019-05-28 2019-08-30 创意信息技术股份有限公司 一种基于联合神经网络模型的图像内容描述自动生成方法
WO2021008145A1 (zh) * 2019-07-12 2021-01-21 北京京东尚科信息技术有限公司 图像段落描述生成方法、装置、介质及电子设备
CN110866395A (zh) * 2019-10-30 2020-03-06 语联网（武汉）信息技术有限公司 基于译员编辑行为的词向量生成方法及装置
CN110866395B (zh) * 2019-10-30 2023-05-05 语联网（武汉）信息技术有限公司 基于译员编辑行为的词向量生成方法及装置
CN110968725B (zh) * 2019-12-03 2023-04-28 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111444830B (zh) * 2020-03-25 2023-10-31 腾讯科技（深圳）有限公司 基于超声回波信号的成像的方法、装置、存储介质及电子装置
CN111444830A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 基于超声回波信号的成像的方法、装置、存储介质及电子装置
CN111477318B (zh) * 2020-04-25 2022-12-16 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN111477318A (zh) * 2020-04-25 2020-07-31 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
CN112529857A (zh) * 2020-12-03 2021-03-19 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法
CN112529857B (zh) * 2020-12-03 2022-08-23 重庆邮电大学 基于目标检测与策略梯度的超声图像诊断报告生成方法

Similar Documents

Publication Publication Date Title
CN106846306A (zh) 一种超声图像自动描述方法和系统
CN110750959B (zh) 文本信息处理的方法、模型训练的方法以及相关装置
US11024066B2 (en) Presentation generating system for medical images, training method thereof and presentation generating method
CN108416065A (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN105631468B (zh) 一种基于rnn的图片描述自动生成方法
CN113343705B (zh) 一种基于文本语义的细节保持图像生成方法及系统
CN110390363A (zh) 一种图像描述方法
CN110619313B (zh) 遥感图像判别性描述生成方法
CN114399454A (zh) 图像处理方法、装置、电子设备及存储介质
JP6962747B2 (ja) データ合成装置および方法
CN110929640B (zh) 一种基于目标检测的宽幅遥感描述生成方法
CN111949824A (zh) 基于语义对齐的视觉问答方法和系统、存储介质
CN114723996A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN109977958A (zh) 一种离线手写体数学公式识别重构方法
CN110162639A (zh) 识图知意的方法、装置、设备及存储介质
CN110968725A (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN110427864B (zh) 一种图像处理方法、装置及电子设备
CN110516229A (zh) 一种基于深度学习的领域自适应中文分词方法
Xu et al. Stylerdalle: Language-guided style transfer using a vector-quantized tokenizer of a large-scale generative model
CN114781393B (zh) 图像描述生成方法和装置、电子设备及存储介质
Fan et al. Long-term recurrent merge network model for image captioning
CN116721008A (zh) 一种用户自定义表情合成方法及系统
CN117237521A (zh) 语音驱动人脸生成模型构建方法、目标人说话视频生成方法
CN114648631A (zh) 图像描述生成方法和装置、电子设备及存储介质
CN114973086A (zh) 视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613