CN110135379A - 舌象分割方法及装置 - Google Patents

舌象分割方法及装置 Download PDF

Info

Publication number
CN110135379A
CN110135379A CN201910427685.0A CN201910427685A CN110135379A CN 110135379 A CN110135379 A CN 110135379A CN 201910427685 A CN201910427685 A CN 201910427685A CN 110135379 A CN110135379 A CN 110135379A
Authority
CN
China
Prior art keywords
tongue picture
tongue
picture image
data
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910427685.0A
Other languages
English (en)
Inventor
李得元
代超
何帆
周振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA POWER HEALTH CLOUD TECHNOLOGY Co.,Ltd.
China Japan Friendship Hospital
Original Assignee
Zhongdian Health Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongdian Health Cloud Technology Co Ltd filed Critical Zhongdian Health Cloud Technology Co Ltd
Priority to CN201910427685.0A priority Critical patent/CN110135379A/zh
Publication of CN110135379A publication Critical patent/CN110135379A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种舌象分割方法及装置，涉及图像分割技术领域。本公开提供的舌象分割方法及装置，首先对获取的舌象图像进行预处理，再根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域，在得到第一舌体区域后，根据条件随机场算法，对第一舌体区域进行细化分割，得到第二舌体区域，实现了舌体区域的完整提取。

Description

舌象分割方法及装置
技术领域
本公开涉及图像分割技术领域，具体而言，涉及一种舌象分割方法及装置。
背景技术
在舌象图像研究中，将舌体区域从面部区域中抠出来是自动分析舌象指标的关键步骤，分割的质量也将直接影响到后续分析的准确性。目前对舌象的分割，经常会在舌体边缘区域出现缺失或多出面部区域，不能完整的提取舌体区域。
发明内容
有鉴于此，本公开提供一种舌象分割方法及装置。
本公开提供的一种舌象分割方法，包括：
对获取的舌象图像进行预处理。
根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域。
根据条件随机场算法，对所述第一舌体区域进行细化分割，得到第二舌体区域。
进一步的，所述分割模型通过以下步骤训练得到：
基于预先获取得到的多张舌象图像，对各所述舌象图像中的舌体区域进行标注，并针对标注后的各所述舌象图像分别制作对应的掩膜图像。
对各所述舌象图像及各所述舌象图像对应的掩膜图像进行数据增广，并对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理。
以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据。
基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练，并根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数。
进一步的，所述基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练的步骤包括：
对所述输入数据进行第一卷积操作，得到第一特征图以及浅层特征图。
对所述第一特征图进行多尺度特征的提取，并将多尺度提取到的特征拼接后进行第二卷积操作，得到第二特征图。
对所述第二特征图进行上采样，并对所述浅层特征图进行第三卷积操作。
将上采样后的第二特征图与第三卷积操作后的浅层特征图进行拼接，得到第三特征图。
对所述第三特征图进行第四卷积操作，并对第四卷积操作后的第三特征图进行上采样，得到预测输出数据。
进一步的，所述根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数的步骤包括：
根据所述输出数据以及预测输出数据，构建损失函数，通过对所述损失函数进行反向传播，利用梯度下降算法对所述卷积神经网络的参数进行调整，直至所述损失函数的值小于设定阈值，将优化调整后的参数作为所述分割模型的参数。
其中，所述损失函数Dice loss通过以下公式计算得到：
A为所述输出数据和所述预测输出数据中的其中一种数据，B为所述输出数据和所述预测输出数据中不同于A的另一种数据；|A∩B|为A、B数据之间的共同元素数量，|A|为A数据的元素数量，|B|为B数据的元素数量。
进一步的，所述对获取的舌象图像进行预处理的步骤包括：
对获取的舌象图像进行压缩。
对压缩后的舌象图像的RGB值进行归一化处理。
本公开提供一种舌象分割装置，包括预处理模块、第一处理模块以及优化模块。
所述预处理模块用于对获取的舌象图像进行预处理。
所述第一处理模块用于根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域。
所述优化模块用于根据条件随机场算法，对所述第一舌体区域进行细化分割，得到第二舌体区域。
进一步的，所述舌象分割装置还包括标注模块、第二处理模块以及训练模块。
所述标注模块用于基于预先获取得到的多张舌象图像，对各所述舌象图像中的舌体区域进行标注，并针对标注后的各所述舌象图像分别制作对应的掩膜图像。
所述第二处理模块用于对各所述舌象图像及各所述舌象图像对应的掩膜图像进行数据增广，并对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理。
所述第二处理模块还用于以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据。
所述训练模块用于基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练，并根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数。
进一步的，所述训练模块用于：
对所述输入数据进行第一卷积操作，得到第一特征图以及浅层特征图。
对所述第一特征图进行多尺度特征的提取，并将多尺度提取到的特征拼接后进行第二卷积操作，得到第二特征图。
对所述第二特征图进行上采样，并对所述浅层特征图进行第三卷积操作。
将上采样后的第二特征图与第三卷积操作后的浅层特征图进行拼接，得到第三特征图。
对所述第三特征图进行第四卷积操作，并对第四卷积操作后的第三特征图进行上采样，得到预测输出数据。
进一步的，所述训练模块还用于：
根据所述输出数据以及预测输出数据，构建损失函数，通过对所述损失函数进行反向传播，利用梯度下降算法对所述卷积神经网络的参数进行调整，直至所述损失函数的值小于设定阈值，将优化调整后的参数作为所述分割模型的参数。
其中，所述损失函数Dice loss通过以下公式计算得到：
A为所述输出数据和所述预测输出数据中的其中一种数据，B为所述输出数据和所述预测输出数据中不同于A的另一种数据；|A∩B|为A、B数据之间的共同元素数量，|A|为A数据的元素数量，|B|为B数据的元素数量。
进一步的，所述预处理模块还用于：
对获取的舌象图像进行压缩。
对压缩后的舌象图像的RGB值进行归一化处理。
本公开提供的舌象分割方法及装置，首先对获取的舌象图像进行预处理，再根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域，在得到第一舌体区域后，根据条件随机场算法，对第一舌体区域进行细化分割，得到第二舌体区域，实现了舌体区域的完整提取，具有较好的普适性。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开所提供的电子设备的一种方框示意图。
图2为本公开所提供的舌象分割方法的一种流程示意图。
图3为本公开所提供的舌象分割方法的另一种流程示意图。
图4为本公开所提供的舌象分割的一种实例示意图。
图5为本公开所提供的舌象分割的另一种实例示意图。
图6为本公开所提供的舌象分割方法的又一种流程示意图。
图7为本公开所提供的舌象分割方法的又一种流程示意图。
图8为本公开所提供的分割模型的一种训练结构示意图。
图9为本公开所提供的分割模型的另一种训练结构示意图。
图10为本公开所提供的舌象分割装置的一种方框示意图。
图标：100-电子设备；10-舌象分割装置；11-预处理模块；12-第一处理模块；13-优化模块；14-标注模块；15-第二处理模块；16-训练模块；20-存储器；30-处理器；
具体实施方式
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在舌象图像研究中，将舌体区域从面部区域中抠出来是自动分析舌象指标的关键步骤，分割的质量也将直接影响到后续分析的准确性。舌象分割的难点在于舌色和面色比较接近，目前常用的分割算法包括：阈值法、分水岭算法、边缘检测和连接法等，这些算法大多是非深度学习算法，用于舌象分割时，并不能达到理想的结果，经常会在舌体边缘区域出现缺失或多出面部区域，不能完整的提取舌体区域。
基于上述研究，本公开提供一种舌象分割方法及装置，以改善上述问题。
请结合参阅图1，本公开提供的一种舌象分割方法应用于图1所示的电子设备100，由所述电子设备100执行本公开所提供的舌象分割方法。在本公开中，所述电子设备100可以是，但不限于，个人电脑(Personal Computer，PC)、笔记本电脑、个人数字助理(PersonalDigital Assistant，PDA)或服务器等具有数据处理能力的电子设备100。
所述电子设备100包括舌象分割装置10、存储器20以及处理器30；所述存储器20以及处理器30各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互直接可通过一条或多条通讯总线或信号线实现电性连接。所述舌象分割装置10包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器20中的软件功能模块，所述处理器30通过运行存储在存储器20内的软件程序以及模块，从而执行各种功能应用以及数据处理。
所述存储器20可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
所述处理器30可以是一种集成电路芯片，具有信号的处理能力。所述处理器30可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。
请结合参阅图2，图2为本公开所提供的舌象分割方法的流程示意图。下面对图2所示的舌象分割方法的具体流程进行详细阐述。
步骤S10：对获取的舌象图像进行预处理。
为了保证提取到的舌体区域的完整性，在获取到舌象图像后，需要对获取到的舌象图像进行预处理。
请结合参阅图3，所述对获取的舌象图像进行预处理的步骤包括步骤S11至步骤S12。
步骤S11：对获取的舌象图像进行压缩。
其中，在获取到舌象图像后，首先需要对获取到的舌象图像进行压缩，舌象图像的压缩大小可以根据实际情况而设定，本公开不做限定。可选的，在本公开中，为了方便的提取舌象图像中的舌体区域，本公开将获取到的舌象图像压缩至512*512大小。
步骤S12：对压缩后的舌象图像的RGB值进行归一化处理。
在对获取到的舌象图像压缩后，需要对压缩后的舌象图像的RGB值进行归一化处理。可选的，本公开对压缩后的舌象图像的RGB值除以255以对压缩后的舌象图像进行归一化处理。
步骤S20：根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域。
在对获取到的图像预处理后，基于预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域，如图4，图中白色部分表示经分割模型提取到的舌体区域。在对预处理后的舌象图像进行分割，提取第一舌体区域时，基于预先训练得到的分割模型，对预处理后的舌象图像进行计算，得到舌象图像中每个像素点的预测值，其中，若像素点的预测值在设定的阈值范围内，则表示该像素点处于舌体区域中。
步骤S30：根据条件随机场算法，对所述第一舌体区域进行细化分割，得到第二舌体区域。
其中，基于分割模型提取到的第一舌体区域，可能还存在不属于舌体本身的区域，因此在基于分割模型提取到第一舌体区域后，还需要对提取到的第一舌体区域进行优化处理。在本公开中，采用条件随机场算法(conditional random fields，CRF)对提取到的第一舌体区域进行细化分割，得到第二舌体区域。在得到第二舌体区域后，结合获取到的舌象图像，对提取到第二舌体区域中的像素点乘以舌象图像中对应像素点的RGB值，即可得到所需要的目标图像，如图5所示。
本公开提供的舌象分割方法，通过预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域，在得到第一舌体区域后，根据条件随机场算法，对第一舌体区域进行细化分割，得到第二舌体区域，进而实现了舌体区域的完整提取。
进一步的，请结合参阅图6，所述分割模型通过以下步骤训练得到。
步骤S40：基于预先获取得到的多张舌象图像，对各所述舌象图像中的舌体区域进行标注，并针对标注后的各所述舌象图像分别制作对应的掩膜图像。
其中，在训练分割模型时，首先对预先获取到的多张舌象图像中的舌体区域进行标注，标注出每张舌象图像中的舌体区域。在对每张舌象图像中的舌体区域标注后，针对标注后的每张舌象图像分别制作对应的掩膜图像(黑白图像)。每张掩膜图像的大小与对应的舌象图像大小相同，且设定每张掩膜图像的黑色区域为非舌体区域，白色区域为舌体区域。
步骤S50：对各所述舌象图像及各所述舌象图像对应的掩膜图像进行数据增广，并对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理。
在对每一张舌象图像制作对应的掩膜图像后，为了增加训练的数据量，需要对每一张舌象图像进行数据增广，以及对每一张舌象图像对应的掩膜图像进行相同数据增广。例如，对某一张舌象图像进行旋转，对应的，则需要对该舌象图像对应的掩膜图像进行相同的旋转。又例如，对某一张舌象图像进行平移，对应的，则需要对该舌象图像对应的掩膜图像进行相同的平移。其中，数据增广包括图像的旋转、平移或亮度调整。
在对各舌象图像及各舌象图像对应的掩膜图像进行数据增广后，为了保证训练得到的分割模型提取的舌体区域的完整性，还需要对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理。
进一步的，对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理包括对数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行压缩以及归一化处理。
其中，各舌象图像以及各舌象图像对应的掩膜图像进行压缩时，压缩大小需相同，具体的压缩大小可以根据实际情况而设定，本公开不做限定。可选的，在本公开中，设定将舌象图像以及舌象图像对应的掩膜图像压缩至512*512大小。
对各舌象图像以及各舌象图像对应的掩膜图像进行归一化处理，即对各舌象图像的RGB值除以255，对各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值除以255。
步骤S60：以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据。
在本公开中，对分割模型进行训练时，设定预处理后的各舌象图像的RGB值作为输入数据，形状为(512，512，3)。设定预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据，形状为(512，512，2)，其中，输出数据中的第一个通道的值为掩膜图像的灰度值，第二个通道的值为与掩膜图像的灰度值相反的值，即第二个通道的值为255减去第一个通道的值。
步骤S70：基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练，并根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数。
进一步的，请结合参阅图7，所述基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练的步骤包括步骤S71至步骤S75。
步骤S71：对所述输入数据进行第一卷积操作，得到第一特征图以及浅层特征图。
步骤S72：对所述第一特征图进行多尺度特征的提取，并将多尺度提取到的特征拼接后进行第二卷积操作，得到第二特征图。
步骤S73：对所述第二特征图进行上采样，并对所述浅层特征图进行第三卷积操作。
步骤S74：将上采样后的第二特征图与第三卷积操作后的浅层特征图进行拼接，得到第三特征图。
步骤S75：对所述第三特征图进行第四卷积操作，并对第四卷积操作后的第三特征图进行上采样，得到预测输出数据。
在本公开中，所述全卷积神经网络采用编码-解码架构，其网络架构如图8和图9所示，其中，第一卷积操作的具体过程对应于图8中的第一层至第十四层，第二卷积操作的具体过程对应于图9中的第十五层，第三卷积操作的具体过程对应于图9中的第十六层，第四卷积操作的具体过程对应于图9中的第十七层。下面对全卷积神经网络的每一层的具体过程进行详细阐述。
第一层：输入数据为预处理后的各舌象图像的RGB值，形状为(512，512，3)；然后经过32个卷积核、卷积核大小为3*3、步长为2、激活函数为Relu的卷积层处理；然后经过64个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的卷积层处理，得到第一层的输出特征。
第二层：本层的输入数据为第一层的输出特征，对本层的输入数据进行两个分支处理：
第一个分支为，对本层的输入数据经过128个卷积核、卷积核大小为1*1、步长为2、激活函数为Relu的卷积层处理得到第一个分支的输出特征。
第二个分支为，对本层的输入数据首先经过128个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理，然后经过128个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理，然后经过128个卷积核、卷积核大小为3*3、步长为2、激活函数为Relu的深度可分离卷积层处理得到第二个分支的输出特征。
将第一个分支和第二个分支的输出特征进行相加，得到第二层的输出特征。
第三层：本层的输入数据为第二层的输出特征。对本层的输入数据进行两个分支处理：
第一个分支为，对本层的输入数据经过256个卷积核、卷积核大小为1*1、步长为2、激活函数为Relu的卷积层处理得到第一个分支的输出特征。
第二个分支为，对本层的输入数据首先经过256个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过256个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理，得到浅层特征图；然后经过256个卷积核、卷积核大小为3*3、步长为2、激活函数为Relu的深度可分离卷积层处理得到第二个分支的输出特征。
将第一个分支和第二个分支的输出特征进行相加，得到第三层的输出特征。
第四层：本层的输入数据为第三层的输出特征。对本层的输入数据经过两个分支处理：
第一个分支为，对本层的输入数据首先经过728个卷积核、卷积核大小为1*1、步长为2、激活函数为Relu的卷积层处理得到第一个分支的输出特征。
第二个分支为，对本层的输入数据经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为2、激活函数为Relu的深度可分离卷积层处理得到第二个分支的输出特征。
将第一个分支和第二个分支的输出特征进行相加，得到第四层的输出特征。
第五层：本层的输入数据为第四层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第五层的输出特征。
第六层：本层的输入数据为第五层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第六层的输出特征。
第七层：本层的输入数据为第六层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第七层的输出特征。
第八层：本层的输入数据为第七层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第八层的输出特征。
第九层：本层的输入数据为第八层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第九层的输出特征。
第十层：本层的输入数据为第九层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第十层的输出特征。
第十一层：本层的输入数据为第十层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第十一层的输出特征。
第十二层：本层的输入数据为第十一层的输出特征。对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到本层分支输出特征。然后将本层的输入数据和本层分支输出特征进行相加，得到第十二层的输出特征。
第十三层：输入数据为第十二层的输出特征。对本层的输入数据进行两个分支处理：
第一个分支为，对本层的输入数据经过1024个卷积核、卷积核大小为1*1、步长为1、激活函数为Relu的卷积层处理得到第一个分支的输出特征。
第二个分支为，对本层的输入数据首先经过728个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过1024个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过1024个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理得到第二个分支的输出特征。然后将第一个分支和第二个分支的输出特征进行相加，得到第十三层的输出特征。
第十四层：本层的输入数据为第十三层的输出特征。对本层的输入数据首先经过1536个卷积核、卷积核大小为3*3、步长为1、扩张率为2、激活函数为Relu的深度可分离卷积层处理；然后经过1536个卷积核、卷积核大小为3*3、步长为1、扩张率为2、激活函数为Relu的深度可分离卷积层处理；然后经过2048个卷积核、卷积核大小为3*3、步长为1、扩张率为2、激活函数为Relu的深度可分离卷积层处理，得到第十四层的输出特征。第十四层的输出特征即为第一特征图，第一层至第十四层的处理过程即为第一卷积操作。
第十五层：本层的输入数据为第十四层的输出特征。对本层的输入数据进行五个分支处理：
第一个分支为，对本层的输入数据首先经过全局池化，然后经过256个卷积核、卷积核大小为1*1、激活函数为Relu的卷积处理，然后经过上采样得到第一个分支的输出特征。
第二个分支为，对本层的输入数据经过256个卷积核、卷积核大小为1*1、激活函数为Relu的卷积处理得到第二个分支的输出特征。
第三个分支为，对本层的输入数据经过256个卷积核、卷积核大小为3*3、步长为1、扩张率为6、激活函数为Relu的深度可分离卷积层处理得到第三个分支的输出特征。
第四个分支为，对本层的输入数据经过256个卷积核、卷积核大小为3*3、步长为1、扩张率为12、激活函数为Relu的深度可分离卷积层处理得到第四个分支的输出特征。
第五个分支为，对本层的输入数据经过256个卷积核、卷积核大小为3*3、步长为1、扩张率为18、激活函数为Relu的深度可分离卷积层处理得到第五个分支的输出特征。
其中，第一个分支、第二个分支、第三个分支、第四个分支、第五个分支的具体操作即为多尺度特征的提取。
在本公开中，多尺度特征的提取包括全局池化上采样、1*1卷积以及扩张率分别为6、12、18的3*3的空洞卷积。1*1卷积以及扩张率分别为6、12、18的3*3的空洞卷积的卷积核数量可以根据实际情况调整。
将第一个分支、第二个分支、第三个分支、第四个分支、第五个分支的输出特征进行拼接，然后对拼接后的特征进行第二卷积操作，即经过256个卷积核、卷积核大小为1*1、激活函数为Relu的卷积处理，得到第十五层的输出特征。第十五层的输出特征即为第二特征图。
第十六层：本层的输入数据为第十五层的输出特征和第三层的浅层特征图。对本层的输入数据进行两个分支处理：第一个分支为，对第十五层的输出特征进行4倍双线性上采样得到第一个分支的输出特征。
第二个分支为，对第三层的浅层特征图进行第三卷积操作，即经过48个卷积核、卷积核大小为1*1、激活函数为Relu的卷积处理，得到第二个分支的输出特征。
将第一个分支、第二个分支的输出特征进行拼接，得到第十六层的输出特征。第十六层的输出特征即为第三特征图。
第十七层：本层的输入数据为第十六层的输出特征。本层的输入数据首先进行第四卷积操作，然后经过4倍双线性上采样，得到第十七层的输出特征。其中，第四卷积操作的具体过程为首先经过256个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过256个卷积核、卷积核大小为3*3、步长为1、激活函数为Relu的深度可分离卷积层处理；然后经过2个卷积核、卷积核大小为1*1、步长为1、激活函数为sigmoid的卷积层处理。
其中，对所述全卷积神经网络的学习是一个前向传播过程，数据逐层传递。所述全卷积神经网络第十七层的输出即为整个网络的输出特征，即预测输出数据。
对所述全卷积神经网络的训练则是一个反向传播过程，在得到预测输出数据后，根据所述输出数据对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数的步骤包括：
根据所述输出数据以及预测输出数据，构建损失函数，通过对所述损失函数进行反向传播，利用梯度下降算法对所述卷积神经网络的参数进行调整，直至所述损失函数的值小于设定阈值，将优化调整后的参数作为所述分割模型的参数。
可选的，本公开选择Dice loss作为损失函数来计算误差，Dice loss通过以下公式计算得到：
A为所述输出数据和所述预测输出数据中的其中一种数据，B为所述输出数据和所述预测输出数据中不同于A的另一种数据；|A∩B|为A、B数据之间的共同元素数量，|A|为A数据的元素数量，|B|为B数据的元素数量。
可选的，本公开选择Adam优化器来计算梯度，设定学习率1e-5。
在得到分割模型后，利用训练好的分割模型去提取舌象图像中的舌体区域时，分割模型输出数据的第一个通道值为分割模型对舌象图像中每个像素点计算的预测值。
本公开提供的舌象分割方法，在对各舌象图像以及各舌象图像对应的掩膜图像进行预处理后，以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与灰度值相反的值作为输出数据，并基于输入数据，对全卷积神经网络的参数进行训练，基于输出数据，对全卷积神经网络的参数进行优化调整，得到分割模型，进而使分割模型具有较好的普适性，同时在利用得到的分割模型对舌象图像进行分割时，能够完整的提取舌体区域。
请结合参阅图10，本公开提供一种舌象分割装置10，包括预处理模块11、第一处理模块12以及优化模块13。
所述预处理模块11用于对获取的舌象图像进行预处理。
所述第一处理模块12用于根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域。
所述优化模块13用于根据条件随机场算法，对所述第一舌体区域进行细化分割，得到第二舌体区域。
进一步的，所述舌象分割装置10还包括标注模块14、第二处理模块15以及训练模块16。
所述标注模块14用于基于预先获取得到的多张舌象图像，对各所述舌象图像中的舌体区域进行标注，并针对标注后的各所述舌象图像分别制作对应的掩膜图像。
所述第二处理模块15用于对各所述舌象图像及各所述舌象图像对应的掩膜图像进行数据增广，并对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理。
所述第二处理模块15还用于以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据。
所述训练模块16用于基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练，并根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数。
进一步的，所述训练模块16用于：
对所述输入数据进行第一卷积操作，得到第一特征图以及浅层特征图。
对所述第一特征图进行多尺度特征的提取，并将多尺度提取到的特征拼接后进行第二卷积操作，得到第二特征图。
对所述第二特征图进行上采样，并对所述浅层特征图进行第三卷积操作。
将上采样后的第二特征图与第三卷积操作后的浅层特征图进行拼接，得到第三特征图。
对所述第三特征图进行第四卷积操作，并对第四卷积操作后的第三特征图进行上采样，得到预测输出数据。
进一步的，所述训练模块16还用于：
根据所述输出数据以及预测输出数据，构建损失函数，通过对所述损失函数进行反向传播，利用梯度下降算法对所述卷积神经网络的参数进行调整，直至所述损失函数的值小于设定阈值，将优化调整后的参数作为所述分割模型的参数。
其中，所述损失函数Dice loss通过以下公式计算得到：
A为所述输出数据和所述预测输出数据中的其中一种数据，B为所述输出数据和所述预测输出数据中不同于A的另一种数据；|A∩B|为A、B数据之间的共同元素数量，|A|为A数据的元素数量，|B|为B数据的元素数量。
进一步的，所述预处理模块11还用于：
对获取的舌象图像进行压缩。
对压缩后的舌象图像的RGB值进行归一化处理。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的舌象分割装置10的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
本公开提供的舌象分割方法及装置，首先对获取的舌象图像进行预处理，再根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域，在得到第一舌体区域后，根据条件随机场算法，对第一舌体区域进行细化分割，得到第二舌体区域，实现了舌体区域的完整提取，并且具有较好的普适性。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本公开的可选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种舌象分割方法，其特征在于，包括：
对获取的舌象图像进行预处理；
根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域；
根据条件随机场算法，对所述第一舌体区域进行细化分割，得到第二舌体区域。
2.根据权利要求1所述的舌象分割方法，其特征在于，所述分割模型通过以下步骤训练得到：
基于预先获取得到的多张舌象图像，对各所述舌象图像中的舌体区域进行标注，并针对标注后的各所述舌象图像分别制作对应的掩膜图像；
对各所述舌象图像及各所述舌象图像对应的掩膜图像进行数据增广，并对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理；
以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据；
基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练，并根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数。
3.根据权利要求2所述的舌象分割方法，其特征在于，所述基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练的步骤包括：
对所述输入数据进行第一卷积操作，得到第一特征图以及浅层特征图；
对所述第一特征图进行多尺度特征的提取，并将多尺度提取到的特征拼接后进行第二卷积操作，得到第二特征图；
对所述第二特征图进行上采样，并对所述浅层特征图进行第三卷积操作；
将上采样后的第二特征图与第三卷积操作后的浅层特征图进行拼接，得到第三特征图；
对所述第三特征图进行第四卷积操作，并对第四卷积操作后的第三特征图进行上采样，得到预测输出数据。
4.根据权利要求3所述的舌象分割方法，其特征在于，所述根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数的步骤包括：
根据所述输出数据以及预测输出数据，构建损失函数，通过对所述损失函数进行反向传播，利用梯度下降算法对所述卷积神经网络的参数进行调整，直至所述损失函数的值小于设定阈值，将优化调整后的参数作为所述分割模型的参数；
其中，所述损失函数Dice loss通过以下公式计算得到：
A为所述输出数据和所述预测输出数据中的其中一种数据，B为所述输出数据和所述预测输出数据中不同于A的另一种数据；|A∩B|为A、B数据之间的共同元素数量，|A|为A数据的元素数量，|B|为B数据的元素数量。
5.根据权利要求1所述的舌象分割方法，其特征在于，所述对获取的舌象图像进行预处理的步骤包括：
对获取的舌象图像进行压缩；
对压缩后的舌象图像的RGB值进行归一化处理。
6.一种舌象分割装置，其特征在于，包括预处理模块、第一处理模块以及优化模块；
所述预处理模块用于对获取的舌象图像进行预处理；
所述第一处理模块用于根据预先训练得到的分割模型，对预处理后的舌象图像进行分割，得到第一舌体区域；
所述优化模块用于根据条件随机场算法，对所述第一舌体区域进行细化分割，得到第二舌体区域。
7.根据权利要求6所述的舌象分割装置，其特征在于，所述舌象分割装置还包括标注模块、第二处理模块以及训练模块；
所述标注模块用于基于预先获取得到的多张舌象图像，对各所述舌象图像中的舌体区域进行标注，并针对标注后的各所述舌象图像分别制作对应的掩膜图像；
所述第二处理模块用于对各所述舌象图像及各所述舌象图像对应的掩膜图像进行数据增广，并对进行数据增广后的各舌象图像以及各舌象图像对应的掩膜图像进行预处理；
所述第二处理模块还用于以预处理后的各舌象图像的RGB值作为输入数据，以预处理后的各舌象图像对应的掩膜图像的灰度值和与所述灰度值相反的值作为输出数据；
所述训练模块用于基于全卷积神经网络，根据所述输入数据对所述全卷积神经网络的参数进行训练，并根据所述输出数据，对所述全卷积神经网络的参数进行优化调整，将优化调整后的参数作为所述分割模型的参数。
8.根据权利要求7所述的舌象分割装置，其特征在于，所述训练模块用于：
对所述输入数据进行第一卷积操作，得到第一特征图以及浅层特征图；
对所述第一特征图进行多尺度特征的提取，并将多尺度提取到的特征拼接后进行第二卷积操作，得到第二特征图；
对所述第二特征图进行上采样，并对所述浅层特征图进行第三卷积操作；
将上采样后的第二特征图与第三卷积操作后的浅层特征图进行拼接，得到第三特征图；
对所述第三特征图进行第四卷积操作，并对第四卷积操作后的第三特征图进行上采样，得到预测输出数据。
9.根据权利要求8所述的舌象分割装置，其特征在于，所述训练模块还用于：
根据所述输出数据以及预测输出数据，构建损失函数，通过对所述损失函数进行反向传播，利用梯度下降算法对所述卷积神经网络的参数进行调整，直至所述损失函数的值小于设定阈值，将优化调整后的参数作为所述分割模型的参数；
其中，所述损失函数Diceloss通过以下公式计算得到：
A为所述输出数据和所述预测输出数据中的其中一种数据，B为所述输出数据和所述预测输出数据中不同于A的另一种数据；|A∩B|为A、B数据之间的共同元素数量，|A|为A数据的元素数量，|B|为B数据的元素数量。
10.根据权利要求6所述的舌象分割装置，其特征在于，所述预处理模块还用于：
对获取的舌象图像进行压缩；
对压缩后的舌象图像的RGB值进行归一化处理。
CN201910427685.0A 2019-05-21 2019-05-21 舌象分割方法及装置 Pending CN110135379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910427685.0A CN110135379A (zh) 2019-05-21 2019-05-21 舌象分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910427685.0A CN110135379A (zh) 2019-05-21 2019-05-21 舌象分割方法及装置

Publications (1)

Publication Number Publication Date
CN110135379A true CN110135379A (zh) 2019-08-16

Family

ID=67572120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910427685.0A Pending CN110135379A (zh) 2019-05-21 2019-05-21 舌象分割方法及装置

Country Status (1)

Country Link
CN (1) CN110135379A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895814A (zh) * 2019-11-30 2020-03-20 南京工业大学 一种基于上下文编码网络的航空发动机孔探图像损伤智能分割方法
CN111192196A (zh) * 2019-12-23 2020-05-22 中电健康云科技有限公司 一种提高推扫式光谱仪高光谱图像的实时分辨率的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN109615634A (zh) * 2018-12-13 2019-04-12 深圳大学 光学眼底图像分割方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN109615634A (zh) * 2018-12-13 2019-04-12 深圳大学 光学眼底图像分割方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895814A (zh) * 2019-11-30 2020-03-20 南京工业大学 一种基于上下文编码网络的航空发动机孔探图像损伤智能分割方法
CN111192196A (zh) * 2019-12-23 2020-05-22 中电健康云科技有限公司 一种提高推扫式光谱仪高光谱图像的实时分辨率的方法

Similar Documents

Publication Publication Date Title
RU2691214C1 (ru) Распознавание текста с использованием искусственного интеллекта
CN108416377B (zh) 柱状图中的信息提取方法及装置
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
CN107679466B (zh) 信息输出方法和装置
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
Cayamcela et al. Fine-tuning a pre-trained convolutional neural network model to translate American sign language in real-time
US20220139096A1 (en) Character recognition method, model training method, related apparatus and electronic device
CN110858269A (zh) 刑事罪名预测方法及装置
CN112651451B (zh) 图像识别方法、装置、电子设备及存储介质
CN111742345A (zh) 通过着色的视觉跟踪
CN113569852A (zh) 语义分割模型的训练方法、装置、电子设备及存储介质
CN110135379A (zh) 舌象分割方法及装置
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
US20220301106A1 (en) Training method and apparatus for image processing model, and image processing method and apparatus
CN113837965A (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN114913339B (zh) 特征图提取模型的训练方法和装置
CN116052195A (zh) 文档解析方法、装置、终端设备和计算机可读存储介质
CN112560848B (zh) 兴趣点poi预训练模型的训练方法、装置及电子设备
CN114863450A (zh) 图像处理方法、装置、电子设备及存储介质
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN108287817B (zh) 一种信息处理方法及设备
CN112733670A (zh) 指纹特征提取方法、装置、电子设备及存储介质
Bajpai et al. Custom dataset creation with tensorflow framework and image processing for google t-rex

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Duan Shaojie

Inventor after: Yao Shukun

Inventor after: Chen Jialiang

Inventor after: Li Deyuan

Inventor after: Chao Dai

Inventor after: He Fan

Inventor after: Zhou Zhen

Inventor before: Li Deyuan

Inventor before: Chao Dai

Inventor before: He Fan

Inventor before: Zhou Zhen

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210305

Address after: 610200 Sichuan Chengdu Shuangliu District Dongsheng Street Chengdu core Valley Industrial Park concentrated area

Applicant after: CHINA POWER HEALTH CLOUD TECHNOLOGY Co.,Ltd.

Applicant after: China Japan Friendship Hospital (China Japan Friendship Institute of clinical medicine)

Address before: 610200 Sichuan Chengdu Shuangliu District Dongsheng Street Chengdu core Valley Industrial Park concentrated area

Applicant before: CHINA POWER HEALTH CLOUD TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816