CN114429649A - 目标图像识别方法及装置 - Google Patents

Abstract

本发明涉及人工智能领域，特别涉及一种目标图像识别方法及装置。所述目标图像识别方法包括：确定目标图像的部位类别和病灶疑似区域图像；从预先存储的与所述部位类别对应的各幅病灶参考图像中，筛选出与所述目标图像的全图相似度达到预设的第一相似度阈值的K幅病灶参考图像；从所述K幅病灶参考图像中，筛选出病灶参考区域图像与所述病灶疑似区域图像的区域相似度达到预设的第二相似度阈值的H幅病灶参考图像；对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，以识别所述目标图像。本发明实施例有效提高目标图像识别准确率，并且未采用大尺度的降维采样等方式，避免了现有图像匹配算法存在的弊端。

Description

目标图像识别方法及装置

技术领域

本发明涉及人工智能领域，特别涉及一种目标图像识别方法及装置。

背景技术

目前，一般采用图像匹配算法进行上消化道目标图像识别。经典的图像匹配算法存在很多弊端。比如对整张图像进行了大尺度的降维采样，缩小后的整张图像虽然保留了结构、明暗等基本信息，但却丢失了图像细节。又如图像比例带来的图像差异等，从而导致目标图像识别准确率低。

针对上述上消化道目标图像识别方式存在的问题，现有技术未给出有效的解决方案。

发明内容

本发明实施例中提供一种目标图像识别方法及装置，用以至少提供目标图像识别准确率。

第一方面，本发明实施例提供一种目标图像识别方法，所述目标图像识别方法包括：

步骤S101，确定目标图像的部位类别和病灶疑似区域图像；

步骤S102，从预先存储的与所述部位类别对应的各幅病灶参考图像中，筛选出与所述目标图像的全图相似度达到预设的第一相似度阈值的K幅病灶参考图像；其中，每幅病灶参考图像包含一种目标类型的病灶参考区域图像；

步骤S103，从所述K幅病灶参考图像中，筛选出病灶参考区域图像与所述病灶疑似区域图像的区域相似度达到预设的第二相似度阈值的H幅病灶参考图像；所述K和H为整数；

步骤S104，对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，以识别所述目标图像。

可选地，所述部位类别包括无病灶部位类别和待检测部位类别；

所述步骤S102之前包括：

调用预先训练的部位识别分类网络识别所述目标图像的部位类别；

在识别的部位类别为所述无病灶部位类别时，判定所述目标图像无病灶区域图像；

在识别的部位类别为所述待检测部位类别时，调用预先训练的与所述待检测部位类别对应的目标检测模型识别所述目标图像的病灶疑似区域图像；

在识别不到所述病灶疑似区域图像时，判定所述目标图像无病灶区域图像；

在识别到所述病灶疑似区域图像时，执行所述步骤S102。

可选地，所述步骤S102，包括：

计算所述目标图像对应的第一全图平均哈希特征字符串与各幅病灶参考图像的第二全图平均哈希特征字符串的第一汉明距离；

根据所述第一相似度阈值和各第一汉明距离，筛选出所述K幅病灶参考图像。

可选地，所述步骤S103，包括：

计算所述病灶疑似区域图像对应的第一区域感知哈希特征字符串与所述K幅病灶参考图像的病灶参考区域图像的第二区域感知哈希特征字符串的第二汉明距离；

根据所述第二相似度阈值和各第二汉明距离，筛选出所述H幅病灶参考图像。

可选地，所述目标图像识别方法，还包括：

基于全图的均值哈希算法，对所述目标图像的全图生成所述第一全图平均哈希特征字符串；

基于区域的感知哈希算法，对所述病灶疑似区域图像生成所述第一区域感知哈希特征字符串。

可选地，所述基于全图的均值哈希算法，对所述目标图像的全图生成所述第一全图平均哈希特征字符串，包括：

对所述目标图像生成第一灰度图像，根据所述第一灰度图像得到第一缩放图像，对所述第一缩放图像的M个像素计算第一灰度平均值；根据所述第一缩放图像的每个像素的灰度值与所述第一灰度平均值，采用哈希算法生成所述第一全图平均哈希特征字符串；所述M为整数；

所述基于区域的感知哈希算法，对所述病灶疑似区域图像生成所述第一区域感知哈希特征字符串，包括：

从所述目标图像裁剪出所述病灶疑似区域图像，对所述病灶疑似区域图像生成第二灰度图像；根据所述第二灰度图像得到第二缩放图像，对所述第二缩放图像计算离散余弦变换；从离散余弦变换的第二缩放图像中选择计算区域，确定所述计算区域的M个像素的第二灰度平均值；根据所述计算区域的每个像素的灰度值与所述第二灰度平均值，采用哈希算法生成所述第一区域感知哈希特征字符串。

可选地，所述步骤S104，包括：

通过尺度不变特征变换SIFT图像匹配算法将所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域；

对所述H个位置区域进行重叠过滤操作，从所述目标图像中识别出病灶区域图像的最佳位置；

根据所述最佳位置对应的病灶参考图像，识别出病灶区域图像的部位类别和目标类型。

可选地，所述通过尺度不变特征变换SIFT图像匹配算法将所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域，包括：

对于每幅病灶参考图像，通过尺度不变特征变换SIFT图像匹配算法，并采用欧式距离度量对所述目标图像中病灶疑似区域图像内的关键点与该幅病灶参考图像的病灶参考区域图像的关键点依次进行特征点匹配；

在匹配度超过设定匹配阈值时，关键点匹配成功；对匹配成功的关键点集合求出变换矩阵，通过所述变换矩阵确定所述H个位置区域的边界；

根据所述H个位置区域的边界，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域；

可选地，所述对所述H个位置区域进行重叠过滤操作，从所述目标图像中识别出病灶区域图像的最佳位置，包括：

根据区域相似度降序排列H个位置区域，选取区域相似度最高的位置区域加入到输出列表，将输出列表的位置区域依次与H个位置区域中剩余的目标位置区域计算重叠面积比例；

在每次重叠面积比例计算中，如果输出列表的位置区域与当前目标位置区域的重叠面积比例大于设定比例阈值，进行下次重叠面积比例计算，否则将输出列表的位置区域替换成当前目标位置区域；

根据所述输出列表中最终的位置区域，确定所述目标图像中病灶区域图像的最佳位置。

第二方面，本发明实施例提供一种目标图像识别装置，所述目标图像识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

所述计算机程序被所述处理器执行时，实现如上任一项所述的目标图像识别方法的步骤。

本发明各个实施例通过确定目标图像的部位类别和病灶疑似区域图像，然后从预先存储的与所述部位类别对应的各幅病灶参考图像中，筛选出与所述目标图像的全图相似度达到预设的第一相似度阈值的K幅病灶参考图像；在从所述K幅病灶参考图像中，筛选出病灶参考区域图像与所述病灶疑似区域图像的区域相似度达到预设的第二相似度阈值的H幅病灶参考图像；最后通过对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配的方式识别所述目标图像，有效提高目标图像识别准确率。并且本发明实施例中未采用大尺度的降维采样等方式避免了现有图像匹配算法存在的弊端。

附图说明

图1是根据本发明实施例的目标图像识别方法的流程图；

图2是根据本发明实施例的关键点匹配的效果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

实施例一

本发明实施例提供一种目标图像识别方法，如图1所示，所述目标图像识别方法包括：

S101，确定目标图像的部位类别和病灶疑似区域图像；

S102，从预先存储的与所述部位类别对应的各幅病灶参考图像中，筛选出与所述目标图像的全图相似度达到预设的第一相似度阈值的K幅病灶参考图像；其中，每幅病灶参考图像包含一种目标类型的病灶参考区域图像；

S103，从所述K幅病灶参考图像中，筛选出病灶参考区域图像与所述病灶疑似区域图像的区域相似度达到预设的第二相似度阈值的H幅病灶参考图像；所述K和H为整数；

S104，对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，以识别所述目标图像。

其中，第一相似度阈值和第二相似度阈值可以设置为70%-100%之间，例如95%、90%、85%、80%、75%。所述部位类别可以分类为无病灶部位类别和待检测部位类别；无病灶部位类别可以是体外图像类别和模糊图像类别；待检测部位类别可以是食管图像类别和胃图像类别。病灶参考图像可以存储在预先制作的病灶数据检索仓库中。病灶参考图像指代的是具有病灶区域图像的图像，病灶参考图像中的病灶区域图像所在区域为病灶参考区域图像。目标类型可以分为食管假阳性图像类型，胃部假阳性图像类型，食管早癌图像类型，反流性食管炎图像类型，barrett食管图像类型，胃早癌图像类型，胃溃疡图像类型，慢性萎缩性胃炎图像类型。

区域相似度表示病灶区域图像之间的相似度，具体为病灶疑似区域图像和病灶参考区域图像的两个区域之间的相似度。相对应的，全图相似度表示两幅图像之间的相似度，具体为目标图像和病灶参考图像的两幅图像之间的相似度。对目标图像的识别可以包括目标图像是否具有病灶区域图像以及病灶区域图像的部位类别、目标类型和病灶区域图像在目标图像中的最佳位置。

当然，在具体实现过程中，可以采集大量消化道内窥镜检查的图像数据，标注病灶数据，制作训练样本数据。基于训练样本数据训练部位识别分类网络，用于识别目标图像的部位类别，分类成：体外图像类别，模糊图像类别，食管图像类别、胃图像类别4个类别。进一步依据不同的部位类别训练不同的目标检测模型，用于识别待检索图像的病灶疑似区域图像。比如训练一个单类别的食管病灶图像检测模型，训练一个单类别的胃部病灶图像检测模型。进一步，制作病灶数据检索仓库，依据要识别的目标类型，分成以下目标类型：食管假阳性图像类型，胃部假阳性图像类型，食管早癌图像类型，反流性食管炎图像类型，barrett食管图像类型，胃早癌图像类型，胃溃疡图像类型，慢性萎缩性胃炎图像类型。

本发明实施例确定目标图像的部位类别和病灶疑似区域图像，然后从预先存储的与所述部位类别对应的各幅病灶参考图像中，筛选出与所述目标图像的全图相似度达到预设的第一相似度阈值的K幅病灶参考图像；在从所述K幅病灶参考图像中，筛选出病灶参考区域图像与所述病灶疑似区域图像的区域相似度达到预设的第二相似度阈值的H幅病灶参考图像；最后通过对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配的方式识别所述目标图像，有效提高目标图像识别准确率。并且本发明实施例中未采用大尺度的降维采样等方式避免了现有图像匹配算法存在的弊端。

本实施方式中，对目标图像先进行部位类别识别和病灶区域图像检测识别，识别到病灶疑似区域图像，对目标图像全图与数据仓库里的病灶参考图像进行全图相似度匹配，提取出全图相似度在前的图像队列，快速滤除大量不匹配的图像，排除掉误识别为疾病的图像，实现粗筛选。进一步，使用区域相似度匹配，再与数据仓库里的病灶参考图像的病灶参考区域图像进行对比，进一步过滤掉病灶区域纹理特征及边界特征不匹配的大量数据，进一步为特征点匹配缩小图像队列，从而提高辅助识别的效率。

在一些实施方式中，通过将部位类别分类为无病灶部位类别和待检测部位类别，从而在识别到无病灶部位类别时，就可以判断出目标图像无病灶，从而进一步提高辅助识别效率。换言之，所述步骤S102之前，包括：

调用预先训练的部位识别分类网络识别所述目标图像的部位类别；

在识别的部位类别为所述无病灶部位类别时，判定所述目标图像无病灶区域图像；

在识别的部位类别为所述待检测部位类别时，调用预先训练的与所述待检测部位类别对应的目标检测模型识别所述目标图像的病灶疑似区域图像；

在识别不到所述病灶疑似区域图像时，判定所述目标图像无病灶区域图像；

在识别到所述病灶疑似区域图像时，执行步骤S102。

在一些实施方式中，基于全图感知哈希特征字符串、区域感知哈希特征字符串和汉明距离结合的方式，进行全图相似度匹配和区域相似度匹配，不仅提高了目标图像识别率，而且未采用大尺度的降维采样等方式避免了现有图像匹配算法存的弊端。

也就是说，所述步骤S102，包括：

计算所述目标图像对应的第一全图平均哈希特征字符串与各幅病灶参考图像的第二全图平均哈希特征字符串的第一汉明距离；

根据所述第一相似度阈值和各第一汉明距离，筛选出所述K幅病灶参考图像。

所述步骤S103，包括：

计算所述病灶疑似区域图像对应的第一区域感知哈希特征字符串与所述K幅病灶参考图像的病灶参考区域图像的第二区域感知哈希特征字符串的第二汉明距离；

根据所述第二相似度阈值和各第二汉明距离，筛选出所述H幅病灶参考图像。

可选地，基于全图的均值哈希算法，对所述目标图像的全图生成所述目标图像对应的第一全图平均哈希特征字符串；基于区域的感知哈希算法，对所述病灶疑似区域图像生成所述病灶疑似区域图像对应的第一区域感知哈希特征字符串。

在一些实施方式中，所述对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，以确认所述目标图像的病灶识别结果，包括：

通过尺度不变特征变换SIFT图像匹配算法将所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域；

对所述H个位置区域进行重叠过滤操作，从所述目标图像中识别出病灶区域图像的最佳位置；

根据所述最佳位置对应的病灶参考图像，识别出病灶区域图像的部位类别和目标类型。

该实施方式通过上述特征点匹配方式，不仅可以有效识别出病灶的部位类别和目标类型及最佳区域，并进一步提高病灶识别率。

详细地，所述通过尺度不变特征变换SIFT图像匹配算法将所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域，包括：

对于每幅病灶参考图像，通过尺度不变特征变换SIFT图像匹配算法，并采用欧式距离度量对所述目标图像中病灶疑似区域图像内的关键点建立与该幅病灶参考图像的病灶参考区域图像的关键点依次进行特征点匹配；

在匹配度超过设定匹配阈值时，关键点匹配成功；对匹配成功的关键点集合求出变换矩阵，通过所述变换矩阵确定所述H个位置区域的边界；

根据所述H个位置区域的边界，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域；

所述对所述H个位置区域进行重叠过滤操作，从所述目标图像中识别出病灶的最佳位置，包括：

根据区域相似度降序排列H个位置区域，选取区域相似度最高的位置区域加入到输出列表，将输出列表的位置区域依次与H个位置区域中剩余的目标位置区域计算重叠面积比例；

在每次重叠面积比例计算中，如果输出列表的位置区域与当前目标位置区域的重叠面积比例大于设定比例阈值，进行下次重叠面积比例计算，否则将输出列表的位置区域替换成当前目标位置区域；

根据所述输出列表中最终的位置区域，确定所述目标图像中病灶的最佳位置。

实施例二

在实施例一的基础上，本发明实施例提供一种具体的目标图像识别方法，主要基于深度学习和图像特征匹配算法相结合的目标图像识别方法。

该识别方法首先对目标图像先进行部位识别和病灶疑似区域图像识别，识别到病灶疑似区域图像，基于全图的均值哈希算法，对目标图像的全图提取特征，与数据仓库里的相应部位类别对应的病灶参考图像的全图均值哈希算法提取的特征进行汉明距离对比，提取出最高汉明距离的图像队列，快速滤除大量不匹配的数据，排除掉误识别为疾病的图像，实现粗筛选。

然后，基于区域的感知哈希算法，对病灶疑似区域图像进行区域的特征提取，再与数据仓库里的病灶参考图像的病灶参考区域图像的感知哈希算法提取的特征进行汉明距离对比，进一步过滤掉目标区域纹理特征及边界特征不匹配的大量数据，进一步缩小图像队列。

最后，依次与图像队列里的图像使用特征匹配算法得到特征匹配点集，基于数据库参考图像标注的病灶参考区域图像进行特征匹配点集过滤，计算出要识别的病灶疑似区域图像的位置区域，该位置区域通常为矩形框边界集合，最后对矩形框边界集合进行重叠矩形框过滤操作返回识别结果。详细地，

步骤1：采集大量消化道内窥镜检查的图像数据，标注病灶区域图像数据，制作训练样本数据。

步骤2：基于样本数据训练部位识别分类网络，用于识别目标图像的部位类型，分类成：体外图像类别，模糊图像类别，食管图像类别、胃图像类别4个类别。

步骤3：依据不同的部位训练不同的目标检测模型，用于识别目标图像的病灶疑似区域图像。比如一个单类别的食管病灶图像检测模型，一个单类别的胃部病灶图像检测模型。

步骤4：制作病灶数据检索仓库，依据要识别的目标类型，分成以下类别：食管假阳性图像类型，胃部假阳性图像类型，食管早癌图像类型，反流性食管炎图像类型，barrett食管图像类型，胃早癌图像类型，胃溃疡图像类型，慢性萎缩性胃炎图像类型。对每张图像生成一个基于全图的均值哈希算法的第二全图平均哈希特征字符串和基于病灶疑似区域图像的感知哈希算法的第二区域感知哈希特征字符串。

4.1生成基于全图的均值哈希算法的第二全图平均哈希特征字符串

对病灶参考图像的全图转换成灰度图像，再缩放到8X8图像大小，计算所有M（例如64）个像素的灰度平均值，采用哈希算法计算第二全图哈希特征字符串。哈希算法如下将每个像素的灰度值与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0。64个像素值组合在一起，就构成了一个64位的整数，作为第二全图平均哈希特征字符串。

4.2生成基于目标区域的感知哈希算法的特征字符串

对病灶参考图像标注病灶参考区域图像后，这里是矩形框形式的目标区域，从全图中裁剪出该病灶参考区域图像，生成灰度图像，再缩放到32X32图像大小，计算离散余弦变换，取左上角的8X8像素区域，计算这64个像素的灰度平均值，采用哈希算法计算第二区域感知哈希特征字符串。哈希算法如下将每个像素的灰度值与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0。64个像素值组合在一起，就构成了一个64位的整数，作为第二区域感知哈希特征字符串。

4.3将图像ID，图像磁盘路径，4.1和4.2生成的两个特征字符串存入要检索的数据仓库中。

步骤5对目标图像进行AI推断

先调用部位识别分类网络判断是哪个部位类别，如果识别成体外图像类型或者模糊图像类型类别，返回无病灶区域图像结果；如果识别成食管图像类型，调用食管图像目标检测模型；如果识别成胃部图像类型，调用胃部图像目标检测模型。如果识别不到病灶疑似区域图像，返回无病灶区域图像结果；如果识别出病灶疑似区域图像，进行下一步操作。

步骤6图像相似度匹配

6.1调用全图相似度匹配算法

对步骤5中识别出病灶疑似区域图像的目标图像，计算基于全图的均值哈希算法的第一全图平均哈希特征字符串，与数据库所有对应部位类别的病灶参考图像的第二全图平均哈希特征字符串相比较，计算汉明距离。比如识别出食管图像类别，就与数据库中食管图像类别的图像数据对应的全图均值哈希算法的特征字符串相比较，计算汉明距离。识别出胃部图像类别，就与数据库中胃部图像类别的图像数据对应的全图均值哈希算法的特征字符串相比较，计算汉明距离。根据第一相似度阈值，通过计算汉明距离取出汉明距离相似度最高的K幅病灶参考图像。其中，所述基于全图的均值哈希算法，对所述目标图像的全图生成所述目标图像对应的第一全图平均哈希特征字符串，包括：

对所述目标图像生成第一灰度图像，根据所述第一灰度图像得到第一缩放图像（例如，8X8图像），对所述第一缩放图像的M个像素计算第一灰度平均值；根据所述第一灰度图像的每个像素的灰度值与所述第一灰度平均值，采用哈希算法生成所述第一全图平均哈希特征字符串。

6.2调用目标区域相似度匹配算法

从目标图像裁剪出病灶疑似区域图像，计算基于病灶疑似区域图像的区域均值哈希算法的第一区域感知哈希特征字符串，并分别与数据库中6.1中取出的K张汉明距离相似度最高的图像所对应的病灶参考区域图像的区域均值哈希算法提取的第一区域感知哈希特征字符串相比较，计算汉明距离。比如识别出食管图像类别，就与数据库中食管图像类别的图像数据对应的目标区域的均值哈希算法的特征字符串相比较，计算汉明距离。识别出胃部图像类别，就与数据库中胃部类别的图像数据对应的目标区域均值哈希算法的特征字符串相比较，计算汉明距离。根据第二相似度阈值，通过计算汉明距离取出汉明距离相似度最高的H幅病灶参考图像。其中，所述基于区域的感知哈希算法，对所述病灶疑似区域图像生成所述病灶疑似区域图像对应的第一区域感知哈希特征字符串，包括：

从所述目标图像裁剪出所述病灶疑似区域图像，生成第二灰度图像；根据所述第二灰度图像得到第二缩放图像（例如32X32图像），对所述第二缩放图像计算离散余弦变换；从离散余弦变换的第二缩放图像中选择计算区域（例如左上角的8X8像素区域），确定所述计算区域的M个像素的第二灰度平均值；根据所述计算区域的每个像素的灰度值与所述第二灰度平均值，采用哈希算法生成所述第一区域感知哈希特征字符串。

6.3利用SIFT图像匹配算法依次与上一步得到的H幅病灶参考图像进行特征点匹配，得到目标图像与数据库参考图像的匹配关键点集，病灶目标识别是通过两副图像内关键点集比对来完成的。得到匹配的关键点集后，对关键点集基于数据库参考图像标注的病灶参考区域图像进行过滤，即判断关键点坐标是否在病灶参考区域图像以内（如图2右半部分），去除病灶参考区域图像以外的关键点。对病灶参考区域图像内的关键点建立采用欧式距离度量与数据库参考图像的关键点，当相似度超过设定阈值，则关键点匹配成立，对匹配成功的关键点集合求出变换矩阵，通过变换矩阵计算出要识别病灶疑似区域图像的矩形框边界。

计算图像之间的坐标变换矩阵。匹配特征点对初步建立后，至少利用4组匹配点就可以计算出图像间的坐标转换关系，通过变换矩阵找到模板图在待匹配图中的具体位置，对应关系如下：

A'=HA

矩阵H有9个元素，利用4组匹配点可以完成对应性求解。但SIFT匹配过程容易产生误匹配点，必须通过一定数量的匹配点对进行非线性优化，用转换坐标位置误差最小化来优化估计H，其误差函数如下：

其中：d表示距离;i表示匹配点对数量，A和表示匹配特征矩阵。

依次与上一步得到的H张相似度最高的图像进行特征点匹配，对匹配成功的特征点相连接形成闭合轮廓区域，计算闭合轮廓的最小外接矩形即可得到H个矩形坐标集合、相似度及对应的病灶类别。

6.4对6.3得到的H个矩形框，进行重叠矩形框过滤操作，消除多余（交叉重复）的矩形框，找到最佳病灶检测位置。按照矩形框所对应的病灶类别进行分类，依次对每个病灶类别下的矩形框列表进行如下操作：根据相似度降序排列矩形框列表，选取相似度最高的矩形框加入到输出列表，将输出列表的矩形框依次与剩余的矩形框计算重叠面积比例，如果重叠比例大于设定阈值，就将矩形框删除，否则加入到输出框列表中，得出最终的病灶识别结果。

本发明实施例有效提高目标图像识别准确率。并且本发明实施例中未采用大尺度的降维采样等方式避免了现有图像匹配算法存的弊端。

实施例三

本发明实施例提供一种目标图像识别装置，所述目标图像识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

所述计算机程序被所述处理器执行时，实现如实施例一、二中任一项所述的目标图像识别方法的步骤。

实施例四

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有目标图像识别程序，所述目标图像识别程序被处理器执行时，实现如实施例一、二中任一项所述的目标图像识别方法的步骤。

实施例三至实施例四在具体实现过程中，可以参阅实施例一、二，具有相应的技术效果。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种目标图像识别方法，其特征在于，所述目标图像识别方法包括：

步骤S101，确定目标图像的部位类别和病灶疑似区域图像；

步骤S102，从预先存储的与所述部位类别对应的各幅病灶参考图像中，筛选出与所述目标图像的全图相似度达到预设的第一相似度阈值的K幅病灶参考图像；其中，每幅病灶参考图像包含一种目标类型的病灶参考区域图像；

步骤S103，从所述K幅病灶参考图像中，筛选出病灶参考区域图像与所述病灶疑似区域图像的区域相似度达到预设的第二相似度阈值的H幅病灶参考图像；所述K和H为整数；

步骤S104，对所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，以识别所述目标图像。

2.根据权利要求1所述的目标图像识别方法，其特征在于，所述部位类别包括无病灶部位类别和待检测部位类别；

所述步骤S102之前，包括：

调用预先训练的部位识别分类网络识别所述目标图像的部位类别；

在识别的部位类别为所述无病灶部位类别时，判定所述目标图像无病灶区域图像；

在识别的部位类别为所述待检测部位类别时，调用预先训练的与所述待检测部位类别对应的目标检测模型识别所述目标图像的病灶疑似区域图像；

在识别不到所述病灶疑似区域图像时，判定所述目标图像无病灶区域图像；

在识别到所述病灶疑似区域图像时，执行所述步骤S102。

3.根据权利要求2所述的目标图像识别方法，其特征在于，所述步骤S102，包括：

计算所述目标图像对应的第一全图平均哈希特征字符串与各幅病灶参考图像的第二全图平均哈希特征字符串的第一汉明距离；

根据所述第一相似度阈值和各第一汉明距离，筛选出所述K幅病灶参考图像。

4.根据权利要求3所述的目标图像识别方法，其特征在于，所述步骤S103，包括：

计算所述病灶疑似区域图像对应的第一区域感知哈希特征字符串与所述K幅病灶参考图像的病灶参考区域图像的第二区域感知哈希特征字符串的第二汉明距离；

根据所述第二相似度阈值和各第二汉明距离，筛选出所述H幅病灶参考图像。

5.根据权利要求4所述的目标图像识别方法，其特征在于，所述目标图像识别方法，还包括：

基于全图的均值哈希算法，对所述目标图像的全图生成所述第一全图平均哈希特征字符串；

基于区域的感知哈希算法，对所述病灶疑似区域图像生成所述第一区域感知哈希特征字符串。

6.根据权利要求5所述的目标图像识别方法，其特征在于，所述基于全图的均值哈希算法，对所述目标图像的全图生成所述第一全图平均哈希特征字符串，包括：

对所述目标图像生成第一灰度图像，根据所述第一灰度图像得到第一缩放图像，对所述第一缩放图像的M个像素计算第一灰度平均值；根据所述第一缩放图像的每个像素的灰度值与所述第一灰度平均值，采用哈希算法生成所述第一全图平均哈希特征字符串；所述M为整数；

所述基于区域的感知哈希算法，对所述病灶疑似区域图像生成所述第一区域感知哈希特征字符串，包括：

从所述目标图像裁剪出所述病灶疑似区域图像，对所述病灶疑似区域图像生成第二灰度图像；根据所述第二灰度图像得到第二缩放图像，对所述第二缩放图像计算离散余弦变换；从离散余弦变换的第二缩放图像中选择计算区域，确定所述计算区域的M个像素的第二灰度平均值；根据所述计算区域的每个像素的灰度值与所述第二灰度平均值，采用哈希算法生成所述第一区域感知哈希特征字符串。

7.根据权利要求1-6中任意一项所述的目标图像识别方法，其特征在于，所述步骤S104，包括：

通过尺度不变特征变换SIFT图像匹配算法将所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域；

对所述H个位置区域进行重叠过滤操作，从所述目标图像中识别出病灶区域图像的最佳位置；

根据所述最佳位置对应的病灶参考图像，识别出病灶区域图像的部位类别和目标类型。

8.根据权利要求7所述的目标图像识别方法，其特征在于，所述通过尺度不变特征变换SIFT图像匹配算法将所述目标图像和所述H幅病灶参考图像的病灶参考区域图像依次进行特征点匹配，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域，包括：

对于每幅病灶参考图像，通过尺度不变特征变换SIFT图像匹配算法，并采用欧式距离度量对所述目标图像中病灶疑似区域图像内的关键点与该幅病灶参考图像的病灶参考区域图像的关键点依次进行特征点匹配；

在匹配度超过设定匹配阈值时，关键点匹配成功；对匹配成功的关键点集合求出变换矩阵，通过所述变换矩阵确定所述H个位置区域的边界；

根据所述H个位置区域的边界，从所述目标图像中获得与所述H幅病灶参考图像的病灶参考区域图像对应的H个位置区域。

9.根据权利要求8所述的目标图像识别方法，其特征在于，所述对所述H个位置区域进行重叠过滤操作，从所述目标图像中识别出病灶区域图像的最佳位置，包括：

根据区域相似度降序排列H个位置区域，选取区域相似度最高的位置区域加入到输出列表，将输出列表的位置区域依次与H个位置区域中剩余的目标位置区域计算重叠面积比例；

在每次重叠面积比例计算中，如果输出列表的位置区域与当前目标位置区域的重叠面积比例大于设定比例阈值，进行下次重叠面积比例计算，否则将输出列表的位置区域替换成当前目标位置区域；

根据所述输出列表中最终的位置区域，确定所述目标图像中病灶区域图像的最佳位置。

10.一种目标图像识别装置，其特征在于，所述目标图像识别装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；

所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的目标图像识别方法的步骤。

Images