CN112184729B - 局部图像的表征获取方法、系统、介质及装置 - Google Patents

局部图像的表征获取方法、系统、介质及装置 Download PDF

Info

Publication number
CN112184729B
CN112184729B CN202011015637.XA CN202011015637A CN112184729B CN 112184729 B CN112184729 B CN 112184729B CN 202011015637 A CN202011015637 A CN 202011015637A CN 112184729 B CN112184729 B CN 112184729B
Authority
CN
China
Prior art keywords
image
output
output image
pixels
interception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011015637.XA
Other languages
English (en)
Other versions
CN112184729A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Midu Wenxiu Intelligent Technology Co ltd
Original Assignee
Tianjin Midu Wenxiu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Midu Wenxiu Intelligent Technology Co ltd filed Critical Tianjin Midu Wenxiu Intelligent Technology Co ltd
Priority to CN202011015637.XA priority Critical patent/CN112184729B/zh
Publication of CN112184729A publication Critical patent/CN112184729A/zh
Application granted granted Critical
Publication of CN112184729B publication Critical patent/CN112184729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种局部图像的表征获取方法、系统、介质及装置，所述方法包括以下步骤：获取输入图像，对所述输入图像进行处理获得预设规格的图像；基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标；基于所述坐标从输入图像中截取对象；获取所述对象和输入图像的预设大小的表征；融合所述对象和输入图像的表征获得预设大小的表征。本发明的一种局部图像的表征获取方法、系统、介质及装置，用于通过预设大小的表征表示局部对象的图像和输入图像(原图)，同时达到用小图，模糊图搜索原图的效果，大大提高了搜素效率，达到局部图像(包含对象)搜索原图的效果。

Description

局部图像的表征获取方法、系统、介质及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种局部图像的表征获取方法、系统、介质及装置。
背景技术
图像表征：指的是用一定维度的向量来表示图像，可用图像的向量来计算图像之间的相似度，从而来判断图像之间的相似性。
局部以图搜图：指的是用户输入图像，系统将原图以及按照相似度倒序的方式将图像展示给用户。而当用户输入局部图像(含对象)时，系统往往搜索不到原图展示给用户，所以上述第1点：图像表征起到了至关重要的作用，于是我们用一种新的方法解决这一问题。
通用的搜索方式(基于对象匹配)：通过用户输入的局部图像中的对象，来进行匹配搜索，如：人脸匹配。而这样的搜索方式，表征方式不同且需要庞大的服务器计算资源和不同的相似度计算方式。
虽然能解决局部图像的搜索问题，但是，受到计算资源的限制。
因此，希望能够如何获取图像的表征，如何利用较少的计算机资源进行图像的搜索的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种局部图像的表征获取方法、系统、介质及装置，用于解决现有技术中如何获取图像的表征，如何利用较少的计算机资源进行图像的搜索的问题。
为实现上述目的及其他相关目的，本发明提供一种局部图像的表征获取方法，包括以下步骤：获取输入图像，对所述输入图像进行处理获得预设规格的图像；基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标；基于所述坐标从输入图像中截取对象；获取所述对象和输入图像的预设大小的表征；融合所述对象和输入图像的表征获得预设大小的表征。
于本发明的一实施例中，所述对所述输入图像进行处理获得预设规格的图像包括：对所述图像进行大小和RGB颜色调整获得预设规格为300*300*3像素的图像。
于本发明的一实施例中，所述基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标包括：将所述预设规格的图像通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，获得150*150*32像素的第一输出图像；将所述第一输出图像依次经过两个相同的可分离深度卷积块操作，获得75*75*128像素的第二输出图像；将所述第二输出图像依次经过两个相同的可分离深度卷积块操作，获得38*38*256像素的第三输出图像；将所述第三输出图像依次经过六个相同的可分离深度卷积块操作，获得19*19*512像素的第四输出图像；将所述第四输出图像依次经过两个相同的可分离深度卷积块操作，获得19*19*1024像素的第五输出图像；将所述第五输出图像依次经过两个相同的可分离深度卷积块操作，获得10*10*512像素的第六输出图像；将所述第六输出图像依次经过两个相同的可分离深度卷积块操作，获得5*5*256像素的第七输出图像；将所述第七输出图像依次经过两个相同的可分离深度卷积块操作，获得3*3*256像素的第八输出图像；将所述第八输出图像依次经过两个相同的可分离深度卷积块操作，获得1*1*256像素的第九输出图像；将所述第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像分别进行预设的卷积操作后得到各自的检测结果；基于所述检测结果获取对应输入图像的坐标。
于本发明的一实施例中，所述获取所述对象和输入图像的预设大小的表征包括：截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像；分别将所述截取输出对象和截取输出图像各自经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象和第一截取输出图像；分别将所述第一截取输出对象和第一截取输出图像各自经过三个相同的可分离深度卷积块操作，获得112*112*128像素的第二截取输出对象和第二截取输出图像；分别将所述第二截取输出对象和第二截取输出图像各自经过四个相同的可分离深度卷积块操作，获得56*56*256像素的第三截取输出对象和第三截取输出图像；分别将所述第三截取输出对象和第三截取输出图像各自经过四个相同的可分离深度卷积块操作，获得29*28*512像素的第四截取输出对象和第四截取输出图像；分别将所述第四截取输出对象和第四截取输出图像各自经过四个相同的可分离深度卷积块操作，获得14*14*512像素的第五截取输出对象和第五截取输出图像；分别将所述第五截取输出对象和第五截取输出图像各自经过一个可分离深度卷积块操作，获得7*7*512像素的第六截取输出对象和第六截取输出图像。
为实现上述目的，本发明还提供一种局部图像的表征获取系统，包括：预处理模块、坐标获取模块、截取模块、获取表征模块和融合模块；所述预处理模块用于获取输入图像，对所述输入图像进行处理获得预设规格的图像；所述坐标获取模块用于基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标；所述截取模块用于基于所述坐标从输入图像中截取对象；所述获取表征模块用于获取所述对象和输入图像的预设大小的表征；所述融合模块用于融合所述对象和输入图像的表征获得预设大小的表征。
于本发明的一实施例中，所述预处理模块用于对所述输入图像进行处理获得预设规格的图像包括：对所述图像进行大小和RGB颜色调整获得预设规格为300*300*3像素的图像。
于本发明的一实施例中，所述坐标获取模块用于基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标包括：将所述预设规格的图像通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，获得150*150*32像素的第一输出图像；将所述第一输出图像依次经过两个相同的可分离深度卷积块操作，获得75*75*128像素的第二输出图像；将所述第二输出图像依次经过两个相同的可分离深度卷积块操作，获得38*38*256像素的第三输出图像；将所述第三输出图像依次经过六个相同的可分离深度卷积块操作，获得19*19*512像素的第四输出图像；将所述第四输出图像依次经过两个相同的可分离深度卷积块操作，获得19*19*1024像素的第五输出图像；将所述第五输出图像依次经过两个相同的可分离深度卷积块操作，获得10*10*512像素的第六输出图像；将所述第六输出图像依次经过两个相同的可分离深度卷积块操作，获得5*5*256像素的第七输出图像；将所述第七输出图像依次经过两个相同的可分离深度卷积块操作，获得3*3*256像素的第八输出图像；将所述第八输出图像依次经过两个相同的可分离深度卷积块操作，获得1*1*256像素的第九输出图像；将所述第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像分别进行预设的卷积操作后得到各自的检测结果；基于所述检测结果获取对应输入图像的坐标。
于本发明的一实施例中，所述获取表征模块用于获取所述对象和输入图像的预设大小的表征包括：截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像；分别将所述截取输出对象和截取输出图像各自经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象和第一截取输出图像；分别将所述第一截取输出对象和第一截取输出图像各自经过三个相同的可分离深度卷积块操作，获得112*112*128像素的第二截取输出对象和第二截取输出图像；分别将所述第二截取输出对象和第二截取输出图像各自经过四个相同的可分离深度卷积块操作，获得56*56*256像素的第三截取输出对象和第三截取输出图像；分别将所述第三截取输出对象和第三截取输出图像各自经过四个相同的可分离深度卷积块操作，获得29*28*512像素的第四截取输出对象和第四截取输出图像；分别将所述第四截取输出对象和第四截取输出图像各自经过四个相同的可分离深度卷积块操作，获得14*14*512像素的第五截取输出对象和第五截取输出图像；分别将所述第五截取输出对象和第五截取输出图像各自经过一个可分离深度卷积块操作，获得7*7*512像素的第六截取输出对象和第六截取输出图像。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述局部图像的表征获取方法。
为实现上述目的，本发明还提供一种局部图像的表征获取装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述局部图像的表征获取装置执行任一上述的局部图像的表征获取方法。
如上所述，本发明的一种局部图像的表征获取方法、系统、介质及装置，具有以下有益效果：通过预设大小的表征表示局部对象的图像和输入图像(原图)，同时达到用小图，模糊图搜索原图的效果，大大提高了搜素效率，达到局部图像(包含对象)搜索原图的效果。
附图说明
图1a显示为本发明的局部图像的表征获取方法于一实施例中的流程图；
图1b显示为本发明的局部图像的表征获取方法于又一实施例中的流程图；
图2显示为本发明的局部图像的表征获取系统于一实施例中的结构示意图；
图3显示为本发明的局部图像的表征获取装置于一实施例中的结构示意图。
元件标号说明
21 预处理模块
22 坐标获取模块
23 截取模块
24 获取表征模块
25 融合模块
31 处理器
32 存储器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的局部图像的表征获取方法、系统、介质及装置，用于通过预设大小的表征表示局部对象的图像和输入图像(原图)，同时达到用小图，模糊图搜索原图的效果，大大提高了搜素效率，达到局部图像(包含对象)搜索原图的效果。
如图1a所示，于一实施例中，本发明的局部图像的表征获取方法，包括以下步骤：
步骤S11、获取输入图像，对所述输入图像进行处理获得预设规格的图像。
具体地，所述对所述输入图像进行处理获得预设规格的图像包括：对所述图像进行大小和RGB颜色调整获得预设规格为300*300*3像素的图像。所述300*300是指所述图像的长和宽，所述3是指RGB颜色。
步骤S12、基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标。
具体地，所述可分离深度卷积块属于神经网络-mobile net，是一种加速卷积计算的方式。
具体地，文中采用同一种卷积块进行操作，包括通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作。
具体地，所述基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标包括：将所述预设规格的图像通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，获得150*150*32像素的第一输出图像。具体地，3*3*32像素中3*3表示卷积核的尺寸大小，32表示32个卷积核，通过32个3*3尺寸的卷积核。第步骤S11步的结果(预设规格为300*300*3像素的图像)，按照步长为1，从左至右，从上至下的方式移动，每次移动都在对应位置，将元素相乘(也就是3*3个元素)，再求和，作为输出图像的其中一个元素值，循环操作，最终获得32个150*150的输出第一输出图像，即为50*150*32像素的第一输出图像。如何获得第一输出图像的尺寸：(300-3+0)/2+1＝149.5，再向上取整，得到150。所以第一输出图像的尺寸是150*150*32。所述批量归一化是指不改变150*150*32的第一输出图像的尺寸，只是将每一个元素归一化到0～1之间，加速计算过程。归一化就是将数据的输入值减去其均值然后除以数据的标准差。所述激活函数为relu激活函数，当输入值小于0时，激活函数的输出值为恒等于0，当输入值大于0时，激活函数值，始终等于一个常数。
将所述第一输出图像依次经过两个相同的可分离深度卷积块操作，获得75*75*128像素的第二输出图像。所述可分离深度卷积块操作与前面的通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作相同。
将所述第二输出图像依次经过两个相同的可分离深度卷积块操作，获得38*38*256像素的第三输出图像。所述可分离深度卷积块操作与前面的通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作相同。具体地，可分离深度卷积块操作都与前面的通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作相同。
将所述第三输出图像依次经过六个相同的可分离深度卷积块操作，获得19*19*512像素的第四输出图像。
将所述第四输出图像依次经过两个相同的可分离深度卷积块操作，获得19*19*1024像素的第五输出图像。
将所述第五输出图像依次经过两个相同的可分离深度卷积块操作，获得10*10*512像素的第六输出图像。
将所述第六输出图像依次经过两个相同的可分离深度卷积块操作，获得5*5*256像素的第七输出图像。
将所述第七输出图像依次经过两个相同的可分离深度卷积块操作，获得3*3*256像素的第八输出图像。
将所述第八输出图像依次经过两个相同的可分离深度卷积块操作，获得1*1*256像素的第九输出图像。
将所述第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像分别进行预设的卷积操作后得到各自的检测结果。具体地，所述预设的卷积操作是指依次进行五次通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，得到1*1*25的检测结果。其中，在25中：4位表示坐标信息，1位表示检测结果的置信度(范围0-1)，剩下20位表示对应类别。这样尽管有第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像五个，但是由于置信度不同，保留置信度超过0.3的输出图像，进行后续动作，这样也提高了局部图像(包含对象)搜索原图的准确率。
基于所述检测结果获取对应输入图像的坐标。从1*1*25的检测结果中表示坐标信息的4位获得对应输入图像的坐标。
步骤S13、基于所述坐标从输入图像中截取对象。
具体地，从1*1*25的检测结果中表示坐标信息的4位获得对应输入图像的坐标，基于所述坐标从输入图像中截取对象，即截取输入图像的局部图像。
步骤S14、获取所述对象和输入图像的预设大小的表征。
具体地，所述获取所述对象和输入图像的预设大小的表征包括：
截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像。具体地，采用letterbox截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像。
分别将所述截取输出对象和截取输出图像各自经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象和第一截取输出图像。具体地，将所述截取输出对象经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象。将所述截取输出图像经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出图像。
分别将所述第一截取输出对象和第一截取输出图像各自经过三个相同的可分离深度卷积块操作，获得112*112*128像素的第二截取输出对象和第二截取输出图像。
分别将所述第二截取输出对象和第二截取输出图像各自经过四个相同的可分离深度卷积块操作，获得56*56*256像素的第三截取输出对象和第三截取输出图像。
分别将所述第三截取输出对象和第三截取输出图像各自经过四个相同的可分离深度卷积块操作，获得29*28*512像素的第四截取输出对象和第四截取输出图像。
分别将所述第四截取输出对象和第四截取输出图像各自经过四个相同的可分离深度卷积块操作，获得14*14*512像素的第五截取输出对象和第五截取输出图像。
分别将所述第五截取输出对象和第五截取输出图像各自经过一个可分离深度卷积块操作，获得7*7*512像素的第六截取输出对象和第六截取输出图像。还包括对所述7*7*512像素的第六截取输出对象的7*7的通道求均值得到1*1*512第六截取输出对象的表征；对所述7*7*512像素的第六截取输出图像的7*7的通道求均值得到1*1*512第六截取输出图象的表征。
步骤S15、融合所述对象和输入图像的表征获得预设大小的表征。
具体地，将1*1*512第六截取输出对象的表征和1*1*512第六截取输出图象的表征的512部分求和求平均得到预设大小的表征。所述预设大小为512dim(维)。用512dim的表征来表示图片，同时能达到小图、模糊图搜索原图的效果。
具体地，还包括使用所述预设大小的表征表示输入图像，从而基于所述预设大小的表征搜索原图。
具体地，如图1b所示，于一实施例中，本发明的局部图像的表征获取方法，包括：
获取输入图像。
对所述输入图像进行处理获得预设规格的图像。
基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标，基于所述坐标从输入图像中截取对象。获取所述对象的预设大小的表征。
获取所述输入图像的预设大小的表征。
融合所述对象和输入图像的表征获得预设大小的表征。
如图2所示，于一实施例中，本发明的局部图像的表征获取系统，预处理模块21、坐标获取模块22、截取模块23、获取表征模块24和融合模块25；所述预处理模块21用于获取输入图像，对所述输入图像进行处理获得预设规格的图像；所述坐标获取模块22用于基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标；所述截取模块23用于基于所述坐标从输入图像中截取对象；所述获取表征模块24用于获取所述对象和输入图像的预设大小的表征；所述融合模块25用于融合所述对象和输入图像的表征获得预设大小的表征。
于本发明的一实施例中，所述预处理模块用于对所述输入图像进行处理获得预设规格的图像包括：对所述图像进行大小和RGB颜色调整获得预设规格为300*300*3像素的图像。
于本发明的一实施例中，所述坐标获取模块用于基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标包括：将所述预设规格的图像通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，获得150*150*32像素的第一输出图像；将所述第一输出图像依次经过两个相同的可分离深度卷积块操作，获得75*75*128像素的第二输出图像；将所述第二输出图像依次经过两个相同的可分离深度卷积块操作，获得38*38*256像素的第三输出图像；将所述第三输出图像依次经过六个相同的可分离深度卷积块操作，获得19*19*512像素的第四输出图像；将所述第四输出图像依次经过两个相同的可分离深度卷积块操作，获得19*19*1024像素的第五输出图像；将所述第五输出图像依次经过两个相同的可分离深度卷积块操作，获得10*10*512像素的第六输出图像；将所述第六输出图像依次经过两个相同的可分离深度卷积块操作，获得5*5*256像素的第七输出图像；将所述第七输出图像依次经过两个相同的可分离深度卷积块操作，获得3*3*256像素的第八输出图像；将所述第八输出图像依次经过两个相同的可分离深度卷积块操作，获得1*1*256像素的第九输出图像；将所述第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像分别进行预设的卷积操作后得到各自的检测结果；基于所述检测结果获取对应输入图像的坐标。
于本发明的一实施例中，所述获取表征模块用于获取所述对象和输入图像的预设大小的表征包括：截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像；分别将所述截取输出对象和截取输出图像各自经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象和第一截取输出图像；分别将所述第一截取输出对象和第一截取输出图像各自经过三个相同的可分离深度卷积块操作，获得112*112*128像素的第二截取输出对象和第二截取输出图像；分别将所述第二截取输出对象和第二截取输出图像各自经过四个相同的可分离深度卷积块操作，获得56*56*256像素的第三截取输出对象和第三截取输出图像；分别将所述第三截取输出对象和第三截取输出图像各自经过四个相同的可分离深度卷积块操作，获得29*28*512像素的第四截取输出对象和第四截取输出图像；分别将所述第四截取输出对象和第四截取输出图像各自经过四个相同的可分离深度卷积块操作，获得14*14*512像素的第五截取输出对象和第五截取输出图像；分别将所述第五截取输出对象和第五截取输出图像各自经过一个可分离深度卷积块操作，获得7*7*512像素的第六截取输出对象和第六截取输出图像。
需要说明的是，预处理模块21、坐标获取模块22、截取模块23、获取表征模块24和融合模块25的结构和原理与上述局部图像的表征获取方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Micro Processor Uint，简称MPU)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述局部图像的表征获取方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图3所示，于一实施例中，本发明的局部图像的表征获取装置包括：处理器31和存储器32；所述存储器32用于存储计算机程序；所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述局部图像的表征获取装置执行任一所述的局部图像的表征获取方法。
具体地，所述存储器32包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
优选地，所述处理器31可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明局部图像的表征获取方法、系统、介质及装置，通过预设大小的表征表示局部对象的图像和输入图像(原图)，同时达到用小图，模糊图搜索原图的效果，大大提高了搜素效率，达到局部图像(包含对象)搜索原图的效果。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种局部图像的表征获取方法，其特征在于，包括以下步骤：
获取输入图像，对所述输入图像进行处理获得预设规格的图像；
基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标；
基于所述坐标从输入图像中截取对象；
获取所述对象和输入图像的预设大小的表征；
融合所述对象和输入图像的表征获得预设大小的表征；
所述基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标包括：
将所述预设规格的图像进行通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，获得150*150*32像素的第一输出图像；
将所述第一输出图像经过多次可分离深度卷积块操作，得到第二输出图像至第九输出图像；
将所述第二输出图像至第九输出图像中的第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像分别进行预设的卷积操作后得到各自的检测结果；
基于所述检测结果获取对应输入图像的坐标；
所述预设的卷积操作是指依次进行五次通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，得到1*1*25的检测结果，其中，在25中：4位表示坐标信息，1位表示检测结果的置信度，所述置信度的范围为0-1，剩下20位表示对应类别；
从1*1*25的检测结果中表示坐标信息的4位获得对应输入图像的坐标；
所述获取所述对象和输入图像的预设大小的表征包括：
截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像；
分别将所述截取输出对象和截取输出图像各自经过多次可分离深度卷积块操作，得到预设大小的截取输出对象和截取输出图像。
2.根据权利要求1所述的局部图像的表征获取方法，其特征在于，所述对所述输入图像进行处理获得预设规格的图像包括：
对所述图像进行大小和RGB颜色调整获得预设规格为300*300*3像素的图像。
3.根据权利要求1所述的局部图像的表征获取方法，其特征在于，所述将所述第一输出图像经过多次可分离深度卷积块操作，得到第二输出图像至第九输出图像包括：
将所述第一输出图像依次经过两个相同的可分离深度卷积块操作，获得75*75*128像素的第二输出图像；
将所述第二输出图像依次经过两个相同的可分离深度卷积块操作，获得38*38*256像素的第三输出图像；
将所述第三输出图像依次经过六个相同的可分离深度卷积块操作，获得19*19*512像素的第四输出图像；
将所述第四输出图像依次经过两个相同的可分离深度卷积块操作，获得19*19*1024像素的第五输出图像；
将所述第五输出图像依次经过两个相同的可分离深度卷积块操作，获得10*10*512像素的第六输出图像；
将所述第六输出图像依次经过两个相同的可分离深度卷积块操作，获得5*5*256像素的第七输出图像；
将所述第七输出图像依次经过两个相同的可分离深度卷积块操作，获得3*3*256像素的第八输出图像；
将所述第八输出图像依次经过两个相同的可分离深度卷积块操作，获得1*1*256像素的第九输出图像。
4.根据权利要求1所述的局部图像的表征获取方法，其特征在于，所述分别将所述截取输出对象和截取输出图像各自经过多次可分离深度卷积块操作，得到预设大小的截取输出对象和截取输出图像包括：
分别将所述截取输出对象和截取输出图像各自经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象和第一截取输出图像；
分别将所述第一截取输出对象和第一截取输出图像各自经过三个相同的可分离深度卷积块操作，获得112*112*128像素的第二截取输出对象和第二截取输出图像；
分别将所述第二截取输出对象和第二截取输出图像各自经过四个相同的可分离深度卷积块操作，获得56*56*256像素的第三截取输出对象和第三截取输出图像；
分别将所述第三截取输出对象和第三截取输出图像各自经过四个相同的可分离深度卷积块操作，获得29*28*512像素的第四截取输出对象和第四截取输出图像；
分别将所述第四截取输出对象和第四截取输出图像各自经过四个相同的可分离深度卷积块操作，获得14*14*512像素的第五截取输出对象和第五截取输出图像；
分别将所述第五截取输出对象和第五截取输出图像各自经过一个可分离深度卷积块操作，获得7*7*512像素的第六截取输出对象和第六截取输出图像。
5.一种局部图像的表征获取系统，其特征在于，包括：预处理模块、坐标获取模块、截取模块、获取表征模块和融合模块；
所述预处理模块用于获取输入图像，对所述输入图像进行处理获得预设规格的图像；
所述坐标获取模块用于基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标；
所述截取模块用于基于所述坐标从输入图像中截取对象；
所述获取表征模块用于获取所述对象和输入图像的预设大小的表征；
所述融合模块用于融合所述对象和输入图像的表征获得预设大小的表征；
所述坐标获取模块基于神经网络的可分离深度卷积块处理所述预设规格的图像，获得输入图像中的对象的坐标包括：
将所述预设规格的图像进行通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，获得150*150*32像素的第一输出图像；
将所述第一输出图像经过多次可分离深度卷积块操作，得到第二输出图像至第九输出图像；
将所述第二输出图像至第九输出图像中的第五输出图像、第六输出图像、第七输出图像、第八输出图像和第九输出图像分别进行预设的卷积操作后得到各自的检测结果；
基于所述检测结果获取对应输入图像的坐标；
所述预设的卷积操作是指依次进行五次通过3*3*32像素的卷积核后，批量归一化和进行激活函数操作，得到1*1*25的检测结果，其中，在25中：4位表示坐标信息，1位表示检测结果的置信度，所述置信度的范围为0-1，剩下20位表示对应类别；
从1*1*25的检测结果中表示坐标信息的4位获得对应输入图像的坐标；
所述获取表征模块获取所述对象和输入图像的预设大小的表征包括：
截取所述对象和输入图像分别获得尺寸为224*224*3像素的截取输出对象和截取输出图像；
分别将所述截取输出对象和截取输出图像各自经过多次可分离深度卷积块操作，得到预设大小的截取输出对象和截取输出图像。
6.根据权利要求5所述的局部图像的表征获取系统，其特征在于，所述预处理模块用于对所述输入图像进行处理获得预设规格的图像包括：
对所述图像进行大小和RGB颜色调整获得预设规格为300*300*3像素的图像。
7.根据权利要求5所述的局部图像的表征获取系统，其特征在于，所述坐标获取模块将所述第一输出图像经过多次可分离深度卷积块操作，得到第二输出图像至第九输出图像包括：
将所述第一输出图像依次经过两个相同的可分离深度卷积块操作，获得75*75*128像素的第二输出图像；
将所述第二输出图像依次经过两个相同的可分离深度卷积块操作，获得38*38*256像素的第三输出图像；
将所述第三输出图像依次经过六个相同的可分离深度卷积块操作，获得19*19*512像素的第四输出图像；
将所述第四输出图像依次经过两个相同的可分离深度卷积块操作，获得19*19*1024像素的第五输出图像；
将所述第五输出图像依次经过两个相同的可分离深度卷积块操作，获得10*10*512像素的第六输出图像；
将所述第六输出图像依次经过两个相同的可分离深度卷积块操作，获得5*5*256像素的第七输出图像；
将所述第七输出图像依次经过两个相同的可分离深度卷积块操作，获得3*3*256像素的第八输出图像；
将所述第八输出图像依次经过两个相同的可分离深度卷积块操作，获得1*1*256像素的第九输出图像。
8.根据权利要求5所述的局部图像的表征获取系统，其特征在于，所述获取表征模块分别将所述截取输出对象和截取输出图像各自经过多次可分离深度卷积块操作，得到预设大小的截取输出对象和截取输出图像包括：
分别将所述截取输出对象和截取输出图像各自经过两个相同的可分离深度卷积块操作，获得224*224*64像素的第一截取输出对象和第一截取输出图像；
分别将所述第一截取输出对象和第一截取输出图像各自经过三个相同的可分离深度卷积块操作，获得112*112*128像素的第二截取输出对象和第二截取输出图像；
分别将所述第二截取输出对象和第二截取输出图像各自经过四个相同的可分离深度卷积块操作，获得56*56*256像素的第三截取输出对象和第三截取输出图像；
分别将所述第三截取输出对象和第三截取输出图像各自经过四个相同的可分离深度卷积块操作，获得29*28*512像素的第四截取输出对象和第四截取输出图像；
分别将所述第四截取输出对象和第四截取输出图像各自经过四个相同的可分离深度卷积块操作，获得14*14*512像素的第五截取输出对象和第五截取输出图像；
分别将所述第五截取输出对象和第五截取输出图像各自经过一个可分离深度卷积块操作，获得7*7*512像素的第六截取输出对象和第六截取输出图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至4中任一项所述局部图像的表征获取方法。
10.一种局部图像的表征获取装置，其特征在于，包括：处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述局部图像的表征获取装置执行权利要求1至4中任一项所述的局部图像的表征获取方法。
CN202011015637.XA 2020-09-24 2020-09-24 局部图像的表征获取方法、系统、介质及装置 Active CN112184729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011015637.XA CN112184729B (zh) 2020-09-24 2020-09-24 局部图像的表征获取方法、系统、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011015637.XA CN112184729B (zh) 2020-09-24 2020-09-24 局部图像的表征获取方法、系统、介质及装置

Publications (2)

Publication Number Publication Date
CN112184729A CN112184729A (zh) 2021-01-05
CN112184729B true CN112184729B (zh) 2024-04-19

Family

ID=73955481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011015637.XA Active CN112184729B (zh) 2020-09-24 2020-09-24 局部图像的表征获取方法、系统、介质及装置

Country Status (1)

Country Link
CN (1) CN112184729B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846440A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN109472315A (zh) * 2018-11-15 2019-03-15 江苏木盟智能科技有限公司 一种基于深度可分离卷积的目标检测方法和系统
CN110209863A (zh) * 2019-06-03 2019-09-06 上海蜜度信息技术有限公司 用于相似图片检索的方法与设备
CN110399799A (zh) * 2019-06-26 2019-11-01 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
CN110930387A (zh) * 2019-11-21 2020-03-27 中原工学院 基于深度可分离卷积神经网络的织物疵点检测方法
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN111401477A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846440A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法及装置、计算机可读介质和电子设备
WO2020101448A1 (en) * 2018-08-28 2020-05-22 Samsung Electronics Co., Ltd. Method and apparatus for image segmentation
CN109472315A (zh) * 2018-11-15 2019-03-15 江苏木盟智能科技有限公司 一种基于深度可分离卷积的目标检测方法和系统
CN110209863A (zh) * 2019-06-03 2019-09-06 上海蜜度信息技术有限公司 用于相似图片检索的方法与设备
CN110399799A (zh) * 2019-06-26 2019-11-01 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
CN110930387A (zh) * 2019-11-21 2020-03-27 中原工学院 基于深度可分离卷积神经网络的织物疵点检测方法
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111401477A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Deep Fully Convolutional Network-Based Spatial Distribution Prediction for Hyperspectral Image Classification";Licheng Jiao;《IEEE》;20170703;全文 *
"结合多维度特征的病理图像病灶识别方法";胡伟岸;《计算机工程与应用》;20200921;第57卷(第6期);全文 *

Also Published As

Publication number Publication date
CN112184729A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
JP7173309B2 (ja) 学習方法、学習プログラム、および、学習装置
Xingteng et al. Image matching method based on improved SURF algorithm
US8842917B2 (en) Local feature extraction apparatus, control method therefor, and computer-readable medium
CN112184729B (zh) 局部图像的表征获取方法、系统、介质及装置
Vasconcelos et al. Cuf: Continuous upsampling filters
CN110633733A (zh) 图像智能匹配方法、装置及计算机可读存储介质
Zhang Clcnet: Improving the efficiency of convolutional neural network using channel local convolutions
He et al. A fast algorithm for integrating connected-component labeling and euler number computation
Dohi et al. Deep-pipelined FPGA implementation of ellipse estimation for eye tracking
CN112348008A (zh) 证件信息的识别方法、装置、终端设备及存储介质
CN110765917A (zh) 适用于人脸识别模型训练的主动学习方法、装置、终端、介质
WO2023060874A1 (zh) 图片分类和对象检测的同步处理方法、系统、存储介质及终端
CN116129177A (zh) 图像的标注方法、装置及电子设备
CN109657083A (zh) 纺织品图片特征库的建立方法和装置
Li et al. Optimized GPU acceleration algorithm of convolutional neural networks for target detection
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
US10481930B1 (en) Computer architecture for emulating a foveal mechanism in a correlithm object processing system
US10762397B1 (en) Computer architecture for emulating image mapping in a correlithm object processing system
CN115995079A (zh) 图像语义相似度分析方法和同语义图像检索方法
CN114078270A (zh) 基于遮挡环境下人脸身份验证方法、装置、设备和介质
CN109286798B (zh) 一种投影屏幕的边框位置识别方法、系统及终端设备
CN115100441B (zh) 目标检测方法、电子设备和存储介质
He et al. A combinational algorithm for connected-component labeling and Euler number computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204

Applicant after: Shanghai Mido Technology Co.,Ltd.

Address before: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204

Applicant before: SHANGHAI MDATA INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240205

Address after: 300110, Buildings 1-1610, Huike Building, Intersection of Anshan West Road and Baidi Road, Nankai District, Tianjin

Applicant after: Tianjin Midu Wenxiu Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: Room 301ab, No.10, Lane 198, zhangheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai 201204

Applicant before: Shanghai Mido Technology Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant