CN111753847B - 图像预处理方法及装置、存储介质、电子装置 - Google Patents

图像预处理方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111753847B
CN111753847B CN202010598958.0A CN202010598958A CN111753847B CN 111753847 B CN111753847 B CN 111753847B CN 202010598958 A CN202010598958 A CN 202010598958A CN 111753847 B CN111753847 B CN 111753847B
Authority
CN
China
Prior art keywords
target
image
transformation matrix
original image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010598958.0A
Other languages
English (en)
Other versions
CN111753847A (zh
Inventor
苏慧
张兴明
殷俊
潘华东
唐邦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010598958.0A priority Critical patent/CN111753847B/zh
Publication of CN111753847A publication Critical patent/CN111753847A/zh
Application granted granted Critical
Publication of CN111753847B publication Critical patent/CN111753847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像预处理方法及装置、存储介质、电子装置，所述方法包括：获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图；按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵；根据所述第二目标变换矩阵将所述原始图像转化为目标图像。通过本发明，解决了在视频结构化的过程中，网络耗时较高，从而无法实现多标签的图像属性实时识别的问题，进而达到了对多个属性关注区域直接放大，从而有效提高属性识别的效果。

Description

图像预处理方法及装置、存储介质、电子装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像预处理方法及装置、存储介质、电子装置。
背景技术
目标属性分类是视频结构化的重要组成部分之一。
在视频监控场景中利用视频结构化描述，视频中的人、物变为一个可描述的个体展现。例如，行人可以通过性别、年龄、方向、发型、衣着等多个属性进行描述，从而使视频中嫌疑目标的快速捕捉成为可能。在视频结构化中，需要在尽可能不添加网络耗时的情况下，提高行人多标签属性识别效果。
针对相关技术中，在视频结构化的过程中，网络耗时较高，从而无法实现多标签的图像属性实时识别的问题，目前尚未存在有效的解决方案
发明内容
本发明实施例提供了一种图像预处理方法及装置、存储介质、电子装置，以至少解决在视频结构化的过程中，网络耗时较高，从而无法实现多标签的图像属性实时识别的问题。
根据本发明的一个实施例，提供了一种图像预处理方法，包括：获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；根据所述第二目标变换矩阵将所述原始图像转化为目标图像可选地，
根据本发明的另一个实施例，提供了一种图像预处理装置，包括：获取模块，用于获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；构造模块，用于根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；仿射模块，用于按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；转换模块，用于根据所述第二目标变换矩阵将所述原始图像转化为目标图像。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于获取原始图像中的关注区域后，根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，根据所述第二目标变换矩阵将所述原始图像转化为目标图像。因此，可以解决在视频结构化的过程中，网络耗时较高，从而无法实现多标签的图像属性实时识别的问题，达到在不改变图像本身尺寸的前提下，对多个属性关注区域直接放大，从而有效提高属性的识别效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种图像预处理方法的移动终端的硬件结构框图；
图2是根据本发明可选实施例的图像预处理方法的流程图；
图3是根据本发明可选实施例的图像预处理装置的结构框图；
图4是根据本发明可选实施例利用目标变换矩阵将原图第i行转化成目标图第i行的过程示例图；
图5(a)是根据本发明可选实施例的原始图；
图5(b)是根据本发明可选实施例的原始图放大后变换结果图；
图5(c)是根据本发明可选实施例的原始图放大后变换结果图；
图5(d)是根据本发明可选实施例的原始图放大后变换结果图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像预处理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像预处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的图像预处理方法，图2是根据本发明实施例的图像预处理的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；
步骤S204，根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；
步骤S206，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；
步骤S208，根据所述第二目标变换矩阵将所述原始图像转化为目标图像。
利用视频结构化中多个模块相互协作的特点，利用其他模块的固有信息，对图像中属性关注区域进行估测。根据关注区域确定所述关注区域得到的第一目标变换矩阵，根据第一目标变换矩阵生成积分图，再讲积分图进行拉伸后得到仿射变换后的第二目标变换矩阵，根据第二目标变换矩阵将原始图像转化为目标图像。
通过上述步骤，由于获取原始图像中的关注区域后，根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，根据所述第二目标变换矩阵将所述原始图像转化为目标图像。因此，可以解决在视频结构化的过程中，网络耗时较高，从而无法实现多标签的图像属性实时识别的问题，达到在不改变图像本身尺寸的前提下，对多个属性关注区域直接放大，从而有效提高属性的识别效果。
根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，包括：根据所述关注区域中的目标列与第一预设参数的乘积和所述关注区域中的目标行与预设第二参数的乘积，得到第一目标变换矩阵；根据所述第一目标变换矩阵的横向积分图和所述第一目标变换矩阵的纵向积分图构造所述第一目标变换矩阵的积分图。即逐个对关注区域的所有行和所有列乘以参数，得到目标变换矩阵。原始矩阵基于原始图像构建可以采用一个二维矩阵。根据原始矩阵和关注区域，确定第一目标变换矩阵。再根据第一目标变换矩阵得到第一目标变换矩阵的积分图。
根据所述第二目标变换矩阵将所述原始图像转化为目标图像，包括：根据所述第二目标变换矩阵将所述原始图像中的目标行转化成所述目标图像中相同位置的目标行；根据所述第二目标变换矩阵将所述原始图像中的目标列转化成所述目标图像中相同位置的目标列。即在将原始图像转化为目标图像的过程中，是通过将第二目标变换矩阵每一行和每一列中的所有矩阵值与原始图像中的相同位置行和列中的像素值位置对应。
根据所述第二目标变换矩阵，将所述原始图像转化为目标图像之后，还包括：在所述积分图的目标行数值的取值间隔数在增长且所述原始图像的对应区域的图像像素值在下降的情况下，确定所述目标图像中包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标行数值用于表示在所述原始图像的同一位置行的图像像素值相对位置；在所述积分图的目标列数值的取值间隔数在增长且所述原始图像的对应区域的图像像素值在下降的情况下，确定所述目标图像中包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标列数值用于表示在所述原始图像的同一位置列的图像像素值相对位置。
优选地，根据所述第二目标变换矩阵，将所述原始图像转化为目标图像之后，还包括：在所述积分图的目标行数值的取值间隔数在下降且所述原始图像的对应区域的图像像素值在增长的情况下，确定所述目标图像不包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标行数值用于表示在所述原始图像的同一位置行的图像像素值相对位置；在所述积分图的目标列数值的取值间隔数在下降且所述原始图像的对应区域的图像像素值在增长的情况下，确定所述目标图像不包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标列数值用于表示在所述原始图像的同一位置列的图像像素值相对位置。
具体实施时，在所述第二目标变换矩阵中每一行值的上升趋势越陡，表示取值间隔越大，对应原图该区域取的像素数越少，不是属性关注区域。在所述第二目标变换矩阵中每一行值的上升趋势越缓，表示取值间隔越小，原图该区域取的像素数越多，是属性关注区域。
优选地，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，包括：按照预设仿射变换规则将所述第一目标变换矩阵的横向积分图中的目标行进行拉伸后仿射到所述第二目标变换矩阵；按照预设仿射变换规则将所述第一目标变换矩阵的纵向积分图中的目标列进行拉伸后仿射到所述第二目标变换矩阵。
具体实施时，将所述第一目标变换矩阵的横向积分图中的目标行和所述第一目标变换矩阵的纵向积分图中的目标列在0到1之间进行拉伸，得到第二目标变换矩阵。在所述第二目标变换矩阵中包括第一目标变换矩阵中的横向和纵向通过仿射变换后得到的像素值。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种图像预处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的图像预处理装置的结构框图，如图2所示，该装置包括
获取模块30，用于获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；
构造模块32，用于根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；
仿射模块34，用于按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；
转换模块36，用于根据所述第二目标变换矩阵将所述原始图像转化为目标图像。
利用视频结构化中多个模块相互协作的特点，利用其他模块的固有信息，对图像中属性关注区域进行估测。根据关注区域确定所述关注区域得到的第一目标变换矩阵，根据第一目标变换矩阵生成积分图，再讲积分图进行拉伸后得到仿射变换后的第二目标变换矩阵，根据第二目标变换矩阵将原始图像转化为目标图像。
通过上述模块，由于获取原始图像中的关注区域后，根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，根据所述第二目标变换矩阵将所述原始图像转化为目标图像。因此，可以解决在视频结构化的过程中，网络耗时较高，从而无法实现多标签的图像属性实时识别的问题，达到在不改变图像本身尺寸的前提下，对多个属性关注区域直接放大，从而有效提高属性的识别效果。
所述转换模块36，用于根据所述第二目标变换矩阵将所述原始图像中的目标行转化成所述目标图像中相同位置的目标行；根据所述第二目标变换矩阵将所述原始图像中的目标列转化成所述目标图像中相同位置的目标列。即在将原始图像转化为目标图像的过程中，是通过将第二目标变换矩阵每一行和每一列中的所有矩阵值与原始图像中的相同位置行和列中的像素值位置对应。
所述构造模块32，用于根据所述关注区域中的目标列与第一预设参数的乘积和所述关注区域中的目标行与预设第二参数的乘积，得到第一目标变换矩阵；根据所述第一目标变换矩阵的横向积分图和所述第一目标变换矩阵的纵向积分图构造所述第一目标变换矩阵的积分图。即逐个对关注区域的所有行和所有列乘以参数，得到目标变换矩阵。原始矩阵基于原始图像构建可以采用一个二维矩阵。根据原始矩阵和关注区域，确定第一目标变换矩阵。再根据第一目标变换矩阵得到第一目标变换矩阵的积分图。
装置还包括：第一确定模块，用于在所述积分图的目标行数值的取值间隔数在增长且所述原始图像的对应区域的图像像素值在下降的情况下，确定所述目标图像中包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标行数值用于表示在所述原始图像的同一位置行的图像像素值相对位置；第二确定模块，用于在所述积分图的目标列数值的取值间隔数在增长且所述原始图像的对应区域的图像像素值在下降的情况下，确定所述目标图像中包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标列数值用于表示在所述原始图像的同一位置列的图像像素值相对位置。
所述装置还包括：第三确定模块，用于在所述积分图的目标行数值的取值间隔数在下降且所述原始图像的对应区域的图像像素值在增长的情况下，确定所述目标图像不包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标行数值用于表示在所述原始图像的同一位置行的图像像素值相对位置；第四确定模块，用于在所述积分图的目标列数值的取值间隔数在下降且所述原始图像的对应区域的图像像素值在增长的情况下，确定所述目标图像不包括所述原始图像中目标属性的所述关注区域，其中，所述积分图的目标列数值用于表示在所述原始图像的同一位置列的图像像素值相对位置。
具体实施时，在所述第二目标变换矩阵中每一行值的上升趋势越陡，表示取值间隔越大，对应原图该区域取的像素数越少，不是属性关注区域。在所述第二目标变换矩阵中每一行值的上升趋势越缓，表示取值间隔越小，原图该区域取的像素数越多，是属性关注区域。
所述仿射模块34，用于按照预设仿射变换规则将所述第一目标变换矩阵的横向积分图中的目标行进行拉伸后仿射到所述第二目标变换矩阵；按照预设仿射变换规则将所述第一目标变换矩阵的纵向积分图中的目标列进行拉伸后仿射到所述第二目标变换矩阵。
具体实施时，将所述第一目标变换矩阵的横向积分图中的目标行和所述第一目标变换矩阵的纵向积分图中的目标列在0到1之间进行拉伸，得到第二目标变换矩阵。在所述第二目标变换矩阵中包括第一目标变换矩阵中的横向和纵向通过仿射变换后得到的像素值。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了更好的理解上流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本发明实施例中的方案可以在不增加网络耗时的前提下，同时有效提高多标签属性识别网络中多个属性的识别效果。利用了视频结构化中多个模块相互协作的特点和其他模块的固有信息，对图像中属性关注区域进行估测。进一步地通过图像积分、仿射变换等方法，在不改变图像本身尺寸的前提下，对多个属性关注区域直接放大，从而有效提高属性识别效果。
步骤S1，利用上游模块获取图像属性的关注区域。对于目标属性识别，上游模块和平行模块中有多个模块可以估计属性关注区域的。
需要注意的是，上游模块中的检测模块可以同时检出行人框、行人头部框，可以通过头部框和行人框的高宽比例关系，估计行人头部、上半身、下半身区域的大体位置，在属性多标签识别中，对属性关注位置进行放大。
需要注意的是，平行模块中的关节点定位技术可以定位人体的眼睛、嘴巴、肩膀、膝盖等多个位置，利用关节点也能够获取目标多个属性关注区域信息。
步骤S2，对属性关注区域进行放大。
以图像中的一个关注区域为例假令该关注区域为[ulx,uly,lrx,lry]。
步骤S21，构建一个与图像I尺寸一致的，像素值全部初始化为1的二维矩阵G。
步骤S22，逐个对关注区域的所有行和所有列乘以参数
Figure GDA0004055994410000101
假令图像宽为W，图像高为H。得到一个关注区域中:
Figure GDA0004055994410000111
Figure GDA0004055994410000112
其中，all表示所有行或者所有列。
需要注意的是，对关注区域的所有行和所有列统一乘以一个相同参数
Figure GDA0004055994410000113
也可以对关注区域的所有行、所有列，按照已知的不同关注程度乘以不同的
Figure GDA0004055994410000114
值，其中m、n分别表示关注区域的第m行，第n列，其中
Figure GDA0004055994410000115
在本申请的实施例中并不进行具体限定。
步骤S23，构建Gx和Gy，其中，Gx表示对步骤S22中得到的矩阵G构建横向积分图，Gy表示对矩阵G构建纵向积分图：
Gxall,j＝Gall,j，如果j＝0
Gxall,j＝Gxall,j-1+Gall,j，如果j＞0
Gyi,all＝Gi,all，如果i＝0
Gyi,all＝Gyi-1,all+Gi,all，如果i＞0
步骤S24，拉伸Gx的每一行和Gy的每一列，使Gx的每一行范围在0到1之间，Gy的每一列范围在0到1之间。得到的Gx和Gy为原图I的横向和纵向仿射变换的变换矩阵：
Gxi,all＝(Gxi,all-Gxi,0)/Gxi,-1，0＜i＜H-1
Gyall,j＝(Gyall,j-Gy0,j)/Gy-1,j，0＜j＜W-1
其中,
Gxi,all表示Gx矩阵上第i行的所有列，Gyall,j表示Gy矩阵上第j列的所有行。Gxi,-1表示Gx矩阵上第i行最后一列像素值，Gy-1,j表示Gy矩阵上第j列最后一行的像素值。
步骤S25，使用上述步骤中通过拉伸获得的变换矩阵Gx和Gy，利用仿射变换的方式将原图I转化为目标图O。
具体实施时，利用pytorch中的grid_sample函数。对于得到的结果Gx每一行的所有值描述原图I相同位置行的像素相对位置。
Gx每一行值的上升趋势越陡，表示取值间隔越大，原图该区域取的像素数越少，不是属性关注区域；Gx每一行值的上升趋势越缓，表示取值间隔越小，原图该区域取的像素数越多，是属性关注区域。如图4所示，时利用Gxi,all将原图第i行转化成目标图第i行的过程示例图。
具体地，如图4所示，Gxi,all的所有值为需要取的原图I第i行像素的相对位置，利用Gxi,all逐个提取原图I相对位置的像素值，然后使用插值方式将原图缩放到目标图上。图4中的虚线框1中展示了将属性不关注区域缩小的结果，虚线框2中展示了将属性关注区域放大的结果。由图4可以看出，Gxi,all上的值从第一列向最后一列，递增趋势最陡峭的区域，在原图相应区域取值最稀疏，目标图对原图相应区域的缩小最严重，网络待识别的属性不关注该区域；递增趋势最平缓的区域，在原图相应区域取值最密集，目标图对原图相应区域进行一定放大，网络待识别属性更关注该区域。说明的Gi,j的像素值越小，结果图O在原图I的第i行第j列附近取值越密集的原因。
经过整个步骤二，获得的原图和结果图片如图5(a)-图5(d)所示，图5(a)表示原始图；图5(b)表示对头部相关属性进行属性关注区域放大的结果图；图5(c)表示对头部相关属性和上衣袖长属性进行属性关注区域放大的结果图，图5(d)表示对头部相关属性、上衣袖长属性、鞋子属性进行属性关注区域放大的结果图。
步骤S3,将已对属性关注区域放大的结果图，作为深度学习网络的输入。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；
S2，根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；
S3，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；
S4，根据所述第二目标变换矩阵将所述原始图像转化为目标图像。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S1，根据所述关注区域中的目标列与第一预设参数的乘积和所述关注区域中的目标行与预设第二参数的乘积，得到第一目标变换矩阵；
S2，根据所述第一目标变换矩阵的横向积分图和所述第一目标变换矩阵的纵向积分图构造所述第一目标变换矩阵的积分图。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；
S2，根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；
S3，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；
S4，根据所述第二目标变换矩阵将所述原始图像转化为目标图像。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像预处理方法，其特征在于，包括：
获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；
根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；
按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；
根据所述第二目标变换矩阵将所述原始图像转化为目标图像；
根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，包括：构建与所述原始图像尺寸相同的二维矩阵，根据所述二维矩阵的关注区域中的所有列与第一预设参数的乘积和所述二维矩阵的关注区域中的所有行与预设第二参数的乘积，得到第一目标变换矩阵；根据所述第一目标变换矩阵的横向积分图和所述第一目标变换矩阵的纵向积分图构造所述第一目标变换矩阵的积分图；
所述第一目标变换矩阵的尺寸与所述原始图像的尺寸相同。
2.根据权利要求1所述的方法，其特征在于，根据所述第二目标变换矩阵将所述原始图像转化为目标图像，包括：
根据所述第二目标变换矩阵将所述原始图像中的目标行转化成所述目标图像中相同位置的目标行；
根据所述第二目标变换矩阵将所述原始图像中的目标列转化成所述目标图像中相同位置的目标列。
3.根据权利要求1所述的方法，其特征在于，根据所述第二目标变换矩阵，将所述原始图像转化为目标图像之后，还包括：
在所述积分图的目标行数值的取值间隔数在增长且所述原始图像的对应区域的图像像素值在下降的情况下，确定所述目标图像中包括所述原始图像中目标属性的所述关注区域，
其中，所述积分图的目标行数值用于表示在所述原始图像的同一位置行的图像像素值相对位置；
在所述积分图的目标列数值的取值间隔数在增长且所述原始图像的对应区域的图像像素值在下降的情况下，确定所述目标图像中包括所述原始图像中目标属性的所述关注区域，
其中，所述积分图的目标列数值用于表示在所述原始图像的同一位置列的图像像素值相对位置。
4.根据权利要求1所述的方法，其特征在于，根据所述第二目标变换矩阵，将所述原始图像转化为目标图像之后，还包括：
在所述积分图的目标行数值的取值间隔数在下降且所述原始图像的对应区域的图像像素值在增长的情况下，确定所述目标图像不包括所述原始图像中目标属性的所述关注区域，
其中，所述积分图的目标行数值用于表示在所述原始图像的同一位置行的图像像素值相对位置；
在所述积分图的目标列数值的取值间隔数在下降且所述原始图像的对应区域的图像像素值在增长的情况下，确定所述目标图像不包括所述原始图像中目标属性的所述关注区域，
其中，所述积分图的目标列数值用于表示在所述原始图像的同一位置列的图像像素值相对位置。
5.根据权利要求1所述的方法，其特征在于，按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，包括：
按照预设仿射变换规则将所述第一目标变换矩阵的横向积分图中的目标行进行拉伸后仿射到所述第二目标变换矩阵；
按照预设仿射变换规则将所述第一目标变换矩阵的纵向积分图中的目标列进行拉伸后仿射到所述第二目标变换矩阵。
6.一种图像预处理装置，其特征在于，包括：
获取模块，用于获取原始图像中的关注区域，其中，所述关注区域包括有目标类型的对象所在的区域；
构造模块，用于根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图，其中，所述第一目标变换矩阵包括通过原始图像构造的原始矩阵中所述关注区域所在的矩阵；
仿射模块，用于按照预设变换规则将所述第一目标变换矩阵的积分图仿射到第二目标变换矩阵，其中，所述第二目标变换矩阵包括所述关注区域所在的矩阵通过预设变换后得到的矩阵；
转换模块，用于根据所述第二目标变换矩阵将所述原始图像转化为目标图像；
所述构造模块通过如下方式实现根据所述关注区域得到的第一目标变换矩阵构造所述第一目标变换矩阵的积分图：构建与所述原始图像尺寸相同的二维矩阵，根据所述二维矩阵的关注区域中的所有列与第一预设参数的乘积和所述二维矩阵的关注区域中的所有行与预设第二参数的乘积，得到第一目标变换矩阵；根据所述第一目标变换矩阵的横向积分图和所述第一目标变换矩阵的纵向积分图构造所述第一目标变换矩阵的积分图；
所述第一目标变换矩阵的尺寸与所述原始图像的尺寸相同。
7.根据权利要求6所述的装置，其特征在于，所述转换模块，用于根据所述第二目标变换矩阵将所述原始图像中的目标行转化成所述目标图像中相同位置的目标行；根据所述第二目标变换矩阵将所述原始图像中的目标列转化成所述目标图像中相同位置的目标列。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202010598958.0A 2020-06-28 2020-06-28 图像预处理方法及装置、存储介质、电子装置 Active CN111753847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010598958.0A CN111753847B (zh) 2020-06-28 2020-06-28 图像预处理方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598958.0A CN111753847B (zh) 2020-06-28 2020-06-28 图像预处理方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111753847A CN111753847A (zh) 2020-10-09
CN111753847B true CN111753847B (zh) 2023-04-18

Family

ID=72677673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010598958.0A Active CN111753847B (zh) 2020-06-28 2020-06-28 图像预处理方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN111753847B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194119A (zh) * 2010-03-01 2011-09-21 索尼公司 图像处理装置、图像处理方法和计算机程序
CN104021549A (zh) * 2014-05-19 2014-09-03 清华大学深圳研究生院 全仿射不变surf特征点检测方法及装置
JP2018146650A (ja) * 2017-03-02 2018-09-20 コニカミノルタ株式会社 不良画像発生予測システム及び不良画像発生予測プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5807489B2 (ja) * 2011-09-28 2015-11-10 カシオ計算機株式会社 画像処理装置及び画像処理方法、並びにプログラム
JP6112833B2 (ja) * 2012-11-16 2017-04-12 キヤノン株式会社 画像処理装置および画像処理方法
US20150371360A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Systems and methods for obtaining structural information from a digital image
WO2016169747A1 (en) * 2015-04-21 2016-10-27 Fotonation Limited Blurring a digital image
JP2018005332A (ja) * 2016-06-28 2018-01-11 富士通株式会社 情報処理装置、画像処理方法および画像処理プログラム
CN108171244A (zh) * 2016-12-07 2018-06-15 北京深鉴科技有限公司 对象识别方法和系统
CN107464230B (zh) * 2017-08-23 2020-05-08 京东方科技集团股份有限公司 图像处理方法及装置
CN108234884B (zh) * 2018-02-12 2019-12-10 西安电子科技大学 一种基于视觉显著性的相机自动对焦方法
CN109902548B (zh) * 2018-07-20 2022-05-31 华为技术有限公司 一种对象属性识别方法、装置、计算设备及系统
CN109858496A (zh) * 2019-01-17 2019-06-07 广东工业大学 一种基于加权深度特征的图像特征提取方法
CN110020678A (zh) * 2019-03-25 2019-07-16 联想(北京)有限公司 一种数据处理方法、电子设备及计算机存储介质
CN111339813B (zh) * 2019-09-30 2022-09-27 深圳市商汤科技有限公司 人脸属性识别方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194119A (zh) * 2010-03-01 2011-09-21 索尼公司 图像处理装置、图像处理方法和计算机程序
CN104021549A (zh) * 2014-05-19 2014-09-03 清华大学深圳研究生院 全仿射不变surf特征点检测方法及装置
JP2018146650A (ja) * 2017-03-02 2018-09-20 コニカミノルタ株式会社 不良画像発生予測システム及び不良画像発生予測プログラム

Also Published As

Publication number Publication date
CN111753847A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
Peng et al. Semantic segmentation using stride spatial pyramid pooling and dual attention decoder
CN109964250B (zh) 用于分析卷积神经网络中的图像的方法和系统
CN112308200B (zh) 神经网络的搜索方法及装置
CN109165573B (zh) 用于提取视频特征向量的方法和装置
CN111814574B (zh) 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
CN111402130B (zh) 数据处理方法和数据处理装置
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN110222718B (zh) 图像处理的方法及装置
CN106716439A (zh) 基于事件的下采样
CN110070115B (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
CN108875482B (zh) 物体检测方法和装置、神经网络训练方法和装置
CN109766949A (zh) 卷积神经网络轻量化方法、装置及电子设备
CN110399826B (zh) 一种端到端人脸检测和识别方法
Oyama et al. Influence of image classification accuracy on saliency map estimation
CN111126254A (zh) 图像识别方法、装置、设备及存储介质
Zhao et al. Gradient-based conditional generative adversarial network for non-uniform blind deblurring via DenseResNet
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
Yeswanth et al. Residual skip network-based super-resolution for leaf disease detection of grape plant
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN110782398B (zh) 图像处理方法、生成式对抗网络系统和电子设备
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN111753847B (zh) 图像预处理方法及装置、存储介质、电子装置
CN116229262A (zh) 一种建筑信息模型的建模方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant