CN111316319A - 图像处理方法、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111316319A
CN111316319A CN201980005422.9A CN201980005422A CN111316319A CN 111316319 A CN111316319 A CN 111316319A CN 201980005422 A CN201980005422 A CN 201980005422A CN 111316319 A CN111316319 A CN 111316319A
Authority
CN
China
Prior art keywords
image
sub
initial
processed
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980005422.9A
Other languages
English (en)
Inventor
李志强
胡攀
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111316319A publication Critical patent/CN111316319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法、电子设备及计算机可读存储介质。所述图像处理方法包括：从待处理图像中获取图像特征图；依据待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；依据所述目标位置信息在所述待处理图像中获取目标图像区域。

Description

图像处理方法、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理领域，特别涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
通过对图像进行裁剪，可以从构图情况不好的图像中提取出构图情况较好的区域，去除画面中的干扰因素，合理安排图像要表现的主体在图像中的位置，从而提高图像的质量。
相关的图像处理技术中，对图像进行裁剪时，从待处理图像中提取大量的子区域，并对所有子区域提取特征，之后根据子区域的特征对子区域进行评分，将评分最高的子区域作为裁剪出的目标图像。但是不同的子区域存在重叠区域，重叠区域的特征会被重复提取很多次，导致计算量大大增加。
发明内容
本申请实施例提供了一种图像处理方法、电子设备及计算机可读存储介质。
根据本申请实施例的第一方面，提供了一种图像处理方法，所述方法包括：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
根据本申请实施例的第二方面，提供了一种电子设备，包括：存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
根据本申请实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现上述的图像处理方法。
本申请实施例提供的图像处理方法、电子设备及计算机可读存储介质，依据各参考图像区域在待处理图像中的位置信息从待处理图像的图像特征图中获取各参考图像区域对应的子图像特征图，可避免在获取各参考图像区域对应的子图像特征图时对不同参考图像区域的重叠区域重复提取特征，从而减小图像处理的计算量，避免浪费计算资源，提高图像处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一示例性实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的待处理图像的示意图；
图3为本申请一示例性实施例提供的另一种图像处理方法的流程图；
图4为本申请一示例性实施例提供的再一种图像处理方法的流程图；
图5为本申请一示例性实施例提供的又一种图像处理方法的流程图；
图6为本申请一示例性实施例提供的又一种图像处理方法的流程图；
图7为本申请一示例性实施例提供的待处理图像的示意图；
图8为本申请一示例性实施例提供的一种神经网络模型的结构框图；
图9为图2所示的待处理图像的一个参考图像区域的示意图；
图10为图2所示的待处理图像的另一个参考图像区域的示意图；
图11为图2所示的待处理图像的再一个参考图像区域的示意图；
图12为图2所示的待处理图像的又一个参考图像区域的示意图；
图13为本申请一示例性实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。除非另行指出，“前部”、“后部”、“下部”和/或“上部”等类似词语只是为了便于说明，而并非限于一个位置或者一种空间定向。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而且可以包括电性的连接，不管是直接的还是间接的。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
神经网络：一种通过模仿大脑结构抽象而成的技术，该技术将大量简单的函数进行复杂的连接，形成一个网络系统，该系统可以拟合极其复杂的函数关系，一般可以包括卷积/反卷积操作、激活操作、池化操作，以及加减乘除、通道合并、元素重新排列等操作。使用特定的输入数据和输出数据对网络进行训练，调整其中的连接，可以让神经网络学习拟合输入和输出之间的映射关系。
下面对本申请实施例的图像处理方法进行具体的描述，但不应以此为限。在一个实施例中，参见图1，本申请实施例提供的图像处理方法可以包括以下步骤S1至步骤S4。
步骤S1：从待处理图像中获取图像特征图。
步骤S2：依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图。
步骤S3：从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息。
步骤S4：依据所述目标位置信息在所述待处理图像中获取目标图像区域。
本发明实施例的图像处理方法的执行主体可以是电子设备，更具体的可以是该电子设备的处理器。电子设备可以是成像设备，对采集的图像执行相应的处理；或者，电子设备也可以不具备采集图像的功能，对外部输入的图像进行相应的处理。当然，电子设备的具体类型不限，具有图像处理能力即可。
下面对本申请实施例提供的图像处理方法的各步骤进行详细介绍。
在步骤S1中，从待处理图像中获取图像特征图。
图像中的物体一般包括主体和客体，其中主体是图像着重表现的物体。构图情况良好的图像中，主体在图像中的位置、以及主体与客体的相对位置关系更能突出主体。
待处理图像可以是构图情况不好的图像，例如图像不能很好的突出要表现的主体。采用本申请实施例提供的图像处理方法对待处理的图像进行处理，可以从待处理图像中截取出构图情况良好的图形区域，以使截取的图像区域能更好地突出主体。
图2是待处理图像的示意图。参见图2，待处理图像中的物体包括花、叶子以及枝干，其中图2中虚线圈出的区域为花，花是图2要表现的主体，叶子及枝干是图像中的客体。花在图像中的位置、以及花与叶子及枝干的相对位置影响图像的视觉效果。
图像特征图是对待处理图像进行特征提取得到的图像。图像特征图反映了待处理图像的颜色特征、纹理特征、形状特征和空间关系特征等。
步骤S2：依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图。
在所述依据各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前，所述方法还可包括：确定所述待处理图像中各参考图像区域的位置信息。
在一个实施例中，参见图3，确定所述待处理图像中各参考图像区域的位置信息，可通过如下步骤S210及步骤S220来实现。
在步骤S210中，确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息。
在执行步骤S210时，需先确定待处理图像中已规划好的各初始图像区域，然后再确定每一初始图像区域内的目标像素点的位置信息。
其中，已规划好的初始图像区域指的是待处理图像中的预先已经确定位置信息的区域，从而在执行步骤S210时，可根据预先已经确定的初始图像区域的位置信息获取已规划好的初始图像区域。同一个待处理图像中已规划好的初始图像区域的数量可为至少两个，例如可以是两个、三个或者四个等。初始图像区域的位置信息是可表征初始图像区域在待处理图像中的位置的信息，比如初始图像区域为矩形区域时，初始图像区域的位置信息可以包括初始图像区域的四个顶点在待处理图像所应用的坐标系中的坐标信息。
已规划好的初始图像区域中的至少部分像素点为目标像素点，目标像素点指的是用于确定参考图像区域的像素点。例如，参考图像区域为矩形时，目标像素点可以包括矩形区域的四个顶点；参考图像区域为圆形时，目标像素点可以包括圆的圆心及位于圆周上的一个或多个点，或者目标像素点包括圆形的圆周上的两个点，且该两个点的连线过其所在的圆的圆心。各初始图像区域中目标像素点的位置信息指的是可表征目标像素点在待处理图像中的位置的信息，比如目标像素点的位置信息指的是目标像素点在待处理图像所应用的坐标系中的坐标信息。
在一个实施例中，参见图4，确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息的步骤S210可包括如下步骤S211至步骤S213。
在步骤S211中，获取各初始图像区域中已规划好的初始像素点的位置信息。
其中，初始像素点可以是各初始图像区域中预先已经确定位置信息的像素点，从而在执行步骤S211时，可直接获取初始像素点的位置信息。
在步骤S212中，根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点。
预设步长指的是预先已经设定的步长，步长的值可以是若干个像素，例如为三个像素点、四个像素点、五个像素点等。
具体地，可根据初始像素点的位置信息及预设步长确定与初始像素点相邻的几个目标像素点的位置信息。例如，初始像素点向上移动预设步长可确定位于初始像素点上方的目标像素点，初始像素点向下移动预设步长可确定位于初始像素点下方的目标像素点，初始像素点向左移动预设步长可确定位于初始像素点左侧的目标像素点，初始像素点向右移动预设步长可确定位于初始像素点右侧的目标像素点。之后，可再根据初始像素点相邻的目标像素点的位置信息及预设步长确定与该目标像素点相邻的其他目标像素点的位置信息。其中，若后获取的目标像素点的位置信息与之前获取的目标像素点的位置信息相同，则认为是同一个目标像素点。
各初始图像区域各处对应的步长可以相同，也即使每一初始图像区域中的步长是固定不变的；或者，各初始图像区域各处对应的可以不同，例如初始图像区域的靠近待处理图像的边缘处的区域对应的步长较大，靠近待处理图像中心的区域对应的步长较小。
在步骤S213中，将所述初始像素点及所述参考像素点确定为所述目标像素点。
也即是，本申请实施例最后确定的目标像素点包括初始像素点以及根据初始像素点确定的参考像素点。
在步骤S220中，根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
在一个实施例中，参见图5，根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息的步骤S220可包括如下步骤S221及步骤S222。
在步骤S221中，针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域。
在执行步骤S221时，先选择一个初始图像区域，并执行以下操作：选取该初始图像区域中的一个目标像素点，在其他各初始图像区域中的每一个初始图像区域中分别选取任一个目标像素点，并根据在所有初始图像区域中选取的目标像素点确定一个参考图像区域；之后选取该初始图像区域中的未被选取过的一个目标像素点，保持其他各初始图像区域中选取的目标像素点不变，并根据在所有初始图像区域中选取的目标像素点再确定一个参考图像区域；直到该初始图像区域内的目标像素点都被选取到。
对于待处理图像中的每一初始图像区域，分别执行上述操作，即可确定所有的参考图像区域。需要说明的是，在确定参考图像区域时，在所有初始图像区域中选取的目标像素点与之前在所有初始图像区域中选取的目标像素点不完全相同，以避免确定出的参考图像区域重复。
通过各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息，相对于在待处理图像中随机选取像素点来确定参考图像区域，确定参考图像区域时目的性更强，可减小数据处理量。
进一步地，在步骤S221后，对于根据各初始图像区域内目标像素点确定的各参考图像区域，可判断确定的参考图像区域的大小是否满足预设条件，若判断出确定的参考图像区域的大小不满足预设条件，则可确定该参考图像区域为无效的参考图像区域，并返回步骤S221重新确定参考图像区域；若判断出确定的参考图像区域的大小满足预设条件，则确定该参考图像区域为有效的参考图像区域，并执行步骤S222。其中，预设条件可以是：参考图像区域大小与待处理图像大小的比值大于或等于指定值，指定值例如可以是三分之二、四分之三、二分之一等，可根据实际情况确定。如此操作，可进一步提高确定参考图像区域的目的性，从而使数据处理量更小。
在一个实施例中，参考图像区域分别为矩形区域，所述待处理图像中的初始图像区域可包括第一初始图像区域和第二初始图像区域。参见图6，针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域的步骤S221可包括如下步骤S2211至步骤S2213。
在步骤S2211中，将所述第一初始图像区域内每一目标像素点与所述第二初始图像区域内任一目标像素点作为参考图像区域的第一对对角顶点。
在执行步骤S2211时，遍历第一初始图像区域中的目标像素点，对于遍历到的第一初始图像区域中的目标像素点，遍历第二初始图像区域中的目标像素点，将遍历到的第一初始图像区域中的目标像素点及第二初始图像区域中的目标像素点作为参考图像区域的第一对对角顶点。
需要说明的是，对于遍历到的第一初始图像区域中的目标像素点及第二初始图像区域中的目标像素点，需判断遍历到的两个目标像素点在水平方向的位置信息及竖直方向的位置信息是否相同。由于在第一初始图像区域中遍历到的目标像素点与在第二初始图像区域中遍历到的目标像素点的水平方向的位置信息或竖直方向的位置信息相同时，这两个目标像素点不能作为矩形区域的第一对对角顶点，是无效的目标像素点组合。因此为了避免出现无效的目标像素点组合，需保证每次遍历到的第一初始图像区域中的目标像素点与遍历到的第二初始图像区域中的目标像素点在水平方向的位置信息及竖直方向的位置信息均不相同。
参见图7，a为待处理图像，区域a1为第一初始图像区域，区域a2为第二初始图像区域。点A为在区域a1中遍历到的目标像素点，点D为在区域a2中遍历到的目标像素点，点A的坐标为(xA，yA)，点D的坐标为(xD，yD)，其中xA、xD分别为点A及点D在水平方向上的坐标，yA、yD分别为点A及点D在竖直方向上的坐标，且xA≠xD，yA≠yD。因此可将点A与点D作为一个参考图像区域的第一对对角顶点。
在步骤S2212中，依据所述第一对对角顶点确定参考图像区域的第二对对角顶点。
再次参见图7，根据点A及点D可确定出参考图像区域的第二对对角顶点点B及点C，其中点B在水平方向上的坐标与点A在水平方向上的坐标相等，点B在竖直方向上的坐标与点D在竖直方向上的坐标相等，点C在水平方向上的坐标与点D在水平方向上的坐标相等，点C在竖直方向上的坐标与点A在竖直方向上的坐标相等。也即是，点B的坐标为(xB，yB)，点C的坐标为(xC，yC)，其中xC＝xA，yC＝yD，xB＝xD，yB＝yA。
在步骤S2213中，依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
再次参见图7，根据点A、点D、点B及点C即可确定矩形区域ACDB，矩形区域ACDB也即是参考图像区域。
在一个实施例中，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
其中，第一初始图像区域和第二初始图像区域对角设置在待处理图像包括如下两种情况：第一种情况中，第一初始图像区域和第二初始图像区域中的其中一个位于待处理图像的左上角区域，另一个位于待处理图像的右下角区域；第二种情况中，第一初始图像区域和第二初始图像区域中的其中一个位于待处理图像的左下角区域，另一个位于待处理图像的右上角区域。
再次参见图7，第一初始图像区域a1位于待处理图像的左上角区域，第二初始图像区域a2位于待处理图像的右下角区域。
进一步地，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。再次参见图7，所述第一初始图像区域a1中各目标像素点在水平方向的坐标与所述第二初始图像区域a2中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域a1中各目标像素点在竖直方向的坐标与所述第二初始图像区域a2中各目标像素点在竖直方向的坐标均不相同。
如此可保证在第一初始图像区域a1中遍历到的目标像素点与第二初始图像区域a2中遍历到的目标像素点在水平方向上的坐标及在竖直方向上的坐标均不相同，从而可提高确定参考图像区域的效率。
其中，第一初始图像区域、第二初始图像区域和待处理图像的形状分别为矩形时，第一初始图像区域的长度及第二初始图像区域的长度可分别为待处理图像的长度的三分之一，第一初始图像区域的宽度及第二初始图像区域的宽度可分别为待处理图像的宽度的三分之一，并且，第一初始图像区域、第二初始图像区域及待处理图像的长度方向相同，由于第一初始图像区域、第二初始图像区域和待处理图像分别为矩形区域，则第一初始图像区域、第二初始图像区域和待处理图像的宽度方向也相同。
当参考图像区域为矩形区域时，一般构图情况最优的参考图像区域的左上角区域及右下角区域也分别位于待处理图像的左上角及右下角。第一初始图像区域和第二初始图像区域对角设置在待处理图像中时，可保证根据第一初始图像区域及第二初始图像区域中的目标像素点确定出的各参考图像区域的构图效果均不会太差，从而根据第一初始图像区域及第二初始图像区域中的目标像素点确定的多个参考图像区域中可确定出构图情况最优的参考图像区域，无需再选取其他的参考图像区域，减小参考图像区域的数量，进而减小数据的处理量。
步骤S2211至步骤S2213仅以参考图像区域为矩形区域、初始图像区域的数量为两个为例进行说明，在其他实施例中，参考图像区域可以是其他形状例如圆形、五边形、六边形等，初始图像区域的数量可为两个、三个、四个等。例如在确定参考图像区域时，若初始图像区域的数量为三个，则在各初始图像区域中选取的目标像素点的数量为三个，参考图像区域为多边形时，可将选取的三个目标像素点作为多边形的三个顶点而确定参考图像区域；若初始图像区域的数量为四个，则在各初始图像区域中选取的目标像素点的数量为四个，参考图像区域为四边形时，可将选取的四个目标像素点顺次连接而确定参考图像区域；若初始图像区域的数量为五个，则在各初始图像区域中选取的目标像素点的数量为五个，参考图像区域为五边形时，可将选取的五个目标像素点顺次连接而确定参考图像区域。
在步骤S222中，依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
再次参见图7，将点A、点B、点C及点D的坐标信息分别作为矩形区域ACDB的四个顶点的位置信息。
在获取各参考图像区域的位置信息后，可根据参考图像区域的位置信息从待处理图像的图像特征图中获取各参考图像区域对应的子图像特征图。具体地，参考图像区域在待处理图像中的位置信息与参考图像区域对应的子图像特征图在待处理图像的图像特征图中的位置信息相同，则参考图像区的位置信息确定后，参考图像区域对应的子图像特征图在图像特征图中的位置信息也确定了。因此，可在图像特征图中定位参考图像区域对应的子图像特征图的位置信息指向的区域并进行图像截取，得到的图像数据即为该参考图像区域对应的子图像特征图。
步骤S3：从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息。
在一个实施例中，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。也即是满足预设条件的目标子图像特征图对应的参考图像区域中构图情况最优，最能突出主体，视觉效果最好。在一个实施例中，子图像特征图的特征参数越大，子图像特征图对应的参考图像区域的构图情况最优，则目标子图像特征图为所有子图像特征图中特征参数最大的子图像特征图。
在一个实施例中，在步骤S3之前，所述图像处理方法进一步包括：对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
在本申请实施例中，可对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。通过对不满足指定尺寸的子图像特征图进行处理，使得所有的子图像特征图的尺寸相同，更便于对各子图像特征图构图方式进行判断。指定尺寸例如可以是9×9、13×13等。
步骤S4：依据所述目标位置信息在所述待处理图像中获取目标图像区域。
在该步骤中，可在待处理图像中定位目标子图像特征图对应的目标位置信息指向的区域并进行图像截取，得到的图像数据即为目标图像区域。
本申请实施例提供的图像处理方法，依据各参考图像区域在待处理图像中的位置信息从待处理图像的图像特征图中获取各参考图像区域对应的子图像特征图，可避免在获取各参考图像区域对应的子图像特征图时对不同参考图像区域的重叠区域重复提取特征，从而减小图像处理时的计算量，避免浪费计算资源，提高图像处理的效率。
在一个实施例中，步骤S1至步骤S3可通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息，从而步骤S4中可根据所述神经网络模型输出的目标位置信息在所述待处理图像中获取目标图像区域。
其中，神经网络模型是已经训练好的网络模型。参见图8，所述神经网络模型300至少包括依次连接的卷积层301、特征截取层302、全连接层303和输出层304。向神经网络模型的卷积层301输入待处理图像，输出层304可输出目标位置信息。其中，卷积层301和全连接层303的数量不限于图8中所示的一个，可以为两个或两个以上。下面将介绍第一神经网络中的各层的具体功能，但不应以此为限。
卷积层301用于从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层302。卷积层301通过对待处理图像进行卷积处理得到图像特征图。
卷积层301可包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。其中，两个子卷积层的卷积核的大小可分别为3×3，当子卷积层的数量为两个时，卷积层301的计算量包括18次乘法运算及16次加法运算。卷积层301包括一个大小为5×5的卷积核时，卷积层301的计算量包括25次乘法运算、24次加法运算。通过对比可知，卷积层301采用相互级联的至少两个子卷积层可减小计算量。
特征截取层302用于确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层303。
全连接层303用于确定输入的各子图像特征图的特征参数并输出至输出层304。全连接层303对输入的各子图像特征图的特征进行融合，并根据各子图像特征图融合后的特征确定各子图像区域的特征参数。
在一个实施例中，所述全连接层403可由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。全连接层403的子卷积层的卷积核尺寸大于或等于9×9时，全连接层403学习子图像特征图的特征的能力更强，从而全连接层403确定子图像特征图的特征参数的准确度更高。
输出层304用于根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
卷积层301、特征截取层302、全连接层303及输出层304在执行相应的功能时相关的细节可参见步骤S1至步骤S3中的描述，在此不再进行赘述。
在一个实施例中，所述神经网络模型300还可包括Relu层，所述Relu层设置在所述卷积层301和所述特征截取层302之间，用于对待输入至所述特征截取层302的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。通过对所述图像特征图进行非线性变换，可提高特征的鲁棒性。因此，在保证特征的鲁棒性的前提下，通过对图像特征图进行非线性变换，当卷积层的卷积核的数量和大小不变的情况下，可减少卷积层的层数。优选的，卷积层301包括相互级联的至少两个子卷积层时，可在每个子卷积层后分别设置Relu层。
Relu层的操作可以用以下公式表示：
F(xi,w)＝σ(Wi*xi+bi)
其中，F(xi,w)为Relu层的输出，xi为卷积层的输入，*表示卷积操作，Wi、bi分别为卷积层的卷积滤波器的权重系数和偏移系数，σ()表示Relu层的激活函数。
在一个实施例中，采用神经网络模型对待处理图像进行图像处理前，所述图像处理方法还包括对未训练的神经网络模型进行训练，以得到已训练的神经网络模型。具体地，在对神经网络模型进行训练时，可包括如下过程：
将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
在对未训练的卷积神经网络进行训练之前，需要准备训练数据集。
首先，先准备设定数量的待处理图像样本，其中设定数量较大，例如为2000张。待处理图像样本的长宽比及分辨率可不同，例如，待处理图像样本的长宽比可包括3:2、4:3、5:3、5:4、16:9等，分辨率可包括4000×3000、3840×2160、1920×1080等。
之后，对于每张待处理图像样本，根据待处理图像样本中各参考图像区域的位置信息截取多个参考图像区域。对于每一个参考图像区域，由多个人分别进行评分，计算出参考图像区域的平均分值作为该参考图像区域的参考特征参数。例如，对参考图像区域评分的分值可包括1、2、3、4和5，分值越高代表参考图像区域的构图情况越好。对于每一参考图像区域可选择五个人进行打分得到五个分值，计算五个分值的平均值作为该参考图像区域的特征参数。通过该步骤可确定待处理图像中各参考图像区域的位置信息及对应的参考特征参数。
图9至图12分别为图2所示的待处理图像的四个参考图像区域，通过人工对该四个参考图像区域进行打分，得到该四个参考图像区域的参考特征参数分别为3、4、1和2。
设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数构成了训练数据库。
为了提高神经网络模型的准确性，可使特征参数处于各分值范围内的参考图像区域数量大致相同，以防止因不同范围的特征参数对应的参考图像区域的数量差别较大而影响神经网络模型的精确度。
在进行训练时，将待处理图像样本、待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络输入至未训练的神经网络模型中，以由神经网络模型的卷积层对待处理图像样本进行特征提取，得到待处理图像样本的图像特征图，并输入至特征截取层；特征截取层确定输入的待处理图像样本中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；全连接层确定输入的各子图像特征图的特征参数并输出。需要说明书的是，各子图像特征图的特征参数也即是该子图像特征图对应的参考图像区域的特征参数。神经网络模型计算全连接层输出的各参考图像区域的特征参数与向神经网络输入的该参考图像区域的参考特征参数之间的误差。
在一个实施例中，参考图像区域的特征参数与参考特征参数的误差可以是均方误差，神经网络模型可利用损失函数(loss function)计算各参考图像区域的均方误差，其损失函数可采用Huber Loss函数，其公式如下：
Figure BDA0002469367210000181
式中，Lδ(y,f(x))为参考图像区域的参考特征参数与特征参数的均方误差，y为参考图像区域的参考特征参数，f(x)为参考图像区域的特征参数，δ为损失函数的参数。损失函数除了采用Huber Loss函数外，还可以采用平方损失函数、绝对值损失函数、对数损失函数等。
神经网络模型计算得到参考图像区域的参考特征参数与特征参数的误差后，判断该误差是否小于预设阈值，并当判断出该误差大于或等于预设阈值时，调整所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数。
具体的，神经网络可利用反向传播方法将误差反向传播到全连接层、特征截取层及卷积层，从而不断更新全连接层、特征截取层及卷积层的权重参数。神经网络模型计算参考图像区域的参考特征参数与特征参数之间的误差对待处理图像的导数、以及参考图像区域的参考特征参数与特征参数之间的误差对卷积层、特征截取层和全连接层的输出结果的导数，来对卷积层、特征截取层和全连接层的权重参数进行更新。参考图像区域的参考特征参数与特征参数之间的误差对待处理图像样本的导数、参考图像区域的参考特征参数与特征参数之间的误差对全连接层、特征截取层及卷积层的输出结果的导数分别分
Figure BDA0002469367210000191
及
Figure BDA0002469367210000192
其中，<yij,f(xij,ω)>为参考图像区域的参考特征参数与特征参数之间的误差，x为参考图像区域所在的待处理图像样本，ω为全连接层、特征截取层及卷积层的输出结果。
在对全连接层、特征截取层及卷积层的权重参数进行调整后，重新采用神经网络对待处理图像样本进行处理，并当待处理图像的各参考图像区域的参考特征参数与特征参数的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件，则停止训练所述神经网络模型，得到已训练的神经网络模型。
本申请实施例中，神经网络模型对待处理图像进行处理时，特征截取层根据待处理图像中各参考图像区域的位置信息在待处理图像的图像特征图中获取参考图像区域对应的子图像特征图，而无需对待处理图像的参考图像区域进行边界框位置和大小进行回归，可降低神经网络模型的复杂度。
本申请实施例中神经网络模型除了采用如图8所示的结构外，还可采用LeNet网络、AlexNet网络、VGG网络、GoogleNet网络、ResNet网络、DenseNet网络等。
基于与上述图像处理方法同样的构思，本申请实施例还提供了一种电子设备。参看图13，所述电子设备500包括存储器501和处理器502(如一个或多个处理器)。电子设备具体类型不限，电子设备可以是成像设备但不限于成像设备。电子设备例如也可以是与成像设备电连接的设备，可获取成像设备采集的图像，进而执行相应的方法。
所述存储器，用于存储程序代码；
所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
在一个实施例中，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。
在一个实施例中，所述处理器在依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前还用于：确定所述待处理图像中各参考图像区域的位置信息。
在一个实施例中，所述处理器确定所述待处理图像中各参考图像区域的位置信息时具体用于：
确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息；
根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
在一个实施例中，所述初始图像区域内目标像素点包括该初始图像区域内已规划好的初始像素点及参考像素点；
所述处理器确定待处理图像中已规划好的各初始图像区域内目标像素点的位置信息时具体用于：
获取各初始图像区域中已规划好的初始像素点的位置信息；
根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点；
将所述初始像素点及所述参考像素点确定为所述目标像素点。
在一个实施例中，所述处理器根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息时具体用于：
针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域；
依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
在一个实施例中，所述待处理图像包括第一初始图像区域和第二初始图像区域。
在一个实施例中，所述处理器针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域包括：
将所述第一初始图像区域内每一目标像素点与所述初始第二图像区域内任一目标像素点作为参考图像区域的第一对对角顶点；
依据所述第一对对角顶点确定参考图像区域的第二对对角顶点；
依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
在一个实施例中，所述第一初始图像区域、所述第二初始图像区域及所述待处理图像的形状均为矩形，所述第一初始图像区域的长度及所述第二初始图像区域的长度等于所述待处理图像的长度的三分之一，所述第一初始图像区域的宽度及所述第二初始图像区域的宽度等于所述待处理图像的宽度的三分之一，且所述第一初始图像区域的长度方向、所述第二初始图像区域的长度方向分别与所述待处理图像的长度方向相同。
在一个实施例中，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
在一个实施例中，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。
在一个实施例中，所述处理器在从各个子图像特征图中选择满足预设条件的目标子图像特征图之前，所述处理器进一步用于：
对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
在一个实施例中，所述处理器对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸时具体用于：
对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。
在一个实施例中，所述处理器通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息。
在一个实施例中，所述神经网络模型至少包括：
卷积层，从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层；
特征截取层，确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；
全连接层，确定输入的各子图像特征图的特征参数并输出至输出层；
输出层，根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
在一个实施例中，所述全连接层由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。
在一个实施例中，所述卷积层包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。
在一个实施例中，所述神经网络模型还包括Relu层，所述Relu层设置在所述卷积层和所述特征截取层之间，用于将待输入至所述特征截取层的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。
在一个实施例中，所述处理器还用于：
将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；
在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
在一个实施例中，所述处理器还用于：
判断所述全连接层输出的各参考图像区域的特征参数与对应的参考特征参数之间的误差是否小于预设阈值；
当各参考图像区域的特征参数与对应的参考特征参数之间的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件。
基于与上述方法同样的发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现前述实施例所述的图像处理方法。
上述实施例阐明的系统、装置、模块或单元，可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上对本申请实施例所提供的方法和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

Claims (41)

1.一种图像处理方法，其特征在于，所述方法包括：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
2.根据权利要求1所述的图像处理方法，其特征在于，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。
3.根据权利要求1所述的图像处理方法，其特征在于，所述依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前还包括：确定所述待处理图像中各参考图像区域的位置信息。
4.根据权利要求3所述的图像处理方法，其特征在于，所述确定所述待处理图像中各参考图像区域的位置信息包括：
确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息；
根据所述各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
5.根据权利要求4所述的图像处理方法，其特征在于，所述初始图像区域内目标像素点包括该初始图像区域内已规划好的初始像素点及参考像素点；
所述确定待处理图像中已规划好的各初始图像区域内目标像素点的位置信息包括：
获取各初始图像区域中已规划好的初始像素点的位置信息；
根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点；
将所述初始像素点及所述参考像素点确定为所述目标像素点。
6.根据权利要求4所述的图像处理方法，其特征在于，所述根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息包括：
针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域；
依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
7.根据权利要求6所述的图像处理方法，其特征在于，所述待处理图像包括第一初始图像区域和第二初始图像区域。
8.根据权利要求7所述的图像处理方法，其特征在于，所述针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域包括：
将所述第一初始图像区域内每一目标像素点与所述初始第二图像区域内任一目标像素点作为参考图像区域的第一对对角顶点；
依据所述第一对对角顶点确定参考图像区域的第二对对角顶点；
依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
9.根据权利要求7所述的图像处理方法，其特征在于，所述第一初始图像区域、所述第二初始图像区域及所述待处理图像的形状均为矩形，所述第一初始图像区域的长度及所述第二初始图像区域的长度等于所述待处理图像的长度的三分之一，所述第一初始图像区域的宽度及所述第二初始图像区域的宽度等于所述待处理图像的宽度的三分之一，且所述第一初始图像区域的长度方向、所述第二初始图像区域的长度方向分别与所述待处理图像的长度方向相同。
10.根据权利要求7所述的图像处理方法，其特征在于，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
11.根据权利要求10所述的图像处理方法，其特征在于，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。
12.根据权利要求1所述的图像处理方法，其特征在于，在所述从各个子图像特征图中选择满足预设条件的目标子图像特征图之前，所述图像处理方法进一步包括：
对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
13.根据权利要求12所述的图像处理方法，其特征在于，所述对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸，包括：
对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。
14.根据权利要求1至13任一所述的图像处理方法，其特征在于，
从待处理图像中获取图像特征图，依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图，从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息的步骤通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息。
15.根据权利要求14所述的图像处理方法，其特征在于，所述神经网络模型至少包括：
卷积层，从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层；
特征截取层，确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；
全连接层，确定输入的各子图像特征图的特征参数并输出至输出层；
输出层，根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
16.根据权利要求15所述的图像处理方法，其特征在于，所述全连接层由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。
17.根据权利要求15所述的图像处理方法，其特征在于，所述卷积层包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。
18.根据权利要求15所述的图像处理方法，其特征在于，所述神经网络模型还包括Relu层，所述Relu层设置在所述卷积层和所述特征截取层之间，用于将待输入至所述特征截取层的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。
19.根据权利要求15所述的图像处理方法，其特征在于，所述图像处理方法还包括：
将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；
在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
20.根据权利要求19所述的图像处理方法，其特征在于，所述图像处理方法还包括：
判断所述全连接层输出的各参考图像区域的特征参数与对应的参考特征参数之间的误差是否小于预设阈值；
当各参考图像区域的特征参数与对应的参考特征参数之间的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件。
21.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序代码；
所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：
从待处理图像中获取图像特征图；
依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图；
从各个子图像特征图中选择满足预设条件的目标子图像特征图，并确定与所述目标子图像特征图对应的目标位置信息，所述目标位置信息为所述目标子图像特征图对应的参考图像区域的位置信息；
依据所述目标位置信息在所述待处理图像中获取目标图像区域。
22.根据权利要求21所述的电子设备，其特征在于，所述预设条件为：用于指示图像视觉效果的特征参数最优；所述特征参数通过参考图像区域的构图方式表征。
23.根据权利要求21所述的电子设备，其特征在于，所述处理器在依据所述待处理图像中各参考图像区域的位置信息从所述图像特征图中获取各参考图像区域对应的子图像特征图之前还用于：确定所述待处理图像中各参考图像区域的位置信息。
24.根据权利要求23所述的电子设备，其特征在于，所述处理器确定所述待处理图像中各参考图像区域的位置信息时具体用于：
确定所述待处理图像中已规划好的各初始图像区域内目标像素点的位置信息；
根据所述各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息。
25.根据权利要求24所述的电子设备，其特征在于，所述初始图像区域内目标像素点包括该初始图像区域内已规划好的初始像素点及参考像素点；
所述处理器确定待处理图像中已规划好的各初始图像区域内目标像素点的位置信息时具体用于：
获取各初始图像区域中已规划好的初始像素点的位置信息；
根据每一初始图像区域中已规划好的初始像素点的位置信息及预设步长确定对应初始图像区域中参考像素点的位置信息，所述参考像素点为初始图像区域中除初始像素点之外的目标像素点；
将所述初始像素点及所述参考像素点确定为所述目标像素点。
26.根据权利要求24所述的电子设备，其特征在于，所述处理器根据各初始图像区域内目标像素点的位置信息确定各参考图像区域的位置信息时具体用于：
针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域；
依据确定参考图像区域的各目标像素点的位置信息确定对应的参考图像区域的位置信息。
27.根据权利要求26所述的电子设备，其特征在于，所述待处理图像包括第一初始图像区域和第二初始图像区域。
28.根据权利要求27所述的电子设备，其特征在于，所述处理器针对每一初始图像区域，依据该初始图像区域内每一目标像素点与其他各个初始图像区域内任一目标像素点确定参考图像区域包括：
将所述第一初始图像区域内每一目标像素点与所述初始第二图像区域内任一目标像素点作为参考图像区域的第一对对角顶点；
依据所述第一对对角顶点确定参考图像区域的第二对对角顶点；
依据所述第一对对角顶点及所述第二对对角顶点确定参考图像区域。
29.根据权利要求27所述的电子设备，其特征在于，所述第一初始图像区域、所述第二初始图像区域及所述待处理图像的形状均为矩形，所述第一初始图像区域的长度及所述第二初始图像区域的长度等于所述待处理图像的长度的三分之一，所述第一初始图像区域的宽度及所述第二初始图像区域的宽度等于所述待处理图像的宽度的三分之一，且所述第一初始图像区域的长度方向、所述第二初始图像区域的长度方向分别与所述待处理图像的长度方向相同。
30.根据权利要求27所述的电子设备，其特征在于，所述第一初始图像区域和第二初始图像区域对角设置在所述待处理图像。
31.根据权利要求30所述的电子设备，其特征在于，所述第一初始图像区域中各目标像素点在水平方向的坐标与所述第二初始图像区域中各目标像素点在水平方向的坐标均不相同，所述第一初始图像区域中各目标像素点在竖直方向的坐标与所述第二初始图像区域中各目标像素点在竖直方向的坐标均不相同。
32.根据权利要求21所述的电子设备，其特征在于，所述处理器在从各个子图像特征图中选择满足预设条件的目标子图像特征图之前，所述处理器进一步用于：
对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸。
33.根据权利要求32所述的电子设备，其特征在于，所述处理器对不满足指定尺寸的子图像特征图进行处理，以使处理后的子图像特征图的尺寸满足指定尺寸时具体用于：
对不满足尺寸的子图像特征图进行双线性插值处理，以使处理后的子图像特征图的尺寸为指定尺寸。
34.根据权利要求21至33任一所述的电子设备，其特征在于，所述处理器通过将所述待处理图像输入至已训练的神经网络模型实现，所述神经网络模型输出所述目标位置信息。
35.根据权利要求34所述的电子设备，其特征在于，所述神经网络模型至少包括：
卷积层，从输入的待处理图像中获取图像特征图，并将所述图像特征图输出至特征截取层；
特征截取层，确定输入的待处理图像中各参考图像区域的位置信息，依据每一参考图像区域的位置信息从输入的图像特征图中获取每一参考图像区域对应的子图像特征图并输出至全连接层；
全连接层，确定输入的各子图像特征图的特征参数并输出至输出层；
输出层，根据输入的各子图像特征图的特征参数从所有子图像特征图中选择满足预设条件的目标子图像特征图，确定与所述目标子图像特征图对应的目标位置信息并输出。
36.根据权利要求35所述的电子设备，其特征在于，所述全连接层由至少一个子卷积层组成，各子卷积层用于确定各子图像特征图的特征参数，各子卷积层的卷积核尺寸大于或等于9×9。
37.根据权利要求35所述的电子设备，其特征在于，所述卷积层包括相互级联的至少两个子卷积层，相互级联的各子卷积层用于从所述待处理图像中获取所述图像特征图。
38.根据权利要求35所述的电子设备，其特征在于，所述神经网络模型还包括Relu层，所述Relu层设置在所述卷积层和所述特征截取层之间，用于将待输入至所述特征截取层的图像特征图进行激活处理，以对所述图像特征图进行非线性变换。
39.根据权利要求35所述的电子设备，其特征在于，所述处理器还用于：
将设定数量的待处理图像样本、每一待处理图像样本中各参考图像区域的位置信息及各参考图像区域对应的参考特征参数输入至未训练的卷积神经网络，对所述未训练的神经网络模型的卷积层、特征截取层和全连接层进行训练；
在确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件时，停止训练所述神经网络模型，得到已训练的神经网络模型。
40.根据权利要求39所述的电子设备，其特征在于，所述处理器还用于：
判断所述全连接层输出的各参考图像区域的特征参数与对应的参考特征参数之间的误差是否小于预设阈值；
当各参考图像区域的特征参数与对应的参考特征参数之间的误差小于预设阈值时，确定所述卷积层、所述特征截取层和所述全连接层中各节点之间的连接对应的权重参数满足预设条件。
41.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现权利要求1-40中任一项所述的图像处理方法。
CN201980005422.9A 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质 Pending CN111316319A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/078271 WO2020186385A1 (zh) 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111316319A true CN111316319A (zh) 2020-06-19

Family

ID=71147661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005422.9A Pending CN111316319A (zh) 2019-03-15 2019-03-15 图像处理方法、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111316319A (zh)
WO (1) WO2020186385A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726533A (zh) * 2020-06-30 2020-09-29 RealMe重庆移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348892A (zh) * 2020-10-29 2021-02-09 上海商汤智能科技有限公司 点定位方法及相关装置、设备
CN112819748B (zh) * 2020-12-16 2023-09-19 机科发展科技股份有限公司 一种带钢表面缺陷识别模型的训练方法及装置
US11500463B2 (en) 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same
CN115640835B (zh) * 2022-12-22 2023-03-31 阿里巴巴（中国）有限公司 深度学习网络结构的生成方法及装置
CN116245832B (zh) * 2023-01-30 2023-11-14 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454330A (zh) * 2017-08-24 2017-12-08 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
US20170372174A1 (en) * 2016-06-28 2017-12-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN109146892A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种基于美学的图像裁剪方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646258B (zh) * 2011-02-21 2016-01-06 腾讯科技（深圳）有限公司 图像裁剪方法及系统
US9917957B1 (en) * 2016-11-17 2018-03-13 Xerox Corporation Cropping image within image preview
CN106650737B (zh) * 2016-11-21 2020-02-28 中国科学院自动化研究所 图像自动裁剪方法
CN107622497B (zh) * 2017-09-29 2020-03-27 Oppo广东移动通信有限公司 图像裁剪方法、装置、计算机可读存储介质和计算机设备
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372174A1 (en) * 2016-06-28 2017-12-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CN107454330A (zh) * 2017-08-24 2017-12-08 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN109146892A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种基于美学的图像裁剪方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726533A (zh) * 2020-06-30 2020-09-29 RealMe重庆移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN111726533B (zh) * 2020-06-30 2021-11-16 RealMe重庆移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020186385A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN111316319A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
WO2017092307A1 (zh) 模型渲染方法及装置
US20170278293A1 (en) Processing a Texture Atlas Using Manifold Neighbors
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN107590811B (zh) 基于场景分割的风景图像处理方法、装置及计算设备
WO2014146561A1 (zh) 缩略图生成方法及系统
US20210097651A1 (en) Image processing method and apparatus, electronic device, and storage medium
TW200907854A (en) Universal rasterization of graphic primitives
US9020297B2 (en) Method and device for parallel processing of images
CN113096249B (zh) 训练顶点重建模型的方法、图像重建方法及电子设备
CN112541867A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113378721B (zh) 一种基于对称和局部判别的生成对抗人脸校正方法及系统
CN110930503A (zh) 一种服装三维模型建立方法、系统、存储介质及电子设备
CN110189269A (zh) 用于广角镜头3d畸变的矫正方法、装置、终端及存储介质
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN113706373A (zh) 模型重建方法及相关装置、电子设备和存储介质
CN109285122B (zh) 一种进行图像处理的方法和设备
WO2019052338A1 (zh) 图像处理方法和装置、存储介质及电子装置
CN110838167B (zh) 模型的渲染方法、装置和存储介质
CN111062878A (zh) 图像的去噪方法、装置及计算机可读存储介质
CN111275610A (zh) 一种人脸变老图像处理方法及系统
KR20180105210A (ko) 이미지 처리 방법 및 장치
CN112785651A (zh) 用于确定相对位姿参数的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200619