CN111723818A - 图像预处理方法和装置 - Google Patents

Abstract

本发明公开了一种图像预处理方法和装置。该方法包括：从原始图像中获取第一图像，原始图像为待执行预处理操作的图像，第一图像为位于原始图像中的目标区域的图像，目标区域为原始图像中的一个区域；在第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取第一图像中的图像数据，将图像数据写入到与第一图像大小相同的第二图像中；在第一图像的大小与输入窗口的大小不同的情况下，从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中；将第二图像确定为对原始图像执行预处理操作后的图像；将第二图像输入到目标模型中。本发明解决了图片预处理效率低的技术问题。

Description

图像预处理方法和装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种图像预处理方法和装置。

背景技术

现有技术中，在使用模型识别图片之前，通常需要对图片进行预处理，然后由模型识别预处理后的图片，从而增加图片识别的效率。

而现有技术中，在对图片进行预处理的过程中，由于图片的尺寸与模型所要求输入的尺寸不同，因此通常需要增加对图片执行缩放处理的过程。然而，若是采用上述方法，则如果图片尺寸与模型要求输入的尺寸相同，同样会执行上述缩放处理过程，造成预处理过程的效率低。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像预处理方法和装置，以至少解决图片预处理效率低的技术问题。

根据本发明实施例的一个方面，提供了一种图像预处理方法，包括：从原始图像中获取第一图像，其中，上述原始图像为待执行预处理操作的图像，上述第一图像为位于上述原始图像中的目标区域的图像，上述目标区域为上述原始图像中的一个区域；在上述第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取上述第一图像中的图像数据，将上述图像数据写入到与上述第一图像大小相同的第二图像中；在上述第一图像的大小与上述输入窗口的大小不同的情况下，从上述第一图像中获取上述图像数据，对上述图像数据执行缩放操作得到第二数据，将上述第二数据写入到上述第二图像中，上述第二图像的大小与上述输入窗口的大小相同；将上述第二图像确定为对上述原始图像执行上述预处理操作后的图像；将上述第二图像输入到上述目标模型中。

根据本发明实施例的另一方面，还提供了一种图像预处理装置，包括：第一获取单元，用于从原始图像中获取第一图像，其中，上述原始图像为待执行预处理操作的图像，上述第一图像为位于上述原始图像中的目标区域的图像，上述目标区域为上述原始图像中的一个区域；第二获取单元，用于在上述第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取上述第一图像中的图像数据，将上述图像数据写入到与上述第一图像大小相同的第二图像中；第三获取单元，用于在上述第一图像的大小与上述输入窗口的大小不同的情况下，从上述第一图像中获取上述图像数据，对上述图像数据执行缩放操作得到第二数据，将上述第二数据写入到上述第二图像中，上述第二图像的大小与上述输入窗口的大小相同；确定单元，用于将上述第二图像确定为对上述原始图像执行上述预处理操作后的图像；输入单元，用于将上述第二图像输入到上述目标模型中。

在本发明实施例中，采用了从原始图像中获取第一图像，其中，上述原始图像为待执行预处理操作的图像，上述第一图像为位于上述原始图像中的目标区域的图像，上述目标区域为上述原始图像中的一个区域；在上述第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取上述第一图像中的图像数据，将上述图像数据写入到与上述第一图像大小相同的第二图像中；在上述第一图像的大小与上述输入窗口的大小不同的情况下，从上述第一图像中获取上述图像数据，对上述图像数据执行缩放操作得到第二数据，将上述第二数据写入到上述第二图像中；将上述第二图像确定为对上述原始图像执行上述预处理操作后的图像；将上述第二图像输入到上述目标模型中的方法，由于在上述方法中，在将图片输入到模型中之前，对图片进行预处理的过程中，对于不同的大小的图像，采用不同的处理方式进行处理，在此过程中，不需要对所有的图像都执行缩放的步骤，从而实现了提高图像预处理效率的效果，进而解决了图片预处理效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像预处理方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的图像预处理方法的流程示意图；

图3是根据本发明实施例的一种可选的图像预处理方法的像素对应示意图；

图4是根据本发明实施例的一种可选的图像预处理方法的像素距离示意图；

图5是根据本发明实施例的一种可选的图像预处理方法的应用示意图；

图6是根据本发明实施例的一种可选的图像预处理方法的流程示意图；

图7是根据本发明实施例的一种可选的图像预处理方法的流程示意图；

图8是根据本发明实施例的一种可选的图像预处理方法的示意图；

图9是根据本发明实施例的一种可选的图像预处理方法的流程示意图；

图10是根据本发明实施例一种可选的图像预处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种图像预处理方法，可选地，上述图像预处理方法可以但不限于应用于如图1所示的环境中。图1中，终端102可以采集原始图像，通过网络104发送给服务器106，服务器106包括数据库108与处理引擎110，服务器106负责从原始图像中获取第一图像，其中，原始图像为待执行预处理操作的图像，第一图像为位于原始图像中的目标区域的图像，目标区域为原始图像中的一个区域；在第一图像的大小与目标模型的输入窗口的大小相同的情况下，服务器106获取第一图像中的图像数据，将图像数据写入到与第一图像大小相同的第二图像中；在第一图像的大小与输入窗口的大小不同的情况下，服务器106从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中；服务器106将第二图像确定为对原始图像执行预处理操作后的图像并将第二图像输入到目标模型中。

上述终端102可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端上，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。

作为一种可选的实施方式，如图2所示，上述图像预处理方法可以包括：

S202，从原始图像中获取第一图像，其中，原始图像为待执行预处理操作的图像，第一图像为位于原始图像中的目标区域的图像，目标区域为原始图像中的一个区域；

S204，在第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取第一图像中的图像数据，将图像数据写入到与第一图像大小相同的第二图像中；

S206，在第一图像的大小与输入窗口的大小不同的情况下，从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中，第二图像的大小与输入窗口的大小相同；

S208，将第二图像确定为对原始图像执行预处理操作后的图像；

S220，将第二图像输入到目标模型中。

可选的，上述图像预理方法可以但不限于应用于在将图像输入到模型中进行识别之前的预处理过程中。在将图像输入到模型中之前，通过上述方法对图像进行预处理，从而提高对图像进行预处理的效率。例如，应用于安防、刑侦领域，或者应用于人物识别、物品识别领域等。

仅以人物识别为例，人物图像输入到模型中之前，需要进行预处理过程。而预处理过程中，由于所有的图像都需要进行一个图像缩放的步骤，从而造成图像的与处理过程效率低。而本申请中，在预处理过程中，对不同尺寸的图像采用了不同的处理策略，从而提高了图像预处理的效率。进一步可以将预处理的图像输入到模型中进行人物的识别，提高图像识别效率。

可选地，本申请中的原始图像可以为待执行预处理操作的图像。从原始图像中可以获取第一图像，获取时，可以从原始图像中截取一部分图像作为第一图像。截取到第一图像之后，第一图像的尺寸可能与目标模型的输入窗口大小相同或者不同。如果第一图像的尺寸可能与目标模型的输入窗口大小相同，则从第一图像总获取图像输入输入到第二图像中，如果第一图像的尺寸可能与目标模型的输入窗口大小不同，则从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中，得到第二图像，第二图像即视为对原始图像进行预处理操作后的图像。上述方法提高了对图像的预处理速度。

可选地，本申请中在第一图像的大小与输入窗口的大小不同的情况下，从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中包括：将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像：获取第一图像中与当前像素的第一位置对应的目标位置；获取第一图像中与目标位置距离最小的四个第一像素；根据四个第一像素，使用双线性差值法计算出一个目标像素的图像数据；将目标像素的图像数据确定为当前像素的图像数据。

上述方法为在知晓第一图像中的图像数据的情况下，将第一图像中的图像数据使用预定方法写入到空白的第二图像中，或者替换第二图像中的原始内容，得到第二图像。具体为，第二图像中的每一个像素确定为当前像素，当前像素可以在第一图像中对应到一个目标位置，该位置可能并不是一个整数，此时，将第一图像中与该位置最接近的四个像素确定为第一像素，对四个第一像素使用双线性插值法确定出一个图像数据，将该图像数据确定为第二图像中的当前像素的像素数据。遍历第二图像后，可以将空白的第二图像填入数据。

在上述过程中，在确定第一图像中的目标位置时，可以采用下述方法：获取第一图像的长与第二图像的长的比值X；获取第一图像的宽与第二图像的宽的比值Y；将当前像素的横坐标与X的乘积确定为目标位置的横坐标；将当前像素的纵坐标与Y的乘积确定为目标位置的纵坐标，其中，X与Y为正数。

经过上述方法可以获取到第二图像中的一个像素点在第一图像中的对应的目标位置的坐标。该坐标可能并不是整数，因此，不会对应到一个像素，而是对应到最多四个像素。例如，如图3所示，图3中第二图像上的像素302对应到第一图像中的点304后，第一图像中的点304对应的像素为四个像素306。

在确定四个像素306的过程中，实际上是通过比对点304到所有的像素的中心点的距离来确定的。比对上述距离后，选择距离最小的四个像素，确定为像素306.例如，如图4所示，图4中示出的是比对一个点到两个像素的中心点的距离的过程。点402到像素404的中心点距离为0.7个像素，点402到像素406的中心点的距离为0.9个像素。

可选地，通过上述方法，从而可以在获取到原始图像之后，从原始图像中获取第一图像后，将第一图像缩放或者直接获取到第二图像。第二图像可以视为对原始图像执行预处理操作后的图像。

可选地，通过上述方法在获取到第二图像之后，还可以对第二图像进行进一步的处理，例如，根据目标模型的通道数的数量，确定对第二图像执行的操作，将第二图像转换为第一目标图像或者第二目标图像，并对第一目标图像或第二目标图像执行减均值归一化操作；将执行减均值归一化操作后的第一目标图像或第二目标图像，确定为对原始图像执行预处理操作后的图像。

上述方法中，可以获取目标模型的通道数的数量，若是该数量为3，则需要将第二图像转换为RGB格式的第一目标图像，若是该通道数的数量为1，则将第二图像转换为第二目标图像。第二目标图像为灰度图像。

具体的，在转换时，在目标模型的通道数为3的情况下，将第二图像转换为RGBP的格式或者转换为BGRP的格式。也就是说，第一目标图像的格式可以为RGBP的格式或者BGRP的格式。

也就是说，本申请中在获取到第二图像之后，还可以根据模型中的通道数的数量，进一步对第二图像进行处理，从而可以根据模型的不同的通道数的数量，对图像进行不同的处理过程，进一步提高了对图像的预处理的效率。

在具体的处理过程中，在原始图像的格式为YUV格式的情况下，首先查看模型中的通道数的数量，若是通道数的数量为3，则将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：获取当前像素的YUV数据；将YUV数据输入到预定公式中，得到第一像素的RGB数据，其中，第一像素为第一目标图像中的像素，当前像素在第二图像中的位置与第一像素在第一目标图像中的位置相同。若是模型的通道数为1，则将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：获取当前像素的YUV数据中的Y数据；将Y数据确定为第一像素的R数据，其中，第一像素为第二目标图像中的像素，当前像素在第二图像中的位置与第一像素在第二目标图像中的位置相同。

通过上述方法，从而可以根据模型的通道数的数量不同而执行不同的处理方法，得到第一目标图像或者第二目标图像，对第一目标图像或者第二目标图像执行减均值归一化操作，得到操作后的图像，操作后的图像视为对原始图像执行预处理操作后的图像。

通过上述方法，首选不需要对所有的第一图像执行缩放操作才能得到第二图像，提高了对图像进行预处理的效率。进一步，根据模型的不同通道数的数量执行不同的数据转化操作，得到不同的目标图像，进一步提高了对原始图像执行预处理操作的效率。

为了保证图像处理过程中占用更少的传输资源与存储空间，通过拍摄设备拍摄得到图像之后，将图像压缩为YUV格式，将压缩后的图像确定为原始图像。对原始图像进行传输与处理。

在得到对原始图像进行预处理后的图像之后，可以将预处理后的图像输入到目标模型中，例如，由目标模型对预处理后的图像中的人物对象进行识别，实现人物的识别匹配。

以下结合一个具体示例对上述图像预处理方法进行说明。

在对原始图像进行预处理的过程中，经过算法的预处理、前向推理、后处理三个过程得到算法的最终结果。而算法预处理过程需要经过抠图缩放、颜色空间转换、减均值归一化等操作。其中抠图缩放是根据给定的感兴趣(ROI)区域从原输入图像数据(原始图像)中抠出ROI区域大小的第一图像数据缩放成算法模型(目标模型)要求的大小，该ROI区域可以是任意有效的区域范围，也包括输入原图像的宽高。而颜色空间转换主要是将压缩成其他格式的图像数据(第二图像)转换成RGB格式的数据(第一目标图像)，目的就是降低原始图像数据对嵌入式设备内存资源的使用。减均值归一化操作主要就是将第一目标图像或者第二目标图像的数据0-255减均值归一化到0-1之间，降低数据的分布对算法造成的不良影响。

本申请中，算法预处理阶段是基于中央处理器(CPU)+图形处理器(GPU)异构的方式，利用GPU强大的数据计算能力，CPU的逻辑处理能力，使用OpenCL并行化语言，根据原图ROI区域大小和算法模型输入大小进行对比来采取不同的预处理加速方式。本申请以压缩后的YUV420格式的图像数据为例(Y、U、V分别代表明亮度、色彩值和饱和度)，说明预处理阶段加速优化方法。以应用于安防领域为例，如图5所示，通过终端502拍摄站在终端502前的人物的人物图像，将图像传至服务器504，服务器504中目标模型识别终端502拍摄的图像，并与白名单中的人物进行比对，从而根据比对结果实现安防的效果。整体过程结合图6进行说明。

如图6的步骤S602到步骤S618所示，算法预处理阶段，首先需要获取到输入的YUV图像数据、宽高数据、ROI区域、均值归一化参数、算法模型输入通道数和大小等参数，上述YUV图像数据可以为摄像头拍摄后压缩为YUV格式的原始图像。从原始图像中确定出ROI区域，得到第一图像。然后对比ROI区域的宽高和算法模型的输入宽高是否相等。如果相等，只需要直接从第一图像的算法输入图像数据中读取ROI区域大小的YUV数据，作为第二图像。如果不相等，就意味着需要使用双线性插值法对第一图像进行抠图缩放操作，需要根据第二图像的坐标信息找到原图像对应坐标周围的四个坐标像素值来计算第二图像该坐标点的YUV数据。然后进行颜色空间转换，将YUV格式的数据转换成RGB格式的数据，然后将RGB格式的数据进行减均值归一化操作，最后将计算得到的数据写入到第一目标图像中，上述所有的过程均值使用CPU逻辑调度，GPU并行加速计算的方式进行。下面就分别介绍根据ROI区域宽高和算法模型宽高之间关系所采用的算法预处理的详细过程。需要说明的是，步骤S610与步骤S612不分先后。

如图7所示，为ROI区域宽高和算法模型输入宽高不相等的情况。根据第一图像和第二图像的缩放比例关系，在第一图像中找到与第二图像对应的四个像素点对应的坐标点X1、X2、X3、X4，再分别计算并读取最靠近四个坐标点X1、X2、X3、X4的左上、左下、右上、右下四个像素共16个像素的Y分量数据，如图8所示，X1、X2、X3、X4四个坐标点对应出16个像素。再分别获取16个像素对应Y分量数据的UV分量数据，到这里总共获取了16个Y分量数据，四个U分量和四个V分量数据。然后根据双线性插值法和YUV2RGB的公式，可以分别计算得到到四个R、G、B分量数据，然后对RGB数据减均值归一化操作，将得到的四个R、G、B分量数据分别写到第一目标图像中的像素的三个通道中。也就是说，四个R数据写入到一个通道，四个G数据写入到一个通道，四个B数据写入到一个通道中。当算法模型输入是单通道时，上述计算过程不需要获取UV分量数据，只需要获取Y分量数据，将数据写入到第二目标图像的一个通道上。

图9为ROI区域宽高和算法模型输入宽高相等的情况。如图9所示，当ROI区域宽高和算法模型输入宽高相等时，就不需要进行抠图缩放操作。首先从原始图像的ROI区域(第一图像)一次性读取两行Y分量数据，每行八个Y分量数据，再读取与Y分量对应的四个U分量和四个V分量的数据。根据YUV2RGB公式可以分别得到十六个R、G、B分量的数据。再对RGB分量数据减均值归一化操作即可，最后将十六个R、G、B分量的数据8个数据为一行，分别写入到第一目标图像的两行数据的三个通道上。当算法模型输入是单通道时，上述计算过程不需要获取UV分量数据，只需要获取Y分量数据，将数据写入到第二目标图像的一个通道上。

将上述根据ROI区域宽高和算法模型输入宽高是否相等所采用的不同算法预处理方法同时写入到算法库中，这样算法运行过程中就会根据不同的条件执行不同的预处理方法。两种方法每次从原图像中读取的YUV分量的数据是一样的，但是写入到目的图像的数据量却相差四倍。通过上述方法，极大地提高了对图像进行预处理的预处理效率。

作为一种可选的实施方案，将第二图像确定为对原始图像执行预处理操作后的图像包括：

S1，在目标模型中的通道数为三的情况下，将第二图像转换为RGB格式的第一目标图像；

S2，在目标模型中的通道数为一的情况下，将第二图像转换为第二目标图像，第二目标图像为灰度图像；

S3，对第一目标图像或第二目标图像执行归一化操作；

S4，将执行归一化操作后的第一目标图像或第二目标图像，确定为对原始图像执行预处理操作后的图像。

可选地，本实施例中，根据目标模型的通道数的不同，对第二图像执行不同的处理方法，得到第一目标图像或第二目标图像，然后，对第一目标图像或第二目标图像执行减均值归一化操作，得到最后的图像，将最后的图像视为对原始图像进行预处理操作后的图像。采用上述方法，从而可以进一步根据目标模型的通道数的不同执行不同的操作，进一步提高了对原始图像执行预处理操作的效率。

作为一种可选的实施方案，在目标模型中的通道数为三的情况下，将第二图像转换为RGB格式的第一目标图像包括：

S1，在原始图像的格式为YUV格式的情况下，将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：

S2，获取当前像素的YUV数据；

S3，将YUV数据输入到预定公式中，得到第一像素的RGB数据，其中，第一像素为第一目标图像中的像素，当前像素在第二图像中的位置与第一像素在第一目标图像中的位置相同。

可选地，本实施例中，在目标模型的通道数为3的情况下，将第二图像中的YUV数据输入到预定公式中，得到第一目标图像中的像素的RGB格式的数据，实现了将YUV数据转换为RGB格式的第一目标图像的目的，进一步实现了根据目标模型的通道数的不同执行不同的操作，进一步提高了对原始图像执行预处理操作的效率。

作为一种可选的实施方案，在目标模型中的通道数为一的情况下，将第二图像转换为第二目标图像，第二目标图像为灰度图像包括：

S1，在原始图像的格式为YUV格式的情况下，将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：

S2，获取当前像素的YUV数据中的Y数据；

S3，将Y数据确定为第一像素的R数据，其中，第一像素为第二目标图像中的像素，当前像素在第二图像中的位置与第一像素在第二目标图像中的位置相同。

可选地，本实施例中，在目标模型的通道数为1的情况下，将第二图像中的YUV数据中的Y数据作为第二目标图像中的亮度值，实现了将YUV数据转换为灰度图像的目的，进一步实现了根据目标模型的通道数的不同执行不同的操作，进一步提高了对原始图像执行预处理操作的效率。

作为一种可选的实施方案，在第一图像的大小与输入窗口的大小不同的情况下，从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中包括：

S1，将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像：

S2，获取第一图像中与当前像素的第一位置对应的目标位置；

S3，获取第一图像中与目标位置距离最小的四个第一像素；

S4，根据四个第一像素，使用双线性差值法计算出一个目标像素的图像数据；

S5，将目标像素的图像数据确定为当前像素的图像数据。

可选地，本实施例中，在获取到第一图像的情况下，根据第一图像获取第二图像时，由于第一图像与第二图像的尺寸不同，因此，需要用双线性插值法来确定出第二图像中的每一个像素的像素数据。使用该方法，从而可以通过第一图像中的多个像素的像素数据确定出第二图像中的一个像素的像素数据，提高了获取第二图像的准确度。

作为一种可选的实施方案，获取第一图像中与当前像素的第一位置对应的目标位置包括：

S1，获取第一图像的长与第二图像的长的比值X；

S2，获取第一图像的宽与第二图像的宽的比值Y；

S3，将当前像素的横坐标与X的乘积确定为目标位置的横坐标；

S4，将当前像素的纵坐标与Y的乘积确定为目标位置的纵坐标，其中，X与Y为正数。

可选地，本实施例中，在确定第一图像中的目标位置的过程中，根据第一图像与第二图像的比例来确定目标位置，从而实现了提高了获取目标位置的准确度的效果。

作为一种可选的实施方案，获取第一图像中与目标位置距离最小的四个第一像素包括：

S1，确定第一图像中每一个像素的中心点的坐标；

S2，计算目标位置与每一个中心点的距离；

S3，将距离中的最小的四个距离所对应的四个像素确定为第一像素。

可选地，本实施例中，在获取第一图像中的目标位置之后，可以通过目标位置获取到距离目标位置最近的四个像素，使用该四个像素确定第二图像中一个像素的像素数据，提高了获取第二图像的准确度。

作为一种可选的实施方案，从原始图像中获取第一图像之前，方法还包括：

S1，使用拍摄设备拍摄目标区域得到拍摄的图像；

S2，将拍摄的图像压缩为YUV格式，得到原始图像。

可选地，本实施例中，通过在拍摄图片之后，将图片压缩为YUV格式，从而在传输与处理过程中，可以降低传输资源的占用，提高了数据传输效率。

作为一种可选的实施方案，将第二图像确定为对原始图像执行预处理操作后的图像之后，方法还包括：

S1，由目标模型识别第二图像，得到第二图像中的对象；

S2，比对第二图像中的对象是否为白名单中的对象；

S3，在第二图像中的对象不属于白名单的情况下，发送告警信息。

通过本实施例，通过上述方法，从而可以提高对图像进行预处理的效率。进一步通过上述方法识别对象，提高了安防领域的识别对象的效率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述图像预处理方法的图像预处理装置。如图10所示，该装置包括：

(1)第一获取单元1002，用于从原始图像中获取第一图像，其中，原始图像为待执行预处理操作的图像，第一图像为位于原始图像中的目标区域的图像，目标区域为原始图像中的一个区域；

(2)第二获取单元1004，用于在第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取第一图像中的图像数据，将图像数据写入到与第一图像大小相同的第二图像中；

(3)第三获取单元1006，用于在第一图像的大小与输入窗口的大小不同的情况下，从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中；

(4)确定单元1008，用于将第二图像确定为对原始图像执行预处理操作后的图像；

(5)输入单元1010，用于将第二图像输入到目标模型中。

可选的，上述图像预理方法可以但不限于应用于在将图像输入到模型中进行识别之前的预处理过程中。在将图像输入到模型中之前，通过上述方法对图像进行预处理，从而提高对图像进行预处理的效率。例如，应用于安防、刑侦领域，或者应用于人物识别、物品识别领域等。

仅以人物识别为例，人物图像输入到模型中之前，需要进行预处理过程。而预处理过程中，由于所有的图像都需要进行一个图像缩放的步骤，从而造成图像的与处理过程效率低。而本申请中，在预处理过程中，对不同尺寸的图像采用了不同的处理策略，从而提高了图像预处理的效率。进一步可以将预处理的图像输入到模型中进行人物的识别，提高图像识别效率。

可选地，本申请中的原始图像可以为待执行预处理操作的图像。从原始图像中可以获取第一图像，获取时，可以从原始图像中截取一部分图像作为第一图像。截取到第一图像之后，第一图像的尺寸可能与目标模型的输入窗口大小相同或者不同。如果第一图像的尺寸可能与目标模型的输入窗口大小相同，则从第一图像总获取图像输入输入到第二图像中，如果第一图像的尺寸可能与目标模型的输入窗口大小不同，则从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中，得到第二图像，第二图像即视为对原始图像进行预处理操作后的图像。上述方法提高了对图像的预处理速度。

可选地，本申请中在第一图像的大小与输入窗口的大小不同的情况下，从第一图像中获取图像数据，对图像数据执行缩放操作得到第二数据，将第二数据写入到第二图像中包括：将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像：获取第一图像中与当前像素的第一位置对应的目标位置；获取第一图像中与目标位置距离最小的四个第一像素；根据四个第一像素，使用双线性差值法计算出一个目标像素的图像数据；将目标像素的图像数据确定为当前像素的图像数据。

上述方法为在知晓第一图像中的图像数据的情况下，将第一图像中的图像数据使用预定方法写入到空白的第二图像中，或者替换第二图像中的原始内容，得到第二图像。具体为，第二图像中的每一个像素确定为当前像素，当前像素可以在第一图像中对应到一个目标位置，该位置可能并不是一个整数，此时，将第一图像中与该位置最接近的四个像素确定为第一像素，对四个第一像素使用双线性插值法确定出一个图像数据，将该图像数据确定为第二图像中的当前像素的像素数据。遍历第二图像后，可以将空白的第二图像填入数据。

在上述过程中，在确定第一图像中的目标位置时，可以采用下述方法：获取第一图像的长与第二图像的长的比值X；获取第一图像的宽与第二图像的宽的比值Y；将当前像素的横坐标与X的乘积确定为目标位置的横坐标；将当前像素的纵坐标与Y的乘积确定为目标位置的纵坐标，其中，X与Y为正数。

经过上述方法可以获取到第二图像中的一个像素点在第一图像中的对应的目标位置的坐标。该坐标可能并不是整数，因此，不会对应到一个像素，而是对应到最多四个像素。例如，如图3所示，图3中第二图像上的像素302对应到第一图像中的点304后，第一图像中的点304对应的像素为四个像素306。

在确定四个像素306的过程中，实际上是通过比对点304到所有的像素的中心点的距离来确定的。比对上述距离后，选择距离最小的四个像素，确定为像素306.例如，如图4所示，图4中示出的是比对一个点到两个像素的中心点的距离的过程。点402到像素404的中心点距离为0.7个像素，点402到像素406的中心点的距离为0.9个像素。

可选地，通过上述方法，从而可以在获取到原始图像之后，从原始图像中获取第一图像后，将第一图像缩放或者直接获取到第二图像。第二图像可以视为对原始图像执行预处理操作后的图像。

可选地，通过上述方法在获取到第二图像之后，还可以对第二图像进行进一步的处理，例如，根据目标模型的通道数的数量，确定对第二图像执行的操作，将第二图像转换为第一目标图像或者第二目标图像，并对第一目标图像或第二目标图像执行减均值归一化操作；将执行减均值归一化操作后的第一目标图像或第二目标图像，确定为对原始图像执行预处理操作后的图像。

上述方法中，可以获取目标模型的通道数的数量，若是该数量为3，则需要将第二图像转换为RGB格式的第一目标图像，若是该通道数的数量为1，则将第二图像转换为第二目标图像。第二目标图像为灰度图像。

也就是说，本申请中在获取到第二图像之后，还可以根据模型中的通道数的数量，进一步对第二图像进行处理，从而可以根据模型的不同的通道数的数量，对图像进行不同的处理过程，进一步提高了对图像的预处理的效率。

在具体的处理过程中，在原始图像的格式为YUV格式的情况下，首先查看模型中的通道数的数量，若是通道数的数量为3，则将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：获取当前像素的YUV数据；将YUV数据输入到预定公式中，得到第一像素的RGB数据，其中，第一像素为第一目标图像中的像素，当前像素在第二图像中的位置与第一像素在第一目标图像中的位置相同。若是模型的通道数为1，则将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：获取当前像素的YUV数据中的Y数据；将Y数据确定为第一像素的R数据，其中，第一像素为第二目标图像中的像素，当前像素在第二图像中的位置与第一像素在第二目标图像中的位置相同。

通过上述方法，从而可以根据模型的通道数的数量不同而执行不同的处理方法，得到第一目标图像或者第二目标图像，对第一目标图像或者第二目标图像执行减均值归一化操作，得到操作后的图像，操作后的图像视为对原始图像执行预处理操作后的图像。

通过上述方法，首选不需要对所有的第一图像执行缩放操作才能得到第二图像，提高了对图像进行预处理的效率。进一步，根据模型的不同通道数的数量执行不同的数据转化操作，得到不同的目标图像，进一步提高了对原始图像执行预处理操作的效率。

为了保证图像处理过程中占用更少的传输资源与存储空间，通过拍摄设备拍摄得到图像之后，将图像压缩为YUV格式，将压缩后的图像确定为原始图像。对原始图像进行传输与处理。

在得到对原始图像进行预处理后的图像之后，可以将预处理后的图像输入到目标模型中，例如，由目标模型对预处理后的图像中的人物对象进行识别，实现人物的识别匹配。

作为一种可选的实施方案，确定单元包括：

(1)第一转换模块，用于在目标模型中的通道数为三的情况下，将第二图像转换为RGB格式的第一目标图像；

(2)第二转换模块，用于在目标模型中的通道数为一的情况下，将第二图像转换为第二目标图像，第二目标图像为灰度图像；

(3)执行模块，用于对第一目标图像或第二目标图像执行减均值归一化操作；

(4)第一确定模块，用于将执行减均值归一化操作后的第一目标图像或第二目标图像，确定为对原始图像执行预处理操作后的图像。

可选地，本实施例中，根据目标模型的通道数的不同，对第二图像执行不同的处理方法，得到第一目标图像或第二目标图像，然后，对第一目标图像或第二目标图像执行减均值归一化操作，得到最后的图像，将最后的图像视为对原始图像进行预处理操作后的图像。采用上述方法，从而可以进一步根据目标模型的通道数的不同执行不同的操作，进一步提高了对原始图像执行预处理操作的效率。

作为一种可选的实施方案，第一转换模块包括：

(1)第一处理子模块，用于在原始图像的格式为YUV格式的情况下，将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：

(2)获取当前像素的YUV数据；

(3)将YUV数据输入到预定公式中，得到第一像素的RGB数据，其中，第一像素为第一目标图像中的像素，当前像素在第二图像中的位置与第一像素在第一目标图像中的位置相同。

可选地，本实施例中，在目标模型的通道数为3的情况下，将第二图像中的YUV数据输入到预定公式中，得到第一目标图像中的像素的RGB格式的数据，实现了将YUV数据转换为RGB格式的第一目标图像的目的，进一步实现了根据目标模型的通道数的不同执行不同的操作，进一步提高了对原始图像执行预处理操作的效率。

作为一种可选的实施方案，第二转换模块包括：

(1)第二处理子模块，用于在原始图像的格式为YUV格式的情况下，将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像中的每一个像素：获取当前像素的YUV数据中的Y数据；将Y数据确定为第一像素的R数据，其中，第一像素为第二目标图像中的像素，当前像素在第二图像中的位置与第一像素在第二目标图像中的位置相同。

可选地，本实施例中，在目标模型的通道数为1的情况下，将第二图像中的YUV数据中的Y数据作为第二目标图像中的亮度值，实现了将YUV数据转换为灰度图像的目的，进一步实现了根据目标模型的通道数的不同执行不同的操作，进一步提高了对原始图像执行预处理操作的效率。

作为一种可选的实施方案，第三获取单元包括：

(1)处理模块，用于将第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历第二图像：获取第一图像中与当前像素的第一位置对应的目标位置；获取第一图像中与目标位置距离最小的四个第一像素；根据四个第一像素，使用双线性差值法计算出一个目标像素的图像数据；将目标像素的图像数据确定为当前像素的图像数据。

可选地，本实施例中，在获取到第一图像的情况下，根据第一图像获取第二图像时，由于第一图像与第二图像的尺寸不同，因此，需要用双线性插值法来确定出第二图像中的每一个像素的像素数据。使用该方法，从而可以通过第一图像中的多个像素的像素数据确定出第二图像中的一个像素的像素数据，提高了获取第二图像的准确度。

作为一种可选的实施方案，处理模块还用于：获取第一图像的长与第二图像的长的比值X；获取第一图像的宽与第二图像的宽的比值Y；将当前像素的横坐标与X的乘积确定为目标位置的横坐标；将当前像素的纵坐标与Y的乘积确定为目标位置的纵坐标，其中，X与Y为正数。

可选地，本实施例中，在确定第一图像中的目标位置的过程中，根据第一图像与第二图像的比例来确定目标位置，从而实现了提高了获取目标位置的准确度的效果。

作为一种可选的实施方案，处理模块还用于：确定第一图像中每一个像素的中心点的坐标；计算目标位置与每一个中心点的距离；将距离中的最小的四个距离所对应的四个像素确定为第一像素。

可选地，本实施例中，在获取第一图像中的目标位置之后，可以通过目标位置获取到距离目标位置最近的四个像素，使用该四个像素确定第二图像中一个像素的像素数据，提高了获取第二图像的准确度。

作为一种可选的实施方案，装置还包括：

(1)拍摄单元，用于从原始图像中获取第一图像之前，使用拍摄设备拍摄目标区域得到拍摄的图像；

(2)压缩单元，用于将拍摄的图像压缩为YUV格式，得到原始图像。

可选地，本实施例中，通过在拍摄图片之后，将图片压缩为YUV格式，从而在传输与处理过程中，可以降低传输资源的占用，提高了数据传输效率。

作为一种可选的实施方案，装置还包括：

(1)识别单元，用于将第二图像确定为对原始图像执行预处理操作后的图像之后，由目标模型识别第二图像，得到第二图像中的对象；

(2)比对单元，用于比对第二图像中的对象是否为白名单中的对象；

(3)发送单元，用于在第二图像中的对象不属于白名单的情况下，发送告警信息。

通过本实施例，通过上述方法，从而可以提高对图像进行预处理的效率。进一步通过上述方法识别对象，提高了安防领域的识别对象的效率。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像预处理方法，其特征在于，包括：

从原始图像中获取第一图像，其中，所述原始图像为待执行预处理操作的图像，所述第一图像为位于所述原始图像中的目标区域的图像，所述目标区域为所述原始图像中的一个区域；

在所述第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取所述第一图像中的图像数据，将所述图像数据写入到与所述第一图像大小相同的第二图像中；

在所述第一图像的大小与所述输入窗口的大小不同的情况下，从所述第一图像中获取所述图像数据，对所述图像数据执行缩放操作得到第二数据，将所述第二数据写入到所述第二图像中，所述第二图像的大小与所述输入窗口的大小相同；

将所述第二图像确定为对所述原始图像执行所述预处理操作后的图像；

将所述第二图像输入到所述目标模型中。

2.根据权利要求1所述的方法，其特征在于，所述将所述第二图像确定为对所述原始图像执行所述预处理操作后的图像包括：

在所述目标模型中的通道数为三的情况下，将所述第二图像转换为RGB格式的第一目标图像；

在所述目标模型中的通道数为一的情况下，将所述第二图像转换为第二目标图像，所述第二目标图像为灰度图像；

对所述第一目标图像或所述第二目标图像执行减均值归一化操作；

将执行所述减均值归一化操作后的所述第一目标图像或所述第二目标图像，确定为对所述原始图像执行所述预处理操作后的图像。

3.根据权利要求2所述的方法，其特征在于，所述在所述目标模型中的通道数为三的情况下，将所述第二图像转换为RGB格式的第一目标图像包括：

在所述原始图像的格式为YUV格式的情况下，将所述第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历所述第二图像中的每一个像素：

获取所述当前像素的YUV数据；

将所述YUV数据输入到预定公式中，得到第一像素的RGB数据，其中，所述第一像素为所述第一目标图像中的像素，所述当前像素在所述第二图像中的位置与所述第一像素在所述第一目标图像中的位置相同。

4.根据权利要求2所述的方法，其特征在于，所述在所述目标模型中的通道数为一的情况下，将所述第二图像转换为第二目标图像，所述第二目标图像为灰度图像包括：

在所述原始图像的格式为YUV格式的情况下，将所述第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历所述第二图像中的每一个像素：

获取所述当前像素的YUV数据中的Y数据；

将所述Y数据确定为第一像素的R数据，其中，所述第一像素为所述第二目标图像中的像素，所述当前像素在所述第二图像中的位置与所述第一像素在所述第二目标图像中的位置相同。

5.根据权利要求1所述的方法，其特征在于，所述在所述第一图像的大小与所述输入窗口的大小不同的情况下，从所述第一图像中获取所述图像数据，对所述图像数据执行缩放操作得到第二数据，将所述第二数据写入到所述第二图像中包括：

将所述第二图像中的每一个像素确定为当前像素，执行以下步骤，直到遍历所述第二图像：

获取所述第一图像中与所述当前像素的第一位置对应的目标位置；

获取所述第一图像中与所述目标位置距离最小的四个第一像素；

根据四个所述第一像素，使用双线性差值法计算出一个目标像素的图像数据；

将所述目标像素的图像数据确定为所述当前像素的图像数据。

6.根据权利要求5所述的方法，其特征在于，所述获取所述第一图像中与所述当前像素的第一位置对应的目标位置包括：

获取所述第一图像的长与所述第二图像的长的比值X；

获取所述第一图像的宽与所述第二图像的宽的比值Y；

将所述当前像素的横坐标与所述X的乘积确定为所述目标位置的横坐标；

将所述当前像素的纵坐标与所述Y的乘积确定为所述目标位置的纵坐标，其中，所述X与所述Y为正数。

7.根据权利要求5所述的方法，其特征在于，所述获取所述第一图像中与所述目标位置距离最小的四个第一像素包括：

确定所述第一图像中每一个像素的中心点的坐标；

计算所述目标位置与每一个所述中心点的距离；

将所述距离中的最小的四个距离所对应的四个像素确定为所述第一像素。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述从原始图像中获取所述第一图像之前，所述方法还包括：

使用拍摄设备拍摄目标区域得到拍摄的图像；

将所述拍摄的图像压缩为YUV格式，得到所述原始图像。

9.根据权利要求1至7任意一项所述的方法，其特征在于，所述将所述第二图像确定为对所述原始图像执行所述预处理操作后的图像之后，所述方法还包括：

由所述目标模型识别所述第二图像，得到所述第二图像中的对象；

比对所述第二图像中的所述对象是否为白名单中的对象；

在所述第二图像中的所述对象不属于所述白名单的情况下，发送告警信息。

10.一种图像预处理装置，其特征在于，包括：

第一获取单元，用于从原始图像中获取第一图像，其中，所述原始图像为待执行预处理操作的图像，所述第一图像为位于所述原始图像中的目标区域的图像，所述目标区域为所述原始图像中的一个区域；

第二获取单元，用于在所述第一图像的大小与目标模型的输入窗口的大小相同的情况下，获取所述第一图像中的图像数据，将所述图像数据写入到与所述第一图像大小相同的第二图像中；

第三获取单元，用于在所述第一图像的大小与所述输入窗口的大小不同的情况下，从所述第一图像中获取所述图像数据，对所述图像数据执行缩放操作得到第二数据，将所述第二数据写入到所述第二图像中，所述第二图像的大小与所述输入窗口的大小相同；

确定单元，用于将所述第二图像确定为对所述原始图像执行所述预处理操作后的图像；

输入单元，用于将所述第二图像输入到所述目标模型中。

Images