CN112801082B - 图像的采样方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种图像的采样方法、装置及电子设备，涉及计算机视觉、深度学习等人工智能技术领域。实现方案为：获取待处理的图像及目标采样值；对待处理的图像进行解析，以确定待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点；根据第一类像素点的数量、第二类像素点的数量及目标采样值，确定关键区域及非关键区域分别对应的采样方式；根据关键区域及非关键区域分别对应的采样方式，对关键区域及非关键区域分别进行采样。由此，基于关键区域和非关键区域对图像进行非均匀采样，有利于侧重于关键区域进行降采样、减少非关键区域的采样，有利于避免关键区域信息丢失的现象。

Description

图像的采样方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及计算机视觉、深度学习等人工智能技术领域，尤其涉及一种图像的采样方法、装置、电子设备、存储介质和计算机程序产品。

背景技术

目前，随着图像技术的不断发展，图像的应用频率日益增加，在图像处理中，通常涉及到深度网络模型，深度网络模型中对图像进行采样的实现，对图像处理起着极其重要的作用，因此，对图像进行采样以进行相关处理的技术尤为重要。

发明内容

本申请提供一种图像的采样方法、装置及电子设备。

根据本申请的第一方面，提供了一种图像的采样方法，包括：

获取待处理的图像及目标采样值；

对所述待处理的图像进行解析，以确定所述待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点；

根据所述第一类像素点的数量、所述第二类像素点的数量及所述目标采样值，确定所述关键区域及所述非关键区域分别对应的采样方式；

根据所述关键区域及所述非关键区域分别对应的采样方式，对所述关键区域及所述非关键区域分别进行采样。

根据本申请的第二方面，提供了一种图像的采样装置，包括：

第一获取模块，用于获取待处理的图像及目标采样值；

第一确定模块，用于对所述待处理的图像进行解析，以确定所述待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点；

第二确定模块，用于根据所述第一类像素点的数量、所述第二类像素点的数量及所述目标采样值，确定所述关键区域及所述非关键区域分别对应的采样方式；

第一采样模块，用于根据所述关键区域及所述非关键区域分别对应的采样方式，对所述关键区域及所述非关键区域分别进行采样。

根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的图像的采样方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的图像的采样方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述计算机程序被处理器执行时，实现上述一方面实施例所述的图像的采样方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种图像的采样方法的流程示意图；

图2为本申请实施例提供的一种确定关键区域及非关键区域分别对应的采样方式的流程示意图；

图3为本申请实施例提供的一种确定每行的关键区域、及非关键区域分别对应的采样方式的流程示意图；

图4为本申请实施例提供的一种确定每列的关键区域、及非关键区域分别对应的采样方式的流程示意图；

图5为本申请实施例提供的一种通过逐行扫描进行采样的示意图；

图6A为相关技术中进行均匀采样的图像范围示意图；

图6B为本申请实施例提供的一种进行非均匀采样的关键区域示意图；

图7为本申请实施例提供的一种图像的采样装置的结构示意图；

图8为用来实现本申请实施例的图像的采样方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

相关技术中，在深度网络模型中的降采样的实现，通常是基于两种方式，(1)使用池化层(平均池化或最大池化)；(2)使用步长不为1的卷积层。无论是池化还是步长不为1的卷积，实现的都是图像各个位置的均匀降采样。但是，通过研究发现，其直接面临的问题就是，关键区域随着降采样的进行信息逐渐丢失并且大量的计算又都消耗在了一些无效位置。

为此，本申请实施例提出了一种图像的采样方法、装置及电子设备。本申请实施例，可以实现关键区域和非关键区域的分别采样，即可以实现非均匀的采样方式，有利于避免关键区域信息丢失的现象。

下面参考附图描述本申请实施例的图像的采样方法、装置及电子设备。

图1为本申请实施例提供的一种图像的采样方法的流程示意图。

需要说明的是，本申请实施例的图像的采样方法执行主体可以为电子设备，具体的，电子设备可以是但不限于服务器、终端，终端可以是但不限于个人电脑、智能手机、IPAD等。

本申请实施例以图像的采样方法被配置于图像的采样装置中来举例说明，该装置可以应用于电子设备中，以使该电子设备可以执行非均匀的采样方法。其中，图像的采样装置可以放置于任意卷积神经网络的需要降采样的层处。

本申请实施例可以应用于任何图像处理领域，可以应用但不限于以下应用场景：(1)图像语义分割；(2)图像分类；(3)视频分类；(4)人体关键点检测场景。

如图1所示，该图像的采样方法包括以下步骤：

S101，获取待处理的图像及目标采样值。

本申请实施例，可将需要进行采样处理的图像称为待处理的图像。其中，可以对待处理的图像进行降采样(减少图像中的像素数)，也可以对待处理的图像进行升采样(增加图像中的像素数)。

本申请实施例中，目标采样值，可以理解为需要采样的像素数量。可以理解的是，目标采样值可以根据图像的实际像素数量与指定的采样倍数的乘积确定，其中，采样倍数可以是降采样倍数，也可以是升采样倍数。

具体地，在需要进行图像的采样时，获取待处理的图像及图像中的实际像素数量，同时可获取采样倍数，进而可将实际像素数量与采样倍数的乘积作为目标采样值。

S102，对待处理的图像进行解析，以确定待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点。

需要说明的是，可根据图像的内容将图像划分为关键区域及非关键区域，例如，要对图像中的鸟儿进行采样以进行相关处理时，可将图像中鸟儿所在的区域划分为关键区域，可将图像中不包含鸟儿的区域划分为非关键区域。

本申请实施例中，可将图像中关键区域对应的像素点称为第一类像素点，可将图像中非关键区域对应的像素点称为第二类像素点。

具体地，在获取到待处理的图像之后，可以采用任何关键区域和非关键区域的识别方法，识别出图像中的关键区域和非关键区域，并对待处理的图像进行解析，以确定出关键区域对应的第一类像素点，及非关键区域对应的第二类像素点。

S103，根据第一类像素点的数量、第二类像素点的数量及目标采样值，确定关键区域及非关键区域分别对应的采样方式。

本申请实施例中，采样方式可以是指从图像中采集像素点的方式，例如可以是按行采样、按列采样、每隔几个像素点进行一次像素点的采集等等。关键区域及非关键区域分别对应的采样方式可以是不相同的。

具体地，在确定出目标采样值、第一类像素点及第二类像素点之后，可进一步确定第一类像素点的数量及第二类像素点的数量，以根据第一类像素点的数量、第二类像素点的数量及目标采样值，确定关键区域对应的采样方式，及非关键区域对应的采样方式。

需要说明的是，本申请实施例中确定像素点数量的方式可以为相关技术中的任何可行方式，只要可确定像素点数量即可，本申请实施例对此不做限制。

S104，根据关键区域及非关键区域分别对应的采样方式，对关键区域及非关键区域分别进行采样。

具体地，在确定出采样方式之后，根据关键区域对应的采样方式对关键区域进行采样，根据非关键区域对应的采样方式对非关键区域进行采样，从而完成对图像中的像素点的采样。

需要说明的是，由于是基于关键区域及非关键区域分别对应的采样方式对两个区域进行采样，因此在某些情况下(例如在计算资源受限的情况下)可以根据不同的采样方式实现对关键区域及非关键区域的采样，从而实现图像的非均匀采样。

举例而言，如果图像A的目标采样值为18，A中的关键区域A1对应的像素点数量为64，非关键区域A2对应的像素点数量为16，那么可确定A1对应的采样方式为每隔三个像素点采集一个像素点，从而可在关键区域A1采集到16个像素点；可确定A2对应的方式为每隔七个像素点采集一个像素点，从而可在非关键区域A2采集到2个像素点，实现目标采样值为18的非均匀降采样。

本申请实施例的图像的采样方法，实现了基于关键区域和非关键区域对图像的非均匀采样，有利于侧重于关键区域进行降采样、减少非关键区域的计算，利于避免关键区域信息丢失的现象。

上述步骤S103中确定采样方式时，为了确保采样的可靠性，可通过逐行扫描、逐列扫描的方式对关键区域即非关键区域进行依次采样。下面进行具体说明：

在本申请的一个实施例中，如图2所示，上述步骤S103，可包括以下步骤以下步骤S201至S205。

S201，根据待处理的图像包含的行数量、列数量及目标采样值，确定每行的第一采样值及每列的第二采样值。

本公开实施例，可将图像中每行的采样值称为第一采样值，可将图像中每列的采样值称为第二采样值。

具体地，在获取到待处理即目标采样值的图像之后，可确定出图像包含的像素点的行数量、列数量，进而根据行数量、列数量及目标采样值，确定每行的第一采样值，同时可根据行数量、列数量及目标采样值，确定每列的第二采样值。

例如，如果图像包含4行6列像素点、目标采样值为12，那么可确定每行的第一采样值为3，每列的第二采样值为2。

S202，确定待处理的图像中每行包括的第一类像素点的第一数量及第二类像素点的第二数量。

本公开实施例，可将每行包括的第一类像素点的数量称为第一数量、第二类像素点的数量称为第二数量。可以理解的是，某一行的第一数量与第二数量之间的和值即为该行包含的所有像素点的数量。

具体地，在确定出待处理的图像之后，可确定出图像中每行包括的像素点数量Y，还可确定出每行包括的处于关键区域的第一类像素点的数量Y1，进而将像素点数量Y减去第一类像素点的数量Y1即可得到每行中包括的第二类像素点的数量Y2。

或者，在确定出待处理的图像之后，可确定出图像中每行包括的像素点数量Y，还可确定出每行包括的处于非关键区域的第二类像素点的数量Y2，进而将像素点数量Y减去第二类像素点的数量Y2即可得到每行中包括的第一类像素点的数量Y1。

例如，如果图像中每行包括的像素点的数量为6，且该6个像素点中处于关键区域的第一类像素点有4个，那么可确定出该6个像素点中处于非关键区域的第二类像素点有2个。

S203，根据每行包括的第一数量、第二数量及第一采样值，确定每行的关键区域及非关键区域分别对应的采样方式。

具体地，在确定出每行包括的第一数量、第二数量及第一采样值之后，根据第一数量、第二数量及第一采样值，确定每行的关键区域及非关键区域分别对应采样方式。其中，关键区域与非关键区域对应的采样方式可以是不同的。

例如，如果对于一个6行4列的图像，其每行的第一数量为4个、第二数量为2个、第一采样值为5，那么可确定出每行的关键区域的采样方式为：将4个像素点全部采样，而非关键区域的采样方式可以为：将2个像素点中的1个像素点进行采样。

S204，确定待处理的图像中每列包括的第一类像素点的第三数量及第二类像素点的第四数量。

本公开实施例，可将每列包括的第一类像素点的数量称为第三数量、第二类像素点的数量称为第四数量。可以理解的是，某一列的第三数量与第四数量之间的和值即为该列包含的所有像素点的数量。

具体地，在确定出待处理的图像之后，可确定出图像中每列包括的像素点数量Z，还可确定出每列包括的处于关键区域的第一类像素点的数量Z1，进而将像素点数量Z减去第一类像素点的数量Z1即可得到每列中包括的第二类像素点的数量Z2。

或者，在确定出待处理的图像之后，可确定出图像中每列包括的像素点数量Z，还可确定出每行列包括的处于非关键区域的第二类像素点的数量Z2，进而将像素点数量Z减去第二类像素点的数量Z2即可得到每列中包括的第一类像素点的数量Z1。

例如，如果图像中每列包括的像素点的数量为8，且该8个像素点中处于关键区域的第一类像素点有6个，那么可确定出该8个像素点中处于非关键区域的第二类像素点有2个。

S205，根据每列包括的第三数量、第四数量及第二采样值，确定每列的关键区域及非关键区域分别对应的采样方式。

具体地，在确定出每列包括的第一数量、第二数量及第二采样值之后，根据第一数量、第二数量及第一采样值，确定每列的关键区域及非关键区域分别对应采样方式。其中，关键区域与非关键区域对应的采样方式可以是不同的。

例如，如果对于一个6行8列的图像，其每列的第一数量为6个、第二数量为2个、第一采样值为4，那么可确定出每列的关键区域的采样方式为：将5个像素点中的3个进行采样，而非关键区域的采样方式可以为：将2个像素点中的1个进行采样。

由此，通过逐行采样、逐列采样的方式实现采样，从而提高了采样可靠性，进一步提高了图像处理的可靠性。

在上述步骤S203中确定每行的关键区域、及非关键区域分别对应的采样方式时，可先确定非关键区域对应的采样方式，再根据非关键区域对应的采样方式确定关键区域对应的采样方式。

即在本申请的一个实施例中，待处理的图像包括N行像素点，N为正整数。

如图3所示，上述步骤S203，可包括以下步骤S301至S304。

S301，根据初始采样模式及第i行中第二类像素点的第二数量，确定第i行中非关键区域对应的第一待采样像素点数量，其中，i为小于或等于N的正整数。

本公开实施例中，可事先确定初始采样模式，初始采样模式可以是根据图像的像素点数量及目标采样值确定的均匀采样模式(关键区域和非关键区域的采样方式相同)，比如，图像的像素点数量是128，目标采样值为64，即降了一倍，那么初始采样模式，可以是隔一个像素点采样一个像素点。

本公开实施例中，可将第i行中非关键区域对应的待采样(按照初始采样模式采样)的第二类像素点的数量称为第一待采样像素点数量，例如，第i行的非关键区域的第二类像素点的数量为4，那么第一待采样像素点数量通常可以为3，也可以为2，还可以为1。

具体地，在确定出图像中每行包括的第一数量、第二数量及初始采样模式之后，根据初始采样模式及第i行中第二类像素点的第二数量，确定第i行中非关键区域对应的第一待采样像素点数量。

S302，在第一待采样像素点数量与第i行中第一类像素点的第一数量的和大于第一采样值的情况下，根据第一待采样像素点数量与第一数量的和与第一采样值的差值，对初始采样模式进行更新，以确定第i行中非关键区域对应的采样模式。

在确定出第i行中非关键区域对应的第一待采样像素点数量之后，可计算第一待采样像素点数量与该行中第一类像素点的第一数量间的和值，并将该和值与第一采样值进行比较，如果该和值大于第一采样值，那么计算该和值与第一采样值之间的差值C1，并根据该差值C1对初始模式进行更新，以确定第i行中非关键区域对应的采样模式。具体而言，可根据差值C1减少非关键区域的待采样的像素点数量，减少的像素点数量只要是在第一待采样像素点数量的基础上、小于或者等于差值C1即可，此时，关键区域的待采样的像素点个数即可增加，增加的个数可以与非关键区域减少的待采样的像素点个数相同。也就是说，在对初始模式进行更新时，可减少非关键区域的采样次数，以增加关键区域的采样次数。

需要说明的是，本公开实施例中之所以对初始模式进行更新，是为了将其更新为更加侧重于在关键区域进行采样，减少非关键区域的采样，即实现非均匀采样，从而保留更加完整的关键区域的图像信息。

例如，如果图像包括10行20列像素点，其中第i行(i小于或等于10)的第二类像素点的第二数量为6，且其初始采样模式为：每隔1个像素点采样1个像素点(即第一采样值为10)，那么，可确定出第i行中非关键区域对应的第一待采样像素点数量为3个。可确定出第一待采样像素点数量3与第一数量14之间的和为17，那么，可确定出17大于10，于是可计算出17与10之间的差值7，在3的基础上根据7对初始模式进行更新，比如可将非关键区域的采样模式更新为：在非关键区域每隔2个像素点采样1个像素点。

S303，根据第i行中非关键区域对应的采样模式及第二类像素点的第二数量，确定第i行中非关键区域对应的第二待采样像素点数量。

其中，第二待采样像素点的数量可以理解为第一待采样像素点数量经过更新后的值。

具体地，在确定出第i行中非关键区域对应的采样模式之后，可根据采样模式及第i行中第二类像素点的数量，确定第i行中非关键区域对应的第二待采样像素点数量。

例如，如果第i行中非关键区域对应的采样模式为：每隔2个像素点采样1个像素点、非关键区域的第二类像素点的第二数量为6个，那么，可确定出第i行中非关键区域对应的第二待采样像素点数量2个。

S304，根据第二待采样像素点数量及第一采样值，确定第i行中关键区域对应的采样模式。

具体地，在确定出第二待采样像素点数量之后，可计算第一采样值与第二待采样像素点数量间的差值，进而可根据该差值确定第i行中关键区域对应的采样模式。

例如，如果第i行中第二待采样像素点数量2个、第一采样值为10、第一类像素的第一数量为14个，那么，可根据10与2之间的差值8确定第i行中关键区域对应的采样模式，比如可以是：依次采样第二个像素点、第四个像素点、第六个像素点、第八个像素点、第十个像素点、第十二个像素点、第十三个像素点及第十四个像素点，从而采样到8个关键区域的像素点。

也就是说，本公开实施例中，对于图像中每行包括的像素点数量的采样而言，先根据初始采样模式(均匀的采样：关键区域与非关键区域的采样方式相同)及非关键区域的像素点数量，确定出非关键区域待采样的像素点个数X1，在X1与关键区域的像素点数量X2间的和大于第一采样值X3时，说明X2中存在没有待采样的像素点，于是为了侧重于关键区域采样，减少非关键区域采样，即为了实现非均匀采样(关键区域与非关键区域的采样方式不同)，更新即重新确定非关键区域的采样模式及待采样的像素点个数X1，进而根据更新后的X1及X3确定关键区域对应的采样模式。

由此，根据初始采样模式、图像的每行包含的关键区域、非关键区域的像素数量及该行对应的第一采样值，对初始采样模式进行进一步地更新，使更新后的采样模式满足非均匀采样，实现了侧重于关键区域采样、减少非关键区域采样的方式，可以在计算资源受限的情况下，有效保留关键区域信息。

在上述步骤S205中确定每列的关键区域、及非关键区域分别对应的采样方式时，可先确定非关键区域对应的采样方式，再根据非关键区域对应的采样方式确定关键区域对应的采样方式。

即在本申请的一个实施例中，待处理的图像可包括L列像素点，L为正整数。

如图3所示，上述步骤S205，可包括以下步骤S401至S404。

S401，根据初始采样模式及第j列中第二类像素点的第四数量，确定第j列中非关键区域对应的第三待采样像素点数量，其中，j为小于或等于L的正整数。

本公开实施例中，可事先确定初始采样模式，初始采样模式可以是根据图像的像素点数量及目标采样值确定的均匀采样模式(关键区域和非关键区域的采样方式相同)，比如，图像的像素点数量是128，目标采样值为64，即降了一倍，那么初始采样模式，可以是隔一个像素点采样一个像素点。

本公开实施例中，可将第j列中非关键区域对应的待采样(按照初始采样模式采样)的第二类像素点的数量称为第三待采样像素点数量，例如，第j列的非关键区域的第二类像素点的数量为4，那么第三待采样像素点数量通常可以为3，也可以为2，还可以为1。

具体地，在确定出图像中每列包括的第三量、第四数量及初始采样模式之后，根据初始采样模式及第j列中第二类像素点的第四数量，确定第j列中非关键区域对应的第三待采样像素点数量。

S402，在第三待采样像素点数量与第j列中第一类像素点的第三数量的和大于第二采样值的情况下，根据第三待采样像素点数量与第三数量的和与第三采样值的差值，对初始采样模式进行更新，以确定第j列中非关键区域对应的采样模式。

在确定出第j列中非关键区域对应的第三待采样像素点数量之后，可计算第三待采样像素点数量与该行列中第一类像素点的第三数量间的和值，并将该和值与二采样值进行比较，如果该和值大于第二采样值，那么计算该和值与第二采样值之间的差值C2，并根据该差值C2对初始模式进行更新，以确定第j列中非关键区域对应的采样模式。具体而言，可根据差值C2减少非关键区域的待采样的像素点数量，减少的像素点数量只要是在第三待采样像素点数量的基础上、小于或者等于差值C2即可，此时，关键区域的待采样的像素点个数即可增加，增加的个数可以与非关键区域减少的待采样的像素点个数相同。也就是说，在对初始模式进行更新时，可减少非关键区域的采样次数，以增加关键区域的采样次数。

需要说明的是，本公开实施例中之所以对初始模式进行更新，是为了将其更新为更加侧重于在关键区域进行采样，减少非关键区域的采样，即实现非均匀采样，从而保留更加完整的关键区域的图像信息。

例如，如果图像包括10行20列像素点，其中第j列(i小于或等于20)的第二类像素点的第四数量为4，且其初始采样模式为：每隔1个像素点采样1个像素点(即第二采样值为5)，那么，可确定出第j列中非关键区域对应的第三待采样像素点数量为2个。可确定出第三待采样像素点数量2与第一数量6之间的和为8，那么，可确定出8大于5，于是可计算出8与5之间的差值3，在2的基础上根据3对初始模式进行更新，比如可将非关键区域的采样模式更新为：在非关键区域每隔3个像素点采样1个像素点。

S403，根据第j列中非关键区域对应的采样模式及第二类像素点的第四数量，确定第j列中非关键区域对应的第四待采样像素点数量。

其中，第四待采样像素点的数量可以理解为第三待采样像素点数量经过更新后的值。

具体地，在确定出第j列中非关键区域对应的采样模式之后，可根据采样模式及第j列中第二类像素点的数量，确定第j列中非关键区域对应的第四待采样像素点数量。

例如，如果第j列中非关键区域对应的采样模式为：每隔3个像素点采样1个像素点、非关键区域的第二类像素点的第四数量为4个，那么，可确定出第j列中非关键区域对应的第四待采样像素点数量1个。

S404，根据第四待采样像素点数量及第二采样值，确定第j列中关键区域对应的采样模式。

具体地，在确定出第四待采样像素点数量之后，可计算第二采样值与第四待采样像素点数量间的差值，进而可根据该差值确定第j列中关键区域对应的采样模式。

例如，如果第j列中第四待采样像素点数量1个、第二采样值为5、第一类像素的第三数量为6个，那么，可根据5与1之间的差值4确定第j列中关键区域对应的采样模式，比如可以是：依次采样第六个像素点、第七个像素点、第八个像素点及第十个像素点，从而采样到4个关键区域的像素点。

也就是说，本公开实施例中，对于图像中每列包括的像素点数量的采样而言，先根据初始采样模式(均匀的采样：关键区域与非关键区域的采样方式相同)及非关键区域的像素点数量，确定出非关键区域待采样的像素点个数X4，在X4与关键区域的像素点数量X5间的和大于第二采样值X6时，说明X5中存在没有待采样的像素点，于是为了侧重于关键区域采样，减少非关键区域采样，即为了实现非均匀采样(关键区域与非关键区域的采样方式不同)，更新即重新确定非关键区域的采样模式及待采样的像素点个数X4，进而根据更新后的X4及X6确定关键区域对应的采样模式。

由此，根据初始采样模式、图像的每列包含的关键区域、非关键区域的像素数量及该列对应的第二采样值，对初始采样模式进行进一步地更新，使更新后的采样模式满足非均匀采样，实现了侧重于关键区域采样、减少非关键区域采样的方式，可以在计算资源受限的情况下，有效保留关键区域信息。

在本申请的一个实施例中，图像的采样方法，还可包括：根据待处理的图像中包括的像素点数量及目标采样值，确定初始采样模式。

具体地，可通过对待处理的图像进行解析处理，以对其中的像素点数量进行识别，在确定出像素点数量之后，根据像素点数量及目标采样值，确定初始采样模式，该初始采样模式可以是均匀的采样方式。之后，可对初始采样模式进行进一步更新，得到关键区域和非关键区域的采样模式，从而进行关键区域和非关键区域的非均匀采样。

例如，图像的像素点数量是128，目标采样值为32，即降了四倍，那么初始采样模式，可以是每隔三个像素点采样一个像素点，此时，关键区域和非关键区域的采样方式均是每隔三个像素点采样一个像素点，在根据上述步骤S201至S205之后，非关键区域的采样模式比如可以为：每隔四个像素点采样一个像素点；关键区域的采样模式比如可以为：每隔两个像素点样一个像素点。

需要说明的是，本申请实施例还可根据相关技术中的其他方式根据指示灯信息确定初始采样模式，本申请上述实施例仅仅是示例性的说明。

由此，根据图像的像素点数量与目标采样值确定初始采样模式，提高了初始采样模式的可靠性，可以进一步提高非均匀采样的可靠性。

为了更加清楚地说明本申请实施例的图像的采样方法，下面通过一个示例进行说明：

在该示例中，通过逐列扫描的方式实现降采样。如图5所示，以图像中的两行像素点为例，图像中两行均包含10个像素点(第一个像素点1至第十一个像素点11)，通过三轮扫描实现像素点的采样。

第一轮行扫描，仅采样非关键区域，获取待融合位置，以将带融合位置处的像素点进行融合处理，以在待融合位置采样一个像素点。参照图5，将第一行和第二行中的第一个像素点1和第二个像素点2中的第二个像素点2进行采样(即：将第一个像素点1和第二个像素点2当做一个像素点，仅采样其中的一个像素点)、将第一行和第二行中的第三个像素点3和第四个像素点4中的第四个像素点4进行采样。

第二轮扫描，仅采样非关键区域，获取待融合位置，以将带融合位置处的像素点进行融合处理，以在待融合位置采样一个像素点(如果已经满足采样后的个数则跳过)。参照图5，将第二行中的第一个像素点1和第三个像素点3中的第三个像素点3进行采样。

第二轮扫描，仅采样关键区域，直至满足降采样后的个数。参照图5，将第二行中的第六个像素点6和第七个像素点7中的第七个像素点7进行采样，将第二行中的第八个像素点8和第九个像素点9中的第九个像素点9进行采样。如此，经过三轮扫描，完成图像中第一行和第二行的像素点降采样。

也就是说，先把非关键区域两两像素点融合采样，然后计算这种方式是否满足降采样的目的，不能满足时，再进一步的融合，或者把关键区域融合，直至满足降采样的数值。

相关技术中，在进行降采样时如图6A所示，是对整个图像进行均匀采样，而通过本申请实施例的采样方法进行降采样时，如图6B所示，可侧重于或者仅仅采样关键区域(即蜜蜂和花朵所在的区域)，从而可在计算资源受限的情况下，保留较为完整的关键区域的信息，可以最大限度提升模型精度并控制计算量。

本申请实施例还提出了一种图像的采样装置，图7为本申请实施例提供的一种图像的采样装置的结构示意图。

如图7所示，该图像的采样装置700包括：第一获取模块710、第一确定模块720、第二确定模块730及第一采样模块740。

其中，第一获取模块710，用于获取待处理的图像及目标采样值；第一确定模块720，用于对所述待处理的图像进行解析，以确定所述待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点；第二确定模块730，用于根据所述第一类像素点的数量、所述第二类像素点的数量及所述目标采样值，确定所述关键区域及所述非关键区域分别对应的采样方式；第一采样模块740，用于根据所述关键区域及所述非关键区域分别对应的采样方式，对所述关键区域及所述非关键区域分别进行采样。

在本申请的一个实施例中，所述第二确定模块730，可包括：第一确定单元，用于根据所述待处理的图像包含的行数量、列数量及所述目标采样值，确定每行的第一采样值及每列的第二采样值；第二确定单元，确定所述待处理的图像中每行包括的所述第一类像素点的第一数量及第二类像素点的第二数量；第三确定单元，用于根据每行包括的所述第一数量、第二数量及所述第一采样值，确定每行的所述关键区域及所述非关键区域分别对应的采样方式；第四确定单元，用于确定所述待处理的图像中每列包括的所述第一类像素点的第三数量及第二类像素点的第四数量；第五确定单元，用于根据每列包括的所述第三数量、第四数量及所述第二采样值，确定每列的所述关键区域及所述非关键区域分别对应的采样方式。

在本申请的一个实施例中，所述待处理的图像包括N行像素点，N为正整数，所述第三确定单元，包括：第一确定子单元，用于根据初始采样模式及第i行中所述第二类像素点的第二数量，确定所述第i行中非关键区域对应的第一待采样像素点数量，其中，i为小于或等于N的正整数；第二确定子单元，用于在所述第一待采样像素点数量与所述第i行中第一类像素点的第一数量的和大于所述第一采样值的情况下，根据所述第一待采样像素点数量与所述第一数量的和与所述第一采样值的差值，对所述初始采样模式进行更新，以确定所述第i行中非关键区域对应的采样模式；第三确定子单元，用于根据所述第i行中非关键区域对应的采样模式及所述第二类像素点的第二数量，确定所述第i行中非关键区域对应的第二待采样像素点数量；第四确定子单元，用于根据所述第二待采样像素点数量及所述第一采样值，确定所述第i行中关键区域对应的采样模式。

在本申请的一个实施例中，所述待处理的图像包括L列像素点，L为正整数，所述第三定单元，包括：第五确定子单元，用于根据初始采样模式及第j列中所述第二类像素点的第四数量，确定所述第j列中非关键区域对应的第三待采样像素点数量，其中，j为小于或等于L的正整数；第六确定子单元，用于在所述第三待采样像素点数量与所述第j列中第一类像素点的第三数量的和大于所述第二采样值的情况下，根据所述第三待采样像素点数量与所述第三数量的和与所述第三采样值的差值，对所述初始采样模式进行更新，以确定所述第j列中非关键区域对应的采样模式；第七确定子单元，用于根据所述第j列中非关键区域对应的采样模式及所述第二类像素点的第四数量，确定所述第j列中非关键区域对应的第四待采样像素点数量；第八确定子单元，用于根据所述第四待采样像素点数量及所述第二采样值，确定所述第j列中关键区域对应的采样模式。

在本申请的一个实施例中，图像的图像采样装置700还可包括：第三确定模块，用于根据所述待处理的图像中包括的像素点数量及所述目标采样值，确定所述初始采样模式。

需要说明的是，本申请实施例的图像的采样装置的其他具体实施方式可参见前述图像的采样方法的具体实施方式，为避免冗余，此处不再赘述。

本申请实施例的图像的采样装置，基于关键区域和非关键区域对图像进行非均匀采样，有利于侧重于关键区域进行降采样、减少非关键区域的采样，有利于避免关键区域信息丢失的现象。

根据本申请的实施例，本申请还提供了一种图像的采样方法的电子设备、可读存储介质和计算机程序产品。下面结合图8进行说明。

如图8所示，是根据本申请实施例的图像的采样方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如非均匀的采样方法。例如，在一些实施例中，非均匀的采样方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的非均匀的采样方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像的采样方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server，虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种图像的采样方法，包括：

获取待处理的图像及目标采样值；

对所述待处理的图像进行解析，以确定所述待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点；

根据所述待处理的图像包含的行数量、列数量及所述目标采样值，确定每行的第一采样值及每列的第二采样值；

确定所述待处理的图像中每行包括的所述第一类像素点的第一数量及第二类像素点的第二数量；

根据每行包括的所述第一数量、第二数量及所述第一采样值，确定每行的所述关键区域及所述非关键区域分别对应的采样方式；

确定所述待处理的图像中每列包括的所述第一类像素点的第三数量及第二类像素点的第四数量；

根据每列包括的所述第三数量、第四数量及所述第二采样值，确定每列的所述关键区域及所述非关键区域分别对应的采样方式；

根据所述关键区域及所述非关键区域分别对应的采样方式，对所述关键区域及所述非关键区域分别进行采样。

2.如权利要求1所述的方法，其中，所述待处理的图像包括N行像素点，N为正整数，所述根据每行包括的所述第一数量、第二数量及所述第一采样值，确定每行的所述关键区域及所述非关键区域分别对应的采样方式，包括：

根据初始采样模式及第i行中所述第二类像素点的第二数量，确定所述第i行中非关键区域对应的第一待采样像素点数量，其中，i为小于或等于N的正整数；

在所述第一待采样像素点数量与所述第i行中第一类像素点的第一数量的和大于所述第一采样值的情况下，根据所述第一待采样像素点数量与所述第一数量的和与所述第一采样值的差值，对所述初始采样模式进行更新，以确定所述第i行中非关键区域对应的采样模式；

根据所述第i行中非关键区域对应的采样模式及所述第二类像素点的第二数量，确定所述第i行中非关键区域对应的第二待采样像素点数量；

根据所述第二待采样像素点数量及所述第一采样值，确定所述第i行中关键区域对应的采样模式。

3.如权利要求1所述的方法，其中，所述待处理的图像包括L列像素点，L为正整数，所述根据每列包括的所述第三数量、第四数量及所述第二采样值，确定每列的所述关键区域及所述非关键区域分别对应的采样方式，包括：

根据初始采样模式及第j列中所述第二类像素点的第四数量，确定所述第j列中非关键区域对应的第三待采样像素点数量，其中，j为小于或等于L的正整数；

在所述第三待采样像素点数量与所述第j列中第一类像素点的第三数量的和大于所述第二采样值的情况下，根据所述第三待采样像素点数量与所述第三数量的和与所述第二采样值的差值，对所述初始采样模式进行更新，以确定所述第j列中非关键区域对应的采样模式；

根据所述第j列中非关键区域对应的采样模式及所述第二类像素点的第四数量，确定所述第j列中非关键区域对应的第四待采样像素点数量；

根据所述第四待采样像素点数量及所述第二采样值，确定所述第j列中关键区域对应的采样模式。

4.如权利要求2或3所述的方法，其中，还包括：

根据所述待处理的图像中包括的像素点数量及所述目标采样值，确定所述初始采样模式。

5.一种图像的采样装置，包括：

第一获取模块，用于获取待处理的图像及目标采样值；

第一确定模块，用于对所述待处理的图像进行解析，以确定所述待处理的图像中关键区域对应的第一类像素点及非关键区域对应的第二类像素点；

第二确定模块，用于根据所述第一类像素点的数量、所述第二类像素点的数量及所述目标采样值，确定所述关键区域及所述非关键区域分别对应的采样方式；

第一采样模块，用于根据所述关键区域及所述非关键区域分别对应的采样方式，对所述关键区域及所述非关键区域分别进行采样；

所述第二确定模块，包括：

第一确定单元，用于根据所述待处理的图像包含的行数量、列数量及所述目标采样值，确定每行的第一采样值及每列的第二采样值；

第二确定单元，确定所述待处理的图像中每行包括的所述第一类像素点的第一数量及第二类像素点的第二数量；

第三确定单元，用于根据每行包括的所述第一数量、第二数量及所述第一采样值，确定每行的所述关键区域及所述非关键区域分别对应的采样方式；

第四确定单元，用于确定所述待处理的图像中每列包括的所述第一类像素点的第三数量及第二类像素点的第四数量；

第五确定单元，用于根据每列包括的所述第三数量、第四数量及所述第二采样值，确定每列的所述关键区域及所述非关键区域分别对应的采样方式。

6.如权利要求5所述的装置，所述待处理的图像包括N行像素点，N为正整数，所述第三确定单元，包括：

第一确定子单元，用于根据初始采样模式及第i行中所述第二类像素点的第二数量，确定所述第i行中非关键区域对应的第一待采样像素点数量，其中，i为小于或等于N的正整数；

第二确定子单元，用于在所述第一待采样像素点数量与所述第i行中第一类像素点的第一数量的和大于所述第一采样值的情况下，根据所述第一待采样像素点数量与所述第一数量的和与所述第一采样值的差值，对所述初始采样模式进行更新，以确定所述第i行中非关键区域对应的采样模式；

第三确定子单元，用于根据所述第i行中非关键区域对应的采样模式及所述第二类像素点的第二数量，确定所述第i行中非关键区域对应的第二待采样像素点数量；

第四确定子单元，用于根据所述第二待采样像素点数量及所述第一采样值，确定所述第i行中关键区域对应的采样模式。

7.如权利要求5所述的装置，所述待处理的图像包括L列像素点，L为正整数，所述第三确定单元，包括：

第五确定子单元，用于根据初始采样模式及第j列中所述第二类像素点的第四数量，确定所述第j列中非关键区域对应的第三待采样像素点数量，其中，j为小于或等于L的正整数；

第六确定子单元，用于在所述第三待采样像素点数量与所述第j列中第一类像素点的第三数量的和大于所述第二采样值的情况下，根据所述第三待采样像素点数量与所述第三数量的和与所述第二采样值的差值，对所述初始采样模式进行更新，以确定所述第j列中非关键区域对应的采样模式；

第七确定子单元，用于根据所述第j列中非关键区域对应的采样模式及所述第二类像素点的第四数量，确定所述第j列中非关键区域对应的第四待采样像素点数量；

第八确定子单元，用于根据所述第四待采样像素点数量及所述第二采样值，确定所述第j列中关键区域对应的采样模式。

8.如权利要求6或7所述的装置，其中，还包括：

第三确定模块，用于根据所述待处理的图像中包括的像素点数量及所述目标采样值，确定所述初始采样模式。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的图像的采样方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的图像的采样方法。