CN109145906A - 目标对象的图像确定方法、装置、设备及存储介质 - Google Patents

Abstract

本公开实施例公开了一种目标对象的图像确定方法、装置、设备及存储介质。其中，方法包括：在显示有目标对象的图像中，检测所述目标对象所在的目标回归框；根据所述目标回归框对应的图像的背景颜色特征，从所述目标回归框对应的图像中划分出前景图像；判定所述前景图像的形态特征与所述目标对象的形态特征匹配，则将所述前景图像作为所述目标对象的图像，本实施例能够提高目标对象的图像确定精度和效率。

Description

目标对象的图像确定方法、装置、设备及存储介质

技术领域

本公开实施例涉及计算机视觉技术，尤其涉及一种目标对象的图像确定方法、装置、设备及存储介质。

背景技术

图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉。现有图像一般仅显示对象的颜色、纹理、亮度等可见信息，而不显示该对象的其它信息，例如，在显示有球员的图像中，不会显示该球员的名字。

为了获取图像中目标对象的更多信息，一般会对图像中的目标对象进行识别。在识别目标对象的过程中，首先需要得到目标对象的图像。目前，目标对象的图像的获取精度较低，计算时间较长。

发明内容

本公开实施例提供一种目标对象的图像确定方法、装置、设备及存储介质，以提高目标对象的图像确定精度和效率。

第一方面，本公开实施例提供了一种目标对象的图像确定方法，包括：

在显示有目标对象的图像中，检测所述目标对象所在的目标回归框；

根据所述目标回归框对应的图像的背景颜色特征，从所述目标回归框对应的图像中划分出前景图像；

判定所述前景图像的形态特征与所述目标对象的形态特征匹配，则将所述前景图像作为所述目标对象的图像。

第二方面，本公开实施例还提供了一种目标对象的图像确定装置，包括：

检测模块，用于在显示有目标对象的图像中，检测所述目标对象所在的目标回归框；

划分模块，用于根据所述目标回归框对应的图像的背景颜色特征，从所述目标回归框对应的图像中划分出前景图像；

第一处理模块，用于判定所述前景图像的形态特征与所述目标对象的形态特征匹配，则将所述前景图像作为所述目标对象的图像。

第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的目标对象的图像确定方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的目标对象的图像确定方法。

本实施例的技术方案，通过在显示有目标对象的图像中，检测目标对象所在的目标回归框，从而在目标回归框对应的图像中，确定目标对象的图像，屏蔽掉目标回归框之外的干扰，提高目标对象的图像确定的准确性；通过根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像划分出前景图像，实现了通过背景颜色特征，确定前景图像；然后，通过前景图像的形态特征与目标对象的形态特征匹配，则将前景图像作为目标对象的图像，从而通过形态特征的匹配情况进一步对前景图像进行判定，进一步提高了目标对象的图像确定的准确性，而且通过背景颜色特征，确定前景图像的方案运算量少，耗时短，提高目标对象的图像确定的效率。

附图说明

图1是本公开实施例一提供的一种目标对象的图像确定方法的流程图；

图2是本公开实施例二提供的一种目标对象的图像确定方法的流程图；

图3是本公开实施例三提供的一种目标对象的图像确定方法的流程图；

图4是本公开实施例五提供的一种目标对象的图像确定装置的结构示意图；

图5是本公开实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。

实施例一

图1是本公开实施例一提供的一种目标对象的图像确定方法的流程图，本实施例可适用于在显示有目标对象的图像中，确定目标对象的图像的情况，该方法可以由目标对象的图像确定装置来执行，该装置可以由硬件和/或软件构成，并一般集成在电子设备中，具体包括如下步骤：

S110、在显示有目标对象的图像中，检测目标对象所在的目标回归框。

目标对象是用于进行信息确定的对象，可以是人或者物。例如，在足球比赛的图像中，需要确定球员所属的球队信息，则足球比赛的图像中各个球员就是目标对象。又例如，在显示旗帜的图像中，需要确定旗帜所属的国家或地区，则显示旗帜的图像中旗帜就是目标对象。

图像中显示有目标对象。在一种情况下，在关于目标对象的视频流中获取一张图像，则认为该图像中显示有目标对象。在另一种情况下，在关于目标对象的视频流中获取多个图像，在获取的图像中进行针对目标对象的图像识别或者人工分拣，得到显示有目标对象的图像。

一张图像中可显示有至少一个目标对象，例如，在足球比赛的图像中，可显示有双方球员、守门员或者裁判。

本实施例中，在显示有目标对象的图像中，根据目标对象的深度特征，对目标对象进行检测，并采用矩形框框出目标对象，该框出目标对象的矩形框称为目标回归框。

可选地，采用基于深度学习的物体检测模型，检测目标对象所在的目标回归框，物体检测模型包括但不限于Faster R-CNN、R-FCN、SSD、Yolo等。

可选地，根据上述物理检测模型得到的目标回归框可能不够准确，对上述目标回归框进行边框回归(Bounding-Box regression)，得到新的、更准确的目标回归框。

在检测到目标对象所在的目标回归框之后，在目标回归框对应的图像中，确定目标对象的图像。其中，目标回归框对应的图像指目标回归框围出的图像。目标回归框围出的图像中除了有目标对象之外，还具有其它对象，因而把其它对象的图像屏蔽掉，保留目标对象的图像。在目标回归框对应的图像中，确定目标对象的图像包括S120和S130。

S120、根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像中划分出前景图像。

可选地，将目标对象所处的环境颜色的特征，作为目标回归框对应的图像的背景颜色的特征，即背景颜色特征。例如，在足球比赛的图像中，目标对象：球员所处的环境为草坪，则图像的背景颜色特征为草坪的颜色特征。

可选地，在目标回归框对应的图像中，选取与背景颜色特征匹配的图像作为背景图像，将与背景颜色特征不匹配的图像作为前景图像。

S130、判定前景图像的形态特征与目标对象的形态特征匹配，则将前景图像作为目标对象的图像。

其中，目标对象的形态特征包括但不限于目标对象的尺寸信息、孔洞的存在性、孔洞的尺寸信息。

可选地，首先根据目标对象的种类，得到目标对象的形态特征。例如，目标对象的种类是旗帜，旗帜中不存在孔洞。又例如，目标对象的种类是人，例如球员，则球员的形态特征包括人的宽高比例，一般不存在孔洞。又例如，目标对象的种类是呼啦圈，则呼啦圈的形态特征包括孔洞存在、孔洞的尺寸信息。

检测前景图像的形态特征，同样地，前景图像的形态特征包括但不限于前景图像的尺寸信息、孔洞的存在性、孔洞的尺寸信息。如果前景图像与目标对象的形态特征相匹配，说明前景图像是目标对象的图像，进而将前景图像作为目标对象的图像。反之，如果前景图像与目标对象的形态特征不匹配，说明前景图像不是目标对象的图像。

本实施例的技术方案，通过在显示有目标对象的图像中，检测目标对象所在的目标回归框，从而在目标回归框对应的图像中，确定目标对象的图像，屏蔽掉目标回归框之外的干扰，提高目标对象的图像确定的准确性；通过根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像划分出前景图像，实现了通过背景颜色特征，确定前景图像；然后，通过前景图像的形态特征与目标对象的形态特征匹配，则将前景图像作为目标对象的图像，从而通过形态特征的匹配情况进一步对前景图像进行判定，进一步提高了目标对象的图像确定的准确性，而且通过背景颜色特征，确定前景图像的方案运算量少，耗时短，提高目标对象的图像确定的效率。

实施例二

图2是本公开实施例二提供的一种目标对象的图像确定方法的流程图。本实施例可以与上述一个或者多个实施例中各个可选方案结合，具体包括以下步骤：

S210、在显示有目标对象的图像中，检测目标对象所在的目标回归框。

S220、根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像中划分出前景图像。

S210和S220分别与上述实施例中的S110和S120相同，此处不再赘述。

S230、判断前景图像的形态特征与目标对象的形态特征是否匹配，如果匹配，跳转到S240，如果不匹配，跳转到S250。

S240、将前景图像作为目标对象的图像。结束本次操作。

S250、对目标回归框对应的图像进行语义分割，得到前景分割结果。继续执行S260。

如果前景图像的形态特征与目标对象的形态特征不匹配，说明通过背景颜色特征得到的前景图像不够理想，与目标对象的实际图像尚有较大差距，则采用语义分割方法得到前景分割结果，并综合采用背景颜色特征和语义分割方法得到目标对象的图像。

语义分割指对目标回归框对应的图像中各像素做分类的方法。可选地，语义分割方法包括传统机器学习方法和深度学习方法。深度学习方法包括打补丁式的分类(patchclassification)方法、卷积网络(Fully Convolutional Networks，FCN)方法、完全卷积感知的语义分割(Fully Convolutional Instance-aware Semantic Segmentation，FCIS)方法等。

为了方便描述和区分，将语义分割得到的前景图像称为前景分割结果，将语义分割得到的背景图像称为背景分割结果。

S260、根据前景图像和前景分割结果，得到目标对象的图像。

S260包括多种实施方式，例如，对前景图像和前景分割结果取交集，得到目标对象的图像。又例如，对前景图像和前景分割结果取并集，得到目标对象的图像。

在从足球比赛的图像中获取球员的图像的一个应用场景中，首先在球员所在的目标回归框对应的图像中，滤除草坪颜色特征，得到前景图像。如果球员身着与草坪颜色特征相同或者相近的球衣，可能会将球员的对应部位也滤除，导致球员的图像不完整或者出现孔洞，进而与球员的形态特征不匹配。之后，对目标回归框对应的图像进行语义分割，得到前景分割结果。由于采用语音分割得到的图像精度较高，几乎不会残缺或者出现孔洞。所以检测到前景图像不完整或者出现孔洞后，对前景图像和前景分割结果取交集，使球员的图像完整且无孔洞。

在从足球比赛的图像中获取球员的图像的另一个应用场景中，首先在球员所在的目标回归框对应的图像中，滤除草坪颜色特征，得到前景图像。如果图像的背景除了草坪外还有观众和广告牌，而观众和广告牌的颜色区别与草坪，如果仅滤除草坪的颜色特征，使得球员的图像出现冗余，进而与球员的形态特征不匹配。之后，对目标回归框对应的图像进行语义分割，得到前景分割结果。检测到前景图像出现冗余后，对前景图像和前景分割结果取并集，去除球员的图像中的冗余。

首先，以对前景图像和前景分割结果取交集为例，说明得到目标对象的图像的过程。

首先，从目标回归框对应的图像中获取一像素，作为第一像素；如果第一像素不属于前景图像且不属于前景分割结果，也就是第一像素属于背景图像和背景分割结果的并集，则确定第一像素不属于目标对象的图像；如果第一像素属于前景分割结果，无论其是否属于背景图像，则确定第一像素属于目标对象的图像；如果第一像素属于前景图像，无论其是否属于背景分割结果，则确定第一像素属于目标对象的图像；返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

在一具体实施方式中，将目标回归框对应的图像转化为二值图像，该二值图像用掩膜(mask)表示。mask实际上是一个矩阵，矩阵中各元素与目标回归框对应的图像中各像素分别对应。假设，如果像素属于前景图像，则该元素的值为1；如果像素属于背景图像，则该元素的值为0。同样地，在得到前景分割结果和背景分割结果后，将目标回归框对应的图像转化为另一个二值图像，该二值图像也用mask表示。如果像素属于前景分割结果，则该元素的值为1；如果像素属于背景分割结果，则该元素的值为0。为了方便描述与区分，根据背景图像特征，目标回归框对应的图像转化成的二值图像称为第一二值图像，用mask1表示。根据语义分割，目标回归框对应的图像转化成的图像称为第二二值图像，用mask2表示。

接着，对mask1和mask2中的对应元素的值逐个进行二进制“或”运算，即mask1和mask2中的对应元素值只要有一个是1，则“或”运算后的结果为1。mask1和mask2中的对应元素值均为0，则“或”运算后的结果为0。通过“或”运算得到值为1的元素对应的像素集合，并确定值为1的元素对应的像素集合为目标对象的图像。

下面以对前景图像和前景分割结果取并集为例，说明得到目标对象的图像的过程。

首先，从目标回归框对应的图像中获取一像素，作为第一像素；如果第一像素属于前景图像且属于前景分割结果，则确定第一像素属于目标对象的图像；如果第一像素不属于前景分割结果，或者不属于前景图像，则确定第一像素不属于目标对象的图像，返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

与上述示例相同，根据背景图像特征，将目标回归框对应的图像转化为第一二值图像，用mask1表示。根据语义分割，将目标回归框对应的图像转化成的图像称为第二二值图像，用mask2表示。

接着，对mask1和mask2中的对应元素的值逐个进行二进制“与”运算，即mask1和mask2中的对应元素值只要有一个是0，则“与”运算后的结果为0。mask1和mask2中的对应元素值均为1，则“与”运算后的结果为1。通过“与”运算得到值为1的元素对应的像素集合，并确定值为1的元素对应的像素集合为目标对象的图像。

本实施例中，通过对前景图像与目标对象的形态特征不匹配，则对目标回归框对应的图像进行语义分割，得到前景分割结果，采用语义分割方法能够得到高精度的目标对象的图像；根据前景图像和前景分割结果，得到目标对象的图像，从而综合采用背景颜色特征和语义分割方法得到目标对象的图像，保证目标对象的图像有较高的精度。而且，通过对前景图像和前景分割结果取交集，使球员的图像完整且无孔洞；通过对前景图像和前景分割结果取并集，去除球员的图像中的冗余。

实施例三

图3是本公开实施例三提供的一种目标对象的图像确定方法的流程图，本实施例可以与上述一个或者多个实施例中各个可选方案结合，具体包括以下步骤：

S310、在显示有目标对象的图像中，检测目标对象所在的目标回归框。

S320、将目标回归框对应的图像中各像素映射到预设颜色空间中，得到目标回归框对应的图像中各像素的颜色空间信息。

具体地，各个像素的颜色空间信息为对应颜色空间的值，如黑色像素的RGB值为0,0,0。

将目标归回框对应的图像中各像素逐一映射到预设颜色空间中，预设颜色空间为RGB颜色空间、YUV颜色空间或者HSV颜色空间。

S330、判断目标回归框对应的图像中各像素的颜色空间信息是否与背景颜色特征匹配。如果不匹配，跳转到S340，如果匹配，跳转到S341。

本实施例中，背景颜色特征是背景颜色映射到预设颜色空间中，得到的背景颜色空间信息。如果预设空间中像素的颜色空间信息与背景颜色空间信息的差值在预设范围之内，认为该像素的颜色空间信息与背景颜色特征匹配；如果差值在预设范围之外，认为该像素的颜色空间信息与背景颜色特征不匹配。

S340、确定与背景颜色特征不匹配的像素属于前景图像。继续执行S350。

S341、确定与背景颜色特征匹配的像素属于背景图像。继续执行S350。

可选地，对于不存在孔洞的目标对象的图像确定场景：在S340和S341之后，在与目标对象的形态特征进行比对之前，先对前景图像进行孔洞填充，以提高与目标对象的形态特征相匹配的概率，节省目标对象的图像确定时间。

首先，检测前景图像中是否有孔洞，如果检测到孔洞，采用形态学膨胀重建方法对检测到的孔洞进行填充操作。值得说明的是，采用形态学膨胀重建方法对孔洞进行填充操作时，并不能保证所有孔洞均被填充，例如边界像素过于狭窄或者重建结构元选取过大时，仍会导致填充失败。再者，前景图像可能还存在冗余和残缺的情况，则继续执行S350以及后续步骤，以进一步完善前景图像。

可选地，对于存在孔洞的目标对象的图像确定场景：在S340和S341之后，继续执行S350。

S350、判断前景图像的形态特征与目标对象的形态特征是否匹配，如果匹配，跳转到S360，如果不匹配，跳转到S370。

本实施例中，目标对象的形态特征包括目标对象的基准尺寸信息范围、孔洞的存在性和孔洞的基准尺寸信息范围中的至少一种，相应地，前景图像的形态特征对应包括目标对象的尺寸信息、孔洞的存在性和孔洞的尺寸信息中的至少一种。基于此，前景图像的形态特征与目标对象相对应的形态特征匹配，则将前景图像作为目标对象的图像；如果前景图像的形态特征与目标对象相对应的形态特征不匹配，则继续执行S370以及后续步骤。

具体地，假设目标对象的形态特征包括目标对象的基准尺寸信息范围，目标对象的基准尺寸信息范围包括目标对象的基准高度范围、基准宽度范围、基准对角线长度范围等。检测前景图像的尺寸信息，对应地，前景图像的尺寸信息包括前景图像的高度、宽度、对角线长度。如果前景图像的尺寸信息在目标对象的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配；如果前景图像的尺寸信息在目标对象的基准尺寸信息范围外，判定前景图像的形态特征与目标对象的形态特征不匹配。

假设目标对象的形态特征包括目标对象中孔洞的存在性，主要包括孔洞存在和孔洞不存在。检测前景图像中是否存在孔洞；如果前景图像中孔洞的检测结果与目标对象中孔洞的存在性一致，即均存在孔洞或者均不存在孔洞，判定前景图像的形态特征与目标对象的形态特征匹配。如果前景图像中孔洞的检测结果与目标对象中孔洞的存在性不一致，即仅其中一个图像中存在孔洞，判定前景图像的形态特征与目标对象的形态特征不匹配。

假设目标对象的形态特征包括孔洞的基准尺寸信息范围，孔洞的基准尺寸信息范围包括孔洞的基准直径范围、基准半径范围等。检测前景图像中孔洞的尺寸信息，对应地，前景图像中孔洞的尺寸信息包括孔洞的直径、半径。如果前景图像中孔洞的尺寸信息在目标对象中孔洞的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。如果前景图像中孔洞的尺寸信息在目标对象中孔洞的基准尺寸信息范围外，判定前景图像的形态特征与目标对象的形态特征不匹配。

S360、将前景图像作为目标对象的图像。结束本次操作。

S370、对目标回归框对应的图像进行语义分割，得到前景分割结果。继续执行S380。

S380、根据前景图像和前景分割结果，得到目标对象的图像。

本实施例中，从前景图像的尺寸信息、是否存在孔洞、孔洞的尺寸信息三个方面，判断前景图像是否与目标对象的形态特征相匹配，全面、严格地对前景图像进行判断，从而提高目标对象的图像确定准确性。

实施例四

本实施例在上述各可选实施方式的基础上，进行进一步优化，具体在得到目标对象的图像之后，比如将前景图像作为目标对象的图像之后，或者根据前景图像和前景分割结果得到目标对象的图像之后，还包括目标对象的信息确定过程。

具体地，目标对象的信息确定过程包括以下几步：

第一步：从目标对象的图像中，提取目标对象的颜色特征。

本实施例所要确定的信息与目标对象的颜色特征相关，并能够根据目标对象的颜色特征唯一确定。以旗帜为例，一个国家或地区的旗帜具有固定的颜色特征，即旗帜所属的国家或地区信息与旗帜的颜色特征相关。换言之，具有同一颜色特征或者类似颜色特征的目标对象对应同一信息。以足球比赛中的球员为例，属于同一球队信息的球员，穿着的球衣颜色相同。

基于上述分析，首先要从目标对象的图像中，提取目标对象的颜色特征。具体地，在目标对象的图像中，确定目标对象对应的像素，并读取目标对象对应的像素颜色。其中，目标对象对应的像素指目标对象的图像中的像素，具体而言，指目标对象覆盖的图像区域内的像素。可选地，目标对象的颜色特征包括目标对象整体的颜色信息或者目标对象的不同区域的颜色信息。

第二步：在多个预设颜色特征中，确定与目标对象的颜色特征满足相似度要求的目标颜色特征。

第三步：根据预设颜色特征与预设信息的对应关系，确定与目标颜色特征对应的预设信息为目标对象的信息。

本实施例中，预先存储有多个预设颜色特征。可选地，在从至少一张显示有目标对象的图像中获得至少一张目标对象的图像的情况下，对于每个目标对象，分别计算对应目标对象与每个预设颜色特征的相似度。然后，确定计算出的相似度满足相似度要求的目标相似度，将目标相似度对应的预设颜色特征作为对应目标对象的目标颜色特征。

其中，可以计算对应目标对象的颜色特征与每个预设颜色特征之差，或者距离的倒数，作为二者的相似度，差值或者距离越小，二者的相似度越高。相似度要求包括相似度最高或者相似度大于等于相似度阈值。基于此，在对应目标对象与每个预设颜色特征的各相似度中，选取最高的相似度或者大于等于相似度阈值的任一个相似度，作为目标相似度。其中，相似度阈值可以根据经验得到，相似度阈值设置的越高，各目标对象的目标颜色特征越准确。

本实施例中，预设颜色特征与预设信息具有对应关系，优选地，该对应关系为一一对应关系。在确定目标颜色特征之后，根据预设颜色特征与预设信息的对应关系，确定与目标颜色特征对应的预设信息，作为对应目标对象的信息。

下面以在足球比赛的图像中确定球员所属的球队为例，说明本实施例提供的方法。

首先，获取至少一张显示有球员的图像，并从至少一张图像中，获取至少一张球员的图像，从球员的图像中提取球员的颜色特征。例如，提取出一个球员的上身球衣的颜色特征为蓝色，下身球衣的颜色特征为白色。预设颜色特征有3个，3个预设颜色特征以及对应的球队分别为：上身球衣红色和下身球衣白色对应A国球队，上身球衣蓝色下身球衣白色对应B国球队，整体白色对应C国球队。接着，分别计算该球员的颜色特征与3个预设颜色特征的相似度，得到上身球衣蓝色、下身球衣白色为目标颜色特征，进而得到该球员的信息为B国球队。

本实施例的技术方案，通过从目标对象的图像中，提取目标对象的颜色特征，在多个预设颜色特征中，确定与目标对象的颜色特征满足相似度要求的目标颜色特征；根据预设颜色特征与预设信息的对应关系，确定与目标颜色特征对应的预设信息为目标对象的信息，从而根据目标对象的颜色特征，经过相似度计算，得到目标对象的信息，丰富了从图像中获取目标对象的信息的方法。

在一些实施例中，在上述实施方式的基础上，在多个预设颜色特征中，确定与目标对象的颜色特征满足相似度要求的目标颜色特征，包括：对多个目标对象的颜色特征进行聚类，得到各目标对象的各所属类别和各所属类别的中心特征；分别计算各所属类别的中心特征与各预设颜色特征的相似度；将与各所属类别的相似度大于相似度阈值或者相似度最高的预设颜色特征，分别作为各目标对象的目标颜色特征。

可选地，聚类算法包括但不限于K-Means聚类算法、均值漂移聚类算法、基于密度的聚类方法(DBSCAN)、用高斯混合模型(GMM)的最大期望(EM)聚类等。其中，聚类方法属于现有技术，此处不再赘述。经过聚类，得到各目标对象的各所属类别和各所属类别的中心特征。其中，中心特征指各所属类别中心点对应的颜色特征。

然后，通过对多个目标对象进行聚类，将目标对象分为至少一个类别。以足球比赛的图像为例，可将多个目标对象分为一个类别、两个类别、三个类别、四个类别或者五个类别。如果分为一个类别，则多个目标对象可能对应某一支球队，如果分为两个类别，则多个目标对象可能分别对应对抗的两支球队，如果分为三个类别，则多个目标对象可能分别对应对抗的两支球队和裁判，如果分为四个类别，则多个目标对象可能分别对应对抗的两支球队、裁判和一支球队的守门员，如果分为五个类别，则多个目标对象可能分别对应对抗的两支球队、裁判和两支球队的守门员。

然后，可选地，计算各所属类别的中心特征与各预设颜色特征的距离的倒数，得到相似度。其中，中心特征与各预设颜色特征之间的距离即中心特征点与各预设颜色特征之间的距离，该距离可以通过闵可夫斯基距离来计算。

其中，相似度阈值可以根据经验得到，相似度阈值设置的越高，各目标对象的目标颜色特征越准确。

本实施例中，通过对颜色特征进行聚类，得到各目标对象的各所属类别和各所属类别的中心特征；分别计算各所属类别的中心特征与各预设颜色特征的相似度；将与各所属类别的相似度大于相似度阈值或者相似度最高的预设颜色特征，分别作为各目标对象的目标颜色特征，从而通过颜色聚类和相似度计算，得到目标颜色特征，提高了得到目标颜色特征的准确性，进一步提高了目标对象的信息确定的准确性。

在一些实施例中，目标对象的颜色特征包括目标对象整体的颜色信息，则从目标对象的图像中，提取各个像素的颜色特征，例如，各个像素的颜色空间信息，作为目标对象的颜色特征。其中，各个像素的颜色空间信息为对应颜色空间的值，如黑色像素的RGB值为0,0,0。

在另一些实施例中，目标对象的颜色特征包括目标对象的不同区域的颜色信息，则从目标对象的图像中，提取目标对象的颜色特征，包括：根据目标对象的种类，确定目标对象的颜色分布；根据目标对象的颜色分布，对目标对象的图像进行划分，得到至少两个子图像；在至少两个子图像的每个子图像中，提取目标对象的颜色特征。

例如，目标对象的种类是球员，根据目前球服的设计方案，球员图像的颜色分布为上身为一种颜色、下身为一种颜色。进而将球员的图像划分为上身子图像和下身子图像。然后，分别在上身子图像和下身子图像中确定目标对象的颜色特征。又例如，目标对象的种类是交通指示灯，则交通指示灯的颜色分布为左中右三种颜色或者上中下三种颜色。进而将交通指示灯的图像划分为左部分图像、中部分图像和右部分图像，或者，上部分图像、中部分图像和下部分图像。然后，分别在各部分图像中提取目标对象的颜色特征。

进一步地，在至少两个子图像的每个子图像中，提取目标对象的颜色特征，包括以下三种可选实施方式：

第一种可选实施方式：在至少两个子图像的每个子图像中，提取各像素的颜色空间信息；对每个子图像中各像素的颜色空间信息进行汇总，得到目标对象的颜色特征。

其中，颜色空间信息包括RGB颜色空间信息、YUV颜色空间信息或者HSV颜色空间信息。对每个子图像中各像素的颜色空间信息进行汇总的方式包括但不限于求和、平均、计算中位数、方差、协方差等。例如，球员的图像划分为上身子图像和下身子图像。获取上身子图像中各像素的RGB颜色空间信息以及下身子图像中各像素的RGB颜色空间信息。然后，对于上身子图像，对各像素的RGB颜色空间信息分别求平均；对于下身子图像，对各像素的RGB颜色空间信息分别求平均。进一步，将两个子图像中求得的RGB均值进行归一化处理，得到6个归一化处理后的颜色空间均值，即最终得到该球员的1×6(1行6列)的特征矩阵。

第二种可选实施方式：在至少两个子图像的每个子图像中，提取各像素的颜色空间信息；计算各像素的颜色空间信息在对应子图像中的比例关系，作为目标对象的颜色特征。

本实施方式中的颜色空间信息与第一种可选实施方式中的颜色空间信息相同，此处不再赘述。各像素的颜色空间信息在对应子图像中的比例关系可以用各个颜色空间信息对应的像素数量来表示。具体地，在计算颜色空间信息在各对应子图像中的比例关系时，可采用颜色直方图来计算。例如，将0-255均为划分为N段，则RGB三个颜色空间共有N×N×N种搭配。对于上身子图像，统计各像素的RGB颜色空间信息落在各空间搭配中的像素数量，得到N×N×N特征矩阵。同理，对于下身子图像，统计各像素的RGB颜色空间信息落在各空间搭配中的像素数量，得到N×N×N特征矩阵。然后，将上述两个N×N×N特征矩阵合并，得到该球员的1×(2×N×N×N)(1行2×N×N×N列)的特征矩阵。

第三种可选实施方式：在至少两个子图像的每个子图像中，分别提取各像素的颜色空间信息；对每个子图像中各像素的颜色空间信息进行汇总，得到汇总结果；计算各像素的颜色空间信息在对应子图像中的比例关系；对汇总结果与比例关系进行合并，得到目标对象的颜色特征。

本实施方式对第一种可选实施方式得到的汇总结果(例如1×6的特征矩阵)特征矩阵和第二种可选实施方式的比例关系(例如1×(2×N×N×N)的特征矩阵)进行合并，得到目标对象的颜色特征。其中，合并方式包括水平合并和竖直合并。例如，对两个特征矩阵进行竖直合并，得到该球员的1×(6+2×N×N×N)(1行6+2×N×N×N列)特征矩阵。假设至少一张图像中，共有M个目标对象，则从至少一张图像中得到M×(6+2×N×N×N)(M行6+2×N×N×N列)的特征矩阵。

本实施例中，通过在目标对象的图像中，提取目标对象的颜色特征，从而屏蔽除目标对象之外的其它对象，提高特征提取的准确性。而且，本实施例提供了颜色空间信息汇总结果和/或比例关系，这三种方法提取目标对象的颜色特征，使得颜色特征提取更全面，进一步提高特征提取的准确性，进而提高信息确定的准确性。

实施例五

图4是本公开实施例五提供的一种目标对象的图像确定装置的结构示意图，包括：检测模块41、划分模块42和第一处理模块43。

检测模块41，用于在显示有目标对象的图像中，检测目标对象所在的目标回归框；

划分模块42，用于根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像中划分出前景图像；

第一处理模块43，用于判定前景图像的形态特征与目标对象的形态特征匹配，则将前景图像作为目标对象的图像。

本实施例的技术方案，通过在显示有目标对象的图像中，检测目标对象所在的目标回归框，从而在目标回归框对应的图像中，确定目标对象的图像，屏蔽掉目标回归框之外的干扰，提高目标对象的图像确定的准确性；通过根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像划分出前景图像，实现了通过背景颜色特征，确定前景图像；然后，通过前景图像的形态特征与目标对象的形态特征匹配，则将前景图像作为目标对象的图像，从而通过形态特征的匹配情况进一步对前景图像进行判定，进一步提高了目标对象的图像确定的准确性，而且通过背景颜色特征，确定前景图像的方案运算量少，耗时短，提高目标对象的图像确定的效率。

可选地，该装置还包括：语义分割模块和第二处理模块。语义分割模块用于判定前景图像与目标对象的形态特征不匹配，则对目标回归框对应的图像进行语义分割，得到前景分割结果；第二处理模块，用于根据前景图像和前景分割结果，得到目标对象的图像。

可选地，第二处理模块在根据前景图像和前景分割结果，得到目标对象的图像时，具体用于对前景图像和前景分割结果取交集或者取并集，得到目标对象的图像。

进一步地，第二处理模块在对前景图像和前景分割结果取交集，得到目标对象的图像时，具体用于从目标回归框对应的图像中获取一像素，作为第一像素；如果第一像素不属于前景图像，且不属于前景分割结果，则确定第一像素不属于目标对象的图像；如果第一像素属于前景分割结果，或者属于前景图像，则确定第一像素属于目标对象的图像；返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

进一步地，第二处理模块在对前景图像和前景分割结果取交集，得到目标对象的图像时，具体用于从目标回归框对应的图像中获取一像素，作为第一像素；如果第一像素属于前景图像且属于前景分割结果，则确定第一像素属于目标对象的图像；如果第一像素不属于前景分割结果，或者不属于前景图像，则确定第一像素不属于目标对象的图像；返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

可选地，划分模块42在根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像中划分出前景图像时，具体用于将目标回归框对应的图像中各像素映射到预设颜色空间中，得到目标回归框对应的图像中各像素的颜色空间信息；判断目标回归框对应的图像中各像素的颜色空间信息是否与背景颜色特征匹配；确定与背景颜色特征不匹配的像素属于前景图像。

可选地，第一处理模块43在判定前景图像的形态特征与目标对象的形态特征匹配时，具体用于检测前景图像的尺寸信息；如果前景图像的尺寸信息在目标对象的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。

可选地，第一处理模块43在判定前景图像的形态特征与目标对象的形态特征匹配时，具体用于检测前景图像中是否存在孔洞；如果前景图像中孔洞的检测结果与目标对象中孔洞的存在性一致，判定前景图像的形态特征与目标对象的形态特征匹配。

可选地，第一处理模块43在判定前景图像的形态特征与目标对象的形态特征匹配时，具体用于检测前景图像中孔洞的尺寸信息；如果前景图像中孔洞的尺寸信息在目标对象中孔洞的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。

本公开实施例所提供的目标对象的图像确定装置可执行本公开任意实施例所提供的目标对象的图像确定方法，具备执行方法相应的功能模块和有益效果。

实施例六

图5是本公开实施例六提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器50、存储器51；电子设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；电子设备中的处理器50、存储器51可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的目标对象的图像确定方法对应的程序指令/模块(例如，目标对象的图像确定装置中的检测模块41、划分模块42和第一处理模块43)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的目标对象的图像确定方法。

存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例七

本公开实施例七还提供一种其上存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种目标对象的图像确定方法，该方法包括：

在显示有目标对象的图像中，检测目标对象所在的目标回归框；

根据目标回归框对应的图像的背景颜色特征，从目标回归框对应的图像中划分出前景图像；

判定前景图像的形态特征与目标对象的形态特征匹配，则将前景图像作为目标对象的图像。

当然，本公开实施例所提供的一种其上存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作,还可以执行本公开任意实施例所提供的目标对象的图像确定方法中的相关操作.

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本公开可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例的方法。

值得注意的是，上述目标对象的图像确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开的保护范围。

注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。

Claims (20)

1.一种目标对象的图像确定方法，其特征在于，包括：

在显示有目标对象的图像中，检测所述目标对象所在的目标回归框；

根据所述目标回归框对应的图像的背景颜色特征，从所述目标回归框对应的图像中划分出前景图像；

判定所述前景图像的形态特征与所述目标对象的形态特征匹配，则将所述前景图像作为所述目标对象的图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判定所述前景图像与所述目标对象的形态特征不匹配，则对所述目标回归框对应的图像进行语义分割，得到前景分割结果；

根据所述前景图像和前景分割结果，得到所述目标对象的图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述前景图像和前景分割结果，得到所述目标对象的图像，包括：

对所述前景图像和所述前景分割结果取交集或者取并集，得到所述目标对象的图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述前景图像和所述前景分割结果取交集，得到所述目标对象的图像，包括：

从所述目标回归框对应的图像中获取一像素，作为第一像素；

如果所述第一像素不属于前景图像，且不属于前景分割结果，则确定所述第一像素不属于目标对象的图像；

如果所述第一像素属于前景分割结果，或者属于前景图像，则确定所述第一像素属于目标对象的图像；

返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

5.根据权利要求3所述的方法，其特征在于，所述对所述前景图像和所述前景分割结果取并集，得到所述目标对象的图像，包括：

从所述目标回归框对应的图像中获取一像素，作为第一像素；

如果所述第一像素属于前景图像且属于前景分割结果，则确定所述第一像素属于目标对象的图像；

如果所述第一像素不属于前景分割结果，或者不属于前景图像，则确定所述第一像素不属于目标对象的图像；

返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标回归框对应的图像的背景颜色特征，从所述目标回归框对应的图像中划分出前景图像，包括：

将所述目标回归框对应的图像中各像素映射到预设颜色空间中，得到所述目标回归框对应的图像中各像素的颜色空间信息；

判断所述目标回归框对应的图像中各像素的颜色空间信息是否与所述背景颜色特征匹配；

确定与所述背景颜色特征不匹配的像素属于前景图像。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述判定前景图像的形态特征与所述目标对象的形态特征匹配，包括：

检测所述前景图像的尺寸信息；

如果所述前景图像的尺寸信息在目标对象的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。

8.根据权利要求1-6任一项所述的方法，其特征在于，所述判定前景图像的形态特征与所述目标对象的形态特征匹配，包括：

检测所述前景图像中是否存在孔洞；

如果前景图像中孔洞的检测结果与目标对象中孔洞的存在性一致，判定前景图像的形态特征与目标对象的形态特征匹配。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述判定前景图像的形态特征与所述目标对象的形态特征匹配，包括：

检测所述前景图像中孔洞的尺寸信息；

如果所述前景图像中孔洞的尺寸信息在目标对象中孔洞的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。

10.一种目标对象的图像确定装置，其特征在于，包括：

检测模块，用于在显示有目标对象的图像中，检测所述目标对象所在的目标回归框；

划分模块，用于根据所述目标回归框对应的图像的背景颜色特征，从所述目标回归框对应的图像中划分出前景图像；

第一处理模块，用于判定所述前景图像的形态特征与所述目标对象的形态特征匹配，则将所述前景图像作为所述目标对象的图像。

11.根据权利要求10所述的装置，其特征在于，还包括：

语义分割模块，用于判定所述前景图像与所述目标对象的形态特征不匹配，则对所述目标回归框对应的图像进行语义分割，得到前景分割结果；

第二处理模块，用于根据所述前景图像和前景分割结果，得到所述目标对象的图像。

12.根据权利要求11所述的装置，其特征在于，

第二处理模块，具体用于对所述前景图像和所述前景分割结果取交集或者取并集，得到所述目标对象的图像。

13.根据权利要求12所述的装置，其特征在于，第二处理模块在对所述前景图像和所述前景分割结果取交集，得到所述目标对象的图像时，具体用于：

从所述目标回归框对应的图像中获取一像素，作为第一像素；

如果所述第一像素不属于前景图像，且不属于前景分割结果，则确定所述第一像素不属于目标对象的图像；

如果所述第一像素属于前景分割结果，或者属于前景图像，则确定所述第一像素属于目标对象的图像；

返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

14.根据权利要求12所述的装置，其特征在于，第二处理模块在对所述前景图像和所述前景分割结果取并集，得到所述目标对象的图像时，具体用于：

从所述目标回归框对应的图像中获取一像素，作为第一像素；

如果所述第一像素属于前景图像且属于前景分割结果，则确定所述第一像素属于目标对象的图像；

如果所述第一像素不属于前景分割结果，或者不属于前景图像，则确定所述第一像素不属于目标对象的图像；

返回执行第一像素的获取操作，直到目标回归框对应的图像中的全部像素处理完成。

15.根据权利要求10所述的装置，其特征在于，划分模块，具体用于：

将所述目标回归框对应的图像中各像素映射到预设颜色空间中，得到所述目标回归框对应的图像中各像素的颜色空间信息；

判断所述目标回归框对应的图像中各像素的颜色空间信息是否与所述背景颜色特征匹配；

确定与所述背景颜色特征不匹配的像素属于前景图像。

16.根据权利要求10-15任一项所述的装置，其特征在于，第一处理模块在判定前景图像的形态特征与目标对象的形态特征匹配时，具体用于：

检测所述前景图像的尺寸信息；

如果所述前景图像的尺寸信息在目标对象的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。

17.根据权利要求10-15任一项所述的装置，其特征在于，第一处理模块在判定前景图像的形态特征与目标对象的形态特征匹配时，具体用于：

检测所述前景图像中是否存在孔洞；

如果前景图像中孔洞的检测结果与目标对象中孔洞的存在性一致，判定前景图像的形态特征与目标对象的形态特征匹配。

18.根据权利要求10-15任一项所述的装置，其特征在于，第一处理模块在判定前景图像的形态特征与目标对象的形态特征匹配时，具体用于：

检测所述前景图像中孔洞的尺寸信息；

如果所述前景图像中孔洞的尺寸信息在目标对象中孔洞的基准尺寸信息范围内，判定前景图像的形态特征与目标对象的形态特征匹配。

19.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的目标对象的图像确定方法。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的目标对象的图像确定方法。