CN112053381A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了图像处理方法、装置、电子设备及存储介质，该方法包括：获取视频帧图像中目标对象的原始包围框信息和关键点信息；根据该关键点信息，计算目标对象的中心点的位置和旋转角；根据目标对象的中心点的位置和旋转角、该原始包围框信息，确定目标对象的旋转包围框信息。实现了提供较为准确的表示物体的目标对象的中心点的位置和旋转角。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉领域，具体涉及图像处理方法、装置、电子设备及存储介质。

背景技术

物体跟踪是安防系统中的关键环节。物体跟踪依赖于根据从不同的视频帧图像获取的与同一物体相关的一系列包围框信息组成的包围框信息序列。物体轨迹分析、物体行为分析等多个监控任务中也均需要包围框信息序列。

目前，在获取包围框信息序列时，通常是直接利用目标检测网络输出的包围框信息之间的匹配度，确定与同一物体相关的由目标检测网络输出的一系列包围框信息，由确定的与同一物体相关的由目标检测网络输出的一系列包围框信息组成包围框信息序列。

一方面，目标检测网络输出的包围框信息是假设物体在无旋转情况下物体的轮廓的特征，在物体具有旋转角的情况下，仅根据与物体的旋转情况无关的目标检测网络输出的包围框信息的匹配度查找由与同一物体相关的一系列包围框信息组成的包围框信息序列，导致查找出的包围框信息序列的准确性较低。另一方面，在物体具有旋转角的情况下，通过目标检测网络输出的包围框信息中的中心点的位置是在假定物体在无旋转的情况下视频帧图像中的表示物体的目标对象的中心点的位置，在物体旋转的情况下，由目标检测网络输出的包围框信息中的中心点的位置，并不是视频帧图像中的表示物体的目标对象的中心点的实际位置，导数无法为物体轨迹分析、物体行为分析等监控任务提供较为准确的表示物体的目标对象的中心点的位置。

发明内容

为克服相关技术中存在的问题，本申请提供一种图像处理方法、装置、电子设备及存储介质。

根据本申请实施例的第一方面，提供一种图像处理方法，包括：

获取视频帧图像中目标对象的原始包围框信息和关键点信息；

根据所述关键点信息，计算所述目标对象的中心点的位置和旋转角；

根据所述目标对象的中心点的位置和旋转角、所述原始包围框信息，确定所述目标对象的旋转包围框信息。

根据本申请实施例的第二方面，提供一种图像处理装置，包括：

获取单元，被配置为获取视频帧图像中目标对象的原始包围框信息和关键点信息；

计算单元，被配置为根据所述关键点信息，计算所述目标对象的中心点的位置和旋转角；

确定单元，被配置为根据所述目标对象的中心点的位置和旋转角、所述原始包围框信息，确定所述目标对象的旋转包围框信息。

本申请实施例提供的图像处理方法、装置，实现了基于视频帧图像中的表示物体的目标对象的关键点信息，计算视频帧图像中的表示物体的目标对象的中心点的位置和旋转角。从而，可以为物体轨迹分析、物体行为分析等监控任务提供较为准确的表示物体的目标对象的中心点的位置。还可以为物体轨迹分析、物体行为分析等监控任务提供较为准确的旋转角。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的图像处理方法的流程图；

图2示出了本申请实施例提供的图像处理装置的结构框图；

图3示出了本申请实施例提供的电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的图像处理方法的流程图，该方法包括：

步骤101，获取视频帧图像中目标对象的原始包围框信息和关键点信息。

上述视频帧图像并不特指某一个视频帧图像，目标对象也并不特指出现在视频帧的某一个目标对象，对于任意一个视频帧图像中的任意一个目标对象，均可以通过执行步骤101-103获取相应的旋转包围框信息。

因此，步骤101-103为示例性地在获取一个视频帧图像中的每一个目标对象的旋转包围框信息的过程中执行的步骤。例如，在跟踪物体的任务中，需要一个视频帧图像序列中的每一个视频帧图像中的目标对象的旋转包围框信息。则可以通过针对视频帧图像序列中的每一个视频帧图像，分别执行步骤101-103，获取一个视频帧图像序列中的每一个视频帧图像中的目标对象的旋转包围框信息，然后，提供给跟踪物体的任务。

目标对象为物体在视频帧图像的表示。对于一个视频帧图像，可以利用用于目标检测的卷积神经网络检测该视频帧图像中的每一个目标对象。

多个视频帧图像中可以包括属于同一个物体的目标对象。例如，对于一个行人，该行人出现在多个视频帧图像中，相应的，多个视频帧图像均包括表示该行人的目标对象。对于一个车辆，该车辆出现在多个视频帧图像中，相应的，多个视频帧图像均包括表示该车辆的目标对象。

一个视频帧图像中的每一个目标对象各自具有一个原始包围框信息。

对于一个视频帧图像中的每一个目标对象，用于目标检测的卷积神经网络生成包围该目标对象的包围框。包围该目标对象的包围框的形状为矩形。

对于一个视频帧图像中的每一个目标对象，该目标对象的原始包围框信息包括：包围该目标对象的包围框的每一个边的边长、包围该目标对象的包围框的每一个角点的位置等。

对于一个视频帧图像中的每一个目标对象，可以利用用于提取关键点信息的卷积神经网络从包围框占据的区域中提取该目标对象的关键点信息。

对于一个视频帧图像中的每一个目标对象，该目标对象的关键点信息包括该目标对象的每一个关键点的位置。

例如，对于表示一个行人的目标对象，该目标对象的关键点信息包括：该目标对象的每一个骨架关键点的位置。对于表示车辆的目标对象，该目标对象的关键点信息包括：该目标对象的每一个关键点的位置。

在本申请中，目标对象的旋转角可以为目标对象绕在以目标对象的中心点为坐标系原点的坐标系中的Z轴旋转形成的角度。在以目标对象的中心点为坐标系原点的坐标系中，水平方向即图像的宽度方向的坐标轴为X轴，垂直方向即图像的高度方向的坐标轴为Y轴，垂直于X轴、Y轴的坐标轴、在前后方向的坐标轴为Z轴。

在本申请中，对于一个视频帧图像，可以利用Mask RCNN网络获取该视频帧图像中的每一个目标对象的原始包围框信息和关键点信息。

对于一个视频帧图像，将视频帧图像输入到Mask RCNN中，得到Mask RCNN输出的该视频帧图像中每一个目标对象的分割掩码信息和关键点信息。Mask RCNN输出的目标对象的分割掩码信息作为目标对象的原始包围框信息。

步骤102，根据目标对象的关键点信息，计算目标对象的中心点的位置和旋转角。

以下举例说明计算一个目标对象的中心点的位置和旋转角的过程，计算任意一个视频帧图像中的任意一个目标对象的旋转角的过程可以参考该过程：

该目标对象的原始包围框信息包括：包围该目标对象的包围框的每一个边的边长、包围该目标对象的包围框的每一个角点的位置等。根据该目标对象的原始包围框信息，可以确定该目标对象在每一个方向上的边界。该目标对象的关键点信息包括：该目标对象的每一个关键点的位置。

目标对象的边缘关键点为位于目标对象的边缘即目标对象的轮廓上的关键点。目标对象的边缘关键点的位置应该邻近目标对象在相应的方向的边界，因此，可以根据该目标对象的原始包围框信息和该目标对象的关键点信息，确定该目标对象的所有关键点中的每一个边缘关键点的位置，从而，确定该目标对象的所有关键点中的每一个边缘关键点，即确定该目标对象的所有边缘关键点。

在确定该目标对象的所有边缘关键点之后，可以对该目标对象的边缘关键点进行拟合，得到拟合形状，将拟合形状的中心点作为该目标对象的中心点，将拟合形状的中心点的位置作为该目标对象的中心点的位置。

可以将Mask RCNN输出的该目标对象的类型对应的预设轮廓形状作为拟合目标形状，对该目标对象的所有边缘关键点进行拟合，使得拟合形状尽可能接近拟合目标形状。在拟合过程中，调整该目标对象的至少部分边缘关键点的位置，最后，将每两个相邻的边缘关键点利用线段相连，得到拟合形状。在得到拟合形状之后，可以将拟合形状作为该目标对象的当前的轮廓。由于预先知晓在无旋转情况下，目标对象的轮廓上的各个线段在坐标系中的位置，可以根据在无旋转情况下目标对象的轮廓上的各个线段在坐标系中的位置和该目标对象的当前的轮廓上的各个线段在坐标系中的位置之间的位置关系，确定该目标对象的旋转角。

在一些实施例中，基于目标对象的关键点信息，计算该目标对象的中心点的位置和旋转角包括：基于该目标对象的关键点信息，确定该目标对象的所有边缘关键点，以及对该目标对象的所有边缘关键点进行拟合，得到该目标对象的第一拟合结果；将该目标对象的第一拟合结果的中心点的位置作为该目标对象的中心点的位置，以及基于该目标对象的第一拟合结果，计算该目标对象的第一估计旋转角；基于该目标对象的关键点信息，确定该目标对象的所有关键点，以及对该目标对象的所有关键点进行拟合，得到该目标对象的第二拟合结果；基于该目标对象的第二拟合结果，计算该目标对象的第二估计旋转角；基于该目标对象的第一估计旋转角和第二估计旋转角，计算该目标对象的旋转角。

以下举例说明基于一个目标对象的第一估计旋转角和第二估计旋转角，计算该目标对象的旋转角的旋转角的过程，计算任意一个视频帧图像中的任意一个目标对象的旋转角的过程可以参考该过程：

可以对该目标对象的边缘关键点进行拟合，得到拟合形状，将得到的拟合形状作为第一拟合结果，将拟合形状的中心点即第一拟合形状的中心点作为目标对象的中心点。

在对该目标对象的边缘关键点进行拟合，得到拟合形状时，可以将Mask RCNN输出的该目标对象的类型对应的预设轮廓形状作为拟合目标形状，对该目标对象的所有边缘关键点进行拟合，以使得得到的拟合形状尽可能接近拟合目标形状。在拟合过程中，调整该目标对象的至少部分边缘关键点的位置，最后，将每两个相邻的边缘关键点利用线段相连，得到拟合形状。在得到拟合形状之后，可以将拟合形状作为该目标对象的当前的轮廓。由于预先知晓在无旋转情况下，目标对象的轮廓上的各个线段在坐标系中的位置，可以根据在无旋转情况下目标对象的轮廓上的各个线段在坐标系中的位置和该目标对象的当前的轮廓上的各个线段在坐标系中的位置之间的位置关系，确定该目标对象的旋转角。

可以根据该目标对象的关键点信息中的该目标对象的每一个关键点的位置，确定该目标对象的每一个关键点。可以对目标对象所有关键点进行直线拟合，得到拟合的直线，将拟合的直线作为第二拟合结果。可以将拟合的直线与在以目标对象的中心点为坐标系原点的坐标系中的垂直方向的坐标轴即Y轴的夹角作为第二估计旋转角。在以目标对象的中心点为坐标系原点的坐标系中，水平方向即图像的宽度方向的坐标轴为X轴，垂直方向即图像的高度方向的坐标轴为Y轴，垂直于X轴、Y轴的坐标轴、在前后方向的坐标轴为Z轴。

在得到目标对象的第一估计旋转角和第二估计旋转角之后，可以基于该目标对象的第一估计旋转角和第二估计旋转角，计算目标对象的旋转角。

可以将该目标对象的第一估计旋转角和第二估计旋转角的平均值作为该目标对象的旋转角。

在一些实施例中，对于一个视频帧图像中的每一个目标对象，对该目标对象的所有边缘关键点进行拟合，得到该目标对象的第一拟合结果包括：对该目标对象的所有边缘关键点进行椭圆拟合，得到作为该目标对象的第一拟合结果的拟合椭圆形状。

在本申请中，对于一个视频帧图像中的每一个目标对象，当对该目标对象的所有边缘关键点进行拟合时，可以对目标对象的边缘关键点进行椭圆拟合，得到拟合椭圆，将拟合椭圆形状作为第一拟合结果。

可以将得到的拟合椭圆形状的中心点作为该目标对象中心点。将得到的拟合椭圆形状的中心点的位置作为该目标对象中心点的位置。

在得到拟合椭圆形状之后，可以将拟合椭圆形状作为该目标对象当前的轮廓。由于预先知晓在无旋转情况下，椭圆形状上的各个线段在坐标系中的位置，可以根据在无旋转情况下椭圆形状的各个线段在坐标系中的位置和该目标对象的当前的轮廓上的各个线段在坐标系中的位置之间的位置关系，确定该目标对象的旋转角。

在一些实施例中，对于一个视频帧图像中的每一个目标对象，对该目标对象的所有关键点进行拟合，得到该目标对象的第二拟合结果包括：利用最小二乘算法对该目标对象的所有关键点进行直线拟合，得到作为该目标对象的第二拟合结果的拟合直线。

对该目标对象的所有边缘关键点进行拟合，利用最小二乘算法对目标对象的所有关键点进行直线拟合，即利用基于的最小二乘算法的直线拟合算法对目标对象的所有关键点进行拟合，得到拟合的直线，可以将拟合的直线作为第二拟合结果。可以将拟合的直线与在以目标对象的中心点为坐标系原点的坐标系中的垂直方向的坐标轴即Y轴的夹角作为第二估计旋转角。

在一些实施例中，对于一个视频帧图像中的每一个目标对象，基于该目标对象的第一估计旋转角和第二估计旋转角，计算该目标对象的旋转角包括：利用卡尔曼滤波算法基于该目标对象的第一估计旋转角和第二估计旋转角，计算该目标对象的旋转角。

当利用卡尔曼滤波算法基于目标对象的第一估计旋转角和第二估计旋转角，计算目标对象的旋转角时，第一估计旋转角和第二估计旋转角作为观测值，卡尔曼滤波算法可以根据观测值与估计值之间的关联关系，对观测值进行融合，得到估计值即估计出的目标对象的旋转角。

步骤103，根据目标对象的中心点的位置和旋转角、原始包围框信息，确定目标对象的旋转包围框信息。

在本申请中，对于一个视频帧图像中的每一个目标对象，可以将该目标对象的中心点的位置和旋转角、目标对象的原始包围框信息组合为该目标对象的旋转包围框信息，以确定该目标对象的旋转包围框信息。

对于每一个目标对象，该目标对象的旋转包围框信息包括该目标对象的中心点的位置和旋转角、该目标对象的原始包围框信息。

在一些实施例中，还包括：基于旋转包围框信息之间的匹配度，从视频帧图像序列对应的多个旋转包围框信息中查找出至少一个旋转包围框信息序列，其中，视频帧图像序列对应的多个旋转包围框信息包括：视频帧图像序列中的每一个视频帧图像中的目标对象的旋转包围框信息，旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象属于同一个物体。

视频帧图像序列包括：多个视频帧图像。视频帧图像序列中的视频帧图像按照采集时刻由前至后的顺序在视频帧图像序列中排列。视频帧图像序列中的第1个视频帧图像的采集时刻最早，视频帧图像序列中的最后一个视频帧图像的采集时刻最晚。

通过基于旋转包围框信息之间的匹配度，从得到的所有旋转包围框信息中查找出至少一个旋转包围框信息序列，可以对至少一个物体进行跟踪。

每一次对物体进行跟踪时，针对的视频帧图像序列不同。每一次对物体进行跟踪时针对的视频帧图像序列中的第1个视频帧图像即采集时间最早的视频帧图像的采集时间晚于上一次对物体进行跟踪时针对的视频帧图像序列中的最后一个视频帧图像即采集时间最晚的视频帧图像的采集时间。

视频帧图像序列中的每两个相邻的视频帧图像的采集时刻之间的时间间隔可以为预设时间间隔。

在本申请中，视频帧图像序列对应的多个旋转包围框信息包括：从视频帧图像序列中的每一个视频帧图像获取的每一个旋转包围框信息。

例如，视频帧图像序列包括5个视频帧图像。第1个视频帧图像包括3个目标对象，每一个目标对象具有一个旋转包围框信息，则从第1个视频帧图像获取3个旋转包围框信息。第2个视频帧图像包括3个目标对象，则从第2个视频帧图像获取3个旋转包围框信息。第3个视频帧图像包括3个目标对象，则从第3个视频帧图像获取3个旋转包围框信息。第4个视频帧图像包括3个目标对象，则从第4个视频帧图像获取3个旋转包围框信息。第5个视频帧图像包括3个目标对象，则从第5个视频帧图像获取3个旋转包围框信息。

目标对象为物体在视频帧图像的表示。多个视频帧图像中可以包括属于同一个物体的目标对象。例如，对于一个行人，该行人出现在多个视频帧图像中，相应的，多个视频帧图像均包括表示该行人的目标对象。对于一个车辆，该车辆出现在多个视频帧图像中，相应的，多个视频帧图像均包括表示该车辆的目标对象。

在本申请中，对于查找出的每一个旋转包围框信息序列，该旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象属于同一个物体。

换言之，对于每一个旋转包围框信息序列，该旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象是属于同一个物体的目标对象。

相应的，对于查找出的每一个旋转包围框信息序列，该旋转包围框信息序列中的每一个旋转包围框信息属于同一个物体。

对于每一个旋转包围框信息序列，该旋转包围框信息序列中的每一个旋转包围框信息从不同的视频帧图像获取。

对于每一个旋转包围框信息序列，该旋转包围框信息序列用于对旋转包围框信息序列中的旋转包围框信息所属的物体进行跟踪。

例如，对于一个行人，该行人出现在视频帧图像序列中的每一个视频帧图像中，每一个视频帧图像中均包括表示该行人的目标对象。得到的所有旋转包围框信息包括：从每一个视频帧图像分别获取的表示该行人的目标对象的旋转包围框信息。查找出的一个旋转包围框信息序列中的每一个旋转包围框信息均为表示该行人的目标对象的旋转包围框信息，即查找出的一个旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象均属于该行人。相应的，查找出的一个旋转包围框信息序列中的每一个旋转包围框信息均属于该行人。该一个旋转包围框信息序列包括：每一个视频帧图像中的表示该行人的目标对象的旋转包围框信息。利用该旋转包围框信息序列对该行人进行跟踪，可以确定该行人的移动轨迹。

对于一个车辆，该车辆出现在视频帧图像序列中的每一个视频帧图像中，每一个视频帧图像中均包括表示该车辆的目标对象。得到的所有旋转包围框信息包括：从每一个视频帧图像分别获取的表示该车辆的目标对象的旋转包围框信息。查找出的另一个旋转包围框信息序列中的每一个旋转包围框信息均为表示该车辆的目标对象的旋转包围框信息，即查找出的另一个旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象均属于该车辆。相应的，查找出的另一个旋转包围框信息序列中的每一个旋转包围框信息均属于该车辆。该另一个旋转包围框信息序列包括：每一个视频帧图像中的表示该车辆的目标对象的旋转包围框信息。利用该另一个旋转包围框信息序列对该车辆进行跟踪，可以确定该车辆的移动轨迹。

在本申请中，将视频帧图像序列中的除了第一个视频帧图像之外的视频帧图像称之为目标视频帧图像。

在基于旋转包围框信息之间的匹配度，从得到的所有旋转包围框信息中查找出至少一个旋转包围框信息序列时，可以进行多次匹配过程。

在每一次匹配过程中，可以将从一个目标视频帧图像获取的每一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息进行匹配。

在每一次匹配过程中，对于从一个目标视频帧图像获取的每一个旋转包围框信息，分别计算该旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息的匹配度。

对于从一个目标视频帧图像获取的一个旋转包围框信息，若从该目标视频帧图像的前一个视频帧图像获取的所有旋转包围框信息仅包括一个与该从一个目标视频帧图像获取的一个旋转包围框信息的匹配度大于阈值的旋转包围框信息，则确定从该目标视频帧图像的前一个视频帧图像获取的、与该从一个目标视频帧图像获取的一个旋转包围框信息的匹配度大于阈值的旋转包围框信息与该从一个目标视频帧图像获取的一个旋转包围框信息匹配。

若从该目标视频帧图像的前一个视频帧图像获取的所有旋转包围框信息包括多个与该从一个目标视频帧图像获取的一个旋转包围框信息的匹配度大于阈值的旋转包围框信息，则将从该目标视频帧图像的前一个视频帧图像获取的、与该从一个目标视频帧图像获取的一个旋转包围框信息的匹配度最大的旋转包围框信息确定为与该从一个目标视频帧图像获取的一个旋转包围框信息匹配。

在每一次匹配过程中，对于从一个视频帧图像获取的每一个旋转包围框信息，若确定从该目标视频帧图像获取的该旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息匹配，可以确定从该目标视频帧图像获取的该旋转包围框信息所属的目标对象与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息所属的目标对象属于同一个物体。从该目标视频帧图像获取的该旋转包围框信息和从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息属于同一个旋转包围框信息序列。

目标对象的旋转包围框信息包括：目标对象的原始包围框信息、目标对象的旋转角。目标对象的原始包围框信息包括：包围目标对象的矩形的包围框的每一个边的边长、包围目标对象的包围框的每一个角点的位置等。

以下说明计算一个旋转包围框信息与另一个旋转包围框信息的匹配度的过程，计算任意两个旋转包围框信息的匹配度参考该过程：

可以直接计算包围该一个旋转包围框信息所属的目标对象的包围框和包围该另一个旋转包围框信息所属的目标对象的包围框的交并比(Intersection-Over-Union，简称IOU)。同时，计算该一个旋转包围框信息中的旋转角与该另一个旋转包围框信息中的旋转角之间的旋转角度差异量。

可以预先设置多个与IOU相关的取值区间。每一个与IOU相关的取值区间对应一个预设分数。与IOU相关的取值区间的端点值越大，与IOU相关的取值区间对应的预设分数越大。

可以确定计算出的IOU所在的与IOU相关的取值区间，将该取值区间对应的预设分数作为一个旋转包围框信息与另一个旋转包围框信息的与IOU相关的相似度。计算出的IOU越大，该与IOU相关的相似度越大。

可以预先设置多个与旋转角度差异量相关的取值区间，每一个取值区间对应一个预设分数。与旋转角度差异量相关的取值区间的端点值越大，与旋转角度差异量相关的取值区间对应的预设分数越小。

可以确定计算出的旋转角度差异量所在的与旋转角度差异量相关的取值区间，将该取值区间对应的预设分数作为一个旋转包围框信息与另一个旋转包围框信息的与旋转角相关的相似度。计算出的旋转角度差异量越大，该与旋转角相关的相似度越小。

最后，可以根据计算出的与IOU相关的相似度、与旋转角相关的相似度，计算一个旋转包围框信息与另一个旋转包围框信息的匹配度。

例如，对计算出的与IOU相关的相似度、与旋转角相关的相似度、进行加权计算，得到一个总相似度，将该总相似度作为一个旋转包围框信息与另一个旋转包围框信息的匹配度。

在本申请中，当计算一个旋转包围框信息与另一个旋转包围框信息的匹配度时，还可以在考虑旋转角的情况下计算IOU，将在考虑旋转角的情况下计算出的IOU作为一个旋转包围框信息与另一个旋转包围框信息的匹配度。

对于该一个旋转包围框信息，将该一个旋转包围框信息所属的包围框进行反向旋转该旋转包围框信息中的旋转角，得到该一个旋转包围框信息所属的包围框对应的经过调整的包围框。换言之，将该一个旋转包围框信息所属的包围框对应的经过调整的包围框旋转该一个旋转包围框信息中的旋转角，可以得到该一个旋转包围框信息所属的包围框。

对于该另一个旋转包围框信息，反向旋转该另一个旋转包围框信息中的旋转角，得到该另一个旋转包围框信息所属的包围框对应的经过调整的包围框。

然后，计算该一个旋转包围框信息所属的包围框对应的经过调整的包围框与该另一个旋转包围框信息所属的包围框对应的经过调整的包围框的IOU，将该IOU作为一个旋转包围框信息与另一个旋转包围框信息的匹配度。

在本申请中，基于旋转包围框信息之间的匹配度，查找旋转包围框信息序列，在查找过程中，视频帧图像中的表示物体的目标对象的原始包围框信息、旋转角均参与匹配。从而，在考虑了物体旋转的情况下，查找由与同一物体相关的一系列包围框信息组成的包围框信息序列，提升查找出的包围框信息序列的准确性。

以下举例说明确定从得到的所有旋转包围框信息中查找出旋转包围框信息序列的过程：

假设视频帧图像序列包括5个视频帧图像。物体1、物体2、物体3等3个物体中的每一个物体均出现在5个视频帧图像中每一个视频帧图像中。对于每一个物体，每一个视频帧图像均包括表示该物体的目标对象。第1个视频帧图像包括3个目标对象，每一个目标对象具有一个旋转包围框信息，从第1个视频帧图像获取3个旋转包围框信息。第2个视频帧图像包括3个目标对象，从第2个视频帧图像获取3个旋转包围框信息。第3个视频帧图像包括3个目标对象，从第3个视频帧图像获取3个旋转包围框信息。第4个视频帧图像包括3个目标对象，从第4个视频帧图像获取3个旋转包围框信息。第5个视频帧图像包括3个目标对象，从第5个视频帧图像获取3个旋转包围框信息。

得到的所有旋转包围框信息：从第1个视频帧图像获取3个旋转包围框信息、从第2个视频帧图像获取3个旋转包围框信息、从第3个视频帧图像获取3个旋转包围框信息、从第4个视频帧图像获取3个旋转包围框信息、从第5个视频帧图像获取3个旋转包围框信息。

第一次匹配过程为将从第2个视频帧图像获取的每一个旋转包围框信息与从第1个视频帧图像获取的每一个旋转包围框信息进行匹配。

对于从第2个视频帧图像获取的第1个旋转包围框信息，计算从第2个视频帧图像获取的第1个旋转包围框信息与从第1个视频帧图像获取的第1个旋转包围框信息的匹配度，计算从第2个视频帧图像获取的第1个旋转包围框信息与从第1个视频帧图像获取的第2个旋转包围框信息的匹配度，计算从第2个视频帧图像获取的第3个旋转包围框信息与从第1个视频帧图像获取的第3个旋转包围框信息的匹配度。根据计算的匹配度，确定从第1个视频帧图像获取的所有旋转包围框信息中的与从第2个视频帧图像获取的第1个旋转包围框信息匹配的旋转包围框信息。

应理解，上述第1个旋转包围框信息、第2个旋转包围框信息等表述仅为区分旋转包围框信息所属的目标对象不同，并不特指对旋转包围框信息排序之后目标对象在从视频帧图像获取的所有目标对象中的位置。对于每一个视频帧图像，从该目标视频帧图像获取的任意一个旋转包围框信息均可以作为第一个旋转包围框信息，旋转包围框信息作为第几个旋转包围框信息是随机确定的。

对于从第2个视频帧图像获取的第2个旋转包围框信息，计算从第2个视频帧图像获取的第2个旋转包围框信息与从第1个视频帧图像获取的第1个旋转包围框信息的匹配度，计算从第2个视频帧图像获取的第2个旋转包围框信息与从第1个视频帧图像获取的第2个旋转包围框信息的匹配度，计算从第2个视频帧图像获取的第2个旋转包围框信息与从第1个视频帧图像获取的第3个旋转包围框信息的匹配度。根据计算的匹配度，确定从第1个视频帧图像获取的所有旋转包围框信息中的与从第2个视频帧图像获取的第2个旋转包围框信息匹配的旋转包围框信息。

对于从第2个视频帧图像获取的第3个旋转包围框信息，计算从第2个视频帧图像获取的第3个旋转包围框信息与从第1个视频帧图像获取的第1个旋转包围框信息的匹配度，计算从第2个视频帧图像获取的第3个旋转包围框信息与从第1个视频帧图像获取的第2个旋转包围框信息的匹配度，计算从第2个视频帧图像获取的第3个旋转包围框信息与从第1个视频帧图像获取的第3个旋转包围框信息的匹配度。根据计算的匹配度，确定从第1个视频帧图像获取的所有旋转包围框信息中的与从第2个视频帧图像获取的第3个旋转包围框信息匹配的旋转包围框信息。

参考上述过程，进行第2次匹配过程、第3次匹配过程、第4次匹配过程。

在第2次匹配过程中，将从第3个视频帧图像获取的每一个旋转包围框信息与从第2个视频帧图像获取的每一个旋转包围框信息进行匹配。

在第3次匹配过程中，将从第4个视频帧图像获取的每一个旋转包围框信息与从第5个视频帧图像获取的每一个旋转包围框信息进行匹配。

在第4次匹配过程中，将从第5个视频帧图像获取的每一个旋转包围框信息与从第4个视频帧图像获取的每一个旋转包围框信息进行匹配。

最后，查找出旋转包围框信息序列1、旋转包围框信息序列2、旋转包围框信息序列3。

旋转包围框信息序列1包括：从第1个视频帧图像获取的表示物体1的目标对象的旋转包围框信息、从第2个视频帧图像获取的表示物体1的目标对象的旋转包围框信息、从第3个视频帧图像获取的表示物体1的目标对象的旋转包围框信息、从第4个视频帧图像获取的表示物体1的目标对象的旋转包围框信息、从第5个视频帧图像获取的表示物体1的目标对象的旋转包围框信息。

旋转包围框信息序列1中的每一个旋转包围框信息所属的目标对象均属于物体1，旋转包围框信息序列1为物体1的旋转包围框信息序列。

旋转包围框信息序列2包括：从第1个视频帧图像获取的表示物体2的目标对象的旋转包围框信息、从第2个视频帧图像获取的表示物体2的目标对象的旋转包围框信息、从第3个视频帧图像获取的表示物体2的目标对象的旋转包围框信息、从第4个视频帧图像获取的表示物体2的目标对象的旋转包围框信息、从第5个视频帧图像获取的表示物体2的目标对象的旋转包围框信息。

旋转包围框信息序列2中的每一个旋转包围框信息所属的目标对象均属于物体2，旋转包围框信息序列2为物体2的旋转包围框信息序列。

旋转包围框信息序列3包括：从第1个视频帧图像获取的表示物体3的目标对象的旋转包围框信息、从第2个视频帧图像获取的表示物体3的目标对象的旋转包围框信息、从第3个视频帧图像获取的表示物体3的目标对象的旋转包围框信息、从第4个视频帧图像获取的表示物体3的目标对象的旋转包围框信息、从第5个视频帧图像获取的表示物体3的目标对象的旋转包围框信息。

旋转包围框信息序列3中的每一个旋转包围框信息所属的目标对象均属于物体3，旋转包围框信息序列3为物体3的旋转包围框信息序列。

在一些实施例中，基于旋转包围框信息之间的匹配度，从视频帧图像序列对应的多个旋转包围框信息中查找出至少一个旋转包围框信息序列包括：基于从目标视频帧图像的前一个视频帧图像获取的旋转包围框信息中的旋转角和包围框的角点的位置，采用卡尔曼滤波计算从该前一个视频帧图像获取的旋转包围框信息对应的估计信息，其中，目标视频帧图像为视频帧图像序列中的除了第一个视频帧图像之外的视频帧图像，该估计信息包括：从该前一个视频帧图像获取的旋转包围框信息在该目标视频帧图像中对应的估计旋转角、从该前一个视频帧图像获取的旋转包围框信息在该目标视频帧图像中对应的估计角点的估计位置；基于该估计信息，计算从该前一个视频帧图像获取的旋转包围框信息与从该目标视频帧图像获取的旋转包围框信息的匹配度。

在本申请中，目标对象的旋转包围框信息包括：目标对象的原始包围框信息、目标对象的旋转角。目标对象的原始包围框信息包括：包围目标对象的矩形的包围框的每一个边的边长、包围目标对象的矩形的包围框的每一个角点的位置等。

对于每一个目标视频帧图像，对于从该目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息，采用卡尔曼滤波基于从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息中的旋转角进行角度估计，得到从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息在该目标视频帧图像中对应的估计旋转角。

对于每一个目标视频帧图像，对于从该目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息，采用卡尔曼滤波分别基于从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息中的包围框的每一个角点的位置进行估计，得到从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息在该目标视频帧图像中对应的每一个估计角点的估计位置。

在基于旋转包围框信息之间的匹配度，从得到的所有旋转包围框信息中查找出至少一个旋转包围框信息序列时，可以进行多次匹配过程。

在每一次匹配过程中，计算从一个目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息对应的估计信息。

在每一次匹配过程中，将从一个目标视频帧图像获取的每一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息对应的估计信息进行匹配。

在每一次匹配过程中，对于从一个目标视频帧图像获取的每一个旋转包围框信息，分别计算从该目标视频帧图像获取的该旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息对应的估计信息的匹配度。

在每一次匹配过程中，对于从一个目标视频帧图像获取的每一个旋转包围框信息，将从该目标视频帧图像获取的该旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的匹配度作为从该目标视频帧图像获取的该旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息的匹配度。

对于从一个目标视频帧图像的前一个视频帧图像获取的每一个旋转包围框信息，从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息对应的估计信息包括：从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息在该目标视频帧图像中对应的估计旋转角、从该目标视频帧图像的前一个视频帧图像获取的该旋转包围框信息在该目标视频帧图像中对应的估计角点的估计位置。

从该目标视频帧图像的前一个视频帧图像获取的旋转包围框信息在该目标视频帧图像中对应的估计旋转角可以表示：在该目标视频帧图像中，可能属于从该目标视频帧图像的前一个视频帧图像获取的旋转包围框信息所属的物体的目标对象可能具有的旋转角。

从该目标视频帧图像的前一个视频帧图像获取的旋转包围框信息在该目标视频帧图像中对应的估计角点为：在该目标视频帧图像中，包围可能属于从该目标视频帧图像的前一个视频帧图像获取的旋转包围框信息所属的物体的目标对象的包围框的角点。

从该目标视频帧图像的前一个视频帧图像获取的获取的旋转包围框信息在该目标视频帧图像中对应的估计角点的估计位置表示：在该目标视频帧图像中，包围可能属于从该目标视频帧图像的前一个视频帧图像获取的旋转包围框信息所属的物体的目标对象的包围框的角点可能的位置。

由于视频帧图像中包围目标对象的包围框为矩形的包围框，因此，从该目标视频帧图像的前一个视频帧图像获取的旋转包围框信息在该目标视频帧图像中对应的估计角点的数量为4个。

以下说明计算从一个目标视频帧图像获取的一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的匹配度的过程，计算从其他的目标视频帧图像获取的一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的匹配度的过程参考该过程：

可以首先根据从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息在目标视频帧图像中对应的估计角点的估计位置、从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息的边长，可以确定一个位于该目标视频帧图像中的、与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息相对应的估计包围框。

该一个位于该目标视频帧图像中的、与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息相对应的估计包围框表示：包围可能属于从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息所属的物体的目标对象的包围框。

可以计算该一个位于该目标视频帧图像中的、与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息相对应的估计包围框与包围从该目标视频帧图像获取的一个旋转包围框信息所属的目标对象的包围框的IOU。

可以预先设置多个与IOU相关的取值区间。每一个与IOU相关的取值区间对应一个预设分数。与IOU相关的取值区间的端点值越大，与IOU相关的取值区间对应的预设分数越大。

可以确定计算出的IOU所在的与IOU相关的取值区间，将该取值区间对应的预设分数作为从一个目标视频帧图像获取的一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的与IOU相关的相似度。计算出的IOU越大，该与IOU相关的相似度越大。

可以计算从该目标视频帧图像获取的一个旋转包围框信息中的旋转角与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息在该目标视频帧图像中对应的估计旋转角之间的旋转角度差异量。

可以预先设置多个与旋转角度差异量相关的取值区间，每一个取值区间对应一个预设分数。与旋转角度差异量相关的取值区间的端点值越大，与旋转角度差异量相关的取值区间对应的预设分数越小。

可以确定计算出的旋转角度差异量所在的与旋转角度差异量相关的取值区间，将该取值区间对应的预设分数作为从该目标视频帧图像获取的一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的与旋转角相关的相似度。计算出的旋转角度差异量越大，该与旋转角相关的相似度越小。

可以计算从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息在该目标视频帧图像中对应的每一个估计角点的估计位置和从该目标视频帧图像获取的一个旋转包围框信息中的相应的类型的角点的位置之间的位置差异量。然后，可以计算所有位置差异量的和。

可以预先设置多个与角点位置位置差异量相关的取值区间，每一个与角点位置差值相关的取值区间对应一个预设分数。与角点位置差值相关的取值区间的端点值越大，与角点位置差值相关的取值区间对应的预设分数越小。

可以确定计算出的所有位置差异量的和所在的与角点位置差异量相关的取值区间，将该取值区间对应的预设分数作为该从一个目标视频帧图像获取的一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的与角点位置相关的相似度。计算出的所有位置差异量的和越大，该与角点位置相关的相似度越小。

最后，可以根据计算出的与IOU相关的相似度、与旋转角相关的相似度、与角点的位置相关的相似度，计算从一个目标视频帧图像获取的一个旋转包围框信息与从该目前视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的匹配度。

例如，对计算出的与IOU相关的相似度、与旋转角相关的相似度、与角点的位置相关的相似度进行加权计算，得到一个总相似度，将总相似度作为从一个目标视频帧图像获取的一个旋转包围框信息与从该目标视频帧图像的前一个视频帧图像获取的一个旋转包围框信息对应的估计信息的匹配度。

以下举例说明从得到的所有旋转包围框信息中查找出旋转包围框信息序列的过程：

假设视频帧图像序列包括5个视频帧图像。物体1、物体2、物体3等3个物体中的每一个物体均出现在5个视频帧图像中每一个视频帧图像中。对于每一个物体，每一个视频帧图像均包括表示该物体的目标对象。第1个视频帧图像包括3个目标对象，每一个目标对象具有一个旋转包围框信息，从第1个视频帧图像获取3个旋转包围框信息。第2个视频帧图像包括3个目标对象，从第2个视频帧图像获取3个旋转包围框信息。第3个视频帧图像包括3个目标对象，从第3个视频帧图像获取3个旋转包围框信息。第4个视频帧图像包括表示3个目标对象，从第4个视频帧图像获取3个旋转包围框信息。第5个视频帧图像包括3个目标对象，从第5个视频帧图像获取3个旋转包围框信息。

第2个视频帧图像、第3个视频帧图像，第4个视频帧图像、第5个视频帧图像均为目标视频帧图像。

在第1次匹配过程中，将从第2个视频帧图像获取到的每一个旋转包围框信息与从第2个视频帧图像的前一个视频帧图像即第1个视频帧图像获取到的每一个旋转包围框信息对应的估计信息进行匹配，以查找出属于同一个物体的旋转包围框信息，属于同一个物体的旋转包围框信息在同一个旋转包围框信息序列中。

对于从视频帧图像1获取的第1个旋转包围框信息，采用卡尔曼滤波计算从视频帧图像1获取的第1个旋转包围框信息对应的估计信息。

对于从视频帧图像1获取的第2个旋转包围框信息，采用卡尔曼滤波计算从视频帧图像1获取的第2个旋转包围框信息对应的估计信息。

对于从视频帧图像1获取的第3个旋转包围框信息，采用卡尔曼滤波计算从视频帧图像1获取的第3个旋转包围框信息对应的估计信息。

对于从视频帧图像2获取的第1个旋转包围框信息，计算从视频帧图像2获取的第1个旋转包围框信息与从第1个视频帧图像获取到的每一个旋转包围框信息对应的估计信息的匹配度。将计算出的匹配度作为从视频帧图像2获取的第1个旋转包围框信息与相应的从第1个视频帧图像获取到的旋转包围框信息的匹配度。根据计算的匹配度，确定从第1个视频帧图像获取的所有旋转包围框信息中的与从第2个视频帧图像获取的第1个旋转包围框信息匹配的旋转包围框信息。

对于从视频帧图像2获取的第2个旋转包围框信息，计算从视频帧图像2获取的第2个旋转包围框信息与从第1个视频帧图像获取到每一个旋转包围框信息对应的估计信息的匹配度。将计算出的匹配度作为从视频帧图像2获取的第2个旋转包围框信息与相应的从第1个视频帧图像获取到的旋转包围框信息的匹配度。根据计算的匹配度，确定从第1个视频帧图像获取的所有旋转包围框信息中的与从第2个视频帧图像获取的第2个旋转包围框信息匹配的旋转包围框信息。

对于从视频帧图像2获取的第3个旋转包围框信息，计算从视频帧图像2获取的第3个旋转包围框信息与从第1个视频帧图像获取到每一个旋转包围框信息对应的估计信息的匹配度。将计算出的匹配度作为从视频帧图像2获取的第3个旋转包围框信息与相应的从第1个视频帧图像获取到的旋转包围框信息的匹配度。根据计算的匹配度，确定从第1个视频帧图像获取的所有旋转包围框信息中的与从第2个视频帧图像获取的第3个旋转包围框信息匹配的旋转包围框信息。

参考上述过程，进行第2次匹配过程、第3次匹配过程、第4次匹配过程。在第2次匹配过程中，计算从第3个视频帧图像获取到的每一个旋转包围框信息与从第3个视频帧图像的前一个视频帧图像即第2个视频帧图像获取到的每一个旋转包围框信息对应的估计信息的匹配度。在第3次匹配过程中，计算从第4个视频帧图像获取到的每一个旋转包围框信息与从第4个视频帧图像的前一个视频帧图像即第3个视频帧图像获取到的每一个旋转包围框信息对应的估计信息的匹配度。在第4次匹配过程中，计算从第5个视频帧图像获取到的每一个旋转包围框信息与从第5个视频帧图像的前一个视频帧图像即第4个视频帧图像获取到的每一个旋转包围框信息对应的估计信息的匹配度。

最后，查找出物体1的旋转包围框信息序列、物体2的旋转包围框信息序列。物体3的旋转包围框信息序列。

请参考图2，其示出了本申请实施例提供的图像处理装置的结构框图。装置包括：获取单元201，计算单元202，确定单元203。

获取单元201被配置为获取视频帧图像中目标对象的原始包围框信息和关键点信息；

计算单元202被配置为根据所述关键点信息，计算所述目标对象的中心点的位置和旋转角；

确定单元203被配置为根据所述目标对象的中心点的位置和旋转角、所述原始包围框信息，确定所述目标对象的旋转包围框信息。

在一些实施例中，计算单元202包括：

旋转角计算子单元，被配置为基于所述目标对象的关键点信息，确定所述目标对象的所有边缘关键点，以及对所述目标对象的所有边缘关键点进行拟合，得到所述目标对象的第一拟合结果；将所述第一拟合结果的中心点的位置作为所述目标对象的中心点的位置，以及基于所述第一拟合结果，计算所述目标对象的第一估计旋转角；基于所述目标对象的关键点信息，确定所述目标对象的所有关键点，以及对所述目标对象的所有关键点进行拟合，得到所述目标对象的第二拟合结果；基于所述第二拟合结果，计算所述目标对象的第二估计旋转角；基于所述目标对象的第一估计旋转角和第二估计旋转角，计算所述目标对象的旋转角。

在一些实施例中，旋转角计算子单元进一步被配置为对所述目标对象的所有边缘关键点进行椭圆拟合，得到作为所述目标对象的第一拟合结果的拟合椭圆形状。

在一些实施例中，旋转角计算子单元进一步被配置为利用最小二乘算法对所述目标对象的所有关键点进行直线拟合，得到作为所述目标对象的第二拟合结果的拟合直线。

在一些实施例中，旋转角计算子单元进一步被配置为利用卡尔曼滤波算法基于所述目标对象的第一估计旋转角和第二估计旋转角，计算所述目标对象的旋转角。

在一些实施例中，图像处理装置包括：

匹配单元，被配置为基于旋转包围框信息之间的匹配度，从视频帧图像序列对应的多个旋转包围框信息中查找出至少一个旋转包围框信息序列，其中，视频帧图像序列对应的多个旋转包围框信息包括：视频帧图像序列中的每一个视频帧图像中的目标对象的旋转包围框信息，旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象属于同一个物体。

在一些实施例中，匹配单元进一步被配置为基于从目标视频帧图像的前一个视频帧图像获取的旋转包围框信息中的旋转角和包围框的角点的位置，采用卡尔曼滤波计算从所述前一个视频帧图像获取的旋转包围框信息对应的估计信息，其中，目标视频帧图像为视频帧图像序列中的除了第一个视频帧图像之外的视频帧图像，所述估计信息包括：从所述前一个视频帧图像获取的旋转包围框信息在所述目标视频帧图像中对应的估计旋转角、从所述前一个视频帧图像获取的旋转包围框信息在所述目标视频帧图像中对应的估计角点的估计位置；基于所述估计信息，计算从所述前一个视频帧图像获取的旋转包围框信息与从所述目标视频帧图像获取的旋转包围框信息的匹配度。

图3是本申请提供的一种电子设备的结构框图。电子设备包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。

电子设备还可以包括一个电源组件326被配置为执行电子设备的电源管理，一个有线或无线网络接口350被配置为将电子设备连接到网络，和一个输入输出(I/O)接口358。电子设备可以操作基于存储在存储器332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取视频帧图像中目标对象的原始包围框信息和关键点信息；

根据所述关键点信息，计算所述目标对象的中心点的位置和旋转角；

根据所述目标对象的中心点的位置和旋转角、所述原始包围框信息，确定所述目标对象的旋转包围框信息。

2.根据权利要求1所述的方法，其特征在于，根据所述关键点信息，计算所述目标对象的中心点的位置和旋转角包括：

根据所述关键点信息，确定所述目标对象的所有边缘关键点，以及对所述目标对象的所有边缘关键点进行拟合，得到所述目标对象的第一拟合结果；

将所述第一拟合结果的中心点的位置作为所述目标对象的中心点的位置，以及基于所述第一拟合结果，计算所述目标对象的第一估计旋转角；

根据所述关键点信息，确定所述目标对象的所有关键点，以及对所述目标对象的所有关键点进行拟合，得到所述目标对象的第二拟合结果；

基于所述第二拟合结果，计算所述目标对象的第二估计旋转角；

基于所述目标对象的第一估计旋转角和第二估计旋转角，计算所述目标对象的旋转角。

3.根据权利要求2所述的方法，其特征在于，对所述目标对象的所有边缘关键点进行拟合，得到所述目标对象的第一拟合结果包括：

对所述目标对象的所有边缘关键点进行椭圆拟合，得到作为所述目标对象的第一拟合结果的拟合椭圆形状。

4.根据权利要求2所述的方法，其特征在于，对所述目标对象的所有关键点进行拟合，得到所述目标对象的第二拟合结果包括：

利用最小二乘算法对所述目标对象的所有关键点进行直线拟合，得到作为所述目标对象的第二拟合结果的拟合直线。

5.根据权利要求2所述的方法，其特征在于，基于所述目标对象的第一估计旋转角和第二估计旋转角，计算所述目标对象的旋转角包括：

利用卡尔曼滤波算法基于所述目标对象的第一估计旋转角和第二估计旋转角，计算所述目标对象的旋转角。

6.根据权利要求1-5之一所述方法，其特征在于，所述方法包括：

基于旋转包围框信息之间的匹配度，从视频帧图像序列对应的多个旋转包围框信息中查找出至少一个旋转包围框信息序列，其中，视频帧图像序列对应的多个旋转包围框信息包括：视频帧图像序列中的每一个视频帧图像中的目标对象的旋转包围框信息，旋转包围框信息序列中的每一个旋转包围框信息所属的目标对象属于同一个物体。

7.根据权利要求6所述的方法，其特征在于，基于旋转包围框信息之间的匹配度，从视频帧图像序列对应的多个旋转包围框信息中查找出至少一个旋转包围框信息序列包括：

基于从目标视频帧图像的前一个视频帧图像获取的旋转包围框信息中的旋转角和包围框的角点的位置，采用卡尔曼滤波计算从所述前一个视频帧图像获取的旋转包围框信息对应的估计信息，其中，目标视频帧图像为视频帧图像序列中的除了第一个视频帧图像之外的视频帧图像，所述估计信息包括：从所述前一个视频帧图像获取的旋转包围框信息在所述目标视频帧图像中对应的估计旋转角、从所述前一个视频帧图像获取的旋转包围框信息在所述目标视频帧图像中对应的估计角点的估计位置；

基于所述估计信息，计算从所述前一个视频帧图像获取的旋转包围框信息与从所述目标视频帧图像获取的旋转包围框信息的匹配度。

8.一种图像处理装置，其特征在于，所述装置包括：

获取单元，被配置为获取视频帧图像中目标对象的原始包围框信息和关键点信息；

计算单元，被配置为根据所述关键点信息，获取所述目标对象的中心点的位置和旋转角；

确定单元，被配置为根据所述目标对象的中心点的位置和旋转角、所述原始包围框信息，确定所述目标对象的旋转包围框信息。

9.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。

Images