CN113538490B

CN113538490B - 视频流处理方法及装置

Info

Publication number: CN113538490B
Application number: CN202110816918.3A
Authority: CN
Inventors: 刘斌
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2022-10-28
Anticipated expiration: 2041-07-20
Also published as: CN113538490A

Abstract

本发明公开了一种视频流处理方法及装置。该方法包括：在视频流中的图像帧中确定预设刚体的目标轮廓，以及对所述目标轮廓中的所述预设刚体的图像进行处理，其中，在视频流中的图像帧中确定预设刚体的目标轮廓包括：确定所述预设刚体在所述图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，对预先确定的所述预设刚体的参考特征值集进行匹配，和根据所匹配的结果，并根据预先确定的所述预设刚体的参考轮廓集，确定所述预设刚体在所述图像帧中的目标轮廓。本发明能够实时和准确地确定视频流中的预设刚体的轮廓。

Description

视频流处理方法及装置

技术领域

本发明涉及计算机领域，具体涉及一种视频流处理方法及装置。

背景技术

视频流通常是指通过网络连续和稳定传输的视频数据。因为视频流具备流动性，所以在完整视频数据完成传输前，计算机上的视频播放插件或浏览器就能够对其进行在线播放，从而提高了用户体验。

视频流与特定视频段的区别在于，特定视频段不要求实时的在线播放，从而具备充足时间进行特定的修正或处理，甚至还可以通过人工手动进行。对于特定视频段中的预设刚体，目前通常处理方法是：(1)将该视频段划分为多个图像帧，(2)将每个图像帧转化成灰度图并根据灰度值进行灰度梯度化处理，(3)根据某种梯度算法确定该预设刚体的轮廓和姿态，以便对该预设刚体进行预定的处理，(4)将处理后的图像帧组合为新的视频段。由此可见，特定视频段中的预设刚体的处理方法相对简单，但其不适于需要在线播放的视频流。

因此，对于视频流中的预设刚体，目前问题主要在于，如何实时和准确地确定该预设刚体的轮廓，进而如何实时和准确地确定该预设刚体的姿态，以便对该预设刚体进行预定的处理。

发明内容

本发明旨在提供一种视频流处理方法及装置，能够解决相关技术中无法实时和准确地确定视频流中的预设刚体的轮廓的问题。

根据本发明的一个方面，提供了一种视频流处理方法。该方法包括：在视频流中的图像帧中确定预设刚体的目标轮廓，以及对所述目标轮廓中的所述预设刚体的图像进行处理，其中，在视频流中的图像帧中确定预设刚体的目标轮廓包括：确定所述预设刚体在所述图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，对预先确定的所述预设刚体的参考特征值集进行匹配，和根据所匹配的结果，并根据预先确定的所述预设刚体的参考轮廓集，确定所述预设刚体在所述图像帧中的目标轮廓。

优选地，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，对预先确定的所述预设刚体的参考特征值集进行匹配包括：根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值；以及确定所述多个特征匹配值中的最小值作为所匹配的结果。

优选地，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值包括：通过|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|计算每个特征匹配值，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

并且其中，(Xu，Yu)、(Xd，Yd)、(Xl，Yl)、(Xr，Yr)是所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点的坐标，(X`u，Y`u)、(X`d，Y`d)、(X`l，Y`l)、(X`r，Y`r)是所述多个参考特征值组中的一个参考特征值组中的第二上顶点、第二下顶点、第二左顶点和第二右顶点的坐标。

优选地，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值还包括：通过如下公式计算每个特征匹配值：|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|+K×D_ud/D`_ud+K×D_lr/D`_lr，

其中，K＝SQRT{[(Y`u-Y`d)×(X`r-X`l)]/[(Yu-Yd)×(Xr-Xl)]}

优选地，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值还包括：通过如下公式计算每个特征匹配值：p×|SIN_ud-SIN`_ud|+q×|SIN_lr-SIN`_lr|+s×(K×D_ud/D`_ud)+t×(K×D_lr/D`_lr)，

其中，p、q、s和t都是预先设定的权重百分数，且p+q+s+t＝100％。

优选地，对所述目标轮廓中的所述预设刚体的图像进行处理包括：根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，将所述目标轮廓中的所述预设刚体的图像替换成另一图像帧中的另一预设刚体的图像，其中所述另一图像帧中的所述另一预设刚体的所述图像与所述目标轮廓中的所述预设刚体的所述图像的图像匹配值小于其他任一图像帧中的所述另一预设刚体的图像与所述目标轮廓中的所述预设刚体的所述图像的图像匹配值。

优选地，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，将所述目标轮廓中的所述预设刚体的图像替换成另一图像帧中的另一预设刚体的图像还包括：确定所述另一图像帧中的所述另一预设刚体的空间姿态值组与所述目标轮廓中的所述预设刚体的空间姿态值组的姿态匹配值小于其他任一图像帧中的所述另一预设刚体的空间姿态值组与所述目标轮廓中的所述预设刚体的空间姿态值组的姿态匹配值。

优选地，通过以下公式确定所述目标轮廓中的所述预设刚体的空间姿态值组(a，b，c)：

(b-a×k1)²＝1+(k1)²-(Cs)²×(Y`e-k1×X`e)²/[4×S²] (1)

a²+b²+c²＝1 (2)

c＝S`/S (3)

其中，k1＝(Y`e-Y`f)/(X`e-X`f)

Cs为▲EFG的周长，其中▲EFG的三个顶点分别为所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点中的任何三点，

S为所述预设刚体旋转前的▲EFG的面积，

S`为所述预设刚体旋转后的▲EFG在所述预设刚体旋转前的▲EFG所处的平面中的投影面积，

(X`e，Y`e)、(X`f，Y`f)为所述预设刚体旋转后的▲EFG中的E和F在所述预设刚体旋转前的▲EFG所处的平面中的投影坐标，其中所述预设刚体旋转前的▲EFG所处的平面中的坐标原点为

▲EFG的内切圆圆心。

优选地，上述视频流处理方法还通过以下公式确定所述目标轮廓中的所述预设刚体的空间姿态值θ：

COSθ＝U·V/W，其中，

U为所述预设刚体旋转前的▲EFG中的任何一边与所述内切圆的交点的空间坐标，

V为所述预设刚体旋转后的所述交点的空间坐标，

W为所述内切圆的半径的平方。

根据本发明的另一个方面，提供了一种视频流处理装置。该装置包括：确定模块，用于在视频流中的图像帧中确定预设刚体的目标轮廓，以及处理模块，用于对所述目标轮廓中的所述预设刚体的图像进行处理，其中所述确定模块包括：第一确定单元，用于确定所述预设刚体在所述图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点，匹配单元，用于根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，对预先确定的所述预设刚体的参考特征值集进行匹配，和第二确定单元，用于根据所匹配的结果，并根据预先确定的所述预设刚体的参考轮廓集，确定所述预设刚体在所述图像帧中的目标轮廓。

本发明借助于预先确定的参考特征值集和参考轮廓集，仅仅采用第一上顶点、第一下顶点、第一左顶点和第一右顶点作为特征值进行匹配，能够实时和准确地确定视频流中的预设刚体的轮廓。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频流处理方法的流程图；

图2是根据本发明实例一的视频流处理方法的流程图；

图3是根据本发明实例二的视频流处理方法的流程图；以及

图4是根据本发明实施例的视频流处理装置的结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种视频流处理方法。图1是根据本发明实施例的视频流处理方法的流程图，如图1所示，包括如下的步骤S102至步骤S104。

步骤S102，在视频流中的图像帧中确定预设刚体的目标轮廓，其中刚体是指在运动中和受力作用后形状和大小不变，而且内部各点的相对位置不变(或者由于极为微小而可以忽略不计)的物体。

步骤S104，对该目标轮廓中的该预设刚体的图像进行处理。

其中，步骤S102进一步包括如下的步骤S1022至步骤S1026。

步骤S1022，确定该预设刚体在该图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点。

步骤S1024，根据该第一上顶点、该第一下顶点、该第一左顶点和该第一右顶点，对预先确定的该预设刚体的参考特征值集进行匹配。

步骤S1026，根据所匹配的结果，并根据预先确定的该预设刚体的参考轮廓集，确定该预设刚体在该图像帧中的目标轮廓。

相关技术中，无法实时和准确地确定视频流中的预设刚体的轮廓。本发明实施例中，借助于预先确定的参考特征值集和参考轮廓集，仅仅采用第一上顶点、第一下顶点、第一左顶点和第一右顶点作为特征值进行匹配，能够实时和准确地确定视频流中的预设刚体的轮廓。

根据本发明的实施例，步骤S104可以包括如下处理方式：(1)将目标轮廓中的预设刚体的图像替换成另一图像帧中的另一预设刚体的图像；(2)将目标轮廓中的预设刚体的图像的亮度增强；(3)将目标轮廓中的预设刚体的图像的颜色变更；(4)将目标轮廓中的预设刚体的图像的细节调整。需要说明，这四种处理方式仅仅作为典型示例，实际应用中的其他处理方式也应当纳入本发明的保护范围。

根据本发明的实施例，步骤S1024可以包括：根据第一上顶点、第一下顶点、第一左顶点和第一右顶点，并根据预先确定的该预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值；以及确定多个特征匹配值中的最小值作为所匹配的结果。

本发明的实施例中，进一步引入了多个参考特征值组及其相应的多个特征匹配值，并且将多个特征匹配值中的最小值作为所匹配的结果，其匹配方式简便、准确，能够实时和准确地确定视频流中的预设刚体的轮廓。

根据本发明的实施例，上述特征匹配值可以通过以下公式计算：

|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

并且其中，(Xu，Yu)、(Xd，Yd)、(Xl，Yl)、(Xr，Yr)是上述第一上顶点、第一下顶点、第一左顶点和第一右顶点的坐标，(X`u，Y`u)、(X`d，Y`d)、(X`l，Y`l)、(X`r，Y`r)是上述多个参考特征值组中的一个参考特征值组中的第二上顶点、第二下顶点、第二左顶点和第二右顶点的坐标。

本发明实施例中，上述特征匹配值根据两组正弦值之差而计算获得。该计算方式简便、准确，有利于实时和准确地确定视频流中的预设刚体的轮廓。

具体来说，第一组正弦值之差为上述第一上顶点和第一下顶点的连线与横坐标轴夹角的正弦值与上述第二上顶点和第二下顶点的连线与横坐标轴夹角的正弦值之差，第二组正弦值之差为上述第一右顶点和第一左顶点的连线与横坐标轴夹角的正弦值与上述第二右顶点和第二左顶点的连线与横坐标轴夹角的正弦值之差。同时，为了避免负值引入误差，可以进一步分别计算这两组正弦值之差的绝对值。

需要说明，根据上顶点和下顶点计算第一组正弦值并且根据左顶点和右顶点计算第二组正弦值仅仅作为典型示例，实际应用中的其他计算方式，例如根据上顶点和左顶点计算第一组正弦值并且根据下顶点和右顶点计算第二组正弦值，也应当纳入本发明的保护范围。

根据本发明的实施例，上述特征匹配值可以进一步通过以下公式计算：|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|+K×D_ud/D`_ud+K×D_lr/D`_lr，其中，K＝SQRT{[(Y`u-Y`d)×(X`r-X`l)]/[(Yu-Yd)×(Xr-Xl)]}。

本发明实施例中，上述特征匹配值不仅根据两组正弦值之差而且根据两组距离之商而计算获得。该计算方式更加准确，有利于更加实时和准确地确定视频流中的预设刚体的轮廓。

具体来说，第一组距离之商为上述第一上顶点和第一下顶点的距离与上述第二上顶点和第二下顶点的距离之商，第二组距离之商为上述第一右顶点和第一左顶点的距离与上述第二右顶点和第二左顶点的距离之商。同时，为了避免商值过小引入误差，可以进一步计算修正系数K。

需要说明，根据上顶点和下顶点计算第一组距离并且根据左顶点和右顶点计算第二组距离仅仅作为典型示例，实际应用中的其他计算方式，例如根据上顶点和左顶点计算第一组距离并且根据下顶点和右顶点计算第二组距离，也应当纳入本发明的保护范围。

根据本发明的实施例，上述特征匹配值可以进一步通过以下公式计算：p×|SIN_ud-SIN`_ud|+q×|SIN_lr-SIN`_lr|+s×(K×D_ud/D`_ud)+t×(K×D_lr/D`_lr)，其中，p、q、s和t都是预先设定的权重百分数，且p+q+s+t＝100％。

本发明实施例中，上述特征匹配值不仅根据两组正弦值之差和两组距离之商而且根据各自修正系数而计算获得。该计算方式更加准确，有利于更加实时和准确地确定视频流中的预设刚体的轮廓。

根据本发明的实施例，为了实时和准确地将目标轮廓中的预设刚体的图像替换成另一图像帧中的另一预设刚体的图像，该另一图像帧中的另一预设刚体的图像与该目标轮廓中的该预设刚体的图像的图像匹配值应当小于其他任一图像帧中的该另一预设刚体的图像与该目标轮廓中的该预设刚体的图像的图像匹配值。进而，为了更加实时和准确地实现上述图像替换处理，该另一图像帧中的另一预设刚体的空间姿态值组与该目标轮廓中的该预设刚体的空间姿态值组的姿态匹配值应当小于其他任一图像帧中的该另一预设刚体的空间姿态值组与该目标轮廓中的该预设刚体的空间姿态值组的姿态匹配值。

根据本发明的实施例，可以通过以下公式确定目标轮廓中的预设刚体的空间姿态值组(a，b，c)，从而实时和准确地实现上述图像替换处理。

(b-a×k1)²＝1+(k1)²-(Cs)²×(Y`e-k1×X`e)²/[4×S²] (1)

a²+b²+c²＝1 (2)

c＝S`/S (3)

其中，k1＝(Y`e-Y`f)/(X`e-X`f)

Cs为▲EFG的周长，其中▲EFG的三个顶点分别为上述第一上顶点、第一下顶点、第一左顶点和第一右顶点中的任何三点，

S为预设刚体旋转前的▲EFG的面积，

S`为预设刚体旋转后的▲EFG在该预设刚体旋转前的▲EFG所处的平面中的投影面积，

(X`e，Y`e)、(X`f，Y`f)为该预设刚体旋转后的▲EFG中的E和F在该预设刚体旋转前的▲EFG所处的平面中的投影坐标，其中该预设刚体旋转前的▲EFG所处的平面中的坐标原点为▲EFG的内切圆圆心。

需要说明，选取上顶点、下顶点、左顶点和右顶点中的任何三点仅仅出于操作简便的目的。实际应用中，选取可供连续轨迹追踪的其他任何三点也是可行的，均应当纳入本发明的保护范围。

根据本发明的实施例，还可以通过以下公式确定目标轮廓中的预设刚体的空间姿态值θ，从而更加实时和准确地实现上述图像替换处理。

COSθ＝U·V/W，其中，

U为该预设刚体旋转前的▲EFG中的任何一边与上述内切圆的交点的空间坐标，

V为该预设刚体旋转后的上述交点的空间坐标，

W为上述内切圆的半径的平方。

类似地，通过以上公式还可以确定另一图像帧中的另一预设刚体的空间姿态值组(a”，b”，c”，θ”)。然后，通过将预设刚体的空间姿态值组(a，b，c，θ)与另一预设刚体的空间姿态值组(a”，b”，c”，θ”)进行匹配，能够更加实时和准确地实现上述图像替换处理。需要说明，上述空间姿态值组的匹配既可以采用类似于上述参考特征值组的匹配方式，也可以采用本领域技术人员熟知的其他匹配方式，其均应当纳入本发明的保护范围。

下面将结合实例对本发明实施例的实现过程进行详细描述。

实例一

实例一详细描述了如何将一个视频流中的预定刚体A图像替换为另一预定刚体B图像。该替换处理的应用场景非常广泛，例如，在足球比赛视频直播过程中，将赛场中的广告展品A替换为另一广告展品B，以适应不同国家不同人群对广告展示的需要。

图2是根据本发明实例一的视频流处理方法的流程图，如图2所示，包括以下步骤。

步骤S202，在例如纯色环境的简单环境中，提取刚体A的参考特征值组Ac和参考轮廓Al。其中，每个参考特征值组Ac可以包括四个参考特征值，即，刚体A在图像中的上顶点、下顶点、左顶点和右顶点的坐标。该提取方式可以采用，将刚体A与照相机之间的距离固定，将刚体A在三维空间中按照特定角度差(例如1度)进行旋转，每旋转一次，提取一组参考特征值Ac和参考轮廓Al。

步骤S204，在例如纯色环境的简单环境中，提取刚体B的参考特征值组Bc和参考轮廓Bl。其中，每个参考特征值组Bc可以包括四个参考特征值，即，刚体B在图像中的上顶点、下顶点、左顶点和右顶点的坐标。该提取方式可以采用，将刚体B与照相机之间的距离固定，将刚体B在三维空间中按照特定角度差(例如1度)进行旋转，每旋转一次，提取一组参考特征值Bc和参考轮廓Bl。

步骤S206，在视频直播过程中，在视频流中的图像帧中确定刚体A的上顶点、下顶点、左顶点和右顶点。需要说明，选取上下左右四个顶点作为特征值仅仅出于操作简便的目的。实际应用中，选取可供连续轨迹追踪的其他点作为特征值也是可行的，均应当纳入本发明的保护范围。

步骤S208，根据刚体A的上顶点、下顶点、左顶点和右顶点，对步骤S202提取的刚体A的多个参考特征值组(参考特征值集)进行匹配，得到多个特征匹配值。具体来说，特征匹配值可以采用以下两种方式进行计算。

方式一计算量较小，准确性适中

特征匹配值为|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

并且其中，(Xu，Yu)、(Xd，Yd)、(Xl，Yl)、(Xr，Yr)是步骤S206确定的刚体A的上顶点、下顶点、左顶点和右顶点的坐标，(X`u，Y`u)、(X`d，Y`d)、(X`l，Y`l)、(X`r，Y`r)是步骤S202提取的刚体A的一个参考特征值组中的上顶点、下顶点、左顶点和右顶点的坐标。

方式二计算量适中，准确性较高

特征匹配值为p×| SIN_ud-SIN`_ud|+q×|SIN_lr-SIN`_lr|+s×(K×D_ud/D`_ud)+t×(K×D_lr/D`_lr)，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

并且其中，(Xu，Yu)、(Xd，Yd)、(Xl，Yl)、(Xr，Yr)是步骤S206确定的刚体A的上顶点、下顶点、左顶点和右顶点的坐标，(X`u，Y`u)、(X`d，Y`d)、(X`l，Y`l)、(X`r，Y`r)是步骤S202提取的刚体A的一个参考特征值组中的上顶点、下顶点、左顶点和右顶点的坐标，

并且其中，p、q、s和t都是预先设定的权重百分数，且p+q+s+t＝100％。

步骤S210，对于上述两种方式中任何一种，确定上述多个特征匹配值中的最小值作为所匹配的结果。

步骤S212，根据所匹配的结果，并根据步骤S202提取的刚体A的多个参考轮廓(参考轮廓集)，确定刚体A在图像帧中的目标轮廓。

步骤S214，根据步骤S212确定的目标轮廓中的刚体A的图像，并根据步骤S204提取的刚体B的图像，得到多个图像匹配值。具体来说，图像匹配值可以参考上述两种方式，通过上顶点、下顶点、左顶点和右顶点的坐标进行计算。

步骤S216，对于步骤S214计算得到的多个图像匹配值，采用图像匹配值最小的刚体B的图像替换步骤S212确定的目标轮廓中的刚体A的图像。

实例二

实例二详细描述了如何将一个视频流中的预定刚体A图像替换为另一预定刚体B图像。与实例一相比，实例二在刚体A目标轮廓的确定过程中采用了性价比更高的方式，并且在刚体A和刚体B的替换过程中增加了空间姿态值组和姿态匹配值。

图3是根据本发明实例二的视频流处理方法的流程图，如图3所示，包括以下步骤。

步骤S302，在例如纯色环境的简单环境中，提取刚体A的参考特征值组Ac和参考轮廓A1。其中，每个参考特征值组Ac可以包括四个参考特征值，即，刚体A在图像中的上顶点、下顶点、左顶点和右顶点的坐标。该提取方式可以采用，将刚体A与照相机之间的距离固定，将刚体A在三维空间中按照特定角度差(例如1度)进行旋转，每旋转一次，提取一组参考特征值Ac和参考轮廓Al。

步骤S304，在例如纯色环境的简单环境中，提取刚体B的参考特征值组Bc和参考轮廓Bl。其中，每个参考特征值组Bc可以包括四个参考特征值，即，刚体B在图像中的上顶点、下顶点、左顶点和右顶点的坐标。该提取方式可以采用，将刚体B与照相机之间的距离固定，将刚体B在三维空间中按照特定角度差(例如1度)进行旋转，每旋转一次，提取一组参考特征值Bc和参考轮廓Bl。

步骤S306，在视频直播过程中，在视频流中的图像帧中确定刚体A的上顶点、下顶点、左顶点和右顶点。需要说明，选取上下左右四个顶点作为特征值仅仅出于操作简便的目的。实际应用中，选取可供连续轨迹追踪的其他点作为特征值也是可行的，均应当纳入本发明的保护范围。

步骤S308，根据刚体A的上顶点、下顶点、左顶点和右顶点，对步骤S302提取的刚体A的多个参考特征值组(参考特征值集)进行匹配，得到多个特征匹配值。具体来说，特征匹配值可以采用以下方式进行计算：|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|+K×D_ud/D`_ud+K×D_lr/D`_lr，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

并且其中，(Xu，Yu)、(Xd，Yd)、(Xl，Yl)、(Xr，Yr)是步骤S306确定的刚体A的上顶点、下顶点、左顶点和右顶点的坐标，(X`u，Y`u)、(X`d，Y`d)、(X`l，Y`l)、(X`r，Y`r)是步骤S302提取的刚体A的一个参考特征值组中的上顶点、下顶点、左顶点和右顶点的坐标，

并且其中，K＝SQRT{[(Y`u-Y`d)×(X`r-X`l)]/[(Yu-Yd)×(Xr-Xl)]}。

步骤S310，确定上述多个特征匹配值中的最小值作为所匹配的结果。

步骤S312，根据所匹配的结果，并根据步骤S302提取的刚体A的多个参考轮廓(参考轮廓集)，确定刚体A在图像帧中的目标轮廓。

步骤S314，根据步骤S312确定的目标轮廓中的刚体A的图像，并根据步骤S304提取的刚体B的图像，得到多个图像匹配值。具体来说，图像匹配值可以参考步骤S308的方式，通过上顶点、下顶点、左顶点和右顶点的坐标进行计算。

步骤S316，根据步骤S312确定的目标轮廓中的刚体A的空间姿态值组，并根据刚体B的空间姿态值组，得到多个姿态匹配值。具体来说，刚体A的空间姿态值组可以采用以下两种方式进行计算。

方式一计算量较小，准确性适中

刚体A的空间姿态值组为(a，b，c)

(b-a×k1)²＝1+(k1)²-(Cs)²×(Y`e-k1×X`e)²/[4×S²] (1)

a²+b²+c²＝1 (2)

c＝S`/S (3)

其中，k1＝(Y`e-Y`f)/(X`e-X`f)

Cs为▲EFG的周长，其中▲EFG的三个顶点分别为步骤S304提取的刚体A的上顶点、下顶点、左顶点和右顶点中的任何三点，

S为刚体A旋转前的▲EFG的面积，

S`为刚体A旋转后的▲EFG在该刚体B旋转前的▲EFG所处的平面中的投影面积，

(X`e，Y`e)、(X`f，Y`f)为该刚体A旋转后的▲EFG中的E和F在该刚体A旋转前的▲EFG所处的平面中的投影坐标，其中该刚体A旋转前的▲EFG所处的平面中的坐标原点为▲EFG的内切圆圆心。

方式二计算量适中，准确性较高

刚体A的空间姿态值组为(a，b，c，θ)，其中，(a，b，c)的计算方式与方式一相同，并且COSθ＝U·V/W，

U为刚体A旋转前的▲EFG中的任何一边与上述内切圆的交点的空间坐标，

V为刚体A旋转后的上述交点的空间坐标，

W为上述内切圆的半径的平方。

类似地，通过以上公式还可以确定刚体B的空间姿态值组(a”，b”，c”)或者(a”，b”，c”，θ”)。

步骤S318，对于步骤S314计算得到的多个图像匹配值和步骤S316计算得到的多个姿态匹配值，采用图像匹配值和/或姿态匹配值最小的刚体B的图像替换步骤S312确定的目标轮廓中的刚体A的图像。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图4是根据本发明实施例的一种视频流处理装置的结构框图。如图4所示，视频流处理装置包括确定模块42和处理模块44。下面对其进行详细描述。

确定模块42，用于在视频流中的图像帧中确定预设刚体的目标轮廓，以及处理模块44，连接到确定模块42，用于对确定模块42确定的该目标轮廓中的该预设刚体的图像进行处理。其中，该确定模块42包括：第一确定单元422，用于确定该预设刚体在该图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点，匹配单元424，连接到第一确定单元422，用于根据第一确定单元422确定的第一上顶点、第一下顶点、第一左顶点和第一右顶点，对预先确定的该预设刚体的参考特征值集进行匹配，以及第二确定单元426，连接到匹配单元424，用于根据匹配单元424所匹配的结果，并根据预先确定的该预设刚体的参考轮廓集，确定该预设刚体在该图像帧中的目标轮廓。

需要说明的是，装置实施例中描述的视频流处理装置对应于上述的方法实施例，其具体的实现过程在方法实施例中已经进行过详细说明，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频流处理方法，其特征在于，包括：

在视频流中的图像帧中确定预设刚体的目标轮廓，以及

对所述目标轮廓中的所述预设刚体的图像进行处理，

其中，在视频流中的图像帧中确定预设刚体的目标轮廓包括：

确定所述预设刚体在所述图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点，

根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值，和

根据所述多个特征匹配值中的最小值，并根据预先确定的所述预设刚体的参考轮廓集，确定所述预设刚体在所述图像帧中的目标轮廓，

其中，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值包括：

通过|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|计算每个特征匹配值，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

并且其中，(Xu，Yu)、(Xd，Yd)、(Xl，Yl)、(Xr，Yr)是所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点的坐标，(X`u，Y`u)、(X`d，Y`d)、(X`l，Y`l)、(X`r，Y`r)是所述多个参考特征值组中的一个参考特征值组中的第二上顶点、第二下顶点、第二左顶点和第二右顶点的坐标，

其中，所述参考特征值集和所述参考轮廓集的提取方式包括：

将所述预设刚体与照相机之间的距离固定，

将所述预设刚体在三维空间中按照特定角度差进行旋转，每旋转一次，提取一个参考特征值组和参考轮廓。

2.根据权利要求1所述的视频流处理方法，其特征在于，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值还包括：

通过如下公式计算每个特征匹配值：

|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|+K×D_ud/D`_ud+K×D_lr/D`_lr，

其中，K＝SQRT{[(Y`u-Y`d)×(X`r-X`l)]/[(Yu-Yd)×(Xr-Xl)]}。

3.根据权利要求2所述的视频流处理方法，其特征在于，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值还包括：

通过如下公式计算每个特征匹配值：p×|SIN_ud-SIN`_ud|+q×|SIN_lr-SIN`_lr|+s×(K×D_ud/D`_ud)+t×(K×D_lr/D`_lr)，

4.根据权利要求1至3中任一项所述的视频流处理方法，其特征在于，对所述目标轮廓中的所述预设刚体的图像进行处理包括：根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，将所述目标轮廓中的所述预设刚体的图像替换成另一图像帧中的另一预设刚体的图像，其中所述另一图像帧中的所述另一预设刚体的所述图像与所述目标轮廓中的所述预设刚体的所述图像的图像匹配值小于其他任一图像帧中的所述另一预设刚体的图像与所述目标轮廓中的所述预设刚体的所述图像的图像匹配值。

5.根据权利要求4所述的视频流处理方法，其特征在于，根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，将所述目标轮廓中的所述预设刚体的图像替换成另一图像帧中的另一预设刚体的图像还包括：确定所述另一图像帧中的所述另一预设刚体的空间姿态值组与所述目标轮廓中的所述预设刚体的空间姿态值组的姿态匹配值小于其他任一图像帧中的所述另一预设刚体的空间姿态值组与所述目标轮廓中的所述预设刚体的空间姿态值组的姿态匹配值。

6.根据权利要求5所述的视频流处理方法，其特征在于，通过以下公式确定所述目标轮廓中的所述预设刚体的空间姿态值组(a，b，c)：

(b-a×k1)²＝1+(k1)²-(Cs)²×(Y`e-k1×X`e)²/[4×S²] (1)

a²+b²+c²＝1 (2)

c＝S`/S (3)

其中，k1＝(Y`e-Y`f)/(X`e-X`f)

S为所述预设刚体旋转前的▲EFG的面积，

(X`e，Y`e)、(X`f，Y`f)为所述预设刚体旋转后的▲EFG中的E和F在所述预设刚体旋转前的▲EFG所处的平面中的投影坐标，其中所述预设刚体旋转前的▲EFG所处的平面中的坐标原点为▲EFG的内切圆圆心。

7.根据权利要求6所述的视频流处理方法，其特征在于，还通过以下公式确定所述目标轮廓中的所述预设刚体的空间姿态值θ：

COSθ＝U·V/W，其中，

V为所述预设刚体旋转后的所述交点的空间坐标，

W为所述内切圆的半径的平方。

8.一种视频流处理装置，其特征在于，包括：

确定模块，用于在视频流中的图像帧中确定预设刚体的目标轮廓，以及

处理模块，用于对所述目标轮廓中的所述预设刚体的图像进行处理，

其中所述确定模块包括：

第一确定单元，用于确定所述预设刚体在所述图像帧中的第一上顶点、第一下顶点、第一左顶点和第一右顶点，

匹配单元，用于根据所述第一上顶点、所述第一下顶点、所述第一左顶点和所述第一右顶点，并根据预先确定的所述预设刚体的参考特征值集中的多个参考特征值组，确定多个特征匹配值，和

第二确定单元，用于所述多个特征匹配值中的最小值，并根据预先确定的所述预设刚体的参考轮廓集，确定所述预设刚体在所述图像帧中的目标轮廓，

其中，所述匹配单元通过|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|计算每个特征匹配值，其中，

SIN_ud＝(Yu-Yd)/D_ud，

SIN`_ud＝(Y`u-Y`d)/D`_ud，

SIN_lr＝(Xr-Xl)/D_lr，

SIN`_lr＝(X`r-X`l)/D`_lr，

D_ud＝SQRT[(Xu-Xd)×(Xu-Xd)+(Yu-Yd)×(Yu-Yd)]，

D`_ud＝SQRT[(X`u-X`d)×(X`u-X`d)+(Y`u-Y`d)×(Y`u-Y`d)]，

D_lr＝SQRT[(Xr-Xl)×(Xr-Xl)+(Yr-Yl)×(Yr-Yl)]，

D`_lr＝SQRT[(X`r-X`l)×(X`r-X`l)+(Y`r-Y`l)×(Y`r-Y`l)]，

将所述预设刚体与照相机之间的距离固定，

9.根据权利要求8所述的视频流处理装置，其特征在于，所述匹配单元还通过如下公式计算每个特征匹配值：

|SIN_ud-SIN`_ud|+|SIN_lr-SIN`_lr|+K×D_ud/D`_ud+K×D_lr/D`_lr，

其中，K＝SQRT{[(Y`u-Y`d)×(X`r-X`l)]/[(Yu-Yd)×(Xr-Xl)]}。

10.根据权利要求9所述的视频流处理装置，其特征在于，所述匹配单元还通过如下公式计算每个特征匹配值：p×|SIN_ud-SIN`_ud|+q×|SIN_lr-SIN`_lr|+s×(K×D_ud/D`_ud)+t×(K×D_lr/D`_lr)，