CN116939293A - 植入位置的检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请提供了一种植入位置的检测方法、装置、存储介质及电子设备，该方法包括：将目标视频分为多个视频帧；对所述多个视频帧中的当前视频帧进行目标检测，确定所述当前视频帧中包含目标对象的边界框；确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置。本申请解决了视频植入广告检测植入位置时由于数据计算量大导致计算速度慢识别效率低的技术问题。

Description

植入位置的检测方法、装置、存储介质及电子设备

技术领域

本申请涉及视频处理技术领域，具体而言，涉及一种植入位置的检测方法、装置、存储介质及电子设备。

背景技术

目前，视频广告植入的位置检测主要通过计算机视觉技术来实现。这一过程首先将目标视频分解成一系列图像帧，然后在每个帧中提取有关可能广告植入位置的特征，如颜色、纹理和边缘信息。接下来，通过目标检测算法，通常使用深度学习模型，来识别可能包含广告的区域，并确定广告的位置和边界框。如果广告具有特定的标志物，还可以使用图像识别技术来检测这些标志物，以进一步确认广告的位置。

然而，现有的视频广告植入方案通常需要大量计算资源，导致计算速度相对较慢。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种植入位置的检测方法、装置、存储介质及电子设备，以至少解决视频植入广告检测植入位置时由于数据计算量大导致计算速度慢识别效率低的技术问题。

根据本申请实施例的一个方面，提供了一种植入位置的检测方法，包括：将目标视频分为多个视频帧；对所述多个视频帧中的当前视频帧进行目标检测，确定所述当前视频帧中包含目标对象的边界框；确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置。

根据本申请实施例的另一方面，还提供了一种植入位置的检测装置，包括：分割模块，被配置为将目标视频分为多个视频帧；边界检测模块，被配置为对所述多个视频帧中的当前视频帧进行目标检测，得到所述当前视频帧中包含目标对象的边界框；植入位置检测模块，被配置为确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置。

在本申请实施例中，将目标视频分为多个视频帧；对所述多个视频帧中的当前视频帧进行目标检测，确定所述当前视频帧中包含目标对象的边界框；确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置。通过上述方案，解决了视频植入广告检测植入位置时由于数据计算量大导致计算速度慢识别效率低的技术问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种植入位置的检测方法的流程图；

图2是根据本申请实施例的一种基于所检测出的植入位置进行植入的方法的流程图；

图3是根据本申请实施例的另一种检测目标视频中的植入位置的方法的流程图；

图4是根据本申请实施例的一种识别植入标识的方法的流程图；

图5是根据本申请实施例的一种基于身份信息确定待植入对象的方法的流程图；

图6是根据本申请实施例的一种基于位姿信息生成待植入对象的位姿变换矩阵的方法的流程图；

图7是根据本申请实施例的另一种基于所检测出的植入位置进行视频植入的方法的流程图；

图8是根据本申请实施例的一种植入位置的检测装置的结构示意图；

图9示出了适于用来实现本公开实施例的电子设备的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到 ：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本申请实施例提供了一种植入位置的检测方法，如图1所示，该方法包括以下步骤：

步骤S102，将目标视频分为多个视频帧。

步骤S104，对所述多个视频帧中的当前视频帧进行目标检测，确定所述当前视频帧中包含目标对象的边界框。

对所述当前视频帧进行目标检测；获取所述当前视频帧的上一视频帧，并对所述上一视频帧进行目标检测；基于所述上一视频帧的目标检测结果以及所述当前视频帧的目标检测结果，来确定所述当前视频帧中包含所述目标对象的所述边界框。

例如，利用稠密光流估计所述当前视频帧的上一视频帧的每个像素在所述当前视频帧中的位移；通过所述位移，推断出所述目标对象的形状变化和运动状态，并基于所述形状变化和所述运动状态进行所述目标检测。

本实施例通过在两个不同的时间点（当前帧和上一帧）进行目标检测，可以提高目标检测的准确性。这种多帧检测策略可以减少单一帧中由于遮挡、光照变化或噪声等因素引起的误检或漏检。通过将两个帧的检测结果进行比较，可以更可靠地确定目标对象的边界框。

步骤S106，确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置。

首先，将所述直线方程参数转换为参数矩阵，其中，所述参数矩阵用于描述所述边界框内各个像素点的位置。例如，分别将所述各个像素点的坐标代入所述直线的直线方程中，并分别计算所述各个像素点映射到所述直线上的坐标，得到所述各个像素点相对于所述直线的位置信息；基于所述位置信息，构建所述参数矩阵，其中，所述参数矩阵中的元素对应于所述各个像素点的位置信息。

本实施例通过将边界框的边线建模为直线，并计算直线方程参数，可以更精确地确定植入位置。这样，可以对待植入对象的位置进行更准确的匹配，以提高植入效果的质量和真实感。此外，通过将直线方程参数转换为参数矩阵，系统能够适应不同场景中的植入位置检测。这可以帮助系统在各种背景和环境条件下工作，并适应各种边界框的形状和大小。

接着，基于所述参数矩阵来检测所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置。例如，对所述参数矩阵中的像素点进行筛选，将满足预设条件的像素点标记为候选位置；将所述候选位置和待植入对象进行特征匹配，具体地，将所述待植入对象的像素位置与所述候选位置进行位置匹配；在所述位置匹配的情况下，分别提取所述待植入对象和所述候选位置的像素点的特征描述子，并基于所述特征描述子来确定所述待植入对象的特征属性和所述候选位置的特征属性是否匹配。然后，确定所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置。

本实施例基于参数矩阵的植入位置检测可以对像素点进行筛选，并将仅符合预设条件的像素点标记为候选位置，从而有助于减少误报，提高系统的可靠性。此外，通过将待植入对象的像素位置与候选位置进行位置匹配，并提取它们的特征描述子，可以更可靠地确定匹配度，从而有助于确保植入位置与待植入对象的特征属性相匹配，进而提高植入的真实感。最后，本实施例不仅适用于不同类型的待植入对象，还适用于多种背景条件下的植入。它可以应用于虚拟对象的植入，例如虚拟角色、物体或效果，以及多种不同的视频背景。

实施例2

本申请实施例提供了一种基于所检测出的植入位置进行视频植入的方法，如图2所示，该方法包括以下步骤：

步骤S202，检测植入位置。

具体的检测方法参考实施例1，此处不再赘述。

步骤S204，在植入位置设置植入标识。

植入标识中可以携带身份信息和位姿信息等，以确保准确的植入操作，其中，位姿信息包括朝向、位置、大小等信息，身份信息包括身份识别码标志和颜色组合。

如图3所示，设置植入标识可以包括如下步骤：

步骤S2042，设置身份信息和位姿信息。

植入标识的核心元素包括矩形识别框、朝向标志、身份识别码标志和颜色组合。首先，矩形识别框作为最外层的标识，用于明确指示植入位置。它通常由毗邻的黑色外框和红色内框组成，这种外观设计有助于在复杂的环境和光线条件下提供稳定的识别效果。矩形识别框的大小可以是不同的，用于指示植入位置的大小。在矩形识别框的内部，使用朝向标志来表示待植入对象的旋转角度或方向。这些朝向标志可以采用等腰直角三定点排布的三个矩形点标识，以提供角度信息。

身份识别码标志位于矩形识别框内部，并采用颜色标识组合的形式。这些颜色的排列组合用于携带身份信息，每种颜色组合对应不同的身份或待植入对象。当计算机识别并排列这些颜色时，通过命令信息来决定植入的具体操作，如产品的种类、植入的遮罩类型以及合成方式等。

本实施例通过使用四种颜色的排列组合，可以生成大量不同的命令，以满足各种植入需求。这种设计不仅使识别和操作更具灵活性，还能够轻松应对大量不同的植入要求。本实施例为了确保植入标识在各种情况下都能够被轻松识别，将其设计保持简单明了。即使在低分辨率或像素有限的情况下，基本的符号或形状，如正方形，也能够清晰识别。这有助于保持植入标识的清晰性和准确性，使其在视频植入应用中发挥关键作用。通过这种改进的植入标识设计，可以更灵活地控制植入操作，同时确保标识的稳定性和可识别性。

步骤S2044，设置形状识别标志、颜色模式标志和动作控制标志。

在另外一些实施例中，植入标识还可以包括形状识别标志、颜色模式标志和动作控制标志。形状识别标志用于指示植入位置；颜色模式标志，用于指示植入对象的特定属性或效果；动作控制标志用于指示植入的动作和行为。当检测到这些标志时，将赋予命令信息，该命令信息直接决定了植入的具体操作，例如产品的种类、植入的遮罩类型、合成的方式等。

形状识别标志是一种以图形形状来表示植入位置的标识方式。这些形状可以采用各种不同的几何图形，如正方形、圆形、星形、三角形等。这些形状通常会在视频帧中的特定位置或区域绘制，以指示植入的位置。形状识别标志的排列方式可以根据需要而异。例如，可以选择将多个形状排列成一个特定的几何模式，如等腰直角三角形、正方形网格等。

颜色模式标志是一种通过颜色编码来表示植入对象的特定属性或效果的标识方式。每种颜色或颜色组合可以对应于不同的属性或效果，以便植入系统能够根据识别的颜色模式来采取相应的操作。

颜色模式标志通常由一个或多个颜色组成，这些颜色可以按照特定规则排列或组合。例如，不同颜色的排列组合可以表示不同的植入效果，如遮罩类型、透明度、颜色过滤等。这些颜色组合的选择和编码规则应该根据具体应用来确定。不同颜色或颜色组合可以表示不同的含义。例如，红色可能表示遮罩效果，绿色可能表示透明效果，蓝色可能表示颜色滤镜效果等。根据颜色模式标志的解释，植入系统可以执行相应的操作，从而实现不同的植入效果。

动作控制标志是一种用于指示植入对象的动作和行为的标识方式。它可以采用文本、符号、图形等形式来表示不同的动作，例如平移、旋转、缩放、淡入淡出等。动作控制标志可以包括文本标签或符号，以明确指示植入对象的具体动作。例如，"平移"符号可以表示对象的平移动作，"淡入"符号可以表示淡入效果。动作控制标志也可以使用图形示例，例如箭头图标、圆圈图标等，以更形象地表示动作。不同的图形示例可以对应不同的动作类型。多个动作控制标志可以组合在一起，以实现复杂的动作序列。

步骤S206，识别植入标识。

识别植入标识的方法如图4所示，包括以下步骤：

步骤S2062，处理目标视频。

从目标视频中获取预设的植入标识。将目标视频分为多个视频帧，并将每个视频帧转换为灰度图像，以便后续处理。

步骤S2064，高斯模糊和阈值处理。

针对每个视频帧的灰度图像，应用预设的模糊核大小进行高斯模糊处理，然后对模糊后的图像进行阈值化处理，将其转换为二值图像。这有助于减少图像中的噪声，并突出植入标识的轮廓。

步骤S2066，提取轮廓和图像识别。

在二值图像中，根据预设的跟踪图提取与标识对应的轮廓。基于轮廓内的图像信息，进行图像识别来解析植入标识的各个部分，包括身份信息、位姿信息等。

在一些实施例中，还可以识别形状识别标志、颜色模式标志和动作控制标志。这些信息并不是必要的，植入标识中可以携带也可以不携带。

形状识别标志是通过图形形状来表示植入位置的标识方式。在视频帧中，这些形状通常以特定的几何图形（如正方形、圆形、星形、三角形等）绘制在特定位置或区域。为了识别这些形状，可以使用形状检测算法，该算法能够检测出特定形状的边界或特征。一旦识别到形状，系统可以确定植入的位置。形状识别标志的排列方式可以根据应用需求而具体设置。

颜色模式标志是通过颜色编码来表示植入对象的特定属性或效果的标识方式。每种颜色或颜色组合可以对应于不同的属性或效果。要识别颜色模式标志，可以使用颜色识别算法，检测图像中的特定颜色或颜色组合。根据颜色模式标志的解释，系统可以确定植入对象的属性或效果。颜色模式标志通常由一个或多个颜色组成，这些颜色可以按照特定规则排列或组合。

动作控制标志用于指示植入对象的动作和行为。它可以采用文本、符号或图形形式。可以使用文本或图形识别算法，以检测文本标签、符号或图形示例。根据识别到的动作控制标志，系统可以执行相应的植入动作。在一些实施例中，多个动作控制标志可以组合在一起，以实现复杂的动作序列。

步骤S208，基于身份信息确定待植入对象。

如图5所示，基于身份信息确定待植入对象的方法包括以下步骤：

步骤S2080，提取多个跟踪点。

从植入标识的轮廓内提取多个跟踪点。这些跟踪点通常位于轮廓内的关键位置，其可以是标志性的特征点。通过定位和提取这些跟踪点，系统能够获得轮廓内的关键信息。这些跟踪点位于标识内部的特定位置，可以构成一种特定的几何形状，例如三角形、矩形等。

步骤S2082，计算中心点。

利用这些提取出的跟踪点计算轮廓内的图像的中心点。通过测量这些点相对于轮廓的位置，可以准确计算出中心点的坐标。这个中心点的位置信息对于后续的身份信息解析非常重要。

步骤S2084，计算角度。

通过计算这些跟踪点相对于中心点的角度，可以获得一组角度信息。这些角度信息描述了跟踪点的排列方式和相对方向，可以帮助确定身份信息。例如，如果跟踪点呈等边三角形排列，相关角度信息将指示三角形的方向。

步骤S2086，颜色组合分析。

身份识别码标志内部通常包含不同颜色的组合。计算机可以通过对颜色的检测和排列组合来解析这些颜色信息。不同颜色组合可能对应不同的身份信息，这些信息可以用于区分不同的待植入对象。

步骤S2088，确定待植入对象。

通过整合以上步骤得到的信息，包括跟踪点的位置、中心点的位置、角度信息和颜色组合，植入系统可以准确地确定待植入对象的身份。

本实施例以高度准确的方式确定待植入对象的身份，这有助于减少错误识别的风险，从而提高了系统的可靠性和安全性。其次，该方法非常灵活，适用于不同类型的标识和植入标志，因为它依赖于轮廓内的特征点和颜色组合。最后，本实施例通过整合位置、角度和颜色等多个信息源，提供了更全面的身份信息，有助于更准确地确定对象身份。它还具有广泛的适用性，可应用于计算机视觉、图像处理和自动识别领域，有助于提高各种领域中身份信息识别任务的效率和可靠性。

步骤S210，基于位姿信息生成待植入对象的位姿变换矩阵。

如图6所示，基于位姿信息生成待植入对象的位姿变换矩阵的方法包括以下步骤：

步骤S2102，生成平移变换矩阵。

基于待植入对象的位置信息，可以生成用于将对象平移到植入位置的平移变换矩阵。平移变换矩阵描述了对象应该在水平和垂直方向上移动的距离。

步骤S2104，生成旋转变换矩阵。

基于待植入对象的旋转角度，可以生成用于将对象按照指定角度进行旋转的旋转变换矩阵。旋转变换矩阵描述了如何绕着某个中心点旋转对象，以匹配目标角度。

步骤S2106，生成缩放变换矩阵。

基于待植入对象的尺寸信息，可以生成用于将对象按照指定尺寸进行缩放的缩放变换矩阵。缩放变换矩阵描述了对象在水平和垂直方向上应该缩放的比例。

步骤S2108，组合位姿变换矩阵。

将生成的平移、旋转和缩放变换矩阵组合在一起，以形成完整的位姿变换矩阵。这个位姿变换矩阵包含了所有需要对待植入对象进行的变换信息，使其匹配植入位置、旋转和尺寸。

步骤S212，基于位姿变换矩阵来调整待植入对象，并将调整后的待植入对象植入到所述目标视频中。

使用生成的位姿变换矩阵，将待植入对象进行调整。具体地，根据位姿变换矩阵的描述，对待植入对象进行平移、旋转和缩放操作，以使其适应目标视频中的指定位置和姿态。之后，将调整后的待植入对象植入到目标视频中。例如将待植入对象叠加到目标视频帧上，并根据植入标识的位置信息进行精确定位。这一步骤可以在每个视频帧上重复执行，以实现多个植入效果。

在植入之后，还可以进行融合处理。例如，获取所述多个视频帧中存在所述植入标识的当前视频帧；对所述当前视频帧和调整后的所述待植入对象进行融合处理，以将调整后的所述待植入对象植入到所述目标视频中。例如，基于所述当前视频帧和调整后的所述待植入对象，得到透视变换信息，并基于所述透视变换信息对调整后的所述待植入对象进行透视变换；将透视变换后的所述待植入对象叠加到所述当前视频帧中所述植入标识指示的植入位置上，并基于所述当前视频帧来调整叠加后的所述待植入对象的透明度；对叠加后的所述待植入对象的边界进行边缘平滑处理。

通过以上步骤，视频植入系统能够根据植入标识中的位姿信息生成适当的位姿变换矩阵，确保待植入对象准确地植入到目标视频中，并匹配植入位置、旋转和尺寸。

实施例3

本申请实施例提供了另一种视频植入方法，如图7所示，该方法包括以下步骤：

步骤S700，检测目标视频中的植入位置，并设置植入标识。

1）将目标视频分帧。

将目标视频分成多个视频帧，为后续的目标检测和植入位置确定提供清晰的数据基础。

2）多帧目标检测。

在每个视频帧中进行目标检测，以确定目标对象的位置。这一步骤与传统的单帧检测不同，采用了多帧检测策略，包括当前帧和上一帧。通过对比这两个时间点的检测结果，能够提高目标检测的准确性，减少受遮挡、光照变化或噪声等因素影响的误检或漏检情况。

3）直线建模和参数计算。

在目标检测后，进一步处理边界框的各个边，通过直线建模确定它们的位置。这些直线方程参数被转换成参数矩阵，以描述边界框内各个像素点的位置关系，从而有助于更精确地确定植入位置，提高植入效果的质量和真实感。

4）植入位置检测。

在得到参数矩阵后，利用它来检测当前视频帧中是否存在适合植入待植入对象的位置。首先，筛选符合预设条件的像素点，并标记它们为候选位置。接着，通过位置匹配和特征描述子提取，确定候选位置与待植入对象的匹配度。这有助于减少误报，提高系统的可靠性，确保植入位置与待植入对象的特征属性相匹配，从而增强植入的真实感。

5）设置植入标识。

首先，确定待植入对象的具体对象类型，例如虚拟角色、产品标志、动画效果等。不同类型的待植入对象需要不同的检测和匹配策略。然后，定义植入标识的外观，包括颜色、形状、大小、纹理等。这些外观特征将用于后续的特征匹配，以确定标识在视频帧中的位置。

步骤S702，从目标视频中获取预设的植入标识，其中，所述植入标识用于标识待植入对象在所述目标视频中的植入位置。

将所述目标视频分为多个视频帧，并将所述多个视频帧中的每个视频帧转换为灰度图；基于预设的模糊核大小对所述灰度图进行高斯模糊处理，并对高斯模糊处理后的所述灰度图进行阈值化处理，以将高斯模糊处理后的所述灰度图转换为二值图像；基于预设的跟踪图从所述二值图像中提取与所述跟踪图相应的轮廓，并基于所述轮廓内的图像识别植入标识。

本实施例通过将目标视频分为多个视频帧并将它们转换为灰度图，然后进行高斯模糊和阈值化处理，可以减少视频帧中的噪音和干扰，使植入标识的提取更加稳定。基于预设的跟踪图从二值图像中提取轮廓，有助于识别植入标识。

步骤S704，基于所述植入标识中携带的身份信息确定所述待植入对象，并基于所述植入标识中携带的位姿信息生成所述待植入对象的位姿变换矩阵。

首先，基于所述植入标识中携带的身份信息确定所述待植入对象。例如，从所述轮廓内的图像中提取多个跟踪点，并利用所述多个跟踪点在所述轮廓内的图像中的位置，计算所述轮廓内的图像的中心点；基于所述多个跟踪点的角度和所述中心点的角度，对所述多个跟踪点和所述中心点进行连线，得到待填充的区域；基于所述待填充的区域的几何形状和所述中心点的颜色组合确定所述身份信息，并基于所述身份信息确定所述待植入对象。

本实施例考虑了植入标识的几何特征和颜色特征，这有助于准确识别待植入对象的身份，确保所选对象与视频环境协调一致，从而提高了植入效果的真实性。其次，本实施例还有助于精确定位待植入对象的位置。通过计算待填充区域的几何形状，结合中心点的颜色信息，可以更精确地确定对象的位置，确保待植入对象准确地放置在视频中的预期位置上，避免了位置偏差和不协调的问题。总之，本实施例有助于提高植入效果的真实感。通过综合考虑颜色、形状、角度等信息，确保待植入对象与视频环境的视觉特征相符，使植入对象看起来更加自然和真实，从而增强了植入效果，使其更好地融入视频场景中。

接着，基于所述植入标识中携带的位姿信息生成所述待植入对象的位姿变换矩阵。例如，基于所述位姿信息，确定所述待植入对象的位置、旋转角度和尺寸；基于所述待植入对象的位置、旋转角度和尺寸，来确定所述位姿变换矩阵。

本实施例通过综合考虑位置、旋转角度和尺寸信息，精确地定义了待植入对象在目标视频中的外观和位置。这确保了植入的对象与视频环境协调一致，不会出现不协调、扭曲或不自然的外观。此外，生成位姿变换矩阵的过程是可编程和可控的。通过灵活地修改位置、旋转角度和尺寸参数，可以随时调整植入对象，以适应不同的视频场景或创意要求，而无需重新创建或编辑对象。这提供了高度的定制性和灵活性，确保了植入对象的外观和位置可以根据需要进行调整，而不必重新处理整个植入过程。综上，基于位姿信息生成位姿变换矩阵的方法具有精确性、可定制性、自动化处理的优势，这些优势有助于确保植入对象与目标视频的协调一致，同时提高了处理效率和可控性。

具体地，基于所述待植入对象的位置、旋转角度和尺寸，来确定所述位姿变换矩阵，可以包括：基于所述待植入对象的位置，生成用于将所述待植入对象平移到所述位置的平移变换矩阵；基于所述待植入对象的旋转角度，生成用于将所述待植入对象按照所述旋转角度进行旋转的旋转变换矩阵；基于所述待植入对象的尺寸，生成用于将所述待植入对象按照所述尺寸进行缩放的缩放变换矩阵；其中，所述位姿变换矩阵包括所述平移变换矩阵、所述旋转变换矩阵和所述缩放变换矩阵。

本实施例通过使用位姿变换矩阵来对待植入对象进行精确控制，包括平移、旋转和缩放变换。这些精确的变换确保了植入对象与视频环境的协调一致，提高了植入效果的真实感。矩阵表示方式不仅使数学计算高效，还提供了灵活性和可定制性，可以根据不同需求进行快速调整。同时，位姿变换矩阵的组合形式确保了变换过程的可控性和可预测性，提高了处理的准确性和一致性。本实施例在提高植入效果的协调性、精确性和处理效率方面具有显著优势。

在一些实施例中，待植入对象的不同部分可能需要具有不同的尺度，包括物体的局部缩放或变形。为了实现这种效果，可以将位姿变换矩阵进行非均匀尺度变换，允许不同的尺度因子在不同轴上应用。例如，对于非均匀尺度变换，可以引入各向异性的尺度因子。有时还需要将待植入对象进行扭曲，使其能够适应特定的场景或形状。通过应用扭曲变换，该位姿变换矩阵允许待植入对象在其表面上发生非线性形变，以匹配目标场景。例如，可以在待植入对象的表面上引入非线性形变。这在虚拟角色的肌肉模拟、变形物体的形态调整等情况下非常有用。扭曲可以通过引入非线性变换来实现，例如Bezier曲线或B样条曲线，以在待植入对象的不同部分引入局部形状变化。

此外，在位姿变换中，还需要考虑待植入对象的材质和纹理的变化。不仅仅是待植入对象的几何形状发生变化，还需要考虑颜色、透明度、反射率等材质属性的变化。将材质属性与位姿变换相结合来生成位姿变换矩阵，以实现逼真的外观。

在一些实施例中，根据场景的要求，可以考虑自适应的位姿变换方式。位姿变换矩阵可以根据待植入对象与周围环境的互动和约束进行调整。例如，在虚拟角色与真实世界物体互动时，位姿可以动态调整，以便更好地模拟互动效果。如果涉及到相机视角的变化，还需要考虑相机参数，例如内参和外参。这些参数可以与位姿变换矩阵相结合，以确保待植入对象在不同视角下的逼真呈现。

步骤S706，基于所述位姿变换矩阵来调整所述待植入对象，并将调整后的所述待植入对象植入到所述目标视频中。

获取所述多个视频帧中存在所述植入标识的当前视频帧；对所述当前视频帧和调整后的所述待植入对象进行融合处理，以将调整后的所述待植入对象植入到所述目标视频中。例如，基于所述当前视频帧和调整后的所述待植入对象，得到透视变换信息，并基于所述透视变换信息对调整后的所述待植入对象进行透视变换；将透视变换后的所述待植入对象叠加到所述当前视频帧中所述植入标识指示的植入位置上，并基于所述当前视频帧来调整叠加后的所述待植入对象的透明度；对叠加后的所述待植入对象的边界进行边缘平滑处理。

本实施例通过获取存在植入标识的当前视频帧，可以确保植入对象的准确放置在视频的特定位置上，从而使其与场景协调一致，增强了植入效果的真实感。其次，透视变换信息的引入允许考虑不同视角下物体的形变和投影效果，使待植入对象在视频中的投影看起来更加真实和协调。此外，透明度的调整可确保植入对象与背景融合自然，不引起不协调的感觉。最后，边缘平滑处理有助于消除植入对象与背景之间的硬边界，使其过渡更加平滑，进一步提高了植入效果的真实性和协调性。综上，这些效果共同作用，提高了植入对象与目标视频环境的整体一致性，增强了植入效果。

实施例4

本申请实施例提供了一种植入位置的检测装置，如图8所示，包括分割模块82、边界检测模块84和植入位置检测模块86。

分割模块82被配置为将目标视频分为多个视频帧；边界检测模块84被配置为对所述多个视频帧中的当前视频帧进行目标检测，得到所述当前视频帧中包含目标对象的边界框；植入位置检测模块86被配置为确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置。其中，所述植入位置检测模块86还被配置为：将所述直线方程参数转换为参数矩阵，其中，所述参数矩阵用于描述所述边界框内各个像素点的位置；基于所述参数矩阵来检测所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置。

需要说明的是：上述实施例提供的植入位置的检测装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的植入位置的检测装置与植入位置的检测方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再赘述。

实施例5

图9示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图9示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，该电子设备包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，电子设备还可以包括AI( ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现上述方法实施例的各个步骤等。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种植入位置的检测方法，其特征在于，包括：

将目标视频分为多个视频帧；

对所述多个视频帧中的当前视频帧进行目标检测，确定所述当前视频帧中包含目标对象的边界框；

确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置；

其中，基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置包括：将所述直线方程参数转换为参数矩阵，其中，所述参数矩阵用于描述所述边界框内各个像素点的位置；基于所述参数矩阵来检测所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置。

2.根据权利要求1所述的方法，其特征在于，对所述多个视频帧中的当前视频帧进行目标检测，确定所述当前视频帧中包含目标对象的边界框，包括：

对所述当前视频帧和所述当前视频帧的上一视频帧进行目标检测；

基于所述当前视频帧和所述当前视频帧的上一视频帧的目标检测结果，来确定所述当前视频帧中包含所述目标对象的所述边界框。

3.根据权利要求2所述的方法，其特征在于，对所述当前视频帧和所述当前视频帧的上一视频帧进行目标检测，包括：

利用稠密光流估计所述当前视频帧的上一视频帧的每个像素在所述当前视频帧中的位移；

通过所述位移，推断出所述目标对象的形状变化和运动状态，并基于所述形状变化和所述运动状态进行所述目标检测。

4.根据权利要求1所述的方法，其特征在于，将所述直线方程参数转换为参数矩阵，包括：

分别计算所述各个像素点映射到所述直线上的坐标，得到所述各个像素点相对于所述直线的位置信息；

基于所述位置信息，构建所述参数矩阵，其中，所述参数矩阵中的元素对应于所述各个像素点的位置信息。

5.根据权利要求1所述的方法，其特征在于，基于所述参数矩阵来检测所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置，包括：

对所述参数矩阵中的像素点进行筛选，将满足预设条件的像素点标记为候选位置；

将所述候选位置和所述待植入对象进行特征匹配，以确定所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置。

6.根据权利要求5所述的方法，其特征在于，将所述候选位置和所述待植入对象进行特征匹配，包括：

将所述待植入对象的像素位置与所述候选位置进行位置匹配；

在所述位置匹配的情况下，分别提取所述待植入对象和所述候选位置的像素点的特征描述子，并基于所述特征描述子来确定所述待植入对象的特征属性和所述候选位置的特征属性是否匹配。

7.根据权利要求1所述的方法，其特征在于，在检测到所述植入位置之后，所述方法还包括：

从所述目标视频中获取与所述植入位置对应的预设的植入标识，其中，所述植入标识用于标识待植入对象在所述目标视频中的植入位置；

基于所述植入标识中携带的身份信息确定所述待植入对象，并基于所述植入标识中携带的位姿信息生成所述待植入对象的位姿变换矩阵；

基于所述位姿变换矩阵来调整所述待植入对象，并将调整后的所述待植入对象植入到所述目标视频中。

8.一种植入位置的检测装置，其特征在于，包括：

分割模块，被配置为将目标视频分为多个视频帧；

边界检测模块，被配置为对所述多个视频帧中的当前视频帧进行目标检测，得到所述当前视频帧中包含目标对象的边界框；

植入位置检测模块，被配置为确定所述边界框的各个边所在的直线，并基于所述直线对应的直线方程参数来检测所述当前视频帧中是否存在能够植入待植入对象的植入位置；

其中，所述植入位置检测模块还被配置为：将所述直线方程参数转换为参数矩阵，其中，所述参数矩阵用于描述所述边界框内各个像素点的位置；基于所述参数矩阵来检测所述当前视频帧中是否存在能够植入所述待植入对象的所述植入位置。

9.一种电子设备，其特征在于，包括：

存储器，被配置为存储计算机程序；

处理器，被配置为在所述程序运行时，使得计算机执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有程序，其特征在于，在所述程序运行时，使得计算机执行如权利要求1至7中任一项所述的方法。