CN113766147B - 视频中嵌入图像的方法、平面预测模型获取方法和装置 - Google Patents

视频中嵌入图像的方法、平面预测模型获取方法和装置 Download PDF

Info

Publication number
CN113766147B
CN113766147B CN202011004707.1A CN202011004707A CN113766147B CN 113766147 B CN113766147 B CN 113766147B CN 202011004707 A CN202011004707 A CN 202011004707A CN 113766147 B CN113766147 B CN 113766147B
Authority
CN
China
Prior art keywords
plane
image
mask
coordinate system
plane mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011004707.1A
Other languages
English (en)
Other versions
CN113766147A (zh
Inventor
周芳汝
安山
杨玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011004707.1A priority Critical patent/CN113766147B/zh
Priority to US18/246,132 priority patent/US20230368324A1/en
Priority to PCT/CN2021/092267 priority patent/WO2022062417A1/zh
Priority to EP21870805.5A priority patent/EP4207745A1/en
Publication of CN113766147A publication Critical patent/CN113766147A/zh
Application granted granted Critical
Publication of CN113766147B publication Critical patent/CN113766147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Processing (AREA)

Abstract

本公开提出一种视频中嵌入图像的方法、平面预测模型获取方法和装置，涉及图像处理领域。其中的方法包括：将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码，其中，所述平面预测模型是利用带有平面检测框和平面掩码的标签的训练图像对深度学习模型训练得到的；将欲嵌入图像嵌入到预测的视频帧图像的平面掩码。通过自动寻找各个视频帧图像中广泛存在的平面掩码，将欲嵌入图像嵌入到平面掩码，不仅使图像自动地和自然地融合到视频中，而且使图像更广泛地融合到视频中。

Description

视频中嵌入图像的方法、平面预测模型获取方法和装置
技术领域
本公开涉及图像处理领域，特别涉及一种视频中嵌入图像的方法、平面预测模型获取方法和装置。
背景技术
视频中的广告是效果较好的宣传手段之一。
视频中插入广告视频，是在原视频中选取一个时刻，把做好的广告视频插入到原视频中。插播广告视频时，用户完全看不到原视频，影响用户的观看体验。
视频中张贴广告图像，是把广告图像张贴到每帧视频图像的角落区域，用户观看原视频时，在视频播放界面的角落弹出一个广告图像。播放广告图像的同时用户可以观看原视频，但弹出的广告图像可能遮挡原视频的关键内容，而且广告图像和视频融合的不自然。
视频中嵌入广告图像，是将广告图像嵌入到视频帧图像中的一定位置，将广告图像与视频融为一体。在一些相关技术中，对视频进行检测，发现其中特定的物体或已经存在的广告等目标，将这些目标替换为广告图像。还有一些相关技术，在一个视频帧图像中标注出广告植入位置，对其他视频帧图像采用特征点匹配的方式，对该广告植入位置进行跟踪，在跟踪到的位置植入广告。
发明人发现，视频中嵌入广告图像的相关技术，其寻找广告图像嵌入位置的限制比较多，造成很多时候在视频中找不到合适的嵌入位置，例如，在视频中难以寻找到特定的可替换目标，或者，在视频中无法跟踪到预先标注的广告植入位置，从而使得广告图像难以嵌入到视频中。
发明内容
本公开实施例通过自动寻找各个视频帧图像中广泛存在的平面掩码，将欲嵌入图像嵌入到平面掩码，不仅使图像自动地和自然地融合到视频中，而且使图像更广泛地融合到视频中。此外，还能自动寻找各个视频帧图像中的平面掩码中的关键点，将欲嵌入图像嵌入到关键点相应的位置区域，提升图像与视频的融合效果。
本公开一些实施例提出一种视频中嵌入图像的方法，包括：
将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码，其中，所述平面预测模型是利用带有平面检测框和平面掩码的标签的训练图像对深度学习模型训练得到的；
将欲嵌入图像嵌入到预测的视频帧图像的平面掩码。
在一些实施例中，所述平面预测模型是利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型训练得到的；将一段视频的视频帧图像输入平面预测模型之后，获取预测的视频帧图像的平面掩码以及其中的4个关键点；所述将欲嵌入图像嵌入到预测的视频帧图像的平面掩码包括：将欲嵌入图像的4个顶点与预测的视频帧图像的平面掩码中的4个关键点对齐，并将欲嵌入图像嵌入到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域。
在一些实施例中，训练图像中的平面掩码中4个关键点的标注信息通过以下方法获得：
将训练图像的平面掩码从像素坐标系转换到平面坐标系；
在平面坐标系下确定平面掩码的边界线；
基于平面掩码的边界线，在平面坐标系下确定平面掩码的内接矩形；
将平面掩码的内接矩形的4个顶点从平面坐标系转换到像素坐标系。
在一些实施例中，将训练图像的平面掩码从像素坐标系转换到平面坐标系包括：
将训练图像的平面掩码从像素坐标系转换到世界坐标系；
将训练图像的平面掩码从世界坐标系转换到平面坐标系。
在一些实施例中，在平面坐标系下确定平面掩码的边界线包括：
在平面坐标系下对平面掩码进行边缘检测；
基于检测到的平面掩码的边缘，在平面坐标系下对平面掩码进行霍夫直线检测；
确定检测到的直线是平面掩码的边界线的概率；
基于所述概率，从检测到的直线中确定平面掩码在平面坐标系下的一条边界线。
在一些实施例中，确定检测到的直线是平面掩码的边界线的概率包括：
根据直线两侧对称区域的差异信息，确定检测到的直线是平面掩码的边界线的概率，其中，直线两侧对称区域的差异越大，该直线是平面掩码的边界线的概率越大。
在一些实施例中，从检测到的直线中确定平面掩码在平面坐标系下的一条边界线包括：
从检测到的直线中选择具有垂直关系和平行关系的直线对；
在寻找到直线对的情况下，将概率和最高的直线对中的概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线；
在未寻找到直线对的情况下，将概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线。
在一些实施例中，确定平面掩码在平面坐标系下的边界线还包括以下至少一个步骤：
在边缘检测之前，在平面坐标系下对平面掩码进行中值滤波；
在霍夫直线检测之后，基于直线的斜率对检测到的直线进行合并。
在一些实施例中，在平面坐标系下确定平面掩码的内接矩形包括：在平面坐标系下确定与所述边界线平行的平面掩码的内接矩形，所述内接矩形包括最大内接正方形。
在一些实施例中，所述将欲嵌入图像嵌入到预测的视频帧图像的平面掩码包括：
根据欲嵌入图像的4个顶点与预测的视频帧图像的平面掩码中的4个关键点的映射关系，确定欲嵌入图像到预测的视频帧图像的平面掩码的变换矩阵；
基于所述变换矩阵，将欲嵌入图像的每个前景点变换到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域。
在一些实施例中，所述深度学习模型采用基于标注信息中的4个关键点和进行对齐操作后的预测的4个关键点所确定的损失函数；
其中，对预测的4个关键点进行对齐操作包括：
基于标注信息中的4个关键点和预测的4个关键点，确定变换比例；
根据所述变换比例，对预测的4个关键点进行大小变换；
基于标注信息中的4个关键点，确定第一位置变换信息；
基于预测的4个关键点，确定第二位置变换信息；
将大小变换后的预测的4个关键点分别加上第一位置变换信息并减去第二位置变换信息，以完成对预测的4个关键点的对齐操作。
在一些实施例中，所述深度学习模型包括区域卷积神经网络。
在一些实施例中，所述欲嵌入图像包括企业标识图像、产品图像。
本公开一些实施例提出一种平面预测模型获取方法，包括：
对训练图像中的平面检测框、平面掩码以及平面掩码中4个关键点进行标注；
利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型进行训练；
将训练后的深度学习模型确定为平面预测模型。
在一些实施例中，对训练图像中的平面掩码中4个关键点进行标注包括：
将训练图像的平面掩码从像素坐标系转换到平面坐标系；
在平面坐标系下确定平面掩码的边界线；
基于平面掩码的边界线，在平面坐标系下确定平面掩码的内接矩形；
将平面掩码的内接矩形的4个顶点从平面坐标系转换到像素坐标系。
本公开一些实施例提出一种视频中嵌入图像的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述的视频中嵌入图像的方法。
本公开一些实施例提出一种平面预测模型获取装置，其特征在于，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述的平面预测模型获取方法。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例所述的视频中嵌入图像的方法或任一个实施例所述的平面预测模型获取方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一些实施例的平面预测模型获取方法的流程示意图。
图2示出本公开另一些实施例的平面预测模型获取方法的流程示意图。
图3示出了本公开一些实施例的深度学习模型的示意图。
图4示出本公开一些实施例的对训练图像中的平面掩码中4个关键点进行标注的流程示意图。
图5示出了本公开一些实施例的三个坐标系的示意图。
图6示出本公开一些实施例的视频中嵌入图像的方法的流程示意图。
图7示出本公开另一些实施例的视频中嵌入图像的方法的流程示意图。
图8示出本公开一些实施例的视频中嵌入图像的装置的示意图。
图9示出本公开一些实施例的平面预测模型获取装置的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
除非特别说明，否则，本公开中的“第一”“第二”等描述用来区分不同的对象，并不用来表示大小或时序等含义。
本公开实施例通过平面预测模型，自动寻找各个视频帧图像中广泛存在的平面掩码，将欲嵌入图像嵌入到平面掩码，不仅使图像自动地和自然地融合到视频中，而且使图像更广泛地融合到视频中。
图1示出本公开一些实施例的平面预测模型获取方法的流程示意图。该平面预测模型能够预测图像中的平面掩码。
如图1所示，该实施例的方法包括：
在步骤110，对训练图像中的平面检测框、平面掩码进行标注。
可以自行对训练图像中的平面进行检测框和掩码进行标注，也可以获取已经标注好平面的检测框和掩码的训练图像的现成数据集，例如，PlaneRCNN数据集，其不仅可以提供带有平面检测框和平面掩码的标签的训练图像，还可以提供训练图像相关的相机参数，相机坐标系到世界坐标系的旋转平移矩阵(Rotation/translation matrix)。
在步骤120，利用带有平面检测框和平面掩码的标签的训练图像对深度学习模型进行训练，使得深度学习模型具备图像的平面检测框和平面掩码的学习能力。
深度学习模型包括区域卷积神经网络(region-based Convolutional NeuralNetworks，RCNN)，例如为MaskRCNN网络，是RCNN的一种。MaskRCNN网络等深度学习模型包括图像的平面检测框回归的分支和平面掩码回归的分支。平面检测框回归的分支包括平面检测框回归，还可以包括语义类别回归。带有平面检测框的标签的训练图像对平面检测框回归的分支进行训练，带有平面掩码的标签的训练图像对平面掩码回归的分支进行训练。
在训练过程中，根据各个训练图像的标注的平面检测框的标签与模型预测的平面检测框之间的损失以及标注的平面掩码的标签与模型预测的平面掩码之间的损失确定总损失，根据总损失更新深度学习模型的参数，迭代地执行该训练过程，直到满足训练终止条件，例如，达到预设的迭代次数，或者，总损失小于一定的值等。
在步骤130，将训练后的深度学习模型确定为平面预测模型。平面预测模型能够预测图像的平面检测框和平面检测框中的平面掩码。
图2示出本公开另一些实施例的平面预测模型获取方法的流程示意图。该平面预测模型不仅能够预测图像中的平面掩码，还能够预测平面掩码中的4个关键点。
如图2所示，该实施例的方法包括：
在步骤210，对训练图像中的平面检测框、平面掩码以及平面掩码中4个关键点进行标注。
平面掩码中4个关键点例如可以标注在平面掩码的中间部位。后面的图4实施例会具体描述平面掩码中4个关键点的标注方法。
在步骤220，利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型进行训练，使得深度学习模型具备图像的平面检测框、平面掩码及其4个关键点的学习能力。
深度学习模型包括RCNN，例如为MaskRCNN网络，是RCNN的一种。图3示出了深度学习模型的示意图。如图3所示，MaskRCNN网络等深度学习模型包括图像的平面检测框回归的分支、平面掩码回归的分支和关键点回归的分支。平面检测框回归的分支包括平面检测框回归，还可以包括语义类别回归。带有平面检测框的标签的训练图像对平面检测框回归的分支进行训练，带有平面掩码的标签的训练图像对平面掩码回归的分支进行训练，带有4个关键点的标注信息的训练图像对关键点回归的分支进行训练。其中，MaskRCNN网络采用的是RoIAlign(region of interest align,感兴趣区域对齐)方法，从原始图像(originalimage)得到的候选区域(proposal region)。
由于图像嵌入位置在平面上有可移动的特性，只要图像嵌入位置在平面上，并且图像与平面的边界线相互平行，就认为深度学习模型预测的结果是正确的，所以深度学习模型采用的损失函数为关键点对齐后的损失函数，即，基于标注信息中的4个关键点和进行对齐操作后的预测的4个关键点所确定的损失函数。例如，MaskRCNN网络采用关键点对齐后的Smooth_L1损失。
记当前平面标注的关键点标签设为gt∈RN×4×2，网络预测的关键点坐标设为pre∈RN×4×2，在维度空间R中，N表示平面的数量，4表示4个关键点，2表示平面的横坐标和纵坐标。经过对齐后的关键点坐标为pre″，网络关键点分支的损失为lossk，则lossk的计算方式如下(1-6)。
(1)基于标注信息中的4个关键点和预测的4个关键点，确定变换比例r。
Figure BDA0002695503110000081
其中，max表示取最大值，min表示取最小值。
(2)根据变换比例，对预测的4个关键点进行大小变换，大小变换后的预测的关键点设为pre′。
pre′＝(pre-min(pre))*r+min(pre)
(3)基于标注信息中的4个关键点，确定第一位置变换信息gtc。
Figure BDA0002695503110000082
(4)基于预测的4个关键点，确定第二位置变换信息pre′c。
Figure BDA0002695503110000083
(5)将大小变换后的预测的4个关键点分别加上第一位置变换信息并减去第二位置变换信息，以完成对预测的4个关键点的对齐操作，对齐后的关键点设为pre″。
pre″＝pre′+gtc-pre′c
(6)网络关键点分支的损失lossk为：
Figure BDA0002695503110000091
将4个关键点进行对齐操作，使得4个关键点构成的四边形区域处于平面掩码的中间部位。
在训练过程中，根据各个训练图像的标注的平面检测框的标签与模型预测的平面检测框之间的损失、标注的平面掩码的标签与模型预测的平面掩码之间的损失、以及标注的4个关键点与进行对齐操作后的预测的4个关键点之间的损失确定总损失，根据总损失更新深度学习模型的参数，迭代地执行该训练过程，直到满足训练终止条件，例如，达到预设的迭代次数，或者，总损失小于一定的值等。
在步骤230，将训练后的深度学习模型确定为平面预测模型。平面预测模型能够预测图像的平面检测框、平面检测框中的平面掩码、以及平面掩码中的4个关键点。
图4示出本公开一些实施例的对训练图像中的平面掩码中4个关键点进行标注的流程示意图。
如图4所示，该实施例的方法包括：
在步骤410，获取一个含有平面的训练图像。
很多图像中都含有平面，例如，桌面、墙面、柜子的各个表面、地面等，但不限于所举示例。图4中示出了一个柜子的侧表面。
在步骤420，获取训练图像在像素坐标系下的平面掩码。
如前所述，可以通过标注获取训练图像在像素坐标系下的平面掩码，也可以通过现成的PlaneRCNN数据集获取训练图像及其在像素坐标系下的平面掩码。
在步骤430，将训练图像的平面掩码从像素坐标系转换到平面坐标系，包括(1-2)：
(1)根据训练图像相关的相机参数、相机坐标系到世界坐标系的旋转平移矩阵，将训练图像的平面掩码从像素坐标系转换到世界坐标系。
像素坐标系下的坐标：相机拍摄一个场景后得到的图像上的坐标，像素坐标系是一个二维坐标系。
训练图像在像素坐标系下的平面掩码中前景点的坐标设为
Figure BDA0002695503110000101
训练图像在世界坐标系下的平面掩码中前景点的坐标设为
Figure BDA0002695503110000102
N表示前景点的个数。
(2)将训练图像的平面掩码从世界坐标系转换到平面坐标系。
平面坐标系下的坐标：相当于相机正对着平面拍摄后得到的图像上的坐标，在平面坐标系下，平面上的每个前景点的深度值都是相同的。平面坐标系是一个二维坐标系。
图5示出了三个坐标系的示意图。从左到右，依次为像素坐标系、世界坐标系和平面坐标系。
在平面坐标系下平面掩码中前景点的坐标设为
Figure BDA0002695503110000103
在世界坐标系下找到平面掩码中的两个点A＝(x1,y1,z1)∈Sworld、B＝(x2,y2,z2)∈Sworld，然后在世界坐标系上找到实例上的一个点C＝(x3,y3,z3),使得
Figure BDA0002695503110000104
以A为原点，
Figure BDA0002695503110000105
为x轴，
Figure BDA0002695503110000106
为y轴构造平面坐标系。
计算点C的坐标。
已知实例的法线
Figure BDA0002695503110000107
偏移量为d，A＝(x1,y1,z1),B＝(x2,y2,z2),因为
Figure BDA0002695503110000108
且点C所在的平面法线为
Figure BDA0002695503110000109
则得到如下关系：
Figure BDA00026955031100001010
若向量
Figure BDA00026955031100001011
和x轴平行，则(x3,y3,z3)＝(x1,y1,z1+1)；
否则，若向量
Figure BDA00026955031100001012
和x轴不平行，则：
x3＝0
Figure BDA00026955031100001013
Figure BDA00026955031100001014
从的，得到世界坐标系下的点A＝(x1,y1,z1)、B＝(x2,y2,z2)、C＝(x3,y3,z3)。
由于在平面坐标系下A为原点，且
Figure BDA0002695503110000111
则点A、B、C在平面坐标系下的坐标分别为：
A′＝(0,0,0)
Figure BDA0002695503110000112
Figure BDA0002695503110000113
根据三个点在世界坐标系下和平面坐标系下的坐标，得到世界坐标系和平面坐标系之间的变换矩阵M，根据变换矩阵M可计算
Figure BDA0002695503110000114
Figure BDA0002695503110000115
从而，得到
Figure BDA0002695503110000116
即在平面坐标系下平面掩码的前景点的坐标。
每个平面都有自己的平面坐标系，在平面坐标系下可以更加容易地寻找平面掩码的内接矩形(如最大内接正方形)，其4个顶点作为4个关键点。
在步骤440，在平面坐标系下对平面掩码进行中值滤波，表示为：mask＝MedianFilter(mask)，在＝右侧的mask是滤波前的平面掩码，在＝左侧的mask是滤波后的平面掩码。
中值滤波是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。
在步骤450，在平面坐标系下对平面掩码进行边缘检测，表示为：edges＝Edge(mask)。
边缘检测技术可以参考现有技术。
在步骤460，基于检测到的平面掩码的边缘，在平面坐标系下对平面掩码进行霍夫(Hough)直线检测，表示为：lines＝HoughLineDetect(edges)。霍夫直线检测方法可以参考现有技术。
进一步的，从检测到的直线中筛选出像素点大于设定阈值voteThresh的直线keep_lines：keep_lines＝{linej|linej(pixel)≥voteThresh,linej∈lines}，其中，linesj(pixel)表示平面掩码上检测到的第j条直线包含的像素点数目。
在步骤470，基于直线的斜率对检测到的直线进行合并，表示为：merge_lines＝MergeLine(keep_lines)，其中，MergeLine()表示将斜率相近的直线合并为一条。
在步骤480，确定检测到的直线是平面掩码的边界线的概率，从检测到的直线中选择具有垂直关系和平行关系的直线对，表示为：choose_lines＝ChooseLine(merge_lines)。
根据直线两侧对称区域的差异信息，确定检测到的直线是平面掩码的边界线的概率，表示为：
Figure BDA0002695503110000121
linek∈merge_lines
其中region1(linek)和region2(linek)分别表示直线linek两侧的固定宽度的对称区域，N为区域中的像素点数目,valueThresh是设置的阈值。直线两侧对称区域的差异越大，该直线是平面掩码的边界线的概率越大。
在步骤490，在寻找到直线对的情况下，将概率和最高的直线对中的概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线；在未寻找到直线对的情况下，将概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线，从而得到平面掩码在平面坐标系下的边界线，表示为BestLine＝getBestLine(choose_lines)。基于所述边界线，在平面坐标系下确定平面掩码的内接矩形。
在平面坐标系下，确定与所述边界线平行的平面掩码的内接矩形，内接矩形例如为最大内接正方形，表示为：square＝MaxInscribedSquare(mask)，其中，square_edgei//BestLine，最大内接正方形的四个顶点为
Figure BDA0002695503110000122
在步骤4100，将平面掩码的内接矩形的4个顶点从平面坐标系转换到像素坐标系。
如前所述，已知训练图像在像素坐标系下的平面掩码中前景点的坐标
Figure BDA0002695503110000131
以及，在平面坐标系下平面掩码的前景点的坐标
Figure BDA0002695503110000132
由此得到像素坐标系和平面坐标系的变换矩阵T，即
Figure BDA0002695503110000133
基于前述确定的在平面坐标系下平面掩码中的内接矩形的4个顶点
Figure BDA0002695503110000134
确定出训练图像在像素坐标系下的平面掩码中4个关键点的坐标表示为：
Figure BDA0002695503110000135
自动寻找训练图像中平面掩码中内接的4个关键点，并作为训练数据对模型进行训练，使得模型能够预测视频帧图像中的平面掩码中内接的4个关键点，以便将图像嵌入到频帧图像中的合适的位置，进一步提升图像与视频的融合效果。
图6示出本公开一些实施例的视频中嵌入图像的方法的流程示意图。
如图6所示，该实施例的方法包括：
在步骤610，将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码。
其中，平面预测模型是利用带有平面检测框和平面掩码的标签的训练图像对深度学习模型训练得到的，具体参考前述实施例。
在步骤620，将欲嵌入图像嵌入到预测的视频帧图像的平面掩码。
例如，将欲嵌入图像嵌入到平面掩码中的与平面掩码的边界线平行的位置区域。
欲嵌入图像例如包括企业标识图像、产品图像、人物图像、以及广告图像等，但不限于所举示例。
自动寻找各个视频帧图像中广泛存在的平面掩码，将欲嵌入图像嵌入到平面掩码，不仅使图像自动地和自然地融合到视频中，而且使图像更广泛地融合到视频中。
图7示出本公开另一些实施例的视频中嵌入图像的方法的流程示意图。
如图7所示，该实施例的方法包括：
在步骤710，将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码以及其中的4个关键点。
其中，平面预测模型是利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型训练得到的，具体参考前述实施例。
在步骤720，将欲嵌入图像的4个顶点映射到预测的视频帧图像的平面掩码中的4个关键点，并将欲嵌入图像嵌入到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域。
具体的，根据欲嵌入图像Iad(其分辨率为w×h)的4个顶点(坐标为(0,0),(w,0),(0,h),(w,h))与预测的视频帧图像Irgb的平面掩码中的4个关键点pre″的映射关系，确定欲嵌入图像Iad到预测的视频帧图像Irgb的平面掩码的变换矩阵M∈R3*3；基于所述变换矩阵，将欲嵌入图像的每个前景点变换到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域，即，对于Irgb上4个关键点形成的位置区域的每个像素点prgb∈R1*2,通过[pad,1]T＝M[prgb,1]T，在Iad上找到prgb对应的像素点pad∈R1*2，最后将pad的像素值赋值给prgb。
自动寻找各个视频帧图像中广泛存在的平面掩码以及平面掩码中的4个关键点，将欲嵌入图像嵌入到该平面掩码中的4个关键点相应的位置区域，不仅使图像自动地自然地广泛地融合到视频中，而且提升图像与视频的融合效果。
图8示出本公开一些实施例的视频中嵌入图像的装置的示意图。
如图8所示，该实施例的视频中嵌入图像的装置800包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一些实施例中的视频中嵌入图像的方法。
其中，存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置800还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
图9示出本公开一些实施例的平面预测模型获取装置的示意图。
如图9所示，该实施例的平面预测模型获取装置900包括：存储器910以及耦接至该存储器910的处理器920，处理器920被配置为基于存储在存储器910中的指令，执行前述任意一些实施例中的平面预测模型获取方法。
其中，存储器910例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置900还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930，940，950以及存储器910和处理器920之间例如可以通过总线960连接。其中，输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为SD卡、U盘等外置存储设备提供连接接口。
视频中嵌入图像的装置800与平面预测模型获取装置900可以是不同的装置，也可以是同一装置。例如，视频中嵌入图像的装置800与平面预测模型获取装置900可以部署在一台计算机上，或者，部署在两台计算机上。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现视频中嵌入图像的方法或平面预测模型获取方法。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种视频中嵌入图像的方法，其特征在于，包括：
将一段视频的视频帧图像输入平面预测模型，获取预测的视频帧图像的平面掩码以及其中的4个关键点，所述平面预测模型是利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型训练得到的，能够预测图像的平面检测框、平面检测框中的平面掩码、以及平面掩码中的4个关键点，其中，训练图像中的平面掩码中4个关键点的标注信息根据平面掩码的内接矩形确定；
将欲嵌入图像嵌入到预测的视频帧图像的平面掩码包括：将欲嵌入图像的4个顶点与预测的视频帧图像的平面掩码中的4个关键点对齐，并将欲嵌入图像嵌入到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域。
2.根据权利要求1所述的方法，其特征在于，训练图像中的平面掩码中4个关键点的标注信息通过以下方法获得：
将训练图像的平面掩码从像素坐标系转换到平面坐标系；
在平面坐标系下确定平面掩码的边界线；
基于平面掩码的边界线，在平面坐标系下确定平面掩码的内接矩形；
将平面掩码的内接矩形的4个顶点从平面坐标系转换到像素坐标系。
3.根据权利要求2所述的方法，其特征在于，将训练图像的平面掩码从像素坐标系转换到平面坐标系包括：
将训练图像的平面掩码从像素坐标系转换到世界坐标系；
将训练图像的平面掩码从世界坐标系转换到平面坐标系。
4.根据权利要求2所述的方法，其特征在于，在平面坐标系下确定平面掩码的边界线包括：
在平面坐标系下对平面掩码进行边缘检测；
基于检测到的平面掩码的边缘，在平面坐标系下对平面掩码进行霍夫直线检测；
确定检测到的直线是平面掩码的边界线的概率；
基于所述概率，从检测到的直线中确定平面掩码在平面坐标系下的一条边界线。
5.根据权利要求4所述的方法，其特征在于，确定检测到的直线是平面掩码的边界线的概率包括：
根据直线两侧对称区域的差异信息，确定检测到的直线是平面掩码的边界线的概率，其中，直线两侧对称区域的差异越大，该直线是平面掩码的边界线的概率越大。
6.根据权利要求4所述的方法，其特征在于，从检测到的直线中确定平面掩码在平面坐标系下的一条边界线包括：
从检测到的直线中选择具有垂直关系和平行关系的直线对；
在寻找到直线对的情况下，将概率和最高的直线对中的概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线；
在未寻找到直线对的情况下，将概率最高的直线，确定为平面掩码在平面坐标系下的一条边界线。
7.根据权利要求4所述的方法，其特征在于，确定平面掩码在平面坐标系下的边界线还包括以下至少一个步骤：
在边缘检测之前，在平面坐标系下对平面掩码进行中值滤波；
在霍夫直线检测之后，基于直线的斜率对检测到的直线进行合并。
8.根据权利要求2所述的方法，其特征在于，在平面坐标系下确定平面掩码的内接矩形包括：
在平面坐标系下确定与所述边界线平行的平面掩码的内接矩形，所述内接矩形包括最大内接正方形。
9.根据权利要求1所述的方法，其特征在于，所述将欲嵌入图像嵌入到预测的视频帧图像的平面掩码包括：
根据欲嵌入图像的4个顶点与预测的视频帧图像的平面掩码中的4个关键点的映射关系，确定欲嵌入图像到预测的视频帧图像的平面掩码的变换矩阵；
基于所述变换矩阵，将欲嵌入图像的每个前景点变换到预测的视频帧图像的平面掩码中的4个关键点相应的位置区域。
10.根据权利要求1所述的方法，其特征在于，
所述深度学习模型采用基于标注信息中的4个关键点和进行对齐操作后的预测的4个关键点所确定的损失函数；
其中，对预测的4个关键点进行对齐操作包括：
基于标注信息中的4个关键点和预测的4个关键点，确定变换比例；
根据所述变换比例，对预测的4个关键点进行大小变换；
基于标注信息中的4个关键点，确定第一位置变换信息；
基于预测的4个关键点，确定第二位置变换信息；
将大小变换后的预测的4个关键点分别加上第一位置变换信息并减去第二位置变换信息，以完成对预测的4个关键点的对齐操作。
11.根据权利要求1-10任一项所述的方法，其特征在于，
所述深度学习模型包括区域卷积神经网络；
或者，所述欲嵌入图像包括企业标识图像、产品图像。
12.一种平面预测模型获取方法，其特征在于，包括：
对训练图像中的平面检测框、平面掩码以及平面掩码中4个关键点进行标注；
利用带有平面检测框和平面掩码的标签以及平面掩码中4个关键点的标注信息的训练图像对深度学习模型进行训练，其中，训练图像中的平面掩码中4个关键点的标注信息根据平面掩码的内接矩形确定；
将训练后的深度学习模型确定为平面预测模型，能够预测图像的平面检测框、平面检测框中的平面掩码、以及平面掩码中的4个关键点。
13.根据权利要求12所述的方法，其特征在于，对训练图像中的平面掩码中4个关键点进行标注包括：
将训练图像的平面掩码从像素坐标系转换到平面坐标系；
在平面坐标系下确定平面掩码的边界线；
基于平面掩码的边界线，在平面坐标系下确定平面掩码的内接矩形；
将平面掩码的内接矩形的4个顶点从平面坐标系转换到像素坐标系。
14.一种视频中嵌入图像的装置，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-11中任一项所述的视频中嵌入图像的方法。
15.一种平面预测模型获取装置，其特征在于，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求12-13中任一项所述的平面预测模型获取方法。
16.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-11中任一项所述的视频中嵌入图像的方法或权利要求12-13中任一项所述的平面预测模型获取方法。
CN202011004707.1A 2020-09-22 2020-09-22 视频中嵌入图像的方法、平面预测模型获取方法和装置 Active CN113766147B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011004707.1A CN113766147B (zh) 2020-09-22 2020-09-22 视频中嵌入图像的方法、平面预测模型获取方法和装置
US18/246,132 US20230368324A1 (en) 2020-09-22 2021-05-08 Method and apparatus of embedding image in video, and method and apparatus of acquiring plane prediction model
PCT/CN2021/092267 WO2022062417A1 (zh) 2020-09-22 2021-05-08 视频中嵌入图像的方法、平面预测模型获取方法和装置
EP21870805.5A EP4207745A1 (en) 2020-09-22 2021-05-08 Method for embedding image in video, and method and apparatus for acquiring planar prediction model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011004707.1A CN113766147B (zh) 2020-09-22 2020-09-22 视频中嵌入图像的方法、平面预测模型获取方法和装置

Publications (2)

Publication Number Publication Date
CN113766147A CN113766147A (zh) 2021-12-07
CN113766147B true CN113766147B (zh) 2022-11-08

Family

ID=78785854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011004707.1A Active CN113766147B (zh) 2020-09-22 2020-09-22 视频中嵌入图像的方法、平面预测模型获取方法和装置

Country Status (4)

Country Link
US (1) US20230368324A1 (zh)
EP (1) EP4207745A1 (zh)
CN (1) CN113766147B (zh)
WO (1) WO2022062417A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619709B (zh) * 2022-08-30 2023-07-04 哈尔滨工业大学（深圳） 一种3d平面检测与重建方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104735465A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 在视频画面中植入平面图案广告的方法及装置
EP2889825A1 (en) * 2013-12-26 2015-07-01 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
EP3336805A1 (en) * 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
CN108229416A (zh) * 2018-01-17 2018-06-29 苏州科技大学 基于语义分割技术的机器人slam方法
CN108334878A (zh) * 2018-02-07 2018-07-27 北京影谱科技股份有限公司 视频图像检测方法和装置
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
CN110163640A (zh) * 2018-02-12 2019-08-23 华为技术有限公司 一种在视频中植入广告的方法及计算机设备
CN110225366A (zh) * 2019-06-26 2019-09-10 腾讯科技（深圳）有限公司 视频数据处理及广告位确定方法、装置、介质及电子设备
CN110443883A (zh) * 2019-07-08 2019-11-12 杭州电子科技大学 一种基于dropblock的单张彩色图片平面三维重建方法
CN111556337A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种媒体内容植入方法、模型训练方法以及相关装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2984668B3 (fr) * 2011-12-16 2014-09-05 Phonitive Procede de traitement de sequence video sur les terminaux mobiles en temps reel
JP6147740B2 (ja) * 2012-06-07 2017-06-14 株式会社日立製作所 超音波診断装置の作動方法及び超音波診断装置
CN105825499A (zh) * 2016-03-09 2016-08-03 京东方科技集团股份有限公司 基准平面的确定方法和确定系统
CN106530312B (zh) * 2016-11-05 2019-03-12 广州市奥威亚电子科技有限公司 一种基于低功耗嵌入式系统实时抠像方法
US11288880B2 (en) * 2019-01-18 2022-03-29 Snap Inc. Template-based generation of personalized videos
CN110163188B (zh) * 2019-06-10 2023-08-08 腾讯科技（深圳）有限公司 视频处理以及在视频中嵌入目标对象的方法、装置和设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2889825A1 (en) * 2013-12-26 2015-07-01 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
CN104735465A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 在视频画面中植入平面图案广告的方法及装置
EP3336805A1 (en) * 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
CN110073417A (zh) * 2016-12-15 2019-07-30 交互数字Ce专利控股公司 用于在真实世界3d环境中放置增强或混合现实应用的虚拟对象的方法和设备
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
CN108229416A (zh) * 2018-01-17 2018-06-29 苏州科技大学 基于语义分割技术的机器人slam方法
CN108334878A (zh) * 2018-02-07 2018-07-27 北京影谱科技股份有限公司 视频图像检测方法和装置
CN110163640A (zh) * 2018-02-12 2019-08-23 华为技术有限公司 一种在视频中植入广告的方法及计算机设备
CN110225366A (zh) * 2019-06-26 2019-09-10 腾讯科技（深圳）有限公司 视频数据处理及广告位确定方法、装置、介质及电子设备
CN110443883A (zh) * 2019-07-08 2019-11-12 杭州电子科技大学 一种基于dropblock的单张彩色图片平面三维重建方法
CN111556337A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种媒体内容植入方法、模型训练方法以及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"PlaneRCNN: 3D Plane Detection and Reconstruction From a Single Image";C. Liu等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;全文 *
"ARKit教程07_第五章：表面检测";张芳涛;《简书，https://www.jianshu.com/p/8dbb4580ff47》;20190808;全文 *
"Mask R-CNN";Kaiming He等;《arxiv,https://arxiv.org/abs/1703.06870》;20180124;全文 *

Also Published As

Publication number Publication date
EP4207745A1 (en) 2023-07-05
US20230368324A1 (en) 2023-11-16
WO2022062417A1 (zh) 2022-03-31
CN113766147A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
US10657652B2 (en) Image matting using deep learning
US11455496B2 (en) System and method for domain adaptation using synthetic data
US11595737B2 (en) Method for embedding advertisement in video and computer device
Zhang et al. Shadow remover: Image shadow removal based on illumination recovering optimization
CN107507217B (zh) 证件照的制作方法、装置及存储介质
Beyeler OpenCV with Python blueprints
US11170581B1 (en) Supervised domain adaptation
CN107895377B (zh) 一种前景目标提取方法、装置、设备及存储介质
Spizhevoi et al. OpenCV 3 Computer Vision with Python Cookbook: Leverage the power of OpenCV 3 and Python to build computer vision applications
CN111091167A (zh) 标志识别训练数据合成方法、装置、电子设备及存储介质
CN114648756B (zh) 一种基于指向向量的书本文字识别指读方法和系统
CN110969641A (zh) 图像处理方法和装置
CN113766147B (zh) 视频中嵌入图像的方法、平面预测模型获取方法和装置
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN113936187A (zh) 文本图像合成方法、装置、存储介质及电子设备
CN114202719A (zh) 视频样本的标注方法、装置、计算机设备及存储介质
CN116962817B (zh) 视频处理方法、装置、电子设备及存储介质
Kalantari et al. Improving patch-based synthesis by learning patch masks
CN116962816B (zh) 设置植入标识的方法、装置、电子设备及存储介质
CN113033656B (zh) 一种基于生成对抗网络的交互式孔探数据扩展方法
CN114185429B (zh) 手势关键点定位或姿态估计的方法、电子装置和存储介质
WO2024000728A1 (zh) 单目三维平面恢复方法、设备及存储介质
CN108038514A (zh) 一种用于识别图像的方法、设备和计算机程序产品
Liu et al. Blur estimation for natural edge appearance in computational photography
Yang et al. A virtual-reality spatial matching algorithm and its application on equipment maintenance support: System design and user study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant