CN112465853B - 视频图片的背景变换方法、装置、电子设备及存储介质 - Google Patents
视频图片的背景变换方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112465853B CN112465853B CN202011341466.XA CN202011341466A CN112465853B CN 112465853 B CN112465853 B CN 112465853B CN 202011341466 A CN202011341466 A CN 202011341466A CN 112465853 B CN112465853 B CN 112465853B
- Authority
- CN
- China
- Prior art keywords
- background
- video picture
- target video
- picture
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 title claims description 7
- 208000006440 Open Bite Diseases 0.000 claims abstract description 13
- 239000003550 marker Substances 0.000 claims description 40
- 230000009466 transformation Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000209490 Nymphaea Species 0.000 description 1
- 235000016791 Nymphaea odorata subsp odorata Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供一种视频图片的背景变换方法、装置、电子设备及存储介质。方法包括：根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；根据所述原始背景图确定不可遮挡区块；当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景切换。本发明实施例提供的视频图片的背景变换方法、装置、电子设备及存储介质，通过将目标视频图片的背景区分为可遮挡区域与不可遮挡区块，在不可遮挡区块被遮挡时，对不可遮挡区块进行位移，保证了不可遮挡区块的背景信息不被遮挡。
Description
技术领域
本发明涉及视频技术领域，尤其涉及一种视频图片的背景变换方法、装置、电子设备及存储介质。
背景技术
在一些与视频有关的活动中，如视频直播、商业活动的新闻发布会，通常会将一些重要的商业信息，如赞助商的名称、标志(LOGO)等，布置在背景板上，从而达到宣传赞助商的目的。
但在视频拍摄过程中，被采访者或视频直播主播的身影等前景信息会遮挡背景板，从而使得背景板上的重要商业信息被遮挡，影响了商业宣传的效果。
针对这一问题，现有技术中通常采用人工干预的方式来重新配置背景信息，这一方式具有效率低、成本高的问题。此外，人工干预方式的效果取决于技术人员的技术水平，因此也存在效果不稳定的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种视频图片的背景变换方法、装置、电子设备及存储介质。
一方面，本发明实施例提供一种视频图片的背景变换方法，包括：
根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
根据所述原始背景图确定不可遮挡区块；
当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
上述技术方案中，所述根据所述原始背景图确定不可遮挡区块，包括：
对所述原始背景图进行切割，得到多个第一图像块；
设定所述原始背景图中的重点标志物，将包含重点标志物的所述第一图像块标记为不可遮挡区块。
上述技术方案中，所述根据所述原始背景图对所述目标视频图片进行背景切换，包括：
步骤S1、确定不可遮挡区块的被遮挡处；
步骤S2、查找所述不可遮挡区块中的被遮挡处的关键点；
步骤S3、判断第N-1重点标志物所对应的不可遮挡区块是否还属于第N重点标志物，若判断结果为否，执行步骤S4，若判断结果为是，将N的当前值加1后，重新执行步骤S3；其中，N为自然数，其初始值为2；第一重点标志物为所述被遮挡的不可遮挡区块所属的重点标志物，第N重点标志物为不同于前N-1个重点标志物的重点标志物；
步骤S4、基于所述关键点，移动前N-1个重点标志物所对应的所有不可遮挡区块的位置，直至所述前N-1个重点标志物所对应的所有不可遮挡区块与目标视频图片的前景无重合为止。
上述技术方案中，所述根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡，包括：
根据所述目标视频图片的背景图与原始背景图的差分计算结果，确定所述目标视频图片中不可遮挡区块被遮挡的面积；
根据所述目标视频图片的时序在前的相邻视频图片，确定所述目标视频图片中不可遮挡区块被遮挡的时间长度；
当所述不可遮挡区块被遮挡的面积满足第一阈值，且所述不可遮挡区块被遮挡的时间长度满足第二阈值，则确定所述目标视频图片有不可遮挡区块被遮挡。
上述技术方案中，在所述根据所述原始背景图对所述目标视频图片进行背景切换的步骤之后，方法还包括：
对背景变换后的所述目标视频图片进行检测，当存在空白区域时，按照从空白区域的边缘向中心填充的顺序进行纹理填充。
上述技术方案中，所述按照从空白区域的边缘向中心填充的顺序进行纹理填充，包括：
将所述空白区域划分为多个第二图像块；
对所述多个第二图像块进行优先级排序；
将所述目标视频图片中已知区域中与空白区域的边缘最接近的第一个图像块作为填充源，然后根据所述多个第二图像块的优先级，按照从所述空白区域的边缘向所述空白区域的中心的顺序填充所述第二图像块，直至所述空白区域中的所有第二图像块填充完成。
上述技术方案中，所述对所述多个第二图像块进行优先级排序，包括：
确定所述多个第二图像块各自的关键点；
根据所述关键点的邻域中已填充像素的置信度，计算所述关键点的优先级；
将所述第二图像块中的像素点的优先级作为所述第二图像块的优先级，对所述多个第二图像块进行优先级排序。
本发明第二方面实施例提供一种视频图片的背景变换装置，包括：
背景与前景分离模块，用于根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
不可遮挡区块确定模块，用于根据所述原始背景图确定不可遮挡区块；
背景变换模块，用于当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
本发明第三方面实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述视频图片的背景变换方法的步骤。
本发明第四方面实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例提供所述视频图片的背景变换方法的步骤。
本发明实施例提供的视频图片的背景变换方法、装置、电子设备及存储介质，通过将目标视频图片的背景区分为可遮挡区域与不可遮挡区块，在不可遮挡区块被遮挡时，对不可遮挡区块进行位移，保证了不可遮挡区块的背景信息不被遮挡。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频图片的背景变换方法的流程图；
图2为本发明实施例提供的视频图片的背景变换装置的示意图；
图3为本发明实施例所涉及的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的视频图片的背景变换方法的流程图，如图1所示，本发明实施例提供的视频图片的背景变换方法包括：
步骤101、根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图。
在本发明实施例中，目标视频图片是指采用本发明实施例提供的方法实现背景变换的图片。目标视频图片是某一个视频或视频流中的图片，如视频直播流中的图片，或一段采访视频中的图片。目标视频图片可以有一个或多个。当目标视频图片有多个时，多个目标视频图片通常是连续多个视频帧中的图片。
原始背景图是指与目标视频图片的场景相对应的、未包含前景信息的图片。原始背景图可以从目标视频图片所在的视频或视频流中获得。例如，在一个视频直播过程中，将主播、嘉宾等前景信息未出现时刻的视频图片作为原始背景图；又如在一个新闻发布会的视频中，将被采访对象等前景信息未出现时刻的视频图片作为原始背景图。
根据原始背景图对目标视频图片进行前景与背景的分离，具体包括：
获取目标视频图片以及目标视频图片相邻视频帧中的图片，形成第一图片集合，将第一图片集合中的各个图片与原始背景图进行差分取值计算，得到图片中相对原始背景图发生变化的区域，将这些区域作为目标视频图片的前景，将目标视频图片中除前景之外的区域作为背景。
在本发明实施例中，选取目标视频图片在所在视频或视频流中的前后各5个相邻视频帧中的图片，与目标视频图片一起形成第一图片集合。若目标视频图片及其相邻视频帧中的图片相对背景图像发生变化较少，无法准确的分离前景与背景，那么可以将选取更多数量的相邻视频帧中的图片，如选取目标视频图片在所在视频或视频流中的前后各10个相邻视频帧中的图片，直至能明确地进行前景、背景的分离。
目标视频图片经过前景与背景的分离后，可得到目标视频图片的前景图与目标视频图片的背景图。
步骤102、根据所述原始背景图确定不可遮挡区块。
原始背景图中的一些信息是希望用户看到的信息，如赞助商的名称、标志(LOGO)等，因此在本发明实施例中，将希望用户看到的信息所在的区域称为不可遮挡区块，原始背景图中除了不可遮挡区块外的区域称为可遮挡区块。
确定原始背景图中可遮挡区块与不可遮挡区块的具体实现过程为：
步骤1021、对原始背景图进行切割，得到多个第一图像块。
将原始背景图分割为多个区块，在本发明实施例中，将这些区块记为第一图像块。例如，可将原始背景图分割为多个大小均匀的第一图像块。分割后所得到的第一图像块的面积一般占原始背景图总面积的1/10000～～5/10000之间，但在实际应用中也可以对第一图像块的面积进行调整。将原始背景图切割后所得到的第一图像块依次命名为C1、C2…CN。
步骤1022、设定原始背景图中的重点标志物，将包含重点标志物的第一图像块标记为不可遮挡区块，将未包含重点标志物的第一图像块标记为可遮挡区块。
原始背景图中可能包含有多种与背景主体不同的标志物，如在一个底色为蓝色的背景图中，有赞助商的LOGO(如中国移动的LOGO)、有描述活动主题的文字介绍(如电影《建国大业》新闻发布会)、有作为装饰物的美术图案(如波浪线、睡莲等图案)。这些标志物中，赞助商的LOGO、文字介绍等内容是观众希望了解或希望观众了解的内容，因此将它们设定为重点标志物；而作为装饰物的美术图案，观众了解与否并不重要，因此不需要将其设定为重点标志物。
在设定重点标志物之后，将重点标志物与原始背景图进行差分计算，从而知道原始背景图切割后所得到的各个第一图像块是否包含有重点标志物。若某一第一图像块包含重点标志物，则该第一图像块属于不可遮挡区块，若某一第一图像块不包含重点标志物，则该第一图像块不属于不可遮挡区块。在本发明实施例中，可为第一图像块添加可遮挡或不可遮挡的标签，用O代表可遮挡，NO代表不可遮挡。
此外，还可以将包含有同一重点标志物的第一图像块进行关联，如将具有中国移动LOGO的区块存储在一个集合中。
步骤103、当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
在之前的步骤中，通过对目标视频图片做前景与背景分离，得到了目标视频图片的前景图与目标视频图片的背景图。在本步骤中，将目标视频图片的背景图与原始背景图再次进行差分计算，将差分计算结果与背景图中各个区块的标签信息(区块是否属于不可遮挡区块)相结合，可以得到是否有属于不可遮挡区块的区块被遮挡的信息。
若未发现有不可遮挡区块被遮挡，则不需要对目标视频图片的背景图进行变换，本发明实施例不对其做进一步的讨论。
若发现有不可遮挡区块被遮挡，则需要对目标视频图片的背景图进行变换。具体的说，对目标视频图片的背景图进行变换，包括：
步骤1031、确定不可遮挡区块的被遮挡处。
在本发明实施例中，通过比较目标视频图片的背景图与原始背景图，可以知道目标视频图片中的哪些像素被遮挡，进而判断被遮挡的像素是否属于不可遮挡区块。
由不可遮挡区块中的被遮挡像素，可得到不可遮挡区块的被遮挡处。所述不可遮挡区块的被遮挡处可以用位图表示。
步骤1032、查找不可遮挡区块的被遮挡处中的关键点。
关键点是指与相邻像素点之间的变化幅度超出预设阈值的像素点。例如，像素点的色素变化阈值设定为5，当一个像素点与其相邻像素点之间的色素变化值超过5，那么该像素点会被认定为关键点。
在本发明实施例中，可通过以下方式查找关键点：在查找关键点时，将不可遮挡区块的被遮挡处的每一个像素点与其所有的相邻点进行比较，当其大于(或小于)它的图像域和尺度域的所有相邻点时，即为关键点。检测时，在横向纵向都进行比较，以确保在尺度空间和二维图像空间都检测到关键点。其中，图像域是指根据图像连续性将整个图像划分为不同的图像区域块；尺度域是指根据坐标(X、Y坐标)将整个图像划分为图像块。
步骤1033、判断第N-1重点标志物所对应的不可遮挡区块是否还属于第N重点标志物，若判断结果为否，执行步骤1034，若判断结果为是，将N的当前值加1后，重新执行步骤1033。
在之前的步骤中，已经明确了有不可遮挡区块在目标视频图片中被遮挡。本领域技术人员很容易理解，被遮挡的不可遮挡区块可能是某一重点标志物的一部分，如赞助商的商标图案的一部分被遮挡。为了保证背景变换前后，重点标志物依然完整，因此在背景变换时需要将重点标志物所对应所有不可遮挡区块同时进行移动，即不仅要移动被遮挡的不可遮挡区块，而且也要将对应于重点标志物的未被遮挡的不可遮挡区块同时移动。
进一步的，重点标志物所对应的不可遮挡区块中，可能有某个或某些不可遮挡区块同时还属于其他重点标志物。例如，赞助商甲和赞助商乙的商标相隔距离较近，使得同一不可遮挡区块A同时包含了两个商标各自的一部分。显然，在移动赞助商甲所对应的所有不可遮挡区块时，A的位置也会发生变动。如果赞助商乙所对应的除A之外的其他不可遮挡区块不随之移动的话，赞助商乙的商标将不再完整。
基于上述原因，在本步骤中，需要确定所要移动的不可遮挡区块的范围。
在本发明实施例中，N为自然数，其初始值为2。当N的值为2时，第N-1重点标志物即为第一重点标志物，所述第一重点标志物是指所述被遮挡的不可遮挡区块所属的重点标志物。
首先，判断第一重点标志物所对应的任意一个不可遮挡区块是否还属于第二重点标志物。如果没有不可遮挡区块属于第二重点标志物，那么在后续的步骤中只需要对第一重点标志物所对应的不可遮挡区块进行移动。
如果有不可遮挡区块属于第二重点标志物，那么需要对第二重点标志物所对应的任意一个不可遮挡区块是否还属于第三重点标志物做进一步判断。如果第二重点标志物所对应的不可遮挡区块还属于第三重点标志物，则继续做进一步的判断，直至第N-1重点标志物所对应的不可遮挡区块不再属于第N重点标志物。其中，第N重点标志物为不同于前N-1个重点标志物的重点标志物。
步骤1034、基于所述关键点，移动前N-1个重点标志物所对应的所有不可遮挡区块的位置，直至所述前N-1个重点标志物所对应的所有不可遮挡区块与目标视频图片的前景无重合为止。
具体的说，在本步骤中，以所述关键点为中心，整体移动原始背景图中前N-1个重点标志物所对应的所有不可遮挡区块的位置，直至到达第一位置时，前N-1个重点标志物所对应的所有不可遮挡区块均不会与目标视频图片的前景重合；最后将原始背景图中前N-1个重点标志物的所有不可遮挡区块复制到目标视频图片中的第一位置。
由于原始背景图与目标视频图片大小、形状均一致，因此在原始背景图中移动前N-1个重点标志物的所有不可遮挡区块到达第一位置后，将这些不可遮挡区块复制到目标视频图片对应的第一位置处，就可以保证这些不可遮挡区块不会被目标视频图片中的前景遮挡。
在移动不可遮挡区块时，可以以关键点为中心，3×1.5σ为半径的区域图像的幅角和幅值进行复制。其中，σ为关键点与相邻点之间的距离。
在本步骤中，可通过将目标视频图片的前景图与不可遮挡区块移动后的图片进行实时差分计算的方式来确定不可遮挡区块与目标视频图片的前景是否有重合，如果有重合，需要对不可遮挡区块在目标视频图片中的位置继续进行调整。
本发明实施例提供的视频图片的背景变换方法将目标视频图片的背景区分为可遮挡区域与不可遮挡区块，在不可遮挡区块被遮挡时，对不可遮挡区块进行位移，保证了不可遮挡区块的背景信息不被遮挡。
基于上述任一实施例，在本发明实施例中，所述根据目标视频图片的背景图与原始背景图，确定有不可遮挡区块被遮挡，包括：
根据目标视频图片的背景图与原始背景图的差分计算结果，确定所述目标视频图片中不可遮挡区块被遮挡的面积；
根据目标视频图片的时序在前的相邻视频图片，确定所述目标视频图片中不可遮挡区块被遮挡的时间长度；
当不可遮挡区块被遮挡的面积满足第一阈值，且不可遮挡区块被遮挡的时间长度满足第二阈值，则确定所述目标视频图片中有不可遮挡区块被遮挡。
本领域技术人员可以知道，如果背景中的重要信息在短时间内被遮挡，或仅有较小的一部分被遮挡，那么将不会影响用户获得这些重要信息。对于此类情况，对目标视频图片进行背景变换的意义有限。为此，在本发明实施例中，将不可遮挡区块被遮挡的面积以及不可遮挡区块被遮挡的时间长度分别与第一阈值和第二阈值进行比较，只有在两者都超出阈值的情况下，才被认定发生了不可遮挡区块被遮挡的现象，进而才需要对目标视频图片的背景进行变换。这样做有助于减少对计算资源的不必要的消耗。
具体的说，将目标视频图片的背景图与原始背景图进行差分计算，根据差分计算结果可以得到不可遮挡区块被遮挡的面积。
而在计算不可遮挡区块被遮挡的时间长度时，需要借助目标视频图片的时序在前的相邻视频图片。在前文中已经提到，目标视频图片来源于视频或视频流，因此在视频或视频流中一般存在时间顺序比目标视频图片靠前的相邻视频图片。对这些相邻视频图片的不可遮挡区块是否被遮挡进行判断，若目标视频图片之前的连续N个视频图片都发生了不可遮挡区块被遮挡的现象，那么记录不可遮挡区块第一次被遮挡所对应的第一时刻，计算所述第一时刻与目标视频图片所对应的第二时刻之间的时间间隔，该时间间隔就是所要计算的不可遮挡区块被遮挡的时间长度。
在本发明实施例中，当不可遮挡区块被遮挡的面积满足第一阈值，且不可遮挡区块被遮挡的时间长度满足第二阈值这两个条件均满足时，目标视频图片才被认为有不可遮挡区块被遮挡的现象，进而实现背景变换。
本发明实施例提供的视频图片的背景变换方法在对视频图片进行背景变换前，首先对目标视频图片中的不可遮挡区块被遮挡的面积和被遮挡的时长进行判断，只有面积与时长同时满足阈值的条件下，才对目标视频图片的背景进行变换。这样做有助于减少对计算资源的不必要的消耗。
基于上述任一实施例，在本发明实施例中，在步骤103之后，方法还包括：
步骤104、对背景变换后的目标视频图片进行检测，当存在空白区域时，按照从空白区域的边缘向中心填充的顺序进行纹理填充。
由于在背景变换的过程中，拼接图像之间容易产生空白间隙，因此，需要对背景变换后的目标视频图片进行检测，如果图片中有相邻的多个像素点的像素值为0(如像素值为0的相邻像素点的个数超过20个)，则认为存在空白间隙，需要对包含有空白间隙的区域进行纹理填充。在本发明实施例中，将包含有空白间隙的区域称为空白区域。
具体的说，本步骤包括：
步骤1041、将所述包含有空白间隙的区域划分为多个第二图像块。
在本步骤中，可根据像素值为0的像素点的数量确定包含有空白间隙的区域的大小。然后将包含有空白间隙的区域划分为大小为spacesize的N个图像块(图像块一般会包含空白间隙以及非空白边缘)，这些图像块被称为第二图像块。
spacesize的值可根据实际需要确定，一般来说，spacesize的值越小，对空白区域进行纹理填充的效果就越好。但spacesize的值越小，对计算能力的要求也就越高，因此需要综合考虑填充效果与计算能力要求之间的平衡，确定spacesize的值。
步骤1042、对所述多个第二图像块进行优先级排序。
在本发明实施例中，优先级用于描述包含有空白间隙的区域中的多个第二图像块被填充的顺序。具体的说，对包含有空白间隙的区域中的多个第二图像块进行优先级排序具体包括：
步骤1042-1、确定所述多个第二图像块各自的关键点。
在之前的描述中，已经对如何查找关键点做了描述，此处不再重复。
步骤1042-2、根据所述关键点的邻域中已填充像素的置信度，计算所述关键点的优先级。
关键点的优先级的计算公式如下：
P(p)＝C(p)D(p)；
C(p)＝ΣqΨp∩(I-Ω)C(q)/|Ψp|；
D(p)＝|▽I(Φ/p).n(p)|/α。
其中，C(p)是p点的置信项，D(p)是p点的数据项。
在计算C(p)时，C(p)的分母代表邻域窗口的大小，例如3x3的窗口大小就是9；分子是指把邻域窗口中的已填充的像素的置信度累加起来。Ω指待填充区域。q点为p点相邻点。
在计算D(p)时，n(p)为p点的法向量。▽I(Φ/p)指p点的梯度。α是归一化参数，对于一般的灰度图像α为255，α为经验值。
从上述优先级计算公式可以看出，C(p)其实是通过p的邻域的已填充像素的置信度推导出了p点的置信度。当初始化时，所有已知像素的置信度为1，待填充像素的置信度为0，当逐渐填充像素时，越是靠近待填充像素内部的点，其置信度越低。
步骤1042-3、将所述第二图像块中的像素点的优先级作为所述第二图像块的优先级，对所述多个第二图像块进行优先级排序。
步骤1043、将所述目标视频图片中已知区域中与空白区域的边缘最接近的第一个图像块作为填充源，然后根据所述多个第二图像块的优先级，按照从所述空白区域的边缘向所述空白区域的中心的顺序填充所述第二图像块，直至所述空白区域中的所有第二图像块填充完成。
本发明实施例提供的视频图片的背景变换方法通过为背景变换后的目标视频图片中的空白区域进行分块，然后为所得到的各个图像块按照优先级进行像素填充，从而弥补了因为背景变换所造成的空白，提高了视频图片的质量。
图2为本发明实施例提供的视频图片的背景变换装置的示意图，如图2所示，本发明实施例提供的视频图片的背景变换装置，包括：
背景与前景分离模块201，用于根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
不可遮挡区块确定模块202，用于根据所述原始背景图确定不可遮挡区块；
背景变换模块203，用于当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
本发明实施例提供的视频图片的背景变换装置将目标视频图片的背景区分为可遮挡区域与不可遮挡区块，在不可遮挡区块被遮挡时，对不可遮挡区块进行位移，保证了不可遮挡区块的背景信息不被遮挡。
图3为本发明实施例所涉及的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：
根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
根据所述原始背景图确定不可遮挡区块；
当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图3所示的处理器310、通信接口320、存储器330和通信总线340，其中处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，且处理器310可以调用存储器330中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
根据所述原始背景图确定不可遮挡区块；
当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
根据所述原始背景图确定不可遮挡区块；
当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种视频图片的背景变换方法，其特征在于，包括：
根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
根据所述原始背景图确定不可遮挡区块；
当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换；
其中，所述根据所述原始背景图对所述目标视频图片进行背景变换，包括：
步骤S1、确定不可遮挡区块的被遮挡处；
步骤S2、查找所述不可遮挡区块中的被遮挡处的关键点；
步骤S3、判断第N-1重点标志物所对应的不可遮挡区块是否还属于第N重点标志物，若判断结果为否，执行步骤S4，若判断结果为是，将N的当前值加1后，重新执行步骤S3；其中，N为自然数，其初始值为2；第一重点标志物为所述被遮挡的不可遮挡区块所属的重点标志物，第N重点标志物为不同于前N-1个重点标志物的重点标志物；
步骤S4、基于所述关键点，移动前N-1个重点标志物所对应的所有不可遮挡区块的位置，直至所述前N-1个重点标志物所对应的所有不可遮挡区块与目标视频图片的前景无重合为止。
2.根据权利要求1所述的视频图片的背景变换方法，其特征在于，所述根据所述原始背景图确定不可遮挡区块，包括：
对所述原始背景图进行切割，得到多个第一图像块；
设定所述原始背景图中的重点标志物，将包含重点标志物的所述第一图像块标记为不可遮挡区块。
3.根据权利要求1所述的视频图片的背景变换方法，其特征在于，所述根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡，包括：
根据所述目标视频图片的背景图与原始背景图的差分计算结果，确定所述目标视频图片中不可遮挡区块被遮挡的面积；
根据所述目标视频图片的时序在前的相邻视频图片，确定所述目标视频图片中不可遮挡区块被遮挡的时间长度；
当所述不可遮挡区块被遮挡的面积满足第一阈值，且所述不可遮挡区块被遮挡的时间长度满足第二阈值，则确定所述目标视频图片有不可遮挡区块被遮挡。
4.根据权利要求1至3任一项所述的视频图片的背景变换方法，其特征在于，在所述根据所述原始背景图对所述目标视频图片进行背景变换的步骤之后，方法还包括：
对背景变换后的所述目标视频图片进行检测，当存在空白区域时，按照从空白区域的边缘向中心填充的顺序进行纹理填充。
5.根据权利要求4所述的视频图片的背景变换方法，其特征在于，所述按照从空白区域的边缘向中心填充的顺序进行纹理填充，包括：
将所述空白区域划分为多个第二图像块；
对所述多个第二图像块进行优先级排序；
将所述目标视频图片中已知区域中与空白区域的边缘最接近的第一个图像块作为填充源，然后根据所述多个第二图像块的优先级，按照从所述空白区域的边缘向所述空白区域的中心的顺序填充所述第二图像块，直至所述空白区域中的所有第二图像块填充完成。
6.根据权利要求5所述的视频图片的背景变换方法，其特征在于，所述对所述多个第二图像块进行优先级排序，包括：
确定所述多个第二图像块各自的关键点；
根据所述关键点的邻域中已填充像素的置信度，计算所述关键点的优先级；
将所述第二图像块中的像素点的优先级作为所述第二图像块的优先级，对所述多个第二图像块进行优先级排序。
7.一种视频图片的背景变换装置，其特征在于，包括：
背景与前景分离模块，用于根据目标视频图片所对应的原始背景图对所述目标视频图片进行前景与背景的分离，得到所述目标视频图片的背景图；
不可遮挡区块确定模块，用于根据所述原始背景图确定不可遮挡区块；
背景变换模块，用于当根据所述目标视频图片的背景图与所述原始背景图，确定所述目标视频图片中有不可遮挡区块被遮挡时，根据所述原始背景图对所述目标视频图片进行背景变换；
其中，所述根据所述原始背景图对所述目标视频图片进行背景变换，包括：
步骤S1、确定不可遮挡区块的被遮挡处；
步骤S2、查找所述不可遮挡区块中的被遮挡处的关键点；
步骤S3、判断第N-1重点标志物所对应的不可遮挡区块是否还属于第N重点标志物，若判断结果为否，执行步骤S4，若判断结果为是，将N的当前值加1后，重新执行步骤S3；其中，N为自然数，其初始值为2；第一重点标志物为所述被遮挡的不可遮挡区块所属的重点标志物，第N重点标志物为不同于前N-1个重点标志物的重点标志物；
步骤S4、基于所述关键点，移动前N-1个重点标志物所对应的所有不可遮挡区块的位置，直至所述前N-1个重点标志物所对应的所有不可遮挡区块与目标视频图片的前景无重合为止。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述视频图片的背景变换方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述视频图片的背景变换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011341466.XA CN112465853B (zh) | 2020-11-25 | 2020-11-25 | 视频图片的背景变换方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011341466.XA CN112465853B (zh) | 2020-11-25 | 2020-11-25 | 视频图片的背景变换方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465853A CN112465853A (zh) | 2021-03-09 |
| CN112465853B true CN112465853B (zh) | 2024-02-02 |
Family
ID=74808295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011341466.XA Active CN112465853B (zh) | 2020-11-25 | 2020-11-25 | 视频图片的背景变换方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465853B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113660495A (zh) * | 2021-08-11 | 2021-11-16 | 易谷网络科技股份有限公司 | 实时视频流压缩方法、装置、电子设备以及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008071000A1 (en) * | 2006-12-15 | 2008-06-19 | Micro Target Media Holdings Inc. | System and method for obtaining and using advertising information |
| CN103996203A (zh) * | 2014-06-13 | 2014-08-20 | 北京锐安科技有限公司 | 一种检测图像面部遮挡的方法和装置 |
| CN105469379A (zh) * | 2014-09-04 | 2016-04-06 | 广东中星电子有限公司 | 视频目标区域遮挡方法和装置 |
| CN108965982A (zh) * | 2018-08-28 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 视频录制方法、装置、电子设备和可读存储介质 |
| CN110362373A (zh) * | 2019-06-29 | 2019-10-22 | 华为技术有限公司 | 一种控制屏幕小窗口的方法及相关设备 |
| JP2019195698A (ja) * | 2017-11-07 | 2019-11-14 | 株式会社大一商会 | 遊技機 |
| CN111105440A (zh) * | 2019-11-29 | 2020-05-05 | 北京金山云网络技术有限公司 | 视频中目标物体的跟踪方法、装置、设备及存储介质 |
| CN111723644A (zh) * | 2020-04-20 | 2020-09-29 | 北京邮电大学 | 一种监控视频遮挡检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040413A (zh) * | 2017-06-12 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 数据的显示方法、装置和系统 |
-
2020
- 2020-11-25 CN CN202011341466.XA patent/CN112465853B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008071000A1 (en) * | 2006-12-15 | 2008-06-19 | Micro Target Media Holdings Inc. | System and method for obtaining and using advertising information |
| CN103996203A (zh) * | 2014-06-13 | 2014-08-20 | 北京锐安科技有限公司 | 一种检测图像面部遮挡的方法和装置 |
| CN105469379A (zh) * | 2014-09-04 | 2016-04-06 | 广东中星电子有限公司 | 视频目标区域遮挡方法和装置 |
| JP2019195698A (ja) * | 2017-11-07 | 2019-11-14 | 株式会社大一商会 | 遊技機 |
| CN108965982A (zh) * | 2018-08-28 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 视频录制方法、装置、电子设备和可读存储介质 |
| CN110362373A (zh) * | 2019-06-29 | 2019-10-22 | 华为技术有限公司 | 一种控制屏幕小窗口的方法及相关设备 |
| CN111105440A (zh) * | 2019-11-29 | 2020-05-05 | 北京金山云网络技术有限公司 | 视频中目标物体的跟踪方法、装置、设备及存储介质 |
| CN111723644A (zh) * | 2020-04-20 | 2020-09-29 | 北京邮电大学 | 一种监控视频遮挡检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Appearance models for occlusion handling;Andrew Senior等;《Image and Vision Computing》;第24卷(第11期);1233-1243 * |
| 面向动态场景理解的时空深度学习算法;蒙冰皓;《中国优秀硕士学位论文全文数据库 信息科技辑》(第02期);I138-1515 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465853A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Robust video content alignment and compensation for rain removal in a cnn framework | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| US7577314B2 (en) | Method and apparatus for generating a panorama background from a set of images | |
| US9542735B2 (en) | Method and device to compose an image by eliminating one or more moving objects | |
| EP1274251A2 (en) | Method and apparatus for segmenting a pixellated image | |
| US11037308B2 (en) | Intelligent method for viewing surveillance videos with improved efficiency | |
| US9401027B2 (en) | Method and apparatus for scene segmentation from focal stack images | |
| EP3681144A1 (en) | Video processing method and apparatus based on augmented reality, and electronic device | |
| Qian et al. | Video background replacement without a blue screen | |
| EP2680226A1 (en) | Temporally consistent superpixels | |
| CN112800850A (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
| CN111723713B (zh) | 一种基于光流法的视频关键帧提取方法及系统 | |
| CN112465853B (zh) | 视频图片的背景变换方法、装置、电子设备及存储介质 | |
| CN111080723B (zh) | 基于Unet网络的图像元素分割方法 | |
| EP3543954B1 (en) | Method of processing a video | |
| CN111654747A (zh) | 弹幕显示方法及装置 | |
| WO2015189369A1 (en) | Methods and systems for color processing of digital images | |
| WO2016199418A1 (en) | Frame rate conversion system | |
| US9342754B2 (en) | Image segmentation using blur and color | |
| Le et al. | SpatioTemporal utilization of deep features for video saliency detection | |
| CN115866295A (zh) | 一种面向变流站端子排的视频关键帧二次提取方法及系统 | |
| Xu et al. | Spatial-temporal depth de-noising for Kinect based on texture edge-assisted depth classification | |
| Du et al. | Video retargeting based on spatiotemporal saliency model | |
| Cheng et al. | A novel saliency model for stereoscopic images | |
| Veeravasarapu et al. | Fast and fully automated video colorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |