CN113573137B - 视频画布边界检测方法、系统、终端设备及存储介质 - Google Patents
视频画布边界检测方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113573137B CN113573137B CN202110749236.5A CN202110749236A CN113573137B CN 113573137 B CN113573137 B CN 113573137B CN 202110749236 A CN202110749236 A CN 202110749236A CN 113573137 B CN113573137 B CN 113573137B
- Authority
- CN
- China
- Prior art keywords
- boundary
- video
- boundaries
- candidate
- canvas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视频画布边界检测方法、系统、终端设备及存储介质，该方法包括：对待检测视频进行视频帧分割，得到多个分割视频帧，分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息；若边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据预设区间内的边界生成待检测视频的候选边界；根据候选边界的数量进行边界筛选，得到视频画布边界检测结果。本发明通过预训练后的视频画布边界检测模型进行边界检测，能有效地识别出边界信息，基于识别出的边界信息确定待检测视频的候选边界，基于筛选后的候选边界进行视频画布边界的定位。
Description
技术领域
本发明属于视频边界检测领域，尤其涉及一种视频画布边界检测方法、系统、终端设备及存储介质。
背景技术
视频画布边界，是指视频主体与画布背景拼接产生的边界。在移动端视频的制作过程中，因用户制作个性化视频以及视频适应移动端屏幕展示等原因，具有画布背景的视频普遍存在，因此，针对视频中视频画布边界的检测问题越来越受人们所重视。
现有的视频画布边界检测过程中，均是通过计算视频帧中边界两侧的像素差，基于计算到的像素差进行视频画布边界的定位，但当视频画布边界两侧区域对比度较低时，像素差值较小，使得视频画布边界不明显，进而容易导致视频画布边界的漏检测现象，降低了视频画布边界检测的准确性。
发明内容
本发明实施例的目的在于提供一种视频画布边界检测方法、系统、终端设备及存储介质，旨在解决现有的视频画布边界检测过程中，由于采用像素差进行视频画布边界定位，所导致的视频画布边界检测准确性低下的问题。
本发明实施例是这样实现的，一种视频画布边界检测方法，所述方法包括：
对待检测视频进行视频帧分割，得到多个分割视频帧，并分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息；
若所述边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据所述预设区间内的边界生成所述待检测视频的候选边界；
根据所述候选边界的数量，对所述候选边界进行筛选，得到视频画布边界检测结果。
更进一步的，所述边界信息包括不同所述边界与对应边界坐标和边界置信度之间的对应关系，所述根据所述预设区间内的边界生成所述待检测视频的候选边界，包括：
确定所述预设区间内边界的平均边界坐标，并将所述预设区间内所述平均边界坐标对应的位置确定为所述候选边界的位置；
将所述预设区间内所有边界之间边界置信度的和，设置为所述候选边界的边界置信度。
更进一步的，所述根据所述候选边界的数量，对所述候选边界进行筛选，包括：
若所述候选边界的数量小于预设数量，则判定不存在所述待检测视频的视频画布边界；
若所述候选边界的数量等于所述预设数量，且任一所述候选边界在预设位置阈值范围内，则将所述候选边界确定为所述待检测视频的视频画布边界。
更进一步的，所述根据所述候选边界的数量，对所述候选边界进行筛选，还包括：
若所述候选边界的数量大于预设数量，则根据预设位置阈值范围对所述候选边界进行筛选；
根据筛选后的各候选边界的边界置信度进行大小排序，得到边界排序列表，并在所述边界排序列表中，将预设排序序号之前的所述候选边界确定为视频画布边界。
更进一步的，所述对待检测视频进行视频帧分割，得到多个分割视频帧，包括：
根据预设帧数对所述待检测视频进行视频帧分割，得到各分割视频帧，并根据预设图像尺寸，分别对各分割视频帧中的每帧视频图像进行尺寸缩放。
更进一步的，所述分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测之前，还包括：
构建训练集数据，并根据所述训练集数据中的标注的边界位置构建虚拟边界框作为监督信息；
根据所述训练集数据和所述监督信息，对所述视频画布边界检测模型进行目标检测任务的训练，直至所述视频画布边界检测模型收敛，得到预训练后的所述视频画布边界检测模型。
更进一步的，所述构建训练集数据，包括：
获取具有视频边界的正样本视频，并在所述正样本视频中截取视频帧，得到正样本视频帧；
对截取到的所述正样本视频帧中的视频画布边界进行位置标注，并根据位置标注后的所述正样本视频帧构建正样本数据；
获取不具有视频边界的负样本视频，并在所述负样本视频中截取视频帧，得到负样本视频帧；
根据所述负样本视频帧构建负样本数据，并分别对所述正样本数据和所述负样本数据进行数据增强，得到所述训练集数据。
本发明实施例的另一目的在于提供一种视频画布边界检测系统，所述系统包括：
边界检测模块，用于对待检测视频进行视频帧分割，得到多个分割视频帧，并分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息；
候选边界生成模块，用于若所述边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据所述预设区间内的边界生成所述待检测视频的候选边界；
边界筛选模块，用于根据所述候选边界的数量，对所述候选边界进行筛选，得到视频画布边界检测结果。
本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例，通过分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，能有效地确定到各分割视频帧中的边界信息，若边界信息中，任一预设区间内的边界的数量大于数量阈值，则判定该预设区间内存在待检测视频的候选边界，通过预设区间内的边界生成待检测视频的候选边界，提高了候选边界确定的准确性，通过候选边界的数量，能有效地对候选边界进行筛选，提高了视频画布边界检测结果的准确性，本实施例，通过预训练后的视频画布边界检测模型进行边界检测，能有效地识别出边界信息，基于识别出的边界信息确定待检测视频的候选边界，基于候选边界的数量进行候选边界的筛选，提高了候选边界的准确性，基于筛选后的候选边界进行视频画布边界的定位，得到视频画布边界检测结果，防止了由于采用像素差进行视频画布边界定位，所导致的视频画布边界检测准确性低下的问题。
附图说明
图1是本发明第一实施例提供的视频画布边界检测方法的流程图；
图2是本发明第二实施例提供的视频画布边界检测方法的流程图；
图3是本发明第三实施例提供的视频画布边界检测系统的结构示意图；
图4是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的视频画布边界检测方法的流程图，该视频画布边界检测方法可以应用与任一终端设备，该终端设备包括手机、平板或可穿戴智能设备等，该视频画布边界检测方法包括步骤：
步骤S10，对待检测视频进行视频帧分割，得到多个分割视频帧，并分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息；
其中，该边界信息包括不同边界与对应边界坐标和边界置信度之间的对应关系；例如，当该待检测视频被分割为分割视频帧a1、分割视频帧a2和分割视频帧a3时，分别将分割视频帧a1、分割视频帧a2和分割视频帧a3输入预训练后的视频画布边界检测模型进行边界检测，得到边界信息b1、边界信息b2和边界信息b3，该边界信息b1包括被识别出的边界对应的边界坐标和边界置信度，边界信息b2包括被识别出的边界对应的边界坐标和边界置信度，边界信息b3包括被识别出的边界对应的边界坐标和边界置信度。
该步骤中，该边界信息中可以包括多个不同边界对应的边界坐标和边界置信度，当该边界信息中未包括边界和边界对应的边界坐标和边界置信度时，则判定该边界信息中未检测出边界。
可选的，该步骤中，所述对待检测视频进行视频帧分割，得到多个分割视频帧，包括：
根据预设帧数对所述待检测视频进行视频帧分割，得到各分割视频帧，并根据预设图像尺寸，分别对各分割视频帧中的每帧视频图像进行尺寸缩放；
其中，该预设帧数可以根据需求进行设置，例如，该预设帧数可以设置为3帧、5帧或10帧等，通过根据预设帧数对待检测视频进行视频帧分割，提高了得到的边界信息的数量，方便了后续针对候选边界的确定。
进一步地，该步骤中，所述分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测之前，还包括：
构建训练集数据，并根据所述训练集数据中的标注的边界位置构建虚拟边界框作为监督信息；
根据所述训练集数据和所述监督信息，对所述视频画布边界检测模型进行目标检测任务的训练，直至所述视频画布边界检测模型收敛，得到预训练后的所述视频画布边界检测模型；
其中，通过训练集数据中的标注的边界位置构建虚拟边界框作为监督信息，提高了视频画布边界检测模型训练的准确性，该步骤中，该视频画布边界检测模型以YOLOV5模型作为基础模型，训练集数据中的标注的边界位置构建虚拟边界框作为监督信息，将视频画布边界检测模型中的标签(label)的坐标转换为YOLO格式[x，y，w，h]，其中x和y为虚拟边界框的中心点坐标，w和h为虚拟边界框的宽度和高度，x，y，w，h均使用归一化形式表示。设定x＝0.5，w＝1，h＝0.05，y为边界纵坐标位置/视频高度，该设定的依据如下：
x＝0.5，w＝1符合视频边界的形状，h＝0.05即设置高度为视频的1/20，h的大小的设置需要考虑非极大值抑制，设置过大可能会使两条相近的边界被过滤掉，设置过小会可能会造成边界重复检测，将h设置为0.05，在对比实验中效果较好；x、w、h设置为常量可以使视频画布边界检测模型专注回归边界位置y，去除x、w、h对模型训练的干扰。
将视频画布边界检测模型在32倍下采样时的锚(anchor)设置为(W*w，H*h)，其中W和H分别代表视频画布边界检测模型中，输入图像的宽度和高度，即设置anchor与label中的w和h保持一致，设置依据如下：
设置anchor与label中的w和h保持一致可以使anchor直接与虚拟边界框的宽高拟合，消除虚拟边界框作为监督信息时宽高的干扰，使得利用虚拟边界框训练时，视频画布边界检测模型可以专注于边界位置y的回归。
在32倍下采样中设置anchor的原因为：32倍下采样后视频画布边界检测模型的感受野最大，适合检测大物体。
更进一步地，所述构建训练集数据，包括：
获取具有视频边界的正样本视频，并在所述正样本视频中截取视频帧，得到正样本视频帧；
对截取到的所述正样本视频帧中的视频画布边界进行位置标注，并根据位置标注后的所述正样本视频帧构建正样本数据；
获取不具有视频边界的负样本视频，并在所述负样本视频中截取视频帧，得到负样本视频帧；
其中，负样本视频帧有两种，一种为随机的无边界的截帧，一种为易误检出边界的截帧，即具有类似画布边界的水平直线的截帧。加入这样的负样本可以更好地监督模型，有利于减少边界误检；
根据所述负样本视频帧构建负样本数据，并分别对所述正样本数据和所述负样本数据进行数据增强，得到所述训练集数据；
其中，通过分别对正样本数据和负样本数据进行水平翻转和/或竖直翻转，以达到数据增强的效果，进而提高了训练集数据的数据量，保障了训练后视频画布边界检测模型的泛化能力。
步骤S20，若所述边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据所述预设区间内的边界生成所述待检测视频的候选边界；
其中，该预设区间是根据预设宽度和/或长度所设置的小区间区域，例如，该预设区间可以设置为待检测视频上的小范围水平长条区域，该预设区间用于统计同一位置检测出的边界数量。
例如，当待检测视频检测出的边界所分布的预设区间包括预设区间c1和预设区间c2，且该边界信息中，预设区间c1上检测到的边界的数量大于数量阈值时，则根据预设区间c1内的边界生成待检测视频的候选边界，该数量阈值可以根据需求或基于分割视频帧的总帧数进行设置，例如，当该数量阈值基于分割视频帧的总帧数进行设置时，则该数量阈值＝(分割视频帧的总帧数-2)，即，当分割视频帧的总帧数为5帧时，则该数量阈值为3，因此，当检测到边界信息中，任一预设区间内的边界的数量大于3，则根据预设区间内的边界生成待检测视频的候选边界。
可选的，该步骤中，若边界信息中，任一预设区间内的边界的数量小于或等于数量阈值，则判定该预设区间内不存在待检测视频的候选边界。
步骤S30，根据所述候选边界的数量，对所述候选边界进行筛选，得到视频画布边界检测结果；
其中，通过对候选边界进行筛选，提高了视频画布边界检测结果生成的准确性，该步骤中，当完成候选边界的筛选时，则将筛选后的候选边界确定为待检测视频中的视频画布边界，并根据确定到的视频画布边界的坐标生成该视频画布边界检测结果。
本实施例，通过分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，能有效地确定到各边界信息，若边界信息中，任一预设区间内的边界的数量大于数量阈值，则判定该预设区间内存在待检测视频的候选边界，通过预设区间内的边界生成待检测视频的候选边界，提高了候选边界确定的准确性，通过候选边界的数量，能有效地对候选边界进行筛选，提高了视频画布边界检测结果的准确性，本实施例，通过预训练后的视频画布边界检测模型进行边界检测，能有效地识别出边界信息，基于识别出的边界信息确定候选边界，基于候选边界的数量进行候选边界的筛选，提高了候选边界的准确性，基于筛选后的候选边界进行视频画布边界的定位，得到视频画布边界检测结果，防止了由于采用像素差进行视频画布边界定位，所导致的视频画布边界检测准确性低下的问题。
实施例二
请参阅图2，是本发明第二实施例提供的视频画布边界检测方法的流程图，该实施例用于对步骤S20至步骤S30作进一步细化，包括步骤：
步骤S21，确定所述预设区间内边界的平均边界坐标，并将所述预设区间内所述平均边界坐标对应的位置确定为所述候选边界的位置；
其中，通过计算同一预设区间内所有边界之间边界坐标的平均值，得到该平均边界坐标，并将该预设区间内平均边界坐标对应的位置确定为候选边界的位置，例如，当该预设区间c3内的边界包括边界d1、边界d2、边界d3和边界d4，则计算该边界信息中边界d1、边界d2、边界d3和边界d4对应边界坐标的平均值，得到该平均边界坐标e1，并将该预设区间c3中平均边界坐标e1确定为候选边界f1的位置坐标。
步骤S22，将所述预设区间内所有边界之间边界置信度的和，设置为所述候选边界的边界置信度；
例如，针对边界d1、边界d2、边界d3、边界d4和候选边界f1，则将边界信息中中边界d1、边界d2、边界d3和边界d4之间边界置信度的和，设置为候选边界f1的边界置信度。
步骤S23，若所述候选边界的数量小于预设数量，则判定不存在所述待检测视频的视频画布边界；
其中，该预设数量为2，因为，视频画布的边界为上下两条边界。基于该预设数量能有效地判断到否存在视频画布边界。
该步骤中，分割视频帧为5帧图像，预设数量为2个，即，该步骤中，若5帧图像中候选边界的数量小于2个，则不存在待检测视频的视频画布边界。
步骤S24，若所述候选边界的数量等于所述预设数量，且任一所述候选边界在预设位置阈值范围内，则将所述候选边界确定为所述待检测视频的视频画布边界；
其中，该预设位置阈值可以根据需求进行设置，例如，该预设位置阈值可以设置为待检测视频中，离各图像边框预设距离所形成的框型区域对应的坐标值。
该步骤中，若候选边界的数量等于预设数量，且任一候选边界在预设位置阈值范围内，则将在预设位置阈值范围内的候选边界确定为待检测视频的视频画布边界，即，若5帧图像中候选边界的数量等于2个，且任一候选边界在预设位置阈值范围内，则将在预设位置阈值范围内的候选边界确定为待检测视频的视频画布边界。
步骤S25，若所述候选边界的数量大于预设数量，则根据预设位置阈值范围对所述候选边界进行筛选；
其中，若候选边界的数量大于预设数量，则判定该候选边界中存在误识别或多余的边界，因此，通过根据预设位置阈值范围对候选边界进行筛选，有效地提高了后续视频画布边界确定的准确性，即，该步骤中，若5帧图像中候选边界的数量大于2个，则根据预设位置阈值范围对所述候选边界进行筛选，可选的，该步骤中，通过仅保留预设位置阈值范围内的候选边界，以达到对候选边界的筛选效果。
步骤S26，根据筛选后的各候选边界的边界置信度进行大小排序，得到边界排序列表，并在所述边界排序列表中，将预设排序序号之前的所述候选边界确定为视频画布边界；
其中，该边界置信度用于表征对应候选边界为视频画布边界的概率，即，当该边界置信度越大时，则对应的候选边界为视频画布边界的概率越大，因此，通过根据筛选后的各候选边界的边界置信度进行大小排序，提高了视频画布边界确定的准确性。
该步骤中，该预设排序序号可以根据需求进行设置，例如，该预设排序序号可以设置为序号3，即，将该边界排序列表中第1排序序号和第2排序序号对应的候选边界确定为视频画布边界。
本实施例，通过确定预设区间内边界的平均边界坐标，基于该平均边界坐标能有效地在预设区间内确定到候选边界，通过将预设区间内所有边界之间边界置信度的和，设置为候选边界的边界置信度，提高了后续筛选后的候选边界排序的准确性，若候选边界的数量小于预设数量，则判定不存在视频画布边界，若候选边界的数量等于预设数量，且任一候选边界在预设位置阈值范围内，则将在预设位置阈值范围内的候选边界确定为视频画布边界。
实施例三
请参阅图3，是本发明第三实施例提供的视频画布边界检测系统100的结构示意图，包括：边界检测模块10、候选边界生成模块11和边界筛选模块12，其中：
边界检测模块10，用于对待检测视频进行视频帧分割，得到多个分割视频帧，并分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息，其中，所述边界信息包括不同所述边界与对应边界坐标和边界置信度之间的对应关系。
可选的，该边界检测模块10还用于：根据预设帧数对所述待检测视频进行视频帧分割，得到各分割视频帧，并根据预设图像尺寸，分别对各分割视频帧中的每帧视频图像进行尺寸缩放。
进一步地，该边界检测模块10还用于：构建训练集数据，并根据所述训练集数据中的标注的边界位置构建虚拟边界框作为监督信息；
根据所述训练集数据和所述监督信息，对所述视频画布边界检测模型进行目标检测任务的训练，直至所述视频画布边界检测模型收敛，得到预训练后的所述视频画布边界检测模型。
更进一步地，该边界检测模块10还用于：获取具有视频边界的正样本视频，并在所述正样本视频中截取视频帧，得到正样本视频帧；
对截取到的所述正样本视频帧中的视频画布边界进行位置标注，并根据位置标注后的所述正样本视频帧构建正样本数据；
获取不具有视频边界的负样本视频，并在所述负样本视频中截取视频帧，得到负样本视频帧；
根据所述负样本视频帧构建负样本数据，并分别对所述正样本数据和所述负样本数据进行数据增强，得到所述训练集数据。
候选边界生成模块11，用于若所述边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据所述预设区间内的边界生成所述待检测视频的候选边界。
其中，该候选边界生成模块11还用于：确定所述预设区间内边界的平均边界坐标，并将所述预设区间内所述平均边界坐标对应的位置确定为所述候选边界的位置；
将所述预设区间内所有边界之间边界置信度的和，设置为所述候选边界的边界置信度。
边界筛选模块12，用于根据所述候选边界的数量，对所述候选边界进行筛选，得到视频画布边界检测结果。
其中，该边界筛选模块12还用于：若所述候选边界的数量小于预设数量，则判定不存在所述待检测视频的视频画布边界；
若所述候选边界的数量等于所述预设数量，且任一所述候选边界在预设位置阈值范围内，则将所述候选边界确定为所述待检测视频的视频画布边界。
进一步地，该边界筛选模块12还用于：若所述候选边界的数量大于预设数量，则根据预设位置阈值范围对所述候选边界进行筛选；
根据筛选后的各候选边界的边界置信度进行大小排序，得到边界排序列表，并在所述边界排序列表中，将预设排序序号之前的所述候选边界确定为视频画布边界。
本实施例，通过分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，能有效地确定到各边界信息，若边界信息中，任一预设区间内的边界的数量大于数量阈值，则判定该预设区间内存在待检测视频的候选边界，通过预设区间内的边界生成待检测视频的候选边界，提高了候选边界确定的准确性，通过候选边界的数量，能有效地对候选边界进行筛选，提高了视频画布边界检测结果的准确性，本实施例，通过预训练后的视频画布边界检测模型进行边界检测，能有效地识别出边界信息，基于识别出的边界信息确定待检测视频的候选边界，基于候选边界的数量进行候选边界的筛选，提高了候选边界的准确性，基于筛选后的候选边界进行视频画布边界的定位，得到视频画布边界检测结果，防止了由于采用像素差进行视频画布边界定位，所导致的视频画布边界检测准确性低下的问题。
实施例四
图4是本申请第四实施例提供的一种终端设备2的结构框图。如图4所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如视频画布边界检测方法的程序。处理器20执行所述计算机程序23时实现上述各个视频画布边界检测方法各实施例中的步骤，例如图1所示的S10至S30，或者图2所示的S21至S26。或者，所述处理器20执行所述计算机程序22时实现上述图3对应的实施例中各单元的功能，例如，图3所示的单元10至12的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成边界检测模块10、候选边界生成模块11和边界筛选模块12，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图4仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种视频画布边界检测方法，其特征在于，所述方法包括：
对待检测视频进行视频帧分割，得到多个分割视频帧，并分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息；
若所述边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据所述预设区间内的边界生成所述待检测视频的候选边界；
根据所述候选边界的数量，对所述候选边界进行筛选，得到视频画布边界检测结果；
所述边界信息包括不同所述边界与对应边界坐标和边界置信度之间的对应关系，所述根据所述预设区间内的边界生成所述待检测视频的候选边界，包括：
确定所述预设区间内边界的平均边界坐标，并将所述预设区间内所述平均边界坐标对应的位置确定为所述候选边界的位置；
将所述预设区间内所有边界之间边界置信度的和，设置为所述候选边界的边界置信度；
所述根据所述候选边界的数量，对所述候选边界进行筛选，包括：
若所述候选边界的数量小于预设数量，则判定不存在所述待检测视频的视频画布边界；
若所述候选边界的数量等于所述预设数量，且任一所述候选边界在预设位置阈值范围内，则将所述候选边界确定为所述待检测视频的视频画布边界。
2.如权利要求1所述的视频画布边界检测方法，其特征在于，所述根据所述候选边界的数量，对所述候选边界进行筛选，还包括：
若所述候选边界的数量大于预设数量，则根据预设位置阈值范围对所述候选边界进行筛选；
根据筛选后的各候选边界的边界置信度进行大小排序，得到边界排序列表，并在所述边界排序列表中，将预设排序序号之前的所述候选边界确定为视频画布边界。
3.如权利要求1所述的视频画布边界检测方法，其特征在于，所述对待检测视频进行视频帧分割，得到多个分割视频帧，包括：
根据预设帧数对所述待检测视频进行视频帧分割，得到各分割视频帧，并根据预设图像尺寸，分别对各分割视频帧中的每帧视频图像进行尺寸缩放。
4.如权利要求1所述的视频画布边界检测方法，其特征在于，所述分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测之前，还包括：
构建训练集数据，并根据所述训练集数据中的标注的边界位置构建虚拟边界框作为监督信息；
根据所述训练集数据和所述监督信息，对所述视频画布边界检测模型进行目标检测任务的训练，直至所述视频画布边界检测模型收敛，得到预训练后的所述视频画布边界检测模型。
5.如权利要求4所述的视频画布边界检测方法，其特征在于，所述构建训练集数据，包括：
获取具有视频边界的正样本视频，并在所述正样本视频中截取视频帧，得到正样本视频帧；
对截取到的所述正样本视频帧中的视频画布边界进行位置标注，并根据位置标注后的所述正样本视频帧构建正样本数据；
获取不具有视频边界的负样本视频，并在所述负样本视频中截取视频帧，得到负样本视频帧；
根据所述负样本视频帧构建负样本数据，并分别对所述正样本数据和所述负样本数据进行数据增强，得到所述训练集数据。
6.一种视频画布边界检测系统，其特征在于，所述系统包括：
边界检测模块，用于对待检测视频进行视频帧分割，得到多个分割视频帧，并分别将各分割视频帧输入预训练后的视频画布边界检测模型进行边界检测，得到多个边界信息；
候选边界生成模块，用于若所述边界信息中，任一预设区间内的边界的数量大于数量阈值，则根据所述预设区间内的边界生成所述待检测视频的候选边界；
边界筛选模块，用于根据所述候选边界的数量，对所述候选边界进行筛选，得到视频画布边界检测结果；
所述边界信息包括不同所述边界与对应边界坐标和边界置信度之间的对应关系，所述候选边界生成模块还用于：确定所述预设区间内边界的平均边界坐标，并将所述预设区间内所述平均边界坐标对应的位置确定为所述候选边界的位置；
将所述预设区间内所有边界之间边界置信度的和，设置为所述候选边界的边界置信度；
所述边界筛选模块还用于：若所述候选边界的数量小于预设数量，则判定不存在所述待检测视频的视频画布边界；
若所述候选边界的数量等于所述预设数量，且任一所述候选边界在预设位置阈值范围内，则将所述候选边界确定为所述待检测视频的视频画布边界。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110749236.5A CN113573137B (zh) | 2021-07-01 | 2021-07-01 | 视频画布边界检测方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110749236.5A CN113573137B (zh) | 2021-07-01 | 2021-07-01 | 视频画布边界检测方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113573137A CN113573137A (zh) | 2021-10-29 |
| CN113573137B true CN113573137B (zh) | 2023-08-08 |
Family
ID=78163483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110749236.5A Active CN113573137B (zh) | 2021-07-01 | 2021-07-01 | 视频画布边界检测方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113573137B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117319585B (zh) * | 2023-09-25 | 2024-03-08 | 钲成世纪(广州)新媒体科技有限公司 | 一种高清演播室大屏分割监视方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470077A (zh) * | 2018-05-28 | 2018-08-31 | 广东工业大学 | 一种视频关键帧提取方法、系统及设备和存储介质 |
| CN109035145A (zh) * | 2018-08-02 | 2018-12-18 | 广州市鑫广飞信息科技有限公司 | 基于视频帧匹配信息的视频图像自适应拼接方法及装置 |
| CN109086770A (zh) * | 2018-07-25 | 2018-12-25 | 成都快眼科技有限公司 | 一种基于精准尺度预测的图像语义分割方法及模型 |
| WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技（深圳）有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
| CN111598074A (zh) * | 2020-05-21 | 2020-08-28 | 杭州睿琪软件有限公司 | 边缘检测方法和装置、电子设备和存储介质 |
| CN112634235A (zh) * | 2020-12-24 | 2021-04-09 | 深圳艾灵网络有限公司 | 产品图像的边界检测方法和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9544538B2 (en) * | 2012-05-15 | 2017-01-10 | Airtime Media, Inc. | System and method for providing a shared canvas for chat participant |
| CN109559344B (zh) * | 2017-09-26 | 2023-10-13 | 腾讯科技（上海）有限公司 | 边框检测方法、装置及存储介质 |
-
2021
- 2021-07-01 CN CN202110749236.5A patent/CN113573137B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019041519A1 (zh) * | 2017-08-29 | 2019-03-07 | 平安科技（深圳）有限公司 | 目标跟踪装置、方法及计算机可读存储介质 |
| CN108470077A (zh) * | 2018-05-28 | 2018-08-31 | 广东工业大学 | 一种视频关键帧提取方法、系统及设备和存储介质 |
| CN109086770A (zh) * | 2018-07-25 | 2018-12-25 | 成都快眼科技有限公司 | 一种基于精准尺度预测的图像语义分割方法及模型 |
| CN109035145A (zh) * | 2018-08-02 | 2018-12-18 | 广州市鑫广飞信息科技有限公司 | 基于视频帧匹配信息的视频图像自适应拼接方法及装置 |
| CN111598074A (zh) * | 2020-05-21 | 2020-08-28 | 杭州睿琪软件有限公司 | 边缘检测方法和装置、电子设备和存储介质 |
| CN112634235A (zh) * | 2020-12-24 | 2021-04-09 | 深圳艾灵网络有限公司 | 产品图像的边界检测方法和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 卷积神经网络低层特征辅助的图像实例分割方法;樊玮;《计算机科学》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113573137A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10896349B2 (en) | Text detection method and apparatus, and storage medium | |
| CN111860502B (zh) | 图片表格的识别方法、装置、电子设备及存储介质 | |
| CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| KR20210110823A (ko) | 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기 | |
| CN112633159B (zh) | 人-物交互关系识别方法、模型训练方法及对应装置 | |
| CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和系统及设备 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| CN111368587B (zh) | 场景检测方法、装置、终端设备及计算机可读存储介质 | |
| CN112348761B (zh) | 设备外观图像亮度调节方法及装置 | |
| US11875486B2 (en) | Image brightness statistical method and imaging device | |
| CN111046746A (zh) | 一种车牌检测方法及装置 | |
| CN108520263B (zh) | 一种全景图像的识别方法、系统及计算机存储介质 | |
| CN112634201A (zh) | 目标检测方法、装置和电子设备 | |
| CN110807457A (zh) | Osd字符识别方法、装置及存储装置 | |
| CN113573137B (zh) | 视频画布边界检测方法、系统、终端设备及存储介质 | |
| CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
| CN110751156A (zh) | 用于表格线大块干扰去除方法、系统、设备及介质 | |
| CN113129298A (zh) | 文本图像的清晰度识别方法 | |
| CN115345895B (zh) | 用于视觉检测的图像分割方法、装置、计算机设备及介质 | |
| CN107945186A (zh) | 分割图像的方法、装置、计算机可读存储介质和终端设备 | |
| CN113807407B (zh) | 目标检测模型训练方法、模型性能检测方法及装置 | |
| CN116486153A (zh) | 图像分类方法、装置、设备及存储介质 | |
| CN113569771B (zh) | 视频分析方法及装置、电子设备和存储介质 | |
| CN112529943A (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
| CN112733565A (zh) | 二维码粗定位方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |