CN111818364B - 视频融合方法、系统、设备及介质 - Google Patents

视频融合方法、系统、设备及介质 Download PDF

Info

Publication number
CN111818364B
CN111818364B CN202010751708.6A CN202010751708A CN111818364B CN 111818364 B CN111818364 B CN 111818364B CN 202010751708 A CN202010751708 A CN 202010751708A CN 111818364 B CN111818364 B CN 111818364B
Authority
CN
China
Prior art keywords
video
image
fused
images
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010751708.6A
Other languages
English (en)
Other versions
CN111818364A (zh
Inventor
姚志强
周曦
吴媛
杨开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuncongboyan Intelligent Technology Co Ltd
Original Assignee
Guangzhou Yuncongboyan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuncongboyan Intelligent Technology Co Ltd filed Critical Guangzhou Yuncongboyan Intelligent Technology Co Ltd
Priority to CN202010751708.6A priority Critical patent/CN111818364B/zh
Publication of CN111818364A publication Critical patent/CN111818364A/zh
Application granted granted Critical
Publication of CN111818364B publication Critical patent/CN111818364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明提供一种视频融合方法、系统、设备及介质，包括：获取待融合的图像与视频；分割所述视频得到多个视频帧；基于待融合的图像与多个所述视频帧构建图像集；聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内。通过分割视频得到多个视频帧，以待融合的图像与视频帧构建图像集，通过对所述图像集进行聚类处理生成聚类结果，利用待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内，一方面，利用无人化、智能化融合视频，实现高效、快速的融合视频；另一方面，提高了视频融合的准确性，确保了视频融合质量。

Description

视频融合方法、系统、设备及介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种视频融合方法、系统、设备及介质。
背景技术
视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型，视频融合技术被广泛应用于视频剪辑、虚拟增强环境、游戏制作等领域。
在当今视频剪辑领域中，通常将一张图像或一段视频融合到另一段视频内，需要编辑者选择插入位置实现视频融合。然而，利用人工手动融合，一方面，操作繁琐复杂、工作量大、效率不高；另一方面，需要考虑人工对图像结构、场景、颜色等信息的了解程度，无法确保视频融合的质量。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种视频融合方法、系统、设备及介质，用于解决现有技术中视频融合时，无法确保视频融合质量的问题。
为实现上述目的及其他相关目的，本发明提供一种视频融合方法，包括以下步骤：
获取待融合的图像与视频；
分割所述视频得到多个视频帧；
基于待融合的图像与多个所述视频帧构建图像集；
聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内。
本发明还提供一种视频融合装置，包括：
获取模块，用于获取待融合的图像与视频；
分割模块，用于分割所述视频得到多个视频帧；
图像集构建模块，基于待融合的图像与多个所述视频帧构建图像集；
聚类融合模块，用于聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内。
本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如上述中一个或多个所述的方法。
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如上述中一个或多个所述的方法。
如上所述，本发明提供的一种视频融合方法、系统、设备及介质，具有以下有益效果：
通过分割视频得到多个视频帧，以待融合的图像与视频帧构建图像集，通过对所述图像集进行聚类处理生成聚类结果，利用待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内，一方面，利用无人化、智能化融合视频，实现高效、快速的融合视频；另一方面，提高了视频融合的准确性，确保了视频融合质量。
附图说明
图1为一实施例提供的视频融合方法的流程示意图；
图2为另一实施例提供的视频融合方法的流程示意图；
图3为一实施例提供的图像聚类方法的流程示意图；
图4为一实施例提供的视频融合装置的硬件结构示意图；
图5为一实施例提供的终端设备的硬件结构示意图；
图6为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 转换模块
M20 管理模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在本领域的相关技术中，传统的视频融合(如视频剪辑领域)，将拍摄图像融合视频内时，需要编辑者观察图像与视频哪一部分场景相似，以便寻找到插入位置，方便后续播放视频时，呈现连贯性效果，然而，利用人工手动融合，一方面，操作繁琐复杂、工作量大、效率不高；另一方面，需要考虑人工对图像结构、场景、颜色等信息的了解程度，无法确保视频融合的质量。
基于以上方案存在的问题，本发明公开提供了一种视频融合方法、视频融合系统、电子设备以及存储介质。
K-means聚类算法：它属于硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means聚类算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小；算法采用误差平方和准则函数作为聚类准则函数。
视频帧：视频本质上其实就是由一张张连贯起来的照片连续播放组成的，其中每一张静止的图像叫做视频帧。
场景特征：由多种因素提取出的图像的一种信息，用来表示场景的度量，场景特征向量就是场景特征用来具体计算的表示方法。
语义识别：指图像的语义，表示计算机模拟人类对图像的理解，比如，计算机本身是不能理解一幅图像的场景，经过语义识别后可以识别出图像场景如“游乐场”、“草地”等信息。其中图像最可能表达的场景或者物体叫做图像主体信息。
请参阅图1，本发明提供一种视频融合方法的流程图，包括以下步骤：
步骤S1，获取待融合的图像与视频；
其中，所述待融合的图像至少为单帧图像、多帧图像和视频流中的一种，例如，当待融合的图像为单帧图像或多帧图像时，如，图像插入指定视频的视频剪辑；当待融合的图像为视频流时，例如，一段图像与另一段视频融合，如，安检时，将可见光视频与太赫兹视频融合，以满足安检需求。又例如，将多段图像融合到一段图像，如，将多路视频融合到三维场景内实现视频融合，即广泛适用于视频剪辑、虚拟增强环境、游戏制作等领域。
步骤S2，分割所述视频得到多个视频帧；
其中，按照时序依次分割所述视频，得到每个视频帧，且每个视频帧对应有相应的时刻。
步骤S3，基于待融合的图像与多个所述视频帧构建图像集；
其中，当待融合的图像为单帧图像或多帧图像时，将多个视频帧与单帧图像构成图像集，或，将多个视频帧与多帧图像构成图像集；而当待融合的图像为视频流时，采用步骤S2对视频流分割得到待融合的多个视频帧，将视频流与视频内各自的视频帧构建为图像集。
步骤S4，聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内。
在本实施例中，通过分割视频得到多个视频帧，以待融合的图像与视频帧构建图像集，通过对所述图像集进行聚类处理生成聚类结果，利用待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内，一方面，利用无人化、智能化融合视频，实现高效、快速的融合视频；另一方面，提高了视频融合的准确性，确保了视频融合质量。
在一示例性实施例中，请参阅图2，为本发明另一实施例提供的视频融合方法的流程示意图，详述如下：
在上述步骤S4之前，还包括：
步骤S30，预处理所述图像集内待融合的图像与视频帧，得到预处理后的所述图像集。
在本实施例中，在真实的监控场景中，不同的相机、相同相机不同的参数或者光照的变化都会使得捕获的图像/视频存在颜色差异，采用原始采集的图像/视频数据进行融合，会产生明显的颜色变化梯度、鬼影等视觉伪像。为此，通过预处理所述图像集，使得所述图像集内视频帧和待融合的图像在颜色、亮度、纹理等参数都归一化，在后续进行视频融合时，增强视频融合的协调性，有效去除了干扰，提高了视频融合的质量。
在一示例性实施例中，请参阅图3，为本发明一实施例提供的一种图像聚类方法流程图，包括步骤：
步骤S41，提取所述图像集内各个图像的场景特征；
步骤S42，利用K-means聚类算法处理所述图像集，得到各个图像基于场景特征的聚类结果。
在上述实施例基础上，所述步骤S41，利用所述图像的像素分布、色彩空间、对比关系和直方图提取所述图像集内图像的场景特征。
在本实施例中，利用多尺度滤波从图像的像素分布、色彩空间、对比关系三个角度提取像素分布特征图、色彩空间特征图、对比关系特征图；利用视觉注意模型融合像素分布特征图、色彩空间特征图、对比关系特征图得到(视觉显著性映射)显著图，根据单元最小化的区域生长算法对得到显著图进行视觉显著区分割(得到矩形区域)，利用分块梯度直方图组合来生成特征区域描述子，采用SVM(支持向量机)对描述子向量进行无监督分类，根据显著区域匹配到场景分类结果，从而实现提取到图像的场景特征。本实施例对颜色、光照和像素变化具有较好的鲁棒性，同时，具有一定程度尺度不变性，基于多特征的非线性分类进一步提高了场景特征提取的准确性。
在上述实施例基础上，所述步骤S42，具体包括：
I从图像集内随机挑选K个图像作为初始的簇中心(图像数据集和聚类簇数k，k的选取按照实际需求决定)；
II计算图像集内每个图像样本与各个簇中心的距离，用特征向量γ的欧氏距离表示(距离越小即图像的特征相似度越高，即图像更可能是相似的场景)；
III将图像划分到距离最小的簇中心所代表的簇；
IV根据对图像集图像样本的分配重新计算每个簇的中心向量(即在每个新的图像簇中，计算新的簇中心，用每个簇中特征向量的均值表示)；
判断新的簇中心和之前的簇中心是否保持一致；如果新的簇中心和之前的簇中心保持一致，则聚类结束，跳出循环；如果新的簇中心改变(新的簇中心和之前的簇中心不一致)，则使用新的簇中心，回到第II步继续执行；
V聚类过程结束的标志是图像的簇中心不再更新。
通过使用聚类分析所述图像集内待融合的图像与视频帧，将相同类型场景特征的图像归为一簇，根据待融合的图像所归属的簇，将待融合的图像插入到原视频对应位置实现视频融合，特别是在样本数据量大时，能更突显视频融合的准确性，确保了视频融合质量。
在上述基础上，需要说明的是，还可基于统计的寻找聚类中心的算法，即利用原始数据的统计规律，寻找到原始数据中数据间距较大的几个数据点，将几个数据点作为初始聚类中心，能够有效提高K-means聚类算法收敛速度，提升K-means聚类算法性能。
在一示例性实施例中，所述步骤S41，利用深度学习方式训练图像语义得到相应模型提取所述图像集内图像的场景特征。
在本实施例中，基于深度学习的场景特征提取包括监督式和非监督式两种，监督式场景特征提取方式直接将场景特征提取与后期任务结合，整个框架可同时完成特征的提取和后期任务，该类框架：①构建多层非线性网络，②通过最小化网络输出与真实标签损失值，反向传播调整网络参数，自动学习高级特征。其中，卷积神经网络是最成功的模型，比较典型的卷积神经网络模型有Alexnet，GoogleNet，VGGNet等等。
在本实施例中，非监督式场景特征学习方法可以无监督地自动提取图像的高层次语义特征，其中，最典型的是深度自编码器模型，该类模型的网络输入和输出有相同维度，特征输入到网络，通过正向非线性网络到达中间层，由中间层反向通过重构网络，得到输出。为了学习到较鲁棒的特征，学者往往引入随机噪声，即用被破坏的输入数据重构出原始数据，从而使得训练出来的特征会更鲁棒，确保其具有更好的泛化能力和较好的重构能力。
通过上述深度学习方式迭代训练模型，利用该模型提取场景特征，大大减少了财力人力和物力的消耗，提高了场景特征提取的效率和准确率，减少了工作成本。
在一示例性实施例中，根据聚类结果得到待融合的图像在所述图像集内所归属的簇，在所述簇内随机选择某个时刻，将待融合的图像插入所述时刻对应的视频内实现视频融合，从而提高了视频融合的准确性，确保了视频融合质量。
请参阅图4，为本发明提供的一种视频融合装置，包括：
获取模块1，用于获取待融合的图像与视频；
其中，待融合的图像至少为单帧图像、多帧图像和视频流中的一种，当所述待融合的图像为视频流时，分割所述视频流得到多个待融合的视频帧。
分割模块2，用于分割所述视频得到多个视频帧；
图像集构建模块3，基于待融合的图像与多个所述视频帧构建图像集；
聚类融合模块4，用于聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内。
在一示例性实施例中，所述聚类融合模块之前，视频融合装置还包括：预处理模块，用于预处理所述图像集内待融合的图像与视频帧，得到预处理后的所述图像集。
在一示例性实施例中，所述聚类融合模块包括：
第一提取单元，用于提取所述图像集内各个图像的场景特征；
聚类单元，利用K-means聚类算法处理所述图像集，得到各个图像基于场景特征的聚类结果。
在一示例性实施例中，所述提取单元，利用所述图像的像素分布、色彩空间、对比关系和直方图提取所述图像集内图像的场景特征。
在一示例性实施例中，所述提取单元，利用深度学习方式训练图像语义得到相应模型提取所述图像集内图像的场景特征。
在一示例性实施例中，聚类融合模块包括：
融合单元，根据聚类结果得到待融合的图像在所述图像集内所归属的簇，在所述簇内随机选择某个时刻，将待融合的图像插入所述时刻对应的视频内实现视频融合。
在本实施例中，该视频融合系统与视频融合方法为一一对应关系，详细技术细节、技术功能和技术效果请参照上述实施例，此处不再一一赘述。
综上所述，本发明提供一种视频融合系统，通过分割视频得到多个视频帧，以待融合的图像与视频帧构建图像集，通过对所述图像集进行聚类处理生成聚类结果，利用待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内，一方面，利用无人化、智能化融合视频，实现高效、快速的融合视频；另一方面，提高了视频融合的准确性，确保了视频融合质量。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。
图5为本申请一实施例提供的终端设备的硬件结构示意图。如图5所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图6所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G或4G或5G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种视频融合方法，其特征在于，包括以下步骤：
获取待融合的图像与视频；
分割所述视频得到多个视频帧；
基于待融合的图像与多个所述视频帧构建图像集；
利用所述图像的像素分布、色彩空间、对比关系和直方图提取所述图像集内图像的场景特征，利用K-means聚类算法处理所述图像集，得到各个图像基于场景特征的聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内；
其中，利用多尺度滤波依次从图像的像素分布、色彩空间、对比关系提取像素分布特征图、色彩空间特征图、对比关系特征图；利用视觉注意模型融合像素分布特征图、色彩空间特征图、对比关系特征图得到显著图，利用区域生长算法对得到显著图进行视觉显著区分割得到矩形区域，利用分块梯度直方图来组合所述矩形区域生成特征区域描述子，采用支持向量机对所述特征区域描述子进行分类，根据显著区域匹配到场景分类结果，从而提取到所述图像集内图像的场景特征。
2.根据权利要求1所述的视频融合方法，其特征在于，所述聚类处理所述图像集生成聚类结果的步骤之前，还包括：预处理所述图像集内待融合的图像与视频帧，得到预处理后的所述图像集。
3.根据权利要求1或2所述的视频融合方法，其特征在于，所述待融合的图像至少为单帧图像、多帧图像和视频流中的一种。
4.根据权利要求3所述的视频融合方法，其特征在于，当所述待融合的图像为视频流时，分割所述视频流得到多个待融合的视频帧。
5.根据权利要求1所述的视频融合方法，其特征在于，利用深度学习方式训练图像语义得到相应模型，利用该模型提取所述图像集内图像的场景特征。
6.根据权利要求1所述的视频融合方法，其特征在于，所述根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内的步骤，包括：
根据聚类结果得到待融合的图像在所述图像集内所归属的簇，在所述簇内随机选择某个时刻，将待融合的图像插入所述时刻对应的视频内实现视频融合。
7.一种视频融合系统，其特征在于，包括：
获取模块，用于获取待融合的图像与视频；
分割模块，用于分割所述视频得到多个视频帧；
图像集构建模块，基于待融合的图像与多个所述视频帧构建图像集；
聚类融合模块，用于聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内；其中，所述聚类融合模块包括：
提取单元，利用所述图像的像素分布、色彩空间、对比关系和直方图提取所述图像集内图像的场景特征；其中，利用多尺度滤波依次从图像的像素分布、色彩空间、对比关系提取像素分布特征图、色彩空间特征图、对比关系特征图；利用视觉注意模型融合像素分布特征图、色彩空间特征图、对比关系特征图得到显著图，利用区域生长算法对得到显著图进行视觉显著区分割得到矩形区域，利用分块梯度直方图来组合所述矩形区域生成特征区域描述子，采用支持向量机对所述特征区域描述子进行分类，根据显著区域匹配到场景分类结果，从而提取到所述图像集内图像的场景特征；
聚类单元，利用K-means聚类算法处理所述图像集，得到各个图像基于场景特征的聚类结果。
8.根据权利要求7所述的视频融合系统，其特征在于，所述聚类融合模块之前，还包括：预处理模块，用于预处理所述图像集内待融合的图像与视频帧，得到预处理后的所述图像集。
9.根据权利要求7或8所述的视频融合系统，其特征在于，所述待融合的图像至少为单帧图像、多帧图像和视频流中的一种。
10.根据权利要求9所述的视频融合系统，其特征在于，当所述待融合的图像为视频流时，分割所述视频流得到多个待融合的视频帧。
11.根据权利要求7所述的视频融合系统，其特征在于，所述提取单元，利用深度学习方式训练图像语义得到相应模型，利用该模型提取所述图像集内图像的场景特征。
12.根据权利要求7所述的视频融合系统，其特征在于，所述聚类融合模块还包括：
融合单元，根据聚类结果得到待融合的图像在所述图像集内所归属的簇，在所述簇内随机选择某个时刻，将待融合的图像插入所述时刻对应的视频内实现视频融合。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-6中任意一个所述的方法。
14.一种机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-6中任意一个所述的方法。
CN202010751708.6A 2020-07-30 2020-07-30 视频融合方法、系统、设备及介质 Active CN111818364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010751708.6A CN111818364B (zh) 2020-07-30 2020-07-30 视频融合方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010751708.6A CN111818364B (zh) 2020-07-30 2020-07-30 视频融合方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN111818364A CN111818364A (zh) 2020-10-23
CN111818364B true CN111818364B (zh) 2021-08-06

Family

ID=72862841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751708.6A Active CN111818364B (zh) 2020-07-30 2020-07-30 视频融合方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111818364B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702625B (zh) * 2020-12-23 2024-01-02 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105284122A (zh) * 2014-01-24 2016-01-27 Sk普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法
CN108764258A (zh) * 2018-05-24 2018-11-06 西安电子科技大学 一种用于群体图像插入的最优图像集选取方法
CN110175546A (zh) * 2019-05-15 2019-08-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110225389A (zh) * 2019-06-20 2019-09-10 北京小度互娱科技有限公司 在视频中插入广告的方法，装置和介质
CN110232654A (zh) * 2019-04-24 2019-09-13 薄涛 图像合成方法、装置、设备及其存储介质
WO2020025558A1 (en) * 2018-07-30 2020-02-06 Koninklijke Kpn N.V. Generating composite video stream for display in vr
CN111182338A (zh) * 2020-01-13 2020-05-19 上海极链网络科技有限公司 一种视频处理方法、装置、存储介质及电子设备
CN111414868A (zh) * 2020-03-24 2020-07-14 北京旷视科技有限公司 时序动作片段的确定方法、动作检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938054B (zh) * 2012-09-06 2015-07-01 北京工业大学 基于视觉注意模型的压缩域敏感图像识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105284122A (zh) * 2014-01-24 2016-01-27 Sk普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法
CN108764258A (zh) * 2018-05-24 2018-11-06 西安电子科技大学 一种用于群体图像插入的最优图像集选取方法
WO2020025558A1 (en) * 2018-07-30 2020-02-06 Koninklijke Kpn N.V. Generating composite video stream for display in vr
CN110232654A (zh) * 2019-04-24 2019-09-13 薄涛 图像合成方法、装置、设备及其存储介质
CN110175546A (zh) * 2019-05-15 2019-08-27 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110225389A (zh) * 2019-06-20 2019-09-10 北京小度互娱科技有限公司 在视频中插入广告的方法，装置和介质
CN111182338A (zh) * 2020-01-13 2020-05-19 上海极链网络科技有限公司 一种视频处理方法、装置、存储介质及电子设备
CN111414868A (zh) * 2020-03-24 2020-07-14 北京旷视科技有限公司 时序动作片段的确定方法、动作检测方法及装置

Also Published As

Publication number Publication date
CN111818364A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN112232425B (zh) 图像处理方法、装置、存储介质及电子设备
Jian et al. The extended marine underwater environment database and baseline evaluations
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
CN113395542B (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN113010703B (zh) 一种信息推荐方法、装置、电子设备和存储介质
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
CN103988503A (zh) 使用预捕获图像运动的场景分割
CN113627402B (zh) 一种图像识别方法及相关装置
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN112861575A (zh) 一种行人结构化方法、装置、设备和存储介质
CN111209897A (zh) 视频处理的方法、装置和存储介质
WO2023056835A1 (zh) 视频封面生成方法、装置、电子设备及可读介质
Shi et al. Smart cameras: Fundamentals and classification
CN111340848A (zh) 对目标区域的对象跟踪方法、系统、设备及介质
CN111310725A (zh) 一种对象识别方法、系统、机器可读介质及设备
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN111339943A (zh) 一种对象管理方法、系统、平台、设备及介质
CN111818364B (zh) 视频融合方法、系统、设备及介质
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN111639705B (zh) 一种批量图片标注方法、系统、机器可读介质及设备
CN116048682A (zh) 一种终端系统界面布局对比方法及电子设备
CN114299615A (zh) 基于关键点的多特征融合的动作识别方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant