CN117714787A - 一种视频数据处理方法 - Google Patents

一种视频数据处理方法 Download PDF

Info

Publication number
CN117714787A
CN117714787A CN202410162682.XA CN202410162682A CN117714787A CN 117714787 A CN117714787 A CN 117714787A CN 202410162682 A CN202410162682 A CN 202410162682A CN 117714787 A CN117714787 A CN 117714787A
Authority
CN
China
Prior art keywords
frame
video data
frame number
images
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410162682.XA
Other languages
English (en)
Other versions
CN117714787B (zh
Inventor
方晓超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University
Original Assignee
Harbin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University filed Critical Harbin University
Priority to CN202410162682.XA priority Critical patent/CN117714787B/zh
Publication of CN117714787A publication Critical patent/CN117714787A/zh
Application granted granted Critical
Publication of CN117714787B publication Critical patent/CN117714787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种视频数据处理方法，具体包括以下步骤：A1、通过摄像机完成对视频数据的拍摄获取操作，A2、完成对视频数据的处理操作，并引入背景视频数据包与处理后的视频进行合并处理操作，本发明涉及视频数据处理技术领域。该视频数据处理方法，通过对预处理视频数据按照每秒为节点进行视频的分割，然后选取帧数集按照帧数进行分割，利用覆盖算法对相邻帧数图像进行覆盖对比操作，根据覆盖差异比例结果得到相邻的关键帧，以此完成视频处理过程中动态变化时帧数图像的寻找，并对关键特征分割后完成与相同条件下的背景帧数图像匹配融合，提高处理效率的同时使得等比例形成的新的视频图像更为自然。

Description

一种视频数据处理方法
技术领域
本发明涉及食品加工技术领域，具体为一种视频数据处理方法。
背景技术
随着互联网全球接入的普及，视频剪辑在网上变得非常流行，尽管这些内容的大部分内容都是非排他性的，并且可以在竞争网站上获得，但有些公司自己制作所有视频，并不依赖外部公司或业余爱好者的工作。
参考中国专利，专利名称为：一种视频数据处理方法及装置（专利公开号：CN117221626A，专利公开日：2023-12-12），该方法的一具体实施方式包括：接收赛事活动对应的多路视频数据；从所述多路视频数据包括的多个图像帧中识别出目标图像帧，并确定所述目标图像帧对应的时间点；根据流媒体传输协议将所述多路视频数据缓存为多个视频切片；所述视频切片包括时间戳；根据所述时间点，从所述多个视频切片中确定出目标视频切片；所述目标视频切片包括的时间戳与所述时间点对应；根据所述目标视频切片生成目标视频数据。该实施方式实现了无人工介入的赛事活动视频剪辑，提高了视频制作的效率，降低了视频制作成本，满足了球类比赛衍生出的大量的视频剪辑需求。
基于上述文件的表述，现有的位于绿幕下拍摄的视频数据在进行与所需背景整合处理的过程中，其往往在引入背景数据包与拍摄的视频数据进行匹配，会造成动态特征下的整合后的视频中背景角度存在偏差，又或者是特征部分与背景部分匹配比例不协调，以至于最后形成的视频观看的真实性不高，为此，本发明提供了一种视频数据处理方法。
发明内容
针对现有技术的不足，本发明提供了一种视频数据处理方法，解决了现有的位于绿幕下拍摄的视频数据在进行与所需背景整合处理的过程中，其往往在引入背景数据包与拍摄的视频数据进行匹配，会造成动态特征下的整合后的视频中背景角度存在偏差，又或者是特征部分与背景部分匹配比例不协调的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种视频数据处理方法，具体包括以下步骤：
A1、通过摄像机完成对视频数据的拍摄获取操作；
A2、完成对视频数据的处理操作，并引入背景视频数据包与处理后的视频进行合并处理操作；
a01、对获取到的视频数据进行预处理操作，减少干扰因素；
a02、对预处理后的视频数据按照60帧每秒的帧率进行视频分割，形成多个特征帧数集，然后对特征帧数集处理得到存在变化的关键帧并完成关键帧的处理操作；
a03、将背景视频数据包转换为分辨率和帧率与预处理后的视频数据相同的视频数据，并将处理得到的关键帧按照帧数引入至背景视频数据包的帧数图像中进行合并形成新的帧数图像；
A3、形成新的动态视频并通过播放设备播放演示。
优选的，所述a02中关于预处理后的视频数据的关键帧提取方式为：
B1、对预处理视频数据按照每秒为节点进行视频的分割，得到多个时间为1s的帧数集；
B2、选取任一帧数集，将帧数集按照帧数进行分割，形成多张帧数图像标记为，并利用覆盖算法对相邻帧数图像Mn进行覆盖对比操作，根据覆盖差异比例结果得到相邻的关键帧；
B3、对得到的关键帧进行特征提取，完成对关键特征和绿幕背景的分割操作。
优选的，所述B2中覆盖算法步骤为：
b01、通过对任一帧数集中的帧数图像按播放顺序依次取相邻的帧数图像进行操作；
b02、保持选取相邻的帧数图像分别率、尺寸一致，然后将后者帧数图像按照相同方向覆盖在前者帧数图像上，对覆盖后的图像进行曝光处理，得到多个相同的覆盖点标记为N和多个不同位置的错开点标记为L，其中两个点覆盖形成绿色特征点，两个点错开形成红色特征点；
b03、通过对覆盖点N和错开点L的数量进行统计，并计算出相邻帧数图像的覆盖率，具体计算公式为：
；
其中，P为后者帧数图像在前者帧数图像上的覆盖点N的比率，Ln为两个相邻帧数图像上错开点L的共同个数，Nn为覆盖后帧数图像上覆盖点个数；
b04、对覆盖后帧数图像的覆盖率结果进行判断操作。
优选的，所述b04中的覆盖率的判断操作为：
设置关于相邻帧数图像覆盖后对覆盖点N的覆盖率达标阈值为Q，且将计算的比率P与覆盖率达标阈值Q进行比对，且比对结果为：
b041、当P≥Q时，即相邻帧数图像变化值较小，对于后续的匹配操作无影响；
b042、当P＜Q时，即相邻帧数图像变化值较大，且特征部分产生明显的动态变化，对于后续的匹配操作存在影响，且将前者帧数图像和后者帧数图像标记为关键帧。
优选的，所述B3中对于b042得到的关键帧进行特征提取具体操作为：
C1、基于前者帧数图像和后者帧数图像上呈矩形状延伸等距标记有多个像素点；
C2、完成对多个像素点的像素值进行计算的操作，并根据像素值的大小比较得到关于特征部分边缘处的像素点，且将像素值差异较大的相邻像素点间的中点标记为特征跨越点；
C3、将特征跨越点进行连线形成分割区域，而分割区域即为所需的特征部分，而特征跨越点的连线操作如下：
c01、首先在特征跨越点中随机选取一个点；
c02、以选取的点为起点并标记为R，并从起点处开始找寻与起点距离最接近的特征跨越点，将起点与距离最接近的特征跨越点进行连线处理；
c03、紧接着以选取的特征跨越点为起点，按照步骤c02寻得距离最接近的特征跨越点，且该距离最接近的特征跨越点不包括已经连线的起点，直至连接至最后一个特征跨越点，找寻不到未连线的特征跨越点时，即将最后一个特征跨越点与起点R相连形成一个闭合的分割区域标记为关键帧的特征部分。
优选的，所述a03中背景视频数据包与关键帧的合并操作为：
D1、将与获取到的视频数据相匹配的背景视频数据包按照a01和a02的操作同步处理，得到多个背景帧数集；
D2、按照视频播放顺序将多个背景帧数集引入至多个特征帧数集中进行对应，特征帧数集中存在关键帧的以关键帧中分割出来的特征部分作为覆盖特征，特征帧数集中无关键帧的以结尾处的帧数图像中分割出来的特征部分作为覆盖特征；
D3、覆盖前判断背景帧数集中的3D帧数图像是否需要进行角度的调节，无需调节的以统一视角下的3D帧数图像为基础，并按照同等方向和比例下的图像覆盖上覆盖特征部分，并依据覆盖特征部分的分割线在3D帧数图像上进行分割操作；
D4、将切割下的部分去除，让覆盖特征部分与3D帧数图像进行图像的合并操作，形成新的视频帧数图像。
优选的，所述D3中关于判断背景帧数集中的3D帧数图像是否需要进行角度调节的操作为：
d01、拍摄时在拍摄场景中设置有两个对比特征，以此在获取到的视频数据中均存在有对比特征的特征帧数集；
d02、在进行a02的操作是，判断一个特征帧数集存在关键帧后，对相邻关键帧中的两个对比特征间的距离进行计算，判断拍摄过程中是否存在旋转镜头操作，并计算拍摄时旋转的角度；
d03、若存在则在完成背景视频数据引入合并时需旋转背景帧数集，若不存在即按照D3和D4的操作继续处理。
优选的，所述d02中对关键帧中的两个对比特征间的距离计算比对方法为：
d021、依据关键帧图像中左下角端点为原点建立向右侧为X轴、向上侧为Y轴的坐标轴；
d022、将前者帧数图像上的两个对比特征点坐标分别标记为（X1，Y1）和（X2，Y2），且Y1=Y2，而后者帧数图像上的两个对比特征点坐标分别标记为（X3，Y3）和（X4，Y4）；
d023、通过对X2-X1与X4-X3的数值进行比较，当X2-X1＞X4-X3时，即后者帧数图像拍摄时进行了横向角度调节的拍摄操作，通过对Y2-Y1与Y4-Y3的数值进行比较，当Y2-Y1＜Y4-Y3时，即后者帧数图像拍摄时进行了竖向角度调节的拍摄操作。
优选的，所述d02中拍摄时旋转的角度计算算法为：
E01、在d023中确定拍摄角度发生转动后，对旋转时的角度进行计算，且计算公式为：
；
其中，（X4-X3）为角度转变后两个对比特征点在X轴方向间的距离值，（Y4-Y3）为角度转变后两个对比特征点在Y轴方向间的距离值，（X2-X1）为未转变时两个对比特征点在X轴方向间的距离值，（Y2-Y1）为未转变时后两个对比特征点在Y轴方向间的距离值；
E02、计算出对应拍摄时的旋转角度后，通过对相对应顺序下的背景帧数集中的3D帧数图像进行旋转，并旋转，得到与关键帧图像相同角度的背景图；
E03、并将关键帧图像与调整后的背景帧数集中的3D帧数图像进行D1至D4的合并操作。
优选的，所述A3中将新的帧数图像按照播放的顺序进行排序，并通过将图像动态化的操作形成新的动态视频，最后通过播放设备演示检测缺陷。
有益效果
本发明提供了一种视频数据处理方法。与现有技术相比具备以下有益效果：
（1）、该视频数据处理方法，通过对预处理视频数据按照每秒为节点进行视频的分割，然后选取帧数集按照帧数进行分割，利用覆盖算法对相邻帧数图像进行覆盖对比操作，根据覆盖差异比例结果得到相邻的关键帧，以此完成视频处理过程中动态变化时帧数图像的寻找，并对关键特征分割后完成与相同条件下的背景帧数图像匹配融合，提高处理效率的同时使得等比例形成的新的视频图像更为自然。
（2）、该视频数据处理方法，通过基于前者帧数图像和后者帧数图像上呈矩形状延伸等距标记有多个像素点，并对像素点的像素值计算比对后取相邻像素点间的中点位置作为特征跨越点，并完成对特征跨越点的相连操作形成闭环的分割线，以此实现对动态视频中不同姿态下特征部分进行提取的操作，同时亦方便于后续与背景帧数图像的匹配操作，减少最终视频中合并显现的痕迹。
（3）、该视频数据处理方法，通过特征帧数集中每一个帧数图像中都存在两个对比特征，依据两个对比特征在关键帧下的位置和距离的数值变化，并依据对比特征的坐标计算出拍摄过程中是否存在旋转，以及对应的旋转角度，以此在后续匹配相同顺序下的3D帧数图像时按相应的角度和方向进行同步的旋转操作，以此保持3D帧数图像与提取的特征部分更为贴合，并提高最后形成动态视频的真实性。
附图说明
图1为本发明视频数据处理方法的流程图；
图2为本发明对比特征的转动示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供两种技术方案：
实施例一、一种视频数据处理方法，具体包括以下步骤：
A1、通过摄像机完成对视频数据的拍摄获取操作；
A2、完成对视频数据的处理操作，并引入背景视频数据包与处理后的视频进行合并处理操作；
a01、对获取到的视频数据进行预处理操作，减少干扰因素；
a02、对预处理后的视频数据按照60帧每秒的帧率进行视频分割，形成多个特征帧数集，然后对特征帧数集处理得到存在变化的关键帧并完成关键帧的处理操作；
a03、将背景视频数据包转换为分辨率和帧率与预处理后的视频数据相同的视频数据，并将处理得到的关键帧按照帧数引入至背景视频数据包的帧数图像中进行合并形成新的帧数图像；
A3、形成新的动态视频并通过播放设备播放演示。
本发明实施例中，a02中关于预处理后的视频数据的关键帧提取方式为：
B1、对预处理视频数据按照每秒为节点进行视频的分割，得到多个时间为1s的帧数集；
B2、选取任一帧数集，将帧数集按照帧数进行分割，形成多张帧数图像标记为，并利用覆盖算法对相邻帧数图像Mn进行覆盖对比操作，根据覆盖差异比例结果得到相邻的关键帧；
B3、对得到的关键帧进行特征提取，完成对关键特征和绿幕背景的分割操作。
本发明实施例中，B2中覆盖算法步骤为：
b01、通过对任一帧数集中的帧数图像按播放顺序依次取相邻的帧数图像进行操作；
b02、保持选取相邻的帧数图像分别率、尺寸一致，然后将后者帧数图像按照相同方向覆盖在前者帧数图像上，对覆盖后的图像进行曝光处理，得到多个相同的覆盖点标记为N和多个不同位置的错开点标记为L，其中两个点覆盖形成绿色特征点，两个点错开形成红色特征点；
b03、通过对覆盖点N和错开点L的数量进行统计，并计算出相邻帧数图像的覆盖率，具体计算公式为：
；
其中，P为后者帧数图像在前者帧数图像上的覆盖点N的比率，Ln为两个相邻帧数图像上错开点L的共同个数，Nn为覆盖后帧数图像上覆盖点个数；
b04、对覆盖后帧数图像的覆盖率结果进行判断操作。
其中，通过对预处理视频数据按照每秒为节点进行视频的分割，然后选取帧数集按照帧数进行分割，利用覆盖算法对相邻帧数图像进行覆盖对比操作，根据覆盖差异比例结果得到相邻的关键帧，以此完成视频处理过程中动态变化时帧数图像的寻找，并对关键特征分割后完成与相同条件下的背景帧数图像匹配融合，提高处理效率的同时使得等比例形成的新的视频图像更为自然。
本发明实施例中，b04中的覆盖率的判断操作为：
设置关于相邻帧数图像覆盖后对覆盖点N的覆盖率达标阈值为Q，且将计算的比率P与覆盖率达标阈值Q进行比对，且比对结果为：
b041、当P≥Q时，即相邻帧数图像变化值较小，对于后续的匹配操作无影响；
b042、当P＜Q时，即相邻帧数图像变化值较大，且特征部分产生明显的动态变化，对于后续的匹配操作存在影响，且将前者帧数图像和后者帧数图像标记为关键帧。
本发明实施例中，B3中对于b042得到的关键帧进行特征提取具体操作为：
C1、基于前者帧数图像和后者帧数图像上呈矩形状延伸等距标记有多个像素点；
C2、完成对多个像素点的像素值进行计算的操作，并根据像素值的大小比较得到关于特征部分边缘处的像素点，且将像素值差异较大的相邻像素点间的中点标记为特征跨越点；
C3、将特征跨越点进行连线形成分割区域，而分割区域即为所需的特征部分，而特征跨越点的连线操作如下：
c01、首先在特征跨越点中随机选取一个点；
c02、以选取的点为起点并标记为R，并从起点处开始找寻与起点距离最接近的特征跨越点，将起点与距离最接近的特征跨越点进行连线处理；
c03、紧接着以选取的特征跨越点为起点，按照步骤c02寻得距离最接近的特征跨越点，且该距离最接近的特征跨越点不包括已经连线的起点，直至连接至最后一个特征跨越点，找寻不到未连线的特征跨越点时，即将最后一个特征跨越点与起点R相连形成一个闭合的分割区域标记为关键帧的特征部分。
像素值是数字图像中最基本的信息单位，每个像素都有一个数值表示其在图像中的亮度或颜色。
其中，针对于C2中对于各个像素点的灰度值计算步骤为：
①以一个像素点为中心，并基于这个中心划分半径为r的区域，并对此区域内的特征点S进行统计，并根据各特征点的灰度值得到像素点的平均灰度值；
②对于各特征点S灰度值的计算公式为：
；
其中，RGB配色公式是通过调节红、绿、蓝三种颜色的亮度来实现不同的配色效果，一般使用的公式是RGB = (R, G, B)，其中R、G、B的取值范围是0-255，表示红、绿、蓝三种颜色的亮度，通过调整这三个值的组合，可以实现各种不同的颜色效果，如红色(RGB = (255,0, 0))、绿色(RGB = (0, 255, 0))、蓝色(RGB = (0, 0, 255))；
③而基于特征点灰度值的公式得到像素点的平均灰度值为：
；
其中，表示特征点/>的灰度值，而表示各特征点S灰度值的总和，而n表示特征点S的个数。
其中，通过基于前者帧数图像和后者帧数图像上呈矩形状延伸等距标记有多个像素点，并对像素点的像素值计算比对后取相邻像素点间的中点位置作为特征跨越点，并完成对特征跨越点的相连操作形成闭环的分割线，以此实现对动态视频中不同姿态下特征部分进行提取的操作，同时亦方便于后续与背景帧数图像的匹配操作，减少最终视频中合并显现的痕迹。
实施例二、相较于实施例一的区别在于：本发明实施例中，a03中背景视频数据包与关键帧的合并操作为：
D1、将与获取到的视频数据相匹配的背景视频数据包按照a01和a02的操作同步处理，得到多个背景帧数集；
D2、按照视频播放顺序将多个背景帧数集引入至多个特征帧数集中进行对应，特征帧数集中存在关键帧的以关键帧中分割出来的特征部分作为覆盖特征，特征帧数集中无关键帧的以结尾处的帧数图像中分割出来的特征部分作为覆盖特征；
D3、覆盖前判断背景帧数集中的3D帧数图像是否需要进行角度的调节，无需调节的以统一视角下的3D帧数图像为基础，并按照同等方向和比例下的图像覆盖上覆盖特征部分，并依据覆盖特征部分的分割线在3D帧数图像上进行分割操作；
D4、将切割下的部分去除，让覆盖特征部分与3D帧数图像进行图像的合并操作，形成新的视频帧数图像。
本发明实施例中，D3中关于判断背景帧数集中的3D帧数图像是否需要进行角度调节的操作为：
d01、拍摄时在拍摄场景中设置有两个对比特征，以此在获取到的视频数据中均存在有对比特征的特征帧数集；
d02、在进行a02的操作是，判断一个特征帧数集存在关键帧后，对相邻关键帧中的两个对比特征间的距离进行计算，判断拍摄过程中是否存在旋转镜头操作，并计算拍摄时旋转的角度；
d03、若存在则在完成背景视频数据引入合并时需旋转背景帧数集，若不存在即按照D3和D4的操作继续处理。
优选的，d02中对关键帧中的两个对比特征间的距离计算比对方法为：
d021、依据关键帧图像中左下角端点为原点建立向右侧为X轴、向上侧为Y轴的坐标轴；
d022、将前者帧数图像上的两个对比特征点坐标分别标记为（X1，Y1）和（X2，Y2），且Y1=Y2，而后者帧数图像上的两个对比特征点坐标分别标记为（X3，Y3）和（X4，Y4）；
d023、通过对X2-X1与X4-X3的数值进行比较，当X2-X1＞X4-X3时，即后者帧数图像拍摄时进行了横向角度调节的拍摄操作，通过对Y2-Y1与Y4-Y3的数值进行比较，当Y2-Y1＜Y4-Y3时，即后者帧数图像拍摄时进行了竖向角度调节的拍摄操作。
本发明实施例中，d02中拍摄时旋转的角度计算算法为：
E01、在d023中确定拍摄角度发生转动后，对旋转时的角度进行计算，且计算公式为：;
其中，（X4-X3）为角度转变后两个对比特征点在X轴方向间的距离值，（Y4-Y3）为角度转变后两个对比特征点在Y轴方向间的距离值，（X2-X1）为未转变时两个对比特征点在X轴方向间的距离值，（Y2-Y1）为未转变时后两个对比特征点在Y轴方向间的距离值；
E02、计算出对应拍摄时的旋转角度后，通过对相对应顺序下的背景帧数集中的3D帧数图像进行旋转，并旋转，得到与关键帧图像相同角度的背景图；
E03、并将关键帧图像与调整后的背景帧数集中的3D帧数图像进行D1至D4的合并操作。
其中，通过特征帧数集中每一个帧数图像中都存在两个对比特征，依据两个对比特征在关键帧下的位置和距离的数值变化，并依据对比特征的坐标计算出拍摄过程中是否存在旋转，以及对应的旋转角度，以此在后续匹配相同顺序下的3D帧数图像时按相应的角度和方向进行同步的旋转操作，以此保持3D帧数图像与提取的特征部分更为贴合，并提高最后形成动态视频的真实性。
本发明实施例中，A3中将新的帧数图像按照播放的顺序进行排序，并通过将图像动态化的操作形成新的动态视频，最后通过播放设备演示检测缺陷。
同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种视频数据处理方法，其特征在于：具体包括以下步骤：
A1、通过摄像机完成对视频数据的拍摄获取操作；
A2、完成对视频数据的处理操作，并引入背景视频数据包与处理后的视频进行合并处理操作；
a01、对获取到的视频数据进行预处理操作，减少干扰因素；
a02、对预处理后的视频数据按照60帧每秒的帧率进行视频分割，形成多个特征帧数集，然后对特征帧数集处理得到存在变化的关键帧并完成关键帧的处理操作；
a03、将背景视频数据包转换为分辨率和帧率与预处理后的视频数据相同的视频数据，并将处理得到的关键帧按照帧数引入至背景视频数据包的帧数图像中进行合并形成新的帧数图像；
A3、形成新的动态视频并通过播放设备播放演示。
2.根据权利要求1所述的一种视频数据处理方法，其特征在于：所述a02中关于预处理后的视频数据的关键帧提取方式为：
B1、对预处理视频数据按照每秒为节点进行视频的分割，得到多个时间为1s的帧数集；
B2、选取任一帧数集，将帧数集按照帧数进行分割，形成多张帧数图像标记为，n表示帧数图像的个数；并利用覆盖算法对相邻帧数图像Mn进行覆盖对比操作，根据覆盖差异比例结果得到相邻的关键帧；
B3、对得到的关键帧进行特征提取，完成对关键特征和绿幕背景的分割操作。
3.根据权利要求2所述的一种视频数据处理方法，其特征在于：所述B2中覆盖算法步骤为：
b01、通过对任一帧数集中的帧数图像按播放顺序依次取相邻的帧数图像进行操作；
b02、保持选取相邻的帧数图像分别率、尺寸一致，然后将后者帧数图像按照相同方向覆盖在前者帧数图像上，对覆盖后的图像进行曝光处理，得到多个相同的覆盖点标记为N和多个不同位置的错开点标记为L，其中两个点覆盖形成绿色特征点，两个点错开形成红色特征点；
b03、通过对覆盖点N和错开点L的数量进行统计，并计算出相邻帧数图像的覆盖率，具体计算公式为：；
其中，P为后者帧数图像在前者帧数图像上的覆盖点N的比率，Ln为两个相邻帧数图像上错开点L的共同个数，Nn为覆盖后帧数图像上覆盖点个数；
b04、对覆盖后帧数图像的覆盖率结果进行判断操作。
4.根据权利要求3所述的一种视频数据处理方法，其特征在于：所述b04中的覆盖率的判断操作为：
设置关于相邻帧数图像覆盖后对覆盖点N的覆盖率达标阈值为Q，且将计算的比率P与覆盖率达标阈值Q进行比对，且比对结果为：
b041、当P≥Q时，即相邻帧数图像变化值较小，对于后续的匹配操作无影响；
b042、当P＜Q时，即相邻帧数图像变化值较大，且特征部分产生明显的动态变化，对于后续的匹配操作存在影响，且将前者帧数图像和后者帧数图像标记为关键帧。
5.根据权利要求4所述的一种视频数据处理方法，其特征在于：所述B3中对于b042得到的关键帧进行特征提取具体操作为：
C1、基于前者帧数图像和后者帧数图像上呈矩形状延伸等距标记有多个像素点；
C2、完成对多个像素点的像素值进行计算的操作，并根据像素值的大小比较得到关于特征部分边缘处的像素点，且将像素值差异较大的相邻像素点间的中点标记为特征跨越点；
C3、将特征跨越点进行连线形成分割区域，而分割区域即为所需的特征部分，而特征跨越点的连线操作如下：
c01、首先在特征跨越点中随机选取一个点；
c02、以选取的点为起点并标记为R，并从起点处开始找寻与起点距离最接近的特征跨越点，将起点与距离最接近的特征跨越点进行连线处理；
c03、紧接着以选取的特征跨越点为起点，按照步骤c02寻得距离最接近的特征跨越点，且该距离最接近的特征跨越点不包括已经连线的起点，直至连接至最后一个特征跨越点，找寻不到未连线的特征跨越点时，即将最后一个特征跨越点与起点R相连形成一个闭合的分割区域标记为关键帧的特征部分。
6.根据权利要求1所述的一种视频数据处理方法，其特征在于：所述a03中背景视频数据包与关键帧的合并操作为：
D1、将与获取到的视频数据相匹配的背景视频数据包按照a01和a02的操作同步处理，得到多个背景帧数集；
D2、按照视频播放顺序将多个背景帧数集引入至多个特征帧数集中进行对应，特征帧数集中存在关键帧的以关键帧中分割出来的特征部分作为覆盖特征，特征帧数集中无关键帧的以结尾处的帧数图像中分割出来的特征部分作为覆盖特征；
D3、覆盖前判断背景帧数集中的3D帧数图像是否需要进行角度的调节，无需调节的以统一视角下的3D帧数图像为基础，并按照同等方向和比例下的图像覆盖上覆盖特征部分，并依据覆盖特征部分的分割线在3D帧数图像上进行分割操作；
D4、将切割下的部分去除，让覆盖特征部分与3D帧数图像进行图像的合并操作，形成新的视频帧数图像。
7.根据权利要求6所述的一种视频数据处理方法，其特征在于：所述D3中关于判断背景帧数集中的3D帧数图像是否需要进行角度调节的操作为：
d01、拍摄时在拍摄场景中设置有两个对比特征，以此在获取到的视频数据中均存在有对比特征的特征帧数集；
d02、在进行a02的操作是，判断一个特征帧数集存在关键帧后，对相邻关键帧中的两个对比特征间的距离进行计算，判断拍摄过程中是否存在旋转镜头操作，并计算拍摄时旋转的角度；
d03、若存在则在完成背景视频数据引入合并时需旋转背景帧数集，若不存在即按照D3和D4的操作继续处理。
8.根据权利要求7所述的一种视频数据处理方法，其特征在于：所述d02中对关键帧中的两个对比特征间的距离计算比对方法为：
d021、依据关键帧图像中左下角端点为原点建立向右侧为X轴、向上侧为Y轴的坐标轴；
d022、将前者帧数图像上的两个对比特征点坐标分别标记为（X1，Y1）和（X2，Y2），且Y1=Y2，而后者帧数图像上的两个对比特征点坐标分别标记为（X3，Y3）和（X4，Y4）；
d023、通过对X2-X1与X4-X3的数值进行比较，当X2-X1＞X4-X3时，即后者帧数图像拍摄时进行了横向角度调节的拍摄操作，通过对Y2-Y1与Y4-Y3的数值进行比较，当Y2-Y1＜Y4-Y3时，即后者帧数图像拍摄时进行了竖向角度调节的拍摄操作。
9.根据权利要求8所述的一种视频数据处理方法，其特征在于：所述d02中拍摄时旋转的角度计算算法为：
E01、在d023中确定拍摄角度发生转动后，对旋转时的角度进行计算，且计算公式为：
；
其中，（X4-X3）为角度转变后两个对比特征点在X轴方向间的距离值，（Y4-Y3）为角度转变后两个对比特征点在Y轴方向间的距离值，（X2-X1）为未转变时两个对比特征点在X轴方向间的距离值，（Y2-Y1）为未转变时后两个对比特征点在Y轴方向间的距离值；
E02、计算出对应拍摄时的旋转角度后，通过对相对应顺序下的背景帧数集中的3D帧数图像进行旋转，并旋转，得到与关键帧图像相同角度的背景图；
E03、并将关键帧图像与调整后的背景帧数集中的3D帧数图像进行D1至D4的合并操作。
10.根据权利要求1所述的一种视频数据处理方法，其特征在于：所述A3中将新的帧数图像按照播放的顺序进行排序，并通过将图像动态化的操作形成新的动态视频，最后通过播放设备演示检测缺陷。
CN202410162682.XA 2024-02-05 2024-02-05 一种视频数据处理方法 Active CN117714787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410162682.XA CN117714787B (zh) 2024-02-05 2024-02-05 一种视频数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410162682.XA CN117714787B (zh) 2024-02-05 2024-02-05 一种视频数据处理方法

Publications (2)

Publication Number Publication Date
CN117714787A true CN117714787A (zh) 2024-03-15
CN117714787B CN117714787B (zh) 2024-05-07

Family

ID=90162787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410162682.XA Active CN117714787B (zh) 2024-02-05 2024-02-05 一种视频数据处理方法

Country Status (1)

Country Link
CN (1) CN117714787B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118283294A (zh) * 2024-06-03 2024-07-02 哈尔滨学院 一种直播视频自动化剪切方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1492351A1 (en) * 2003-06-27 2004-12-29 Sony NetServices GmbH Method and system to transmit and receive foreground/background segmented images in DVB/MHP systems
WO2014161109A1 (zh) * 2013-04-02 2014-10-09 清华大学 一种基于综合增益的高动态范围图像视频处理方法
CN104199841A (zh) * 2014-08-06 2014-12-10 武汉图歌信息技术有限责任公司 一种图片生成动画并与视频片段拼接合成的视频编辑方法
US20170278546A1 (en) * 2016-03-25 2017-09-28 Samsung Electronics Co., Ltd. Method and device for processing multimedia information
CN110290425A (zh) * 2019-07-29 2019-09-27 腾讯科技（深圳）有限公司 一种视频处理方法、装置及存储介质
CN112104869A (zh) * 2020-11-10 2020-12-18 光谷技术股份公司 一种视频大数据存储及转码优化系统
CN112822542A (zh) * 2020-08-27 2021-05-18 腾讯科技（深圳）有限公司 视频合成方法、装置、计算机设备和存储介质
CN112822511A (zh) * 2020-12-31 2021-05-18 深圳康佳电子科技有限公司 视频处理方法、系统、智能终端及计算机可读存储介质
CN117221626A (zh) * 2023-11-08 2023-12-12 北京奇点智播科技有限公司 一种视频数据处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1492351A1 (en) * 2003-06-27 2004-12-29 Sony NetServices GmbH Method and system to transmit and receive foreground/background segmented images in DVB/MHP systems
WO2014161109A1 (zh) * 2013-04-02 2014-10-09 清华大学 一种基于综合增益的高动态范围图像视频处理方法
CN104199841A (zh) * 2014-08-06 2014-12-10 武汉图歌信息技术有限责任公司 一种图片生成动画并与视频片段拼接合成的视频编辑方法
US20170278546A1 (en) * 2016-03-25 2017-09-28 Samsung Electronics Co., Ltd. Method and device for processing multimedia information
CN110290425A (zh) * 2019-07-29 2019-09-27 腾讯科技（深圳）有限公司 一种视频处理方法、装置及存储介质
CN112822542A (zh) * 2020-08-27 2021-05-18 腾讯科技（深圳）有限公司 视频合成方法、装置、计算机设备和存储介质
CN112104869A (zh) * 2020-11-10 2020-12-18 光谷技术股份公司 一种视频大数据存储及转码优化系统
CN112822511A (zh) * 2020-12-31 2021-05-18 深圳康佳电子科技有限公司 视频处理方法、系统、智能终端及计算机可读存储介质
CN117221626A (zh) * 2023-11-08 2023-12-12 北京奇点智播科技有限公司 一种视频数据处理方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YUJIE LI; ATSUNORI KANEMURA; HIDEKI ASOH; TAIKI MIYANISHI; MOTOAKI KAWANABE: "Multi-Sensor Integration for Key-Frame Extraction From First-Person Videos", IEEE ACCESS, vol. 8, 20 July 2020 (2020-07-20), XP011798843, DOI: 10.1109/ACCESS.2020.3007150 *
吴嘉欣: "基于深度学习的视频总结算法研究与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 July 2019 (2019-07-15) *
王宇;汪荣贵;杨娟;: "一种新的自适应的视频关键帧提取方法", 合肥工业大学学报(自然科学版), no. 11, 28 November 2016 (2016-11-28) *
王方石, 须德, 吴伟鑫: "基于自适应阈值的自动提取关键帧的聚类算法", 计算机研究与发展, no. 10, 16 October 2005 (2005-10-16) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118283294A (zh) * 2024-06-03 2024-07-02 哈尔滨学院 一种直播视频自动化剪切方法
CN118283294B (zh) * 2024-06-03 2024-08-16 哈尔滨学院 一种直播视频自动化剪切方法

Also Published As

Publication number Publication date
CN117714787B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN117714787B (zh) 一种视频数据处理方法
CN101276465B (zh) 广角图像自动拼接方法
CN100393106C (zh) 检测和/或追踪图像或图像序列中颜色区域的方法和装置
US20060120712A1 (en) Method and apparatus for processing image
CN108769578A (zh) 一种基于多路摄像头的实时全景成像系统及方法
CN102867295B (zh) 一种彩色图像颜色校正方法
CN107580186B (zh) 一种基于缝合线时空优化的双摄像机全景视频拼接方法
CN108965647B (zh) 一种前景图像获得方法及装置
CN108875619A (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN102509294B (zh) 一种基于单幅图像的全局深度估计方法
CN108961299B (zh) 一种前景图像获得方法及装置
CN109657612A (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN101115131A (zh) 基于像素空间相关性的图像融合效果实时评价方法及装置
CN112950502B (zh) 图像处理方法及装置、电子设备、存储介质
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN111491149A (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
CN108307163B (zh) 图像数据处理方法及装置、计算机装置及可读存储介质
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN108961258B (zh) 一种前景图像获得方法及装置
CN107067368B (zh) 基于影像变形的街景影像拼接方法及系统
CN110796689B (zh) 一种视频处理方法、电子设备及存储介质
CN102903091B (zh) 用于在数字图像处理设备中拼接图像的方法
CN111260555A (zh) 一种基于surf的改进图像拼接方法
Bojie et al. Research on tea bud identification technology based on HSI/HSV color transformation
CN106652898A (zh) Led显示逐点校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant