CN116366886B - 基于平滑处理的视频快编系统 - Google Patents
基于平滑处理的视频快编系统 Download PDFInfo
- Publication number
- CN116366886B CN116366886B CN202310169031.9A CN202310169031A CN116366886B CN 116366886 B CN116366886 B CN 116366886B CN 202310169031 A CN202310169031 A CN 202310169031A CN 116366886 B CN116366886 B CN 116366886B
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- frame
- jth
- central control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000009499 grossing Methods 0.000 title claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 24
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 230000001105 regulatory effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011166 aliquoting Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本发明涉及视频处理技术领域，尤其涉及一种基于平滑处理的视频快编系统，包括：帧处理模块，用以对像素点进行标记以形成标记区域、识别标记区域中的图像并选取若干特征点、计算特征点的运动矢量以及获取特征点的亮度值；运动感知模块，用以所述图像的运动轨迹并获取该图像在运动轨迹上任一等分点处的模拟图像；帧合成模块，用以根据所述模拟图像合成内插视频帧；中控模块，用以确定相邻两视频帧之间内插视频帧的数量并根据平均瞬时速度Vp对内插视频帧的数量进行修正，以及对内插视频帧的特征点的亮度值进行调节。本发明提高了视频平滑处理的效率。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于平滑处理的视频快编系统。
背景技术
随着计算机通信技术和网络技术的不断发展，视频已经成为了一种常见且重要的信息记录载体和信息传播载体，人们对视频播放的完整度和流畅度提出越来越高的要求。
中国专利公开号：CN103747332B公开了一种视频的平滑处理方法和装置，其公开的技术方案中，方法包括：接收第一指示消息；根据第一指示消息，启动帧同步VSync事件监听线程；获取第N帧待播放视频帧并存储在预先建立的第一队列中，第N帧待播放视频帧携带对应的时间戳，并在获取第一帧待播放视频帧时，将VSync事件监听线程的时钟时间与第一时间戳同步；确定VSync事件监听线程是否被唤醒；若确定VSync事件监听线程被唤醒，根据第一队列中的待播放视频帧对应的时间戳检查第一队列中是否存储符合预设条件的待播放视频帧；若第一队列中存储符合预设条件的待播放视频帧，将该待播放视频帧渲染出去。
视频数据在压缩、加载及传播的过程中，常常会造成部分数据丢失，导致视频数据在播放时出现视频抖动、画面跳跃甚至播放不连贯的问题，然而，现有技术中视频数据出现的以上问题处理效率较低。
发明内容
为此，本发明提供一种基于平滑处理的视频快编系统，用以克服现有技术中对视频数据出现的视频抖动、画面跳跃及播放不连贯的情况处理效率较低的问题。
为实现上述目的，本发明提供一种基于平滑处理的视频快编系统，包括：
帧处理模块，用以根据相邻两视频帧中对应像素点的RGB值分别对相邻两视频帧中的像素点进行标记以形成标记区域、分别识别标记区域中的图像并分别在所述图像中选取若干对应的特征点，根据特征点As和特征点As’的位置坐标计算特征点As的运动矢量U，以及获取视频帧中各特征点的亮度值；其中，相邻两视频帧分别记为第j视频帧与第j+1视频帧，第j视频帧中的特征点记为所述特征点As，第j+1视频帧中的特征点记为所述特征点As’；
运动感知模块，其与所述帧处理模块相连，用以根据所述特征点As的运动矢量U预测所述第j视频帧中图像的运动轨迹并获取该图像在运动轨迹上任一等分点处的模拟图像；
帧合成模块，其分别与所述运动感知模块和帧处理模块相连，用以根据所述模拟图像合成内插视频帧；
中控模块，其与所述帧处理模块和帧合成模块相连，用以根据标记的像素点的数量占比B判定是否需要在相邻两视频帧之间内插视频帧，计算标记的像素点的数量占比B与预设占比B0的差值ΔB并根据ΔB与预设差值的比对结果确定相邻两视频帧之间内插视频帧的数量，以及根据所述运动矢量U和帧率P计算所述特征点As运动的瞬时速度V及平均瞬时速度Vp，并根据平均瞬时速度Vp对内插视频帧的数量进行修正，以及根据当前视频帧中特征点的亮度值逐个对所述内插视频帧中对应的特征点的亮度值进行调节。
进一步地，所述帧处理模块获取相邻两视频帧中各像素点的RGB值，将相邻两视频帧中对应像素点的RGB值进行比对，并根据比对结果判定是否对该像素点进行标记，其中，
若第j视频帧中任一像素点的RGB值与第j+1视频帧中对应像素点的RGB值相等，则所述帧处理模块不对第j视频帧中的该像素点以及第j+1视频帧中的对应像素点进行标记；
若第j视频帧中任一像素点的RGB值与第j+1视频帧中对应像素点的RGB值不相等，则所述帧处理模块对第j视频帧中的该像素点以及第j+1视频帧中的对应像素点进行标记并统计第j视频帧中标记的像素点的数量N。
进一步地，所述中控模块根据所述帧处理模块的统计结果N计算所述第j视频帧中标记的像素点的数量占比B，设定B=N/N0，并根据B与预设占比B0的比对结果判定是否需要在所述第j视频帧与所述第j+1视频帧之间内插视频帧，其中，
当B＞B0时，所述中控模块判定所述第j视频帧与所述第j+1视频帧之间需要内插视频帧；
当B≤B0时，所述中控模块判定所述第j视频帧与所述第j+1视频帧之间无需内插视频帧；
其中，N0为所述第j视频帧中像素点的总数量。
进一步地，所述中控模块在第一预设条件下计算所述第j视频帧中标记的像素点的数量占比B与预设占比B0的差值ΔB，设定ΔB=B-B0，并根据ΔB与预设占比差值的比对结果确定所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量，其中，
所述中控模块中设有基础内插视频帧数量D0、第一预设占比差值ΔB1、第二预设占比差值ΔB2、第一内插视频帧数量调节系数β1、第二内插视频帧数量调节系数β2以及第三内插视频帧数量调节系数β3，其中，ΔB1＜ΔB2，1＜β1＜β2＜β3＜1.3，
当ΔB≥ΔB2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β3；
当ΔB1≤ΔB＜ΔB2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β2；
当ΔB＜ΔB1时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β1；
其中，所述第一预设条件为B＞B0。
进一步地，所述帧处理模块在所述第一预设条件下提取所述第j视频帧中标记的像素点以形成标记区域并识别标记区域中的图像，记为第j图像，同时提取所述第j+1视频帧中标记的像素点以形成标记区域并识别标记区域中的图像，记为第j+1图像，帧处理模块在第j图像中选取若干特征点As，并在第j+1图像中识别与特征点As对应的特征点As’，帧处理模块计算特征点As的运动矢量，其中，
所述帧处理模块以视频帧的几何中心为原点建立坐标系，并获取所述特征点As的位置坐标（x1，y1）与所述特征点As’的位置坐标（x2，y2），则特征点As的运动矢量U(ux,vy)=(x2,y2)-(x1,y1)。
进一步地，所述中控模块根据所述特征点As的运动矢量U和帧率P计算特征点As运动的瞬时速度V，设定V=|U|×P，并计算各特征点As的平均瞬时速度Vp，设定
其中，Vi为第i特征点运动的瞬时速度，m为第j图像中特征点的数量。
进一步地，所述中控模块根据所述平均瞬时速度Vp与预设瞬时速度的比对结果对内插视频帧的数量进行修正，其中，所述中控模块中设有第一预设瞬时速度V1以及第二预设瞬时速度V2，V1＜V2，
当Vp≥V2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量修正为D1’，设定D1’=D1×Vp/V2；
当V1≤Vp＜V2时，所述中控模块不对所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量进行修正；
当Vp＜V1时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量修正为D1’，设定D1’=D1×Vp/V1。
进一步地，所述运动感知模块根据各所述特征点As的运动矢量对所述第j图像的运动轨迹进行模拟，获取运动轨迹上的D1’个等分点并获取第j图像在任一所述等分点处的模拟图像，所述帧合成模块根据模拟图像合成内插视频帧，其中D1’为修正后的所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量。
进一步地，所述帧处理模块将合成的内插视频帧按照所述模拟图像沿所述运动轨迹的运动顺序插入所述第j视频帧与所述第j+1视频帧之间，并以第j视频帧为起始帧，逐个对内插视频帧中对应的特征点的亮度值进行调节，其中，
所述帧处理模块确定当前视频帧中特征点的亮度值Rj，以及确定所述当前视频帧相邻的上一视频帧中对应的特征点的亮度值Rjn。
进一步地，所述中控模块根据所述上一视频帧中对应的特征点的亮度值Rjn对所述当前视频帧中特征点的亮度值Rj进行调节，所述中控模块计算Rj与Rjn的差值ΔR，设定ΔR=|Rj-Rjn|，并根据ΔR与预设亮度差值的比对结果对当前视频帧中特征点的亮度值Rj进行调节，其中，
所述中控模块中设有第一预设亮度差值ΔR1、第二预设亮度差值ΔR2、第一亮度值调节系数γ1、第二亮度值调节系数γ2以及第三亮度值调节系数γ3，其中，ΔR1＜ΔR2，0.8＜γ1＜γ2＜γ3＜1，
当ΔR≥ΔR2时，所述中控模块选用γ1将所述当前视频帧中特征点的亮度值调节至对应值；
当ΔR1≤ΔR＜ΔR2时，所述中控模块选用γ2将所述当前视频帧中特征点的亮度值调节至对应值；
当ΔR＜ΔR1时，所述中控模块选用γ3将所述当前视频帧中特征点的亮度值调节至对应值；
所述中控模块将调节后的所述当前视频帧中特征点的亮度值记为Rj’，
若Rjn＞Rj，则设定Rj’=Rj×（2-γf）；
若Rjn＜Rj，则设定Rj’=Rj×γf；
若Rj=Rjn，则设定Rj’=Rj；
其中，f=1，2，3。
与现有技术相比，本发明的有益效果在于，当相邻两视频帧中的图像存在运动时，则存在运动的区域中的像素点的RGB值会发生变化，本发明通过对相邻两视频帧中存在RGB值变化的像素点进行标记以形成标记区域并分别识别标记区域中的图像，以此对存在运动的图像进行提取，方法简单，易于操作，进一步提高了本发明所述系统对视频处理的效率。
进一步地，本发明中控模块根据所述帧处理模块的统计结果N计算所述第j视频帧中标记的像素点的数量占比B并根据B与预设占比B0的比对结果判定是否需要在所述第j视频帧与所述第j+1视频帧之间内插视频帧，当存在变化的像素点数量较多时，则视频帧中的图像运动的幅度较大，判定此时在相邻两视频帧之间需要内插视频帧，以增加视频数据的完整性和播放的流畅度，进一步提高了本发明所述系统对视频处理的效率。
进一步地，本发明中控模块计算标记的像素点的数量占比B与预设占比B0的差值ΔB，并根据ΔB与预设占比差值的比对结果确定相邻两视频帧之间内插视频帧的数量，通过以上技术方案，增加了对内插视频帧数量的精准度，进一步提高了视频数据的完整性和播放的流畅度，进而提高了本发明所述系统对视频处理的效率。
进一步地，本发明中控模块根据平均瞬时速度Vp与预设瞬时速度的比对结果对内插视频帧的数量进行修正，进一步增加了对内插视频帧数量的精准度，进而提高了视频数据的完整性和播放的流畅度，进而提高了本发明所述系统对视频处理的效率。
进一步地，本发明运动感知模块根据特征点的运动矢量对图像的运动轨迹进行模拟，并获取该图像在运动轨迹上任一等分点处的模拟图像，所述帧合成模块根据模拟图像合成内插视频帧，提高了视频数据的完整性和播放的流畅度，且方法简单，易于操作，进一步提高了本发明所述系统对视频处理的效率。
进一步地，本发明中控模块以第j视频帧为起始帧，逐个对内插视频帧中对应的特征点的亮度值进行调节，中控模块根据所述上一视频帧中对应的特征点的亮度值Rjn对所述当前视频帧中特征点的亮度值Rj进行调节，进而提高了视频数据的完整性和播放的流畅度，进而提高了本发明所述系统对视频处理的效率。
附图说明
图1为本发明实施例基于平滑处理的视频快编系统的结构框图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，其为本发明实施例基于平滑处理的视频快编系统的结构框图，本发明所述基于平滑处理的视频快编系统，包括：
帧处理模块，用以根据相邻两视频帧中对应像素点的RGB值分别对相邻两视频帧中的像素点进行标记以形成标记区域、分别识别标记区域中的图像并分别在所述图像中选取若干对应的特征点，根据特征点As和特征点As’的位置坐标计算特征点As的运动矢量U，以及获取视频帧中各特征点的亮度值；其中，相邻两视频帧分别记为第j视频帧与第j+1视频帧，第j视频帧中的特征点记为所述特征点As，第j+1视频帧中的特征点记为所述特征点As’；
运动感知模块，其与所述帧处理模块相连，用以根据所述特征点As的运动矢量U预测所述第j视频帧中图像的运动轨迹并获取该图像在运动轨迹上任一等分点处的模拟图像；
帧合成模块，其分别与所述运动感知模块和帧处理模块相连，用以根据所述模拟图像合成内插视频帧；
中控模块，其与所述帧处理模块和帧合成模块相连，用以根据标记的像素点的数量占比B判定是否需要在相邻两视频帧之间内插视频帧，计算标记的像素点的数量占比B与预设占比B0的差值ΔB并根据ΔB与预设差值的比对结果确定相邻两视频帧之间内插视频帧的数量，以及根据所述运动矢量U和帧率P计算所述特征点As运动的瞬时速度V及平均瞬时速度Vp，并根据平均瞬时速度Vp对内插视频帧的数量进行修正，以及根据当前视频帧中特征点的亮度值逐个对所述内插视频帧中对应的特征点的亮度值进行调节。
当相邻两视频帧中的图像存在运动时，则存在运动的区域中的像素点的RGB值会发生变化，本发明通过对相邻两视频帧中存在RGB值变化的像素点进行标记以形成标记区域并分别识别标记区域中的图像，以此对存在运动的图像进行提取，方法简单，易于操作，进一步提高了本发明所述系统对视频处理的效率。
具体而言，所述帧处理模块获取相邻两视频帧中各像素点的RGB值，将相邻两视频帧中对应像素点的RGB值进行比对，并根据比对结果判定是否对该像素点进行标记，其中，
若第j视频帧中任一像素点的RGB值与第j+1视频帧中对应像素点的RGB值相等，则所述帧处理模块不对第j视频帧中的该像素点以及第j+1视频帧中的对应像素点进行标记；
若第j视频帧中任一像素点的RGB值与第j+1视频帧中对应像素点的RGB值不相等，则所述帧处理模块对第j视频帧中的该像素点以及第j+1视频帧中的对应像素点进行标记并统计第j视频帧中标记的像素点的数量N。
具体而言，所述中控模块根据所述帧处理模块的统计结果N计算所述第j视频帧中标记的像素点的数量占比B，设定B=N/N0，并根据B与预设占比B0的比对结果判定是否需要在所述第j视频帧与所述第j+1视频帧之间内插视频帧，其中，
当B＞B0时，所述中控模块判定所述第j视频帧与所述第j+1视频帧之间需要内插视频帧；
当B≤B0时，所述中控模块判定所述第j视频帧与所述第j+1视频帧之间无需内插视频帧；
其中，N0为所述第j视频帧中像素点的总数量。
本发明中控模块根据所述帧处理模块的统计结果N计算所述第j视频帧中标记的像素点的数量占比B并根据B与预设占比B0的比对结果判定是否需要在所述第j视频帧与所述第j+1视频帧之间内插视频帧，当存在变化的像素点数量较多时，则视频帧中的图像运动的幅度较大，判定此时在相邻两视频帧之间需要内插视频帧，以增加视频数据的完整性和播放的流畅度，进一步提高了本发明所述系统对视频处理的效率。
具体而言，所述中控模块在第一预设条件下计算所述第j视频帧中标记的像素点的数量占比B与预设占比B0的差值ΔB，设定ΔB=B-B0，并根据ΔB与预设占比差值的比对结果确定所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量，其中，
所述中控模块中设有基础内插视频帧数量D0、第一预设占比差值ΔB1、第二预设占比差值ΔB2、第一内插视频帧数量调节系数β1、第二内插视频帧数量调节系数β2以及第三内插视频帧数量调节系数β3，其中，ΔB1＜ΔB2，1＜β1＜β2＜β3＜1.3，
当ΔB≥ΔB2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β3；
当ΔB1≤ΔB＜ΔB2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β2；
当ΔB＜ΔB1时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β1；
其中，所述第一预设条件为B＞B0。
本发明中控模块计算标记的像素点的数量占比B与预设占比B0的差值ΔB，并根据ΔB与预设占比差值的比对结果确定相邻两视频帧之间内插视频帧的数量，通过以上技术方案，增加了对内插视频帧数量的精准度，进一步提高了视频数据的完整性和播放的流畅度，进而提高了本发明所述系统对视频处理的效率。
具体而言，所述帧处理模块在所述第一预设条件下提取所述第j视频帧中标记的像素点以形成标记区域并识别标记区域中的图像，记为第j图像，同时提取所述第j+1视频帧中标记的像素点以形成标记区域并识别标记区域中的图像，记为第j+1图像，帧处理模块在第j图像中选取若干特征点As，并在第j+1图像中识别与特征点As对应的特征点As’，帧处理模块计算特征点As的运动矢量，其中，
所述帧处理模块以视频帧的几何中心为原点建立坐标系，并获取所述特征点As的位置坐标（x1，y1）与所述特征点As’的位置坐标（x2，y2），则特征点As的运动矢量U(ux,vy)=(x2,y2)-(x1,y1)。
具体而言，所述中控模块根据所述特征点As的运动矢量U和帧率P计算特征点As运动的瞬时速度V，设定V=|U|×P，并计算各特征点As的平均瞬时速度Vp，设定
其中，Vi为第i特征点运动的瞬时速度，m为第j图像中特征点的数量。
具体而言，所述中控模块根据所述平均瞬时速度Vp与预设瞬时速度的比对结果对内插视频帧的数量进行修正，其中，所述中控模块中设有第一预设瞬时速度V1以及第二预设瞬时速度V2，V1＜V2，
当Vp≥V2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量修正为D1’，设定D1’=D1×Vp/V2；
当V1≤Vp＜V2时，所述中控模块不对所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量进行修正；
当Vp＜V1时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量修正为D1’，设定D1’=D1×Vp/V1。
本发明中控模块根据平均瞬时速度Vp与预设瞬时速度的比对结果对内插视频帧的数量进行修正，进一步增加了对内插视频帧数量的精准度，进而提高了视频数据的完整性和播放的流畅度，进而提高了本发明所述系统对视频处理的效率。
具体而言，所述运动感知模块根据各所述特征点As的运动矢量对所述第j图像的运动轨迹进行模拟，获取运动轨迹上的D1’个等分点并获取第j图像在任一所述等分点处的模拟图像，所述帧合成模块根据模拟图像合成内插视频帧，其中D1’为修正后的所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量。
本发明运动感知模块根据特征点的运动矢量对图像的运动轨迹进行模拟，并获取该图像在运动轨迹上任一等分点处的模拟图像，所述帧合成模块根据模拟图像合成内插视频帧，提高了视频数据的完整性和播放的流畅度，且方法简单，易于操作，进一步提高了本发明所述系统对视频处理的效率。
具体而言，所述帧处理模块将合成的内插视频帧按照所述模拟图像沿所述运动轨迹的运动顺序插入所述第j视频帧与所述第j+1视频帧之间，并以第j视频帧为起始帧，逐个对内插视频帧中对应的特征点的亮度值进行调节，其中，
所述帧处理模块确定当前视频帧中特征点的亮度值Rj，以及确定所述当前视频帧相邻的上一视频帧中对应的特征点的亮度值Rjn。
具体而言，所述中控模块根据所述上一视频帧中对应的特征点的亮度值Rjn对所述当前视频帧中特征点的亮度值Rj进行调节，所述中控模块计算Rj与Rjn的差值ΔR，设定ΔR=|Rj-Rjn|，并根据ΔR与预设亮度差值的比对结果对当前视频帧中特征点的亮度值Rj进行调节，其中，
所述中控模块中设有第一预设亮度差值ΔR1、第二预设亮度差值ΔR2、第一亮度值调节系数γ1、第二亮度值调节系数γ2以及第三亮度值调节系数γ3，其中，ΔR1＜ΔR2，0.8＜γ1＜γ2＜γ3＜1，
当ΔR≥ΔR2时，所述中控模块选用γ1将所述当前视频帧中特征点的亮度值调节至对应值；
当ΔR1≤ΔR＜ΔR2时，所述中控模块选用γ2将所述当前视频帧中特征点的亮度值调节至对应值；
当ΔR＜ΔR1时，所述中控模块选用γ3将所述当前视频帧中特征点的亮度值调节至对应值；
所述中控模块将调节后的所述当前视频帧中特征点的亮度值记为Rj’，
若Rjn＞Rj，则设定Rj’=Rj×（2-γf）；
若Rjn＜Rj，则设定Rj’=Rj×γf；
若Rj=Rjn，则设定Rj’=Rj；
其中，f=1，2，3。
本发明中控模块以第j视频帧为起始帧，逐个对内插视频帧中对应的特征点的亮度值进行调节，中控模块根据所述上一视频帧中对应的特征点的亮度值Rjn对所述当前视频帧中特征点的亮度值Rj进行调节，进而提高了视频数据的完整性和播放的流畅度，进而提高了本发明所述系统对视频处理的效率。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于平滑处理的视频快编系统，其特征在于，包括：
帧处理模块，用以根据相邻两视频帧中对应像素点的RGB值分别对相邻两视频帧中的像素点进行标记以形成标记区域、分别识别标记区域中的图像并分别在所述图像中选取若干对应的特征点，根据特征点As和特征点As’的位置坐标计算特征点As的运动矢量U，以及获取视频帧中各特征点的亮度值；其中，相邻两视频帧分别记为第j视频帧与第j+1视频帧，第j视频帧中的特征点记为所述特征点As，第j+1视频帧中的特征点记为所述特征点As’；
运动感知模块，其与所述帧处理模块相连，用以根据所述特征点As的运动矢量U预测所述第j视频帧中图像的运动轨迹并获取该图像在运动轨迹上任一等分点处的模拟图像；
帧合成模块，其分别与所述运动感知模块和帧处理模块相连，用以根据所述模拟图像合成内插视频帧；
中控模块，其与所述帧处理模块和帧合成模块相连，用以根据标记的像素点的数量占比B判定是否需要在相邻两视频帧之间内插视频帧，计算标记的像素点的数量占比B与预设占比B0的差值ΔB并根据ΔB与预设差值的比对结果确定相邻两视频帧之间内插视频帧的数量，以及根据所述运动矢量U和帧率P计算所述特征点As运动的瞬时速度V及平均瞬时速度Vp，并根据平均瞬时速度Vp对内插视频帧的数量进行修正，以及根据当前视频帧中特征点的亮度值逐个对所述内插视频帧中对应的特征点的亮度值进行调节；
所述帧处理模块获取相邻两视频帧中各像素点的RGB值，将相邻两视频帧中对应像素点的RGB值进行比对，并根据比对结果判定是否对该像素点进行标记，其中，
若第j视频帧中任一像素点的RGB值与第j+1视频帧中对应像素点的RGB值相等，则所述帧处理模块不对第j视频帧中的该像素点以及第j+1视频帧中的对应像素点进行标记；
若第j视频帧中任一像素点的RGB值与第j+1视频帧中对应像素点的RGB值不相等，则所述帧处理模块对第j视频帧中的该像素点以及第j+1视频帧中的对应像素点进行标记并统计第j视频帧中标记的像素点的数量N；
所述中控模块根据所述帧处理模块的统计结果N计算所述第j视频帧中标记的像素点的数量占比B，设定B=N/N0，并根据B与预设占比B0的比对结果判定是否需要在所述第j视频帧与所述第j+1视频帧之间内插视频帧，其中，
当B＞B0时，所述中控模块判定所述第j视频帧与所述第j+1视频帧之间需要内插视频帧；
当B≤B0时，所述中控模块判定所述第j视频帧与所述第j+1视频帧之间无需内插视频帧；
其中，N0为所述第j视频帧中像素点的总数量。
2.根据权利要求1所述的基于平滑处理的视频快编系统，其特征在于，所述中控模块在第一预设条件下计算所述第j视频帧中标记的像素点的数量占比B与预设占比B0的差值ΔB，设定ΔB=B-B0，并根据ΔB与预设占比差值的比对结果确定所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量，其中，
所述中控模块中设有基础内插视频帧数量D0、第一预设占比差值ΔB1、第二预设占比差值ΔB2、第一内插视频帧数量调节系数β1、第二内插视频帧数量调节系数β2以及第三内插视频帧数量调节系数β3，其中，ΔB1＜ΔB2，1＜β1＜β2＜β3＜1.3，
当ΔB≥ΔB2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β3；
当ΔB1≤ΔB＜ΔB2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β2；
当ΔB＜ΔB1时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量确定为D1，设定D1=D0×β1；
其中，所述第一预设条件为B＞B0。
3.根据权利要求2所述的基于平滑处理的视频快编系统，其特征在于，所述帧处理模块在所述第一预设条件下提取所述第j视频帧中标记的像素点以形成标记区域并识别标记区域中的图像，记为第j图像，同时提取所述第j+1视频帧中标记的像素点以形成标记区域并识别标记区域中的图像，记为第j+1图像，帧处理模块在第j图像中选取若干特征点As，并在第j+1图像中识别与特征点As对应的特征点As’，帧处理模块计算特征点As的运动矢量，其中，
所述帧处理模块以视频帧的几何中心为原点建立坐标系，并获取所述特征点As的位置坐标（x1，y1）与所述特征点As’的位置坐标（x2，y2），则特征点As的运动矢量U= (x2,y2)-(x1,y1)。
4.根据权利要求3所述的基于平滑处理的视频快编系统，其特征在于，所述中控模块根据所述特征点As的运动矢量U和帧率P计算特征点As运动的瞬时速度V，设定V=|U|×P，并计算各特征点As的平均瞬时速度Vp，设定
，
其中，Vi为第i特征点运动的瞬时速度，m为第j图像中特征点的数量。
5.根据权利要求4所述的基于平滑处理的视频快编系统，其特征在于，所述中控模块根据所述平均瞬时速度Vp与预设瞬时速度的比对结果对内插视频帧的数量进行修正，其中，所述中控模块中设有第一预设瞬时速度V1以及第二预设瞬时速度V2，V1＜V2，
当Vp≥V2时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量修正为D1’，设定D1’=D1×Vp/V2；
当V1≤Vp＜V2时，所述中控模块不对所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量进行修正；
当Vp＜V1时，所述中控模块将所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量修正为D1’，设定D1’=D1×Vp/V1。
6.根据权利要求5所述的基于平滑处理的视频快编系统，其特征在于，所述运动感知模块根据各所述特征点As的运动矢量对所述第j图像的运动轨迹进行模拟，获取运动轨迹上的D1’个等分点并获取第j图像在任一所述等分点处的模拟图像，所述帧合成模块根据模拟图像合成内插视频帧，其中D1’为修正后的所述第j视频帧与所述第j+1视频帧之间内插视频帧的数量。
7.根据权利要求6所述的基于平滑处理的视频快编系统，其特征在于，所述帧处理模块将合成的内插视频帧按照所述模拟图像沿所述运动轨迹的运动顺序插入所述第j视频帧与所述第j+1视频帧之间，并以第j视频帧为起始帧，逐个对内插视频帧中对应的特征点的亮度值进行调节，其中，
所述帧处理模块确定当前视频帧中特征点的亮度值Rj，以及确定所述当前视频帧相邻的上一视频帧中对应的特征点的亮度值Rjn。
8.根据权利要求7所述的基于平滑处理的视频快编系统，其特征在于，所述中控模块根据所述上一视频帧中对应的特征点的亮度值Rjn对所述当前视频帧中特征点的亮度值Rj进行调节，所述中控模块计算Rj与Rjn的差值ΔR，设定ΔR=|Rj-Rjn|，并根据ΔR与预设亮度差值的比对结果对当前视频帧中特征点的亮度值Rj进行调节，其中，
所述中控模块中设有第一预设亮度差值ΔR1、第二预设亮度差值ΔR2、第一亮度值调节系数γ1、第二亮度值调节系数γ2以及第三亮度值调节系数γ3，其中，ΔR1＜ΔR2，0.8＜γ1＜γ2＜γ3＜1，
当ΔR≥ΔR2时，所述中控模块选用γ1将所述当前视频帧中特征点的亮度值调节至对应值；
当ΔR1≤ΔR＜ΔR2时，所述中控模块选用γ2将所述当前视频帧中特征点的亮度值调节至对应值；
当ΔR＜ΔR1时，所述中控模块选用γ3将所述当前视频帧中特征点的亮度值调节至对应值；
所述中控模块将调节后的所述当前视频帧中特征点的亮度值记为Rj’，
若Rjn＞Rj，则设定Rj’=Rj×（2-γf）；
若Rjn＜Rj，则设定Rj’=Rj×γf；
若Rj=Rjn，则设定Rj’=Rj；
其中，f=1，2，3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310169031.9A CN116366886B (zh) | 2023-02-27 | 2023-02-27 | 基于平滑处理的视频快编系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310169031.9A CN116366886B (zh) | 2023-02-27 | 2023-02-27 | 基于平滑处理的视频快编系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116366886A CN116366886A (zh) | 2023-06-30 |
| CN116366886B true CN116366886B (zh) | 2024-03-19 |
Family
ID=86938963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310169031.9A Active CN116366886B (zh) | 2023-02-27 | 2023-02-27 | 基于平滑处理的视频快编系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116366886B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011035747A (ja) * | 2009-08-04 | 2011-02-17 | Nippon Telegr & Teleph Corp <Ntt> | 動画像復号方法，動画像復号装置および動画像復号プログラム |
| US9247243B1 (en) * | 2012-01-02 | 2016-01-26 | Marvell International Ltd. | Interpolated video error concealment |
| CN105828106A (zh) * | 2016-04-15 | 2016-08-03 | 山东大学苏州研究院 | 一种基于运动信息的非整数倍帧率提升方法 |
| CN106101823A (zh) * | 2016-07-08 | 2016-11-09 | 深圳天珑无线科技有限公司 | 一种视频显示数据的处理方法及显示装置 |
| CN106331723A (zh) * | 2016-08-18 | 2017-01-11 | 上海交通大学 | 一种基于运动区域分割的视频帧率上变换方法及系统 |
| CN110446107A (zh) * | 2019-08-15 | 2019-11-12 | 电子科技大学 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
| CN110933497A (zh) * | 2019-12-10 | 2020-03-27 | Oppo广东移动通信有限公司 | 视频图像数据插帧处理方法及相关设备 |
-
2023
- 2023-02-27 CN CN202310169031.9A patent/CN116366886B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011035747A (ja) * | 2009-08-04 | 2011-02-17 | Nippon Telegr & Teleph Corp <Ntt> | 動画像復号方法，動画像復号装置および動画像復号プログラム |
| US9247243B1 (en) * | 2012-01-02 | 2016-01-26 | Marvell International Ltd. | Interpolated video error concealment |
| CN105828106A (zh) * | 2016-04-15 | 2016-08-03 | 山东大学苏州研究院 | 一种基于运动信息的非整数倍帧率提升方法 |
| CN106101823A (zh) * | 2016-07-08 | 2016-11-09 | 深圳天珑无线科技有限公司 | 一种视频显示数据的处理方法及显示装置 |
| CN106331723A (zh) * | 2016-08-18 | 2017-01-11 | 上海交通大学 | 一种基于运动区域分割的视频帧率上变换方法及系统 |
| CN110446107A (zh) * | 2019-08-15 | 2019-11-12 | 电子科技大学 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
| CN110933497A (zh) * | 2019-12-10 | 2020-03-27 | Oppo广东移动通信有限公司 | 视频图像数据插帧处理方法及相关设备 |
Non-Patent Citations (1)
| Title |
|---|
| 《超高清视频的低复杂度帧率上变换算法研究》;李贵锐;《上海交通大学硕士学位论文》(第03期);1-91 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116366886A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4998167A (en) | High resolution translation of images | |
| CN106373523A (zh) | 拼接亮暗线补偿方法 | |
| US11025879B2 (en) | Image processing apparatus, image processing method, and storage medium storing program | |
| CN108289220A (zh) | 虚拟图像处理方法、图像处理系统及存储介质 | |
| US20050128297A1 (en) | Apparatus, method and program for detecting a pointer region, apparatus, method and program for associating images, content-distributing server, and content-distributing method | |
| KR20090006068A (ko) | 동영상 시퀀스를 수정하는 방법 및 그 장치 | |
| WO2010141023A1 (en) | Video conference | |
| US20120293537A1 (en) | Data-generating device, data-generating method, data-generating program and recording medium | |
| CN105141841B (zh) | 摄像设备及其方法 | |
| EP1441549A3 (en) | Image processing system, projector, information storage medium and image processing method | |
| CN111754928B (zh) | 一种显示屏分层校正方法及装置 | |
| CN113302911A (zh) | 相机控制 | |
| CN116366886B (zh) | 基于平滑处理的视频快编系统 | |
| US11128815B2 (en) | Device, method and computer program for extracting object from video | |
| US20240020837A1 (en) | Image processing apparatus, image processing method, and nontransitory computer-readable medium | |
| US8525879B2 (en) | Depth detection method and system using thereof | |
| US10771765B2 (en) | Information processing apparatus, information processing system, information processing method, and storage medium for embedding time stamped information in an image | |
| US9842572B2 (en) | Methods and apparatus for displaying video including variable frame rates | |
| US10832732B2 (en) | Television broadcast system for generating augmented images | |
| US20070286452A1 (en) | Method and apparatus for processing image, recording medium, and computer program | |
| CN112954283B (zh) | 用于多投影仪的融合拼接播放方法及其播放系统 | |
| CN107181938B (zh) | 图像显示方法和设备、图像分析方法、设备及系统 | |
| CN109844861B (zh) | 用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统 | |
| CN114693553A (zh) | 一种移动智能终端图像处理方法及系统 | |
| CN110855989A (zh) | 一种网络视频图像编码方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |