CN112104869A - 一种视频大数据存储及转码优化系统 - Google Patents

一种视频大数据存储及转码优化系统 Download PDF

Info

Publication number
CN112104869A
CN112104869A CN202011243500.XA CN202011243500A CN112104869A CN 112104869 A CN112104869 A CN 112104869A CN 202011243500 A CN202011243500 A CN 202011243500A CN 112104869 A CN112104869 A CN 112104869A
Authority
CN
China
Prior art keywords
frame
background
background frame
image
undetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011243500.XA
Other languages
English (en)
Other versions
CN112104869B (zh
Inventor
郭海强
李源
李露
肖俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optical Valley Technology Co ltd
Original Assignee
Optical Valley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optical Valley Technology Co ltd filed Critical Optical Valley Technology Co ltd
Priority to CN202011243500.XA priority Critical patent/CN112104869B/zh
Publication of CN112104869A publication Critical patent/CN112104869A/zh
Application granted granted Critical
Publication of CN112104869B publication Critical patent/CN112104869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种视频大数据存储及转码优化系统。所述系统包括：图像采集模块，用于采集原始图像；关键帧选取模块，用于根据相邻帧原始图像ROI中对应特征点总欧式距离
Figure 111113DEST_PATH_IMAGE001
选取关键帧、待定背景帧和无关帧；背景帧选取模块，用于判断待定背景帧是否为背景帧；转码优化模块，用于根据
Figure 818038DEST_PATH_IMAGE001
确定各帧的编码量化参数QP；数据存储模块，用于将关键帧和背景帧分别转化为关键帧灰度图像和背景帧YUV图像并分为若干个图像组储存起来；色彩重建模块，用于根据图像组中背景帧YUV图像来恢复同一图像组中的关键帧灰度图像的色彩。

Description

一种视频大数据存储及转码优化系统
技术领域
本申请涉及计算机视觉领域，具体涉及一种视频大数据存储及转码优化系统。
背景技术
进入信息时代，需要存储的数据量出现暴涨，存储数据的大量冗余提高了硬件的成本，造成大量人力、物力的消耗。对于视频数据而言，其存储通常表现为空间、颜色的冗余，如何降低视频对存储空间的消耗是当前科研的一个难题。现有技术通过降低视频的分辨率来节省存储空间，这种方法虽然能有效降低视频占用的存储空间，但也丢失了一部分关键信息，影响了后续对视频进行分析的效率。
发明内容
针对以上问题，本发明提出一种视频大数据存储及转码优化系统。所述系统包括：图像采集模块，用于采集原始图像；关键帧选取模块用于根据相邻帧原始图像ROI中对应特征点总欧式距离
Figure 312069DEST_PATH_IMAGE001
选取关键帧、待定背景帧和无关帧；背景帧选取模块用于判断待定背景帧是否为背景帧；转码优化模块用于根据
Figure 698051DEST_PATH_IMAGE002
确定各帧的编码量化参数QP；数据存储模块用于将关键帧和背景帧分别转化为灰度图像和YUV图像并分为若干个图像组储存起来；色彩重建模块用于根据图像组中背景帧YUV图像来恢复同一图像组中的关键帧灰度图像的色彩。
一种视频大数据存储及转码优化系统，其特征在于，该系统包括：
图像采集模块，用于采集原始图像，在每一帧所述原始图像中设置ROI；
关键帧选取模块，用于根据当前帧原始图像ROI和上一帧原始图像ROI中对应特征点总欧式距离
Figure 149892DEST_PATH_IMAGE001
，判断所述当前帧原始图像为关键帧、待定背景帧或无关帧；
背景帧选取模块，用于根据所述各待定背景帧和时间上与所述待定背景帧最近的背景帧的亮度相似性，判断所述待定背景帧是否为背景帧，以此输出若干张背景帧；
转码优化模块，用于根据所述总欧式距离
Figure 13943DEST_PATH_IMAGE002
与编码量化参数QP的关系模型，确定对所述关键帧和所述背景帧进行编码所用编码量化参数QP；
数据存储模块，用于将相邻所述背景帧之间的关键帧和前一背景帧归为一个图像组，还用于将所述图像组内的关键帧转化为关键帧灰度图像并储存，将所述图像组内的背景帧转化为背景帧YUV图像并储存；
色彩重建模块，用于根据所述图像组中的背景帧YUV图像来恢复同一所述图像组中的关键帧灰度图像的色彩，并输出关键帧RGB图像。
所述关键帧选取模块，用于根据当前帧原始图像ROI和上一帧原始图像ROI中对应特征点总欧式距离
Figure 565666DEST_PATH_IMAGE001
，判断所述当前帧原始图像为关键帧、待定背景帧或无关帧，具体包括：
找到上一帧原始图像ROI中第一特征点的坐标，并根据上一帧原始图像和当前帧原始图像预测当前帧原始图像ROI中第二特征点的坐标，所述第二特征点和所述第一特征点一一对应。
计算每个所述第一特征点和对应的所述第二特征点的欧式距离
Figure 856970DEST_PATH_IMAGE003
，设置经验欧式距离阈值
Figure 796107DEST_PATH_IMAGE004
，当
Figure 729428DEST_PATH_IMAGE005
时，舍去该
Figure 70410DEST_PATH_IMAGE003
值；当
Figure 798195DEST_PATH_IMAGE006
时，保留该
Figure 224628DEST_PATH_IMAGE003
值。将筛选后剩下的欧式距离
Figure 696061DEST_PATH_IMAGE003
相加得到总欧式距离
Figure 891550DEST_PATH_IMAGE002
；
预设第一欧式距离阈值
Figure 790236DEST_PATH_IMAGE007
、第二欧式距离阈值
Figure 766282DEST_PATH_IMAGE008
，且
Figure 510247DEST_PATH_IMAGE007
＜
Figure 822892DEST_PATH_IMAGE008
；当
Figure 892480DEST_PATH_IMAGE009
时，判定所述当前帧原始图像为所述关键帧；当
Figure 90243DEST_PATH_IMAGE010
时，判定所述当前帧原始图像为所述无关帧；当
Figure 637899DEST_PATH_IMAGE011
时，判定所述当前帧原始图像为所述待定背景帧。
所述背景帧选取模块，用于根据所述各待定背景帧和时间上与所述待定背景帧最近的背景帧的亮度相似性，判断所述待定背景帧是否为背景帧，以此输出若干张背景帧，具体包括：
S1，将待定背景帧按时间顺序排列，得到待定背景帧序列，设待定背景帧序列中第一个待定背景帧为背景帧，将其加入背景帧集合，并从待定背景帧序列中删除；
S2，按时间顺序从待定背景帧序列上取一个待定背景帧作为待处理待定背景帧
Figure 807980DEST_PATH_IMAGE012
，从背景帧集合中确定与待处理待定背景帧
Figure 48468DEST_PATH_IMAGE012
时序距离最近的背景帧
Figure 733528DEST_PATH_IMAGE013
，并计算所述待处理待定背景帧
Figure 288137DEST_PATH_IMAGE012
与
Figure 109462DEST_PATH_IMAGE013
之间的亮度差阈值
Figure 786431DEST_PATH_IMAGE014
：
Figure 693208DEST_PATH_IMAGE015
，T为拍摄所述待处理待定背景帧的时刻，
Figure 785928DEST_PATH_IMAGE016
为拍摄所述与待处理待定背景帧
Figure 7567DEST_PATH_IMAGE012
时序距离最近的背景帧
Figure 793121DEST_PATH_IMAGE013
的时刻，
Figure 187193DEST_PATH_IMAGE017
为
Figure 880342DEST_PATH_IMAGE018
时刻照度，
Figure 676260DEST_PATH_IMAGE019
为
Figure 429453DEST_PATH_IMAGE016
时刻的照度，
Figure 514083DEST_PATH_IMAGE020
为比例调节系数；
S3，设置经验亮度差阈值
Figure 276503DEST_PATH_IMAGE021
，当
Figure 926927DEST_PATH_IMAGE022
时，判定理想亮度差
Figure 788704DEST_PATH_IMAGE023
；当
Figure 157368DEST_PATH_IMAGE024
时，判定理想亮度差
Figure 457900DEST_PATH_IMAGE025
；
S4，计算所述待处理待定背景帧
Figure 228409DEST_PATH_IMAGE012
与所述背景帧
Figure 54896DEST_PATH_IMAGE013
的亮度差
Figure 114118DEST_PATH_IMAGE026
，
Figure 218341DEST_PATH_IMAGE027
，
Figure 781040DEST_PATH_IMAGE028
为所述待处理待定背景帧
Figure 312516DEST_PATH_IMAGE012
内所有像素的灰度平均值，
Figure 593455DEST_PATH_IMAGE029
为所述背景帧
Figure 501369DEST_PATH_IMAGE013
内所有像素的灰度平均值；当
Figure 184154DEST_PATH_IMAGE030
时，判定所述待处理待定背景帧
Figure 886531DEST_PATH_IMAGE012
为背景帧并将其加入背景帧集合；当
Figure 654766DEST_PATH_IMAGE031
时，判定所述待处理待定背景帧为无关帧；
S5，重复S2-S4直至所有待定背景帧被处理完成，输出若干张背景帧。
所述关系模型为：
Figure 100791DEST_PATH_IMAGE032
，
Figure 641013DEST_PATH_IMAGE033
为四舍五入取整函数，
Figure 248711DEST_PATH_IMAGE034
为底数调整因子，
Figure 566560DEST_PATH_IMAGE035
为值域调整因子，
Figure 488380DEST_PATH_IMAGE036
为常数调整因子。
所述色彩重建模块包括：第一编码器，用于提取所述关键帧灰度图像的第一特征张量；第二编码器，用于提取所述背景帧YUV图像的第二特征张量；解码器，用于将所述第一特征张量和所述第二特征张量联合并进行色彩恢复，输出所述关键帧RGB图像。
所述色彩重建模块为神经网络，所述色彩重建模块的训练方法包括：以若干个所述图像组为数据集；对所述数据集进行标注，标注为所述关键帧灰度图像对应的所述关键帧RGB图像数据；使用均方误差损失函数进行训练。
本发明和现有技术相比有如下有益效果：
（1）根据相邻帧之间ROI区域对应特征点总欧式距离选取关键帧，将关键帧转化为灰度图像并存储，降低存储空间的消耗并保留了关键信息，有利于后续对视频的分析；
（2）根据光强传感器估计理想亮度差F，将待定背景帧和时间上最近的背景帧之间的亮度差值和F对比，来确定理想亮度差F用于筛选背景帧。得到的背景帧和同一图像组的关键帧亮度差较小，可以更好地还原出关键帧灰度图像的色彩；
（3）利用神经网络，根据背景帧YUV图像来恢复关键帧灰度图像的色彩，可以更快速、更准确地还原出关键帧原本的色彩。
附图说明
图1为系统结构图。
图2为色彩重建模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
本发明的主要目的是实现对摄像头采集的图像进行选择性存储，并对图像进行颜色压缩，降低视频编码的时间与存储占用的空间。
为了实现本发明所述内容，本发明设计了一种视频大数据存储及转码优化系统，系统结构图如图1所示。
所述系统包括：图像采集模块、关键帧选取模块、背景帧选取模块、转码优化模块、数据存储模块、色彩重建模块。
本发明主要针对城市道路、工厂等监控区域的监控摄像头采集的图像进行处理，监控摄像头采集的图像若不经过压缩处理降低码率，会占用大量存储空间。我们往往只需要监测画面中一部分关键区域，所以需要设置ROI（感兴趣区域）。
图像采集模块，使用监控摄像头采集RGB图像，即原始图像，根据实际情况设置ROI，以便于后续根据光流法判断关键帧。本实施例针对城市道路中的十字路口的监控，因为风吹导致道路边树木晃动，对于光流估计的结果有很大的影响，从而导致关键帧的误判，所以选定原始图像中的道路部分为ROI。
关键帧选取模块，用于选取关键帧。本发明通过光流估计判断相邻帧原始图像ROI中物体的变化大小。光流（optical flow）是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流估计算法是利用图像序列中像素在时间域上的变化以及相邻帧原始图像之间的相关性来找到上一帧原始图像跟当前帧原始图像之间存在的对应关系，从而计算出相邻帧原始图像之间物体的运动信息的一种方法。
光流估计算法是多样且公知的，本发明不对光流估计的算法进行限制，实施者可以根据实际情况选择合适的光流估计算法。可以选择卢卡斯-卡纳德方法（Lucas-KanadeMethod）、霍恩·山克方法（Horn Schunck Method）、基于DNN的FlowNet系列方法等。本实施例选择卢卡斯-卡纳德方法(简称L-K方法)进行光流估计。
L-K方法是一种广泛使用的光流估计的差分方法，具体步骤如下：
选择当前帧原始图像和上一帧原始图像，使用算法找到上一帧原始图像ROI中的第一特征点并计算第一特征点的坐标，一个单位长度对应一个像素的长度。所述算法是多样且公知的，不作为本发明的保护内容，本实施例使用Harris角点检测算法找到图像ROI中的角点，所述角点即为特征点。
根据所述第一特征点的坐标、所述上一帧原始图像和所述当前帧原始图像预测当前帧原始图像ROI中第二特征点的坐标，所述第二特征点和所述第一特征点一一对应。
为了保证选出的特征点能更准确地反映出相邻两帧原始图像ROI中光流大小，需要筛除位移较小的特征点。计算每个第一特征点和对应第二特征点的欧式距离
Figure 208074DEST_PATH_IMAGE003
，计算公式为：
Figure 189937DEST_PATH_IMAGE037
，
Figure 729502DEST_PATH_IMAGE038
为所述第二特征点的x坐标，
Figure 720592DEST_PATH_IMAGE039
为所述第二特征点的y坐标，
Figure 29214DEST_PATH_IMAGE040
为所述第一特征点的x坐标，
Figure 978715DEST_PATH_IMAGE041
为所述第一特征点的y坐标。
设置经验欧式距离阈值
Figure 5577DEST_PATH_IMAGE004
，当
Figure 531849DEST_PATH_IMAGE042
时，判定这对特征点不符合要求，舍去该
Figure 960556DEST_PATH_IMAGE003
值；当
Figure 284221DEST_PATH_IMAGE043
时，判定这对特征点符合要求并保留该
Figure 63958DEST_PATH_IMAGE003
值。需要说明的是，
Figure 131272DEST_PATH_IMAGE004
的值可由实施者根据实际情况设置，本实施例设置
Figure 414485DEST_PATH_IMAGE044
。
将筛选后剩下的欧式距离
Figure 971369DEST_PATH_IMAGE003
相加得到总欧式距离
Figure 910506DEST_PATH_IMAGE002
，并根据
Figure 843827DEST_PATH_IMAGE002
筛选关键帧。预设第一欧式距离阈值
Figure 919230DEST_PATH_IMAGE045
、第二欧式距离阈值
Figure 912594DEST_PATH_IMAGE008
，且
Figure 135765DEST_PATH_IMAGE007
＜
Figure 536092DEST_PATH_IMAGE008
；当
Figure 793898DEST_PATH_IMAGE009
时，判定当前帧原始图像为所述关键帧；当
Figure 895846DEST_PATH_IMAGE010
时，判定当前帧原始图像为所述无关帧；当
Figure 340734DEST_PATH_IMAGE011
时，判定当前帧原始图像为所述待定背景帧。实施者可以根据实际情况设置合适的
Figure 615857DEST_PATH_IMAGE007
、
Figure 931432DEST_PATH_IMAGE008
，本实施例根据原始图像的分辨率
Figure 735440DEST_PATH_IMAGE046
设置
Figure 402045DEST_PATH_IMAGE007
、
Figure 215280DEST_PATH_IMAGE008
，
Figure 182099DEST_PATH_IMAGE047
、
Figure 360270DEST_PATH_IMAGE048
。
背景帧选取模块，用于从待定背景帧中选取背景帧。本发明只需要储存关键帧和背景帧，不储存无关帧，所述背景帧用于后续恢复关键帧灰度图像的色彩，为了使恢复出的图像接近原始图像，背景帧应该和对应关键帧的亮度相近。所以本发明设计了根据亮度筛选背景帧的规则。筛选步骤如下：
S1，将待定背景帧按时间顺序排列起来，得到待定背景帧序列。在相机上设置照度传感器，检测相机周围环境的照度S，照度单位为lx。首先选取待定背景帧序列上第一帧待定背景帧为背景帧并将其加入背景帧集合，并从待定背景帧序列中删除；
S2，按时间顺序从待定背景帧序列上选取一个待定背景帧作为待处理待定背景帧
Figure 307979DEST_PATH_IMAGE012
，从背景帧集合中确定与该待处理待定背景帧
Figure 659326DEST_PATH_IMAGE012
时序距离最近的背景帧
Figure 683914DEST_PATH_IMAGE013
，计算所述待处理待定背景帧
Figure 360883DEST_PATH_IMAGE012
与所述背景帧
Figure 470921DEST_PATH_IMAGE013
之间的亮度差阈值
Figure 360380DEST_PATH_IMAGE014
：
因为图像亮度是由灰度来表示的，为了将照度和图像亮度联系起来，本发明设计了亮度差阈值计算模型，计算模型如下：
Figure 567370DEST_PATH_IMAGE049
，
Figure 87345DEST_PATH_IMAGE014
为亮度差阈值，所述T为拍摄所述待处理待定背景帧
Figure 746996DEST_PATH_IMAGE012
的时刻，
Figure 440145DEST_PATH_IMAGE016
为拍摄所述背景帧
Figure 439326DEST_PATH_IMAGE013
的时刻，
Figure 458097DEST_PATH_IMAGE017
为
Figure 342395DEST_PATH_IMAGE018
时刻照度，
Figure 776919DEST_PATH_IMAGE050
为
Figure 692922DEST_PATH_IMAGE016
时刻照度，
Figure 617016DEST_PATH_IMAGE020
为比例调节系数，实施者可以根据实际情况设置合适的
Figure 188942DEST_PATH_IMAGE051
使照度和图像亮度联系起来,本实施例中设置
Figure 489474DEST_PATH_IMAGE052
=0.2；
S3，为了避免
Figure 197667DEST_PATH_IMAGE053
过小导致
Figure 292662DEST_PATH_IMAGE014
过大，本发明还设置了经验亮度差阈值
Figure 148622DEST_PATH_IMAGE021
，当
Figure 190528DEST_PATH_IMAGE022
时，判定理想亮度差
Figure 284386DEST_PATH_IMAGE054
；当
Figure 812931DEST_PATH_IMAGE024
时，判定理想亮度差
Figure 890609DEST_PATH_IMAGE025
；
S4，根据理想亮度差判断所述待处理待定背景帧
Figure 736205DEST_PATH_IMAGE012
是否为背景帧，计算
Figure 215728DEST_PATH_IMAGE012
内所有像素的灰度平均值
Figure 652526DEST_PATH_IMAGE028
、计算所述背景帧
Figure 483078DEST_PATH_IMAGE013
内所有像素的灰度平均值
Figure 397945DEST_PATH_IMAGE029
，进一步地，计算所述待处理待定背景帧
Figure 997553DEST_PATH_IMAGE012
与所述背景帧
Figure 808514DEST_PATH_IMAGE055
的亮度差
Figure 126363DEST_PATH_IMAGE026
，
Figure 844921DEST_PATH_IMAGE027
。当
Figure 502298DEST_PATH_IMAGE030
时，判定所述待处理待定背景帧
Figure 546477DEST_PATH_IMAGE012
为背景帧并将其加入背景帧集合；当
Figure 100692DEST_PATH_IMAGE056
时，判定所述待处理待定背景帧为无关帧；
S5，重复S2-S4直到所有待定背景帧被处理完成，输出背景帧集合，所述背景帧集合包含若干张背景帧。
转码优化模块，用于调节所述关键帧和所述背景帧的编码量化参数。得到所述背景帧和所述关键帧之后就可以针对它们进行转码优化，在关键帧选取模块中已经求得相邻帧原始图像ROI中对应特征点总欧式距离
Figure 826202DEST_PATH_IMAGE002
，本发明根据
Figure 134824DEST_PATH_IMAGE002
对各个关键帧和背景帧进行转码优化。
构建所述总欧式距离
Figure 84325DEST_PATH_IMAGE002
与编码量化参数QP的关系模型：
Figure 111187DEST_PATH_IMAGE057
，QP为视频编码的量化参数，
Figure 437126DEST_PATH_IMAGE033
为四舍五入取整函数，
Figure 803517DEST_PATH_IMAGE034
为底数调整因子，其取值范围在（0，1）之间，所述
Figure 189499DEST_PATH_IMAGE034
使得QP的值随着
Figure 703656DEST_PATH_IMAGE002
值的增大而减小。
Figure 770970DEST_PATH_IMAGE035
为值域调整因子，
Figure 54183DEST_PATH_IMAGE058
为常数调整因子。编码量化参数QP取值范围为（0，51），设置
Figure 611067DEST_PATH_IMAGE059
是为了保证该关系模型的值域为（0，51）。实施者可以根据实际情况设置合适的
Figure 547274DEST_PATH_IMAGE034
值
Figure 949437DEST_PATH_IMAGE060
值
Figure 352736DEST_PATH_IMAGE061
值，本实施例中设置
Figure 80521DEST_PATH_IMAGE062
、
Figure 241375DEST_PATH_IMAGE063
、
Figure 978387DEST_PATH_IMAGE064
。
编码量化参数(QP)反映了空间细节压缩情况，QP较小时图像的大部分细节都会被保留，码率增大。QP较大时，图像中的一些细节会丢失，码率降低。即随着
Figure 970613DEST_PATH_IMAGE002
的增大，QP变小，所述关键帧和背景帧占存储空间增大；随着
Figure 603720DEST_PATH_IMAGE002
的减小，QP变大，所述关键帧和背景帧占存储空间减小。
数据存储模块，用于将转码优化后的背景帧和关键帧储存起来。将相邻所述背景帧之间的关键帧和前一背景帧归为一个图像组。将所述图像组内的背景帧转化到YUV空间生成背景帧YUV图像并储存。选取YUV是因为在视频存储中，没有必要储存全部的颜色信号。可以把更多带宽留给黑—白信号，也即Y通道分量，将稍少的带宽留给彩色信号，也即U、V通道分量。将RGB图像转化到YUV空间的方法是多样且公知的，本发明不对转化方法进行限制。同时将所述图像组内关键帧中像素的RGB值转换成灰度值，形成关键帧灰度图像并储存。
背景帧YUV图像和关键帧灰度图像所占存储空间较小，可以有效地节省存储空间。
色彩重建模块，用于恢复关键帧灰度图像的色彩，其结构如图2。在我们分析存储的视频数据时，需要得到关键帧RGB图像，所以本发明设计了色彩重建模块来恢复关键帧灰度图像的色彩。所述色彩重建模块为神经网络，其包括：第一编码器，用于提取所述关键帧灰度图像的第一特征张量；第二编码器，用于提取所述背景帧YUV图像的第二特征张量；解码器，用于将所述第一特征张量和所述第二特征张量联合并进行色彩恢复，输出所述关键帧RGB图像。
对色彩重建模块进行训练，训练方法包括：以若干个所述图像组为数据集；对所述数据集进行标注，标注为所述关键帧灰度图像对应的所述关键帧RGB图像数据；使用均方误差损失函数进行训练。
将背景帧YUV图像和同一所述图像组中的关键帧灰度图像输入训练好的色彩重建模块，最后输出关键帧的RGB图像。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频大数据存储及转码优化系统，其特征在于，该系统包括：
图像采集模块，用于采集原始图像，在每一帧所述原始图像中设置ROI；
关键帧选取模块，用于根据当前帧原始图像ROI和上一帧原始图像ROI中对应特征点总欧式距离
Figure 288723DEST_PATH_IMAGE001
，判断所述当前帧原始图像为关键帧、待定背景帧或无关帧；
背景帧选取模块，用于根据所述各待定背景帧和时间上与所述待定背景帧最近的背景帧的亮度相似性，判断所述待定背景帧是否为背景帧，以此输出若干张背景帧；
转码优化模块，用于根据所述总欧式距离
Figure 877967DEST_PATH_IMAGE001
与编码量化参数QP的关系模型，确定对所述关键帧和所述背景帧进行编码所用编码量化参数QP；
数据存储模块，用于将相邻所述背景帧之间的关键帧和前一背景帧归为一个图像组，还用于将所述图像组内的关键帧转化为关键帧灰度图像并储存，将所述图像组内的背景帧转化为背景帧YUV图像并储存；
色彩重建模块，用于根据所述图像组中的背景帧YUV图像来恢复同一所述图像组中的关键帧灰度图像的色彩，并输出关键帧RGB图像。
2.如权利要求1所述的系统，其特征在于，所述关键帧选取模块，用于根据当前帧原始图像ROI和上一帧原始图像ROI中对应特征点总欧式距离
Figure 332738DEST_PATH_IMAGE002
，判断所述当前帧原始图像为关键帧、待定背景帧或无关帧，具体包括：
找到上一帧原始图像ROI中第一特征点的坐标，并根据上一帧原始图像和当前帧原始图像预测当前帧原始图像ROI中第二特征点的坐标，所述第二特征点和所述第一特征点一一对应；
计算每个所述第一特征点和对应的所述第二特征点的欧式距离
Figure 400051DEST_PATH_IMAGE003
，设置经验欧式距离阈值
Figure 11161DEST_PATH_IMAGE004
，当
Figure 505728DEST_PATH_IMAGE005
时，舍去该
Figure 444865DEST_PATH_IMAGE006
值；当
Figure 315869DEST_PATH_IMAGE007
时，保留该
Figure 781485DEST_PATH_IMAGE006
值；
将筛选后剩下的欧式距离
Figure 181374DEST_PATH_IMAGE006
相加得到总欧式距离
Figure 873386DEST_PATH_IMAGE001
；
预设第一欧式距离阈值
Figure 282502DEST_PATH_IMAGE008
、第二欧式距离阈值
Figure 602625DEST_PATH_IMAGE009
，且
Figure 701643DEST_PATH_IMAGE008
＜
Figure 615373DEST_PATH_IMAGE009
；
当
Figure 562600DEST_PATH_IMAGE010
时，判定所述当前帧原始图像为所述关键帧；当
Figure 2809DEST_PATH_IMAGE011
时，判定所述当前帧原始图像为所述无关帧；当
Figure 10079DEST_PATH_IMAGE012
时，判定所述当前帧原始图像为所述待定背景帧。
3.如权利要求1所述的系统，其特征在于，所述背景帧选取模块，用于根据所述各待定背景帧和时间上与所述待定背景帧最近的背景帧的亮度相似性，判断所述待定背景帧是否为背景帧，以此输出若干张背景帧，具体包括：
S1，将待定背景帧按时间顺序排列，得到待定背景帧序列，设待定背景帧序列中第一个待定背景帧为背景帧，将其加入背景帧集合，并从待定背景帧序列中删除；
S2，按时间顺序从待定背景帧序列上取一个待定背景帧作为待处理待定背景帧
Figure 145525DEST_PATH_IMAGE013
，从背景帧集合中确定与待处理待定背景帧
Figure 21077DEST_PATH_IMAGE013
时序距离最近的背景帧
Figure 191159DEST_PATH_IMAGE014
，并计算所述待处理待定背景帧
Figure 634910DEST_PATH_IMAGE013
与
Figure 257652DEST_PATH_IMAGE014
之间的亮度差阈值
Figure 671316DEST_PATH_IMAGE015
：
Figure 976131DEST_PATH_IMAGE016
，T为拍摄所述待处理待定背景帧的时刻，
Figure 590783DEST_PATH_IMAGE017
为拍摄所述与待处理待定背景帧
Figure 700822DEST_PATH_IMAGE013
时序距离最近的背景帧
Figure 918176DEST_PATH_IMAGE014
的时刻，
Figure 62850DEST_PATH_IMAGE018
为
Figure 848403DEST_PATH_IMAGE019
时刻照度，
Figure 711317DEST_PATH_IMAGE020
为
Figure 607729DEST_PATH_IMAGE017
时刻的照度，
Figure 465964DEST_PATH_IMAGE021
为比例调节系数；
S3，设置经验亮度差阈值
Figure 422418DEST_PATH_IMAGE022
，当
Figure 769698DEST_PATH_IMAGE023
时，判定理想亮度差
Figure 469801DEST_PATH_IMAGE024
；当
Figure 323488DEST_PATH_IMAGE025
时，判定理想亮度差
Figure 450844DEST_PATH_IMAGE026
；
S4，计算所述待处理待定背景帧
Figure 147404DEST_PATH_IMAGE027
与所述背景帧
Figure 385619DEST_PATH_IMAGE014
的亮度差
Figure 93812DEST_PATH_IMAGE028
，
Figure 392069DEST_PATH_IMAGE029
，
Figure 575926DEST_PATH_IMAGE030
为所述待处理待定背景帧
Figure 617831DEST_PATH_IMAGE027
内所有像素的灰度平均值，
Figure 183460DEST_PATH_IMAGE031
为所述背景帧
Figure 652619DEST_PATH_IMAGE014
内所有像素的灰度平均值；当
Figure 58192DEST_PATH_IMAGE032
时，判定所述待处理待定背景帧
Figure 903789DEST_PATH_IMAGE027
为背景帧并将其加入背景帧集合；当
Figure 852153DEST_PATH_IMAGE033
时，判定所述待处理待定背景帧为无关帧；
S5，重复S2-S4直至所有待定背景帧被处理完成，输出若干张背景帧。
4.如权利要求1所述的系统，其特征在于，所述关系模型为：
Figure 492213DEST_PATH_IMAGE034
，
Figure 119503DEST_PATH_IMAGE035
为四舍五入取整函数，
Figure 768790DEST_PATH_IMAGE036
为底数调整因子，
Figure 306082DEST_PATH_IMAGE037
为值域调整因子，
Figure 851464DEST_PATH_IMAGE038
为常数调整因子。
5.如权利要求1所述的系统，其特征在于，所述色彩重建模块包括：
第一编码器，用于提取所述关键帧灰度图像的第一特征张量；
第二编码器，用于提取所述背景帧YUV图像的第二特征张量；
解码器，用于将所述第一特征张量和所述第二特征张量联合并进行色彩恢复，输出所述关键帧RGB图像。
6.如权利要求5所述的系统，其特征在于，所述色彩重建模块为神经网络，所述色彩重建模块的训练方法包括：
以若干个所述图像组为数据集；
对所述数据集进行标注，标注为所述关键帧灰度图像对应的所述关键帧RGB图像数据；
使用均方误差损失函数进行训练。
CN202011243500.XA 2020-11-10 2020-11-10 一种视频大数据存储及转码优化系统 Active CN112104869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011243500.XA CN112104869B (zh) 2020-11-10 2020-11-10 一种视频大数据存储及转码优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011243500.XA CN112104869B (zh) 2020-11-10 2020-11-10 一种视频大数据存储及转码优化系统

Publications (2)

Publication Number Publication Date
CN112104869A true CN112104869A (zh) 2020-12-18
CN112104869B CN112104869B (zh) 2021-02-02

Family

ID=73785849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011243500.XA Active CN112104869B (zh) 2020-11-10 2020-11-10 一种视频大数据存储及转码优化系统

Country Status (1)

Country Link
CN (1) CN112104869B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099161A (zh) * 2021-04-13 2021-07-09 北京中科深智科技有限公司 一种基于深度神经网络的会议视频重建方法和系统
CN114898490A (zh) * 2022-03-31 2022-08-12 珠海汇金科技股份有限公司 一种隔离门的安全防护方法、系统、装置以及存储介质
CN116744006A (zh) * 2023-08-14 2023-09-12 光谷技术有限公司 基于区块链的视频监控数据存储方法
CN117440162A (zh) * 2023-12-19 2024-01-23 齐齐哈尔医学院 一种多媒体互动教学方法及系统
CN117714787A (zh) * 2024-02-05 2024-03-15 哈尔滨学院 一种视频数据处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624675A1 (en) * 2004-08-03 2006-02-08 Microsoft Corporation A system and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
CN103002280A (zh) * 2012-10-08 2013-03-27 中国矿业大学 基于hvs&roi的分布式编解码方法及系统
US20160353107A1 (en) * 2015-05-26 2016-12-01 Apple Inc. Adaptive quantization parameter modulation for eye sensitive areas
CN106682087A (zh) * 2016-11-28 2017-05-17 东南大学 一种基于车载装饰品特征稀疏编码的车辆检索方法
CN108347612A (zh) * 2018-01-30 2018-07-31 东华大学 一种基于视觉注意机制的监控视频压缩与重构方法
CN110324626A (zh) * 2019-07-10 2019-10-11 武汉大学苏州研究院 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法
CN110536138A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种有损压缩编码方法、装置和系统级芯片
CN111200734A (zh) * 2018-11-19 2020-05-26 浙江宇视科技有限公司 视频编码方法及装置
CN111277825A (zh) * 2020-01-19 2020-06-12 浙江工业大学 一种基于海思芯片的码流控制方法
CN111491167A (zh) * 2019-10-28 2020-08-04 华为技术有限公司 图像编码方法、转码方法、装置、设备以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624675A1 (en) * 2004-08-03 2006-02-08 Microsoft Corporation A system and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
CN103002280A (zh) * 2012-10-08 2013-03-27 中国矿业大学 基于hvs&roi的分布式编解码方法及系统
US20160353107A1 (en) * 2015-05-26 2016-12-01 Apple Inc. Adaptive quantization parameter modulation for eye sensitive areas
CN106682087A (zh) * 2016-11-28 2017-05-17 东南大学 一种基于车载装饰品特征稀疏编码的车辆检索方法
CN108347612A (zh) * 2018-01-30 2018-07-31 东华大学 一种基于视觉注意机制的监控视频压缩与重构方法
CN110536138A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种有损压缩编码方法、装置和系统级芯片
CN111200734A (zh) * 2018-11-19 2020-05-26 浙江宇视科技有限公司 视频编码方法及装置
CN110324626A (zh) * 2019-07-10 2019-10-11 武汉大学苏州研究院 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法
CN111491167A (zh) * 2019-10-28 2020-08-04 华为技术有限公司 图像编码方法、转码方法、装置、设备以及存储介质
CN111277825A (zh) * 2020-01-19 2020-06-12 浙江工业大学 一种基于海思芯片的码流控制方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099161A (zh) * 2021-04-13 2021-07-09 北京中科深智科技有限公司 一种基于深度神经网络的会议视频重建方法和系统
CN114898490A (zh) * 2022-03-31 2022-08-12 珠海汇金科技股份有限公司 一种隔离门的安全防护方法、系统、装置以及存储介质
CN116744006A (zh) * 2023-08-14 2023-09-12 光谷技术有限公司 基于区块链的视频监控数据存储方法
CN116744006B (zh) * 2023-08-14 2023-10-27 光谷技术有限公司 基于区块链的视频监控数据存储方法
CN117440162A (zh) * 2023-12-19 2024-01-23 齐齐哈尔医学院 一种多媒体互动教学方法及系统
CN117440162B (zh) * 2023-12-19 2024-02-23 齐齐哈尔医学院 一种多媒体互动教学方法及系统
CN117714787A (zh) * 2024-02-05 2024-03-15 哈尔滨学院 一种视频数据处理方法
CN117714787B (zh) * 2024-02-05 2024-05-07 哈尔滨学院 一种视频数据处理方法

Also Published As

Publication number Publication date
CN112104869B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112104869B (zh) 一种视频大数据存储及转码优化系统
WO2020173226A1 (zh) 一种时空行为检测方法
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
US7982774B2 (en) Image processing apparatus and image processing method
EP2549759B1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
US20060056689A1 (en) Image segmentation using template prediction
CN112365404B (zh) 一种基于多相机的接触网全景图像拼接方法、系统及设备
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
US11200681B2 (en) Motion detection method and motion detection system with low computational complexity and high detection accuracy
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
CN102469302A (zh) 应用于影像监控的可适应光线变化的背景模型学习系统
US20110085026A1 (en) Detection method and detection system of moving object
CN102510437B (zh) 基于rgb分量分布的视频图像背景检测方法
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
KR100825504B1 (ko) 카메라를 이용한 인터페이스 장치 및 방법
CN113936030B (zh) 基于卷积编码的运动目标检测方法及系统
US11270442B2 (en) Motion image integration method and motion image integration system capable of merging motion object images
KR101809031B1 (ko) 복합화재 검지 영상 처리 장치 및 영상 처리 방법
Low et al. Frame Based Object Detection--An Application for Traffic Monitoring
Mohana et al. Vehicle detection and counting by using real time traffic flux through differential technique and performance evaluation
JP2001307104A (ja) 動画像のオブジェクト抽出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430000 No. 01, 1-4 Floors, 9 Building 1-4, Shenzhou Digital Wuhan Science Park, No. 7, Financial Port Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant after: Optical Valley Technology Co.,Ltd.

Address before: 430000 No. 01, 1-4 Floors, 9 Building 1-4, Shenzhou Digital Wuhan Science Park, No. 7, Financial Port Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant before: OPTICAL VALLEY TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A video big data storage and transcoding optimization system

Effective date of registration: 20220613

Granted publication date: 20210202

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Optical Valley Technology Co.,Ltd.

Registration number: Y2022420000157