CN110942469A - 面向高清高速视频的双通道双模态背景建模方法 - Google Patents
面向高清高速视频的双通道双模态背景建模方法 Download PDFInfo
- Publication number
- CN110942469A CN110942469A CN201911244250.9A CN201911244250A CN110942469A CN 110942469 A CN110942469 A CN 110942469A CN 201911244250 A CN201911244250 A CN 201911244250A CN 110942469 A CN110942469 A CN 110942469A
- Authority
- CN
- China
- Prior art keywords
- video
- channel
- frame
- background model
- bimodal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000007704 transition Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 238000005192 partition Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000013178 mathematical model Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向高清高速视频的双通道双模态背景建模方法，包括：步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；步骤S2：构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型；步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型。通过构建的双通道双模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。
Description
技术领域
本发明涉及视频数据挖掘技术领域，特别涉及面向高清高速视频的双通道双模态背景建模方法。
背景技术
高清高速视频拍摄技术是科研领域和高精尖工业产品研发领域中，观察分析高速运动目标物体时空变化细节的一种常用技术手段。由于高清高速视频的时空信息量十分巨大，很难凭靠人工进行量化分析，因此必须依赖于自动化分析手段对此类视频数据进行挖掘。
视频背景建模是一种最常用的视频数据挖掘技术，该技术的实质是通过对已有视频数据的学习，实现对视频中每个像素点特定视觉特征动态变化范围的数学建模。视频背景建模技术通常被用于自动检测新输入视频帧中的显著性异常变化，即当新输入视频帧中某个像素点的特定视觉特征值明显不符合该像素点对应的数学模型时，该异常像素点将被计算机自动辨识出来并做进一步分析处理。因此，高清高速视频背景建模技术可被用于自动检测高速运动目标物体的多种异常时空微变化。
目前，最常用的视频背景建模技术是逐点式实时建模法，该类方法需要为视频中每一个像素点分别构建一套独立的数学模型，并逐帧对所有像素点的数学模型进行迭代更新。对于具有高帧率(每秒数百帧以上)、高分辨率(每帧数百万像素点)的高清高速视频而言，逐点式实时建模法不仅需要构建并存储数百万个独立的数学模型，并且需要在一秒钟内对数百万个数学模型进行数百次以上地迭代更新，这显然需要极高的计算性能和内存资源，普通计算机设备难以满足如此苛刻的性能要求。因此，在实际应用中传统的逐点式实时建模法往往不适用于面向高清高速视频的背景建模。
专利(ZL201610072455.3)提出了一种非逐点式的实时建模方法，该专利的核心方法是对视频中处于同一个灰度(或称亮度)等级上的所有像素点统一建模，以此替代对每一个像素点进行单独建模。由于视频中灰度等级的数量远远少于像素点的数量，因此所需构建的数学模型的数量也大幅度减少。该专利方法的优点是：提供了一种适用于高分辨率视频的高效背景建模方法，能够在不增加任何软硬件计算资源的条件下，高效地实现对固定场景的高分辨率视频的背景建模，显著降低建模运算量，提高计算效率，减小存储资源的消耗，克服了传统逐点式实时建模法不适用于高分辨率视频背景建模的问题。
然而，上述专利(ZL201610072455.3)也存在以下几方面的不足：1)一律将彩色视频转换为灰度视频，未充分利用视频中的彩色信息；2)未充分利用不同视频通道中的不同视觉特征；3)所构建的单模态背景模型无法足够精确地描述具有复杂动态性的像素点；4)所用的训练样本不能实时更新，导致模型精度会随着时间的增长而下降；5)只适合处理正常帧率的高清视频，在处理高速的高清视频时计算效率仍然明显不足。综上所述，上述专利方法用于对包含复杂动态性场景的高清高速视频背景建模时，会存在准确性不足、精度衰减快，计算效率不足等突出问题。
发明内容
针对现有技术存在的缺陷，本发明提供一种面向高清高速视频的双通道双模态背景建模方法，该方法属于非逐点式的实时建模方法，所构建的双通道双模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。
本专利方法不仅克服了传统逐点式实时建模方法存在严重计算冗余和存储冗余的固有缺陷，也克服了现有类似专利中存在视频信息利用不充分、单模态模型准确性不足、模型精度随时间退化，以及不适用于高速视频等不足，提供了一种适用于高清高速视频的背景建模方法。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型。
在一种可能实现的方式中，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
步骤S02:将所述色调H和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值和所述强度I值为隶属于[1,360]的自然数。
在一种可能实现的方式中，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。
在一种可能实现的方式中，构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S21-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的双模态背景估计值
以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
步骤S25：根据所述步骤S21-S24，构建出所述A1区域对应的H、I双通道双模态实时背景模型。
在一种可能实现的方式中，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数和众数，将所述中位数和众数的数据集合作为所述像素点A1(i,j)在第n帧时的双模态背景估计值
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
在一种可能实现的方式中，在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
步骤S231:读取所述高清高速视频中的新的n+1帧视频时，确定H通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(2)更新A1(i,j)的双模态背景估计值；
其中，
是A1(i,j)在n+1帧时的双模态背景估计值，
和
分别是A1(i,j)在n帧时的双模态背景估计值和背景模型学习率，
是A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(2)中分别为
θ2的取值在式(1)～(2)中均为
步骤S232:计算H通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率，实现所述A1区域在n+1帧时刻在H通道上对背景模型的更新；
步骤S233:读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S231，更新所述A1区域在n+g帧时刻在,H通道上的背景模型，其中，所述n+g帧时刻在I通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的双模态背景估计值为
及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率
在一种可能实现的方式中，采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型，其中，所述其余子区域为A2，A3，A4，A5，A6，A7，A8区域；
实时更新所述A2，A3，A4，A5，A6，A7，A8区域在H、I通道上的双模态实时背景模型，从而完成对整个所述视频场景的背景建模。
在一种可能实现的方式中，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
获取所述高清高速视频；
对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
本发明的有益效果是：实现了一种适用于高清高速视频背景建模方法，克服了传统逐点式实时建模方法运算效率低、实时性不足、存储资源消耗大等问题；
相比于现有类似专利的技术，本发明有以下几方面改进：
(1)构建的双通道双模态背景模型对复杂场景以及场景中复杂动态性的描述更准确；
(2)通过在线实时更新训练样本消除了现有类似专利方法中模型精度随时间退化的弊病；
(3)通过采用视频多分块并行计算的架构，显著提高了算法的整体运算效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中面向高清高速视频的双通道双模态背景建模方法的流程示意图；
图2为本发明实施例中将视频场景划分为8个子区域的示意图；
图3为本发明实施例中背景模型学习率获取方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，如图1所示，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型。
上述第一视频指的是原始视频，如：以一段分辨率为2160*1486、帧率为500帧/秒，具有RGB三个通道的彩色高清高速汽车碰撞测试实验视频；
上述第二视频指的是经过颜色空间转换处理后的视频，如：将第一视频从RGB颜色空间转换为HSI颜色空间后得到的视频；
上述预设数目个子区域，一般为8个子区域，且对应的子区域分别为：A1，A2，A3，A4，A5，A6，A7，A8八个矩形区域；
上述第一子区域指的是A1矩形区域，其余子区域指的是A2，A3，A4，A5，A6，A7，A8矩形区域。
上述技术方案的有益效果是：通过构建的双通道双模态背景模型可有效提升背景模型的准确性，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
H表示色调(Hue)，S表示饱和度(Saturation)，I表示强度(Intensity)，其中，色调H的取值范围为[0°,360°]，强度I的取值范围为[0,1]，R表示通道颜色为红色(Red)，G表示通道颜色为绿色(Green)，B表示通道颜色为蓝色(Blue)；
步骤S02:将所述色调H和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值和所述强度I值为隶属于[1,360]的自然数。
上述色调H对应的H通道，强度I对应的I通道。
上述技术方案的有益效果是：通过对视频进行颜色空间的转换，方便了将强度值和色调值进行值域量化，为后续建立背景模型提供基础。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，如图2所示，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。
上述技术方案的有益效果是：通过对第二视频的视频场景进行划分处理，便于获得多个矩形区域，且便于提高后续建立背景模型的效率。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S21-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的双模态背景估计值
以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
步骤S25：根据所述步骤S21-S24，构建出所述A1区域对应的H、I双通道双模态实时背景模型。
上述通过获取视频训练样本，是为了给背景建模提供数据基础；
上述初始化背景模型，可以是首次建立好的背景模型，通过对初始化背景模型进行实时更新，是为了提高背景模型的精度，降低精度退化问题。
上述技术方案的有益效果是：通过构建双通道双模态背景模型，可有效提升背景模型的准确性；通过采用在线实时更新训练样本解决了背景模型精度退化问题。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数和众数，将所述中位数和众数的数据集合作为所述像素点A1(i,j)在第n帧时的双模态背景估计值
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
在此实施例中，以统计A1(i,j)在1～100帧内的像素值序列的中位数和众数为基础，在H通道上对A1区域内的每一个像素点A1(i,j)，计算A1(i,j)在1～100帧内的像素值序列的中位数和众数(出现频率最高的数值)，将两者的集合作为A1(i,j)在第100帧时的双模态背景估计值
作为优选，中位数的计算方法具体如下：
以像素点A1(1,1)为例，将第1帧到第100帧中A1(1,1)位置上依次出现的100个像素值保存在数组M1(1,1)[x](x为数组下标，x＝1,...,100)中；
然后对数组M1(1,1)[x]中的数值进行从大到小的排序(排序后M1(1,1)[1]的值最大，而M1(1,1)[100]的值最小)；
此时数组M1(1,1)[x]的中位数M1(1,1)[Median]的计算方法如下：
M1(1,1)[Median]即为A1(1,1)在1～100帧内的像素值序列的中位数；
在H通道上对视频A1区域内所有像素点的像素值在1～100帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率进行计算，生成A1区域内所有像素点共享的第100帧时的背景模型学习率
作为优选，背景模型学习率
的计算可采用如下的迭代算法：
E(θ1→θ2)＝1；
其中，
和
分别代表视频A1区域内的任意像素点A1(i,j)在第k帧和第k+1帧中的像素值，并分别简记为θ1和θ2，由于H通道中像素值为隶属于[1,360]的自然数，故有：θ1∈[1，360]，θ2∈[1，360]；E(θ1→θ2)＝1表示检测到以下的事件1次：A1(i,j)的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶；∑E(θ1→θ2)是统计A1区域内所有像素点的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶的次数，将∑E(θ1→θ2)的值记录在方阵H的对应单元
中；方阵
是对视频训练样本的1～100帧内
值的累加，
中记录了视频训练样本内检测到的像素值从θ1灰阶跳变为θ2灰阶的总次数；将
的值归一化为[0,1]之间的概率值，即得到背景模型学习率
是大小为360×360的方阵；
综上，A1区域在H通道上的初始化背景模型由以下两部分复合构成：1)每个像素点独有的双模态背景估计值
2)所有像素点共享的背景模型学习率
上述对于中位数的判断，还包括：
判断n-k+1是否为奇数，若是，则选取像素值序列中的第
个像素值作为中位数；
若n-k+1为偶数，则计算像素值序列中的第
个像素值和第
个像素值的平均值，作为中位数。
上述技术方案的有益效果是：通过构建的双通道双模态背景模型对复杂场景以及场景中复杂动态性的描述更准确。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
步骤S231:读取所述高清高速视频中的新的n+1帧视频时，确定H通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(2)更新A1(i,j)的双模态背景估计值；
其中，
是A1(i,j)在n+1帧时的双模态背景估计值，
和
分别是A1(i,j)在n帧时的双模态背景估计值和背景模型学习率，
是A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(2)中分别为
θ2的取值在式(1)～(2)中均为
步骤S232:计算H通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率，实现所述A1区域在n+1帧时刻在H通道上对背景模型的更新；
步骤S233:读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S231，更新所述A1区域在n+g帧时刻在,H通道上的背景模型，其中，所述n+g帧时刻在I通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的双模态背景估计值为
及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率
在本实施例中，例如读取所述高清高速视频中的新的n+1帧视频为新读入的101帧时，在H通道上对视频A1区域内的每一个像素点A1(i,j)，根据下式(1)～(2)更新A1(i,j)的双模态背景估计值：
其中，
是A1(i,j)在101帧时的双模态背景估计值，
和
分别是A1(i,j)在100帧时的双模态背景估计值和背景模型学习率，
是A1(i,j)在101帧时的像素值，θ1在式(1)～(2)中取值分别为
θ2在式(1)～(2)中取值均为
如前所述，
是大小为360×360的方阵，由于θ1、θ2分别是该方阵的行坐标和列坐标，因此将θ1、θ2的具体值代入
即可获取方阵中第θ1行、第θ2列的单元位置上对应的背景模型学习率；根据图3的示例，
的值就是该方阵中第120行、第118列的单元位置上对应的背景模型学习率，即0.074。
在101帧时，采用与步骤S222相同的方法，在H通道上计算视频A1区域内所有像素点的像素值在2至101帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，生成更新的背景模型学习率
以此类推，在新读入100+g帧时，采用与上述步骤S221、S222中相同的方法，更新A1区域在100+g帧时刻在H通道上的背景模型，其包含：在100+g帧时刻在H通道上的每个像素点独有的双模态背景估计值
以及所有像素点共享的背景模型学习率
上述技术方案的有益效果是：通过读取高清高速视频中的新的n+1帧视频或新的n+g帧视频，便于实时对初始化背景模型进行有效的更新，避免其的精度降低。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型，其中，所述其余子区域为A2，A3，A4，A5，A6，A7，A8区域；
实时更新所述A2，A3，A4，A5，A6，A7，A8区域在H、I通道上的双模态实时背景模型，从而完成对整个所述视频场景的背景建模。
上述技术方案的有益效果是：便于完成对整个视频场景的背景建模。
本发明实施例提供一种面向高清高速视频的双通道双模态背景建模方法，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
步骤S211：获取所述高清高速视频；
步骤S212：对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
步骤S213：根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
步骤S214：根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
步骤S215：根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
上述高清高速视频，例如为：高清高速汽车碰撞测试实验视频；
上述预设视频格式转换处理，例如是将测试实验视频进行信号格式的转换，如：模拟信号转换为数字信号；
上述待截取视频为预设格式转换处理后的视频；
上述截取帧节点，例如为对应的n帧和k帧对应的截取帧的帧节点；
上述视频头节点为第k帧对应的节点，视频尾节点为第n帧对应的节点；
上述第一预设值和第二预设值得取值范围为：95％-100％；
上述头节点值，可以是，切割之后，视频头节点对应的视频帧占据预先存储的帧节点数据库中对应的该视频帧的比例，如图像面积的完整性比例等；
其，尾节点值与上述头节点值类似；
上述帧节点索引标志，是为了确定每个视频帧的专属标记，便于快速获取确认；
上述截取入点和截取出点，是，例如是截取第n帧视频的开始截取的时间点和结束截取的时间点；
上述对尾节点值小于或等于第二预设值，和/或头节点值小于或等于第一预设值对应的视频帧进行截取并删除，是为了便于替换，确保视频数据的完整性。
上述技术方案的有益效果是：便于确保获取的连续视频片段的可靠性和完整性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.面向高清高速视频的双通道双模态背景建模方法，其特征在于，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型。
2.如权利要求1所述的方法，其特征在于，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
步骤S02:将所述色调H和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值和所述强度I值为隶属于[1,360]的自然数。
3.如权利要求1所述的方法，其特征在于，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。
4.如权利要求1所述的方法，其特征在于，构建所述第二视频的第一个子区域在H、I通道上的双模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S21-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的双模态背景估计值
以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
步骤S25：根据所述步骤S21-S24，构建出所述A1区域对应的H、I双通道双模态实时背景模型。
5.如权利要求4所述的方法，其特征在于，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数和众数，将所述中位数和众数的数据集合作为所述像素点A1(i,j)在第n帧时的双模态背景估计值
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
6.如权利要求4所述的方法，其特征在于，在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
步骤S231:读取所述高清高速视频中的新的n+1帧视频时，确定H通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(2)更新A1(i,j)的双模态背景估计值；
其中，
是A1(i,j)在n+1帧时的双模态背景估计值，
和
分别是A1(i,j)在n帧时的双模态背景估计值和背景模型学习率，
是A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(2)中分别为
θ2的取值在式(1)～(2)中均为
步骤S232:计算H通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率，实现所述A1区域在n+1帧时刻在H通道上对背景模型的更新；
步骤S233:读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S231，更新所述A1区域在n+g帧时刻在,H通道上的背景模型，其中，所述n+g帧时刻在I通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的双模态背景估计值为
及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率
7.如权利要求1所述的方法，其特征在于，采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在H、I通道上的双模态实时背景模型，其中，所述其余子区域为A2，A3，A4，A5，A6，A7，A8区域；
实时更新所述A2，A3，A4，A5，A6，A7，A8区域在H、I通道上的双模态实时背景模型，从而完成对整个所述视频场景的背景建模。
8.如权利要求4所述的方法，其特征在于，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
获取所述高清高速视频；
对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911244250.9A CN110942469B (zh) | 2019-12-06 | 2019-12-06 | 面向高清高速视频的双通道双模态背景建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911244250.9A CN110942469B (zh) | 2019-12-06 | 2019-12-06 | 面向高清高速视频的双通道双模态背景建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110942469A true CN110942469A (zh) | 2020-03-31 |
| CN110942469B CN110942469B (zh) | 2023-05-26 |
Family
ID=69910077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911244250.9A Active CN110942469B (zh) | 2019-12-06 | 2019-12-06 | 面向高清高速视频的双通道双模态背景建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942469B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100208987A1 (en) * | 2009-02-16 | 2010-08-19 | Institute For Information Industry | Method and system for foreground detection using multi-modality fusion graph cut |
| US8594423B1 (en) * | 2012-01-12 | 2013-11-26 | Google Inc. | Automatic background identification in video images |
| CN105574896A (zh) * | 2016-02-01 | 2016-05-11 | 衢州学院 | 一种面向高分辨率视频的高效背景建模方法 |
| CN106610969A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 基于多模态信息的视频内容审查系统及方法 |
| CN106682108A (zh) * | 2016-12-06 | 2017-05-17 | 浙江大学 | 一种基于多模态卷积神经网络的视频检索方法 |
-
2019
- 2019-12-06 CN CN201911244250.9A patent/CN110942469B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100208987A1 (en) * | 2009-02-16 | 2010-08-19 | Institute For Information Industry | Method and system for foreground detection using multi-modality fusion graph cut |
| US8594423B1 (en) * | 2012-01-12 | 2013-11-26 | Google Inc. | Automatic background identification in video images |
| CN106610969A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 基于多模态信息的视频内容审查系统及方法 |
| CN105574896A (zh) * | 2016-02-01 | 2016-05-11 | 衢州学院 | 一种面向高分辨率视频的高效背景建模方法 |
| CN106682108A (zh) * | 2016-12-06 | 2017-05-17 | 浙江大学 | 一种基于多模态卷积神经网络的视频检索方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHRISTOPHER EVELAND: "Background Modeling for Segmentation of Video-Rate Stereo Sequences", 《IEEE XPLORE》 * |
| 彭长生;詹智财;张松松;程碧淳;: "一种基于多帧统计的车道背景建模方法", 计算机应用与软件 * |
| 梁英宏;王知衍;曹晓叶;许晓伟;: "均值漂移在背景像素模态检测中的应用", 计算机科学 * |
| 童玉娟: "模拟视觉感知机制的视频监控场景分类方法", 《激光杂志》 * |
| 郭治成: "基于多特征融合的背景建模 方法", 《光电工程》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110942469B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476835B (zh) | 多视角图像一致性的无监督深度预测方法、系统、装置 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| WO2023279890A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112287941A (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN114360030A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN116778148A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110991361B (zh) | 面向高清高速视频的多通道多模态背景建模方法 | |
| CN111047654A (zh) | 一种基于色彩信息的高清高速视频背景建模方法 | |
| CN113965814A (zh) | 基于视频会议场景的多会场关键帧提取方法及系统 | |
| CN113408630A (zh) | 一种变电站指示灯状态识别方法 | |
| CN110289861B (zh) | 半精度压缩感知采样方法 | |
| CN110942469B (zh) | 面向高清高速视频的双通道双模态背景建模方法 | |
| CN116089944A (zh) | 基于迁移学习的跨平台应用程序异常检测方法、系统 | |
| CN111028245B (zh) | 一种多模态复合的高清高速视频背景建模方法 | |
| CN111008995B (zh) | 面向高清高速视频的单通道多模态背景建模方法 | |
| CN116524357A (zh) | 高压线路鸟巢检测方法、模型训练方法、装置及设备 | |
| CN116962612A (zh) | 应用于仿真系统的视频处理方法、装置、设备及存储介质 | |
| CN115797904A (zh) | 一种智能驾驶视觉感知中多场景多任务的主动学习方法 | |
| CN114913350A (zh) | 素材查重方法、装置、设备及存储介质 | |
| CN109840544B (zh) | 一种高光谱图像多端元光谱混合分析方法及装置 | |
| CN111242053A (zh) | 一种输电线路火焰检测方法及系统 | |
| CN112232125A (zh) | 关键点检测方法和关键点检测模型的训练方法 | |
| CN111583293B (zh) | 一种面向多色双光子图像序列的自适应图像分割方法 | |
| CN111028262A (zh) | 一种多通道复合的高清高速视频背景建模方法 | |
| CN117496162B (zh) | 一种红外卫星遥感影像薄云去除方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |