CN110991361B - 面向高清高速视频的多通道多模态背景建模方法 - Google Patents

面向高清高速视频的多通道多模态背景建模方法 Download PDF

Info

Publication number
CN110991361B
CN110991361B CN201911244550.7A CN201911244550A CN110991361B CN 110991361 B CN110991361 B CN 110991361B CN 201911244550 A CN201911244550 A CN 201911244550A CN 110991361 B CN110991361 B CN 110991361B
Authority
CN
China
Prior art keywords
video
channel
frame
region
background model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911244550.7A
Other languages
English (en)
Other versions
CN110991361A (zh
Inventor
欧英典
童玉娟
张睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quzhou University
Original Assignee
Quzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quzhou University filed Critical Quzhou University
Priority to CN201911244550.7A priority Critical patent/CN110991361B/zh
Publication of CN110991361A publication Critical patent/CN110991361A/zh
Application granted granted Critical
Publication of CN110991361B publication Critical patent/CN110991361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种面向高清高速视频的多通道多模态背景建模方法，包括：步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。通过构建的多通道多模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。

Description

面向高清高速视频的多通道多模态背景建模方法
技术领域
本发明涉及视频数据挖掘技术领域，特别涉及面向高清高速视频的多通道多模态背景建模方法。
背景技术
高清高速视频拍摄技术是科研领域和高精尖工业产品研发领域中，观察分析高速运动目标物体时空变化细节的一种常用技术手段。由于高清高速视频的时空信息量十分巨大，很难凭靠人工进行量化分析，因此必须依赖于自动化分析手段对此类视频数据进行挖掘。
视频背景建模是一种最常用的视频数据挖掘技术，该技术的实质是通过对已有视频数据的学习，实现对视频中每个像素点特定视觉特征动态变化范围的数学建模。视频背景建模技术通常被用于自动检测新输入视频帧中的显著性异常变化，即当新输入视频帧中某个像素点的特定视觉特征值明显不符合该像素点对应的数学模型时，该异常像素点将被计算机自动辨识出来并做进一步分析处理。因此，高清高速视频背景建模技术可被用于自动检测高速运动目标物体的多种异常时空微变化。
目前，最常用的视频背景建模技术是逐点式实时建模法，该类方法需要为视频中每一个像素点分别构建一套独立的数学模型，并逐帧对所有像素点的数学模型进行迭代更新。对于具有高帧率(每秒数百帧以上)、高分辨率(每帧数百万像素点)的高清高速视频而言，逐点式实时建模法不仅需要构建并存储数百万个独立的数学模型，并且需要在一秒钟内对数百万个数学模型进行数百次以上地迭代更新，这显然需要极高的计算性能和内存资源，普通计算机设备难以满足如此苛刻的性能要求。因此，在实际应用中传统的逐点式实时建模法往往不适用于面向高清高速视频的背景建模。
专利(ZL201610072455.3)提出了一种非逐点式的实时建模方法，该专利的核心方法是对视频中处于同一个灰度(或称亮度)等级上的所有像素点统一建模，以此替代对每一个像素点进行单独建模。由于视频中灰度等级的数量远远少于像素点的数量，因此所需构建的数学模型的数量也大幅度减少。该专利方法的优点是：提供了一种适用于高分辨率视频的高效背景建模方法，能够在不增加任何软硬件计算资源的条件下，高效地实现对固定场景的高分辨率视频的背景建模，显著降低建模运算量，提高计算效率，减小存储资源的消耗，克服了传统逐点式实时建模法不适用于高分辨率视频背景建模的问题。
然而，上述专利(ZL201610072455.3)也存在以下几方面的不足：1)一律将彩色视频转换为灰度视频，未充分利用视频中的彩色信息；2)未充分利用不同视频通道中的不同视觉特征；3)所构建的单模态背景模型无法足够精确地描述具有复杂动态性的像素点；4)所用的训练样本不能实时更新，导致模型精度会随着时间的增长而下降；5)只适合处理正常帧率的高清视频，在处理高速的高清视频时计算效率仍然明显不足。综上所述，上述专利方法用于对包含复杂动态性场景的高清高速视频背景建模时，会存在准确性不足、精度衰减快，计算效率不足等突出问题。
发明内容
针对现有技术存在的缺陷，本发明提供一种面向高清高速视频的多通道多模态背景建模方法，该方法属于非逐点式的实时建模方法，所构建的多通道多模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。
本专利方法不仅克服了传统逐点式实时建模方法存在严重计算冗余和存储冗余的固有缺陷，也克服了现有类似专利中存在视频信息利用不充分、单模态模型准确性不足、模型精度随时间退化，以及不适用于高速视频等不足，提供了一种适用于高清高速视频的背景建模方法。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。
在一种可能实现的方式中，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HS I颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
步骤S02:将所述色调H、所述饱和度S和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述饱和度S的值域从[0,1]线性映射为[1,360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值、饱和度S值、强度I值为隶属于[1,360]的自然数。
在一种可能实现的方式中，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。
在一种可能实现的方式中，构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S22-S23，计算所述A1区域在S通道上的实时更新的背景模型，且包含：在S通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值
Figure BDA0002307175360000041
以及在S通道上的n+g帧时刻所有像素点共享的背景模型学习率
Figure BDA0002307175360000042
步骤S25：根据所述步骤S22-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值
Figure BDA0002307175360000043
以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
Figure BDA0002307175360000044
步骤S26：根据所述步骤S22-S25，构建所述A1区域对应的HSI三通道多模态实时背景模型。
在一种可能实现的方式中，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数、均值、众数，将所述中位数、均值、众数的数据集合作为所述像素点A1(i,j)在第n帧时的多模态背景估计值
Figure BDA0002307175360000051
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
Figure BDA0002307175360000052
在一种可能实现的方式中，在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
步骤S231:读取所述高清高速视频中的新的n+1帧视频时，确定H通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(3)更新A1(i,j)的多模态背景估计值；
Figure BDA0002307175360000053
Figure BDA0002307175360000054
Figure BDA0002307175360000055
其中，
Figure BDA0002307175360000056
是A1(i,j)在n+1帧时的多模态背景估计值，
Figure BDA0002307175360000057
和
Figure BDA0002307175360000058
分别是A1(i,j)在n帧时的多模态背景估计值和背景模型学习率，
Figure BDA0002307175360000059
是A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(3)中分别为
Figure BDA00023071753600000510
θ2的取值在式(1)～(3)中均为
Figure BDA00023071753600000511
步骤S232:计算H通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率
Figure BDA00023071753600000512
实现所述A1区域在n+1帧时刻在H通道上对背景模型的更新；
步骤S233:读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S232，更新所述A1区域在n+g帧时刻在,H通道上的背景模型，其中，所述n+g帧时刻在H通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的多模态背景估计值为
Figure BDA0002307175360000061
及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率
Figure BDA0002307175360000062
在一种可能实现的方式中，采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型，其中，所述其余子区域为A2，A3，A4，A5，A6，A7，A8区域；
实时更新所述A2，A3，A4，A5，A6，A7，A8区域在H、S、I通道上的多模态实时背景模型，从而完成对整个所述视频场景的背景建模。
在一种可能实现的方式中，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
获取所述高清高速视频；
对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
本发明的有益效果是：实现了一种适用于高清高速视频背景建模方法，克服了传统逐点式实时建模方法运算效率低、实时性不足、存储资源消耗大等问题；
相比于现有类似专利的技术，本发明有以下几方面改进：
(1)构建的多通道多模态背景模型对复杂场景以及场景中复杂动态性的描述更准确；
(2)通过在线实时更新训练样本消除了现有类似专利方法中模型精度随时间退化的弊病；
(3)通过采用视频多分块并行计算的架构，显著提高了算法的整体运算效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中面向高清高速视频的多通道多模态背景建模方法的流程示意图；
图2为本发明实施例中将视频场景划分为8个子区域的示意图；
图3为本发明实施例中背景模型学习率获取方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，如图1所示，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型。
上述第一视频指的是原始视频，如：以一段分辨率为2160*1486、帧率为500帧/秒，具有RGB三个通道的彩色高清高速汽车碰撞测试实验视频；
上述第二视频指的是经过颜色空间转换处理后的视频，如：将第一视频从RGB颜色空间转换为HSI颜色空间后得到的视频；
上述预设数目个子区域，一般为8个子区域，且对应的子区域分别为：A1，A2，A3，A4，A5，A6，A7，A8八个矩形区域；
上述第一子区域指的是A1矩形区域，其余子区域指的是A2，A3，A4，A5，A6，A7，A8矩形区域。
上述技术方案的有益效果是：通过构建的多通道多模态背景模型可有效提升背景模型的准确性，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HS I颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
步骤S02:将所述色调H、所述饱和度S和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述饱和度S的值域从[0,1]线性映射为[1,360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值、饱和度S值、强度I值为隶属于[1,360]的自然数。
上述色调H对应的H通道，饱和度S对应的S通道，强度I对应的I通道。
上述技术方案的有益效果是：通过对视频进行颜色空间的转换，方便了将强度值和色调值进行值域量化，为后续建立背景模型提供基础。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，如图2所示，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。
上述技术方案的有益效果是：通过对第二视频的视频场景进行划分处理，便于获得多个矩形区域，且便于提高后续建立背景模型的效率。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S22-S23，计算所述A1区域在S通道上的实时更新的背景模型，且包含：在S通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值
Figure BDA0002307175360000101
以及在S通道上的n+g帧时刻所有像素点共享的背景模型学习率
Figure BDA0002307175360000102
步骤S25：根据所述步骤S22-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值
Figure BDA0002307175360000103
以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
Figure BDA0002307175360000104
步骤S26：根据所述步骤S22-S25，构建所述A1区域对应的HS I三通道多模态实时背景模型。
上述通过获取视频训练样本，是为了给背景建模提供数据基础；
上述初始化背景模型，可以是首次建立好的背景模型，通过对初始化背景模型进行实时更新，是为了提高背景模型的精度，降低精度退化问题。
上述技术方案的有益效果是：通过构建多通道多模态背景模型，可有效提升背景模型的准确性；通过采用在线实时更新训练样本解决了背景模型精度退化问题。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数、均值、众数，将所述中位数、均值、众数的数据集合作为所述像素点A1(i,j)在第n帧时的多模态背景估计值
Figure BDA0002307175360000111
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
Figure BDA0002307175360000112
在此实施例中，以统计A1(i,j)在1～100帧内的像素值序列的中位数和众数为基础，在H通道上对A1区域内的每一个像素点A1(i,j)，计算A1(i,j)在1～100帧内的像素值序列的中位数、均值和众数(出现频率最高的数值)，将三者的数据集合作为A1(i,j)在第100帧时的多模态背景估计值
Figure BDA0002307175360000113
作为优选，中位数的计算方法具体如下：
以像素点A1(1,1)为例，将第1帧到第100帧中A1(1,1)位置上依次出现的100个像素值保存在数组M1(1,1)[x](x为数组下标，x＝1,...,100)中；
然后对数组M1(1,1)[x]中的数值进行从大到小的排序(排序后M1(1,1)[1]的值最大，而M1(1,1)[100]的值最小)；
此时数组M1(1,1)[x]的中位数M1(1,1)[Median]的计算方法如下：M1(1,1)
Figure BDA0002307175360000121
M1(1,1)[Median]即为A1(1,1)在1～100帧内的像素值序列的中位数；
在H通道上对视频A1区域内所有像素点的像素值在1～100帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率进行计算，生成A1区域内所有像素点共享的第100帧时的背景模型学习率
Figure BDA0002307175360000122
作为优选，背景模型学习率
Figure BDA0002307175360000123
的计算可采用如下的迭代算法：
Figure BDA0002307175360000124
E(θ1→θ2)＝1；
Figure BDA0002307175360000125
Figure BDA0002307175360000126
Figure BDA0002307175360000127
其中，
Figure BDA0002307175360000128
和
Figure BDA0002307175360000129
分别代表A1区域内的任意像素点A1(i,j)在第k帧和第k+1帧中的像素值，并分别简记为θ1和θ2，由于H通道中像素值为隶属于[1,360]的自然数，故有：θ1∈[1，360]，θ2∈[1，360]；E(θ1→θ2)＝1表示检测到以下的事件1次：A1(i,j)的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶；∑E(θ1→θ2)是统计A1区域内所有像素点的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶的次数，将∑E(θ1→θ2)的值记录在方阵H的对应单元
Figure BDA00023071753600001213
中；方阵
Figure BDA00023071753600001210
是对视频训练样本的1～100帧内
Figure BDA00023071753600001211
值的累加，
Figure BDA00023071753600001212
中记录了视频训练样本内检测到的像素值从θ1灰阶跳变为θ2灰阶的总次数；将
Figure BDA0002307175360000131
的值归一化为[0,1]之间的概率值，即得到背景模型学习率
Figure BDA0002307175360000132
是大小为360×360的方阵；
综上，A1区域在H通道上的初始化背景模型由以下两部分复合构成：1)每个像素点独有的多模态背景估计值
Figure BDA0002307175360000133
2)所有像素点共享的背景模型学习率
Figure BDA0002307175360000134
上述对于中位数的判断，还包括：
判断n-k+1是否为奇数，若是，则选取像素值序列中的第
Figure BDA0002307175360000135
个像素值作为中位数；
若n-k+1为偶数，则计算像素值序列中的第
Figure BDA0002307175360000136
个像素值和第
Figure BDA0002307175360000137
个像素值的平均值，作为中位数。
上述技术方案的有益效果是：通过构建的多通道多模态背景模型对复杂场景以及场景中复杂动态性的描述更准确。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
步骤S231:读取所述高清高速视频中的新的n+1帧视频时，确定H通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(3)更新A1(i,j)的多模态背景估计值；
Figure BDA0002307175360000138
Figure BDA0002307175360000139
Figure BDA00023071753600001310
其中，
Figure BDA00023071753600001311
是A1(i,j)在n+1帧时的多模态背景估计值，
Figure BDA0002307175360000141
和
Figure BDA0002307175360000142
分别是A1(i,j)在n帧时的多模态背景估计值和背景模型学习率，
Figure BDA0002307175360000143
是A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(3)中分别为
Figure BDA0002307175360000144
θ2的取值在式(1)～(3)中均为
Figure BDA0002307175360000145
步骤S232:计算H通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率
Figure BDA0002307175360000146
实现所述A1区域在n+1帧时刻在H通道上对背景模型的更新；
步骤S233:读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S232，更新所述A1区域在n+g帧时刻在,H通道上的背景模型，其中，所述n+g帧时刻在H通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的多模态背景估计值为
Figure BDA0002307175360000147
及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率
Figure BDA0002307175360000148
在本实施例中，例如读取所述高清高速视频中的新的n+1帧视频为新读入的101帧时，在H通道上对视频A1区域内的每一个像素点A1(i,j)，根据下式(1)～(3)更新A1(i,j)的多模态背景估计值：
Figure BDA0002307175360000149
Figure BDA00023071753600001410
Figure BDA00023071753600001411
其中，
Figure BDA00023071753600001412
是A1(i,j)在101帧时的多模态背景估计值，
Figure BDA00023071753600001413
和
Figure BDA00023071753600001414
分别是A1(i,j)在100帧时的多模态背景估计值和背景模型学习率，
Figure BDA00023071753600001415
是A1(i,j)在101帧时的像素值，θ1在式(1)～(3)中取值分别为
Figure BDA0002307175360000151
θ2在式(1)～(3)中取值均为
Figure BDA0002307175360000152
如前所述，
Figure BDA0002307175360000153
是大小为360×360的方阵，由于θ1、θ2分别是该方阵的行坐标和列坐标，因此将θ1、θ2的具体值代入
Figure BDA0002307175360000154
即可获取方阵中第θ1行、第θ2列的单元位置上对应的背景模型学习率；根据图3的示例；
Figure BDA0002307175360000155
的值就是该方阵中第120行、第118列的单元位置上对应的背景模型学习率，即0.074。
在101帧时，采用与步骤S222相同的方法，在H通道上计算视频A1区域内所有像素点的像素值在2至101帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，生成更新的背景模型学习率
Figure BDA0002307175360000156
以此类推，在新读入100+g帧时，采用与上述步骤S221和S222中相同的方法，更新A1区域在100+g帧时刻在H通道上的背景模型，其包含：在100+g帧时刻在H通道上的每个像素点独有的多模态背景估计值
Figure BDA0002307175360000157
以及所有像素点共享的背景模型学习率
Figure BDA0002307175360000158
上述技术方案的有益效果是：通过读取高清高速视频中的新的n+1帧视频或新的n+g帧视频，便于实时对初始化背景模型进行有效的更新，避免其的精度降低。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，采用并行计算方法，分别构建所述第二视频中的其余子区域在H、I通道上的多模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在H、I通道上的多模态实时背景模型，其中，所述其余子区域为A2，A3，A4，A5，A6，A7，A8区域；
实时更新所述A2，A3，A4，A5，A6，A7，A8区域在H、I通道上的多模态实时背景模型，从而完成对整个所述视频场景的背景建模。
上述技术方案的有益效果是：便于完成对整个视频场景的背景建模。
本发明实施例提供一种面向高清高速视频的多通道多模态背景建模方法，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
步骤S211：获取所述高清高速视频；
步骤S212：对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
步骤S213：根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
步骤S214：根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
步骤S215：根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
上述高清高速视频，例如为：高清高速汽车碰撞测试实验视频；
上述预设视频格式转换处理，例如是将测试实验视频进行信号格式的转换，如：模拟信号转换为数字信号；
上述待截取视频为预设格式转换处理后的视频；
上述截取帧节点，例如为对应的n帧和k帧对应的截取帧的帧节点；
上述视频头节点为第k帧对应的节点，视频尾节点为第n帧对应的节点；
上述第一预设值和第二预设值得取值范围为：95％-100％；
上述头节点值，可以是，切割之后，视频头节点对应的视频帧占据预先存储的帧节点数据库中对应的该视频帧的比例，如图像面积的完整性比例等；
其，尾节点值与上述头节点值类似；
上述帧节点索引标志，是为了确定每个视频帧的专属标记，便于快速获取确认；
上述截取入点和截取出点，是，例如是截取第n帧视频的开始截取的时间点和结束截取的时间点；
上述对尾节点值小于或等于第二预设值，和/或头节点值小于或等于第一预设值对应的视频帧进行截取并删除，是为了便于替换，确保视频数据的完整性。
上述技术方案的有益效果是：便于确保获取的连续视频片段的可靠性和完整性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.面向高清高速视频的多通道多模态背景建模方法，其特征在于，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型；
所述采用并行计算方法，分别构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在H、S、I通道上的多模态实时背景模型，其中，所述其余子区域为A2，A3，A4，A5，A6，A7，A8区域；
实时更新所述A2，A3，A4，A5，A6，A7，A8区域在H、S、I通道上的多模态实时背景模型，从而完成对整个所述视频场景的背景建模；
构建所述第二视频的第一个子区域在H、S、I通道上的多模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在H通道上的初始化背景模型；
步骤S24：根据所述步骤S22-S23，计算所述A1区域在S通道上的实时更新的背景模型，且包含：在S通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值
Figure FDA0002786270000000021
以及在S通道上的n+g帧时刻所有像素点共享的背景模型学习率
Figure FDA0002786270000000022
步骤S25：根据所述步骤S22-S23，计算所述A1区域在I通道上的实时更新的背景模型，且包含：在I通道上的n+g帧时刻每个像素点A1(i,j)独有的多模态背景估计值
Figure FDA0002786270000000023
以及在I通道上的n+g帧时刻所有像素点共享的背景模型学习率
Figure FDA0002786270000000024
步骤S26：根据所述步骤S22-S25，构建所述A1区域对应的HSI三通道多模态实时背景模型；
根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数、均值、众数，将所述中位数、均值、众数的数据集合作为所述像素点A1(i,j)在第n帧时的多模态背景估计值
Figure FDA0002786270000000025
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
Figure FDA0002786270000000026
背景模型学习率
Figure FDA0002786270000000027
的通过如下的迭代算法计算，其步骤包括：
Figure FDA0002786270000000028
E(θ1→θ2)＝1；
Figure FDA0002786270000000029
Figure FDA00027862700000000210
Figure FDA0002786270000000031
其中，
Figure FDA0002786270000000032
和
Figure FDA0002786270000000033
分别代表A1区域内的任意像素点A1(i,j)在第k帧和第k+1帧中的像素值，并分别记为θ1和θ2，H通道中像素值为隶属于[1,360]的自然数，因此：θ1∈[1，360]，θ2∈[1，360]；E(θ1→θ2)＝1表示检测到以下的事件1次：A1(i,j)的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶；∑E(θ1→θ2)表示统计A1区域内所有像素点的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶的次数，将∑E(θ1→θ2)的值记录在方阵H的对应单元
Figure FDA0002786270000000034
中；方阵
Figure FDA0002786270000000035
是对视频训练样本的1～n帧内
Figure FDA0002786270000000036
值的累加，
Figure FDA0002786270000000037
中表示视频训练样本内检测到的像素值从θ1灰阶跳变为θ2灰阶的总次数；将
Figure FDA0002786270000000038
的值归一化为[0,1]之间的概率值，确定背景模型学习率
Figure FDA0002786270000000039
Figure FDA00027862700000000310
表示大小为360×360的方阵。
2.如权利要求1所述的方法，其特征在于，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01:将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
步骤S02:将所述色调H、所述饱和度S和强度I的值域均量化为360个等级，即将所述色调H的值域从[0°,360°]线性映射为[1，360]的自然数，将所述饱和度S的值域从[0,1]线性映射为[1,360]的自然数，将所述强度I的值域从[0,1]线性映射为[1,360]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述色调H值、饱和度S值、强度I值为隶属于[1,360]的自然数。
3.如权利要求1所述的方法，其特征在于，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11:对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12:将所述视频场景的上半部分区域，从左到右划分为四个大小相同的矩形区域，分别记为A1，A2，A3，A4；
步骤S13:将所述视频场景的下半部分区域，从右到左划分为四个大小相同的矩形区域，分别记为A5，A6，A7，A8；
步骤S14:获得划分处理后的八个矩形区域A1，A2，A3，A4，A5，A6，A7，A8。
4.如权利要求1所述的方法，其特征在于，根据所述视频训练样本，构建所述第二视频中的第一子区域在H通道上的初始化背景模型的过程中，还包括：
步骤S221:确定H通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值序列的中位数、均值、众数，将所述中位数、均值、众数的数据集合作为所述像素点A1(i,j)在第n帧时的多模态背景估计值
Figure FDA0002786270000000041
步骤S222:计算H通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率
Figure FDA0002786270000000042
5.如权利要求1所述的方法，其特征在于，在实时更新所述A1区域在H通道上的初始化背景模型过程中，还包括：
步骤S231:读取所述高清高速视频中的新的n+1帧视频时，确定H通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(3)更新A1(i,j)的多模态背景估计值；
Figure FDA0002786270000000051
Figure FDA0002786270000000052
Figure FDA0002786270000000053
其中，
Figure FDA0002786270000000054
是A1(i,j)在n+1帧时的多模态背景估计值，
Figure FDA0002786270000000055
和
Figure FDA0002786270000000056
分别是A1(i,j)在n帧时的多模态背景估计值和背景模型学习率，
Figure FDA0002786270000000057
是A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(3)中分别为
Figure FDA0002786270000000058
θ2的取值在式(1)～(3)中均为
Figure FDA0002786270000000059
步骤S232:计算H通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率
Figure FDA00027862700000000510
实现所述A1区域在n+1帧时刻在H通道上对背景模型的更新；
步骤S233:读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S232，更新所述A1区域在n+g帧时刻在,H通道上的背景模型，其中，所述n+g帧时刻在H通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的多模态背景估计值为
Figure FDA00027862700000000511
及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率
Figure FDA00027862700000000512
6.如权利要求1所述的方法，其特征在于，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
获取所述高清高速视频；
对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
CN201911244550.7A 2019-12-06 2019-12-06 面向高清高速视频的多通道多模态背景建模方法 Active CN110991361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911244550.7A CN110991361B (zh) 2019-12-06 2019-12-06 面向高清高速视频的多通道多模态背景建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911244550.7A CN110991361B (zh) 2019-12-06 2019-12-06 面向高清高速视频的多通道多模态背景建模方法

Publications (2)

Publication Number Publication Date
CN110991361A CN110991361A (zh) 2020-04-10
CN110991361B true CN110991361B (zh) 2021-01-15

Family

ID=70090951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911244550.7A Active CN110991361B (zh) 2019-12-06 2019-12-06 面向高清高速视频的多通道多模态背景建模方法

Country Status (1)

Country Link
CN (1) CN110991361B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653052B2 (en) 2020-10-26 2023-05-16 Genetec Inc. Systems and methods for producing a privacy-protected video clip

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468686A (zh) * 2015-11-17 2016-04-06 北京奇虎科技有限公司 减少冗余数据的方法及装置
CN105574896A (zh) * 2016-02-01 2016-05-11 衢州学院 一种面向高分辨率视频的高效背景建模方法
CN106682108A (zh) * 2016-12-06 2017-05-17 浙江大学 一种基于多模态卷积神经网络的视频检索方法
US20180077376A1 (en) * 2016-09-14 2018-03-15 Canon Kabushiki Kaisha Devices, systems, and methods for generating multi-modal images of a synthetic scene
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105468686A (zh) * 2015-11-17 2016-04-06 北京奇虎科技有限公司 减少冗余数据的方法及装置
CN105574896A (zh) * 2016-02-01 2016-05-11 衢州学院 一种面向高分辨率视频的高效背景建模方法
US20180077376A1 (en) * 2016-09-14 2018-03-15 Canon Kabushiki Kaisha Devices, systems, and methods for generating multi-modal images of a synthetic scene
CN106682108A (zh) * 2016-12-06 2017-05-17 浙江大学 一种基于多模态卷积神经网络的视频检索方法
CN109377703A (zh) * 2018-12-06 2019-02-22 河池学院 一种基于机器视觉的森林防火预警系统及其方法

Also Published As

Publication number Publication date
CN110991361A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN109472270B (zh) 图像风格转换方法、装置及设备
CN111476835B (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
WO2023279890A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN116630285A (zh) 基于显著性特征分级蒸馏的光伏电池类增量缺陷检测方法
CN110991361B (zh) 面向高清高速视频的多通道多模态背景建模方法
CN116778148A (zh) 目标检测方法、装置、电子设备及存储介质
CN111047654A (zh) 一种基于色彩信息的高清高速视频背景建模方法
CN113965814A (zh) 基于视频会议场景的多会场关键帧提取方法及系统
CN117854402A (zh) 显示屏的异常显示检测方法、装置、终端设备
CN113705404A (zh) 一种面向嵌入式硬件的人脸检测方法
CN110289861B (zh) 半精度压缩感知采样方法
CN111242053A (zh) 一种输电线路火焰检测方法及系统
CN111028245B (zh) 一种多模态复合的高清高速视频背景建模方法
CN116089944A (zh) 基于迁移学习的跨平台应用程序异常检测方法、系统
CN110942469B (zh) 面向高清高速视频的双通道双模态背景建模方法
CN111008995B (zh) 面向高清高速视频的单通道多模态背景建模方法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN114913350A (zh) 素材查重方法、装置、设备及存储介质
CN112232125A (zh) 关键点检测方法和关键点检测模型的训练方法
CN111583293B (zh) 一种面向多色双光子图像序列的自适应图像分割方法
CN111028262A (zh) 一种多通道复合的高清高速视频背景建模方法
CN114241183B (zh) 一种基于crnn网络模型的车辆vin码识别方法
US20230031349A1 (en) Lossless representation of high dynamic range (hdr) images for neural network inferencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant