CN111008995B - 面向高清高速视频的单通道多模态背景建模方法 - Google Patents

面向高清高速视频的单通道多模态背景建模方法 Download PDF

Info

Publication number
CN111008995B
CN111008995B CN201911246512.5A CN201911246512A CN111008995B CN 111008995 B CN111008995 B CN 111008995B CN 201911246512 A CN201911246512 A CN 201911246512A CN 111008995 B CN111008995 B CN 111008995B
Authority
CN
China
Prior art keywords
video
frame
channel
background model
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911246512.5A
Other languages
English (en)
Other versions
CN111008995A (zh
Inventor
童玉娟
周兆忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quzhou University
Original Assignee
Quzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quzhou University filed Critical Quzhou University
Priority to CN201911246512.5A priority Critical patent/CN111008995B/zh
Publication of CN111008995A publication Critical patent/CN111008995A/zh
Application granted granted Critical
Publication of CN111008995B publication Critical patent/CN111008995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种面向高清高速视频的单通道多模态背景建模方法，包括：对第一视频进行颜色空间转换处理，获得第二视频；对第二视频进行划分处理，获得预设数目个子区域；构建第二视频的第一个子区域在I通道上的多模态实时背景模型；采用并行计算方法，分别构建第二视频中的其余子区域在I通道上的多模态实时背景模型。通过构建多模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。

Description

面向高清高速视频的单通道多模态背景建模方法
技术领域
本发明涉及视频数据挖掘技术领域，特别涉及面向高清高速视频的单通道多模态背景建模方法。
背景技术
高清高速视频拍摄技术是科研领域和高精尖工业产品研发领域中，观察分析高速运动目标物体时空变化细节的一种常用技术手段。由于高清高速视频的时空信息量十分巨大，很难凭靠人工进行量化分析，因此必须依赖于自动化分析手段对此类视频数据进行挖掘。
视频背景建模是一种最常用的视频数据挖掘技术，该技术的实质是通过对已有视频数据的学习，实现对视频中每个像素点特定视觉特征动态变化范围的数学建模。视频背景建模技术通常被用于自动检测新输入视频帧中的显著性异常变化，即当新输入视频帧中某个像素点的特定视觉特征值明显不符合该像素点对应的数学模型时，该异常像素点将被计算机自动辨识出来并做进一步分析处理。因此，高清高速视频背景建模技术可被用于自动检测高速运动目标物体的多种异常时空微变化。
目前，最常用的视频背景建模技术是逐点式实时建模法，该类方法需要为视频中每一个像素点分别构建一套独立的数学模型，并逐帧对所有像素点的数学模型进行迭代更新。对于具有高帧率(每秒数百帧以上)、高分辨率(每帧数百万像素点)的高清高速视频而言，逐点式实时建模法不仅需要构建并存储数百万个独立的数学模型，并且需要在一秒钟内对数百万个数学模型进行数百次以上地迭代更新，这显然需要极高的计算性能和内存资源，普通计算机设备难以满足如此苛刻的性能要求。因此，在实际应用中传统的逐点式实时建模法往往不适用于面向高清高速视频的背景建模。
专利(ZL201610072455.3)提出了一种非逐点式的实时建模方法，该专利的核心方法是对视频中处于同一个灰度(或称亮度)等级上的所有像素点统一建模，以此替代对每一个像素点进行单独建模。由于视频中灰度等级的数量远远少于像素点的数量，因此所需构建的数学模型的数量也大幅度减少。该专利方法的优点是：提供了一种适用于高分辨率视频的高效背景建模方法，能够在不增加任何软硬件计算资源的条件下，高效地实现对固定场景的高分辨率视频的背景建模，显著降低建模运算量，提高计算效率，减小存储资源的消耗，克服了传统逐点式实时建模法不适用于高分辨率视频背景建模的问题。
然而，上述专利(ZL201610072455.3)也存在以下几方面的不足：1)所构建的单模态背景模型无法足够精确地描述具有复杂动态性的像素点；2)所用的训练样本不能实时更新，导致模型精度会随着时间的增长而下降；3)只适合处理正常帧率的高清视频，在处理高速的高清视频时计算效率仍然明显不足。综上所述，上述专利方法用于对包含复杂动态性场景的高清高速视频背景建模时，会存在准确性不足、精度衰减快，计算效率不足等突出问题。
发明内容
针对现有技术存在的缺陷，本发明提供一种面向高清高速视频的单通道多模态背景建模方法，该方法属于非逐点式的实时建模方法，所构建的多模态背景模型可有效提升背景模型的准确性，通过采用在线实时更新训练样本解决了背景模型精度退化问题，通过引入视频分区并行计算的方法，显著提高了背景建模的整体运算效率。
本专利方法不仅克服了传统逐点式实时建模方法存在严重计算冗余和存储冗余的固有缺陷，也克服了现有类似专利中存在单模态模型描述复杂动态性场景不够准确、模型精度随时间退化，以及不适用于高速视频等不足，提供了一种适用于高清高速视频的背景建模方法。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，包括：
对第一视频进行颜色空间转换处理，获得第二视频；
对所述第二视频进行划分处理，获得预设数目个子区域；
构建所述第二视频的第一个子区域在I通道上的多模态实时背景模型；
采用并行计算方法，分别构建所述第二视频中的其余子区域在I通道上的多模态实时背景模型。
在一种可能实现的方式中，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
将所述强度I的值域量化为256个等级，即将所述强度I的值域从[0,1]线性映射为[0,255]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述强度I值为隶属于[0,255]的自然数。
在一种可能实现的方式中，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
将所述视频场景的上半部分区域，从左到右划分为两个大小相同的矩形区域，分别记为A1，A2；
将所述视频场景的下半部分区域，从右到左划分为两个大小相同的矩形区域，分别记为A3，A4；
获得划分处理后的四个矩形区域A1，A2，A3，A4。
在一种可能实现的方式中，构建所述第二视频的第一个子区域在I通道上的多模态实时背景模型的步骤包括：
截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
根据所述视频训练样本，构建所述第二视频中的第一子区域在I通道上的初始化背景模型，其中，所述第一子区域为A1区域；
实时更新所述A1区域在I通道上的初始化背景模型，并得到实时背景模型。
在一种可能实现的方式中，根据所述视频训练样本，构建所述第二视频中的第一子区域在I通道上的初始化背景模型的过程中，还包括：
确定I通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值复现频率，同时构建复现频率最高、复现频率第二高和复现频率第三高的像素值对应的像素集合，并将所述像素集合作为A1(i,j)在第n帧时的多模态背景估计值
计算I通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率F(θ1,θ2)|n。
在一种可能实现的方式中，在实时更新所述A1区域在I通道上的初始化背景模型，并得到实时背景模型的过程中，还包括：
读取所述高清高速视频中的新的n+1帧视频时，确定I通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(3)更新A1(i,j)的多模态背景估计值；
其中，表示A1(i,j)在n+1帧时的多模态背景估计值，/>和F(θ1,θ2)|n分别表示A1(i,j)在n帧时的多模态背景估计值和背景模型学习率，I(i,j)|n+1表示A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(3)中分别为/>θ2的取值在式(1)～(3)中均为I(i,j)|n+1；
计算I通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率，实现所述A1区域在n+1帧时刻在I通道上对背景模型的更新；
且，读取所述高清高速视频中的新的n+g帧视频，并更新所述A1区域在n+g帧时刻在I通道上的背景模型，其中，所述n+g帧时刻在I通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的多模态背景估计值为及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率F(θ1,θ2)|n+g。
在一种可能实现的方式中，采用并行计算方法，分别构建所述第二视频中的其余子区域在I通道上的多模态实时背景模型的步骤包括：
截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在I通道上的初始化背景模型，其中，所述其余子区域为A2，A3，A4区域；
实时更新所述A2，A3，A4区域在I通道上的初始化背景模型，并得到实时背景模型。
在一种可能实现的方式中，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
获取所述高清高速视频；
对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
本发明的有益效果是：实现了一种适用于高清高速视频背景建模方法，克服了传统逐点式实时建模方法运算效率低、实时性不足、存储资源消耗大等问题；
相比于现有类似专利的技术，本发明有以下几方面改进：
(1)构建的多模态背景模型对场景中复杂动态性的描述更准确；
(2)通过在线实时更新训练样本消除了现有类似专利方法中模型精度随时间退化的弊病；
(3)通过采用视频多分块并行计算的架构，显著提高了算法的整体运算效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中面向高清高速视频的单通道多模态背景建模方法的流程示意图；
图2为本发明实施例中将视频场景划分为4个子区域的示意图；
图3为本发明实施例中背景模型学习率获取方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，如图1所示，包括：
步骤S0：对第一视频进行颜色空间转换处理，获得第二视频；
步骤S1：对所述第二视频进行划分处理，获得预设数目个子区域；
步骤S2：构建所述第二视频的第一个子区域在I通道上的多模态实时背景模型；
步骤S3：采用并行计算方法，分别构建所述第二视频中的其余子区域在I通道上的多模态实时背景模型。
上述第一视频指的是原始视频，如：以一段分辨率为2160*1486、帧率为500帧/秒，具有RGB三个通道的彩色高清高速汽车碰撞测试实验视频；
上述第二视频指的是经过颜色空间转换处理后的视频，如：将第一视频从RGB颜色空间转换为HSI颜色空间后得到的视频；
上述预设数目个子区域，一般为4个子区域，且对应的子区域分别为：A1，A2，A3，A4四个矩形区域；
上述第一子区域指的是A1矩形区域，其余子区域指的是A2，A3，A4矩形区域。
上述技术方案的有益效果是：所构建的多模态背景模型可有效提升背景模型的准确性，通过引入并行计算方法，显著提高了背景建模的整体运算效率。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
步骤S01：将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
H表示色调(Hue)，S表示饱和度(Saturation)，I表示强度(Intensity)，其中，强度I的取值范围为[0,1]，R表示通道颜色为红色(Red)，G表示通道颜色为绿色(Green)，B表示通道颜色为蓝色(Blue)；
步骤S02：将所述强度I的值域量化为256个等级，即将所述强度I的值域从[0,1]线性映射为[0,255]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述强度I值为隶属于[0,255]的自然数。
上述技术方案的有益效果是：通过对视频进行颜色空间的转换，方便了将强度值进行值域量化，为后续建立背景模型提供基础。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，如图2所示，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
步骤S11：对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
步骤S12：将所述视频场景的上半部分区域，从左到右划分为两个大小相同的矩形区域，分别记为A1，A2；
步骤S13：将所述视频场景的下半部分区域，从右到左划分为两个大小相同的矩形区域，分别记为A3，A4；
步骤S14：获得划分处理后的四个矩形区域A1，A2，A3，A4。
上述技术方案的有益效果是：通过对第二视频的视频场景进行划分处理，便于获得多个矩形区域，且便于提高后续建立背景模型的效率。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，构建所述第二视频的第一个子区域在I通道上的多模态实时背景模型的步骤包括：
步骤S21：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S22：根据所述视频训练样本，构建所述第二视频中的第一子区域在I通道上的初始化背景模型，其中，所述第一子区域为A1区域；
步骤S23：实时更新所述A1区域在I通道上的初始化背景模型，并得到实时背景模型。
上述通过获取视频训练样本，是为了给背景建模提供数据基础；
上述初始化背景模型，可以是首次建立好的背景模型，通过对初始化背景模型进行实时更新，是为了提高背景模型的精度，降低精度退化问题。
上述技术方案的有益效果是：通过构建多模态背景模型，可有效提升背景模型的准确性；通过采用在线实时更新训练样本解决了背景模型精度退化问题。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，根据所述视频训练样本，构建所述第二视频中的第一子区域在I通道上的初始化背景模型的过程中，还包括：
步骤S221：确定I通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值复现频率，同时构建复现频率最高、复现频率第二高和复现频率第三高的像素值对应的像素集合，并将所述像素集合作为A1(i,j)在第n帧时的多模态背景估计值
步骤S222：计算I通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率F(θ1,θ2)|n。
在此实施例中，以统计A1(i,j)在1～100帧内的像素值复现频率为基础，将复现频率最高、复现频率第二高和复现频率第三高的3个像素值的像素集合，作为A1(i,j)在第100帧时的多模态背景估计值
在I通道上对A1区域内所有像素点的像素值在1～100帧内从θ1灰阶跃迁为θ2灰阶的概率进行跃迁计算，生成A1区域内所有像素点共享的第100帧时的背景模型学习率F(θ1,θ2)|100；
且作为优选地，背景模型学习率F(θ1,θ2)|100的计算可采用如下的迭代算法：
θ1＝I(i,j)|k,θ2＝I(i,j)|k+1；
E(θ1→θ2)＝1；
H(θ1,θ2)|k+1＝∑E(θ1→θ2)；
其中，I(i,j)|k和I(i,j)|k+1分别代表A1区域内的任意像素点A1(i,j)在第k帧和第k+1帧中的像素值，并分别简记为θ1和θ2，由于I通道中像素值为隶属于[0,255]的自然数，故有：θ1∈[0，255]，θ2∈[0，255]；E(θ1→θ2)＝1表示检测到以下的事件1次：A1(i,j)的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶；∑E(θ1→θ2)是统计A1区域内所有像素点的像素值从k帧中的θ1灰阶跳变为k+1帧中的θ2灰阶的次数，将∑E(θ1→θ2)的值记录在方阵H的对应单元H(θ1,θ2)|k+1中；方阵Z(θ1,θ2)|100是对视频训练样本的1～100帧内H(θ1,θ2)|k+1值的累加，Z(θ1,θ2)|100中记录了视频训练样本内检测到的像素值从θ1灰阶跳变为θ2灰阶的总次数；将Z(θ1,θ2)|100的值归一化为[0,1]之间的概率值，即得到背景模型学习率F(θ1,θ2)|100，F(θ1,θ2)|100是大小为256×256的方阵；
综上，A1区域在I通道上的初始化背景模型由以下两部分复合构成：一是，每个像素点独有的多模态背景估计值而是所有像素点共享的背景模型学习率F(θ1,θ2)|100。
上述技术方案的有益效果是：通过构建多模态背景模型，可有效提升背景模型的准确性。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，在实时更新所述A1区域在I通道上的初始化背景模型，并得到实时背景模型的过程中，还包括：
步骤S231：读取所述高清高速视频中的新的n+1帧视频时，确定I通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(3)更新A1(i,j)的多模态背景估计值；
其中，表示A1(i,j)在n+1帧时的多模态背景估计值，/>和F(θ1,θ2)|n分别表示A1(i,j)在n帧时的多模态背景估计值和背景模型学习率，I(i,j)|n+1表示A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(3)中分别为/>θ2的取值在式(1)～(3)中均为I(i,j)|n+1；
步骤S232：计算I通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率，实现所述A1区域在n+1帧时刻在I通道上对背景模型的更新；
步骤S232：读取所述高清高速视频中的新的n+g帧视频，根据所述步骤S231和步骤S232，更新所述A1区域在n+g帧时刻在I通道上的背景模型，其中，所述n+g帧时刻在I通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的多模态背景估计值为及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率F(θ1,θ2)|n+g。
在本实施例中，例如读取所述高清高速视频中的新的n+1帧视频为新读入的101帧时，在I通道上对A1区域内的每一个像素点A1(i,j)，根据如下公式更新A1(i,j)的多模态背景估计值：
其中，是A1(i,j)在101帧时的多模态背景估计值，/>和F(θ1,θ2)|100分别是A1(i,j)在100帧时的多模态背景估计值和背景模型学习率，I(i,j)|101则是A1(i,j)在101帧时的像素值，θ1的取值在式(1)～(3)中分别为/>θ2的取值在式(1)～(3)中均为I(i,j)|101；
如前所述，F(θ1,θ2)|100是大小为256×256的方阵，由于θ1、θ2分别是该方阵的行坐标和列坐标，因此将θ1、θ2的具体值代入F(θ1,θ2)|100即可获取方阵中第θ1行、第θ2列的单元位置上对应的背景模型学习率；
如图3所示的示例，F(120,118)|100的值就是该方阵中第120行、第118列的单元位置上对应的背景模型学习率，即0.074。
且在101帧时，采用与步骤S222相同的方法，在I通道上计算A1区域内所有像素点的像素值在2至101帧内从θ1灰阶跃迁为θ2灰阶的跃迁概率，生成更新的背景模型学习率F(θ1,θ2)|101；
以此类推，如步骤S232，在新读入100+g帧时，采用与上述步骤S231和S232相同的方法，更新A1区域在100+g帧时刻在I通道上的背景模型，其包含：每个像素点独有的多模态背景估计值以及所有像素点共享的背景模型学习率F(θ1,θ2)|100+g。
上述技术方案的有益效果是：通过读取高清高速视频中的新的n+1帧视频或新的n+g帧视频，便于实时对初始化背景模型进行有效的更新，避免其的精度降低。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，采用并行计算方法，分别构建所述第二视频中的其余子区域在I通道上的多模态实时背景模型的步骤包括：
步骤S31：截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
步骤S32：根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在I通道上的初始化背景模型，其中，所述其余子区域为A2，A3，A4区域；
步骤S33：实时更新所述A2，A3，A4区域在I通道上的初始化背景模型，并得到实时背景模型。
上述通过采用步骤S2中所包括的所有步骤完成对A2，A3，A4区域的背景建模和更新。
上述技术方案的有益效果是：便于完成对整个视频场景的背景建模。
本发明实施例提供一种面向高清高速视频的单通道多模态背景建模方法，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
步骤S211：获取所述高清高速视频；
步骤S212：对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
步骤S213：根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
步骤S214：根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
步骤S215：根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
上述高清高速视频，例如为：高清高速汽车碰撞测试实验视频；
上述预设视频格式转换处理，例如是将测试实验视频进行信号格式的转换，如：模拟信号转换为数字信号；
上述待截取视频为预设格式转换处理后的视频；
上述截取帧节点，例如为对应的n帧和k帧对应的截取帧的帧节点；
上述视频头节点为第k帧对应的节点，视频尾节点为第n帧对应的节点；
上述第一预设值和第二预设值得取值范围为：95％-100％；
上述头节点值，可以是，切割之后，视频头节点对应的视频帧占据预先存储的帧节点数据库中对应的该视频帧的比例，如图像面积的完整性比例等；
其，尾节点值与上述头节点值类似；
上述帧节点索引标志，是为了确定每个视频帧的专属标记，便于快速获取确认；
上述截取入点和截取出点，是，例如是截取第n帧视频的开始截取的时间点和结束截取的时间点；
上述对尾节点值小于或等于第二预设值，和/或头节点值小于或等于第一预设值对应的视频帧进行截取并删除，是为了便于替换，确保视频数据的完整性。
上述技术方案的有益效果是：便于确保获取的连续视频片段的可靠性和完整性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.面向高清高速视频的单通道多模态背景建模方法，其特征在于，包括：
对第一视频进行颜色空间转换处理，获得第二视频；
对所述第二视频进行划分处理，获得预设数目个子区域；
构建所述第二视频的第一个子区域在I通道上的多模态实时背景模型；
采用并行计算方法，分别构建所述第二视频中的其余子区域在I通道上的多模态实时背景模型；
其中，分别构建所述第二视频中的其余子区域在I通道上的多模态实时背景模型的步骤包括：
截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
根据所述视频训练样本，并根据所述并行计算方法，同步构建所述第二视频中的其余子区域在I通道上的初始化背景模型，其中，所述其余子区域为A2，A3，A4区域；
实时更新所述A2，A3，A4区域在I通道上的初始化背景模型，并得到实时背景模型；
其中，对所述第二视频进行划分处理，获得预设数目个子区域的步骤包括：
对所述第二视频的视频场景进行划分处理，并划分为上下对称的两个区域；
将所述视频场景的上半部分区域，从左到右划分为两个大小相同的矩形区域，分别记为A1，A2；
将所述视频场景的下半部分区域，从右到左划分为两个大小相同的矩形区域，分别记为A3，A4；
获得划分处理后的四个矩形区域A1，A2，A3，A4；
其中，构建所述第二视频的第一个子区域在I通道上的多模态实时背景模型的步骤包括：
截取所述高清高速视频中的第k帧到第n帧的连续视频片段，并将所述连续视频片段作为背景建模的视频训练样本，其中，n-k≥50；
根据所述视频训练样本，构建所述第二视频中的第一子区域在I通道上的初始化背景模型，其中，所述第一子区域为A1区域；
实时更新所述A1区域在I通道上的初始化背景模型，并得到实时背景模型；
其中，根据所述视频训练样本，构建所述第二视频中的第一子区域在I通道上的初始化背景模型的过程中，还包括：
确定I通道上所述A1区域内的每一个像素点A1(i,j)，并统计A1(i,j)在k～n帧内的像素值复现频率，同时构建复现频率最高、复现频率第二高和复现频率第三高的像素值对应的像素集合，并将所述像素集合作为A1(i,j)在第n帧时的多模态背景估计值
计算I通道上所述A1区域内所有像素点的像素值在k～n帧内从θ1灰阶跃迁为θ2灰阶的第一跃迁概率，并根据所述第一跃迁概率生成所述A1区域内所有像素点共享第n帧时的背景模型学习率F(θ1,θ2)|n。
2.如权利要求1所述的方法，其特征在于，所述对第一视频进行颜色空间转换处理，获得第二视频的步骤包括：
将所述第一视频从RGB颜色空间转换为HSI颜色空间；
其中，R表示通道颜色为红色，G表示通道颜色为绿色，B表示通道颜色为蓝色，H表示色调，S表示饱和度，I表示强度；
将所述强度I的值域量化为256个等级，即将所述强度I的值域从[0,1]线性映射为[0,255]的自然数，获得所述第二视频，其中，所述第二视频中任意像素点的所述强度I值为隶属于[0,255]的自然数。
3.如权利要求1所述的方法，其特征在于，在实时更新所述A1区域在I通道上的初始化背景模型，并得到实时背景模型的过程中，还包括：
读取所述高清高速视频中的新的n+1帧视频时，确定I通道上所述A1区域内的每一个像素点A1(i,j)，并根据下式(1)～(3)更新A1(i,j)的多模态背景估计值；
其中，表示A1(i,j)在n+1帧时的多模态背景估计值，/>和F(θ1,θ2)|n分别表示A1(i,j)在n帧时的多模态背景估计值和背景模型学习率，I(i,j)|n+1表示A1(i,j)在n+1帧时的像素值，θ1的取值在式(1)～(3)中分别为/>θ2的取值在式(1)～(3)中均为I(i,j)|n+1；
计算I通道上所述A1区域内所有像素点的像素值在k+1至n+1帧内从θ1灰阶跃迁为θ2灰阶的第二跃迁概率，并根据所述第二跃迁概率生成所述A1区域内所有像素点共享第n+1帧时的背景模型学习率，实现所述A1区域在n+1帧时刻在I通道上对背景模型的更新；
且，读取所述高清高速视频中的新的n+g帧视频，并更新所述A1区域在n+g帧时刻在I通道上的背景模型，其中，所述n+g帧时刻在I通道上的背景模型包括：在n+g帧时刻所述A1区域中的每个像素点的多模态背景估计值为及在n+g帧时刻所述A1区域中的所有像素点共享的背景模型学习率F(θ1,θ2)|n+g。
4.如权利要求1所述的方法，其特征在于，截取所述高清高速视频中的第k帧到第n帧的连续视频片段的步骤包括：
获取所述高清高速视频；
对所获取的高清高速视频进行预设视频格式转换处理，得到待截取视频；
根据预先设定好的截取帧节点，对所述待截取视频进行截取处理；
根据预先存储的帧节点数据库，判断所截取处理后的视频片段中的视频头节点和视频尾节点对应的视频帧是否截取完整；
若所述视频头节点的头节点值大于第一预设值，则判定所述视频头节点对应的视频帧节截取完整，且若所述视频尾节点的尾节点值大于第二预设值，则判定所述视频尾节点对应的视频帧节截取完整，此时，判定截取处理后的视频片段为第k帧到第n帧的连续视频片段；
否则，建立所述高清高速视频的帧节点索引标志，并设置每个所述视频帧的截取入点和截取出点，同时确定所述视频尾节点和视频头节点分别对应的截取入点和截取出点；
根据所确定的截取入点和截取出点，将所述尾节点值小于或等于第二预设值，和/或所述头节点值小于或等于第一预设值对应的视频帧进行截取并删除；
同时根据所述预先存储的帧节点数据库，对截取并删除的所述视频帧进行替换处理，来获得第k帧到第n帧的连续视频片段。
CN201911246512.5A 2019-12-06 2019-12-06 面向高清高速视频的单通道多模态背景建模方法 Active CN111008995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911246512.5A CN111008995B (zh) 2019-12-06 2019-12-06 面向高清高速视频的单通道多模态背景建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911246512.5A CN111008995B (zh) 2019-12-06 2019-12-06 面向高清高速视频的单通道多模态背景建模方法

Publications (2)

Publication Number Publication Date
CN111008995A CN111008995A (zh) 2020-04-14
CN111008995B true CN111008995B (zh) 2023-07-18

Family

ID=70114146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911246512.5A Active CN111008995B (zh) 2019-12-06 2019-12-06 面向高清高速视频的单通道多模态背景建模方法

Country Status (1)

Country Link
CN (1) CN111008995B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111361A (zh) * 2019-04-22 2019-08-09 湖北工业大学 一种基于多阈值自优化背景建模的运动目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106610969A (zh) * 2015-10-21 2017-05-03 上海文广互动电视有限公司 基于多模态信息的视频内容审查系统及方法
CN105574896B (zh) * 2016-02-01 2018-03-27 衢州学院 一种面向高分辨率视频的高效背景建模方法
US10277859B2 (en) * 2016-09-14 2019-04-30 Canon Kabushiki Kaisha Devices, systems, and methods for generating multi-modal images of a synthetic scene
CN106682108B (zh) * 2016-12-06 2022-07-12 浙江大学 一种基于多模态卷积神经网络的视频检索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111361A (zh) * 2019-04-22 2019-08-09 湖北工业大学 一种基于多阈值自优化背景建模的运动目标检测方法

Also Published As

Publication number Publication date
CN111008995A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111652225B (zh) 基于深度学习的非侵入式摄像读取方法及系统
WO2023279890A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN110533117B (zh) 图像比对方法、装置、设备和存储介质
CN113160222A (zh) 一种针对工业信息图像的生产数据识别方法
CN110298829A (zh) 一种舌诊方法、装置、系统、计算机设备和存储介质
CN111382647A (zh) 一种图片处理方法、装置、设备及存储介质
CN114648515A (zh) 印刷缺陷检测模型及印刷缺陷检测方法
WO2020087434A1 (zh) 一种人脸图像清晰度评价方法及装置
CN110991361B (zh) 面向高清高速视频的多通道多模态背景建模方法
CN111008995B (zh) 面向高清高速视频的单通道多模态背景建模方法
CN111047654A (zh) 一种基于色彩信息的高清高速视频背景建模方法
CN111753714B (zh) 基于字符分割的多方向自然场景文本检测方法
CN110942469B (zh) 面向高清高速视频的双通道双模态背景建模方法
CN115641335B (zh) 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN111028245B (zh) 一种多模态复合的高清高速视频背景建模方法
CN112712181A (zh) 模型构建优化方法、装置、设备和可读存储介质
CN112434730A (zh) 一种基于GoogleNet的视频图像质量异常分类方法
CN113283429B (zh) 基于深度卷积神经网络的液位式表计读数方法
US20220207724A1 (en) Method of determining a distribution of stem cells in a cell image, electronic device, and storage medium
CN111583293B (zh) 一种面向多色双光子图像序列的自适应图像分割方法
CN109840544B (zh) 一种高光谱图像多端元光谱混合分析方法及装置
CN111583292B (zh) 一种面向双光子钙成像视频数据的自适应图像分割方法
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质
CN111028262A (zh) 一种多通道复合的高清高速视频背景建模方法
WO2019024094A1 (zh) Mura检测方法和Mura检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant