CN110826445B - 一种无色彩场景视频中对特定目标区域的侦测方法和装置 - Google Patents

一种无色彩场景视频中对特定目标区域的侦测方法和装置 Download PDF

Info

Publication number
CN110826445B
CN110826445B CN201911032783.0A CN201911032783A CN110826445B CN 110826445 B CN110826445 B CN 110826445B CN 201911032783 A CN201911032783 A CN 201911032783A CN 110826445 B CN110826445 B CN 110826445B
Authority
CN
China
Prior art keywords
video
type
value
image frame
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911032783.0A
Other languages
English (en)
Other versions
CN110826445A (zh
Inventor
张睿
肖俊建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quzhou University
Original Assignee
Quzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quzhou University filed Critical Quzhou University
Priority to CN201911032783.0A priority Critical patent/CN110826445B/zh
Publication of CN110826445A publication Critical patent/CN110826445A/zh
Application granted granted Critical
Publication of CN110826445B publication Critical patent/CN110826445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种无色彩场景视频中对特定目标区域的侦测方法和装置，该方法和装置综合利用无色彩视频中的亮度、纹理、轮廓和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在无色彩视频中对特定目标区域检测时运算效率低、实时性差，甚至会失效性的问题。

Description

一种无色彩场景视频中对特定目标区域的侦测方法和装置
技术领域
本发明涉及视频处理的技术领域，特别涉及一种无色彩场景视频中对特定目标区域的侦测方法和装置。
背景技术
随着视觉移动机器人、无人驾驶、无人机等技术的蓬勃发展，基于视觉的场景分析技术的重要性日益凸显。特定目标区域的检测和辨识是基于视觉的场景分析中的一项关键技术，因为对特定目标区域 (如常见障碍物)检测和辨识结果的好坏，将直接影响移动机器人、无人驾驶、无人机等设备的运行模式与运行安全性。
由于无人驾驶、无人机等设备通常运行在较高的速度下，因此对运行中产生的实时视频数据的分析与处理效率要求较高。现有的面向自然场景视频的特定目标区域检测方法存在以下一些缺陷：第一、现有方法不适用于无色彩视频的分析，由于通过黑白单通道相机或者红外相机产生的视频都只有亮度信息而无色彩信息，这使得视频中根本没有颜色特征被提取利用，从而导致上述技术不适用于这类视频；第二、现有方法对视频特征的提取和处理完全是基于如深度学习等高运算复杂度的机器学习方法，计算耗时较长，其实时性不够好；第三、大多数基于机器学习的方法依赖于有较大样本数量的有监督学习训练过程，训练过程非常耗时，无法进行实时的在线训练；第四、现有的某些方法没有充分利用视频中的场景动态信息。
发明内容
针对现有技术存在的缺陷，本发明提供一种无色彩场景视频中对特定目标区域的侦测方法和装置，该方法和装置综合利用无色彩视频中的亮度、纹理、轮廓和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在无色彩视频中对特定目标区域检测时运算效率低、实时性差，甚至会失效性的问题。
本发明提供一种无色彩场景视频中对特定目标区域的侦测方法，其特征在于，包括如下步骤：
步骤S1，构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器；
步骤S2，将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
步骤S3，将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
步骤S4，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域；
进一步，在所述步骤S1中，构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器具体包括，
步骤S101，构建关于所述无色彩视频中的亮度信息通道，具体为，
根据下面式(1)，对所述无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度类型值，并根据所述亮度类型值构建所述亮度信息通道
Figure BDA0002250616110000031
在上述式(1)中，I(i,j)|t为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度类型值，I(i，j)为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
步骤S102，构建关于所述无色彩视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j) 处的像素点的复合纹理特征值W(i，j)
Figure BDA0002250616110000032
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure BDA0002250616110000041
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i， j)处的像素点的综合纹理类型值；
步骤S103，构建关于所述无色彩视频中的轮廓信息通道，具体为，
S103A，通过Hough变换算法计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，所述第一轮廓特征值shough(i,j)|t满足下面式(4)
Figure BDA0002250616110000042
S103B，通过Canny算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，所述第二轮廓特征值scanny(i，j)︱t 满足下面式(5)
Figure BDA0002250616110000043
S103C，通过Isotropic Sobel算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，所述第三轮廓特征值ssobel(i,j)|t满足下面式(6)
Figure BDA0002250616110000051
S103D，根据下面式(7)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到所述轮廓类型值S(i,j)|t，
Figure BDA0002250616110000052
步骤S104，构建关于所述无色彩视频中的动态性信息通道，具体为，
S104A，构建关于所述无色彩视频的某一图像帧中每一个像素点的混合高斯背景模型GMM；
S104B，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S104C，根据下面式(8)，获取每一个像素点的近期动态特征值
Figure BDA0002250616110000053
在上述式(8)中，
Figure BDA0002250616110000054
为所述无色彩视频从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足 100≤t-k≤20000；
S104D，根据下面式(9)，对所述近期动态特征值D(i，j)进行量化处理，以得到所述动态性类型值D(i,j)|t
Figure BDA0002250616110000061
步骤S104，将所述亮度类型值、所述纹理类型值、所述轮廓类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器；
进一步，在所述步骤S2中，将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量具体包括，
步骤S201，选取一有且仅有一个典型的特定目标区域的视频样本；
步骤S202，将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量；
进一步，在所述步骤S3中，将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量具体包括，
步骤S301，将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述无色彩视频的某一图像帧中每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值；
步骤S302，将每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量；
进一步，在所述步骤S4中，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域具体包括，
步骤S401，根据下式(10)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure BDA0002250616110000071
在上述式(10)中，I(i,j)|t、W(i,j)|t、S(i,j)|t、D(i,j)|t分别为所述无色彩视频的某一图像帧中场景区域的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，I(i,j)′、、W(i,j)′、S(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，所述匹配度M的取值范围是 [0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
步骤S402，将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
本发明还提供一种无色彩场景视频中对特定目标区域的侦测装置，其特征在于，所述装置包括：
视频场景区域类型描述器构建模块，其用于构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器；
类型向量获取模块，其用于将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
场景区域分割模块，其用于将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
匹配度计算模块，其用于获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度；
匹配确定模块，其用于根据所述匹配度与预设匹配度阈值之间的关系，确定所述某一图像帧当前的场景区域是否为所述特定目标区域；
进一步，所述视频场景区域类型描述器构建模块包括亮度信息通道构建子模块、纹理信息通道构建子模块、轮廓信息通道构建子模块、动态性信息通道构建子模块和串联构建子模块；其中，
所述亮度信息通道构建子模块用于构建关于所述无色彩视频中的亮度信息通道，具体为根据下面式(1)，对所述无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度类型值，并根据所述亮度类型值构建所述亮度信息通道
Figure BDA0002250616110000081
在上述式(1)中，I(i,j)|t为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度类型值，I(i，j)为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
所述纹理信息通道构建子模块用于构建关于所述无色彩视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j) 处的像素点的复合纹理特征值W(i，j)
Figure BDA0002250616110000091
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure BDA0002250616110000092
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i， j)处的像素点的综合纹理类型值；
所述轮廓信息通道构建子模块用于构建关于所述无色彩视频中的轮廓信息通道，具体为，
S103A，通过Hough变换算法计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，所述第一轮廓特征值shough(i,j)|t满足下面式(4)
Figure BDA0002250616110000093
S103B，通过Canny算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，所述第二轮廓特征值scanny(i，j)︱t 满足下面式(5)
Figure BDA0002250616110000101
S103C，通过Isotropic Sobel算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，所述第三轮廓特征值ssobel(i,j)|t满足下面式(6)
Figure BDA0002250616110000102
S103D，根据下面式(7)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到所述轮廓类型值S(i,j)|t，
Figure BDA0002250616110000103
所述动态性信息通道构建子模块用于构建关于所述无色彩视频中的动态性信息通道，具体为，
S104A，构建关于所述无色彩视频的某一图像帧中每一个像素点的混合高斯背景模型GMM；
S104B，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S104C，根据下面式(8)，获取每一个像素点的近期动态特征值
Figure BDA0002250616110000111
在上述式(8)中，
Figure BDA0002250616110000112
为所述无色彩视频从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足 100≤t-k≤20000；
S104D，根据下面式(9)，对所述近期动态特征值D(i，j)进行量化处理，以得到所述动态性类型值D(i,j)|t
Figure BDA0002250616110000113
所述串联构建子模块用于将所述亮度类型值、所述纹理类型值、所述轮廓类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器；
进一步，所述类型向量获取模块包括视频样本选取子模块和类型向量计算子模块；其中，
所述视频样本选取子模块用于选取一有且仅有一个典型的特定目标区域的视频样本；
所述类型向量计算子模块用于将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量；
进一步，所述场景区域分割模块包括实时类型值计算子模块和分割处理子模块；其中，
所述实时类型值计算子模块用于将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述无色彩视频的某一图像帧中每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值；
所述分割处理子模块用于将每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量；
进一步，所述匹配度计算模块获取所述匹配度具体为，
根据下式(10)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure BDA0002250616110000121
在上述式(10)中，I(i,j)|t、W(i,j)|t、S(i,j)|t、D(i,j)|t分别为所述无色彩视频的某一图像帧中场景区域的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，I(i,j)′、、W(i,j)′、S(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，所述匹配度M的取值范围是 [0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
所述匹配确定模块确定所述某一图像帧当前的场景区域是否为所述特定目标区域具体为，
将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于 85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
相比于现有技术，该无色彩场景视频中对特定目标区域的侦测方法和装置综合利用无色彩视频中的亮度、纹理、轮廓和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在无色彩视频中对特定目标区域检测时运算效率低、实时性差，甚至会失效性的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种无色彩场景视频中对特定目标区域的侦测方法的流程示意图。
图2为本发明提供的一种无色彩场景视频中对特定目标区域的侦测方法中原始LBP算子的示意图。
图3为本发明提供的一种无色彩场景视频中对特定目标区域的侦测方法中圆形LBP算子的示意图。
图4为本发明提供的一种无色彩场景视频中对特定目标区域的侦测方法中场景视频的示意图。
图5为本发明提供的一种无色彩场景视频中对特定目标区域的侦测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种无色彩场景视频中对特定目标区域的侦测方法的流程示意图。该无色彩场景视频中对特定目标区域的侦测方法包括如下步骤：
步骤S1，构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器；
步骤S2，将包含特定目标区域的视频样本输入至该视频场景区域类型描述器，以输出获得关于该特定目标区域的类型向量；
步骤S3，将该无色彩视频的某一图像帧输入至该视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
步骤S4，获取该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度，若该匹配度大于或者等于预设匹配度阈值，则确定该某一图像帧当前的场景区域为该特定目标区域。
优选地，在该步骤S1中，构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器具体包括，
步骤S101，构建关于该无色彩视频中的亮度信息通道，具体为，
根据下面式(1)，对该无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度类型值，并根据该亮度类型值构建该亮度信息通道
Figure BDA0002250616110000151
在上述式(1)中，I(i,j)|t为该无色彩视频的某一图像帧在坐标 (i，j)处的像素点的亮度类型值，I(i，j)为该无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
步骤S102，构建关于该无色彩视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得该无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t，如图2所示，其为原始LBP算子的示意图，具体采用原始LBP算子计算LBP纹理值 W1(i,j)|t的过程可参照现有技术中的相关内容，这里不再累述；
S102B，通过圆形LBP算子，计算获得该无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t，如图3所示，其为圆形LBP算子的示意图，具体采用圆形LBP算子计算LBP纹理值 W1(i,j)|t的过程可参照现有技术中的相关内容，这里不再累述；
S102C，根据下面式(2)，获取该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure BDA0002250616110000161
S102D，根据下面式(3)，对该复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure BDA0002250616110000162
在上述式(3)中，W(i，j)为该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为该某一图像帧在坐标(i，j) 处的像素点的综合纹理类型值；
步骤S103，构建关于该无色彩视频中的轮廓信息通道，具体为，
S103A，通过Hough变换算法计算该无色彩视频的某一图像帧的图像轮廓，以得到该某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，该第一轮廓特征值shough(i,j)|t满足下面式(4)
Figure BDA0002250616110000163
S103B，通过Canny算子计算该无色彩视频的某一图像帧的图像轮廓，以得到该某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，该第二轮廓特征值scanny(i，j)︱t满足下面式(5)
Figure BDA0002250616110000171
S103C，通过Isotropic Sobel算子计算该无色彩视频的某一图像帧的图像轮廓，以得到该某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，该第三轮廓特征值ssobel(i,j)|t满足下面式(6)
Figure BDA0002250616110000172
S103D，根据下面式(7)，对该第一轮廓特征值shough(i,j)|t、该第二轮廓特征值scanny(i，j)︱t和该第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到该轮廓类型值S(i,j)|t，
Figure BDA0002250616110000173
步骤S104，构建关于该无色彩视频中的动态性信息通道，具体为，
S104A，构建关于该无色彩视频的某一图像帧中每一个像素点的混合高斯背景模型GMM；
S104B，统计每一个像素点对应的显著性强度值变化的次数，其中，该显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S104C，根据下面式(8)，获取每一个像素点的近期动态特征值
Figure BDA0002250616110000174
在上述式(8)中，
Figure BDA0002250616110000175
为该无色彩视频从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足 100≤t-k≤20000；
S104D，根据下面式(9)，对该近期动态特征值D(i，j)进行量化处理，以得到该动态性类型值D(i,j)|t
Figure BDA0002250616110000181
步骤S104，将该亮度类型值、该纹理类型值、该轮廓类型值和该动态性类型值进行串联，以构建得到该视频场景区域类型描述器。
优选地，在该步骤S2中，将包含特定目标区域的视频样本输入至该视频场景区域类型描述器，以输出获得关于该特定目标区域的类型向量具体包括，
步骤S201，选取一有且仅有一个典型的特定目标区域的视频样本；
步骤S202，将该视频样本以逐帧图像的方式输入该视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将该平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量。
优选地，在该步骤S3中，将该无色彩视频的某一图像帧输入至该视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量具体包括，
步骤S301，将该无色彩视频的某一图像帧输入至该视频场景区域类型描述器后，该视频场景区域类型描述器基于并行计算模式，同步地计算得到该无色彩视频的某一图像帧中每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值；
步骤S302，将每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
优选地，在该步骤S4中，获取该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度，若该匹配度大于或者等于预设匹配度阈值，则确定该某一图像帧当前的场景区域为该特定目标区域具体包括，
步骤S401，根据下式(10)，计算该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度M
Figure BDA0002250616110000191
在上述式(10)中，I(i,j)|t、W(i,j)|t、S(i,j)|t、D(i,j)|t分别为该无色彩视频的某一图像帧中场景区域的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，I(i,j)′、、W(i,j)′、S(i,j)′、D(i,j)′分别为该视频样本中特定目标区域的类型向量对应的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，该匹配度M的取值范围是[0％，100％]，当该匹配度M＝100％时，表示该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间完全匹配；
步骤S402，将该预设匹配度阈值设为85％，若该匹配度M大于或者等于85％，则确定该某一图像帧当前的场景区域为该特定目标区。
具体如图4所示的场景视频，该场景视频的分辨率为1280*720，帧率为30帧/秒，时长为20分钟的红外视频，其时间跨度长，场景内容复杂，场景纹理和轮扣信息丰富多样，但是缺少色彩信息，该无色彩场景视频中对特定目标区域的侦测方法方法能够显著地提高其整体运算效率，从而提高对视频复杂场景区域分割的有效性、正确性和运算效率。
参阅图5，为本发明实施例提供的一种无色彩场景视频中对特定目标区域的侦测装置的结构示意图。该无色彩场景视频中对特定目标区域的侦测装置包括：
视频场景区域类型描述器构建模块，其用于构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器；
类型向量获取模块，其用于将包含特定目标区域的视频样本输入至该视频场景区域类型描述器，以输出获得关于该特定目标区域的类型向量；
场景区域分割模块，其用于将该无色彩视频的某一图像帧输入至该视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
匹配度计算模块，其用于获取该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度；
匹配确定模块，其用于根据该匹配度与预设匹配度阈值之间的关系，确定该某一图像帧当前的场景区域是否为该特定目标区域。
优选地，该视频场景区域类型描述器构建模块包括亮度信息通道构建子模块、纹理信息通道构建子模块、轮廓信息通道构建子模块、动态性信息通道构建子模块和串联构建子模块；其中，
该亮度信息通道构建子模块用于构建关于该无色彩视频中的亮度信息通道，具体为根据下面式(1)，对该无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度类型值，并根据该亮度类型值构建该亮度信息通道
Figure BDA0002250616110000211
在上述式(1)中，I(i,j)|t为该无色彩视频的某一图像帧在坐标 (i，j)处的像素点的亮度类型值，I(i，j)为该无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
该纹理信息通道构建子模块用于构建关于该无色彩视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得该无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得该无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure BDA0002250616110000212
S102D，根据下面式(3)，对该复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure BDA0002250616110000221
在上述式(3)中，W(i，j)为该某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为该某一图像帧在坐标(i，j) 处的像素点的综合纹理类型值；
该轮廓信息通道构建子模块用于构建关于该无色彩视频中的轮廓信息通道，具体为，
S103A，通过Hough变换算法计算该无色彩视频的某一图像帧的图像轮廓，以得到该某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，该第一轮廓特征值shough(i,j)|t满足下面式(4)
Figure BDA0002250616110000222
S103B，通过Canny算子计算该无色彩视频的某一图像帧的图像轮廓，以得到该某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，该第二轮廓特征值scanny(i，j)︱t满足下面式(5)
Figure BDA0002250616110000223
S103C，通过Isotropic Sobel算子计算该无色彩视频的某一图像帧的图像轮廓，以得到该某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，该第三轮廓特征值ssobel(i,j)|t满足下面式(6)
Figure BDA0002250616110000224
S103D，根据下面式(7)，对该第一轮廓特征值shough(i,j)|t、该第二轮廓特征值scanny(i，j)︱t和该第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到该轮廓类型值S(i,j)|t，
Figure BDA0002250616110000231
该动态性信息通道构建子模块用于构建关于该无色彩视频中的动态性信息通道，具体为，
S104A，构建关于该无色彩视频的某一图像帧中每一个像素点的混合高斯背景模型GMM；
S104B，统计每一个像素点对应的显著性强度值变化的次数，其中，该显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S104C，根据下面式(8)，获取每一个像素点的近期动态特征值
Figure BDA0002250616110000232
在上述式(8)中，
Figure BDA0002250616110000233
为该无色彩视频从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足 100≤t-k≤20000；
S104D，根据下面式(9)，对该近期动态特征值D(i，j)进行量化处理，以得到该动态性类型值D(i,j)|t
Figure BDA0002250616110000241
该串联构建子模块用于将该亮度类型值、该纹理类型值、该轮廓类型值和该动态性类型值进行串联，以构建得到该视频场景区域类型描述器。
优选地，该类型向量获取模块包括视频样本选取子模块和类型向量计算子模块；其中，
该视频样本选取子模块用于选取一有且仅有一个典型的特定目标区域的视频样本；
该类型向量计算子模块用于将该视频样本以逐帧图像的方式输入该视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将该平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量。
优选地，该场景区域分割模块包括实时类型值计算子模块和分割处理子模块；其中，
该实时类型值计算子模块用于将该无色彩视频的某一图像帧输入至该视频场景区域类型描述器后，该视频场景区域类型描述器基于并行计算模式，同步地计算得到该无色彩视频的某一图像帧中每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值；
该分割处理子模块用于将每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
优选地，该匹配度计算模块获取该匹配度具体为，
根据下式(10)，计算该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间的匹配度M
Figure BDA0002250616110000251
在上述式(10)中，I(i,j)|t、W(i,j)|t、S(i,j)|t、D(i,j)|t分别为该无色彩视频的某一图像帧中场景区域的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，I(i,j)′、、W(i,j)′、S(i,j)′、D(i,j)′分别为该视频样本中特定目标区域的类型向量对应的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，该匹配度M的取值范围是[0％，100％]，当该匹配度M＝100％时，表示该每一个场景区域具有的类型向量与该特定目标区域的类型向量之间完全匹配；
该匹配确定模块确定该某一图像帧当前的场景区域是否为该特定目标区域具体为，
将该预设匹配度阈值设为85％，若该匹配度M大于或者等于85％，则确定该某一图像帧当前的场景区域为该特定目标区。
从上述实施例的内容可知，该无色彩场景视频中对特定目标区域的侦测方法和装置综合利用无色彩视频中的亮度、纹理、轮廓和动态性等不同时空信息构建视频场景区域类型描述器，以此对特定目标区域进行侦测和确定，该视频场景区域类型描述器各个信息通道上的特征提取和计算方法简单高效、实时性好，视频样本学习效率高，并可实现实时在线训练；此外，该方法和装置在计算视频场景区域类型描述器各通道的类型值时，还引入了并行计算的方法，显著地提高了方法的整体运算效率，从而克服了现有方法实施在无色彩视频中对特定目标区域检测时运算效率低、实时性差，甚至会失效性的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种无色彩场景视频中对特定目标区域的侦测方法，其特征在于，包括如下步骤：
步骤S1，构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器，包括，
步骤S101，构建关于所述无色彩视频中的亮度信息通道，具体为，根据下面式(1)，对所述无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度类型值，并根据所述亮度类型值构建所述亮度信息通道
Figure FDA0002957100870000011
在上述式(1)中，I(i,j)|t为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度类型值，I(i，j)为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
步骤S102，构建关于所述无色彩视频中的纹理信息通道，具体为，S102A，通过原始LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure FDA0002957100870000012
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure FDA0002957100870000021
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i，j)处的像素点的综合纹理类型值；
步骤S103，构建关于所述无色彩视频中的轮廓信息通道，具体为，S103A，通过Hough变换算法计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，所述第一轮廓特征值shough(i,j)|t满足下面式(4)
Figure FDA0002957100870000022
S103B，通过Canny算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，所述第二轮廓特征值scanny(i，j)︱t满足下面式(5)
Figure FDA0002957100870000023
S103C，通过Isotropic Sobel算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，所述第三轮廓特征值ssobel(i,j)|t满足下面式(6)
Figure FDA0002957100870000024
S103D，根据下面式(7)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到轮廓类型值S(i,j)|t，
Figure FDA0002957100870000031
步骤S104，构建关于所述无色彩视频中的动态性信息通道，具体为，S104A，构建关于所述无色彩视频的某一图像帧中每一个像素点的混合高斯背景模型GMM；
S104B，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S104C，根据下面式(8)，获取每一个像素点的近期动态特征值
Figure FDA0002957100870000032
在上述式(8)中，
Figure FDA0002957100870000033
为所述无色彩视频从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；S104D，根据下面式(9)，对所述近期动态特征值D(i，j)进行量化处理，以得到动态性类型值D(i,j)|t
Figure FDA0002957100870000034
步骤S104，将所述亮度类型值、所述纹理类型值、所述轮廓类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器；
步骤S2，将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
步骤S3，将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
步骤S4，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域。
2.如权利要求1所述的无色彩场景视频中对特定目标区域的侦测方法，其特征在于：
在所述步骤S2中，将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量具体包括，
步骤S201，选取一有且仅有一个典型的特定目标区域的视频样本；
步骤S202，将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量。
3.如权利要求1所述的无色彩场景视频中对特定目标区域的侦测方法，其特征在于：
在所述步骤S3中，将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量具体包括，
步骤S301，将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述无色彩视频的某一图像帧中每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值；
步骤S302，将每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
4.如权利要求1所述的无色彩场景视频中对特定目标区域的侦测方法，其特征在于：
在所述步骤S4中，获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度，若所述匹配度大于或者等于预设匹配度阈值，则确定所述某一图像帧当前的场景区域为所述特定目标区域具体包括，
步骤S401，根据下式(10)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure FDA0002957100870000051
在上述式(10)中，I(i,j)|t、W(i,j)|t、S(i,j)|t、D(i,j)|t分别为所述无色彩视频的某一图像帧中场景区域的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，I(i,j)′、W(i,j)′、S(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，所述匹配度M的取值范围是[0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
步骤S402，将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
5.一种无色彩场景视频中对特定目标区域的侦测装置，其特征在于，所述装置包括：
视频场景区域类型描述器构建模块，其用于构建关于无色彩视频中的亮度信息、纹理信息、轮廓信息和动态性信息的四通道的视频场景区域类型描述器，包括亮度信息通道构建子模块、纹理信息通道构建子模块、轮廓信息通道构建子模块、动态性信息通道构建子模块和串联构建子模块；其中，
所述亮度信息通道构建子模块用于构建关于所述无色彩视频中的亮度信息通道，具体为根据下面式(1)，对所述无色彩视频中某一图像帧的所有像素点的亮度值进行归一化和量化处理，以计算得到亮度类型值，并根据所述亮度类型值构建所述亮度信息通道
Figure FDA0002957100870000061
在上述式(1)中，I(i,j)|t为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度类型值，I(i，j)为所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的亮度值；
所述纹理信息通道构建子模块用于构建关于所述无色彩视频中的纹理信息通道，具体为，
S102A，通过原始LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W1(i,j)|t；
S102B，通过圆形LBP算子，计算获得所述无色彩视频的某一图像帧在坐标(i，j)处的像素点的LBP纹理值W2(i,j)|t；
S102C，根据下面式(2)，获取所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值W(i，j)
Figure FDA0002957100870000071
S102D，根据下面式(3)，对所述复合纹理特征值W(i，j)进行归一化和量化计算，以得到相应的纹理类型值W(i,j)|t
Figure FDA0002957100870000072
在上述式(3)中，W(i，j)为所述某一图像帧在坐标(i，j)处的像素点的复合纹理特征值，W(i,j)|t为所述某一图像帧在坐标(i，j)处的像素点的综合纹理类型值；
所述轮廓信息通道构建子模块用于构建关于所述无色彩视频中的轮廓信息通道，具体为，
S103A，通过Hough变换算法计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第一轮廓特征值shough(i,j)|t，其中，所述第一轮廓特征值shough(i,j)|t满足下面式(4)
Figure FDA0002957100870000073
S103B，通过Canny算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第二轮廓特征值scanny(i，j)︱t，其中，所述第二轮廓特征值scanny(i，j)︱t满足下面式(5)
Figure FDA0002957100870000074
S103C，通过Isotropic Sobel算子计算所述无色彩视频的某一图像帧的图像轮廓，以得到所述某一图像帧内坐标(i，j)处的像素点的第三轮廓特征值ssobel(i,j)|t，其中，所述第三轮廓特征值ssobel(i,j)|t满足下面式(6)
Figure FDA0002957100870000081
S103D，根据下面式(7)，对所述第一轮廓特征值shough(i,j)|t、所述第二轮廓特征值scanny(i，j)︱t和所述第三轮廓特征值ssobel(i,j)|t进行求交集运算处理，以得到轮廓类型值S(i,j)|t，
Figure FDA0002957100870000082
所述动态性信息通道构建子模块用于构建关于所述无色彩视频中的动态性信息通道，具体为，
S104A，构建关于所述无色彩视频的某一图像帧中每一个像素点的混合高斯背景模型GMM；
S104B，统计每一个像素点对应的显著性强度值变化的次数，其中，所述显著性强度值变化是指像素点的强度值变化幅度超出其对应的混合高斯背景模型GMM所限定的强度值正常变化范围；
S104C，根据下面式(8)，获取每一个像素点的近期动态特征值
Figure FDA0002957100870000083
在上述式(8)中，
Figure FDA0002957100870000084
为所述无色彩视频从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的次数，D(i，j)为从图像帧k到另一图像帧t之间的时间中处于坐标(i，j)处的像素点对应的显著性强度变化的频率，即D(i，j)为处于坐标(i，j)处的像素点对应的近期动态特征值，并且满足100≤t-k≤20000；
S104D，根据下面式(9)，对所述近期动态特征值D(i，j)进行量化处理，以得到动态性类型值D(i,j)|t
Figure FDA0002957100870000091
所述串联构建子模块用于将所述亮度类型值、所述纹理类型值、所述轮廓类型值和所述动态性类型值进行串联，以构建得到所述视频场景区域类型描述器；
类型向量获取模块，其用于将包含特定目标区域的视频样本输入至所述视频场景区域类型描述器，以输出获得关于所述特定目标区域的类型向量；
场景区域分割模块，其用于将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器，以分割获得若干场景区域，其中，每一个场景区域分别具有相应的类型向量；
匹配度计算模块，其用于获取所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度；
匹配确定模块，其用于根据所述匹配度与预设匹配度阈值之间的关系，确定所述某一图像帧当前的场景区域是否为所述特定目标区域。
6.如权利要求5所述的无色彩场景视频中对特定目标区域的侦测装置，其特征在于：
所述类型向量获取模块包括视频样本选取子模块和类型向量计算子模块；其中，
所述视频样本选取子模块用于选取一有且仅有一个典型的特定目标区域的视频样本；
所述类型向量计算子模块用于将所述视频样本以逐帧图像的方式输入所述视频场景区域类型描述器，对每一帧图像的特定目标区域中的各个像素点逐一计算得到其对应的类型向量，在对所有像素点的类型向量进行平均向量计算处理，并将所述平均向量计算处理得到的平均向量作为对应帧图像中特定目标区域的类型向量。
7.如权利要求5所述的无色彩场景视频中对特定目标区域的侦测装置，其特征在于：
所述场景区域分割模块包括实时类型值计算子模块和分割处理子模块；其中，
所述实时类型值计算子模块用于将所述无色彩视频的某一图像帧输入至所述视频场景区域类型描述器后，所述视频场景区域类型描述器基于并行计算模式，同步地计算得到所述无色彩视频的某一图像帧中每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值；
所述分割处理子模块用于将每一个像素点的亮度类型值、纹理类型值、轮廓类型值和动态性类型值串联组合成相应的类型向量，同时将具有相同类型向量的像素点归为同一个场景区域，以此分割获得若干场景区域，并且每一个场景区域具有相同且唯一的类型向量。
8.如权利要求5所述的无色彩场景视频中对特定目标区域的侦测装置，其特征在于：
所述匹配度计算模块获取所述匹配度具体为，
根据下式(10)，计算所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间的匹配度M
Figure FDA0002957100870000101
在上述式(10)中，I(i,j)|t、W(i,j)|t、S(i,j)|t、D(i,j)|t分别为所述无色彩视频的某一图像帧中场景区域的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，I(i,j)′、W(i,j)′、S(i,j)′、D(i,j)′分别为所述视频样本中特定目标区域的类型向量对应的亮度类型值、纹理类型值、轮廓类型值和动态性类型值，所述匹配度M的取值范围是[0％，100％]，当所述匹配度M＝100％时，表示所述每一个场景区域具有的类型向量与所述特定目标区域的类型向量之间完全匹配；
所述匹配确定模块确定所述某一图像帧当前的场景区域是否为所述特定目标区域具体为，
将所述预设匹配度阈值设为85％，若所述匹配度M大于或者等于85％，则确定所述某一图像帧当前的场景区域为所述特定目标区。
CN201911032783.0A 2019-10-28 2019-10-28 一种无色彩场景视频中对特定目标区域的侦测方法和装置 Active CN110826445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911032783.0A CN110826445B (zh) 2019-10-28 2019-10-28 一种无色彩场景视频中对特定目标区域的侦测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911032783.0A CN110826445B (zh) 2019-10-28 2019-10-28 一种无色彩场景视频中对特定目标区域的侦测方法和装置

Publications (2)

Publication Number Publication Date
CN110826445A CN110826445A (zh) 2020-02-21
CN110826445B true CN110826445B (zh) 2021-04-23

Family

ID=69550895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911032783.0A Active CN110826445B (zh) 2019-10-28 2019-10-28 一种无色彩场景视频中对特定目标区域的侦测方法和装置

Country Status (1)

Country Link
CN (1) CN110826445B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术（中国）有限公司 一种图像的多特征提取与融合方法及系统
CN105741322A (zh) * 2016-02-01 2016-07-06 衢州学院 一种基于视频特征层融合的视场区域分割方法
US9396422B1 (en) * 2015-11-19 2016-07-19 Xerox Corporation Methods and systems for localizing aztec codes
CN108198171A (zh) * 2017-12-27 2018-06-22 大连理工大学 一种基于服务器表面热状态的运行状态诊断的方法
CN109284701A (zh) * 2018-09-06 2019-01-29 南京威尔思汽车部件科技有限公司 一种基于区域对比的行车识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913456B (zh) * 2016-04-12 2019-03-26 西安电子科技大学 基于区域分割的视频显著性检测方法
KR102233258B1 (ko) * 2017-03-16 2021-03-29 한국전자통신연구원 3차원 프린팅 데이터 생성 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663391A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术（中国）有限公司 一种图像的多特征提取与融合方法及系统
US9396422B1 (en) * 2015-11-19 2016-07-19 Xerox Corporation Methods and systems for localizing aztec codes
CN105741322A (zh) * 2016-02-01 2016-07-06 衢州学院 一种基于视频特征层融合的视场区域分割方法
CN108198171A (zh) * 2017-12-27 2018-06-22 大连理工大学 一种基于服务器表面热状态的运行状态诊断的方法
CN109284701A (zh) * 2018-09-06 2019-01-29 南京威尔思汽车部件科技有限公司 一种基于区域对比的行车识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Texture and color based image segmentation and pathology detection in capsule endoscopy videos;Piotr Szczypinski等;《Computer Methods and Programs in Biomedicine》;20140131;第113卷(第1期);第396-411页 *
Underwater image and video dehazing with pure haze region segmentation;Simon Emberton等;《Computer Vision and Image Understanding》;20180331;第168卷;第145-156页 *
基于特征显著性的目标识别方法及其应用研究;陈振学;《万方数据库》;20110328;全文 *
基于背景建模的动态场景运动目标检测算法研究;陈杨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315;第I138-1950页 *

Also Published As

Publication number Publication date
CN110826445A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN111242097B (zh) 一种人脸识别方法、装置、计算机可读介质及电子设备
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
CN112613434B (zh) 道路目标检测方法、装置及存储介质
CN111597933A (zh) 人脸识别方法和装置
US11164327B2 (en) Estimation of human orientation in images using depth information from a depth camera
CN116052090A (zh) 图像质量评估方法、模型训练方法、装置、设备及介质
CN110796073B (zh) 一种无纹理场景视频中对特定目标区域的侦测方法和装置
CN111582278B (zh) 人像分割方法、装置及电子设备
CN110826445B (zh) 一种无色彩场景视频中对特定目标区域的侦测方法和装置
CN112579824A (zh) 视频数据分类方法、装置、电子设备及存储介质
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
CN111723614A (zh) 交通信号灯识别方法及装置
CN110866460B (zh) 一种复杂场景视频中特定目标区域的侦测方法和装置
CN112699798A (zh) 一种车路协同的交警动作识别方法和装置
CN113298102A (zh) 一种目标分类模型的训练方法及装置
CN110827293B (zh) 一种基于决策层融合的无色彩场景区域分割方法和装置
CN115861897B (zh) 一种多目标追踪方法及装置
CN108133210A (zh) 一种图像格式识别方法及装置
CN110910398B (zh) 一种基于决策层融合的视频复杂场景区域分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant