CN110807398A - 视场区域分割方法及装置 - Google Patents

视场区域分割方法及装置 Download PDF

Info

Publication number
CN110807398A
CN110807398A CN201911033547.0A CN201911033547A CN110807398A CN 110807398 A CN110807398 A CN 110807398A CN 201911033547 A CN201911033547 A CN 201911033547A CN 110807398 A CN110807398 A CN 110807398A
Authority
CN
China
Prior art keywords
pixel point
video
characteristic value
value
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911033547.0A
Other languages
English (en)
Inventor
张睿
江海兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quzhou University
Original Assignee
Quzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quzhou University filed Critical Quzhou University
Priority to CN201911033547.0A priority Critical patent/CN110807398A/zh
Publication of CN110807398A publication Critical patent/CN110807398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于视场区域分割方法及装置。该方法包括：获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值；获取所述视频中每个像素点的复合纹理特征值；获取所述视频中每个像素点的近期动态性特征值；根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量；根据所述综合视觉特征向量对所述视频中的视场进行区域分割。该技术方案生成的综合视觉特征向量中的颜色空间信息只包括HSI颜色空间信息，将最终生成的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间。

Description

视场区域分割方法及装置
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视场区域分割方法及装置。
背景技术
随着视觉机器人、无人驾驶等技术的蓬勃发展，基于视觉的场景分析技术的重要性日益凸显。基于视觉的场景分析中的一项底层技术是视场区域分割，视场区域分割结果的好坏将直接决定上层的场景类型辨识以及场景内物体辨识的可靠性与准确性。
相关技术中，将每个像素点的RGB颜色空间的颜色特征向量和HSV颜色空间的颜色特征向量进行串联，生成每个像素点的双颜色空间的颜色特征向量，再将每个像素点的双颜色空间的颜色特征向量、每个像素点的纹理特征以及动态性特征进行融合，最终根据融合后得到的特征对视频中的视场进行区域分割。
但上述技术中，采用双颜色空间信息对视场的区域进行分割，导致颜色空间信息冗余，会使得融合后的特征向量的维度过长，取值范围过大，导致聚类运算量太大，从而延长了视频的视场区域分割的时间。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种视场区域分割方法及装置。所述技术方案如下：
根据本公开实施例的第一方面，提供一种视场区域分割方法，包括：
获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值；
获取所述视频中每个像素点的复合纹理特征值；
获取所述视频中每个像素点的近期动态性特征值；
根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量；
根据所述综合视觉特征向量对所述视频中的视场进行区域分割。
本公开的实施例提供的技术方案可以包括以下有益效果：根据获取的每个像素点在HSI颜色空间中的色调特征值和强度特征值、每个像素点的复合纹理特征值和近期动态性特征值生成每个像素点对应的综合视觉特征向量。这样，综合视觉特征向量中的颜色空间信息只包括HSI颜色空间信息，将最终生成的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间。
在一个实施例中，所述获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值包括：
将所述视频的RGB颜色空间转换为所述HSI颜色空间；
将所述HSI颜色空间中的色调的值域划分为第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6；
根据所述第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6对所述视频中所有像素点的色调值进行归一化和量化，得到每个所述像素点的色调特征值
对所述视频中所有像素点的强度值进行量化，得到每个所述像素点的强度特征值
Figure BDA0002250814410000032
其中，H(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的色调特征值，I(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的强度特征值，H1＝[30°，90°)，H2＝[90°，150°)，H3＝[150°，210°)，H4＝[210°，270°)，H5＝[270°，330°)，H6＝[330°，360°]+[0°，30°)。
在一个实施例中，所述获取所述视频中每个像素点的复合纹理特征值包括：
采用原始LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第一LBP纹理值W1(i，j)|t；
采用圆形LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第二LBP纹理值W2(i，j)|t；
将所述第一LBP纹理值W1(i，j)|t和所述第二LBP纹理值W2(i，j)|t的平均值确定为每个所述像素点的复合纹理特征值
Figure BDA0002250814410000041
其中，W(i，j)|t表示所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的复合纹理特征值；
对所述复合纹理特征值W(i，j)|t进行归一化，使得所述W(i，j)|t的值域为[0，1]。
在一个实施例中，所述获取所述视频中每个像素点的近期动态性特征值包括：
对所述视频在强度通道中的每个像素点构建GMM模型；
根据所述GMM模型确定所述视频中每个像素点上发生的显著性强度值变化的次数；
根据所述视频中每个像素点上发生的显著性强度值变化的次数确定每个所述像素点的近期动态性特征值
Figure BDA0002250814410000042
其中，
Figure BDA0002250814410000043
表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的次数，D(i，j)|t表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点的近期动态性特征值，100≤t-k≤20000。
在一个实施例中，所述根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量包括：
将所述每个像素点在HSI颜色空间中的色调特征值和强度特征值、复合纹理特征值、近期动态性特征值依次排列，生成每个像素点对应的综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)；其中，f(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的综合视觉特征向量；
所述根据所述综合视觉特征向量对所述视频中的视场进行区域分割包括：
对当前视频帧内所有像素点生成的所述综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)进行聚类分析；
将通过所述聚类分析被归为一类的综合视觉特征向量所对应的像素点划分为同一个区域，使得所述视频中的视场区域被分割。
根据本公开实施例的第二方面，提供一种视场区域分割装置，包括：
第一获取模块，用于获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值；
第二获取模块，用于获取所述视频中每个像素点的复合纹理特征值；
第三获取模块，用于获取所述视频中每个像素点的近期动态性特征值；
生成模块，用于根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量；
分割模块，用于根据所述综合视觉特征向量对所述视频中的视场进行区域分割。
本公开的实施例提供的技术方案可以包括以下有益效果：根据获取的每个像素点在HSI颜色空间中的色调特征值和强度特征值、每个像素点的复合纹理特征值和近期动态性特征值生成每个像素点对应的综合视觉特征向量。这样，综合视觉特征向量中的颜色空间信息只包括HSI颜色空间信息，将最终生成的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间。
在一个实施例中，所述第一获取模块包括转换子模块、第一划分子模块、第一量化子模块和第二量化子模块；
转换子模块，用于将所述视频的RGB颜色空间转换为所述HSI颜色空间；
第一划分子模块，用于将所述HSI颜色空间中的色调的值域划分为第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6；
第一量化子模块，用于根据所述第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6对所述视频中所有像素点的色调值进行归一化和量化，得到每个所述像素点的色调特征值
Figure BDA0002250814410000071
第二量化子模块，用于对所述视频中所有像素点的强度值进行量化，得到每个所述像素点的强度特征值
Figure BDA0002250814410000072
其中，H(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的色调特征值，I(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的强度特征值，H1＝[30°，90°)，H2＝[90°，150°)，H3＝[150°，210°)，H4＝[210°，270°)，H5＝[270°，330°)，H6＝[330°，360°]+[0°，30°)。
在一个实施例中，所述第二获取模块包括第一计算子模块、第二计算子模块、第一确定子模块和归一子模块；
所述第一计算子模块，用于采用原始LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第一LBP纹理值W1(i，j)|t；
所述第二计算子模块，用于采用圆形LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第二LBP纹理值W2(i，j)|t；
所述第一确定子模块，用于将所述第一LBP纹理值W1(i，j)|t和所述第二LBP纹理值W2(i，j)|t的平均值确定为每个所述像素点的复合纹理特征值
Figure BDA0002250814410000081
其中，W(i，j)|t表示所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的复合纹理特征值；
所述归一子模块，用于对所述复合纹理特征值W(i，j)|t进行归一化，使得所述W(i，j)|t的值域为[0，1]。
在一个实施例中，所述第三获取模块包括构建子模块、第二确定子模块和第三确定子模块；
所述构建子模块，用于对所述视频在强度通道中的每个像素点构建GMM模型；
所述第二确定子模块，用于根据所述GMM模型确定所述视频中每个像素点上发生的显著性强度值变化的次数；
所述第三确定子模块，用于根据所述视频中每个像素点上发生的显著性强度值变化的次数确定每个所述像素点的近期动态性特征值
Figure BDA0002250814410000082
其中，
Figure BDA0002250814410000083
表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的次数，D(i，j)|t表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点的近期动态性特征值，100≤t-k≤20000。
在一个实施例中，所述生成模块包括生成子模块，所述分割模块包括分析子模块和第二划分子模块；
所述生成子模块，用于将所述每个像素点在HSI颜色空间中的色调特征值和强度特征值、复合纹理特征值、近期动态性特征值依次排列，生成每个像素点对应的综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)；其中，f(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的综合视觉特征向量；
所述分析子模块，用于对当前视频帧内所有像素点生成的所述综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)进行聚类分析；
所述第二划分子模块，用于将通过所述聚类分析被归为一类的综合视觉特征向量所对应的像素点划分为同一个区域，使得所述视频中的视场区域被分割。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的视场区域分割方法的流程图。
图2是根据一示例性实施例示出的视场区域分割方法的流程图。
图2a是根据一示例性实施例示出的HSI颜色空间的模型示意图。
图3是根据一示例性实施例示出的视场区域分割方法的流程图。
图3a是根据一示例性实施例示出的原始LBP算子的示意图。
图3b是根据一示例性实施例示出的圆形LBP算子的示意图。
图4是根据一示例性实施例示出的视场区域分割方法的流程图。
图5是根据一示例性实施例示出的场景视频的示意图。
图6是根据一示例性实施例示出的视场区域分割方法的流程图。
图7是根据一示例性实施例示出的视场区域分割装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的技术方案涉及终端设备，该终端设备可以为用户使用的手机、平板电脑、笔记本电脑、台式电脑以及其他具有处理功能的设备，本公开实施例对此不做限定。相关技术中，将每个像素点的RGB颜色空间的颜色特征向量和HSV颜色空间的颜色特征向量进行串联，生成每个像素点的双颜色空间的颜色特征向量，再将每个像素点的双颜色空间的颜色特征向量、每个像素点的纹理特征以及动态性特征进行融合，最终根据融合后得到的特征对视频中的视场进行区域分割。但上述技术中，采用双颜色空间信息对视场的区域进行分割，导致颜色空间信息冗余，会使得融合后的特征向量的维度过长，取值范围过大，导致聚类运算量太大，从而延长了视频的视场区域分割的时间。本公开实施例提供的技术方案中，根据获取的每个像素点在HSI颜色空间中的色调特征值和强度特征值、每个像素点的复合纹理特征值和近期动态性特征值生成每个像素点对应的综合视觉特征向量。这样，综合视觉特征向量中的颜色空间信息只包括HSI颜色空间信息，将最终生成的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间。
图1是根据一示例性实施例示出的一种视场区域分割方法的流程图，如图1所示，该视场区域分割方法包括以下步骤101至步骤105：
在步骤101中，获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值。
其中，HSI颜色空间中的H表示色调，色调H的取值范围为[0°，360°]，HSI颜色空间中的S表示饱和度，饱和度S的取值范围为[0，1]，HSI颜色空间中的I表示强度，强度I的取值范围为[0，1]。
可选的，如图2所示，步骤101具体包括以下步骤1011至步骤1014：
在步骤1011中，将所述视频的RGB颜色空间转换为所述HSI颜色空间。
其中，RGB颜色空间中的R表示红色，G表示绿色，B表示蓝色。
示例的，对视频中的每个像素点生成一个基于RGB颜色空间的颜色特征向量，然后再将基于RGB颜色空间的颜色特征向量转换为对应的基于HSI颜色空间的特征向量，即得到视频的HSI颜色空间。
在步骤1012中，将所述HSI颜色空间中的色调的值域划分为第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6。
其中，
Figure BDA0002250814410000122
代表红色调区域；
Figure BDA0002250814410000123
代表品红色调区域；代表蓝色色调区域；
Figure BDA0002250814410000125
代表青色色调区域；代表绿色色调区域；
Figure BDA0002250814410000127
代表黄色色调区域，这样，视频中的任何一个像素点的色调，都会隶属于H1～H6中的某一个子集，即将视频中的像素值按照色调值划分，可以被划分为上述六类，如图2a所示，其为HSI颜色空间的模型示意图。
在步骤1013中，根据所述第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6对所述视频中所有像素点的色调值进行归一化和量化，得到每个所述像素点的色调特征值
示例的，将色调值属于第一子集H1的像素点的色调特征值赋值为0，将色调值属于第二子集H2的像素点的色调特征值赋值为0.2，将色调值属于第三子集H3的像素点的色调特征值赋值为0.4，将色调值属于第四子集H4的像素点的色调特征值赋值为0.6，将色调值属于第五子集H5的像素点的色调特征值赋值为0.8，将色调值属于第六子集H6的像素点的色调特征值赋值为1.0。
在步骤1014中，对所述视频中所有像素点的强度值进行量化，得到每个所述像素点的强度特征值
其中，H(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的色调特征值，I(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的强度特征值。
示例的，将强度值属于[0，0.2)之间的像素点的强度特征值赋值为0，将强度值属于[0.2，0.4)之间的像素点的强度特征值赋值为0.2，将强度值属于[0.4，0.6)之间的像素点的强度特征值赋值为0.4，将强度值属于[0.6，0.8)之间的像素点的强度特征值赋值为0.6，将强度值属于[0.8，1.0)之间的像素点的强度特征值赋值为0.8，将强度值属于1的像素点的强度特征值赋值为1.0。
在步骤102中，获取所述视频中每个像素点的复合纹理特征值。
可选的，如图3所示，步骤102具体包括以下步骤1021至步骤1024：
在步骤1021中，采用原始LBP(局部二值模式，Local Binary Patterns)算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第一LBP纹理值W1(i，j)|t。
如图3a所示，其为原始LBP算子的示意图，具体采用原始LBP算子对第一LBP纹理值的计算方法可参考现有技术中的相关内容，在此不再赘述。
在步骤1022中，采用圆形LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第二LBP纹理值W2(i，j)|t。
如图3b所示，其为圆形LBP算子的示意图，具体采用圆形LBP算子对第二LBP纹理值的计算方法可参考现有技术中的相关内容，在此不再赘述。
在步骤1023中，将所述第一LBP纹理值W1(i，j)|t和所述第二LBP纹理值W2(i，j)|t的平均值确定为每个所述像素点的复合纹理特征值
Figure BDA0002250814410000141
其中，W(i，j)|t表示所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的复合纹理特征值。
在步骤1024中，对所述复合纹理特征值W(i，j)|t进行归一化，使得所述W(i，j)|t的值域为[0，1]。
在步骤103中，获取所述视频中每个像素点的近期动态性特征值。
其中，获取视频中每个像素点的近期动态性特征值是指获取从视频第一帧到预设帧内每个像素点的动态性特征值。
可选的，如图4所示，步骤103具体包括以下步骤1031至步骤1033：
在步骤1031中，对所述视频在强度通道中的每个像素点构建GMM(高斯混合模型，Gaussian Mixture Model)模型。
其中，具体构建GMM模型的方法可参考现有技术中的相关内容，在此不再赘述。
在步骤1032中，根据所述GMM模型确定所述视频中每个像素点上发生的显著性强度值变化的次数。
其中，显著性强度值是指像素点的强度值变化幅度超出该像素点上GMM模型所设定的像素强度值的正常变化范围。
在步骤1033中，根据所述视频中每个像素点上发生的显著性强度值变化的次数确定每个所述像素点的近期动态性特征值
Figure BDA0002250814410000151
其中，
Figure BDA0002250814410000152
表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的次数，D(i，j)|t∈[0，1]表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的频率，D(i，j)|t表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点的近期动态性特征值，100≤t-k≤20000。
示例的，以一个分辨率为1080*768，帧率为30帧/秒，时长为10分钟的视频为例，如图5所示，该视频时间跨度长，场景内容复杂，颜色信息丰富多样，假设设定100秒(即3000帧)的时间跨度为近期，则在近期动态性D(i，j)|t的计算中，将有k＝t-3000，D(i，j)|t的数值表征了在过去100秒的时间跨度内，视场中该空间位置上场景变化的频繁程度，D(i，j)|t的数值高，则表示视频中该像素点处的场景剧烈变化很频繁，D(i，j)|t的数值低，则表示视频中该像素点处的较少场景出现剧烈变化。每个像素点近期动态性特征的计算是为了更准确地获得对当前时刻视频帧动态性的描述，从而使得对当前视频帧的视场分割更准确。
需要说明的是，本公开对步骤101、步骤102和步骤103的执行顺序不做限定，可以同时执行步骤101、步骤102和步骤103，也可以先执行步骤101、步骤102和步骤103中的任一步骤。
在步骤104中，根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量。
可选的，将所述每个像素点在HSI颜色空间中的色调特征值和强度特征值、复合纹理特征值、近期动态性特征值依次排列，生成每个像素点对应的综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)。
其中，f(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的综合视觉特征向量。
在步骤105中，根据所述综合视觉特征向量对所述视频中的视场进行区域分割。
可选的，如图6所示，步骤105具体包括以下步骤1051和步骤1052：
在步骤1051中，对当前视频帧内所有像素点生成的所述综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)进行聚类分析。
其中，聚类分析采用的是K-means(K均值)算法，其中，K均值是将数据划分为K类，每个类的中心就是这类中所有数据的均值，当K取10，表示场景会被划分为10类子区域；当K取100，表示场景会被划分为100类子区域。若K值太小，场景区域分割比较粗糙，很多实际上不同类的子区域也会被错误的归为同一类；若K值太大，场景区域分割又会过于破碎，实用性不大，而且分割耗时大大增加，丧失计算效率。因此，具体K的具体取值需要根据具体应用的场景类型进行设定，例如，K＝15。具体聚类分析方法可参考现有技术中的相关内容，在此不再赘述。
在步骤1052中，将通过所述聚类分析被归为一类的综合视觉特征向量所对应的像素点划分为同一个区域，使得所述视频中的视场区域被分割。
本实施例中，将HSI颜色空间中的色调的值域进行了划分限定，将像素值动态性的统计时间进行了限定，只计算最近一段时间内的像素点的近期动态性特征值，能够准确反映当前时刻视频帧中像素值动态性；还对像素点的纹理特征的数量及值域进行了限定，且只采用HSI颜色空间信息，使得最终确定的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间，可以应用于具有复杂内容、长视频的场景中(例如，物品种类繁多的商场)。
本公开实施例提供一种视场区域分割方法，根据获取的每个像素点在HSI颜色空间中的色调特征值和强度特征值、每个像素点的复合纹理特征值和近期动态性特征值生成每个像素点对应的综合视觉特征向量。这样，综合视觉特征向量中的颜色空间信息只包括HSI颜色空间信息，将最终生成的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间；另外，还将每个像素点在HSI颜色空间中的色调特征值和强度特征值的数量和值域进行了限定，将像素点的纹理特征的数量及值域进行了限定，还将像素值动态性的统计时间进行了限定，提高了计算像素值动态性的准确性，可以应用于具有复杂内容、长视频的场景中。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图7是根据一示例性实施例示出的一种视场区域分割装置70的结构示意图，该装置70可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，该视场区域分割50包括第一获取模块701、第二获取模块702、第三获取模块703、生成模块704和分割模块705。
其中，第一获取模块701，用于获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值。
第二获取模块702，用于获取所述视频中每个像素点的复合纹理特征值。
第三获取模块703，用于获取所述视频中每个像素点的近期动态性特征值。
生成模块704，用于根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量。
分割模块705，用于根据所述综合视觉特征向量对所述视频中的视场进行区域分割。
在一个实施例中，所述第一获取模块701包括转换子模块、第一划分子模块、第一量化子模块和第二量化子模块。
其中，转换子模块，用于将所述视频的RGB颜色空间转换为所述HSI颜色空间。
第一划分子模块，用于将所述HSI颜色空间中的色调的值域划分为第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6。
第一量化子模块，用于根据所述第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6对所述视频中所有像素点的色调值进行归一化和量化，得到每个所述像素点的色调特征值
Figure BDA0002250814410000191
第二量化子模块，用于对所述视频中所有像素点的强度值进行量化，得到每个所述像素点的强度特征值
Figure BDA0002250814410000201
其中，H(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的色调特征值，I(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的强度特征值，H1＝[30°，90°)，H2＝[90°，150°)，H3＝[150°，210°)，H4＝[210°，270°)，H5＝[270°，330°)，H6＝[330°，360°]+[0°，30°)。
在一个实施例中，所述第二获取模块702包括第一计算子模块、第二计算子模块、第一确定子模块和归一子模块。
其中，所述第一计算子模块，用于采用原始LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第一LBP纹理值W1(i，j)|t。
所述第二计算子模块，用于采用圆形LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第二LBP纹理值W2(i，j)|t。
所述第一确定子模块，用于将所述第一LBP纹理值W1(i，j)|t和所述第二LBP纹理值W2(i，j)|t的平均值确定为每个所述像素点的复合纹理特征值
Figure BDA0002250814410000202
其中，W(i，j)|t表示所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的复合纹理特征值。
所述归一子模块，用于对所述复合纹理特征值W(i，j)|t进行归一化，使得所述W(i，j)|t的值域为[0，1]。
在一个实施例中，所述第三获取模块703包括构建子模块、第二确定子模块和第三确定子模块。
其中，所述构建子模块，用于对所述视频在强度通道中的每个像素点构建GMM模型。
所述第二确定子模块，用于根据所述GMM模型确定所述视频中每个像素点上发生的显著性强度值变化的次数。
所述第三确定子模块，用于根据所述视频中每个像素点上发生的显著性强度值变化的次数确定每个所述像素点的近期动态性特征值
Figure BDA0002250814410000211
其中，表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的次数，D(i，j)|t表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点的近期动态性特征值，100≤t-k≤20000。
在一个实施例中，所述生成模块704包括生成子模块，所述分割模块705包括分析子模块和第二划分子模块。
其中，所述生成子模块，用于将所述每个像素点在HSI颜色空间中的色调特征值和强度特征值、复合纹理特征值、近期动态性特征值依次排列，生成每个像素点对应的综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)；其中，f(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的综合视觉特征向量。
所述分析子模块，用于对当前视频帧内所有像素点生成的所述综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)进行聚类分析。
所述第二划分子模块，用于将通过所述聚类分析被归为一类的综合视觉特征向量所对应的像素点划分为同一个区域，使得所述视频中的视场区域被分割。
本公开实施例提供一种视场区域分割装置，根据获取的每个像素点在HSI颜色空间中的色调特征值和强度特征值、每个像素点的复合纹理特征值和近期动态性特征值生成每个像素点对应的综合视觉特征向量。这样，综合视觉特征向量中的颜色空间信息只包括HSI颜色空间信息，将最终生成的综合视觉特征向量的维度缩短，取值范围缩小，从而减少了聚类分析的运算量，缩短了视频的视场区域分割的时间。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视场区域分割方法，其特征在于，包括：
获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值；
获取所述视频中每个像素点的复合纹理特征值；
获取所述视频中每个像素点的近期动态性特征值；
根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量；
根据所述综合视觉特征向量对所述视频中的视场进行区域分割。
2.根据权利要求1所述的方法，其特征在于，所述获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值包括：
将所述视频的RGB颜色空间转换为所述HSI颜色空间；
将所述HSI颜色空间中的色调的值域划分为第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6；
根据所述第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6对所述视频中所有像素点的色调值进行归一化和量化，得到每个所述像素点的色调特征值
对所述视频中所有像素点的强度值进行量化，得到每个所述像素点的强度特征值
Figure FDA0002250814400000021
其中，H(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的色调特征值，I(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的强度特征值，H1＝[30°，90°)，H2＝[90°，150°)，H3＝[150°，210°)，H4＝[210°，270°)，H5＝[270°，330°)，H6＝[330°，360°]+[0°，30°)。
3.根据权利要求2所述的方法，其特征在于，所述获取所述视频中每个像素点的复合纹理特征值包括：
采用原始LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第一LBP纹理值W1(i，j)|t；
采用圆形LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第二LBP纹理值W2(i，j)|t；
将所述第一LBP纹理值W1(i，j)|t和所述第二LBP纹理值W2(i，j)|t的平均值确定为每个所述像素点的复合纹理特征值其中，W(i，j)|t表示所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的复合纹理特征值；
对所述复合纹理特征值W(i，j)|t进行归一化，使得所述W(i，j)|t的值域为[0，1]。
4.根据权利要求3所述的方法，其特征在于，所述获取所述视频中每个像素点的近期动态性特征值包括：
对所述视频在强度通道中的每个像素点构建GMM模型；
根据所述GMM模型确定所述视频中每个像素点上发生的显著性强度值变化的次数；
根据所述视频中每个像素点上发生的显著性强度值变化的次数确定每个所述像素点的近期动态性特征值
Figure FDA0002250814400000031
其中，
Figure FDA0002250814400000032
表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的次数，D(i，j)|t表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点的近期动态性特征值，100≤t-k≤20000。
5.根据权利要求4所述的方法，其特征在于，所述根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量包括：
将所述每个像素点在HSI颜色空间中的色调特征值和强度特征值、复合纹理特征值、近期动态性特征值依次排列，生成每个像素点对应的综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)；其中，f(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的综合视觉特征向量；
所述根据所述综合视觉特征向量对所述视频中的视场进行区域分割包括：
对当前视频帧内所有像素点生成的所述综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)进行聚类分析；
将通过所述聚类分析被归为一类的综合视觉特征向量所对应的像素点划分为同一个区域，使得所述视频中的视场区域被分割。
6.一种视场区域分割装置，其特征在于，包括：
第一获取模块，用于获取视频中每个像素点在HSI颜色空间中的色调特征值和强度特征值；
第二获取模块，用于获取所述视频中每个像素点的复合纹理特征值；
第三获取模块，用于获取所述视频中每个像素点的近期动态性特征值；
生成模块，用于根据所述每个像素点的复合纹理特征值、近期动态性特征值以及HSI颜色空间中的色调特征值和强度特征值，生成每个像素点对应的综合视觉特征向量；
分割模块，用于根据所述综合视觉特征向量对所述视频中的视场进行区域分割。
7.根据权利要求6所述的装置，其特征在于，所述第一获取模块包括转换子模块、第一划分子模块、第一量化子模块和第二量化子模块；
转换子模块，用于将所述视频的RGB颜色空间转换为所述HSI颜色空间；
第一划分子模块，用于将所述HSI颜色空间中的色调的值域划分为第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6；
第一量化子模块，用于根据所述第一子集H1、第二子集H2、第三子集H3、第四子集H4、第五子集H5和第六子集H6对所述视频中所有像素点的色调值进行归一化和量化，得到每个所述像素点的色调特征值
Figure FDA0002250814400000051
第二量化子模块，用于对所述视频中所有像素点的强度值进行量化，得到每个所述像素点的强度特征值
其中，H(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的色调特征值，I(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的强度特征值，H1＝[30°，90°)，H2＝[90°，150°)，H3＝[150°，210°)，H4＝[210°，270°)，H5＝[270°，330°)，H6＝[330°，360°]+[0°，30°)。
8.根据权利要求7所述的装置，其特征在于，所述第二获取模块包括第一计算子模块、第二计算子模块、第一确定子模块和归一子模块；
所述第一计算子模块，用于采用原始LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第一LBP纹理值W1(i，j)|t；
所述第二计算子模块，用于采用圆形LBP算子计算所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的第二LBP纹理值W2(i，j)|t；
所述第一确定子模块，用于将所述第一LBP纹理值W1(i，j)|t和所述第二LBP纹理值W2(i，j)|t的平均值确定为每个所述像素点的复合纹理特征值
Figure FDA0002250814400000061
其中，W(i，j)|t表示所述视频在强度通道上第t帧时在坐标(i，j)处的像素点的复合纹理特征值；
所述归一子模块，用于对所述复合纹理特征值W(i，j)|t进行归一化，使得所述W(i，j)|t的值域为[0，1]。
9.根据权利要求8所述的装置，其特征在于，所述第三获取模块包括构建子模块、第二确定子模块和第三确定子模块；
所述构建子模块，用于对所述视频在强度通道中的每个像素点构建GMM模型；
所述第二确定子模块，用于根据所述GMM模型确定所述视频中每个像素点上发生的显著性强度值变化的次数；
所述第三确定子模块，用于根据所述视频中每个像素点上发生的显著性强度值变化的次数确定每个所述像素点的近期动态性特征值
Figure FDA0002250814400000071
其中，
Figure FDA0002250814400000072
表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点上发生的显著性强度值变化的次数，D(i，j)|t表示所述视频在强度通道上从第k帧到第t帧的时间段内在坐标(i，j)处的像素点的近期动态性特征值，100≤t-k≤20000。
10.根据权利要求9所述的装置，其特征在于，所述生成模块包括生成子模块，所述分割模块包括分析子模块和第二划分子模块；
所述生成子模块，用于将所述每个像素点在HSI颜色空间中的色调特征值和强度特征值、复合纹理特征值、近期动态性特征值依次排列，生成每个像素点对应的综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)；其中，f(i，j)|t表示所述视频在第t帧时在坐标(i，j)处的像素点的综合视觉特征向量；
所述分析子模块，用于对当前视频帧内所有像素点生成的所述综合视觉特征向量f(i，j)|t＝(H(i，j)|t，I(i，j)|t，W(i，j)|t，D(i，j)|t)进行聚类分析；
所述第二划分子模块，用于将通过所述聚类分析被归为一类的综合视觉特征向量所对应的像素点划分为同一个区域，使得所述视频中的视场区域被分割。
CN201911033547.0A 2019-10-28 2019-10-28 视场区域分割方法及装置 Pending CN110807398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911033547.0A CN110807398A (zh) 2019-10-28 2019-10-28 视场区域分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911033547.0A CN110807398A (zh) 2019-10-28 2019-10-28 视场区域分割方法及装置

Publications (1)

Publication Number Publication Date
CN110807398A true CN110807398A (zh) 2020-02-18

Family

ID=69489381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911033547.0A Pending CN110807398A (zh) 2019-10-28 2019-10-28 视场区域分割方法及装置

Country Status (1)

Country Link
CN (1) CN110807398A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881646A (zh) * 2015-05-26 2015-09-02 重庆金山科技（集团）有限公司 Wce视频分段提取显著特征信息的方法
CN105069131A (zh) * 2015-08-14 2015-11-18 北京工业大学 基于视觉词汇和局部描述符的胶囊内镜图像检索方法
CN105741322A (zh) * 2016-02-01 2016-07-06 衢州学院 一种基于视频特征层融合的视场区域分割方法
CN106462964A (zh) * 2014-05-05 2017-02-22 卡尔蔡司显微镜有限责任公司 用于对彩色图像进行分割的方法以及数字显微镜

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462964A (zh) * 2014-05-05 2017-02-22 卡尔蔡司显微镜有限责任公司 用于对彩色图像进行分割的方法以及数字显微镜
CN104881646A (zh) * 2015-05-26 2015-09-02 重庆金山科技（集团）有限公司 Wce视频分段提取显著特征信息的方法
CN105069131A (zh) * 2015-08-14 2015-11-18 北京工业大学 基于视觉词汇和局部描述符的胶囊内镜图像检索方法
CN105741322A (zh) * 2016-02-01 2016-07-06 衢州学院 一种基于视频特征层融合的视场区域分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUANG-NAN HE ET AL: "Image Region Segmentation Based on Color Coherence Quantization", 《MODERN APPROACHES IN APPLIED INTELLIGENCE. PROCEEDINGS 24TH INTERNATIONAL CONFERENCE ON INDUSTRIAL ENGINEERING AND OTHER APPLICATIONS OF APPLIED INTELLIGENT SYSTEMS, IEA/AIE 2011》 *
ZHANG, C ET AL: "A new method of color image segmentation based on intensity and hue clustering", 《15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, VOL 3, PROCEEDINGS: IMAGE, SPEECH AND SIGNAL PROCESSING》 *
徐红霞 等: "基于 HSI 颜色空间统计直方图的图像检索", 《电脑知识与技术》 *
王克刚: "基于数字图像特征的古瓷片分类研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
金海善 等: "基于颜色特征的图像检索算法及实现", 《四川大学学报(自然科学版)》 *

Similar Documents

Publication Publication Date Title
Liu et al. PQA-Net: Deep no reference point cloud quality assessment via multi-view projection
Phung et al. A universal and robust human skin color model using neural networks
Lee et al. Towards a full-reference quality assessment for color images using directional statistics
US20110299774A1 (en) Method and system for detecting and tracking hands in an image
US9418426B1 (en) Model-less background estimation for foreground detection in video sequences
Sanchez-Cuevas et al. A comparison of color models for color face segmentation
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
Wang et al. Color image segmentation using global information and local homogeneity
CN113469092A (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN111784703A (zh) 一种图像分割方法、装置、电子设备和存储介质
CN107146258B (zh) 一种图像显著区域检测方法
Raval et al. Color image segmentation using FCM clustering technique in RGB, L* a* b, HSV, YIQ color spaces
CN107301421A (zh) 车辆颜色的识别方法及装置
Ansari et al. Significance of color spaces and their selection for image processing: a survey
CN114387454A (zh) 一种基于区域筛选模块和多层次对比的自监督预训练方法
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
US20200027216A1 (en) Unsupervised Image Segmentation Based on a Background Likelihood Estimation
CN108537771B (zh) 基于hsv的mc-siltp运动目标检测方法
CN110807398A (zh) 视场区域分割方法及装置
Rejeb et al. Image retrieval using spatial dominant color descriptor
CN110826446B (zh) 无纹理场景视频的视场区域分割方法及装置
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法
Shinde et al. Image object saliency detection using center surround contrast
CN110910398B (zh) 一种基于决策层融合的视频复杂场景区域分割方法和装置
CN110866460B (zh) 一种复杂场景视频中特定目标区域的侦测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200218

RJ01 Rejection of invention patent application after publication