CN112087593A - 视频配置的更新装置、方法以及电子设备 - Google Patents

视频配置的更新装置、方法以及电子设备 Download PDF

Info

Publication number
CN112087593A
CN112087593A CN201910515576.4A CN201910515576A CN112087593A CN 112087593 A CN112087593 A CN 112087593A CN 201910515576 A CN201910515576 A CN 201910515576A CN 112087593 A CN112087593 A CN 112087593A
Authority
CN
China
Prior art keywords
scene
video
image
optical flow
flow calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910515576.4A
Other languages
English (en)
Other versions
CN112087593B (zh
Inventor
韩泽静
张楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910515576.4A priority Critical patent/CN112087593B/zh
Priority to JP2020092420A priority patent/JP2020205586A/ja
Publication of CN112087593A publication Critical patent/CN112087593A/zh
Application granted granted Critical
Publication of CN112087593B publication Critical patent/CN112087593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供一种视频配置的更新装置、方法以及电子设备。所述方法包括：根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将视频拍摄的配置更新为最接近的匹配图像所对应的配置。

Description

视频配置的更新装置、方法以及电子设备
技术领域
本申请实施例涉及视频监控技术领域。
背景技术
视频监控系统在生活中得到广泛应用，例如可以通过摄像头检测多种交通事件。为了检测事件，应该预先设置一些视频拍摄的配置信息(以下简称为视频配置)；例如，车道区域、车道方向、车道线等。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现，摄像头的视角是有限的，视频监控领域的摄像头(例如PTZ camera)有可能因为外力等原因而发生偏移(例如平移或转动)，导致拍摄的场景发生变化；而摄像头偏移后，必须对视频配置进行重置才能保证视频监控的准确性。
针对上述技术问题的至少之一，本申请实施例提供一种视频配置的更新装置、方法以及电子设备。
根据本申请实施例的第一个方面，提供一种视频配置的更新装置，包括：
场景检测单元，其根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；
图像匹配单元，其在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及
配置更新单元，其将视频拍摄的配置更新为最接近的匹配图像所对应的配置。
根据本申请实施例的第二个方面，提供一种视频配置的更新方法，包括：
根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；
在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及
将视频拍摄的配置更新为最接近的匹配图像所对应的配置。
根据本申请实施例的第三个方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行如下操作：根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在所述场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将视频拍摄的配置更新为最接近的匹配图像所对应的配置。
本申请实施例的有益效果之一在于：根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将视频拍摄的配置更新为最接近的匹配图像所对应的配置。由此，不需要控制信号的处理，利用视频信号就能够实现视频配置的更新；并且能够容易地将配置更新集成到事件分析中。
参照后文的说明和附图，详细公开了本申请实施例的特定实施方式，指明了本申请实施例的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请实施例的视频配置的更新方法的示意图；
图2是本申请实施例的分类点状态的示例图；
图3是本申请实施例的分类点状态的另一示例图；
图4是本申请实施例的预设图像的示例图；
图5是本申请实施例的当前图像与预设图像匹配的示例图；
图6是本申请实施例的预设图像的另一示例图；
图7是本申请实施例的当前图像与预设图像匹配的另一示例图；
图8是本申请实施例的对匹配图像进行采样、过滤和选择的示例图；
图9是本申请实施例的偏移校正的示例图；
图10是本申请实施例的视频监控处理的示意图；
图11是本申请实施例的视频配置的更新装置的示意图；
图12是本申请实施例的场景检测单元的示意图；
图13是本申请实施例的电子设备的示意图。
具体实施方式
参照附图，通过下面的说明书，本申请实施例的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请实施例的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
在本申请实施例中，以交通事件和交通监控为例进行说明，可以通过摄像头获得包括多个帧的视频图像，该摄像头可以是用于智能交通(Intelligent Transportation)视频监控的PTZ摄像头，不间断地对监控区域进行拍摄。本申请不限于此，还可以应用到其他的视频监控场景；例如停车场视频监控场景、安保视频监控场景。以下将以交通视频监控场景为例进行说明。
第一方面的实施例
本申请实施例提供一种视频配置的更新方法，图1是本申请实施例的视频配置的更新方法的一示意图，如图1所示，该方法包括：
101，根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；
102，在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及
103，将视频拍摄的配置更新为最接近的匹配图像所对应的配置。
在本申请实施例中，不需要控制信号的处理，利用视频信号就能够实现视频配置的更新；并且能够容易地将配置更新集成到事件分析中。此外，即使在无人值守的情况下，也能自动地实现场景检测和图像匹配，因此不需要人为干预就能够自动地进行配置更新。
值得注意的是，以上附图1仅示意性地对本申请实施例进行了说明，但本申请不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1的记载。
在一些实施例中，操作101中的场景检测(也可称为场景变化检测)包括：从视频图像中选择参考帧并从该参考帧提取多个特征点；根据光流计算从多个特征点中选择视频图像中背景区域(或者相对静止区域)的特征点；以及根据光流计算对特征点进行分类，并根据分类后的特征点的数目计算场景变化率，以及根据场景变化率确定场景是否发生变化。
例如，可以使用特征点和光流计算来检测场景变化。场景检测可以是预处理的一部分，可以每N帧调用一次场景检测。场景检测可以包括三个阶段：初始化阶段、选择阶段、检测阶段(或确定阶段)；可以处于上述任意一个或多个阶段。例如，在一次场景检测调用中，可以在初始化阶段和选择阶段完成后，进入检测阶段；或者也可以在没有触发条件的情况下，直接进入检测阶段。
进行场景检测的图像可以被转换为灰度图像(w×h)，然后调整为αw×αh(0<α≤1)以减少计算量。在接收到第一帧或初始化标志已经设置为真(true)时，进行场景检测的初始化。
在初始化阶段中，可以选择当前帧(例如第一帧)作为参考帧。然后在参考帧上提取特征点。特征点可以是Shi-Tomasi角点、Harris角点或者其他一些特征点，本申请不限于此。如果特征点的数量不足(例如少于预设的阈值)，则场景检测在下一次调用中重新初始化。如果场景检测成功地进行了初始化，则初始化标志被设置为假(false)。
选择阶段可以持续多次地被调用，每次计算特征点的光流；可以使用背景区域上的特征点的光流来检测场景变化。但是特征点还可以在参考帧的前景区域(例如移动物体)上产生，因此需要过滤掉这些特征点。
在一些实施例中，可以对某一特征点计算分数，并根据分数确定该特征点是否为视频图像中背景区域的特征点；例如，可以根据如下至少一个条件计算该特征点的分数：通过光流计算能否找到所述当前帧上的对应点；光流计算的误差是否大于第一阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离是否大于第二阈值。
例如，给每个特征点预先设置分数M，以下条件每满足一次分数将丢失1分：光流计算无法找到当前帧上的对应点；光流计算的误差大于T1，且参考帧上的特征点与当前帧上的对应点之间的距离大于阈值T2。
在M次的光流计算之后，从特征点集合中过滤掉分数小于TM的点。如果剩余的特征点数量不够，可以将初始化标志设置为真，因为大部分情况下这意味着PTZ摄像头正在转动或者有太多移动物体遮挡背景区域。
值得注意的是，关于特征点的提取和光流计算可以参考相关技术，本申请不对此进行详细说明，另外关于如何获得光流计算的误差和如何计算帧之间的距离等，也可以参考相关技术。此外，以上阈值的具体数值可以根据实际情况和经验值确定，本申请实施例并不进行限制。
在检测阶段中，可以计算特征点的光流量，并制定一些规则对特征点进行分类。例如将这些点分为四类：第一类点(未找到点)、第二类点(好点)、第三类点(不稳定点)和第四类点(坏点)。
例如，可以根据如下至少一个条件对某一特征点进行分类：如果通过光流计算不能找到所述当前帧上的对应点，则所述特征点为第一类点；如果光流计算的误差小于第三阈值(T3)，则所述特征点为第二类点；如果光流计算的误差大于或等于所述第三阈值(T3)，并且参考帧上的特征点与当前帧上的对应点之间的距离小于第四阈值(T4)，则所述特征点为第三类点；如果光流计算的误差大于或等于所述第三阈值(T3)，并且参考帧上的特征点与当前帧上的对应点之间的距离大于或等于第四阈值(T4)，则所述特征点为第四类点。
再例如，可以根据如下公式计算场景变化率：
Rsc＝(N4+N1)/(N1+N2+N3+N4)
其中，N1表示第一类点的数目(也可表示为Nnot)，N2表示第二类点的数目(也可表示为Ngood)，N3表示第三类点的数目(也可表示为Nunstable)，N4表示第四类点的数目(也可表示为Nbad)。
图2是本申请实施例的分类点状态的一示例图，示出了特征点、光流(用点之间的线段表示)以及分类点的数目。如图2所示，例如好点(goodPts)的数目为49，不稳定点(unstablePts)的数目为8，坏点(badPts)的数目为2，未找到点(notfoundPts)的数目为0，则计算出的场景变化率(errRate)为0.033898，低于阈值(Threshold)0.5，因此可以确定场景没有发生变化。
图3是本申请实施例的分类点状态的另一示例图，示出了特征点、光流(用点之间的线段表示)以及分类点的数目。如图3所示，例如好点(goodPts)的数目为2，不稳定点(unstablePts)的数目为6，坏点(badPts)的数目为50，未找到点(notfoundPts)的数目为1，则计算出的场景变化率(errRate)为0.864407，高于阈值(Threshold)0.5，因此可以确定场景发生了变化。
值得注意的是，以上仅以上述条件和分类点为例进行了说明，但本申请不限于此，例如还可以使用其他的条件以及其他的分类方法，分类点的种类也不限于4种，可以根据场景确定其他具体的条件。
在一些实施例中，根据场景变化率和/或特征点的数目对场景变化进行第一计数，以及在第一计数增加到第五阈值(T5)的情况下确定场景发生变化。
例如，为了使场景检测更加稳定并减少由环境噪声引起的误检测，可以设置场景变化计数器。如果场景变化率Rsc大于阈值Tsc，则场景变化计数器加1。相反，如果场景变化率Rsc小于阈值Tsc，则场景变化计数器被设置为零。当场景变化计数器达到T5时，场景变化标志被置为真，即确定场景发生了变化。
再例如，为了使得场景检测更加稳定，还可以将特征点的数目作为条件。例如检查好点和不稳定点数目的总和，如果Ngood+Nunstable小于阈值Tgood+unstable，场景变化计数器也加1。
在一些实施例中，还可以根据场景检测对场景变化延迟进行第二计数，以及在第二计数减小到零的情况下进行场景检测的初始化。由此，可以进一步保证在摄像头停止转动之后再进行配置更新。
例如，设置场景变化延迟计数器，并初始值预先被设置为D。每次进行场景检测时，场景变化延迟计数器减1。当场景变化延迟计数器减小到零时，初始化标志被设置为真，并且场景变化标志被设置为假。
以上对操作101中的场景检测进行了示意性说明，以下对于操作102中的图像匹配进行说明。
例如，当检测到PTZ摄像头的拍摄场景改变时，先前的视频配置不再适合当前位置，所以需要在摄像头停止转动后将当前位置与预设位置进行匹配。可以为一个PTZ摄像头设置几个可能的预设位置和相应的视频配置，并保存预设位置的图像(预设图像)以便进行预设匹配。视频配置取决于需要的交通事件，例如，对于反向检测功能，应该设置车道位置和方向。
在一些实施例中，可以使用模板匹配的方法。例如，如果匹配范围是W×H，则blob模板是w×h，可以将每个blob的灰色图像作为模板。匹配函数在W×H的背景图像中滑动，比较w×h的重叠块，比较结果保存在矩阵中，结果矩阵的大小为(W-w+1)×(H-h+1)。
再例如，可以使用归一化相关系数方法进行模板匹配，采用如下所示的公式(1)：
Figure BDA0002094935420000081
Figure BDA0002094935420000082
I表示输入图像，T是模板，R是结果矩阵。在计算相似度之前对图像和模板进行归一化，可以避免由于光照变化引起的误差。R值在-1到1的范围内；1表示图像与模板相同，-1表示相反，0表示没有线性关系。
在一些实施例中，将当前帧(当前图像)和一个预设图像分成多个块(例如9个块)，并将模板匹配方法应用于每个块。将预设图像中的块作为模板，扩展当前图像中相应块的范围，将该扩展块作为输入图像。
图4是本申请实施例的预设图像的一示例图，示出了预设图像1被分为9个块的情况。图5是本申请实施例的当前图像与预设图像匹配的一示例图，示出了预设图像1和当前图像匹配的情况。如图4和5所示，401所示的网格表示块，501所示的网格表示模板匹配的扩展范围。
图6是本申请实施例的预设图像的另一示例图，示出了预设图像2被分为9个块的情况。图7是本申请实施例的当前图像与预设图像匹配的另一示例图，示出了预设图像2和当前图像匹配的情况。如图6和7所示，601所示的网格表示块，701所示的网格表示模板匹配的扩展范围。
如图4至7所示，使用模板匹配方法计算模板块图像和输入块图像之间的匹配度，可以获得每个块的匹配分数；例如9个块有9个匹配度。图5和图7分别显示了每个块的匹配度。
例如，由于一些块可能覆盖一些前景对象，这导致较低的匹配度。因此，可以对匹配度进行排序，然后丢弃一些异常值，最后计算其余值的平均值。该平均值将被视为当前图像与预设图像之间的匹配分数。在将当前图像与每个预设图像匹配之后，可以选择具有最高匹配分数的预设图像作为匹配结果。然后，可以使用匹配的预设图像的视频设置进行更新。
例如，在图5中的预设图像1的最终匹配分数是0.916，而在图7中的预设图像2的匹配分数是0.169。因此，预设图像1是与当前图像最匹配的图像，其视频配置将被更新到缓冲区，用于后续事件的检测。
以上对于图像匹配进行了示意性说明，以下将对偏移校正和抖动校正进行说明。
在一些实施例中，根据匹配图像中的采样点进行光流计算，来检测当前帧与匹配图像之间的偏移；以及根据偏移的检测结果对视频图像进行偏移校正。
例如，有时在PTZ摄像头的转动过程中可能会出现机械错误，所以需要检测图像的偏移(移位)。如上所述，可以为每个场景设置一个预设图像。在检测到场景变化后，当前图像与预设图像匹配时，可以计算当前图像相对于预设图像的偏移。
图8是本申请实施例的对匹配图像进行采样、过滤和选择的一示例图。例如，在匹配图像中均匀地采样一些点；以部分为例，这些采样点如图8中的801所示，并使用光流跟踪这些采样点在当前图像中的位置。
例如，在光流计算之后，可以省略无法跟踪的点和光流计算的误差大于T6的点；然后还通过它们在当前图像和匹配图像中的移动距离对这些点进行排序，移动距离大于T7的点将在排序之前被省略；然后前T8％的点和后T9％的点也被省略。以部分为例，这些省略点如图8中的802所示。
然后可以计算出部分仿射变换矩阵(partial affine transpose matrix)，在当前图像中得到剩余点及其位置的偏移；以部分为例，这些剩余点如图8中的803所示。偏移计算可以进行多次，多次计算得到的偏移结果的平均值被应用于校正。
图9是本申请实施例的偏移校正的一示例图，左边示出了偏移图像的情况，右边示出了该偏移图像被校正的情况。
在一些实施例中，根据视频图像中连续两个帧的特征点进行光流计算，来检测视频图像的抖动；以及根据抖动的检测结果对视频图像进行抖动校正(或者也可以称为视频校正)。
例如，视频图像可能由于风力或由于通过重型车辆而产生抖动，该抖动会使分析的视频不稳定，因此需要进行抖动校正。为了检测和纠正这些抖动的影响，需要得到两个连续帧的变换矩阵。
可以在第一帧上提取一些特征点，然后使用光流计算跟踪它们在第二帧上的位置。为了减弱视频中运动物体的影响，可以制定简单的规则来为部分仿射变换矩阵选择合适的点。
例如，可以省略在第二帧上找不到位置的点。然后考虑光流计算的误差，如果误差大于T10，则省略这些点。对于剩余的点，按在两帧之间移动的距离进行排序。可以省略前T11％的点，省略后T12％的点。然后通过在两个连续帧中使用这些剩余点的位置，可以得到部分仿射变换矩阵A。
利用部分仿射变换矩阵A，可以用下面的方程计算抖动值(dx，dy，dθ)：
Figure BDA0002094935420000101
dx＝c
dy＝d
Figure BDA0002094935420000102
在得到抖动值之后，可以使用卡尔曼滤波器等来使抖动校正更平滑并降低噪声。可以将从卡尔曼滤波器获得的新抖动值用于抖动校正。关于部分仿射变换矩阵和光流计算的具体内容可以参考相关技术；此外，关于阈值T1至T12的具体数值，例如可以根据经验值而确定。
以上对偏移校正和抖动校正进行了示意性说明，以下再对视频配置的更新进行示例性说明。
图10是本申请实施例的视频监控处理的一示意图，以两个线程为例示出了视频监控处理的部分情况。如图10所示，例如可以使用预处理线程和分析线程两个线程；预处理线程用于摄像头异常检测和校正，分析线程用于交通事件分析。
例如，预处理线程将向分析线程提供以下信息：
表1
名称 描述
偏移标志 1表示检测到从预设位置发送偏移；0表示没有发生偏移
场景变化标志 1表示检测到场景变化；0表示正常
校正后的图像 通过视频校正后的图像
预设ID 预设图像匹配的结果
如图10所示，可以输入视频序列。当一个新帧被输入时，判断是否是第一个帧(1001)；如果是第一个帧，则直接进行预设图像的匹配(1002)，并将匹配结果报告给分析线程进行初始化操作(2001)。如果不是第一个帧，则进行场景检测(1003)，并确定场景是否变化(1004)，例如判断摄像头是否正在转动；如果检测到场景变化，则进行预设图像的匹配(1002)，然后根据预设图像的匹配结果更新视频配置(1005)。
如图10所示，还可以进行偏移检测以及存在偏移的情况下进行偏移校正(1006)。此外，如图10所示，还可以进行抖动检测以及存在抖动的情况下进行抖动校正(1007，或者也称为视频校正)，并将校正后的图像传送到分析线程。值得注意的是，抖动校正并不一定在偏移校正之后进行，例如也可以在场景检测之前进行，由此可以进一步提高场景检测的准确性。
如图10所示，在分析线程中，可以进行初始化操作(2001)。此外还可以进行前景检测(2002)、目标检测(2003)、追踪(2004)和事件判断(2005)等等，具体内容可以参考相关技术。
以上仅对与本申请相关的各步骤或过程进行了说明，但本申请不限于此。号码识别方法还可以包括其他步骤或者过程，关于这些步骤或者过程的具体内容，可以参考现有技术。此外，以上仅以上述公式为例对本申请实施例进行了示例性说明，但本申请不限于这些公式，还可以对这些公式进行适当的变型，这些变型的实施方式均应包含在本申请实施例的范围之内。
以上各个实施例仅对本申请实施例进行了示例性说明，但本申请不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
由上述实施例可知，根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将视频拍摄的配置更新为最接近的匹配图像所对应的配置。由此，不需要控制信号的处理，利用视频信号就能够实现视频配置的更新；并且能够容易地将配置更新集成到事件分析中。
第二方面的实施例
本申请实施例提供一种视频配置的更新装置，与第一方面的实施例相同的内容不再赘述。
图11是本申请实施例的视频配置的更新装置的一示意图，如图11所示，视频配置的更新装置1100包括：
场景检测单元1101，其根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；
图像匹配单元1102，其在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及
配置更新单元1103，其将视频拍摄的配置更新为最接近的匹配图像对应的配置。
在一些实施例中，如图11所示，视频配置的更新装置1100还包括：
偏移检测单元1104，其根据匹配图像中的采样点进行光流计算，来检测当前帧与匹配图像之间的偏移；以及
偏移校正单元1105，其根据偏移的结果对视频图像进行偏移校正。
在一些实施例中，如图11所示，视频配置的更新装置1100还包括：
抖动检测单元1106，其根据视频图像中连续两个帧的特征点进行光流计算，来检测视频图像的抖动；以及
抖动校正单元1107，其根据抖动的结果对视频图像进行抖动校正。
值得注意的是，以上仅对与本申请相关的各部件进行了说明，但本申请不限于此。视频配置的更新装置1100还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考现有技术。
图12是本申请实施例的场景检测单元的一示意图。在一些实施例中，如图12所示，场景检测单元1101包括：
初始化单元1201，其从视频图像中选择参考帧并从参考帧提取多个特征点；
选择单元1202，其根据光流计算从多个特征点中选择视频图像中背景区域的特征点；以及
确定单元1203，其根据光流计算对所述特征点进行分类，并根据分类后的特征点的数目计算场景变化率，以及根据所述场景变化率确定场景是否发生变化。
在一些实施例中，选择单元1202对某一特征点计算分数，并根据所述分数确定所述特征点是否为视频图像中背景区域的特征点。
在一些实施例中，选择单元1202根据如下至少一个条件计算所述特征点的分数：通过光流计算能否找到所述当前帧上的对应点；光流计算的误差是否大于第一阈值，并且所述参考帧上的特征点与所述当前帧上的点之间的距离是否大于第二阈值。
在一些实施例中，确定单元1203根据如下至少一个条件对某一特征点进行分类：如果通过光流计算不能找到所述当前帧上的对应点，则所述特征点为第一类点；如果光流计算的误差小于第三阈值，则所述特征点为第二类点；如果光流计算的误差大于或等于所述第三阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离小于第四阈值，则所述特征点为第三类点；如果光流计算的误差大于或等于所述第三阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离大于或等于所述第四阈值，则所述特征点为第四类点。
在一些实施例中，确定单元1203根据如下公式计算场景变化率：
Rsc＝(N4+N1)/(N1+N2+N3+N4)
其中，N1表示所述第一类点的数目，N2表示所述第二类点的数目，N3表示所述第三类点的数目，N4表示所述第四类点的数目。
在一些实施例中，确定单元1203还用于根据场景变化率和/或特征点的数目对场景变化进行第一计数，以及在第一计数增加到第五阈值的情况下确定场景发生变化。
在一些实施例中，确定单元1203还用于根据场景检测对场景变化延迟进行第二计数，以及在第二计数减小到零的情况下进行场景检测的初始化。
为了简单起见，图11和12中仅示例性示出了各个部件或模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器等硬件设施来实现；本申请实施例并不对此进行限制。
以上各个实施例仅对本申请实施例进行了示例性说明，但本申请不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
由上述实施例可知，根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将视频拍摄的配置更新为最接近的匹配图像所对应的配置。由此，不需要控制信号的处理，利用视频信号就能够实现视频配置的更新；并且能够容易地将配置更新集成到事件分析中。
第三方面的实施例
本申请实施例提供一种电子设备，包括有如第二方面的实施例所述的视频配置的更新装置，其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本申请实施例不限于此。
图13是本申请实施例的电子设备的示意图。如图13所示，电子设备1300可以包括：处理器(例如中央处理器CPU)1310和存储器1320；存储器1320耦合到中央处理器1310。其中该存储器1320可存储各种数据；此外还存储信息处理的程序1321，并且在处理器1310的控制下执行该程序1321。
在一些实施例中，视频配置的更新装置1100的功能被集成到处理器1310中实现。其中，处理器1310被配置为实现如第一方面的实施例所述的视频配置的更新方法。
在一些实施例中，视频配置的更新装置1100与处理器1310分开配置，例如可以将视频配置的更新装置1100配置为与处理器1310连接的芯片，通过处理器1310的控制来实现视频配置的更新装置1100的功能。
在一些实施例中，处理器1310被配置为进行如下的控制：根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将视频拍摄的配置更新为最接近的匹配图像所对应的配置。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据匹配图像中的采样点进行光流计算，来检测当前帧与匹配图像之间的偏移；以及根据偏移的结果对视频图像进行偏移校正。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据视频图像中连续两个帧的特征点进行光流计算，来检测视频图像的抖动；以及根据抖动的结果对视频图像进行抖动校正。
在一些实施例中，处理器1310还被配置为进行如下的控制：从视频图像中选择参考帧并从参考帧中提取多个特征点；根据光流计算从多个特征点中选择视频图像中背景区域的特征点；以及根据光流计算对特征点进行分类，并根据分类后的特征点的数目计算场景变化率，以及根据所述场景变化率确定场景是否发生变化。
在一些实施例中，处理器1310还被配置为进行如下的控制：对某一特征点计算分数，并根据所述分数确定所述特征点是否为视频图像中背景区域的特征点。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据如下至少一个条件计算所述特征点的分数：通过光流计算能否找到所述当前帧上的对应点；光流计算的误差是否大于第一阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离是否大于第二阈值。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据如下至少一个条件对某一特征点进行分类：如果通过光流计算不能找到所述当前帧上的对应点，则所述特征点为第一类点；如果光流计算的误差小于第三阈值，则所述特征点为第二类点；如果光流计算的误差大于或等于所述第三阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离小于第四阈值，则所述特征点为第三类点；如果光流计算的误差大于或等于所述第三阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离大于或等于所述第四阈值，则所述特征点为第四类点。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据如下公式计算所述场景变化率：
Rsc＝(N4+N1)/(N1+N2+N3+N4)
其中，N1表示所述第一类点的数目，N2表示所述第二类点的数目，N3表示所述第三类点的数目，N4表示所述第四类点的数目。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据场景变化率和/或特征点的数目对场景变化进行第一计数，以及在第一计数增加到第五阈值的情况下确定场景发生变化。
在一些实施例中，处理器1310还被配置为进行如下的控制：根据场景检测对场景变化延迟进行第二计数，以及在第二计数减小到零的情况下进行场景检测的初始化。
此外，如图13所示，电子设备1300还可以包括：输入输出(I/O)设备1330和显示器1340等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备1300也并不是必须要包括图13中所示的所有部件；此外，电子设备1300还可以包括图13中没有示出的部件，可以参考相关技术。
本申请实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如第一方面的实施例所述的视频配置的更新方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如第一方面的实施例所述的视频配置的更新方法。
本申请以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本申请涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本申请还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本申请实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。

Claims (10)

1.一种视频配置的更新装置，其特征在于，所述装置包括：
场景检测单元，其根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；
图像匹配单元，其在所述场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及
配置更新单元，其将所述视频拍摄的配置更新为所述最接近的匹配图像所对应的配置。
2.根据权利要求1所述的装置，其中，所述装置还包括：
偏移检测单元，其根据所述匹配图像中的采样点进行光流计算，来检测所述当前帧与所述匹配图像之间的偏移；以及
偏移校正单元，其根据所述偏移的检测结果对所述视频图像进行偏移校正。
3.根据权利要求1所述的装置，其中，所述装置还包括：
抖动检测单元，其根据所述视频图像中连续两个帧的特征点进行光流计算，来检测所述视频图像的抖动；以及
抖动校正单元，其根据所述抖动的检测结果对所述视频图像进行抖动校正。
4.根据权利要求1所述的装置，其中，所述场景检测单元包括：
初始化单元，其从所述视频图像中选择参考帧并从所述参考帧提取多个特征点；
选择单元，其根据光流计算从所述多个特征点中选择所述视频图像中背景区域的特征点；以及
确定单元，其根据光流计算对所述特征点进行分类，并根据分类后的特征点的数目计算场景变化率，以及根据所述场景变化率确定场景是否发生变化。
5.根据权利要求4所述的装置，其中，所述选择单元对某一特征点计算分数，并根据所述分数确定所述特征点是否为所述视频图像中背景区域的特征点；
其中，所述选择单元根据如下至少一个条件计算所述特征点的分数：通过光流计算能否找到所述当前帧上的对应点；光流计算的误差是否大于第一阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离是否大于第二阈值。
6.根据权利要求4所述的装置，其中，所述确定单元根据如下至少一个条件对某一特征点进行分类：
如果通过光流计算不能找到所述当前帧上的对应点，则所述特征点为第一类点；
如果光流计算的误差小于第三阈值，则所述特征点为第二类点；
如果光流计算的误差大于或等于所述第三阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离小于第四阈值，则所述特征点为第三类点；
如果光流计算的误差大于或等于所述第三阈值，并且所述参考帧上的特征点与所述当前帧上的对应点之间的距离大于或等于所述第四阈值，则所述特征点为第四类点；
所述确定单元根据如下公式计算所述场景变化率：
Rsc＝(N4+N1)/(N1+N2+N3+N4)
其中，N1表示所述第一类点的数目，N2表示所述第二类点的数目，N3表示所述第三类点的数目，N4表示所述第四类点的数目。
7.根据权利要求4所述的装置，其中，所述确定单元还用于根据所述场景变化率和/或所述特征点的数目对所述场景变化进行第一计数，以及在所述第一计数增加到第五阈值的情况下确定所述场景发生变化。
8.根据权利要求4所述的装置，其中，所述确定单元还用于根据场景检测对场景变化延迟进行第二计数，以及在所述第二计数减小到零的情况下进行所述场景检测的初始化。
9.一种视频配置的更新方法，其特征在于，所述方法包括：
根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；
在所述场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及
将所述视频拍摄的配置更新为所述最接近的匹配图像所对应的配置。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行如下操作：根据视频图像中多个帧的特征点进行光流计算，来检测视频拍摄的场景是否发生变化；在所述场景发生变化的情况下，基于块对当前帧和多个预设图像分别进行匹配度计算，以找出与当前场景最接近的匹配图像；以及将所述视频拍摄的配置更新为所述最接近的匹配图像所对应的配置。
CN201910515576.4A 2019-06-14 2019-06-14 视频配置的更新装置、方法以及电子设备 Active CN112087593B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910515576.4A CN112087593B (zh) 2019-06-14 2019-06-14 视频配置的更新装置、方法以及电子设备
JP2020092420A JP2020205586A (ja) 2019-06-14 2020-05-27 ビデオ構成の更新装置、方法及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910515576.4A CN112087593B (zh) 2019-06-14 2019-06-14 视频配置的更新装置、方法以及电子设备

Publications (2)

Publication Number Publication Date
CN112087593A true CN112087593A (zh) 2020-12-15
CN112087593B CN112087593B (zh) 2022-10-14

Family

ID=73733921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910515576.4A Active CN112087593B (zh) 2019-06-14 2019-06-14 视频配置的更新装置、方法以及电子设备

Country Status (2)

Country Link
JP (1) JP2020205586A (zh)
CN (1) CN112087593B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911149A (zh) * 2021-01-28 2021-06-04 维沃移动通信有限公司 图像输出方法、装置、电子设备及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113038176B (zh) * 2021-03-19 2022-12-13 北京字跳网络技术有限公司 视频抽帧方法、装置和电子设备
CN113421431B (zh) * 2021-06-17 2022-12-02 京东方科技集团股份有限公司 应急通道监测方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246547A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 一种根据场景变化特征对视频中运动物体检测的方法
CN101364265A (zh) * 2008-09-18 2009-02-11 北京中星微电子有限公司 自动配置电子设备的设备参数的方法及摄像头
JP2011060167A (ja) * 2009-09-14 2011-03-24 Secom Co Ltd 移動物体追跡装置
CN102480595A (zh) * 2010-11-19 2012-05-30 富士通株式会社 图像处理设备、图像处理方法和计算机可读信息记录介质
CN102883099A (zh) * 2011-07-14 2013-01-16 中国移动通信有限公司 一种拍摄防抖方法及装置
CN103458155A (zh) * 2013-08-01 2013-12-18 北京邮电大学 视频场景变换检测方法和系统及体验质量检测方法和系统
CN103646391A (zh) * 2013-09-30 2014-03-19 浙江大学 一种针对动态变化场景的实时摄像机跟踪方法
CN105554439A (zh) * 2014-10-23 2016-05-04 安讯士有限公司 视频处理所使用的至少一个参数的修改
CN105847767A (zh) * 2016-05-31 2016-08-10 浪潮通用软件有限公司 一种告警方法、装置及系统
CN106851049A (zh) * 2017-03-06 2017-06-13 济南中维世纪科技有限公司 一种基于视频分析的场景变更检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246547A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 一种根据场景变化特征对视频中运动物体检测的方法
CN101364265A (zh) * 2008-09-18 2009-02-11 北京中星微电子有限公司 自动配置电子设备的设备参数的方法及摄像头
JP2011060167A (ja) * 2009-09-14 2011-03-24 Secom Co Ltd 移動物体追跡装置
CN102480595A (zh) * 2010-11-19 2012-05-30 富士通株式会社 图像处理设备、图像处理方法和计算机可读信息记录介质
CN102883099A (zh) * 2011-07-14 2013-01-16 中国移动通信有限公司 一种拍摄防抖方法及装置
CN103458155A (zh) * 2013-08-01 2013-12-18 北京邮电大学 视频场景变换检测方法和系统及体验质量检测方法和系统
CN103646391A (zh) * 2013-09-30 2014-03-19 浙江大学 一种针对动态变化场景的实时摄像机跟踪方法
CN105554439A (zh) * 2014-10-23 2016-05-04 安讯士有限公司 视频处理所使用的至少一个参数的修改
CN105847767A (zh) * 2016-05-31 2016-08-10 浪潮通用软件有限公司 一种告警方法、装置及系统
CN106851049A (zh) * 2017-03-06 2017-06-13 济南中维世纪科技有限公司 一种基于视频分析的场景变更检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱娟娟等: "一种鲁棒的电子稳像系统", 《西安电子科技大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911149A (zh) * 2021-01-28 2021-06-04 维沃移动通信有限公司 图像输出方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
JP2020205586A (ja) 2020-12-24
CN112087593B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN112087593B (zh) 视频配置的更新装置、方法以及电子设备
US9773322B2 (en) Image processing apparatus and image processing method which learn dictionary
US7460689B1 (en) System and method of detecting, recognizing, and tracking moving targets
CN111047908B (zh) 跨线车辆的检测装置、方法及视频监控设备
US20080181499A1 (en) System and method for feature level foreground segmentation
JP6532317B2 (ja) 物体追尾装置、物体追尾方法及びプログラム
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN112997190A (zh) 车牌识别方法、装置及电子设备
CN112598746B (zh) 电梯门开关检测方法、装置、可读介质及电子设备
WO2018058530A1 (zh) 目标检测方法、装置以及图像处理设备
CN112861870B (zh) 指针式仪表图像矫正方法、系统及存储介质
EP3726421A2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
CN113918510A (zh) 图片归档方法、装置、终端设备及计算机可读存储介质
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN113989761A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN109255797B (zh) 图像处理装置及方法、电子设备
Patro Design and implementation of novel image segmentation and BLOB detection algorithm for real-time video surveillance using DaVinci processor
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Waykole et al. Detecting and tracking of moving objects from video
CN113269007A (zh) 道路监控视频的目标跟踪装置以及方法
Xie et al. Robust vehicles extraction in a video-based intelligent transportation systems
CN110782425A (zh) 图像处理方法、图像处理装置和电子设备
CN110781710B (zh) 一种目标对象聚类方法及装置
CN113762027A (zh) 一种异常行为的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant