CN106027931A - 视频录制方法及服务器 - Google Patents

视频录制方法及服务器 Download PDF

Info

Publication number
CN106027931A
CN106027931A CN201610234956.7A CN201610234956A CN106027931A CN 106027931 A CN106027931 A CN 106027931A CN 201610234956 A CN201610234956 A CN 201610234956A CN 106027931 A CN106027931 A CN 106027931A
Authority
CN
China
Prior art keywords
image
sub regions
image block
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610234956.7A
Other languages
English (en)
Other versions
CN106027931B (zh
Inventor
王健宗
夏磊豪
马进
刘铭
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201610234956.7A priority Critical patent/CN106027931B/zh
Publication of CN106027931A publication Critical patent/CN106027931A/zh
Priority to EP17781878.8A priority patent/EP3445044B1/en
Priority to US15/737,323 priority patent/US10349003B2/en
Priority to KR1020187019521A priority patent/KR102155182B1/ko
Priority to SG11201800364YA priority patent/SG11201800364YA/en
Priority to AU2017250159A priority patent/AU2017250159B2/en
Priority to PCT/CN2017/080113 priority patent/WO2017177902A1/zh
Priority to JP2018524835A priority patent/JP6425856B1/ja
Application granted granted Critical
Publication of CN106027931B publication Critical patent/CN106027931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种视频录制方法，包括：每隔预设时间段抽取一监控摄像头所捕获的第一图像；对第一图像进行区域检测，以提取出包含目标物部分部位或者全部部位的兴趣区域；对所述兴趣区域执行运动区域筛选，以筛选出目标区域；对目标区域进行分割，以将每个目标区域分割成多个子区域；每隔预设时间抽取所述监控摄像头所捕获的第二图像；将第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件；及当某一个子区域发生了运动事件时，控制所述监控摄像头从当前抽取的第二图像开始进行视频录制。本发明还提供一种适用于上述方法的服务器。本发明可以减少不必要的视频帧的录制。

Description

视频录制方法及服务器
技术领域
本发明涉及视频处理技术领域，特别是一种视频录制方法及服务器。
背景技术
汽车在修理厂进行修理的过程中，监控系统会全天候不间断地进行影像录制，因此在没有进行汽车修理时也会进行影像录制，于是会产生大量的静态视频帧。保留大量这样的静态视频帧会造成存储空间和网络带宽的浪费。此外，在影像中查看检索关键信息时，要从长时间的静态视频帧中才能找到关键信息，浪费时间和精力，甚至可能会错过关键帧。
目前已有的视频录制方法会监控全景，只有当有动作发生时才会触发录制动作，这样的功能可以从一定程度上缓解上述问题。但存在的问题是不相关的动作也会触发录制动作。例如，在待修理车辆5米外有一个行人走过时，尽管和待修理车辆没有任何关系，但因为有动作触发，也会进行影像录制，还是会造成信息冗余。
发明内容
鉴于以上内容，有必要提供一种视频录制方法及服务器，其可以减少不必要的视频帧的录制。
所述一种视频录制方法包括：
每隔第一预设时间段抽取一监控摄像头所捕获的第一图像；
利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标物部分部位或者全部部位的兴趣区域；
利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域；
按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域；
每隔第二预设时间抽取所述监控摄像头所捕获的第二图像；
将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件；及
当某一个子区域发生了运动事件时，控制所述监控摄像头从当前抽取的第二图像开始进行视频录制。
优选地，所述预先建立的模型为卷积神经网络模型。
优选地，所述分析规则为：
分析是否有提取的兴趣区域处于预设的像素区域范围内，所述预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)；
若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。
优选地，所述分割规则为：采用均匀分割方式对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数。
优选地，所述判断各个子区域是否发生了运动事件的步骤包括：
将当前抽取的第二图像处于每个子区域中的图像块中的各个像素点的像素值和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值；
对每个子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得每个子区域中的图像块对应的差值平均值；及
若有子区域中的图像块对应的差值平均值大于预设阈值，则确定该子区域发生了运动事件。
所述服务器包括存储设备以及处理器，其中：
所述存储设备，用于存储一个视频录制系统；
所述处理器，用于调用并执行所述视频录制系统，以执行如下步骤：
每隔第一预设时间段抽取一监控摄像头所捕获的第一图像；
利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标物部分部位或者全部部位的兴趣区域；
利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域；
按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域；
每隔第二预设时间抽取所述监控摄像头所捕获的第二图像；
将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件；及
当某一个子区域发生了运动事件时，控制所述监控摄像头从当前抽取的第二图像开始进行视频录制。
优选地，所述预先建立的模型为卷积神经网络模型
优选地，所述分析规则为：分析是否有提取的兴趣区域处于预设的像素区域范围内，所述预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)；若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。
优选地，所述分割规则为：采用均匀分割方式对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数。
优选地，所述判断各个子区域是否发生了运动事件的步骤包括：
将当前抽取的第二图像处于每个子区域中的图像块各个像素点的像素值，和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值；
对每个子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得每个子区域中的图像块对应的差值平均值；及
若有子区域中的图像块对应的差值平均值大于预设阈值，则确定该子区域发生了运动事件。
本发明所述视频录制方法及适用于该方法的服务器，可以减少不必要的视频帧的录制，减少存储空间和网络带宽的浪费。
附图说明
图1是本发明视频录制系统第一较佳实施例的硬件环境示意图。
图2是本发明视频录制系统第二较佳实施例的硬件环境示意图。
图3是本发明视频录制系统较佳实施例的功能模块图。
图4是本发明视频录制方法较佳实施例的方法实施流程图。
图5是图4所述视频录制方法较佳实施例中判断各个子区域是否发生了运动事件的详细实施流程图。
具体实施方式
参阅图1所示，是本发明视频录制系统第一较佳实施例的硬件环境示意图。
本实施例中，所述视频录制系统10可以安装并运行于一服务器中。如图1所示，所述服务器可以是一台监控服务器1。所述监控服务器1可以通过一通讯模块(未图示)与一监控场所2中所安装的一个或者多个监控摄像头3通讯连接。
所述监控场所2可以是学校、幼儿园、商场、医院、公园、城市广场、地下人行通道等人员较多的场所，也可以是需求安装监控的特殊区域，如家庭、小超市、ATM(Automatic Teller Machine)机等。本实施例中，所述监控场所2为汽车修理厂，如4S店。
所述监控场所2中安装有一个或者多个监控摄像头3。所述监控摄像头3可以是模拟摄像头。所述模拟摄像头可以将视频采集设备产生的模拟视频信号经过特定的视频捕捉卡转换成数字信号，进而将其传输并储存在于监控服务器1中。本实施例中，所述监控摄像头3是网络摄像头。所述网络摄像头固定好后，用网线与路由器连接，通过路由器与监控服务器1通讯连接，以由监控服务器1进行视频输出。
所述监控服务器1可以包括有处理器以及存储设备(未图示)。所述处理器是运算核心(Core Unit)和控制核心(Control Unit)，用于解释计算机指令以及处理计算机软件中的数据。所述存储设备可以是一个或者多个非易失性存储单元，如ROM、EPROM或Flash Memory(快闪存储单元)等。所述存储设备可以内置或者外接于监控服务器1。
本实施例中，所述视频录制系统10可以是一种计算机软件，其包括计算机可执行的程序指令代码，该程序指令代码可以存储于所述存储设备中，在所述处理器的执行下，实现下述功能：
每隔第一预设时间段，如每隔5分钟，抽取一监控摄像头3所捕获的第一图像；利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标物，如车辆部分部位或者全部部位的兴趣区域；利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域；按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域；每隔第二预设时间，如0.5秒钟，抽取所述监控摄像头3所捕获的第二图像；将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件；当某一个子区域发生了运动事件时，控制所述监控摄像头3从当前抽取的第二图像开始进行视频录制。
其中，所述预先建立的模型为卷积神经网络(Convolutional Neural Network，CNN)模型。
所述模型生成步骤包括：
从各个车辆修理厂数据库中获取各个车辆修理工位监控设备采集的预设数量(例如，10万张)修理工位图像；由于目前修理厂的监控视频已经有很多，本实施例中，可以从中筛选动态视频，并提取关键帧，从而获取大量图像。对采集的各个照片中车辆所处区域进行标注，其中，在标注的过程中，可以用矩形框标注车辆位置，并且给出标注。这一过程可以采用众包或者公司内部人工标注的形式进行，标注的车辆所处区域即是兴趣区域。利用标注车辆所处区域后的预设数量图像，训练预设模型结构的CNN模型，以生成识别图像中所述兴趣区域的CNN模型。训练的目的是优化CNN网络内各权重的值，使得网络模型作为整体可实际较好地适用于所述兴趣区域的识别。网络模型总共有七层，分别是五个卷积层、一个降采样层和一个全连接层。其中，卷积层由很多个特征向量构造的特征图形成，而特征图的作用就是利用卷积滤波器提取关键特征。降采样层的作用是通过采样方法，去除重复表达的特征点，减少特征提取的数量，从而提高网络层间数据通信效率，可用的采样方法包括最大采样法、均值采样法、随机采样法。全连接层的作用是连接前面的卷积层与降采样，并计算权重矩阵，用于后续的实际分类。图像进入模型后，在每一层均经过前向迭代与后向迭代两个过程，每一次迭代生成一个概率分布，多次迭代后的概率分布进行叠加，系统选取概率分布中取得最大值的类别作为最终的分类结果。
其中，所述分析规则为：分析是否有提取的兴趣区域处于预设的像素区域范围内，例如，预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)，所述X1代表的是第X1列像素点，所述X2代表的是第X2列像素点，X1小于X2，所述Y1代表的是第Y1行像素点，所述Y2代表的是第Y2行像素点，且Y1小于Y2；若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。该分析规则的原理为：修理厂的监控一般都会对准一个修理工位，保证车辆占据镜头的主要区域“即中间区域”，因此，所述预设的像素区域范围需尽量涵盖镜头的主要区域；该范围不宜过大，防止多个兴趣区域落入其中；该范围亦不宜过小，防止目标区域难以落入其中；可以通过人工的方式校验所述横坐标区域范围和纵坐标区域范围，若过大，则调小，若过小，则调大。
其中，所述分割规则为：采用均匀分割方式，即分割的子区域面积大小、形状均一致，对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数，例如，8*8。采用N*N的子区域进行运动检测而不是针对整体目标进行检测主要有两点考虑：第一是精度，若只是针对目标整体进行像素值比较，可能较小的动作会被其他静态的部位平均掉，导致无法检测到这样的细微动作；第二是效率，可能动作只是发生在某一个区域，则只要检测出这个子区域有动作，即可保存该帧，没有必要继续检测其他部位。例如，在一个例子中，以8*8个子区域为例，若在第一个子区域上检测到了动作，则不需要检测剩下的63个子区域，从而能将效率提高64倍。
其中，所述判断各个子区域是否发生了运动事件的步骤包括：将当前抽取的第二图像处于每个子区域中的图像块各个像素点的像素值，和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值；对每个子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得每个子区域中的图像块对应的差值平均值；及若有子区域中的图像块对应的差值平均值大于预设阈值，则确定该子区域发生了运动事件。
在本发明其他较佳实施例中，所述视频录制系统10也可以安装并运行于任何一个终端设备中，如图2所示的移动终端4。所述移动终端4可以是智能手机、平板电脑、笔记本电脑、穿戴式手表、穿戴式眼镜等便携式的电子设备。所述终端设备2也包括有处理器以及存储设备(未图示)。所述视频录制系统10可以存储于所述终端设备2的存储设备中，在所述终端设备2的处理器的执行下，实现上述功能。
参阅图3所示，是本发明视频录制系统较佳实施例的功能模块图。
所述视频录制系统10的程序代码根据其不同的功能，可以划分为多个功能模块。本发明较佳实施例中，所述视频录制系统10可以包括第一图像获取模块100、建模模块101、筛选模块102、分割模块103、第二图像获取模块104、运动侦测模块105及视频录制模块106。
所述第一图像获取模块100用于每隔第一预设时间段，如每隔5分钟，抽取一监控摄像头3所捕获的第一图像。
所述建模模块101用于利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标如，如车辆部分部位或者全部部位的兴趣区域。
其中，所述预先建立的模型为卷积神经网络(Convolutional Neural Network，CNN)模型。
所述预设类型模型生成步骤包括：
从各个车辆修理厂数据库中获取各个车辆修理工位监控设备采集的预设数量(例如，10万张)修理工位图像；由于目前修理厂的监控视频已经有很多，本实施例中，可以从中筛选动态视频，并提取关键帧，从而获取大量图像。对采集的各个照片中车辆所处区域进行标注，其中，在标注的过程中，可以用矩形框标注车辆位置，并且给出标注。这一过程可以采用众包或者公司内部人工标注的形式进行，标注的车辆所处区域即是兴趣区域。利用标注车辆所处区域后的预设数量图像，训练预设模型结构的CNN模型，以生成识别图像中所述兴趣区域的CNN模型。训练的目的是优化CNN网络内各权重的值，使得网络模型作为整体可实际较好地适用于所述兴趣区域的识别。网络模型总共有七层，分别是五个卷积层、一个降采样层和一个全连接层。其中，卷积层由很多个特征向量构造的特征图形成，而特征图的作用就是利用卷积滤波器提取关键特征。降采样层的作用是通过采样方法，去除重复表达的特征点，减少特征提取的数量，从而提高网络层间数据通信效率，可用的采样方法包括最大采样法、均值采样法、随机采样法。全连接层的作用是连接前面的卷积层与降采样，并计算权重矩阵，用于后续的实际分类。图像进入模型后，在每一层均经过前向迭代与后向迭代两个过程，每一次迭代生成一个概率分布，多次迭代后的概率分布进行叠加，系统选取概率分布中取得最大值的类别作为最终的分类结果。
所述筛选模块102用于利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域。
其中，所述分析规则为：分析是否有提取的兴趣区域处于预设的像素区域范围内，例如，预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)；若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。该分析规则的原理为：修理厂的监控一般都会对准一个修理工位，保证车辆占据镜头的主要区域“即中间区域”，因此，所述预设的像素区域范围需尽量涵盖镜头的主要区域；该范围不宜过大，防止多个兴趣区域落入其中；该范围亦不宜过小，防止目标区域难以落入其中；可以通过人工的方式校验所述横坐标区域范围和纵坐标区域范围，若过大，则调小，若过小，则调大。
所述分割模块103用于按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域。
其中，所述分割规则为：采用均匀分割方式，即分割的子区域面积大小、形状均一致，对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数，例如，8*8。采用N*N的子区域进行运动检测而不是针对整体目标进行检测主要有两点考虑：第一是精度，若只是针对目标整体进行像素值比较，可能较小的动作会被其他静态的部位平均掉，导致无法检测到这样的细微动作；第二是效率，可能动作只是发生在某一个区域，则只要检测出这个子区域有动作，即可保存该帧，没有必要继续检测其他部位。例如，在一个例子中，以8*8个子区域为例，若在第一个子区域上检测到了动作，则不需要检测剩下的63个子区域，从而能将效率提高64倍。
所述第二图像获取模块104用于每隔第二预设时间，如0.5秒钟，抽取所述监控摄像头3所捕获的第二图像。
所述运动侦测模块105用于将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件。
其中，所述判断各个子区域是否发生了运动事件的步骤包括：将当前抽取的第二图像处于其中一个子区域中的图像块的各个像素点的像素值和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值；对该子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得该子区域中的图像块对应的差值平均值；及若有子区域中的图像块对应的差值平均值大于预设阈值，则确定该子区域发生了运动事件。
所述视频录制模块106用于当某一个子区域发生了运动事件时，控制所述监控摄像头3从当前抽取的第二图像开始进行视频录制。
参阅图4所示，是本发明视频录制方法较佳实施例的方法实施流程图。本实施例所述视频录制方法并不限于流程图中所示步骤，此外流程图中所示步骤中，某些步骤可以省略、步骤之间的顺序可以改变。
步骤S10，第一图像获取模块100每隔第一预设时间段，如每隔5分钟，抽取一监控摄像头3所捕获的第一图像。
步骤S11，建模模块101利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标物，如车辆部分部位或者全部部位的兴趣区域。
其中，所述预先建立的模型为卷积神经网络(Convolutional Neural Network，CNN)模型。
所述预设类型模型生成步骤包括：
从各个车辆修理厂数据库中获取各个车辆修理工位监控设备采集的预设数量(例如，10万张)修理工位图像；由于目前修理厂的监控视频已经有很多，本实施例中，可以从中筛选动态视频，并提取关键帧，从而获取大量图像。对采集的各个照片中车辆所处区域进行标注，其中，在标注的过程中，可以用矩形框标注车辆位置，并且给出标注。这一过程可以采用众包或者公司内部人工标注的形式进行，标注的车辆所处区域即是兴趣区域。利用标注车辆所处区域后的预设数量图像，训练预设模型结构的CNN模型，以生成识别图像中所述兴趣区域的CNN模型。训练的目的是优化CNN网络内各权重的值，使得网络模型作为整体可实际较好地适用于所述兴趣区域的识别。网络模型总共有七层，分别是五个卷积层、一个降采样层和一个全连接层。其中，卷积层由很多个特征向量构造的特征图形成，而特征图的作用就是利用卷积滤波器提取关键特征。降采样层的作用是通过采样方法，去除重复表达的特征点，减少特征提取的数量，从而提高网络层间数据通信效率，可用的采样方法包括最大采样法、均值采样法、随机采样法。全连接层的作用是连接前面的卷积层与降采样，并计算权重矩阵，用于后续的实际分类。图像进入模型后，在每一层均经过前向迭代与后向迭代两个过程，每一次迭代生成一个概率分布，多次迭代后的概率分布进行叠加，系统选取概率分布中取得最大值的类别作为最终的分类结果。
步骤S12，筛选模块102利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域。
其中，所述分析规则为：分析是否有提取的兴趣区域处于预设的像素区域范围内，例如，预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)；若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。该分析规则的原理为：修理厂的监控一般都会对准一个修理工位，保证车辆占据镜头的主要区域“即中间区域”，因此，所述预设的像素区域范围需尽量涵盖镜头的主要区域；该范围不宜过大，防止多个兴趣区域落入其中；该范围亦不宜过小，防止目标区域难以落入其中；可以通过人工的方式校验所述横坐标区域范围和纵坐标区域范围，若过大，则调小，若过小，则调大。
步骤S13，筛选模块102判断是否筛选出至少一个目标区域。当没有筛选出任何目标区域，则返回上述的步骤10，重新执行第一图像的抽取。当筛选出了目标区域时，执行下述的步骤S14。
步骤S14，分割模块103按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域。
其中，所述分割规则为：采用均匀分割方式，即分割的子区域面积大小、形状均一致，对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数，例如，8*8。采用N*N的子区域进行运动检测而不是针对整体目标进行检测主要有两点考虑：第一是精度，若只是针对目标整体进行像素值比较，可能较小的动作会被其他静态的部位平均掉，导致无法检测到这样的细微动作；第二是效率，可能动作只是发生在某一个区域，则只要检测出这个子区域有动作，即可保存该帧，没有必要继续检测其他部位。例如，在一个例子中，以8*8个子区域为例，若在第一个子区域上检测到了动作，则不需要检测剩下的63个子区域，从而能将效率提高64倍。
步骤S15，第二图像获取模块104每隔第二预设时间，如0.5秒钟，抽取所述监控摄像头3所捕获的第二图像。
步骤S16，运动侦测模块105将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件。步骤S16的详细实施流程参见下述的图5中的描述。
步骤S17，运动侦测模块105判断各个子区域是否发生了运动事件。当没有任何子区域发生了运动事件，则返回上述的步骤S15。当有任何子区域发生了运动事件，则执行下述的步骤S18。
步骤S18，视频录制模块106控制所述监控摄像头3从当前抽取的第二图像开始进行视频录制。
参阅图5所示，是图4中步骤S16，即判断各个子区域是否发生了运动事件的详细实施流程图。本实施例所述视频录制方法并不限于流程图中所示步骤，此外流程图中所示步骤中，某些步骤可以省略、步骤之间的顺序可以改变。
步骤S160，运动侦测模块105获取当前抽取的第二图像处于其中一个子区域中的图像块的各个像素点的像素值。
步骤S161，运动侦测模块105将当前抽取的第二图像处于所述子区域中的图像块各个像素点的像素值和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值。
步骤S162，运动侦测模块105对所述子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得所述子区域中的图像块对应的差值平均值。
步骤S163，运动侦测模块105判断该子区域的图像块对应的差值平均值是否大于预设阈值。当该子区域的图像块对应的差值平均值大于预设阈值，则执行步骤S164，否则，当该子区域的图像块对应的差值平均值小于预设阈值，则执行步骤S165。
步骤S164，运动侦测模块105确定所述子区域发生了运动事件。
步骤S165，运动侦测模块105确定所述子区域没有发生运动事件，并返回上述的步骤S160，运动侦测模块105获取当前抽取的第二图像处于下一个子区域中的图像块的各个像素点的像素值。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种视频录制方法，其特征在于，该方法包括：
每隔第一预设时间段抽取一监控摄像头所捕获的第一图像；
利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标物部分部位或者全部部位的兴趣区域；
利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域；
按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域；
每隔第二预设时间抽取所述监控摄像头所捕获的第二图像；
将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件；及
当某一个子区域发生了运动事件时，控制所述监控摄像头从当前抽取的第二图像开始进行视频录制。
2.如权利要求1所述的方法，其特征在于，所述预先建立的模型为卷积神经网络模型。
3.如权利要求1所述的方法，其特征在于，所述分析规则为：
分析是否有提取的兴趣区域处于预设的像素区域范围内，所述预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)，所述X1代表的是第X1列像素点，所述X2代表的是第X2列像素点，X1小于X2，所述Y1代表的是第Y1行像素点，所述Y2代表的是第Y2行像素点，且Y1小于Y2；
若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。
4.如权利要求1所述的方法，其特征在于，所述分割规则为：采用均匀分割方式对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数。
5.如权利要求1所述的方法，其特征在于，所述判断各个子区域是否发生了运动事件的步骤包括：
将当前抽取的第二图像处于每个子区域中的图像块中的各个像素点的像素值和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值；
对每个子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得每个子区域中的图像块对应的差值平均值；及
若有子区域中的图像块对应的差值平均值大于预设阈值，则确定该子区域发生了运动事件。
6.一种适用于权利要求1至5任一项所述方法的服务器，其特征在于，该服务器包括存储设备以及处理器，其中：
所述存储设备，用于存储一个视频录制系统；
所述处理器，用于调用并执行所述视频录制系统，以执行如下步骤：
每隔第一预设时间段抽取一监控摄像头所捕获的第一图像；
利用一预先建立的模型，对抽取的第一图像进行区域检测，以提取出包含目标物部分部位或者全部部位的兴趣区域；
利用一分析规则，对所述兴趣区域执行运动区域筛选，以筛选出目标区域；
按照一分割规则，对所筛选出来的目标区域进行分割，以将每个目标区域分割成多个子区域；
每隔第二预设时间抽取所述监控摄像头所捕获的第二图像；
将所述第二图像中处于每个子区域中的图像块与前一次抽取的第二图像处于相同子区域的图像块进行比较，以判断各个子区域是否发生了运动事件；及
当某一个子区域发生了运动事件时，控制所述监控摄像头从当前抽取的第二图像开始进行视频录制。
7.如权利要求6所述的服务器，其特征在于，所述预先建立的模型为卷积神经网络模型。
8.如权利要求6所述的服务器，其特征在于，所述分析规则为：分析是否有提取的兴趣区域处于预设的像素区域范围内，所述预设的像素区域范围包括横坐标区域范围和纵坐标区域范围，其中，所述横坐标区域范围为(X1，X2)，所述纵坐标区域范围为(Y1，Y2)；若有提取的兴趣区域处于预设的像素区域范围内，则确认该兴趣区域为所述目标区域。
9.如权利要求6所述的服务器，其特征在于，所述分割规则为：采用均匀分割方式对所述目标区域进行子区域分割；将所述目标区域分割成N*N个子区域，其中，N为大于1的正整数。
10.如权利要求6所述的服务器，其特征在于，所述判断各个子区域是否发生了运动事件的步骤包括：
将当前抽取的第二图像处于每个子区域中的图像块各个像素点的像素值，和前一次抽取的第二图像处于相同子区域的图像块对应像素点的像素值求差值；
对每个子区域中的图像块对应的所有差值求和，并将计算的和除以所述图像块的像素点数量，以获得每个子区域中的图像块对应的差值平均值；及
若有子区域中的图像块对应的差值平均值大于预设阈值，则确定该子区域发生了运动事件。
CN201610234956.7A 2016-04-14 2016-04-14 视频录制方法及服务器 Active CN106027931B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201610234956.7A CN106027931B (zh) 2016-04-14 2016-04-14 视频录制方法及服务器
SG11201800364YA SG11201800364YA (en) 2016-04-14 2017-04-11 Video recording system, server, system, and storage medium
US15/737,323 US10349003B2 (en) 2016-04-14 2017-04-11 Video recording system, server, system, and storage medium
KR1020187019521A KR102155182B1 (ko) 2016-04-14 2017-04-11 비디오 리코딩 방법, 서버, 시스템 및 저장 매체
EP17781878.8A EP3445044B1 (en) 2016-04-14 2017-04-11 Video recording method, server, system, and storage medium
AU2017250159A AU2017250159B2 (en) 2016-04-14 2017-04-11 Video recording method, server, system, and storage medium
PCT/CN2017/080113 WO2017177902A1 (zh) 2016-04-14 2017-04-11 视频录制方法、服务器、系统及存储介质
JP2018524835A JP6425856B1 (ja) 2016-04-14 2017-04-11 ビデオ録画方法、サーバー、システム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610234956.7A CN106027931B (zh) 2016-04-14 2016-04-14 视频录制方法及服务器

Publications (2)

Publication Number Publication Date
CN106027931A true CN106027931A (zh) 2016-10-12
CN106027931B CN106027931B (zh) 2018-03-16

Family

ID=57081964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610234956.7A Active CN106027931B (zh) 2016-04-14 2016-04-14 视频录制方法及服务器

Country Status (8)

Country Link
US (1) US10349003B2 (zh)
EP (1) EP3445044B1 (zh)
JP (1) JP6425856B1 (zh)
KR (1) KR102155182B1 (zh)
CN (1) CN106027931B (zh)
AU (1) AU2017250159B2 (zh)
SG (1) SG11201800364YA (zh)
WO (1) WO2017177902A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177902A1 (zh) * 2016-04-14 2017-10-19 平安科技（深圳）有限公司 视频录制方法、服务器、系统及存储介质
CN107766829A (zh) * 2017-10-27 2018-03-06 浙江大华技术股份有限公司 一种物品检测的方法和设备
CN109522814B (zh) * 2018-10-25 2020-10-02 清华大学 一种基于视频数据的目标追踪方法及装置
CN112019868A (zh) * 2019-05-31 2020-12-01 广州虎牙信息科技有限公司 人像分割方法、装置及电子设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2569555B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting deviation from a motion pattern in a video
GB2569557B (en) 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video
GB2569556B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video sequence
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN110502986A (zh) * 2019-07-12 2019-11-26 平安科技（深圳）有限公司 识别图像中人物位置方法、装置、计算机设备和存储介质
JP7294927B2 (ja) * 2019-07-23 2023-06-20 ファナック株式会社 相違点抽出装置
KR102090739B1 (ko) * 2019-10-21 2020-03-18 주식회사 휴머놀러지 영상의 유사도 분석을 위해 영상 영역 격자 다분할을 이용하는 지능형 이동 감시 시스템 및 그 감시방법
CN111339879B (zh) * 2020-02-19 2023-06-02 安徽领云物联科技有限公司 一种兵器室单人入室监测方法及装置
CN111507896B (zh) * 2020-04-27 2023-09-05 抖音视界有限公司 图像液化处理方法、装置、设备和存储介质
CN111652128B (zh) * 2020-06-02 2023-09-01 浙江大华技术股份有限公司 一种高空电力作业安全监测方法、系统和存储装置
CN112203054B (zh) * 2020-10-09 2022-10-14 深圳赛安特技术服务有限公司 监控视频点位标注方法、装置、存储介质及电子设备
CN112601049B (zh) * 2020-12-08 2023-07-25 北京精英路通科技有限公司 视频的监控方法、装置、计算机设备及存储介质
CN114295058B (zh) * 2021-11-29 2023-01-17 清华大学 一种建筑结构的整面动位移的测量方法
CN114666497B (zh) * 2022-02-28 2024-03-15 青岛海信移动通信技术有限公司 成像方法、终端设备及存储介质
CN115314717B (zh) * 2022-10-12 2022-12-20 深流微智能科技(深圳)有限公司 视频传输方法、装置、电子设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1668081A (zh) * 2005-05-10 2005-09-14 北京中星微电子有限公司 一种监控摄像方法及装置
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
JP2010161651A (ja) * 2009-01-08 2010-07-22 Hitachi Ltd 監視記録装置、監視システムおよび監視記録方法
US20130201338A1 (en) * 2012-02-07 2013-08-08 Sensormatic Electronics, LLC Method and System for Monitoring Portal to Detect Entry and Exit
CN104270619A (zh) * 2014-10-22 2015-01-07 中国建设银行股份有限公司 一种安全告警方法及装置
CN104601918A (zh) * 2014-12-29 2015-05-06 小米科技有限责任公司 视频录制方法和装置
CN105279898A (zh) * 2015-10-28 2016-01-27 小米科技有限责任公司 报警方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
JP2011035663A (ja) * 2009-07-31 2011-02-17 Panasonic Corp 監視装置および監視方法
JP5358851B2 (ja) * 2009-11-12 2013-12-04 将文 萩原 不審行動検知方法および不審行動検知装置
US8660368B2 (en) * 2011-03-16 2014-02-25 International Business Machines Corporation Anomalous pattern discovery
AU2012227263A1 (en) * 2012-09-21 2014-04-10 Canon Kabushiki Kaisha Differentiating abandoned and removed object using temporal edge information
JP5954106B2 (ja) * 2012-10-22 2016-07-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
KR102003671B1 (ko) * 2012-10-29 2019-07-25 삼성전자주식회사 영상 처리 방법 및 장치
US9521377B2 (en) * 2013-10-08 2016-12-13 Sercomm Corporation Motion detection method and device using the same
KR102015954B1 (ko) * 2014-03-21 2019-08-29 한화테크윈 주식회사 영상 처리 시스템 및 영상 처리 방법
KR101681233B1 (ko) * 2014-05-28 2016-12-12 한국과학기술원 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
US20160042621A1 (en) * 2014-06-13 2016-02-11 William Daylesford Hogg Video Motion Detection Method and Alert Management
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
US20170076195A1 (en) * 2015-09-10 2017-03-16 Intel Corporation Distributed neural networks for scalable real-time analytics
CN106027931B (zh) 2016-04-14 2018-03-16 平安科技（深圳）有限公司 视频录制方法及服务器
US10437878B2 (en) * 2016-12-28 2019-10-08 Shutterstock, Inc. Identification of a salient portion of an image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1668081A (zh) * 2005-05-10 2005-09-14 北京中星微电子有限公司 一种监控摄像方法及装置
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
JP2010161651A (ja) * 2009-01-08 2010-07-22 Hitachi Ltd 監視記録装置、監視システムおよび監視記録方法
US20130201338A1 (en) * 2012-02-07 2013-08-08 Sensormatic Electronics, LLC Method and System for Monitoring Portal to Detect Entry and Exit
CN104270619A (zh) * 2014-10-22 2015-01-07 中国建设银行股份有限公司 一种安全告警方法及装置
CN104601918A (zh) * 2014-12-29 2015-05-06 小米科技有限责任公司 视频录制方法和装置
CN105279898A (zh) * 2015-10-28 2016-01-27 小米科技有限责任公司 报警方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177902A1 (zh) * 2016-04-14 2017-10-19 平安科技（深圳）有限公司 视频录制方法、服务器、系统及存储介质
US10349003B2 (en) 2016-04-14 2019-07-09 Ping An Technology (Shenzhen) Co., Ltd. Video recording system, server, system, and storage medium
CN107766829A (zh) * 2017-10-27 2018-03-06 浙江大华技术股份有限公司 一种物品检测的方法和设备
CN109522814B (zh) * 2018-10-25 2020-10-02 清华大学 一种基于视频数据的目标追踪方法及装置
CN112019868A (zh) * 2019-05-31 2020-12-01 广州虎牙信息科技有限公司 人像分割方法、装置及电子设备

Also Published As

Publication number Publication date
US10349003B2 (en) 2019-07-09
JP6425856B1 (ja) 2018-11-21
WO2017177902A1 (zh) 2017-10-19
CN106027931B (zh) 2018-03-16
EP3445044B1 (en) 2020-07-29
KR102155182B1 (ko) 2020-09-11
EP3445044A1 (en) 2019-02-20
US20180227538A1 (en) 2018-08-09
AU2017250159A1 (en) 2017-11-23
JP2018535496A (ja) 2018-11-29
EP3445044A4 (en) 2019-09-18
SG11201800364YA (en) 2018-02-27
KR20180133379A (ko) 2018-12-14
AU2017250159B2 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN106027931A (zh) 视频录制方法及服务器
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
CN105930822A (zh) 一种人脸抓拍方法及系统
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
CN104106260A (zh) 基于地理图的控制
CN104303193A (zh) 基于聚类的目标分类
CN105631418A (zh) 一种人数统计的方法和装置
CN110659391A (zh) 一种视频侦查方法及装置
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN109146923B (zh) 一种目标跟踪丢断帧的处理方法及系统
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN111639668A (zh) 一种基于深度学习的人群密度检测方法
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111753587A (zh) 一种倒地检测方法及装置
CN114155740A (zh) 一种车位检测方法、装置及设备
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
CN110826364A (zh) 一种库位识别方法及装置
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN116246200A (zh) 一种基于视觉识别的屏显信息偷拍检测方法及系统
CN112906594B (zh) 一种布防区域生成方法、装置、设备及存储介质
CN109359544B (zh) 一种人像检索方法及装置
CN111339898A (zh) 行为检测方法和装置、计算机可读存储介质、计算机设备
CN112733647A (zh) 基于mac地址与人脸信息绑定的方法、分析服务器和系统
CN111105590A (zh) 一种报警方法及装置
CN113111852B (zh) 目标检测方法、训练方法、电子设备及枪球联动系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant