CN111611886A - 一种基于车辆行为分析的停车信息校验方法及装置 - Google Patents

一种基于车辆行为分析的停车信息校验方法及装置 Download PDF

Info

Publication number
CN111611886A
CN111611886A CN202010380401.XA CN202010380401A CN111611886A CN 111611886 A CN111611886 A CN 111611886A CN 202010380401 A CN202010380401 A CN 202010380401A CN 111611886 A CN111611886 A CN 111611886A
Authority
CN
China
Prior art keywords
parking
information
vehicle
license plate
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010380401.XA
Other languages
English (en)
Other versions
CN111611886B (zh
Inventor
闫军
阳平
项炎平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Interconnection Technologies Co ltd
Original Assignee
Intelligent Interconnection Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Interconnection Technologies Co ltd filed Critical Intelligent Interconnection Technologies Co ltd
Publication of CN111611886A publication Critical patent/CN111611886A/zh
Application granted granted Critical
Publication of CN111611886B publication Critical patent/CN111611886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供了一种基于车辆行为分析的停车信息校验方法及装置,该方法包括:基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。通过本发明,能够及时高效地对停车记录进行校验,极大地提高了停车记录校验的准确性。

Description

一种基于车辆行为分析的停车信息校验方法及装置
技术领域
本发明涉及智能停车管理技术领域,尤其涉及一种基于车辆行为分析的停车信息校验方法及装置。
背景技术
随着城市经济的飞速发展和人民生活水平的不断提高,城市机动车保有量快速增长,在有限停车泊位的情况下,出现了百姓停车难的问题。为了解决这个难题,城市管理者开始在路侧规划泊位解决百姓停车问题,现有技术中,基于高位视频的监控技术是近年来比较流行的路车停车管理方法,该方法通过摄像机对车辆信息进行图像视频采集,随后通过计算机视觉技术对采集的图像进行分析与处理,记录车辆出入记录和车辆信息,实现对车辆出入场和场内车辆的动静态状态的综合管理,并结合管理软件实现收费策略和收费账务管理。但是高位视频对路侧停车进行自动化管理的过程中,利用车牌识别及车辆检测跟踪技术容易受场景因素的影响,或者硬件故障等不可避免因素的影响,从而生成错误的停车记录,进而向车主发送错误的信息。因此亟待需要一种停车信息的校验方法。
发明内容
本发明提供一种基于车辆行为分析的停车信息校验方法及装置,实现了及时高效地对停车记录进行校验,提高用户的使用体验。
本发明提供了一种基于车辆行为分析的停车信息校验方法,包括:
基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;
获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;
将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;
将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。
本发明实施例还提供了一种基于车辆行为分析的停车信息校验装置,包括:
获取及确定模块,用于基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;
获取及判断模块,用于获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;
分割及提取模块,用于将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;
分析及确定模块,用于将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。
上述技术方案具有如下有益效果:通过本发明,能够及时高效地对停车记录进行校验,根据车辆的停车行为信息,获取与停车行为信息对应的预定时间段的第二视频信息,能够更全面地获取车辆的视频信息,为后续准确地校验停车记录提供了重要的前提保障;通过预定卷积神经网络算法,提取视频的空域特征和时域特征,将提取的视频的空域特征和时域特征进行特征融合,能够高效、精确地分析得到车辆的停车行为,极大地提高了停车记录校验的准确性,进一步地,避免了错误的停车记录对车辆用户造成的困扰,及大地提高了用户的使用体验,同时,极大地提高了停车管理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于车辆行为分析的停车信息校验方法流程图;
图2为本发明一实施例中基于车辆行为分析的停车信息校验装置结构示意图;
图3为本发明一优选实施例中时序分割网络的执行流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例中一种基于车辆行为分析的停车信息校验方法流程图,包括:
101、基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;
102、获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;
103、将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;
104、将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。
进一步地,所述停车记录信息包括车辆的车牌号码、车辆的停车行为信息和车辆停入的泊位信息中的至少一项;
其中,所述车辆的停车行为信息包括车辆驶入泊位、驶出泊位和停车时间信息中的至少一项。
进一步地,所述获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,包括:
获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息;
通过多个车牌识别算法,对所述图像信息进行车牌识别,得到车牌识别结果;
根据所述车牌识别结果,确定任一车牌识别算法识别得到的车牌号码是否与所述车牌号码一致;
若一致,确定所述车牌号码准确。
进一步地,所述若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息,包括:
根据所述车辆的停车行为信息,确定所述车辆的停车时间信息;
确定包含所述车辆的停车时间的预定时间段;
获取所述预定时间段的第二视频信息。
进一步地,所述将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征,包括:
将所述第二视频信息分割为多个时间片段,并分别在所述各个时间片段中随机确定一个时间小片段;
获取各时间小片段中的任意帧图像,通过预定卷积神经网络算法的空域网络提取每一个所述任意帧图像的空域特征;
计算每一个所述任意帧图像的当前时间的光流图像,通过预定卷积神经网络算法的时域网法提取每一个所述光流图像的时域特征。
进一步地,在所述将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征的步骤之前,包括:
预训练多个车辆的停车行为数据,得到车辆行为的训练数据;
根据所述训练数据训练空域网络和时域网络。
进一步地,所述将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确,包括:
基于时序分割网络的行为分析算法,通过对各任意帧图像各通道的权重进行计算处理,将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为;
根据分析得到的所述车辆的停车行为,确定所述分析得到的停车行为是否与所述停车记录中的停车行为信息一致;
若一致,确定所述停车记录中的停车行为信息准确。
进一步地,若确定所述分析得到的停车行为与所述停车记录中的停车行为信息不一致,包括:
确定所述停车记录存在错误,并将所述停车记录中的停车行为的信息替换为所述分析得到的停车行为信息;
删除缓冲区中存储的所述停车记录,并发送替换后的所述停车记录中的停车行为的信息。
如图2所示,为本发明一实施例中基于车辆行为分析的停车信息校验装置结构示意图,包括:
获取及确定模块21,用于基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;
获取及判断模块22,用于获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;
分割及提取模块23,用于将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;
分析及确定模块24,用于将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。
进一步地,所述停车记录信息包括车辆的车牌号码、车辆的停车行为信息和车辆停入的泊位信息中的至少一项;
其中,所述车辆的停车行为信息包括车辆驶入泊位、驶出泊位和停车时间信息中的至少一项。
进一步地,所述获取及判断模块,包括:
第一获取单元,用于获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息;
识别单元,用于通过多个车牌识别算法,对所述图像信息进行车牌识别,得到车牌识别结果;
第一确定单元,用于根据所述车牌识别结果,确定任一车牌识别算法识别得到的车牌号码是否与所述车牌号码一致;
第二确定单元,用于若一致,确定所述车牌号码准确。
进一步地,所述获取及判断模块,包括:
第三确定单元,用于根据所述车辆的停车行为信息,确定所述车辆的停车时间信息;
第四确定单元,用于确定包含所述车辆的停车时间的预定时间段;
第二获取单元,用于获取所述预定时间段的第二视频信息。
进一步地,所述分割及提取模块,包括:
分割单元,用于将所述第二视频信息分割为多个时间片段,并分别在所述各个时间片段中随机确定一个时间小片段;
提取单元,用于获取各时间小片段中的任意帧图像,通过预定卷积神经网络算法的空域网络提取每一个所述任意帧图像的空域特征;
计算及提取单元,用于计算每一个所述任意帧图像的当前时间的光流图像,通过预定卷积神经网络算法的时域网法提取每一个所述光流图像的时域特征。
进一步地,包括:
预训练模块,用于预训练多个车辆的停车行为数据,得到车辆行为的训练数据;
训练模块,用于根据所述训练数据训练空域网络和时域网络。
进一步地,所述分析及确定模块,包括:
计算及分析单元,用于基于时序分割网络的行为分析算法,通过对各任意帧图像各通道的权重进行计算处理,将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为;
第五确定单元,用于根据分析得到的所述车辆的停车行为,确定所述分析得到的停车行为是否与所述停车记录中的停车行为信息一致;
第六确定单元,用于若一致,确定所述停车记录中的停车行为信息准确。
进一步地,若所述第五确定单元确定所述分析得到的停车行为与所述停车记录中的停车行为信息不一致,所述分析及确定模块还用于
确定所述停车记录存在错误,并将所述停车记录中的停车行为的信息替换为所述分析得到的停车行为信息;
删除缓冲区中存储的所述停车记录,并发送替换后的所述停车记录中的停车行为的信息。
本发明实施例上述技术方案具有如下有益效果:通过本发明,能够及时高效地对停车记录进行校验,根据车辆的停车行为信息,获取与停车行为信息对应的预定时间段的第二视频信息,能够更全面地获取车辆的视频信息,为后续准确地校验停车记录提供了重要的前提保障;通过预定卷积神经网络算法,提取视频的空域特征和时域特征,将提取的视频的空域特征和时域特征进行特征融合,能够高效、精确地分析得到车辆的停车行为,极大地提高了停车记录校验的准确性,进一步地,避免了错误的停车记录对车辆用户造成的困扰,及大地提高了用户的使用体验,同时,极大地提高了停车管理的效率。
以下结合应用实例对本发明实施例上述技术方案进行详细说明:
本发明应用实例旨在能够及时高效地对停车记录进行校验,提高用户的使用体验。
如图1所示,例如,在停车管理系统中,基于预定校验频率,如每5秒一次,获取各条停车记录,针对每一条停车记录,确定当前停车记录中车辆的车牌号码和停车行为信息;随后,获取与当前停车记录匹配的第一视频信息中该车牌号码的图像信息,根据该图像信息判断该车辆的车牌号码是否准确,若准确,根据该车辆的停车行为信息,获取与该停车行为信息对应的预定时间段的第二视频信息;随后,通过预定卷积神经网络算法,将该第二视频信息分割为多个时间片段,并基于该多个时间片段提取该视频的空域特征和时域特征;并将提取的该视频的空域特征和时域特征进行特征融合,分析得到该车辆的停车行为,并根据分析得到的该车辆的停车行为,确定当前停车记录中的停车行为信息是否准确。其中,停车记录信息包括车辆的车牌号码、车辆的停车行为信息和车辆停入的泊位信息中的至少一项;车辆的停车行为信息包括车辆驶入泊位、驶出泊位和停车时间信息中的至少一项。
需要说明的是,本发明实施例中,获取各条停车记录的方式还可根据预定停车地点有选择地获取停车记录,如基于预定校验频率与预定停车地点获取各停车记录,本发明实施例中虽会以特定方式为例说明,但在此不做限制。其中,本发明实施例中,通过摄像装置获取预定监控范围内的视频信息,其中,第一视频信息为针对当前保存的停车记录所拍摄的视频信息。
在一可能的实现方式中,步骤102获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息,包括:获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息;通过多个车牌识别算法,对所述图像信息进行车牌识别,得到车牌识别结果;根据所述车牌识别结果,确定任一车牌识别算法识别得到的车牌号码是否与所述车牌号码一致;若一致,确定所述车牌号码准确;根据所述车辆的停车行为信息,确定所述车辆的停车时间信息;确定包含所述车辆的停车时间的预定时间段;获取所述预定时间段的第二视频信息。
例如,在停车管理系统中,基于预定校验频率,如每5秒一次,获取各条停车记录,针对每一条停车记录,确定当前停车记录中车辆的车牌号码,如“京XXX”,和停车行为信息;随后,获取与当前停车记录匹配的第一视频信息中该车牌号码的图像信息;通过多个车牌识别算法,如算法A,算B,和算法C,3个车牌识别算法,对该图像信息进行车牌识别,分别得到车牌识别结果,如识别结果A,识别结果B和识别结果C;根据车牌识别结果,确定任一车牌识别算法识别得到的车牌号码是否与车牌号码“京XXX”一致,即识别结果A,识别结果B和识别结果C中识别出的车牌号码是否否与车牌号码“京XXX”一致;若一致,确定车牌号码“京XXX”信息准确;随后,根据该车辆的停车行为信息,如停车行为包括车辆驶入泊位和驶出泊位的行为,确定该车辆驶入泊位的停车时间信息,如“2020-02-02 12:10:25”,和该车辆驶出泊位的停车时间信息,如“2020-02-02 12:50:15”;确定包含该车辆的停车时间的预定时间段,预定时间段如在车辆驶入泊位时间之前的两分钟至车辆驶出泊位时间的后的两分钟的时间段,即“2020-02-02 12:08:25”至“2020-02-02 12:12:25”的时间段;随后,获取该预定时间段的第二视频信息。
需要说明的是,若根据车牌识别结果,确定任一车牌识别算法识别得到的车牌号码与停车记录匹配的第一视频信息中的该车牌号码不一致时,可通过停车管理系统将识别结果发送至后台,通知管理员,管理员可根据消息进行进一步的人工校验;相同的方式,若确定包含该车辆的停车时间的预定时间段内,不存在已确定的该车辆的停车行为信息时,也可通过停车管理系统将该情况发送至后台,通知管理员,管理员可根据消息进行进一步的人工校验,以确定车辆的停车行为对应的停车时间是否有误。
通过本实施例,能够极大地保证了车牌号码识别的准确性,为后续准确地校验停车记录提供了重要的前提保障。
在一可能的实现方式中,该方法包括:预训练多个车辆的停车行为数据,得到车辆行为的训练数据;根据所述训练数据训练空域网络和时域网络。
其中,步骤103将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征,包括:过预定卷积神经网络算法,将所述第二视频信息分割为多个时间片段,并分别在所述各个时间片段中随机确定一个时间小片段;获取各时间小片段中的任意帧图像,通过预定卷积神经网络算法的空域网络提取每一个所述任意帧图像的空域特征;计算每一个所述任意帧图像的当前时间的光流图像,通过预定卷积神经网络算法的时域网法提取每一个所述光流图像的时域特征。
例如,在停车管理系统中,预训练多个车辆的停车行为数据,得到车辆行为的训练数据;根据训练数据训练空域网络和时域网络。具体的,收集海量车辆的行为数据,包括车辆驶入泊位,车辆驶出泊位及其它车辆行为,将该三类的数据作为训练数据。具体的识别车辆驶入泊位和驶出泊位的车辆行分析算法采用TSN(Temporal Segment Networks,时序分割网络)算法,TSN网络结构采用ResNet50(深度残差网络50层)作为空域网络和时域网络的骨干网络,分层类的类别数目设置为3,训练时首先采用RGB(色彩模式)训练空域网络,再用空域网初使化时域网络。接上例,获取该预定时间段的第二视频信息后,通过预定卷积神经网络算法,如TSN算法,将该第二视频信息分割为多个时间片段,如分割为K个时间片段(S1,S2,...,Sk,如K=5),并分别在每一个时间片段中随机确定一个时间小片段T1,T2,...,Tk,以完成稀疏时间采样;随后,获取各时间小片段中的任意帧RGB图像,并计算当前时间的光流图像;通过双流神经网络(two streams)对各个时间小片段进行特征提取,双流网络由空域网络和时域网络组成,其中空域网络输入RGB图,提取每一个任意帧RGB图像的空域特征,时域网络输入光流图,提取每一个光流图像的时域特征。其中,用于车辆行为分析算法的时序分割网络的执行流程示意图如图3所示。
需要说明的是,本领域技术人员可以了解到,双流神经网络(two streams)中的空域网络和时域网络,视频单帧作为表述空间信息的载体,其中包含环境、视频中的物体等空间信息,称为空域网络;另外,光流信息作为时序信息的载体输入到另外一个卷积神经网络中,用来理解动作的动态特征,称为时域网络。
在一可能的实现方式中,步骤104将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确,包括:基于时序分割网络的行为分析算法,通过对各任意帧图像各通道的权重进行计算处理,将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为;根据分析得到的所述车辆的停车行为,确定所述分析得到的停车行为是否与所述停车记录中的停车行为信息一致;若一致,确定所述停车记录中的停车行为信息准确。
其中,若确定所述分析得到的停车行为与所述停车记录中的停车行为信息不一致,包括:确定所述停车记录存在错误,并将所述停车记录中的停车行为的信息替换为所述分析得到的停车行为信息;删除缓冲区中存储的所述停车记录,并发送替换后的所述停车记录中的停车行为的信息。
例如,接上例,基于时序分割网络的行为分析算法,通过对各任意帧图像各通道的权重进行计算处理,将提取的该视频的空域特征和时域特征进行特征融合,分析得到该车辆的停车行为;具体地,通过线性变换将光流场离散到从0到255的区间,这使得光流场的范围和RGB图像相同;修改RGB模型第一个卷积层的权重来处理光流场的输入;具体来说,对RGB通道上的权重进行平均,得到平均值,并根据时间网络输入的通道数量复制该平均值,最终联合整个空域网络和时域网络,融合空域和时域特征得到车辆驶入和驶出的行为分类网络;随后,通过使用分类网络得出最终的车辆停车行为的识别结果;根据分析得到的该车辆的停车行为,确定分析得到的停车行为是否与当前停车记录中的停车行为信息一致;若一致,确定当前停车记录中的停车行为信息准确;若确定分析得到的停车行为与当前停车记录中的停车行为信息不一致,确定当前停车记录存在错误,并将当前停车记录中的停车行为的信息替换为分析得到的停车行为信息;并删除缓冲区中已存储的当前停车记录,并向停车管理系统的车辆用户发送替换后的当前停车记录中的停车行为的信息。
需要说明的是,本发明实施例中,车辆用户若对接收到的停车记录存在疑虑,车辆用户可通过终端APP向停车管理系统发送停车记录校验请求,当停车管理系统接收到车辆用户的反馈的信息时,对该车辆用户所请求的停车记录进行核查,包括车牌信息,车辆驶入驶出泊位的时间,泊位号以及计费标准;若检测到停车管理系统出现故障后,对故障设备所记录的停车信息进行核查;若检测到停车监控场景发现故障,如包括摄像头被遮挡或移动等故障后,对该监控场景下对应的停车记录进行人工核查。
本发明实施例提供了一种基于车辆行为的停车信息校验装置,可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明,上面对所公开实施例进行了描述。对于本领域技术人员来说;这些实施例的各种修改方式都是显而易见的,并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此,本公开并不限于本文给出的实施例,而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于车辆行为分析的停车信息校验方法,其特征在于,包括:
基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;
获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;
将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;
将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。
2.根据权利要求1所述的方法,其特征在于,所述停车记录信息包括车辆的车牌号码、车辆的停车行为信息和车辆停入的泊位信息中的至少一项;
其中,所述车辆的停车行为信息包括车辆驶入泊位、驶出泊位和停车时间信息中的至少一项。
3.根据权利要求1或2所述的方法,其特征在于,所述获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,包括:
获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息;
通过多个车牌识别算法,对所述图像信息进行车牌识别,得到车牌识别结果;
根据所述车牌识别结果,确定任一车牌识别算法识别得到的车牌号码是否与所述车牌号码一致;
若一致,确定所述车牌号码准确。
4.根据权利要求3所述的方法,其特征在于,所述若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息,包括:
根据所述车辆的停车行为信息,确定所述车辆的停车时间信息;
确定包含所述车辆的停车时间的预定时间段;
获取所述预定时间段的第二视频信息。
5.根据权利要求4所述的方法,其特征在于,所述将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征,包括:
将所述第二视频信息分割为多个时间片段,并分别在所述各个时间片段中随机确定一个时间小片段;
获取各时间小片段中的任意帧图像,通过预定卷积神经网络算法的空域网络提取每一个所述任意帧图像的空域特征;
计算每一个所述任意帧图像的当前时间的光流图像,通过预定卷积神经网络算法的时域网法提取每一个所述光流图像的时域特征。
6.根据权利要求5所述的方法,其特征在于,在所述将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征的步骤之前,包括:
预训练多个车辆的停车行为数据,得到车辆行为的训练数据;
根据所述训练数据训练空域网络和时域网络。
7.根据权利要求5所述的方法,其特征在于,所述将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确,包括:
基于时序分割网络的行为分析算法,通过对各任意帧图像各通道的权重进行计算处理,将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为;
根据分析得到的所述车辆的停车行为,确定所述分析得到的停车行为是否与所述停车记录中的停车行为信息一致;
若一致,确定所述停车记录中的停车行为信息准确。
8.根据权利要求6所述的方法,其特征在于,若确定所述分析得到的停车行为与所述停车记录中的停车行为信息不一致,包括:
确定所述停车记录存在错误,并将所述停车记录中的停车行为的信息替换为所述分析得到的停车行为信息;
删除缓冲区中存储的所述停车记录,并发送替换后的所述停车记录中的停车行为的信息。
9.一种基于车辆行为分析的停车信息校验装置,其特征在于,包括:
获取及确定模块,用于基于预定校验频率获取停车记录,确定所述停车记录中车辆的车牌号码和停车行为信息;
获取及判断模块,用于获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息,根据所述图像信息判断所述车辆的车牌号码是否准确,若准确,根据所述车辆的停车行为信息,获取与所述停车行为信息对应的预定时间段的第二视频信息;
分割及提取模块,用于将所述第二视频信息分割为多个时间片段,通过预定卷积神经网络算法,对所述多个时间片段提取所述视频的空域特征和时域特征;
分析及确定模块,用于将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为,并根据分析得到的所述车辆的停车行为,确定所述停车记录中的停车行为信息是否准确。
10.根据权利要求9所述的装置,其特征在于,所述停车记录信息包括车辆的车牌号码、车辆的停车行为信息和车辆停入的泊位信息中的至少一项;
其中,所述车辆的停车行为信息包括车辆驶入泊位、驶出泊位和停车时间信息中的至少一项。
11.根据权利要求9或10所述的装置,其特征在于,所述获取及判断模块,包括:
第一获取单元,用于获取与所述停车记录匹配的第一视频信息中所述车牌号码的图像信息;
识别单元,用于通过多个车牌识别算法,对所述图像信息进行车牌识别,得到车牌识别结果;
第一确定单元,用于根据所述车牌识别结果,确定任一车牌识别算法识别得到的车牌号码是否与所述车牌号码一致;
第二确定单元,用于若一致,确定所述车牌号码准确。
12.根据权利要求11所述的装置,其特征在于,所述获取及判断模块,包括:
第三确定单元,用于根据所述车辆的停车行为信息,确定所述车辆的停车时间信息;
第四确定单元,用于确定包含所述车辆的停车时间的预定时间段;
第二获取单元,用于获取所述预定时间段的第二视频信息。
13.根据权利要求12所述的装置,其特征在于,所述分割及提取模块,包括:
分割单元,用于将所述第二视频信息分割为多个时间片段,并分别在所述各个时间片段中随机确定一个时间小片段;
提取单元,用于获取各时间小片段中的任意帧图像,通过预定卷积神经网络算法的空域网络提取每一个所述任意帧图像的空域特征;
计算及提取单元,用于计算每一个所述任意帧图像的当前时间的光流图像,通过预定卷积神经网络算法的时域网法提取每一个所述光流图像的时域特征。
14.根据权利要求13所述的装置,其特征在于,包括:
预训练模块,用于预训练多个车辆的停车行为数据,得到车辆行为的训练数据;
训练模块,用于根据所述训练数据训练空域网络和时域网络。
15.根据权利要求14所述的装置,其特征在于,所述分析及确定模块,包括:
计算及分析单元,用于基于时序分割网络的行为分析算法,通过对各任意帧图像各通道的权重进行计算处理,将提取的所述视频的空域特征和时域特征进行特征融合,分析得到所述车辆的停车行为;
第五确定单元,用于根据分析得到的所述车辆的停车行为,确定所述分析得到的停车行为是否与所述停车记录中的停车行为信息一致;
第六确定单元,用于若一致,确定所述停车记录中的停车行为信息准确。
16.根据权利要求15所述的装置,其特征在于,若所述第五确定单元确定所述分析得到的停车行为与所述停车记录中的停车行为信息不一致,所述分析及确定模块还用于
确定所述停车记录存在错误,并将所述停车记录中的停车行为的信息替换为所述分析得到的停车行为信息;
删除缓冲区中存储的所述停车记录,并发送替换后的所述停车记录中的停车行为的信息。
CN202010380401.XA 2020-04-24 2020-05-08 一种基于车辆行为分析的停车信息校验方法及装置 Active CN111611886B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010329967X 2020-04-24
CN202010329967 2020-04-24

Publications (2)

Publication Number Publication Date
CN111611886A true CN111611886A (zh) 2020-09-01
CN111611886B CN111611886B (zh) 2023-11-10

Family

ID=72204640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010380401.XA Active CN111611886B (zh) 2020-04-24 2020-05-08 一种基于车辆行为分析的停车信息校验方法及装置

Country Status (1)

Country Link
CN (1) CN111611886B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181986A (zh) * 2020-10-10 2021-01-05 武汉中科通达高新技术股份有限公司 一种基于Flink框架的数据分析方法及装置
CN113450575A (zh) * 2021-05-31 2021-09-28 超级视线科技有限公司 一种路侧停车的管理方法及装置
CN114141022A (zh) * 2020-09-03 2022-03-04 丰图科技(深圳)有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869409A (zh) * 2016-06-03 2016-08-17 北京精英智通科技股份有限公司 一种停车管理系统及方法
CN108765976A (zh) * 2018-06-21 2018-11-06 智慧互通科技有限公司 路侧平行停车信息管理系统及方法
CN108875525A (zh) * 2018-01-04 2018-11-23 北京旷视科技有限公司 行为预测方法、装置、系统和存储介质
CN110287816A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 车门动作检测方法、装置和计算机可读存储介质
CN110473426A (zh) * 2019-08-20 2019-11-19 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN111046821A (zh) * 2019-12-19 2020-04-21 东北师范大学人文学院 一种视频行为识别方法、系统及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869409A (zh) * 2016-06-03 2016-08-17 北京精英智通科技股份有限公司 一种停车管理系统及方法
CN108875525A (zh) * 2018-01-04 2018-11-23 北京旷视科技有限公司 行为预测方法、装置、系统和存储介质
CN108765976A (zh) * 2018-06-21 2018-11-06 智慧互通科技有限公司 路侧平行停车信息管理系统及方法
CN110287816A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 车门动作检测方法、装置和计算机可读存储介质
CN110473426A (zh) * 2019-08-20 2019-11-19 北京精英路通科技有限公司 停车管理方法、装置、计算机设备及存储介质
CN111046821A (zh) * 2019-12-19 2020-04-21 东北师范大学人文学院 一种视频行为识别方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIMIN WANG等: "Temporal Segment Networks: Towards Good Practices for Deep Action Recognition" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114141022A (zh) * 2020-09-03 2022-03-04 丰图科技(深圳)有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
CN114141022B (zh) * 2020-09-03 2023-05-23 丰图科技(深圳)有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
CN112181986A (zh) * 2020-10-10 2021-01-05 武汉中科通达高新技术股份有限公司 一种基于Flink框架的数据分析方法及装置
CN113450575A (zh) * 2021-05-31 2021-09-28 超级视线科技有限公司 一种路侧停车的管理方法及装置

Also Published As

Publication number Publication date
CN111611886B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111611886B (zh) 一种基于车辆行为分析的停车信息校验方法及装置
CN111339994B (zh) 一种判断临时违章停车的方法及装置
CN112434627B (zh) 行人翻越道路护栏的检测方法、装置以及存储介质
CN111739335B (zh) 一种基于视觉差的停车检测方法及装置
CN110930756B (zh) 一种基于图像与地磁传感器判断路侧停车的方法及装置
CN110517500B (zh) 一种人车关联处理方法及装置
CN112164227B (zh) 违停车辆告警方法、装置、计算机设备和存储介质
CN111951601B (zh) 一种识别配送车辆停放位置的方法及装置
CN112163525B (zh) 一种事件类型预测方法、装置、电子设备及存储介质
CN112434178A (zh) 图像分类方法、装置、电子设备和存储介质
CN113055823A (zh) 一种基于路侧停车管理共享单车的方法及装置
CN111178235A (zh) 一种目标数量确定方法、装置、设备及存储介质
CN111914648A (zh) 车辆检测和识别的方法及装置、电子设备、存储介质
Kejriwal et al. Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system
CN112581769A (zh) 一种基于人工智能识别技术非机动车违法视频分析系统
CN113450575B (zh) 一种路侧停车的管理方法及装置
CN109325445B (zh) 一种车牌识别分类的方法及装置
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
CN110807493A (zh) 一种车辆分类模型的优化方法及设备
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN115359658B (zh) 交通事件的检测方法、装置、设备、存储介质及程序产品
CN109740335A (zh) 验证码操作轨迹的分类方法及装置
CN114898182A (zh) 一种基于目标检测学习算法的图片数据筛选方法及系统
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
CN112348011B (zh) 一种车辆定损方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei

Applicant after: Smart intercommunication Technology Co.,Ltd.

Address before: 075000 ten building, phase 1, airport economic and Technological Development Zone, Zhangjiakou, Hebei

Applicant before: INTELLIGENT INTER CONNECTION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant