CN111784747B - 一种基于关键点检测和校正的车辆多目标跟踪系统及方法 - Google Patents

一种基于关键点检测和校正的车辆多目标跟踪系统及方法 Download PDF

Info

Publication number
CN111784747B
CN111784747B CN202010809559.4A CN202010809559A CN111784747B CN 111784747 B CN111784747 B CN 111784747B CN 202010809559 A CN202010809559 A CN 202010809559A CN 111784747 B CN111784747 B CN 111784747B
Authority
CN
China
Prior art keywords
vehicle
picture
tracking
correction
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010809559.4A
Other languages
English (en)
Other versions
CN111784747A (zh
Inventor
黄惠南
邵汉阳
樊治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaozhong Information Technology Group Co ltd
Original Assignee
Qingdao Gaozhong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Gaozhong Information Technology Co ltd filed Critical Qingdao Gaozhong Information Technology Co ltd
Priority to CN202010809559.4A priority Critical patent/CN111784747B/zh
Publication of CN111784747A publication Critical patent/CN111784747A/zh
Application granted granted Critical
Publication of CN111784747B publication Critical patent/CN111784747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关键点检测和校正的车辆多目标跟踪系统，涉及视频监控技术领域，包括关键点检测模块，图像校正模块，特征提取模块，多目标跟踪模块，轨迹显示模块；上述模块依次通信连接。本发明还公开了一种基于关键点检测和校正的车辆多目标跟踪方法，包括S100、原始数据收集，S200、关键点检测，S300、图像校正，S400、特征提取，S500、多目标跟踪，S600、轨迹显示。本发明结合多种技术，利用关键点检测、图像校正和特征提取技术，提高了车辆跟踪轨迹精度。

Description

一种基于关键点检测和校正的车辆多目标跟踪系统及方法
技术领域
本发明涉及视频监控技术领域，尤其涉及一种基于关键点检测和校正的车辆多目标跟踪系统及方法。
背景技术
多目标跟踪技术是指在给定的视频序列中持续不断的自动识别和定位多个目标，同时记录下每个目标在视频序列中每一帧的运动轨迹。该技术是视频安全监控领域的核心技术，可以完成目标定位、识别和活动轨迹等重要应用。
当前主流的多目标跟踪技术为基于目标检测的跟踪技术(Tracking ByDetection)。该技术的基本思想是利用当前帧的目标检测数据，与历史目标检测数据建立关联关系；具体会计算多个跟踪目标的空间距离和特征距离矩阵，再用匈牙利二分图匹配算法完成不同帧之间目标的关联。这种方法目前虽然取得较好的效果，但是在实际的车辆轨迹跟踪场景中，由于车辆经常会出现转弯、掉头和斜线行驶的情况，会导致目标检测出来的车辆图像相对于正常视角出现较大的偏斜和互相遮挡情况，导致车辆的特征距离偏差较大难于完成匹配，从而导致目标轨迹有大量跟断和跟错的情况。
因此，本领域的技术人员致力于开发一种基于关键点检测和校正的多目标车辆跟踪系统及方法，用以改进由于车辆转弯掉头斜线行驶导致的导致轨迹跟断和跟错问题。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是由于转弯掉头斜线行驶导致的导致轨迹跟断和跟错问题，以取得很高的跟踪精度。
为实现上述目的，发明人对于关键点检测技术进行研究，关键点检测是指从给定的车辆图像中检测出不同区域部位的关键点技术，比如人体关键点会提取出人体的头部、胸部、手腕、手肘和肩部等部位的多个关键点；人脸关键点则会提取出眼球中心、眼角、鼻尖、嘴角、人脸轮廓等部位的关键点；车辆关键点则会提取出车头、车身和车尾等部位的关键点。因而，在本发明的一个实施例中，提供了一种基于关键点检测和校正技术的车辆多目标跟踪系统，包括：
关键点检测模块，响应于监控视频流数据，应用关键点检测算法对监控视频流数据前帧图像进行检测，提取出车辆图像和车辆关键点；
图像校正模块，响应于车辆图像和车辆关键点的输入，根据关键点对车辆图像进行校正；
特征提取模块，响应于校正后的车辆图像，进行深度特征提取；
多目标跟踪模块，响应于提取的多个车辆的检测信息和特征，对车辆进行跟踪，更新多个车辆的轨迹信息；
轨迹显示模块，响应于车辆的轨迹信息，对车辆的轨迹进行显示；
关键点检测模块、图像校正模块、特征提取模块、多目标跟踪模块和轨迹显示模块依次通信连接。
进一步地，在上述实施例中的基于关键点检测和校正技术的车辆多目标跟踪系统中，上述车辆关键点包括车头四边形区域的四个顶点、车身四边形区域的四个顶点和车尾四边形区域的四个顶点，对每个顶点进行车头、车身和车尾的类别区分，对每个类别按照顺时针顺序标注为1、2、3和4。
可选地，在上述任一实施例中的基于关键点检测和校正技术的车辆多目标跟踪系统中，上述关键点检测算法为Center-Net检测模型。
本发明的另一个实施例中，提供了一种使用上述任一实施例中的基于关键点检测和校正技术的多目标跟踪系统的基于关键点检测和校正技术的多目标跟踪方法，包括如下步骤：
S100、原始数据收集，收集车辆监控视频，将上述视频以至少5fps保存为图片，作为原始数据；
S200、关键点检测，响应于上述原始数据的输入，上述关键点检测模块应用关键点检测算法对上述视频中当前帧进行检测，提取出车辆图像和车辆关键点；
S300、图像校正，响应于上述车辆图像和上述车辆关键点的输入，上述图像校正模块根据上述车辆关键点对上述车辆图像进行校正；
S400、特征提取，响应于校正后的上述车辆图像，上述特征提取模块进行深度特征提取，提取出多个车辆的检测信息和特征；
S500、多目标跟踪，响应于提取的上述多个车辆的检测信息和特征，多目标跟踪模块对车辆进行跟踪，并更新上述车辆的轨迹信息；
S600、轨迹显示，响应于上述车辆的轨迹信息，轨迹显示模块对上述车辆的轨迹进行显示。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S200还包括：
S210、收集车辆监控视频，将监控视频以至少5fps保存为图片，作为车辆关键点检测的训练数据；
S220、标注数据，对收集的训练数据进行检测框和关键点数据标注；
S230、训练模型，把标注的数据输入到关键点检测算法中进行模型训练，模型输出数据为车辆检测框和车辆关键点；
S240、检测关键点，运用步骤S230训练好的关键点检测算法，输入原始数据，对视频中的每一帧待检测图像进行关键点检测，并从检测出的目标区域中提取目标轮廓和标识区域部位的关键点。
进一步地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S220采用12个关键点进行标注，包括车头四边形区域的四个顶点、车身四边形区域的四个顶点和车尾四边形区域的四个顶点，对每个顶点进行车头、车身和车尾的类别区分，对每个类别按照顺时针顺序标注为1、2、3和4。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，关键点检测算法为Center-Net检测模型。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S300还包括：
S310、选择校正用模板图片，选择一张标准视角的车辆图片作为校正用模板图片，要求为正对车身拍摄下的车身图片，车身图片尺寸缩放至标准大小，根据具体的车辆大小不同；
S320、过滤车身图片，根据所述关键点数据，进行车身图片过滤，对输出的所述关键点数据存在车身区域四个关键点的车辆图片进行保留，其他的则不进行校正处理，按照顺时针，记录车身4个关键点在车辆图片中坐标的位置为xa和ya；
S330、记录车身关键点坐标，对所述校正用模板图片按顺时针顺序标记车身关键点，记录在图片中坐标的位置为xs和ys；将模型预测的关键点坐标和标准视角中的坐标输入到标定公式(1)中进行求解运算，得到3*3仿射映射矩阵H，
S340、仿射变换计算，使用计算机视觉开源处理工具opencv库中的warpAffine函数对所述车辆图片进行仿射变换计算，输出校正后的车辆图片。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，车身图片分辨率经过图像缩放后，优选高度为128个像素，宽度为256个像素。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S400中，深度特征提取方法包括传统的计算机视觉特征和深度卷积神经网络。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，传统的计算机视觉特征包括HOG特征和颜色直方图特征。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S400还包括：
S410、模型训练，采用公开的车辆重识别数据集作为输入；
S420、模型推理，采用图像校正模块经过校正后的车辆图片作为输入。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S410中，公开车辆重识别数据集包括但不限于AIC2019数据集、VeRi公开数据集和私人数据集。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，模型训练使用的深度卷积神经网络为前向传播的深度卷积神经网络。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，上述前向传播的深度卷积神经网络具体包括：
骨架网络，包括一系列的卷积层和池化层，来自去除分类层之后的经典分类网络，包括Resnet和Mobilenet系列网络；
颈部网络，包括单个卷积层、批归一化层、非线性激励函数层；
头部网络，包括具有多个类别的全连接层，类别数为数据集中不同车辆的个数；
经过图像校正后的车辆图片输入骨架网络，实现对车辆特征的提取，再进行全局最大池化操作后进入到颈部网络，得到有效的特征向量D，再进入头部网络中进行分类，在训练过程中，设置联合损失函数并作用于网络进行参数更新。
进一步地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，上述联合损失函数包括三元损失函数和分类损失函数。
进一步地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S410还包括：
S411、预处理和数据增强，对公开数据集中的车辆图片进行预处理和数据增强，包括且不限于尺寸统一化、色彩增强，随机裁剪，随机擦除等)，再进行加载，得到图像数据；
S412、构建训练的深度卷积神经网络，包括骨架网络、颈部网络和头部网络，骨架网络可以采用Resnet50、MobileNet或ShuffleNet；
S413、构建联合损失函数，训练过程中总的损失函数的表达式如下：
其中，I为输入的车辆图片数据，y为对应车辆图片的标注数据，T为每次网络迭代需要的小批量输入图片的个数，为三元损失函数，C(θ，y)为分类损失函数。
三元损失函数为重识别领域中的常用损失函数，作用于骨架网络和颈部网络。其公式如下：
三元损失函数接受三张图片同时作为输入，其中，a代表anchor，指的是在车辆图片数据集中随机选择一张车辆图片作为基准图片；p代表positive，指的是和基准图片a为同一辆车的图片；n代表negative，指的是和基准图片a不是同一辆车的图片。Da，p指的是基准图片a和同一辆车的图片p提取出的特征向量之间的距离，Da，n指的是基准图片a和不是同一辆车图片提取出的特征向量之间的距离，m代表阈值margin，是可调参数，用来区分Da，p和Da，n距离之间的边界值，优选P＝16和K＝8，即16辆不同的车，每个车辆有8张不同的图片组成128张(T＝128)的小批量图片数据集作为输入，实际计算采用的是欧氏距离，距离边界值优选0.3；
分类损失函数为标准的交叉熵分类函数，对全局语义特征模块输出的特征向量D进行归一化和对数化处理后，与实际分类的数据计算误差。交叉熵分类损失函数的公式如下：
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S413采用三元损失函数和交叉熵分类损失函数联合的方式，共同调整网络完成对车辆特征的提取。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，上述颈部网络输出的特征向量D维度为2048。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，使用Resnet50的预训练模型，即去除Resnet50最后的分类层加快收敛，采用Adam优化求解器。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，网络模型的常规训练采用Adam优化求解器，每次大轮数训练300步，前150步学习速率为3e-4，从第150步开始进行学习速率的调整，逐渐下降到3e-7。
发明人为了有效减少推理网络的参数量和计算量，提高网络的推理速度，设计了模型推理的过程。
可选地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，模型推理使用的前向传播的深度卷积神经网络具体包括：
骨架网络，包括一系列的卷积层和池化层，来自去除分类层之后的经典分类网络，包括Resnet和Mobilenet系列网络；
颈部网络，包括单个卷积层、批归一化层、非线性激励函数层；
经过图像校正后的车辆图片输入骨架网络，实现对车辆特征的提取，再进行全局最大池化操作后进入到颈部网络，得到有效的特征向量D。
进一步地，在上述实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S420还包括：
S421、输入数据，对图像校正模块输出的车辆图形数据进行预处理，包括且不限于尺寸归一化，再进行加载，得到图像数据；
S422、构建网络，构建训练的深度卷积神经网络，加载训练阶段中训练好的网络模型参数，并去除头部网络中分类层的权重参数；
S423、获取车辆深度特征，加载模型后，输入图片数据进行运算，提取颈部网络层后输出的全局特征作为车辆的深度特征。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，上述深度特征向量D的维度为2048维，单进程的网络推理速度达到20,000张图片/秒以上。
可选地，在上述任一实施例中的基于关键点检测和校正技术的多目标跟踪方法中，步骤S500还包括：
S510、拍摄车辆监控视频，将所述视频以至少5fps保存为图片，作为基本输入数据源；按照所述关键点检测模块的所述关键点检测算法，对所述视频中的当前帧图像进行关键点检测；在画面中提取出单独车辆图像，输入所述图像校正模块完成车辆图像的校正；再输入到所述特征提取模块，完成目标的深度特征提取；
S520、构建匹配矩阵，公式如下所示：
Ci，j＝wd(1)(i，j)+(1-w)d(2)(i，j) (5)；
其中，w是一个超参数，用来根据场景动态调整配比参数，优选默认设置为0.3；i代表的是第i个跟踪轨迹，包含历史帧的目标检测数据和特征数据，是t-1时刻的数据；j代表的是当前时刻的检测数据，是视频在t时刻的车辆数据。d(1)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的空间距离矩阵，为了减少遮挡情况，空间距离采用得是车辆目标的中心点的欧式距离，并设置最大距离值进行最大值归一化，所述最大距离值可以根据实际场景进行动态设置；d(2)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的特征距离矩阵，公式如下所示：
其中，计算得是余弦相似度，用一减去之后得到的是余弦距离，表示车辆高级语义特征之间的差距；
S530、匹配轨迹信息和当前帧检测数据，综合所述空间距离和所述特征距离得到匹配矩阵之后，通过匈牙利二分图匹配算法计算匹配过程，实现轨迹信息和当前帧检测数据的匹配；
S540、目标轨迹的分配和管理，历史轨迹按照跟踪状态可以分为跟踪中的轨迹和跟丢的轨迹，所述跟踪中的轨迹指得是一直匹配上当前检测目标的轨迹，所述跟丢的轨迹指的是没有匹配上当前检测目标的轨迹，找不到跟踪的目标；
S550、第一次匈牙利匹配，跟踪轨迹列表和当前帧检测列表进行第一次匈牙利匹配，匹配阈值优选默认设置为0.5，完成匹配后会得到三种数据：第一次匹配成功的检测目标、第一次匹配失败的检测目标和匹配失败的轨迹；更新跟踪轨迹列表，所述第一次匹配成功的检测目标加入到所述跟踪轨迹列表当中，对所述匹配失败的轨迹先在所述跟踪轨迹列表中进行删除，再进行跟丢次数判断，如果所述跟丢次数超过最大跟丢次数则删除，否则加入跟丢轨迹列表；
S560、第二次匈牙利匹配，对于所述所述第一次匹配失败的检测目标和所述跟丢轨迹列表中的轨迹进行第二次匈牙利匹配，第二次匹配阈值优选默认设置为0.5，完成匹配后会得到三种数据：第二次匹配成功的检测目标，第二次匹配失败的检测目标和匹配失败的轨迹；更新跟踪轨迹列表，所述第二次匹配成功的检测目标加入到跟踪轨迹列表中，对所述匹配失败的轨迹先在所述跟踪轨迹列表中删除，再进行跟丢次数判断，如果跟丢次数超过最大跟丢次数则删除，否则加入所述跟丢轨迹列表；所述第二次匹配失败的检测目标初始化为新的轨迹，分配新的跟踪目标id，加入到所述跟踪轨迹列表当中；
S570、多目标追踪，完成多目标追踪，得到多个车辆的轨迹。
本发明结合多种技术，利用关键点检测、图像校正和特征提取技术，解决了由于于车辆转弯、掉头和斜线行驶出现的目标检测出来的车辆图像相对于正常视角出现较大偏斜和互相遮挡，从而导致车辆的特征距离偏差较大，难于完成匹配，造成目标轨迹有大量跟断和跟错的问题，提高了车辆跟踪轨迹精度。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是图示根据示例性实施例的基于关键点检测和校正技术的多目标跟踪系统组成示意图；
图2是图示根据示例性实施例的前向传播的深度卷积神经网络组成示意图；
图3是图示根据示例性实施例的匈牙利匹配过程流程图；
图4是图示根据示例性实施例的目标轨迹的分配和管理流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方示意性地适当夸大了部件的厚度。
发明人设计了一种基于关键点检测和校正技术的车辆多目标跟踪系统系统，如图1所示，包括：
关键点检测模块，关键点包括车头四边形区域的四个顶点、车身四边形区域的四个顶点和车尾四边形区域的四个顶点，对每个顶点进行车头、车身和车尾的类别区分，对每个类别按照顺时针顺序标注为1、2、3和4；响应于监控视频流数据，应用关键点检测算法对监控视频流数据前帧图像进行检测，提取出车辆图像和车辆关键点，其中关键点检测算法为Center-Net检测模型；
图像校正模块，响应于车辆图像和车辆关键点的输入，根据关键点对车辆图像进行校正；
特征提取模块，响应于校正后的车辆图像，进行深度特征提取；
多目标跟踪模块，响应于提取的多个车辆的检测信息和特征，对车辆进行跟踪，更新多个车辆的轨迹信息；
轨迹显示模块，响应于车辆的轨迹信息，对车辆的轨迹进行显示；
关键点检测模块、图像校正模块、特征提取模块、多目标跟踪模块和轨迹显示模块依次通信连接。
发明人使用上述基于关键点检测和校正的车辆多目标跟踪系统设计了关键点检测和校正的车辆多目标跟踪方法，包括如下步骤：
S100、原始数据收集，收集车辆监控视频，将视频以至少5fps保存为图片，作为原始数据；
S200、关键点检测，响应于原始数据的输入，关键点检测模块应用关键点检测算法对视频中当前帧进行检测，提取出车辆图像和车辆关键点，关键点检测算法为Center-Net检测模型，具体包括：
S210、收集车辆监控视频，将监控视频以至少5fps保存为图片，作为车辆关键点检测的训练数据；
S220、标注数据，对收集的训练数据进行检测框和关键点数据标注，本实施例中关键点共12个，包括车头四边形区域的四个顶点、车身四边形区域的四个顶点和车尾四边形区域的四个顶点，对每个顶点进行车头、车身和车尾的类别区分，对每个类别按照顺时针顺序标注为1、2、3和4；
S230、训练模型，把标注的数据输入到关键点检测算法中进行模型训练，模型输出数据为车辆检测框和车辆关键点；
S240、检测关键点，运用步骤S230训练好的关键点检测算法，输入原始数据，对视频中的每一帧待检测图像进行关键点检测，并从检测出的目标区域中提取目标轮廓和标识区域部位的关键点；
S300、图像校正，响应于车辆图像和车辆关键点的输入，图像校正模块根据关键点对车辆图像进行校正；具体包括：
S310、选择校正用模板图片，选择一张标准视角的车辆图片作为校正用模板图片，要求为正对车身拍摄下的车身图片，车身图片尺寸缩放至标准大小，根据具体的车辆大小不同，车身图片分辨率经过图像缩放后，优选高度为128个像素，宽度为256个像素；
S320、过滤图片，根据步骤S200输出的关键点数据，进行图片过滤，对输出的关键点数据存在车身区域四个关键点的车辆图片进行保留，其他的则不进行校正处理，按照顺时针，记录车身4个关键点在车辆图片中坐标的位置为xa和ya；
S330、记录车身关键点坐标，对校正用模板图片按顺时针顺序标记车身关键点，记录在图片中坐标的位置为xs和ys；将模型预测的关键点坐标和标准视角中的坐标输入到标定公式(1)中进行求解运算，得到3*3仿射映射矩阵H：
S340、仿射变换计算，使用计算机视觉开源处理工具opencv库中的warpAffine函数对车辆图片进行仿射变换计算，输出的图片即为经校正之后的车辆图片；
S400、特征提取，响应于校正后的车辆图像，特征提取模块进行深度特征提取，提取出多个车辆的检测信息和特征；深度特征提取方法包括传统的计算机视觉特征和深度卷积神经网络，传统的计算机视觉特征包括HOG特征和颜色直方图特征，深度卷积神经网络为前向传播的深度卷积神经网络，具体包括：骨架网络，包括一系列的卷积层和池化层，来自去除分类层之后的经典分类网络，包括Resnet和Mobilenet系列网络；颈部网络，包括单个卷积层、批归一化层、非线性激励函数层；头部网络，包括具有多个类别的全连接层，类别数为数据集中不同车辆的个数。经过图像校正后的车辆图片输入骨架网络，实现对车辆特征的提取，再进行全局最大池化操作后进入到颈部网络，得到有效的特征向量D，再进入头部网络中进行分类，在训练过程中，设置联合损失函数并作用于网络进行参数更新，联合损失函数包括三元损失函数和分类损失函数。具体包括：
S410、模型训练，采用公开的车辆重识别数据集作为输入，包括但不限于AIC2019数据集、VeRi公开数据集和私人数据集；具体地：
S411、预处理和数据增强，对公开数据集中的车辆图片进行预处理和数据增强，包括且不限于尺寸统一化、色彩增强，随机裁剪，随机擦除等)，再进行加载，得到图像数据；
S412、构建训练的深度卷积神经网络，包括骨架网络、颈部网络和头部网络，骨架网络可以采用Resnet50、MobileNet或ShuffleNet；
S413、构建联合损失函数，采用三元损失函数和交叉熵分类损失函数联合的方式，共同调整网络完成对车辆特征的提取，训练过程中总的损失函数的表达式如下：
其中，I为输入的车辆图片数据，y为对应车辆图片的标注数据，T为每次网络迭代需要的小批量输入图片的个数，为三元损失函数，C(θ，y)为分类损失函数。
三元损失函数为重识别领域中的常用损失函数，作用于骨架网络和颈部网络。其公式如下：
三元损失函数接受三张图片同时作为输入，其中，a代表anchor，指的是在车辆图片数据集中随机选择一张车辆图片作为基准图片；p代表positive，指的是和基准图片a为同一辆车的图片；n代表negative，指的是和基准图片a不是同一辆车的图片。Da，p指的是基准图片a和同一辆车的图片p提取出的特征向量之间的距离，Da，n指的是基准图片a和不是同一辆车图片提取出的特征向量之间的距离，m代表阈值margin，是可调参数，用来区分Da，p和Da，n距离之间的边界值，优选P＝16和K＝8，即16辆不同的车，每个车辆有8张不同的图片组成128张(T＝128)的小批量图片数据集作为输入，实际计算采用的是欧氏距离，距离边界值优选0.3；
分类损失函数为标准的交叉熵分类函数，对全局语义特征模块输出的特征向量D进行归一化和对数化处理后，与实际分类的数据计算误差。交叉熵分类损失函数的公式如下：
上述颈部网络输出的特征向量D维度为2048，使用Resnet50的预训练模型，即去除Resnet50最后的分类层加快收敛，采用Adam优化求解器，每次大轮数训练300步，前150步学习速率为3e-4，从第150步开始进行学习速率的调整，逐渐下降到3e-7。
为了有效减少推理网络的参数量和计算量，提高网络的推理速度，本实施例中模型推理使用的前向传播的深度卷积神经网络，具体包括：
骨架网络，包括一系列的卷积层和池化层，来自去除分类层之后的经典分类网络，包括Resnet和Mobilenet系列网络；
颈部网络，包括单个卷积层、批归一化层、非线性激励函数层；
经过图像校正后的车辆图片输入骨架网络，实现对车辆特征的提取，再进行全局最大池化操作后进入到颈部网络，得到有效的特征向量D。
S420、模型推理，采用图像校正模块经过校正后的车辆图片作为输入，具体包括：
S421、输入数据，对图像校正模块输出的车辆图形数据进行预处理，包括且不限于尺寸归一化，再进行加载，得到图像数据；
S422、构建网络，构建训练的深度卷积神经网络，加载训练阶段中训练好的网络模型参数，并去除头部网络中分类层的权重参数；
S423、获取车辆深度特征，加载模型后，输入图片数据进行运算，提取颈部网络层后输出的全局特征作为车辆的深度特征，深度特征向量D的维度为2048维，单进程的网络推理速度达到20,000张图片/秒以上。
S500、多目标跟踪，响应于提取的上述多个车辆的检测信息和特征，多目标跟踪模块对车辆进行跟踪，并更新上述车辆的轨迹信息；如图3和图4所示，具体包括：
S510、拍摄车辆监控视频，将所述视频以至少5fps保存为图片，作为基本输入数据源；按照所述关键点检测模块的所述关键点检测算法，对所述视频中的当前帧图像进行关键点检测；在画面中提取出单独车辆图像，输入所述图像校正模块完成车辆图像的校正；再输入到所述特征提取模块，完成目标的深度特征提取；
S520、构建匹配矩阵，公式如下所示：
Ci，j＝wd(1)(i，j)+(1-w)d(2)(i，j) (5)；
其中，w是一个超参数，用来根据场景动态调整配比参数，优选默认设置为0.3；i代表的是第i个跟踪轨迹，包含历史帧的目标检测数据和特征数据，是t-1时刻的数据；j代表的是当前时刻的检测数据，是视频在t时刻的车辆数据。d(1)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的空间距离矩阵，为了减少遮挡情况，空间距离采用得是车辆目标的中心点的欧式距离，并设置最大距离值进行最大值归一化，所述最大距离值可以根据实际场景进行动态设置；d(2)(i，j)指得是i个跟踪轨迹和j个检测框计算得到的特征距离矩阵，公式如下所示：
其中，计算得是余弦相似度，用一减去之后得到的是余弦距离，表示车辆高级语义特征之间的差距；
S530、匹配轨迹信息和当前帧检测数据，综合所述空间距离和所述特征距离得到匹配矩阵之后，通过匈牙利二分图匹配算法计算匹配过程，实现轨迹信息和当前帧检测数据的匹配；
S540、目标轨迹的分配和管理，历史轨迹按照跟踪状态可以分为跟踪中的轨迹和跟丢的轨迹，所述跟踪中的轨迹指得是一直匹配上当前检测目标的轨迹，所述跟丢的轨迹指的是没有匹配上当前检测目标的轨迹，找不到跟踪的目标；
S550、第一次匈牙利匹配，跟踪轨迹列表和当前帧检测列表进行第一次匈牙利匹配，匹配阈值优选默认设置为0.5，完成匹配后会得到三种数据：第一次匹配成功的检测目标、第一次匹配失败的检测目标和匹配失败的轨迹；更新跟踪轨迹列表，所述第一次匹配成功的检测目标加入到所述跟踪轨迹列表当中，对所述匹配失败的轨迹先在所述跟踪轨迹列表中进行删除，再进行跟丢次数判断，如果所述跟丢次数超过最大跟丢次数则删除，否则加入跟丢轨迹列表；
S560、第二次匈牙利匹配，对于所述所述第一次匹配失败的检测目标和所述跟丢轨迹列表中的轨迹进行第二次匈牙利匹配，第二次匹配阈值优选默认设置为0.5，完成匹配后会得到三种数据：第二次匹配成功的检测目标，第二次匹配失败的检测目标和匹配失败的轨迹；更新跟踪轨迹列表，所述第二次匹配成功的检测目标加入到跟踪轨迹列表中，对所述匹配失败的轨迹先在所述跟踪轨迹列表中删除，再进行第二次跟丢次数判断，如果所述第二次跟丢次数超过最大跟丢次数则删除，否则加入所述跟丢轨迹列表；所述第二次匹配失败的检测目标初始化为新的轨迹，分配新的跟踪目标id，加入到所述跟踪轨迹列表当中；
S570、多目标追踪，完成多目标追踪，得到多个车辆的轨迹。S600、轨迹显示，响应于目标的轨迹信息，轨迹显示模块对目标的轨迹进行显示。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于关键点检测和校正的车辆多目标跟踪方法，其特征在于，包括如下步骤：
S100、原始数据收集，收集车辆监控视频，将所述视频以至少5fps保存为图片，作为原始数据；
S200、关键点检测，响应于所述原始数据的输入，所述关键点检测模块应用所述关键点检测算法对所述视频中当前帧进行检测，提取出车辆图像和车辆关键点；
S300、图像校正，响应于所述车辆图像和所述车辆关键点的输入，所述图像校正模块根据所述车辆关键点对所述车辆图像进行校正；
S400、特征提取，响应于校正后的所述车辆图像，所述特征提取模块进行深度特征提取，提取出多个车辆的检测信息和特征；
S500、多目标跟踪，响应于提取的所述多个车辆的检测信息和特征，所述多目标跟踪模块对车辆进行跟踪，并更新所述车辆的轨迹信息；
S600、轨迹显示，响应于所述车辆的轨迹信息，所述轨迹显示模块对所述车辆的轨迹进行显示；
所述S300包括：
S310、选择校正用模板图片，选择一张标准视角的车辆图片作为校正用模板图片，要求为正对车身拍摄下的车身图片，车身图片尺寸缩放至标准大小，根据具体的车辆大小不同；
S320、过滤车身图片，根据所述关键点数据，进行车身图片过滤，对输出的所述关键点数据存在车身区域四个关键点的车辆图片进行保留，其他的则不进行校正处理，按照顺时针，记录车身4个关键点在车辆图片中坐标的位置为xa和ya；
S330、记录车身关键点坐标，对所述校正用模板图片按顺时针顺序标记车身关键点，记录在图片中坐标的位置为xs和ys；将模型预测的关键点坐标和标准视角中的坐标输入到标定公式(1)中进行求解运算，得到3*3仿射映射矩阵H，
S340、仿射变换计算，使用计算机视觉开源处理工具opencv库中的warpAffine函数对所述车辆图片进行仿射变换计算，输出校正后的车辆图片；
所述S500还包括：
S510、拍摄车辆监控视频，将所述视频以至少5fps保存为图片，作为基本输入数据源；按照所述关键点检测模块的所述关键点检测算法，对所述视频中的当前帧图像进行关键点检测；在画面中提取出单独车辆图像，输入所述图像校正模块完成车辆图像的校正；再输入到所述特征提取模块，完成目标的深度特征提取；
S520、构建匹配矩阵，公式如下：
Ci，j＝wd(1)(i,j)+(1-w)d(2)(i,j) (5)；
S530、匹配轨迹信息和当前帧检测数据，综合空间距离和特征距离得到匹配矩阵之后，通过匈牙利二分图匹配算法计算匹配过程，实现轨迹信息和当前帧检测数据的匹配；
S540、目标轨迹的分配和管理，历史轨迹按照跟踪状态可以分为跟踪中的轨迹和跟丢的轨迹，所述跟踪中的轨迹指得是一直匹配上当前检测目标的轨迹，所述跟丢的轨迹指的是没有匹配上当前检测目标的轨迹，找不到跟踪的目标；
S550、第一次匈牙利匹配，跟踪轨迹列表和当前帧检测列表进行第一次匈牙利匹配；
S560、第二次匈牙利匹配，对于所述所述第一次匹配失败的检测目标和所述跟丢轨迹列表中的轨迹进行第二次匈牙利匹配；
S570、多目标追踪，完成多目标追踪，得到多个车辆的轨迹。
2.如权利要求1所述的基于关键点检测和校正的车辆多目标跟踪方法，其特征在于，所述S200还包括：
S210、收集车辆监控视频，将所述监控视频以至少5fps保存为图片，作为车辆关键点检测的训练数据；
S220、标注数据，对所述训练数据进行检测框和关键点数据标注；
S230、训练模型，把标注的数据输入到所述关键点检测算法中进行模型训练，输出数据为车辆检测框和车辆关键点；
S240、检测关键点，运用训练好的关键点检测算法，输入所述原始数据，对视频中的每一帧待检测图像进行关键点检测，并从检测出的目标区域中提取目标轮廓和标识区域部位的关键点。
3.如权利要求1所述的基于关键点检测和校正的车辆多目标跟踪方法，其特征在于，所述S400中的深度特征提取方法包括传统的计算机视觉特征和深度卷积神经网络。
4.如权利要求3所述的基于关键点检测和校正的车辆多目标跟踪方法，其特征在于，所述S400还包括：
S410、模型训练，采用公开的车辆重识别数据集作为输入；
S420、模型推理，采用所述图像校正模块经过所述校正后的车辆图片作为输入。
5.如权利要求4所述的基于关键点检测和校正的车辆多目标跟踪方法，其特征在于，所述S420中模型训练使用的深度卷积神经网络为前向传播的深度卷积神经网络，包括：
骨架网络，包括一系列的卷积层和池化层，来自去除分类层之后的经典分类网络，包括Resnet和Mobilenet系列网络；
颈部网络，包括单个卷积层、批归一化层、非线性激励函数层；
头部网络，包括具有多个类别的全连接层，类别数为数据集中不同车辆的个数；
经过图像校正后的所述车辆图片输入所述骨架网络，实现对车辆特征的提取，再进行全局最大池化操作后进入到所述颈部网络，得到有效的特征向量D，再进入所述头部网络中进行分类，在训练过程中，设置联合损失函数并作用于网络进行参数更新。
CN202010809559.4A 2020-08-13 2020-08-13 一种基于关键点检测和校正的车辆多目标跟踪系统及方法 Active CN111784747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010809559.4A CN111784747B (zh) 2020-08-13 2020-08-13 一种基于关键点检测和校正的车辆多目标跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010809559.4A CN111784747B (zh) 2020-08-13 2020-08-13 一种基于关键点检测和校正的车辆多目标跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN111784747A CN111784747A (zh) 2020-10-16
CN111784747B true CN111784747B (zh) 2024-02-27

Family

ID=72762609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010809559.4A Active CN111784747B (zh) 2020-08-13 2020-08-13 一种基于关键点检测和校正的车辆多目标跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN111784747B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016532B (zh) * 2020-10-22 2021-02-05 腾讯科技（深圳）有限公司 一种车辆检测方法和装置
CN112434657A (zh) * 2020-11-20 2021-03-02 上海眼控科技股份有限公司 飘散运载物检测方法、设备、程序及计算机可读介质
CN112560651B (zh) * 2020-12-09 2023-02-03 燕山大学 基于深度网络和目标分割结合的目标跟踪方法及装置
CN112232449B (zh) * 2020-12-14 2021-04-27 浙江大华技术股份有限公司 神经网络的训练方法、电子设备及存储介质
CN112597924B (zh) * 2020-12-28 2024-06-21 深圳市金溢科技股份有限公司 电动自行车轨迹追踪方法、摄像机装置和服务器
CN113824880B (zh) * 2021-08-26 2023-05-19 国网浙江省电力有限公司双创中心 一种基于目标检测和uwb定位的车辆跟踪方法
CN113706422B (zh) * 2021-10-28 2022-03-18 深圳市亚略特科技股份有限公司 一种基于获取关键点的图像校正方法、装置、设备及介质
CN115147588A (zh) * 2022-04-07 2022-10-04 深圳维测科技有限公司 数据处理方法及装置、追踪标记、电子设备及存储介质
CN115908507A (zh) * 2022-09-26 2023-04-04 清华大学 车辆轨迹恢复方法、设备、装置和存储介质
CN115830078B (zh) * 2023-02-13 2023-05-23 山东科技大学 生猪多目标跟踪及行为识别方法、计算机设备与存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
AU2020100371A4 (en) * 2020-03-12 2020-04-16 Jilin University Hierarchical multi-object tracking method based on saliency detection
CN111145545A (zh) * 2019-12-25 2020-05-12 西安交通大学 基于深度学习的道路交通行为无人机监测系统及方法
CN111429484A (zh) * 2020-03-31 2020-07-17 电子科技大学 一种基于交通监控视频的多目标车辆轨迹实时构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
KR102095685B1 (ko) * 2019-12-02 2020-04-01 주식회사 넥스파시스템 차량 식별 방법 및 장치
CN111145545A (zh) * 2019-12-25 2020-05-12 西安交通大学 基于深度学习的道路交通行为无人机监测系统及方法
AU2020100371A4 (en) * 2020-03-12 2020-04-16 Jilin University Hierarchical multi-object tracking method based on saliency detection
CN111429484A (zh) * 2020-03-31 2020-07-17 电子科技大学 一种基于交通监控视频的多目标车辆轨迹实时构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于三维视觉系统的多运动目标跟踪方法综述;万琴;余洪山;吴迪;林国汉;;计算机工程与应用(19);全文 *
融合显著度时空上下文的超像素跟踪算法;郭春梅;陈恳;李萌;李斐;;模式识别与人工智能(08);全文 *

Also Published As

Publication number Publication date
CN111784747A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111784747B (zh) 一种基于关键点检测和校正的车辆多目标跟踪系统及方法
CN109784333B (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN110472554B (zh) 基于姿态分割和关键点特征的乒乓球动作识别方法及系统
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
JP4571628B2 (ja) 顔認識システム及び方法
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN111784746B (zh) 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
CN112257502A (zh) 一种监控视频行人识别与跟踪方法、装置及存储介质
CN114187665B (zh) 一种基于人体骨架热图的多人步态识别方法
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN104298968B (zh) 一种基于超像素的复杂场景下的目标跟踪方法
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN112001859A (zh) 一种人脸图像的修复方法及系统
CN107967692A (zh) 一种基于跟踪学习检测的目标跟踪优化方法
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
CN114677502A (zh) 一种任意倾斜角度的车牌检测方法
CN105760898A (zh) 一种基于混合组回归方法的视觉映射方法
CN116777956A (zh) 基于多尺度航迹管理的运动目标筛选方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
Pandey et al. Analysis of road lane detection using computer vision
CN107122714B (zh) 一种基于边缘约束的实时行人检测方法
CN114724190A (zh) 一种基于宠物姿态的心情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Building A, Daguhe Resort Management Committee, No.1 Hong Kong Road, Jiaozhou City, Qingdao City, Shandong Province, 266318

Applicant after: Qingdao Gaozhong Information Technology Co.,Ltd.

Address before: 200333 room 1208, building 20, 958 Zhenbei Road, Putuo District, Shanghai

Applicant before: SHANGHAI GAOZHONG INFORMATION TECHNOLOGY CO.,LTD.

Country or region before: China

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 266000 Building A, Management Committee of Dagu River Resort, No.1 Hong Kong Road, Jiaozhou, Qingdao, Shandong

Patentee after: Gaozhong Information Technology Group Co.,Ltd.

Country or region after: China

Address before: Building A, Daguhe Resort Management Committee, No.1 Hong Kong Road, Jiaozhou City, Qingdao City, Shandong Province, 266318

Patentee before: Qingdao Gaozhong Information Technology Co.,Ltd.

Country or region before: China