CN114998857B - 一种基于机器视觉的车道流量分类方法及系统 - Google Patents

一种基于机器视觉的车道流量分类方法及系统 Download PDF

Info

Publication number
CN114998857B
CN114998857B CN202210929787.4A CN202210929787A CN114998857B CN 114998857 B CN114998857 B CN 114998857B CN 202210929787 A CN202210929787 A CN 202210929787A CN 114998857 B CN114998857 B CN 114998857B
Authority
CN
China
Prior art keywords
target
target vehicle
angle
vehicle
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210929787.4A
Other languages
English (en)
Other versions
CN114998857A (zh
Inventor
桂宏新
钱钧
张亚楠
马睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory
Original Assignee
Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory filed Critical Shandong Future Network Research Institute Industrial Internet Innovation Application Base Of Zijinshan Laboratory
Priority to CN202210929787.4A priority Critical patent/CN114998857B/zh
Publication of CN114998857A publication Critical patent/CN114998857A/zh
Application granted granted Critical
Publication of CN114998857B publication Critical patent/CN114998857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于机器视觉的车道流量分类方法及系统,涉及机器视觉领域,所述方法包括:通过获得预设虚拟线圈并确定目标监测区域;基于视频采集装置得到目标区域视频;提取目标车辆视频并分析得到目标车辆的目标移动轨迹;判断是否与预设虚拟线圈相交;若相交则获得计算指令;计算得到目标移动轨迹与预设虚拟线圈的弧度夹角;根据弧度夹角确定目标汇入方向并分类。解决了现有技术中无法对交通道路上车辆的汇入方向进行智能识别和细分的技术问题。通过计算目标车辆的汇入角度,达到了提高车辆汇入车道的角度的计算准确率和效率,并为后续基于汇入角度确定车辆汇入方向提供基础,最终提高车道流量分类精细度的技术效果。

Description

一种基于机器视觉的车道流量分类方法及系统
技术领域
本发明涉及机器视觉领域,尤其涉及一种基于机器视觉的车道流量分类方法及系统。
背景技术
随着社会的发展和人民生活水平的不断提高,越来越多自驾出行引发了巨大的交通压力。现有技术中在对各路段的交通情况和车流量进行统计分析时,通常利用传统的物理线圈进行车辆计数,然而由于物理线圈需要埋设在路面之下,因此会有安装、维护费用高,造成路面破坏等问题。因此,研究利用计算机技术代替传统的物理线圈,示范性的如虚拟线圈。然而,现有技术中利用现有技术一条虚拟线圈只能统计单个方向车辆流量的数据,缺少线圈碰撞的方向性,这样也就无法细分车辆流入方向,不能得到左转汇入,右转汇入的流量分类信息,进一步导致对交通道路上各运输车辆的统计和分类不具体细化,无法为交通车辆管控等提供更丰富的数据基础。因此,研究利用计算机技术降低车道流量统计成本、提高车道流量统计效率和统计准确率等,具有重要的意义。
然而,现有技术中通过在路面下埋设物理线圈进行车流量统计,存在安装、维护费用高,造成路面破坏的问题,而利用单条虚拟线圈存在无法对交通道路上车辆的汇入方向进行智能识别和细分的技术问题。
发明内容
本发明的目的是提供一种基于机器视觉的车道流量分类方法及系统,用以解决现有技术中通过在路面下埋设物理线圈进行车流量统计,存在安装、维护费用高,造成路面破坏的问题,而利用单条虚拟线圈存在无法对交通道路上车辆的汇入方向进行智能识别和细分的技术问题。
鉴于上述问题,本发明提供了一种基于机器视觉的车道流量分类方法及系统。
第一方面,本发明提供了一种基于机器视觉的车道流量分类方法,所述方法通过一种基于机器视觉的车道流量分类系统实现,其中,所述方法包括:通过获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;基于视频采集装置,采集得到所述目标监测区域的目标区域视频;提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;判断所述目标移动轨迹是否与所述预设虚拟线圈相交;若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类。
第二方面,本发明还提供了一种基于机器视觉的车道流量分类系统,用于执行如第一方面所述的一种基于机器视觉的车道流量分类方法,其中,所述系统包括:区域确定模块,所述区域确定模块用于获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;区域监测模块,所述区域监测模块用于基于视频采集装置,采集得到所述目标监测区域的目标区域视频;区域分析模块,所述区域分析模块包括:分析模块,所述分析模块用于提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;判断模块,所述判断模块用于判断所述目标移动轨迹是否与所述预设虚拟线圈相交;计算模块,所述计算模块用于若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;获得模块,所述获得模块用于根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;区域分类模块,所述区域分类模块用于根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类。
本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1.通过获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;基于视频采集装置,采集得到所述目标监测区域的目标区域视频;提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;判断所述目标移动轨迹是否与所述预设虚拟线圈相交;若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类。通过基于预设虚拟线圈构建二维直角坐标系,并透视转换得到目标车辆的现实中的行驶轨迹,从而得到目标车辆行驶轨迹与预设虚拟线圈的弧度夹角,为后续计算目标车辆的汇入角度提供了准确的数据基础,达到了提高车辆汇入车道的角度的计算准确率和效率,并为后续基于汇入角度确定车辆汇入方向提供基础,最终提高车道流量分类精细度的技术效果。
2.通过透视变换处理得到二维直角坐标系在现实世界中的映射结果,并对应得到目标车辆在现实世界中的行驶轨迹,为后续确定目标车辆与预设虚拟线圈的位置关系、夹角弧度等提供了准确、可靠的数据基础。
3.通过利用arctan2函数对弧度夹角的转换计算,实现了智能化确定目标车辆汇入目标监测区域的车道中的驶入角度的技术目标,达到了为后续基于车辆驶入角度确定车辆驶入方向并进行车流分类提供基础的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明一种基于机器视觉的车道流量分类方法的流程示意图;
图2为本发明一种基于机器视觉的车道流量分类方法中得到所述目标移动轨迹的流程示意图;
图3为本发明一种基于机器视觉的车道流量分类方法中得到所述目标移动轨迹的现实目标移动轨迹的流程示意图;
图4为本发明一种基于机器视觉的车道流量分类方法中得到所述弧度夹角的流程示意图;
图5为本发明一种基于机器视觉的车道流量分类系统的结构示意图。
附图标记说明:
区域确定模块M100,区域监测模块M200,区域分析模块M300,分析模块M310,判断模块M320,计算模块M330,获得模块M340,区域分类模块M400。
具体实施方式
本发明通过提供一种基于机器视觉的车道流量分类方法及系统,解决了现有技术中通过在路面下埋设物理线圈进行车流量统计,存在安装、维护费用高,造成路面破坏的问题,而利用单条虚拟线圈存在无法对交通道路上车辆的汇入方向进行智能识别和细分的技术问题。通过基于预设虚拟线圈构建二维直角坐标系,并透视转换得到目标车辆的现实中的行驶轨迹,从而得到目标车辆行驶轨迹与预设虚拟线圈的弧度夹角,为后续计算目标车辆的汇入角度提供了准确的数据基础,达到了提高车辆汇入车道的角度的计算准确率和效率,并为后续基于汇入角度确定车辆汇入方向提供基础,最终提高车道流量分类精细度的技术效果。
本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
下面,将参考附图对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部。
实施例一
请参阅附图1,本发明提供了一种基于机器视觉的车道流量分类方法,其中,所述方法应用于一种基于机器视觉的车道流量分类系统,所述方法具体包括如下步骤:
步骤S100:获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;
步骤S200:基于视频采集装置,采集得到所述目标监测区域的目标区域视频;
具体而言,所述一种基于机器视觉的车道流量分类方法应用于所述一种基于机器视觉的车道流量分类系统,可以通过基于预设虚拟线圈构建二维直角坐标系,并透视转换得到目标车辆的现实中的行驶轨迹,从而得到目标车辆行驶轨迹与预设虚拟线圈的弧度夹角,为后续计算目标车辆的汇入角度提供了准确的弧度夹角数据。其中,所述预设虚拟线圈是指为待分类车道设置的虚拟线圈。示范性的如监测某十字路口东北方向道路的车流量并分类,则在该十字路口中东北方向道路上设置一条虚拟线圈,并以此虚拟线圈作为后续分析识别车辆汇入方向的分析基础。所述目标监测区域是指所述视频采集装置可以监测采集到的车道实时状态的区域,且所述目标监测区域中包括所述预设虚拟线圈。示范性的如某目标监测区域为以预设虚拟线圈的长度为边长,以预设虚拟线圈的长度的两倍为另一边长的长方形区域,如某十字路口中东北方向道路区域。其中,所述视频采集装置是指可以对目标监测区域的实时状态进行实时智能监测和视频智能采集的高清智能设备,且所述视频采集装置为广角采集装置。示范性的如某监控摄像头。
通过基于实际监测和统计、分类的需要,确定预设虚拟线圈,并利用视频采集装置对预设虚拟线圈所处的目标监测区域的实时车辆运行情况进行智能视频采集记录,得到目标区域视频,实现了对车道流量进行实时智能监测的目标,达到了为后续统计分析车道流量、计算确定车辆汇入方向,从而细分车道中各车辆提供视频基础的技术效果。
步骤S300:提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;
进一步的,如附图2所示,本发明步骤S300还包括:
步骤S310:对所述目标车辆视频进行逐帧提取得到目标图像集,其中,所述目标图像集包括所述目标车辆的多帧图像;
步骤S320:基于所述多帧图像得到所述目标车辆的多个位置,其中,所述多个位置与所述多帧图像具备对应关系;
进一步的,本发明步骤S320还包括:
步骤S321:提取所述多帧图像中任意一帧图像,记作目标图像;
步骤S322:获得所述目标图像中的目标车辆,并绘制所述目标车辆的外切矩形;
步骤S323:连接所述外切矩形的两条对角线,得到对角线交点;
步骤S324:将所述对角线交点作为所述目标车辆在所述目标图像中的位置。
步骤S330:将所述多个位置依次连接,得到所述目标移动轨迹。
具体而言,在基于所述目标区域视频,分析得到目标车辆的目标移动轨迹之前,首先对所述目标车辆的运行情况进行分析。
首先从所述目标区域视频中,提取所述目标车辆的目标车辆视频,并对所述目标车辆视频进行逐帧提取,得到目标图像集。其中,所述目标图像集包括所述目标车辆的多帧图像。然后对所述多帧图像依次进行分析。第一步提取所述多帧图像中任意一帧图像,并将其记作目标图像,第二步通过绘制所述目标车辆的外切矩形,第三步连接所述外切矩形的两条对角线,得到的对角线交点作为所述目标车辆在所述目标图像中的定位。进一步的,得到所述目标车辆在所述目标图像集中各帧图像中的定位情况,即组成所述目标车辆的所述多个位置。最后将所述多个位置按照目标图像集中各图像逐帧提取顺序进行连接,得到所述目标移动轨迹。
通过对视频数据进行分析,得到目标车辆的移动轨迹,为后续判断目标车辆与预设虚拟线圈的位置关系提供轨迹基础。
步骤S400:判断所述目标移动轨迹是否与所述预设虚拟线圈相交;
进一步的,如附图3所示,本发明步骤S400还包括:
步骤S410:基于所述目标区域视频,构建所述目标监测区域的二维直角坐标系;
步骤S420:其中,所述二维直角坐标系的圆心为所述预设虚拟线圈的中心,所述二维直角坐标系的横坐标为所述预设虚拟线圈,所述二维直角坐标系的纵坐标为所述预设虚拟线圈的垂直方向;
步骤S430:对所述二维直角坐标系进行透视变换,得到现实二维直角坐标系;
步骤S440:基于所述现实二维直角坐标系,得到所述目标移动轨迹的现实目标移动轨迹,并判断所述现实目标移动轨迹是否与所述预设虚拟线圈相交。
进一步的,本发明步骤S440还包括:
步骤S441:若所述现实目标移动轨迹与所述预设虚拟线圈不相交,则所述目标车辆未汇入目标车道;
步骤S442:若所述现实目标移动轨迹与所述预设虚拟线圈相交,则所述目标车辆汇入所述目标车道,获得所述计算指令。
具体而言,由于视频采集装置采集到的车道视频画面是经过透视变换进行的成像,存在远小近大效果,因此仅通过采集图像判断所述目标移动轨迹是否与所述预设虚拟线圈的位置情况,其计算结果存在巨大误差,因此需要先对视频图像和现实图像进行图像坐标透视变换,从而将视频图像转换为现实世界的相对坐标。
首先基于所述目标区域视频,构建所述目标监测区域的二维直角坐标系。其中,所述二维直角坐标系的圆心为所述预设虚拟线圈的中心,所述二维直角坐标系的横坐标为所述预设虚拟线圈,所述二维直角坐标系的纵坐标为所述预设虚拟线圈的垂直方向。然后对基于所述目标区域视频构建所述目标监测区域的所述二维直角坐标系进行透视变换,得到现实二维直角坐标系。示范性的如在二维直角坐标系和现实二维直角坐标系中分别创建四个点,并通过这四个点定义透视变换,同时记录这四个点在透视变换前、透视变换后的坐标,并利用getPerspectiveTransform函数返回透视变换的映射矩阵。进一步,将映射矩阵存储至wrapPerspective函数中,接下来在进行透视变换时仅需调用wrapPerspective函数即可实现高效透视变换处理。进一步,将所述目标车辆的所述目标移动轨迹,从二维直角坐标系中透视映射至现实二维直角坐标系,从而得到所述目标移动轨迹的现实目标移动轨迹。最后通过判断所述现实目标移动轨迹与所述预设虚拟线圈的位置关系,即可确定目标车辆是否穿过预设虚拟线圈。其中,当所述现实目标移动轨迹与所述预设虚拟线圈不相交时,说明所述目标车辆未穿过预设虚拟线圈,即未汇入目标车道;当所述现实目标移动轨迹与所述预设虚拟线圈相交时,说明所述目标车辆穿过了所述预设虚拟线圈,即目标车辆汇入了所述目标车道,此时系统自动发出计算指令,用于计算所述目标车辆与所述预设虚拟线圈之间的弧度夹角,并为后续确定所述目标车辆的汇入方向、从而分类等提供基础。
通过透视变换处理,得到二维直角坐标系在现实世界中的映射结果,并对应得到目标车辆在现实世界中的行驶轨迹,为后续确定目标车辆与预设虚拟线圈的位置关系、夹角弧度等提供准确、可靠的数据基础。
步骤S500:若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;
步骤S600:根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;
进一步的,如附图4所示,本发明步骤S600还包括:
步骤S610:基于所述现实二维直角坐标系获得所述目标车辆的目标起点、目标终点,并连接所述目标起点和所述目标终点,得到轨迹向量;
步骤S620:基于所述现实二维直角坐标系,获得所述预设虚拟线圈的线圈向量;
步骤S630:对所述轨迹向量、所述线圈向量依次进行归一化处理,得到归一化轨迹向量、归一化线圈向量;
步骤S640:依次计算所述归一化轨迹向量、所述归一化线圈向量的叉积、点积;
步骤S650:根据所述计算指令对所述叉积、所述点积进行计算,得到所述弧度夹角。
具体而言,在所述现实目标移动轨迹与所述预设虚拟线圈不相交时,说明所述目标车辆未汇入所述目标检测区域中的目标车道,然而当所述现实目标移动轨迹与所述预设虚拟线圈相交时,说明所述目标车辆汇入了所述目标检测区域中的目标车道,为进一步基于车辆汇入方向对车流进行准确类别划分,此时系统自动发出计算指令,用于计算所述目标车辆与所述预设虚拟线圈之间的弧度夹角。
首先基于所述现实二维直角坐标系获得所述目标车辆的在现实世界中的行驶轨迹,并确定所述目标车辆的行驶起点和行驶终点,即所述目标起点、目标终点,进而连接所述目标起点和所述目标终点,得到所述目标车辆的轨迹向量。然后基于所述现实二维直角坐标系,获得所述预设虚拟线圈的线圈向量。进一步对所述轨迹向量、所述线圈向量依次进行归一化处理,得到归一化轨迹向量、归一化线圈向量,从而降低后续计算量,达到提高系统运行效率、保障系统性能的技术效果。最后计算所述归一化轨迹向量与所述归一化线圈向量的叉积、点积,并根据所述计算指令对所述叉积、所述点积计算得到所述弧度夹角。
通过基于向量坐标计算得到目标车辆与预设虚拟线圈的弧度夹角,达到了为后续确定目标车辆的汇入方向、进而确定目标车辆的类别提供数据基础的技术效果。
步骤S700:根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类。
进一步的,本发明步骤S700还包括:
步骤S710:利用arctan2函数对所述弧度夹角进行转换计算,得到所述目标车辆的汇入角度,其中,计算函数如下:
degrees(arctan2(dot(V1,V2),︱cross(V1,V2)︱))
步骤S720:其中,所述degrees是指所述汇入角度的计算函数,所述dot(V1,V2)是指所述点积,所述︱cross(V1,V2)︱是指所述叉积的模,所述cross(V1,V2)是指所述叉积,所述V1是指所述归一化轨迹向量,所述V2是指所述归一化线圈向量;
步骤S730:判断所述汇入角度是否满足第一预设角度阈值;
步骤S740:若所述汇入角度满足所述第一预设角度阈值,确定所述目标车辆为左转汇入车辆;
步骤S750:若所述汇入角度不满足所述第一预设角度阈值,判断所述汇入角度是否满足第二预设角度阈值;
步骤S760:若所述汇入角度满足所述第二预设角度阈值,确定所述目标车辆为直行汇入车辆;
步骤S770:若所述汇入角度不满足所述第二预设角度阈值,判断所述汇入角度是否满足第三预设角度阈值;
步骤S780:若所述汇入角度满足所述第三预设角度阈值,确定所述目标车辆为右转汇入车辆。
具体而言,在计算得到所述目标车辆与所述预设虚拟线圈的弧度夹角后,利用arctan2函数对所述弧度夹角进行转换计算,即得到所述目标车辆汇入所述目标监测区域中车道的汇入角度。其中,所述arctan2函数的原理就是cross计算的标量比上dot计算的标量得到正切函数tan,再运用反正切函数获得汇入角度的弧度值域,因此可以求出对应360度取值范围的角度,其中,计算函数如下:
degrees(arctan2(dot(V1,V2),︱cross(V1,V2)︱))
其中,所述degrees是指所述汇入角度的计算函数,所述dot(V1,V2)是指所述点积,也就是将两向量相乘相加,得到两向量的数量积,即得到dot计算的标量,所述︱cross(V1,V2)︱是指所述叉积的模,所述︱cross(V1,V2)︱是指所述叉积,是指计算得到两向量的向量积,因此dot点积和cross叉积均为标量,所述V1是指所述归一化轨迹向量,所述V2是指所述归一化线圈向量。
进一步的,判断所述汇入角度是否满足第一预设角度阈值,当所述汇入角度满足所述第一预设角度阈值时,说明所述目标车辆为左转汇入车辆。当所述汇入角度不满足所述第一预设角度阈值时,系统发出二次判断指令,用于判断所述汇入角度是否满足第二预设角度阈值。当所述汇入角度满足所述第二预设角度阈值时,说明所述目标车辆为直行汇入车辆。当所述汇入角度不满足所述第二预设角度阈值时,系统发出三次判断指令,用于判断所述汇入角度是否满足第三预设角度阈值。当所述汇入角度满足所述第三预设角度阈值,说明所述目标车辆为右转汇入车辆。其中,所述第一预设角度阈值、第二预设角度阈值、第三预设角度阈值之和为180度,且所述第一预设角度阈值小于所述第二预设角度阈值,所述第二预设角度阈值小于所述第三预设角度阈值。也就是说,根据透视变换得到的所述现实二维直角坐标系,可以直观了解到左转汇入车辆的角度、直行汇入车辆的角度、右转汇入车辆的角度之和为平角,且各角度均处于所述现实二维直角坐标系的第一象限、第二象限中。进而,若汇入车辆的角度处于现实二维直角坐标系的第三象限或第四象限中时,说明对应汇入车辆为逆行违规车辆。进一步,采集历史汇入车辆的汇入角度数据,人工分析剔除异常行驶的数据信息,从而得到历史正常行驶汇入车辆的汇入角度数据。将0度作为所述第一预设角度阈值的下限,取历史正常行驶汇入车辆的最大左转汇入角度,记作m,并将m作为所述第一预设角度阈值的上限,则所述第一预设角度阈值的表示为[0,m]。然后,将180度作为所述第三预设角度阈值的上限,取历史正常行驶汇入车辆的最小右转汇入角度,记作n,并将n作为所述第三预设角度阈值的下限,则所述第三预设角度阈值的表示为[n,180]。最后,将(m,n)作为所述第二预设角度阈值。示范性的如汇入角度小于等于70度为左转汇入车辆,汇入角度在70度-110度之间为直行进入车辆,汇入角度大于等于110度为右转汇入车辆,夹角为负数则为逆行车辆。
通过基于弧度夹角计算得到目标车辆驶入目标监测区域的车道中的驶入角度,并对驶入角度进行分析确定目标车辆的驶入方向,从而对目标监测区域的车道中的车流进行基于驶入方向的细分,达到了提高车道流量分类精细度和准确度的技术效果。
综上所述,本发明所提供的一种基于机器视觉的车道流量分类方法具有如下技术效果:
1.通过获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;基于视频采集装置,采集得到所述目标监测区域的目标区域视频;提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;判断所述目标移动轨迹是否与所述预设虚拟线圈相交;若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类。通过基于预设虚拟线圈构建二维直角坐标系,并透视转换得到目标车辆的现实中的行驶轨迹,从而得到目标车辆行驶轨迹与预设虚拟线圈的弧度夹角,为后续计算目标车辆的汇入角度提供了准确的数据基础,达到了提高车辆汇入车道的角度的计算准确率和效率,并为后续基于汇入角度确定车辆汇入方向提供基础,最终提高车道流量分类精细度的技术效果。
2.通过透视变换处理得到二维直角坐标系在现实世界中的映射结果,并对应得到目标车辆在现实世界中的行驶轨迹,为后续确定目标车辆与预设虚拟线圈的位置关系、夹角弧度等提供了准确、可靠的数据基础。
3.通过利用arctan2函数对弧度夹角的转换计算,实现了智能化确定目标车辆汇入目标监测区域的车道中的驶入角度的技术目标,达到了为后续基于车辆驶入角度确定车辆驶入方向并进行车流分类提供基础的技术效果。
实施例二
基于与前述实施例中一种基于机器视觉的车道流量分类方法,同样发明构思,本发明还提供了一种基于机器视觉的车道流量分类系统,请参阅附图5,所述系统包括:
区域确定模块M100,所述区域确定模块M100用于获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;
区域监测模块M200,所述区域监测模块M200用于基于视频采集装置,采集得到所述目标监测区域的目标区域视频;
区域分析模块M300,所述区域分析模块M300包括:
分析模块M310,所述分析模块M310用于提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;
判断模块M320,所述判断模块M320用于判断所述目标移动轨迹是否与所述预设虚拟线圈相交;
计算模块M330,所述计算模块M330用于若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;
获得模块M340,所述获得模块M340用于根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;
区域分类模块M400,所述区域分类模块M400用于根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类。
进一步的,所述分析模块M310还用于:
对所述目标车辆视频进行逐帧提取得到目标图像集,其中,所述目标图像集包括所述目标车辆的多帧图像;
基于所述多帧图像得到所述目标车辆的多个位置,其中,所述多个位置与所述多帧图像具备对应关系;
将所述多个位置依次连接,得到所述目标移动轨迹。
进一步的,所述分析模块M310还用于:
提取所述多帧图像中任意一帧图像,记作目标图像;
获得所述目标图像中的目标车辆,并绘制所述目标车辆的外切矩形;
连接所述外切矩形的两条对角线,得到对角线交点;
将所述对角线交点作为所述目标车辆在所述目标图像中的位置。
进一步的,所述判断模块M320还用于:
基于所述目标区域视频,构建所述目标监测区域的二维直角坐标系;
其中,所述二维直角坐标系的圆心为所述预设虚拟线圈的中心,所述二维直角坐标系的横坐标为所述预设虚拟线圈,所述二维直角坐标系的纵坐标为所述预设虚拟线圈的垂直方向;
对所述二维直角坐标系进行透视变换,得到现实二维直角坐标系;
基于所述现实二维直角坐标系,得到所述目标移动轨迹的现实目标移动轨迹,并判断所述现实目标移动轨迹是否与所述预设虚拟线圈相交。
进一步的,所述判断模块M320还用于:
若所述现实目标移动轨迹与所述预设虚拟线圈不相交,则所述目标车辆未汇入目标车道;
若所述现实目标移动轨迹与所述预设虚拟线圈相交,则所述目标车辆汇入所述目标车道,获得所述计算指令。
进一步的,所述获得模块M340还用于:
基于所述现实二维直角坐标系获得所述目标车辆的目标起点、目标终点,并连接所述目标起点和所述目标终点,得到轨迹向量;
基于所述现实二维直角坐标系,获得所述预设虚拟线圈的线圈向量;
对所述轨迹向量、所述线圈向量依次进行归一化处理,得到归一化轨迹向量、归一化线圈向量;
依次计算所述归一化轨迹向量、所述归一化线圈向量的叉积、点积;
根据所述计算指令对所述叉积、所述点积进行计算,得到所述弧度夹角。
进一步的,所述区域分类模块M400还用于:
利用arctan2函数对所述弧度夹角进行转换计算,得到所述目标车辆的汇入角度,其中,计算函数如下:
degrees(arctan2(dot(V1,V2),︱cross(V1,V2)︱))
其中,所述degrees是指所述汇入角度的计算函数,所述dot(V1,V2)是指所述点积,所述
︱cross(V1,V2)︱是指所述叉积的模,所述cross(V1,V2)是指所述叉积,所述V1是指所述归一化轨迹向量,所述V2是指所述归一化线圈向量;
判断所述汇入角度是否满足第一预设角度阈值;
若所述汇入角度满足所述第一预设角度阈值,确定所述目标车辆为左转汇入车辆;
若所述汇入角度不满足所述第一预设角度阈值,判断所述汇入角度是否满足第二预设角度阈值;
若所述汇入角度满足所述第二预设角度阈值,确定所述目标车辆为直行汇入车辆;
若所述汇入角度不满足所述第二预设角度阈值,判断所述汇入角度是否满足第三预设角度阈值;
若所述汇入角度满足所述第三预设角度阈值,确定所述目标车辆为右转汇入车辆。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,前述图1实施例一中的一种基于机器视觉的车道流量分类方法和具体实例同样适用于本实施例的一种基于机器视觉的车道流量分类系统,通过前述对一种基于机器视觉的车道流量分类方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种基于机器视觉的车道流量分类系统,所以为了说明书的简洁,在此不再详述。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于机器视觉的车道流量分类方法,其特征在于,包括:
获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;
基于视频采集装置,采集得到所述目标监测区域的目标区域视频;
提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;
判断所述目标移动轨迹是否与所述预设虚拟线圈相交;
若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;
根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;
根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类;
其中,所述判断所述目标移动轨迹是否与所述预设虚拟线圈相交,包括:
基于所述目标区域视频,构建所述目标监测区域的二维直角坐标系;
其中,所述二维直角坐标系的圆心为所述预设虚拟线圈的中心,所述二维直角坐标系的横坐标为所述预设虚拟线圈,所述二维直角坐标系的纵坐标为所述预设虚拟线圈的垂直方向;
对所述二维直角坐标系进行透视变换,得到现实二维直角坐标系;
基于所述现实二维直角坐标系,得到所述目标移动轨迹的现实目标移动轨迹,并判断所述现实目标移动轨迹是否与所述预设虚拟线圈相交;
在所述基于所述现实二维直角坐标系,得到所述目标移动轨迹的现实目标移动轨迹,并判断所述现实目标移动轨迹是否与所述预设虚拟线圈相交之后,还包括:
若所述现实目标移动轨迹与所述预设虚拟线圈不相交,则所述目标车辆未汇入目标车道;
若所述现实目标移动轨迹与所述预设虚拟线圈相交,则所述目标车辆汇入所述目标车道,获得所述计算指令;
在所述获得所述计算指令之后,还包括:
基于所述现实二维直角坐标系获得所述目标车辆的目标起点、目标终点,并连接所述目标起点和所述目标终点,得到轨迹向量;
基于所述现实二维直角坐标系,获得所述预设虚拟线圈的线圈向量;
对所述轨迹向量、所述线圈向量依次进行归一化处理,得到归一化轨迹向量、归一化线圈向量;
依次计算所述归一化轨迹向量、所述归一化线圈向量的叉积、点积;
根据所述计算指令对所述叉积、所述点积进行计算,得到所述弧度夹角;
在所述根据所述计算指令对所述叉积、所述点积进行计算,得到所述弧度夹角之后,还包括:
利用arctan2函数对所述弧度夹角进行转换计算,得到所述目标车辆的汇入角度,其中,计算函数如下:
Degrees(arctan2(dot(V1,V2),|cross(V1,V2) |))
其中,所述Degrees是指所述汇入角度的计算函数,所述dot(V1,V2)是指所述点积,所述|cross(V1,V2) |是指所述叉积的模,所述cross(V1,V2)是指所述叉积,所述V1是指所述归一化轨迹向量,所述V2是指所述归一化线圈向量;
判断所述汇入角度是否满足第一预设角度阈值;
若所述汇入角度满足所述第一预设角度阈值,确定所述目标车辆为左转汇入车辆;
若所述汇入角度不满足所述第一预设角度阈值,判断所述汇入角度是否满足第二预设角度阈值;
若所述汇入角度满足所述第二预设角度阈值,确定所述目标车辆为直行汇入车辆;
若所述汇入角度不满足所述第二预设角度阈值,判断所述汇入角度是否满足第三预设角度阈值;
若所述汇入角度满足所述第三预设角度阈值,确定所述目标车辆为右转汇入车辆。
2.根据权利要求1所述的方法,其特征在于,所述提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹,包括:
对所述目标车辆视频进行逐帧提取得到目标图像集,其中,所述目标图像集包括所述目标车辆的多帧图像;
基于所述多帧图像得到所述目标车辆的多个位置,其中,所述多个位置与所述多帧图像具备对应关系;
将所述多个位置依次连接,得到所述目标移动轨迹。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多帧图像得到所述目标车辆的多个位置,包括:
提取所述多帧图像中任意一帧图像,记作目标图像;
获得所述目标图像中的目标车辆,并绘制所述目标车辆的外切矩形;
连接所述外切矩形的两条对角线,得到对角线交点;
将所述对角线交点作为所述目标车辆在所述目标图像中的位置。
4.一种基于机器视觉的车道流量分类系统,其特征在于,包括:
区域确定模块,所述区域确定模块用于获得预设虚拟线圈,并基于所述预设虚拟线圈确定目标监测区域;
区域监测模块,所述区域监测模块用于基于视频采集装置,采集得到所述目标监测区域的目标区域视频;
区域分析模块,所述区域分析模块包括:
分析模块,所述分析模块用于提取所述目标区域视频中目标车辆的目标车辆视频,并对所述目标车辆视频进行分析,得到所述目标车辆的目标移动轨迹;
判断模块,所述判断模块用于判断所述目标移动轨迹是否与所述预设虚拟线圈相交;
计算模块,所述计算模块用于若所述目标移动轨迹与所述预设虚拟线圈相交,获得计算指令;
获得模块,所述获得模块用于根据所述计算指令,计算得到所述目标移动轨迹与所述预设虚拟线圈的弧度夹角;
区域分类模块,所述区域分类模块用于根据所述弧度夹角确定所述目标车辆的目标汇入方向,并根据所述目标汇入方向对所述目标车辆进行分类;
其中,所述判断模块还用于:
基于所述目标区域视频,构建所述目标监测区域的二维直角坐标系;
其中,所述二维直角坐标系的圆心为所述预设虚拟线圈的中心,所述二维直角坐标系的横坐标为所述预设虚拟线圈,所述二维直角坐标系的纵坐标为所述预设虚拟线圈的垂直方向;
对所述二维直角坐标系进行透视变换,得到现实二维直角坐标系;
基于所述现实二维直角坐标系,得到所述目标移动轨迹的现实目标移动轨迹,并判断所述现实目标移动轨迹是否与所述预设虚拟线圈相交;
若所述现实目标移动轨迹与所述预设虚拟线圈不相交,则所述目标车辆未汇入目标车道;
若所述现实目标移动轨迹与所述预设虚拟线圈相交,则所述目标车辆汇入所述目标车道,获得所述计算指令;
其中,所述获得模块还用于:
基于所述现实二维直角坐标系获得所述目标车辆的目标起点、目标终点,并连接所述目标起点和所述目标终点,得到轨迹向量;
基于所述现实二维直角坐标系,获得所述预设虚拟线圈的线圈向量;
对所述轨迹向量、所述线圈向量依次进行归一化处理,得到归一化轨迹向量、归一化线圈向量;
依次计算所述归一化轨迹向量、所述归一化线圈向量的叉积、点积;
根据所述计算指令对所述叉积、所述点积进行计算,得到所述弧度夹角;
其中,所述区域分类模块还用于:
利用arctan2函数对所述弧度夹角进行转换计算,得到所述目标车辆的汇入角度,其中,计算函数如下:
Degrees(arctan2(dot(V1,V2),|cross(V1,V2) |))
其中,所述Degrees是指所述汇入角度的计算函数,所述dot(V1,V2)是指所述点积,所述|cross(V1,V2) |是指所述叉积的模,所述cross(V1,V2)是指所述叉积,所述V1是指所述归一化轨迹向量,所述V2是指所述归一化线圈向量;
判断所述汇入角度是否满足第一预设角度阈值;
若所述汇入角度满足所述第一预设角度阈值,确定所述目标车辆为左转汇入车辆;
若所述汇入角度不满足所述第一预设角度阈值,判断所述汇入角度是否满足第二预设角度阈值;
若所述汇入角度满足所述第二预设角度阈值,确定所述目标车辆为直行汇入车辆;
若所述汇入角度不满足所述第二预设角度阈值,判断所述汇入角度是否满足第三预设角度阈值;
若所述汇入角度满足所述第三预设角度阈值,确定所述目标车辆为右转汇入车辆。
CN202210929787.4A 2022-08-04 2022-08-04 一种基于机器视觉的车道流量分类方法及系统 Active CN114998857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210929787.4A CN114998857B (zh) 2022-08-04 2022-08-04 一种基于机器视觉的车道流量分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210929787.4A CN114998857B (zh) 2022-08-04 2022-08-04 一种基于机器视觉的车道流量分类方法及系统

Publications (2)

Publication Number Publication Date
CN114998857A CN114998857A (zh) 2022-09-02
CN114998857B true CN114998857B (zh) 2022-10-25

Family

ID=83023242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210929787.4A Active CN114998857B (zh) 2022-08-04 2022-08-04 一种基于机器视觉的车道流量分类方法及系统

Country Status (1)

Country Link
CN (1) CN114998857B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665363A (zh) * 2012-05-29 2012-09-12 广州中国科学院软件应用技术研究所 一种基于来车视频检测的路灯控制装置及方法
CN105957340A (zh) * 2016-04-27 2016-09-21 电子科技大学 一种基于自适应虚拟线圈的交通监控方法
WO2017185114A1 (de) * 2016-04-27 2017-11-02 Farmdok Gmbh Verfahren zum detektieren landwirtschaftlicher, von einem fahrzeug ausgeführter feldarbeit
CN112530170A (zh) * 2020-12-16 2021-03-19 济南博观智能科技有限公司 一种车辆行驶状态检测方法、装置、电子设备及存储介质
CN113469075A (zh) * 2021-07-07 2021-10-01 上海商汤智能科技有限公司 确定交通流量指标的方法、装置、设备及存储介质
CN114543825A (zh) * 2022-01-12 2022-05-27 华为技术有限公司 引导车辆行驶的方法、地图生成方法及相关系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044988B2 (en) * 2015-05-19 2018-08-07 Conduent Business Services, Llc Multi-stage vehicle detection in side-by-side drive-thru configurations
CN113110447B (zh) * 2021-04-13 2022-11-25 上海新纪元机器人有限公司 一种相对位置关系分析和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665363A (zh) * 2012-05-29 2012-09-12 广州中国科学院软件应用技术研究所 一种基于来车视频检测的路灯控制装置及方法
CN105957340A (zh) * 2016-04-27 2016-09-21 电子科技大学 一种基于自适应虚拟线圈的交通监控方法
WO2017185114A1 (de) * 2016-04-27 2017-11-02 Farmdok Gmbh Verfahren zum detektieren landwirtschaftlicher, von einem fahrzeug ausgeführter feldarbeit
CN112530170A (zh) * 2020-12-16 2021-03-19 济南博观智能科技有限公司 一种车辆行驶状态检测方法、装置、电子设备及存储介质
CN113469075A (zh) * 2021-07-07 2021-10-01 上海商汤智能科技有限公司 确定交通流量指标的方法、装置、设备及存储介质
CN114543825A (zh) * 2022-01-12 2022-05-27 华为技术有限公司 引导车辆行驶的方法、地图生成方法及相关系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vehicular Trajectory Classification and Traffic Anomaly Detection in Videos Using a Hybrid CNN-VAE Architecture;Kelathodi Kumaran Santhosh等;《IEEE Transactions on Intelligent Transportation Systems》;20210908;第23卷(第8期);第11891-11902页 *
基于物联网的智能交通监控系统;邹敏;《工程科技Ⅱ辑》;20190215(第02期);第9-50页 *

Also Published As

Publication number Publication date
CN114998857A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN110490150B (zh) 一种基于车辆检索的违章图片自动审核系统及方法
CN110288738B (zh) 一种自行车专用车道智能综合管控系统和管控方法
CN104616502A (zh) 基于组合式车路视频网络的车牌识别与定位系统
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN113706584A (zh) 基于计算机视觉的街景流量信息采集方法
CN113850872A (zh) 一种基于高位视频的服务区停车压线检测方法
CN114360261B (zh) 车辆逆行的识别方法、装置、大数据分析平台和介质
CN114998857B (zh) 一种基于机器视觉的车道流量分类方法及系统
CN114140719A (zh) 一种ai交通视频分析技术
CN113593249A (zh) 基于移动平台的动态停车位车辆压线识别方法
Sidla et al. Vehicle recognition for highway lane survey
KR102240638B1 (ko) 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템
CN110880205B (zh) 一种停车收费方法及装置
CN111950499A (zh) 一种检测车载人员统计信息的方法
CN116665197A (zh) 一种基于双目视觉的停车场防逃费车牌识别方法及系统
CN112686136B (zh) 一种对象检测方法、装置及系统
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
KR102228395B1 (ko) 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법
CN115116033A (zh) 车位范围的处理方法及计算设备
KR102122853B1 (ko) 외부기기 제어가 가능한 모니터링시스템
CN114463990A (zh) 一种高位视频车辆及车牌的检测方法及装置
CN114092857A (zh) 基于闸道的集卡图像采集方法、系统、设备及存储介质
CN116013072B (zh) 一种基于深度学习应用的停车场出入车辆计数方法
CN114842462B (zh) 一种车牌防伪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant