CN106846299A - 一种检测区域的校正方法和装置 - Google Patents

一种检测区域的校正方法和装置 Download PDF

Info

Publication number
CN106846299A
CN106846299A CN201611220333.0A CN201611220333A CN106846299A CN 106846299 A CN106846299 A CN 106846299A CN 201611220333 A CN201611220333 A CN 201611220333A CN 106846299 A CN106846299 A CN 106846299A
Authority
CN
China
Prior art keywords
time section
camera coverage
boundary line
camera
lane boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611220333.0A
Other languages
English (en)
Other versions
CN106846299B (zh
Inventor
邹博
李为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201611220333.0A priority Critical patent/CN106846299B/zh
Publication of CN106846299A publication Critical patent/CN106846299A/zh
Application granted granted Critical
Publication of CN106846299B publication Critical patent/CN106846299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本发明公开了一种检测区域的校正方法和装置。该方法和装置基于基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系与变化后的摄像机视野内的检测区域的各个顶点位置与特定三角形的相对位置关系相同的特点,根据该已知的相对位置关系以及特定三角形的位置,可以计算得到变化后的摄像机视野内的检测区域位置,该计算得到的变化后的摄像机视野内的检测区域位置即为获取后的变化后的摄像机视野内检测区域位置。该获取后的检测区域位置与预先设计的检测区域的位置相比较,其未发生偏离,因此,该校正方法提高了监测道路上车辆违章违法行为的准确性。

Description

一种检测区域的校正方法和装置
技术领域
本发明涉及智能交通领域,尤其涉及一种检测区域的校正方法和装置。
背景技术
随着智能交通领域的飞速发展,基于实时视频采集的道路违法行为监测作为智能交通领域的一个重要方面已经取得了广泛应用。基于实时视频采集的道路违法行为监测能够准确地监控和记录车辆违章违法行为,为公正公平地处理车辆违章违法行为提供了客观依据。
通常情况下,预先设置视频影像的检测区域是基于实时视频采集的道路违法行为监测的基础。其中,视频影像的检测区域是用户根据其关注的道路区域预先设置的用于采集视频影像的摄像机视野的一部分区域。道路违法行为监测只对该检测区域内的车辆行为进行实时监测和评估。
由于摄像机的视野与其所在角度和位置有直接关系,因此,需要根据用于采集视频影像的摄像机的安装角度和位置设置检测区域的位置。然而,由于安装环境的复杂性以及摄像机自身机械结构的老化,摄像机的位置和角度容易受到天气、震动等外界因素的影响,如此摄像机在安装和使用过程中容易发生平移或偏转,摄像机的实际角度和位置与其预先设计的角度和位置不同,导致摄像机的视野亦随之发生变化,进而导致视频影像的检测区域偏离预先设置的检测区域,严重时会影响监测结果,甚至造成大量误识别。
发明内容
有鉴于此,本发明提供了一种检测区域的校正方法和装置,以提高监测道路上车辆违章违法行为的准确性。
为了达到上述发明目的,本发明采用了如下技术方案:
一种检测区域的校正方法,包括:
当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点;其中,T为大于等于2的整数;所述图像为组成所述第T时间段内采集的视频影像的图像;
连接所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点以及第T时间段内的摄像机视野图像消失点,形成特定三角形;
根据基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形位置之间的相对位置关系以及所述特定三角形的位置,获取第T时间段内摄像机视野内的检测区域的位置,以对第T时间段内摄像机视野内的检测区域进行校正;
所述基准三角形是连接基准摄像机视野内的道路边界线与图像下边缘的2个交点以及基准摄像机视野内的图像消失点形成的三角形,所述基准摄像机视野为初始时间段内的摄像机视野。
可选的,所述当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点之前,还包括:
确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
可选的,所述确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化,具体包括:
获取第T时间段内采集的视频影像;
根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点;
根据所述第T时间段内的摄像机视野消失点与预先获取的第(T-1)时间段内的摄像机视野消失点,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化。
可选的,所述根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点,具体包括:
获取第T时间段内视频影像中每帧图像的图像消失点位置;
计算所述第T时间段内视频影像中所有各帧图像的图像消失点位置的均值,该计算得到的均值为第T时间段内摄像机视野图像消失点,其中,所述视频影像中所有各帧图像的图像消失点位置为随机变量,且服从高斯分布。
可选的,所述根据所述第T时间段内的摄像机视野消失点与预先获取的第(T-1)时间段内的摄像机视野消失点,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化,具体包括:
计算所述第T时间段内的摄像机视野图像消失点与所述第(T-1)时间段内的摄像机视野图像消失点之间的距离,所述距离为消失点移动距离;
判断所述消失点移动距离是否大于预设距离阈值,如果是,则第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化;
所述预设距离阈值根据所述第(T-1)时间段内的摄像机视野内的消失点位置方差设置得出。
可选的,所述视频影像包括P帧图像;其中,P为正整数;所述搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点,具体包括:
获取所述视频影像中每帧图像中的道路边界线与图像下边缘的交点,设定每帧图像中的道路边界线与图像下边缘的交点个数为M,其中,M为大于等于2的正整数;
按照每帧图像中的交点两两组合形成交点对的方式对所述视频影像中的P*M个交点两两组合,形成对交点对;
分别计算每对交点对的中点位置;
分别计算每对交点对的中点位置与第T时间段内的道路边界线中点的估计位置之间的偏移距离,以及每对交点对之间的像素宽度与第T时间段内的道路边界线之间的像素宽度的估计值的像素宽度差值;
分别对每对交点对的偏移距离和像素宽度差值进行加权求和;
比较各个加权求和的大小,将加权求和值最小的一对交点对作为所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点。
可选的,所述方法还包括:获取第T时间段内的道路边界线中点的估计位置;
所述获取第T时间段内的道路边界线中点的估计位置,具体包括:
建立第T时间段内摄像机视野和基准摄像机视野中的道路边界线中点偏移距离与第T时间段内摄像机视野和基准摄像机视野中的图像消失点位置的移动距离之间的第一函数关系;
根据所述第一函数关系、第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离、基准摄像机视野中道路边界线中点位置,获取第T时间段内道路边界线中点的估计位置。
可选的,所述方法还包括:
获取第T时间段内的道路边界线之间的像素宽度的估计值;
所述获取第T时间段内的道路边界线之间的像素宽度的估计值,具体包括:
建立第T时间段内摄像机视野中道路边界线之间的像素宽度差值与图像消失点位置的移动距离之间的第二函数关系;
根据所述第二函数关系、第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离、基准摄像机视野中道路边界线之间的像素宽度,获取第T时间段内道路边界线之间的像素宽度的估计值。
一种检测区域的校正装置,包括:
搜索单元,用于当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点;其中,T为大于等于2的整数;所述图像为组成所述第T时间段内采集的视频影像的图像;
连接单元,用于连接所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点以及所述第T时间段内的摄像机视野图像消失点,形成特定三角形;
第一获取单元,用于根据基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形位置之间的相对位置关系以及所述特定三角形的位置,获取第T时间段内摄像机视野内的检测区域的位置;
所述基准三角形是连接基准摄像机视野内的道路边界线与图像下边缘的2个交点以及基准摄像机视野内的图像消失点形成的三角形。
可选的,所述装置还包括:
确定单元,用于在所述搜索单元执行搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点之前,确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
可选的,所述确定单元具体包括:
第一获取子单元,用于获取第T时间段内采集的视频影像;
第二获取子单元,用于根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点;
判断子单元,用于根据所述第T时间段内的摄像机视野消失点与预先获取的第(T-1)时间段内的摄像机视野消失点,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化,如果是,确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
可选的,所述第二获取子单元包括:
第三获取子单元,用于获取所述视频影像中每帧图像的图像消失点位置;
第一计算子单元,用于计算所述视频影像中所有各帧图像的图像消失点位置的均值,该计算得到的均值为第T时间段内摄像机视野图像消失点,其中,所述视频影像中所有各帧图像的图像消失点位置为随机变量,且服从高斯分布。
可选的,所述判断子单元包括:
第二计算子单元,用于计算所述第T时间段内的摄像机视野图像消失点与所述第(T-1)时间段内的摄像机视野图像消失点之间的距离,所述距离为消失点移动距离;
第一判断子单元,用于判断所述消失点移动距离是否大于预设距离阈值,如果是,则第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化;
所述预设距离阈值根据所述第(T-1)时间段内的摄像机视野内的消失点位置方差设置得出。
相较于现有技术,本发明具有以下有益效果:
通过以上技术方案可知,基于在不同摄像机视野内,检测区域相对于特定参照的相对位置关系近似认为不会发生变化的特点。本发明提供的校正方法基于基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系与变化后的摄像机视野内的检测区域的各个顶点位置与特定三角形的相对位置关系相同的特点,又由于基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系以及变化后的特定三角形的位置已知,如此,根据该已知的相对位置关系以及特定三角形的位置,可以计算得到变化后的摄像机视野内的检测区域位置,该计算得到的变化后的摄像机视野内的检测区域位置即为获取后的变化后的摄像机视野内检测区域位置。该获取后的检测区域位置与预先设计的检测区域的位置相比较,其未发生偏离,因此,该校正方法提高了监测道路上车辆违章违法行为的准确性。
附图说明
为了清楚地理解本发明的技术方案,下面将描述本发明具体实施方式时用到的附图做一简要说明。
图1A是摄像机视野内的预先设计的检测区域示意图;
图1B是摄像机视野发生变化后对应的检测区域示意图;
图2是本发明实施例提供的检测区域的校正方法流程示意图;
图3是本发明实施例提供的道路边界线与图像下边缘的交点示意图;
图4A为基准摄像机视野内的基准三角形ΔABC示意图;
图4B为第T时间段内摄像机视野内的特定三角形Δabc示意图;
图5是本发明实施例提供的步骤S202的具体实施方式流程示意图;
图6是判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化的具体实施方式的流程示意图;
图7是本发明实施例提供的步骤S204的具体实施方式流程示意图;
图8是本发明实施例提供的检测区域的校正装置结构示意图;
图9是本发明实施例提供的确定单元的结构示意图;
图10是本发明实施例提供的第二获取子单元的结构示意图;
图11是本发明实施例提供的判断子单元的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细描述。
需要说明,在本发明实施例中,位置以及坐标均为像素位置和像素坐标。
在介绍本发明具体实施方式之前,先介绍描述本发明实施例时用到的技术术语:
1、视频影像的检测区域
如背景技术部分所述,视频影像的检测区域是用户根据其关注的道路区域预先设置的摄像机视野的一部分区域。道路违法行为监测只对该检测区域内的车辆行为进行实时监测和评估。通常情况下,检测区域的形状为凸四边形。
图1A中的图像中的四边形边框内的区域即为预先设置的检测区域。然而,当摄像机的实际角度和位置发生变化后,摄像机视野随之发生变化,图1B示出了摄像机视野发生变化后,其检测区域的位置(四边形边框内的区域)也随之发生变化。对比图1A和图1B可以看出,摄像机视野发生变化后,其对应的检测区域与预先设计的检测区域位置发生偏离,如果不对变化后的检测区域进行获取,就会导致对道路上的车辆监测行为的误识别。
2、道路边界线
顾名思义,道路边界线,就是道路两边的边界。在摄像机采集的视频图像中,道路边界线为满足以下条件的两条白实线:
1)同在距离摄像机较近方向的车道上,且在同方向车道内;
2)两条白实线相邻,中间可以有同向分道线,但不能有其它白实线;
3)白实线应该为直线或者接近直线。
3、一帧图像的图像消失点:
需要说明,在本发明实施例中,消失点等同于无穷远点。两条平行的直线可以看作相交在无穷远点,所有的平行直线都交于同一个无穷远点·。
鉴于本发明所述的图像为摄像机拍摄的道路及车辆图像。所以,本发明实施例所述的一帧图像的图像消失点位置一般为图像中两条平行的直线例如道路的两条边界线在图像中相交的一点。该点称为本发明实施例所述的一帧图像的图像消失点。
4、某一时间段内的摄像机视野图像消失点:
由于摄像机在一段时间段内采集的视频影像包括多帧图像,所以,本发明实施例所述的某一时间段内的摄像机视野图像消失点是通过对该某一时间段内的所有各帧图像中的图像消失点进行计算得到的。例如计算方法可以为:设定某一时间段内的所有各帧图像的图像消失点位置为随机变量,且服从高斯分布,计算所述某一时间段内的所有各帧图像的图像消失点位置的均值,该计算得到的均值为该某一时间段内的摄像机视野图像消失点。
下面结合附图详细描述本发明提供的一种检测区域的校正方法和校正装置的具体实施方式。首先参见检测区域的校正方法的具体实施方式。
图2是本发明实施例提供的检测区域的校正方法流程示意图。如图2所示,该方法包括以下步骤:
S201、获取第T时间段内采集的视频影像:
本发明提供的检测区域的校正装置每隔一定时间段获取一次摄像机采集的视频影像。该一定时间段可以根据需求设置,例如为10分钟。
校正装置第一次获取的视频影像即为第一时间段内采集的视频影像,第二次获取的视频影像为第2时间段内采集的视频影像,……,第T次获取的视频影像为第T时间段内采集的视频影像。设定校正装置每隔10分钟获取一次视频影像,第1时间段为9:00到9:10这段时间段,则第2时间段为9:101到9:20,第3时间段为9:20到9:30,第4时间段为9:30到9:40,…..。
在另外一种实施例中,如时间间隔设置为10分钟,应理解为每次收集P帧后,等待10分钟,再收集P帧,再等待10分钟,即,假设P=20,且当前视频帧率为10,则每次采集需2秒钟时间。当第一次采集20帧后,算法从第3秒开始累积等待10分钟,即第3秒至602秒,从603秒开始再次开始收集2秒,凑齐20帧,再从605秒开始等待,本实施例不对P值进行限定,可以根据需要自行设定。
为了判断第T时间段内摄像机视野是否发生变化,需要获取第T时间段内采集的视频影像。该第T段时间段内的视频影像包括P帧图像,其中,P为正整数。其中,T为大于等于2的整数。所以第T时间段为第1时间段以后的任一时间段。
在本发明实施例中,认为第1时间段即初始时间段内摄像机未发生移动,其位置和角度处于预先设置的位置和角度上,因此,在该时间段内摄像机视野的检测区域为预先设置的检测区域。因此,可以将第1时间段内的摄像机视野作为基准摄像机视野。
S202、根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点:
后续将详细描述本步骤的具体实现方式。
S203、根据所述第T时间段内采集的视频影像,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化,如果是,执行步骤S204,如果否,结束流程:
后续将详细描述本步骤的具体实现方式。
应说明的是,步骤S201至步骤S203用于判断摄像机是否平移或偏转,在确定发生摄像机平移或偏转,即摄像机视野发生变化后,再执行校正过程。
S204、搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点:
在本步骤中,所述图像为组成第T时间段内的视频影像的图像。如图1A和图1B所示,图1A和图1B分别为一帧图像。
需要说明,由于道路边界线具有一定宽度,为了更加准确地校正检测区域的位置,避免校正后的检测区域偏离道路,在本发明实施例中,道路边界线与图像下边缘的交点取道路边界线与图像下边缘的内侧交点。即:当道路边界线为左侧道路边界线时,则该条道路边界线与图像下边缘的交点为该条道路边界线的右边沿与图像下边缘的交点。当道路边界线为右侧道路边界线时,则该条道路边界线与图形下边缘的交点为该条道路边界线的左边沿与图像下边缘的交点。作为示例,图3示出了道路边界线与图像下边缘的交点位置。如图3所示,线l1、l2分别表示两条道路边界线,线l3为图像的下边缘,点A和点B分别为道路边界线与图像下边缘的两个交点。作为本发明的另一实施例,道路边界线与图像下边缘的交点也可以取道路边界线与图像下边缘的外侧交点。
S205、连接所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点以及所述第T时间段内的摄像机视野图像消失点,形成特定三角形。
S206、根据基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形位置之间的相对位置关系以及所述特定三角形的位置,获取第T时间段内摄像机视野内的检测区域的位置:
在本发明实施例中,基准摄像机视野可以为第1时间段即初始时间段内的摄像机视野。
所述基准三角形是连接基准摄像机视野内的道路边界线与图像下边缘的2个交点以及基准摄像机视野内的图像消失点形成的三角形。
需要说明,不论摄像机的视野如何发生变化,摄像机视野内的检测区域与摄像机视野内的某一参照位置的相对位置关系是相同的,该相对位置关系不会随着视野的变化而发生变化。基于该特点,本发明先确定出视野内的参照位置,然后根据基准摄像机视野内的检测区域与参照位置之间的相对位置关系以及变化后的摄像机视野内的参照位置的位置,查找到变化后的摄像机视野内的检测区域的位置。
在本发明实施例中,视野内的参照位置为视野内的三点构成的三角形,该三点分别为视野内的道路边界线与图像下边缘的2个交点以及该视野内的图像消失点。
通常情况下,摄像机采集视频影像时,其拍摄方向一般为顺着道路延伸的方向,又由于道路一般有两条边界,所以,摄像机视野内的道路边界线与图像下边缘存在2个交点。需要说明,在本发明实施例中,所述的图像为摄像机采集得到的原始图像,该原始图像不经过角度旋转等处理。
由于在不同摄像机视野内,连接道路边界线与图像下边缘的2个交点的直线相互平行,所以,在由视野内的道路边界线与图像下边缘的2个交点以及该视野内的图像消失点构成的三角形中,可以将道路边界线与图像下边缘的2个交点之间的边作为三角形的底边。
下面结合图4A和图4B详细描述步骤S206的具体实现方式。
图4A为基准摄像机视野内的基准三角形ΔABC示意图,图4B为第T时间段内摄像机视野内的特定三角形Δabc示意图。其中,在基准三角形ΔABC中,BC边相当于基准摄像机视野内的图像下边缘,顶点A为基准摄像机视野内的图像消失点,顶点B和C为基准摄像机视野内的道路边界线与图像下边缘的2个交点。同理,在特定三角形Δabc中,bc边为相当于第T时间段内的摄像机视野图像下边缘,顶点a为第T时间段内的摄像机视野内的图像消失点,顶点b和c为第T时间段内的摄像机视野内的道路边界线与图像下边缘的2个交点。边BC和边bc相互平行。
设定X为基准检测区域上的一个顶点(该顶点位置已知),在ΔABC中,从顶点A作底边BC的垂线段AG,从基准检测区域上的顶点X作底边BC的垂线段XF,从顶点X作平行于边BC的平行线DE,该平行线DE与边AB的交点为D,与边AC的交点为E;
设定x为第T时间段内摄像机视野内的检测区域的一个顶点(该顶点位置未知),在Δabc中,从顶点a作边bc上的垂线段ag,从点x作边bc的垂线段xf,从点x作平行于bc的平行线de,该平行线de与边ab的交点为d,与边ac的交点为e。
根据在不同摄像机视野内,检测区域与三角形的相对位置关系不变,则在上述图4A和图4B中,存在以下等比例关系:
在上述等比例关系中,|FX|、|AG|、|ag|已知,因而可以计算得出|fx|的值,由于在图4B中,Δabc的三个顶点a、b、c以及点g的位置坐标已知,f点的y轴坐标与点b、c的y轴坐标相同,因此,根据比例关系以及各个已知点的坐标,可以确定点x的y轴坐标。
然后,再根据比例关系以及已知的|DX|、|DE|以及点D、E、X的坐标,可以确定点x的x轴坐标。
因而,通过上述两个比例关系,可以确定出第T时间段内摄像机视野内的检测区域的一个顶点x位置坐标。按照同样的方法,可以分别确定出第T时间段内摄像机视野内的检测区域的其它各个顶点位置坐标,从而可以确定出第T时间段内摄像机视野内的检测区域的所有顶点位置坐标。用线连接确定出的检测区域的所有顶点位置,从而绘制出第T时间段内的摄像机视野内的检测区域。该绘制出的检测区域即为第T时间段内摄像机视野内的校正后的检测区域。
以上为本发明实施例提供的检测区域的校正方法的具体实施方式。在该具体实施方式中,基于在基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系与变化后的摄像机视野内的检测区域的各个顶点位置与特定三角形的相对位置关系相同的特点,由于基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系以及变化后的特定三角形的位置已知,如此,根据该已知的相对位置关系以及特定三角形的位置,可以获取变化后的摄像机视野内的检测区域位置。使得获取后的检测区域位置与预先设计的检测区域的位置相比较,其未发生偏离,因此,该校正方法提高了监测道路上车辆违章违法行为的准确性,增强了道路监控系统的鲁棒性,扩大了智能道路监控系统的适用范围和适用性。
下面详细描述步骤S202的具体实现方式。作为示例,如图5所示,步骤S202可以具体包括以下步骤:
S2021、获取第T时间段内采集的视频影像中每帧图像的图像消失点位置:
如上所述,第T时间段内的视频影像包括P帧图像。作为示例,为了获取视频影像中每帧图像的图像消失点位置,针对视频影像中的每帧图像可以分别执行以下步骤:
S20211、获取一帧图像中的所有直线:
作为示例,可以通过Canny算子(用于边缘检测)和Hough变换(用于直线检测)获取一帧图像中的所有直线。
在大多数情况下,认为道路上的实白线既长又直,获取到的一帧图像中的直线较大概率地来源于道路上的白实线。
S20212、选取所述所有直线中长度最长的N条直线,其中,N为大于等于2的正整数:
对获取到的所有直线按照长度进行排序,从中选取长度最长的N条直线,其中,N为大于等于2的整数。
S20213、计算所述N条直线中的两两相交的交点,得到个备选消失点。
S20214、计算所述个备选消失点的均值,所述个备选消失点的均值为该帧图像的图像消失点位置,其中,所述个备选消失点的位置符合高斯分布。
S2022、计算所述视频影像中所有各帧图像的图像消失点位置的均值,该计算得到的均值为第T时间段内摄像机视野图像消失点,其中,第T时间段内采集的视频影像中所有各帧图像的图像消失点位置为随机变量,且服从高斯分布。
图5所示的获取第T时间段内的摄像机视野图像消失点的方式利用了概率分布等统计学相关理论,从而使得获取的第T时间段内的摄像机视野图像消失点更加合理、准确,保证了后续校正检测区域的准确性。
下面结合图6详细描述如何判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化的具体实施方式。
如图6所示,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化,具体包括以下步骤:
S2031、计算所述第T时间段内的摄像机视野图像消失点与所述第(T-1)时间段内的摄像机视野图像消失点之间的距离,该距离称为消失点移动距离:
需要说明,第(T-1)时间段内的摄像机视野图像消失点的获取方法与第T时间段内的摄像机视野图像消失点的获取方法相同。
S2032、判断所述消失点移动距离是否大于预设距离阈值,如果是,则第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化,如果否,则第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野未发生变化:
所述预设距离阈值是依据拉依达准则(即3σ准则),基于第(T-1)时间段内的摄像机视野内的消失点位置方差设置得出。
图6所示的判断摄像机视野是否发生变化的实现方式是基于前后两个时间段内的消失点移动距离进行的。由于某一时间段内的摄像机视野图像消失点能够较为准确地反映摄像机视野位置,所以,图6所示的实现方式能够较为准确地判断前后两个时间段内的摄像机视野是否发生变化。
下面结合图7描述步骤S204的具体实施方式。图7是步骤S204的具体实施方式流程示意图。如图7所示,该具体实施方式包括以下步骤:
S2041、获取所述视频影像中每帧图像中,道路边界线与图像下边缘的交点;设定每帧图像中,道路边界线与图像下边缘的交点个数为M,其中,M为大于等于2的正整数:
针对所述视频影像中的每帧图像分别执行以下步骤:
S20411、获取一帧图像中的所有直线:
作为示例,可以通过Canny算子(用于边缘检测)和Hough变换(用于直线检测)获取一帧图像中的所有直线。
在大多数情况下,认为道路上的实白线既长又直,获取到的一帧图像中的直线较大概率地来源于道路上的白实线。
S20412、选取所述所有直线中长度最长的M条直线,其中,M为大于等于2的正整数:
对获取到的所有直线按照长度进行排序,从中选取长度最长的M条直线,其中,M为大于等于2的整数。需要说明,在本发明实施例中,通常情况下,M>2N。
S20413、分别计算所述M条直线与图像下边缘的交点。
S2042、按照每帧图像中的交点两两组合形成交点对的方式对所述视频影像中的P*M个交点两两组合,形成对交点对。
S2043、分别计算每对交点对的中点位置:
作为示例,设定一对交点对为(A,B),则该交点对(A,B)的中点位置Mid(AB)的计算公式为:
其中,PtA为交点A的位置,PtB为交点B的位置。
S2044、分别计算每对交点对的中点位置与第T时间段内的道路边界线中点的估计位置之间的偏移距离,以及每对交点对之间的像素宽度与第T时间段内的道路边界线之间的像素宽度的估计值的像素宽度差值:
首先介绍如何获取第T时间段内的道路边界线中点的估计位置以及第T时间段内的道路边界线之间的像素宽度的估计值。
其中,获取第T时间段内的道路边界线中点的估计位置,具体包括以下步骤:
A1、建立摄像机视野中的道路边界线中点偏移距离与摄像机视野中的图像消失点位置的移动距离之间的第一函数关系:
由于基准摄像机视野图像消失点位置以及道路边界线中点位置已知,因此,步骤A1具体为:结合基准摄像机视野图像消失点位置和道路边界线中点位置基于多个时间段内的摄像机视野中的图像消失点位置以及道路边界线中点位置其中,k=1,2,…..,K,K为正整数,通过线性拟合建立摄像机视野中的道路边界线中点偏移距离与摄像机视野中的图像消失点位置的移动距离之间的第一函数关系:f1。
第一函数f1的表达式为:
A2、根据所述第一函数关系、第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离、基准摄像机视野中道路边界线中点位置,获取第T时间段内道路边界线中点的估计位置:
第T时间段内摄像机视野中图像消失点位置可以从步骤S202中获取得到。又由于基准摄像机视野中的图像消失点位置已知,因此,可以获知第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离,又由于基准摄像机视野中的道路边界线中点位置已知,所以,根据所述第一函数关系以及已知的第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离和基准摄像机视野中道路边界线中点位置,可以获取第T时间段内道路边界线中点的估计位置。
获取第T时间段内的道路边界线之间的像素宽度的估计值,具体包括以下步骤:
B1、建立摄像机视野中的道路边界线之间的像素宽度差值与图像消失点位置的移动距离之间的第二函数关系:
建立第二函数关系的方式与上述建立第一函数关系的方式相同,即:结合基准摄像机视野图像消失点位置和道路边界线之间的像素宽度基于多个时间段内的摄像机视野中的图像消失点位置以及道路边界线之间的像素宽度其中,k=1,2,…..,K,K为正整数,通过线性拟合建立摄像机视野中的道路边界线之间的像素宽度差值与图像消失点位置的移动距离之间的第二函数关系f2。
第二函数f2的表达式为:
B2、根据所述第二函数关系、第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离、基准摄像机视野中道路边界线之间的像素宽度,获取第T时间段内道路边界线之间的像素宽度的估计值。
基于上述获取到的第T时间段内的道路边界线中点的估计位置,分别计算每对交点对的中点位置与第T时间段内的道路边界线中点的估计位置之间的偏移距离
基于上述获取到的第T时间段内的道路边界线之间的像素宽度的估计值,分别计算每对交点对之间的像素宽度与第T时间段内的道路边界线之间的像素宽度的估计值的像素宽度差值
S2045、分别对每对交点对的偏移距离和像素宽度差值进行加权求和:
设定偏移距离的权重为ω1,像素宽度差值的权重为ω2,则一对交点对的偏移距离和像素宽度差值的加权求和Sum的计算公式如下:
S2046、比较各个加权求和的大小,将加权求和值最小的一对交点对作为所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点。
以上为步骤S204的具体实现方式。通过该具体实现方式,能够较为准确地搜索到第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点,从而保证了检测区域校正的准确性。
以上为本发明实施例提供的检测区域的校正方法的具体实施方式。基于上述实施例提供的检测区域的校正方法,本发明实施例还提供了检测区域的校正装置。具体参见以下实施例。
图8是本发明实施例提供的检测区域的校正装置结构示意图。如图8所示,该检测区域的校正装置包括以下单元:
搜索单元81,用于当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点;其中,T为大于等于2的整数;所述图像为组成所述第T时间段内采集的视频影像的图像;
连接单元82,用于连接所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点以及所述第T时间段内的摄像机视野图像消失点,形成特定三角形;
第一获取单元83,用于根据基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形位置之间的相对位置关系以及所述特定三角形的位置,获取第T时间段内摄像机视野内的检测区域的位置;
所述基准三角形是连接基准摄像机视野内的道路边界线与图像下边缘的2个交点以及基准摄像机视野内的图像消失点形成的三角形。
作为本发明的一具体实施例,上述所述的校正装置还可以包括确定单元84,所述确定单元84用于所述搜索单元执行搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点之前,确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
进一步地,如图9所示,上述所述的确定单元84可以具体包括以下子单元:
第一获取子单元841,用于获取第T时间段内采集的视频影像;
第二获取子单元842,用于根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点;
判断子单元843,用于根据所述第T时间段内的摄像机视野消失点与预先获取的第(T-1)时间段内的摄像机视野消失点,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化,如果是,确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
作为本发明的一具体实施例,如图10所示,上述所述的第二获取子单元842包括:
第三获取子单元8421,用于获取所述视频影像中每帧图像的图像消失点位置;
第一计算子单元8422,计算所述视频影像中所有各帧图像的图像消失点位置的均值,该计算得到的均值为第T时间段内摄像机视野图像消失点,其中,所述视频影像中所有各帧图像的图像消失点位置为随机变量,且服从高斯分布。
作为本发明的一具体实施例,如图11所示,上述所述的判断子单元843还可以包括:
第二计算子单元8431,用于计算所述第T时间段内的摄像机视野图像消失点与所述第(T-1)时间段内的摄像机视野图像消失点之间的距离,所述距离为消失点移动距离;
第一判断子单元8432,用于判断所述消失点移动距离是否大于预设距离阈值,如果是,则第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化;
所述预设距离阈值根据所述第(T-1)时间段内的摄像机视野内的消失点位置方差设置得出。
以上为本发明实施例提供的检测区域的校正装置的具体实施方式。在该具体实施方式中,基于在基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系与变化后的摄像机视野内的检测区域的各个顶点位置与特定三角形的相对位置关系相同的特点,由于基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形的相对位置关系以及变化后的特定三角形的位置已知,如此,根据该已知的相对位置关系以及特定三角形的位置,可以获取变化后的摄像机视野内的检测区域位置。使得获取后的检测区域位置与预先设计的检测区域的位置相比较,其未发生偏离,因此,该校正装置提高了监测道路上车辆违章违法行为的准确性。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种检测区域的校正方法,其特征在于,包括:
当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点;其中,T为大于等于2的整数;所述图像为组成所述第T时间段内采集的视频影像的图像;
连接所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点以及第T时间段内的摄像机视野图像消失点,形成特定三角形;
根据基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形位置之间的相对位置关系以及所述特定三角形的位置,获取第T时间段内摄像机视野内的检测区域的位置,以对第T时间段内摄像机视野内的检测区域进行校正;
所述基准三角形是连接基准摄像机视野内的道路边界线与图像下边缘的2个交点以及基准摄像机视野内的图像消失点形成的三角形,所述基准摄像机视野为初始时间段内的摄像机视野。
2.根据权利要求1所述的方法,其特征在于,所述当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点之前,还包括:
确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
3.根据权利要求2所述的方法,其特征在于,所述确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化,具体包括:
获取第T时间段内采集的视频影像;
根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点;
根据所述第T时间段内的摄像机视野消失点与预先获取的第(T-1)时间段内的摄像机视野消失点,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第T时间段内采集的视频影像,获取第T时间段内的摄像机视野图像消失点,具体包括:
获取第T时间段内视频影像中每帧图像的图像消失点位置;
计算所述第T时间段内视频影像中所有各帧图像的图像消失点位置的均值,该计算得到的均值为第T时间段内摄像机视野图像消失点,其中,所述视频影像中所有各帧图像的图像消失点位置为随机变量,且服从高斯分布。
5.根据权利要求3所述的方法,其特征在于,所述根据所述第T时间段内的摄像机视野消失点与预先获取的第(T-1)时间段内的摄像机视野消失点,判断第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野是否发生变化,具体包括:
计算所述第T时间段内的摄像机视野图像消失点与所述第(T-1)时间段内的摄像机视野图像消失点之间的距离,所述距离为消失点移动距离;
判断所述消失点移动距离是否大于预设距离阈值,如果是,则第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化;
所述预设距离阈值根据所述第(T-1)时间段内的摄像机视野内的消失点位置方差设置得出。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述视频影像包括P帧图像;其中,P为正整数;所述搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点,具体包括:
获取所述视频影像中每帧图像中的道路边界线与图像下边缘的交点,设定每帧图像中的道路边界线与图像下边缘的交点个数为M,其中,M为大于等于2的正整数;
按照每帧图像中的交点两两组合形成交点对的方式对所述视频影像中的P*M个交点两两组合,形成对交点对;
分别计算每对交点对的中点位置;
分别计算每对交点对的中点位置与第T时间段内的道路边界线中点的估计位置之间的偏移距离,以及每对交点对之间的像素宽度与第T时间段内的道路边界线之间的像素宽度的估计值的像素宽度差值;
分别对每对交点对的偏移距离和像素宽度差值进行加权求和;
比较各个加权求和的大小,将加权求和值最小的一对交点对作为所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:获取第T时间段内的道路边界线中点的估计位置;
所述获取第T时间段内的道路边界线中点的估计位置,具体包括:
建立第T时间段内摄像机视野和基准摄像机视野中的道路边界线中点偏移距离与第T时间段内摄像机视野和基准摄像机视野中的图像消失点位置的移动距离之间的第一函数关系;
根据所述第一函数关系、第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离、基准摄像机视野中道路边界线中点位置,获取第T时间段内道路边界线中点的估计位置。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取第T时间段内的道路边界线之间的像素宽度的估计值;
所述获取第T时间段内的道路边界线之间的像素宽度的估计值,具体包括:
建立第T时间段内摄像机视野中道路边界线之间的像素宽度差值与图像消失点位置的移动距离之间的第二函数关系;
根据所述第二函数关系、第T时间段内摄像机视野与基准摄像机视野中的图像消失点位置移动距离、基准摄像机视野中道路边界线之间的像素宽度,获取第T时间段内道路边界线之间的像素宽度的估计值。
9.一种检测区域的校正装置,其特征在于,包括:
搜索单元,用于当第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化后,搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点;其中,T为大于等于2的整数;所述图像为组成所述第T时间段内采集的视频影像的图像;
连接单元,用于连接所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点以及所述第T时间段内的摄像机视野图像消失点,形成特定三角形;
第一获取单元,用于根据基准摄像机视野内的基准检测区域的各个顶点位置与基准三角形位置之间的相对位置关系以及所述特定三角形的位置,获取第T时间段内摄像机视野内的检测区域的位置;
所述基准三角形是连接基准摄像机视野内的道路边界线与图像下边缘的2个交点以及基准摄像机视野内的图像消失点形成的三角形。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
确定单元,用于在所述搜索单元执行搜索所述第T时间段内的摄像机视野内道路边界线与图像下边缘的2个交点之前,确定第T时间段内的摄像机视野相较于第(T-1)时间段内的摄像机视野发生变化。
CN201611220333.0A 2016-12-26 2016-12-26 一种检测区域的校正方法和装置 Active CN106846299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611220333.0A CN106846299B (zh) 2016-12-26 2016-12-26 一种检测区域的校正方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611220333.0A CN106846299B (zh) 2016-12-26 2016-12-26 一种检测区域的校正方法和装置

Publications (2)

Publication Number Publication Date
CN106846299A true CN106846299A (zh) 2017-06-13
CN106846299B CN106846299B (zh) 2020-04-28

Family

ID=59136293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611220333.0A Active CN106846299B (zh) 2016-12-26 2016-12-26 一种检测区域的校正方法和装置

Country Status (1)

Country Link
CN (1) CN106846299B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240268A (zh) * 2017-07-28 2017-10-10 西安因诺航空科技有限公司 一种面向无人机的高速应急车道违章车辆的检测方法
CN114229396A (zh) * 2022-02-18 2022-03-25 深圳市创新特科技有限公司 电路板取放位置校正装置及校正方法
CN116225028A (zh) * 2023-05-04 2023-06-06 尚特杰电力科技有限公司 清扫机器人前向行驶纠偏方法及纠偏装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050196034A1 (en) * 1999-09-09 2005-09-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
CN101340518A (zh) * 2004-02-19 2009-01-07 罗伯特·博世有限公司 摄像机的图像稳定系统和方法
US20150248837A1 (en) * 2014-02-28 2015-09-03 Core Logic, Inc. System and Method for Warning Lane Departure
CN106210643A (zh) * 2016-07-29 2016-12-07 林玉峰 一种摄像机可视区域调用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050196034A1 (en) * 1999-09-09 2005-09-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
CN101340518A (zh) * 2004-02-19 2009-01-07 罗伯特·博世有限公司 摄像机的图像稳定系统和方法
US20150248837A1 (en) * 2014-02-28 2015-09-03 Core Logic, Inc. System and Method for Warning Lane Departure
CN106210643A (zh) * 2016-07-29 2016-12-07 林玉峰 一种摄像机可视区域调用方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240268A (zh) * 2017-07-28 2017-10-10 西安因诺航空科技有限公司 一种面向无人机的高速应急车道违章车辆的检测方法
CN114229396A (zh) * 2022-02-18 2022-03-25 深圳市创新特科技有限公司 电路板取放位置校正装置及校正方法
CN116225028A (zh) * 2023-05-04 2023-06-06 尚特杰电力科技有限公司 清扫机器人前向行驶纠偏方法及纠偏装置

Also Published As

Publication number Publication date
CN106846299B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN105931220B (zh) 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN112102369B (zh) 水面漂浮目标自主巡检方法、装置、设备及存储介质
EP2858008A2 (en) Target detecting method and system
CN106529493A (zh) 一种基于透视图的鲁棒性多车道线检测方法
US20150269446A1 (en) Boundary detection apparatus and boundary detection method
CN104848858A (zh) 二维码以及用于机器人的视觉-惯性组合导航系统及方法
CN104599286B (zh) 一种基于光流的特征跟踪方法及装置
KR20070090194A (ko) 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치
US9977123B2 (en) Automated track projection bias removal using frechet distance and road networks
CN106846299A (zh) 一种检测区域的校正方法和装置
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN109389016B (zh) 一种人头计数的方法及系统
CN101853382B (zh) 一种求取现场指纹方向的方法和装置
CN108549383A (zh) 一种实时多传感器的社区机器人导航方法
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN109947093A (zh) 一种基于双目视觉的智能避障算法
CN111797803A (zh) 基于人工智能和图像处理的道路护栏异常检测方法
Satzoda et al. On performance evaluation metrics for lane estimation
Vosselman et al. Updating road maps by contextual reasoning
CN108961353A (zh) 道路模型的构建
Oniga et al. Curb detection based on elevation maps from dense stereo
Jin et al. Road curvature estimation using a new lane detection method
CN108573497B (zh) 客流统计装置和方法
JP6559987B2 (ja) 人物認証装置及び人物認証方法
CN114463717A (zh) 一种障碍物位置判断方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant