CN107977603B - 定位目标车辆的系统和方法 - Google Patents
定位目标车辆的系统和方法 Download PDFInfo
- Publication number
- CN107977603B CN107977603B CN201710976119.6A CN201710976119A CN107977603B CN 107977603 B CN107977603 B CN 107977603B CN 201710976119 A CN201710976119 A CN 201710976119A CN 107977603 B CN107977603 B CN 107977603B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- conforming
- resolution
- scan
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000015654 memory Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000000692 anti-sense effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一种车辆,包括:马达、本地传感器、处理器,该处理器被配置为:接收包括目标车辆的第一属性的指令;验证指令;指示本地传感器以第一分辨率进行扫描;基于第一和第二属性的比较将经扫描的具有第二属性的外部车辆标记为相符或不相符;一经将外部车辆标记为相符,就指示本地传感器以第二分辨率进行扫描。
Description
技术领域
本公开涉及用多个连接的车辆来定位目标车辆。
背景技术
当局通常希望定位目标车辆。为了这样做,当局可以发出描述目标车辆的特征的通知(例如安珀警报)。驾驶员读取安珀警报并尝试识别目标车辆。在识别目标车辆后,驾驶员呼叫当局以传递目标车辆的位置。
目前的通知系统是低效的,因为许多驾驶员(a)没有看到通知,(b)忽略通知,(c)忘记通知,和/或(d)不能识别目标车辆。需要改进的通知系统。
发明内容
一种符合本公开的车辆可以包括:马达、本地传感器、处理器,处理器被配置为:接收包括目标车辆的第一属性的指令;验证指令;指示本地传感器以第一分辨率进行扫描;基于第一和第二属性的比较将经扫描的具有第二属性的外部车辆标记为相符或不相符;一经将外部车辆标记为相符,就指示本地传感器以第二分辨率进行扫描。
根据一些实施例,第二分辨率超过第一分辨率。
根据一些实施例,本地传感器是被配置为以第一和第二分辨率捕获图像的摄像机。
根据一些实施例,处理器被配置为将验证的指令转发到周围的车辆。
根据一些实施例,处理器被配置为通过与在预加载的地址的外部服务器联系来验证指令。
根据一些实施例,处理器被配置为从存储器获取预加载的地址,而不参考接收到的指令。
根据一些实施例,处理器被配置为指示本地传感器以第二分辨率扫描,直到预定数量的后续扫描不能包括相符的外部车辆。
根据一些实施例,本地传感器包括摄像机,并且车辆还包括超声波传感器。
根据一些实施例,指令包括每个第一属性的重要性,并且处理器被配置为基于重要性将经扫描的外部车辆标记为相符的或不相符的。
根据一些实施例,处理器被配置为,即使当一些第一属性不能匹配一些第二属性时,仍将外部车辆标记为相符。
根据一些实施例,处理器被配置为进一步将相符的外部车辆标记为可能相符和完全相符。
根据一些实施例,处理器被配置为当外部车辆可能相符时计算相符性置信度。
根据一些实施例,相符性置信度基于第一和第二属性的比较和包括在接收到的指令中的重要性。
根据一些实施例,处理器被配置为将相符性置信度与阈值置信度进行比较,并且基于相符性置信度超过阈值置信度来传输外部车辆的原始图像。
公开了一种控制车辆的方法,车辆可以包括马达、本地传感器和处理器,该方法可以包括经由处理器进行以下操作:接收包括目标车辆的第一属性的指令;验证指令;指示本地传感器以第一分辨率进行扫描;基于第一和第二属性的比较将经扫描的具有第二属性的外部车辆标记为相符或不相符;一经将外部车辆标记为相符,就指示本地传感器以第二分辨率进行扫描。
根据一些实施例,第二分辨率超过第一分辨率,本地传感器是被配置为以第一和第二分辨率捕获图像的摄像机,并且该方法包括:将验证的指令转发到周围的车辆并且不向周围车辆转发未经验证的指令。
根据一些实施例,该方法包括从存储器获取预加载的地址并通过与在预加载地址处的外部服务器联系来验证指令。
根据一些实施例,该方法包括指示本地传感器以第二分辨率进行扫描,直到预定数量的后续扫描不能包括相符的外部车辆。
根据一些实施例,该方法包括将相符的外部车辆标记为可能相符或完全相符;当外部车辆可能相符时计算相符性置信度;其中相符性置信度基于第一和第二属性的比较和包括在接收到的指令中的重要性;将相符性置信度与阈值置信度进行比较,并且基于相符性置信度超过阈值置信度来传输外部车辆的原始图像。
根据一些实施例,该方法包括以较低频率处理第一分辨率扫描以及以较高频率处理第二分辨率扫描。
附图说明
为了更好地理解本发明,可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制,并且可以省略相关的元件,或者在某些情况下可能会夸大其中的比例,以便强调并清楚地说明本文所描述的新颖特征。此外,如本领域已知的,系统部件可以进行各种排列。此外,在附图中,在几个视图中相同的附图标记表示相应的部分。
图1是车辆计算系统的框图;
图2是包括车辆计算系统的车辆的俯视图;
图3是接收指令的方法的框图;
图4是扫描外部车辆的方法的框图;
图5是基于扫描生成一个或多个热图的方法的框图;
图6是扫描道路标志以得到指令的方法的框图;
图7是与相符车辆通信的方法的框图。
具体实施方式
尽管可以以各种形式实施本发明,但是在附图中示出并且将在下文中描述一些示例性和非限制性实施例,应当理解,本公开将被视为本发明的示例,并不意图将本发明限制于所示的具体实施例。
在本申请中,反义连接词的使用旨在包括连接词。定或不定冠词的使用不旨在表示基数。特别地,对“该”对象或“一”、“一个”对象的引用也意图表示可能的多个这样的对象中的一个。此外,连接词“或”可以用于传达作为一个选项的同时存在的特征以及作为另一选项的互斥替代。换句话说,连接词“或”应该被理解为包括作为一个选项的“和/或”,和作为另一选项的“或者/或”。
图1示出了第一车辆200的计算系统100。第一车辆200被连接意味着第一车辆200被配置为(a)从外部实体(例如基础设施、服务器、其他连接的车辆)接收无线数据,以及(b)向外部实体传输无线数据。第一车辆200可以是自主的、半自主的或手动的。第一车辆200包括马达、电池、由马达驱动的至少一个车轮以及被配置成使至少一个车轮绕轴线转动的转向系统。第一车辆200可以是化石燃料驱动的(例如柴油、汽油、天然气)、混合电动、全电动、燃料电池驱动的等。
例如,Miller等人的美国专利申请号14/991,496(“Miller”)、Prasad等人的美国专利号8,180,547(“Prasad”)、Lavoie等人的美国专利申请号15/186,850(“Lavoie”)以及Hu等人的美国专利申请号14/972,761(“Hu”)描述了车辆,所有这些全部内容均通过引用并入本文。第一车辆200可以包括在Miller、Prasad、Lavoie和Hu中描述的任何特征。
计算系统100存在于第一车辆200中。除了别的之外,计算系统100能够实现第一车辆200内的机械系统的自动控制,并且促进第一车辆200与外部实体(例如连接的基础设施301、因特网、其他连接的车辆201)之间的通信。计算系统100包括数据总线101、一个或多个处理器108、易失性存储器107、非易失性存储器106、用户界面105、远程信息处理单元104、驱动器和马达103以及本地传感器102。
数据总线101在电子部件之间传送电子信号或数据。处理器108对电子信号或数据执行操作以产生修改的电子信号或数据。易失性存储器107存储用于处理器108立即调用的数据。非易失性存储器106存储用于调用到易失性存储器107和/或处理器108的数据。非易失性存储器106包括一系列非易失性存储器,包括硬盘驱动器、SSD(固态硬盘)、DVD(数字化光盘)、蓝光碟等。用户界面105包括显示器、触摸屏显示器、键盘、按钮以及使得用户能够与计算系统交互的其他装置。远程信息处理单元104能够通过蓝牙、蜂窝数据(例如3G(第三代通信)、LTE(长期演进技术))、USB(通用串行接口)等与外部实体进行有线和无线通信。
驱动器/马达103产生有形结果。驱动器/马达103的示例包括燃料喷射器、挡风玻璃刮水器、制动灯电路、变速器、安全气囊、安装到传感器的马达(例如配置为使本地传感器102旋转的马达)、发动机、动力传动系马达、转向器等。本地传感器102将数字读数或测量值传输到处理器108。本地传感器102的示例包括温度传感器、旋转传感器、安全带传感器、速度传感器、摄像机、激光雷达传感器、雷达传感器、红外传感器、超声波传感器等。应当理解,图1的各种电子部件中的任何一个可以包括单独的或专用的处理器和存储器。例如,在Miller、Prasad、Lavoie和Hu中描述了计算系统100的结构和操作的进一步细节。
图2一般地示出并说明了包括计算系统100的第一车辆200。一些本地传感器102安装在第一车辆200的外部(其他位于车辆200内部)。本地传感器102a被配置为检测车辆200前方的物体。本地传感器102b被配置为检测车辆200后方的物体,如后方感测范围109b所示。左传感器102c和右传感器102d被配置为对车辆200的左侧和右侧执行相同的功能。
如前所述,本地传感器102a至102d可以是超声波传感器、激光雷达传感器、雷达传感器、红外传感器、摄像机、麦克风及其任何组合等。第一车辆200包括位于车辆内部或车辆外部的许多其他本地传感器102。本地传感器102可以包括在Miller、Prasad、Lavoie和Hu中公开的任何或全部传感器。
应当理解,第一车辆200被配置为执行本文所述的方法和操作。在一些情况下,第一车辆200被配置为通过存储在计算系统100的易失性107和/或非易失性106存储器上的计算机程序来执行这些功能。
处理器被“配置为”,至少当处理器与存储具有体现所公开方法步骤或框的代码或指令的软件程序的存储器进行可操作的通信时,执行公开的方法步骤或框。关于处理器、存储器和软件如何合作的进一步描述在Prasad中给出。根据一些实施例,与第一车辆200可操作的通信的手机或外部服务器执行下面讨论的一些或全部方法和操作。
根据各种实施例,第一车辆200包括Prasad的车辆100a的一些或全部特征。根据各种实施例,计算系统100包括Prasad的图2的VCCS(车辆计算与通信系统)102的一些或全部特征。根据各种实施例,第一车辆200与Prasad的图1所示的一些或全部装置通信,包括移动装置110、通信塔116、电信网络118、因特网120和数据处理中心122。
在权利要求书中使用时,术语“负载车辆”在此被定义为:“一种车辆,包括:马达、多个车轮、动力源和转向系统;其中马达将扭矩传递到多个车轮中的至少一个,从而驱动多个车轮中的至少一个;其中动力源向马达提供能量;并且其中转向系统被配置为转向多个车轮中的至少一个”。
在权利要求中使用时,术语“全装备的电动车辆”被定义为“一种车辆,包括:电池、多个车轮、马达、转向系统;其中马达将扭矩传递到多个车轮中的至少一个,从而驱动多个车轮中的至少一个;其中电池是可再充电的并且被配置为向马达提供电能,从而驱动马达;并且其中转向系统被配置成转向多个车轮中的至少一个”。
在本申请中描述的每个外部实体(例如连接的基础设施、其他自主的车辆、手机、服务器)可以共享参考图1和图2描述的任何或全部特征。
第一车辆200被配置为(a)接收体现用于识别目标车辆的指令的指令或数据,(b)扫描目标车辆,以及(c)一经定位目标车辆就传输消息。参考图3,在框302,第一车辆200接收体现指令的指令或数据。第一车辆200在框304处组织并处理该指令。在框304期间,第一车辆200可以联系具有预加载到第一车辆200的存储器中的位置或地址的外部服务器,以验证该指令是权威的(即由当局而不是个人产生的)。作为示例,第一车辆200或外部服务器可以将接收到的指令的每个特征与预加载和准确的指令的每个特征进行比较以验证指令。
在框306,第一车辆200扫描目标车辆。在框308,第一车辆200在车载显示器(例如LCD(液晶显示屏)或LED(发光二极管)显示器)上显示具有与目标车辆相关的信息的消息。第一车辆200在框310转发指令(称为第一转发)。所转发的指令可以与接收到的指令相同,因此表示用于使其他连接的车辆执行本文公开的方法和操作的请求或指令(即用于使其他连接的车辆执行本文参考第一车辆200讨论的方法和操作的请求或指令)。
根据一些实施例,转发的请求或指令(被称为转发的指令)是两部分消息。第一消息部分是低带宽消息(即具有小尺寸的消息)。第一消息部分包括与目标车辆相关联的标识符(例如分配给目标车辆的唯一代码,如牌照或分配给警报的唯一代码)。响应于第一消息部分,连接的车辆回复第一车辆200。回复包括关于相应的连接的车辆是否已经接收到定位目标车辆的指令的二进制指示。如果回复表示相应的连接的车辆已经接收到指令,则第一车辆200不会关于相应的连接的车辆采取进一步的动作。如果回复表示相应的连接的车辆尚未接收到指令,则第一车辆用第二消息部分进行回复。
第二消息部分是高带宽消息(即具有大尺寸的消息)。第二消息部分体现在第一车辆200处接收到的指令,因此比第一消息部分更详细(例如第二消息部分包括在第一车辆200接收到的指令中体现的所有相关细节,包括例如目标车辆的品牌、目标车辆的型号(包括颜色)、目标车辆的安全证书(连接的车辆可以向其他连接的车辆发布唯一的安全证书)以及目标车辆的其他区别特征)。
转到图4,在框306,第一车辆200以第一、低质量扫描周围环境(例如交通和停放的车辆)。扫描可以是360度扫描以捕获围绕第一车辆200的所有环境。因此,扫描可以以较低质量捕获关于大量环境的信息。使用一些或全部本地传感器102(例如摄像机、超声波传感器、红外传感器、激光雷达传感器、雷达传感器等)执行扫描。根据一些实施例,扫描包括接收周围的外部车辆的安全证书。
在框404,第一车辆200处理扫描。更具体地,第一车辆200确定在扫描中捕获的任何车辆是否与目标车辆匹配。第一车辆200将扫描中被捕获的车辆(称为扫描车辆或捕获车辆)标记为:(a)不相符,(b)可能相符,或(c)完全相符。第一车辆200例如并且部分地通过以下方式进行处理:(a)应用商业上可获得的图像分类和/或识别软件来分辨车辆特征并且(b)将分辨的特征(例如在(a)期间分辨的特征或通过诸如借助车辆间通信分辨的安全证书的其他手段来分辨的特征)与先前接收到的目标车辆特征进行比较。
根据一些实施例,对于要被标记为可能相符的扫描车辆,仅预定数量的特征(例如一个特征)必须匹配目标车辆的特征。例如,如果指示包括目标车辆的牌照和目标车辆的型号并且在扫描中发现具有匹配型号但是具有不同牌照的车辆,则第一车辆200可以继续在图4中描述的过程。如果小于预定数量的特征匹配目标车辆的特征(例如零特征),则该过程返回到框402。
应当理解,在框302处接收的指令可以包括用于第一车辆200查询外部实体(例如外部服务器)从而以预定频率接收新的或更新的指令的命令。原始指令和新的或更新的指令统称为指令。第一车辆200应用最新的指令。
该指令可以包括以下部分或全部:(a)使第一车辆200放弃对目标车辆的扫描的到期日期,(b)使第一车辆200以预定间隔经由外部实体更新指令的更新频率,(c)目标车辆和/或目标车辆的目标驾驶员的特征,以及(d)目标车辆和/或目标车辆的目标驾驶员的特征的重要性指示。
组(c)可以包括以下部分或全部:(i)目标车辆的品牌,(ii)目标车辆的型号(包括颜色),(iii)目标的完整或部分牌照。组(d)可以包括组(c)的每个特征的重要性指示。每个重要性指示可以提供(i)相应特征的不存在(即缺失重要性)的结果,和(ii)相应特征的确定存在(即存在的重要性)的结果。
例如,与目标车辆的型号相关联的重要性指示可以规定与型号不匹配的扫描车辆应当被标记为不相符。因此,目标车辆的型号将具有高的不存在重要性。与目标车辆的牌照相关联的重要性指示可能具有低的缺失重要性,使得具有与目标车辆的牌照不匹配的牌照的车辆仍应被考虑,并因此被标记为可能相符(即不存在匹配的牌照不会导致框404返回到框402或导致框410返回到框402)。因此,目标车辆的牌照具有低的缺失重要性。然而,牌照可能与高存在重要性配对,使得具有与目标车辆匹配的牌照的扫描车辆被标记为完全相符。如下所述,每个重要性指示可以包括相关联的权重,其通知或至少部分地有助于第一车辆200计算并分配为可能和/或完全相符车辆的置信度。
在框404,第一车辆200考虑在扫描中捕获的每辆车辆。将每辆车辆的特征与接收的目标车辆的特征进行比较。如上所述,基于目标车辆的特征和与特征相关联的重要性,车辆被标记为不相符、可能相符或完全相符。第一车辆200确定扫描中的任何车辆是否可能相符或完全相符。如果所有车辆不相符,则第一车辆200返回到框402。如果至少一辆车辆可能相符或完全相符,则第一车辆进行到框406和408。在框404期间,第一车辆200可以尝试唯一地识别每个可能相符或完全相符的车辆。可以参考由可能相符的或完全相符的车辆发出的安全证书来进行唯一的识别(即第一车辆200尝试将接收到的安全证书与已分辨的车辆进行配对)。如果没有由可能相符或完全相符的车辆发出的安全证书,则第一车辆200可以将标签或唯一的识别符分配给每个可能相符或完全相符的车辆。
在框406,第一车辆200以更高的质量扫描可能相符且完全相符的车辆。例如,第一车辆200可以在框402处仅使用超声波传感器进行扫描,并且现在在框406处使用超声波传感器和摄像机进行扫描。或者,第一车辆200可以增加由摄像机或任何其他本地传感器102捕获的图像的分辨率。第一车辆200可以将扫描集中于可能相符且完全相符的车辆。例如,替代围绕第一车辆200以360度扫描,第一车辆200可以在对应于可能相符和完全相符的车辆的位置(或预期位置)的特定方向上进行扫描。因此应当理解,当第一车辆200到达框406时,与在框402处专用于扫描的处理资源相比,第一车辆200可以将额外的处理资源专用于扫描。
在框408,第一车辆200执行第二转发。这里,第一车辆200将传输(a)到外部实体(例如服务器)的消息,该消息指示已经扫描或捕获到可能或完全相符的车辆,和/或(b)到附近的车辆的消息,该消息用于在(i)增加的质量水平、(ii)集中在特定区域或集中在特定车辆进行扫描。换句话说,到附近车辆的消息可能导致车辆跳到图4的框406。
消息可以指示附近的车辆优先扫描(例如以更大的频率执行扫描或优先于其他处理活动进行处理扫描,和/或将额外的处理资源专用于扫描)。该消息可以包括可能相符或完全相符的车辆的各种性质,例如位置、速度(包括前进方向)、加速度、牌照的分辨部分、品牌、型号(这可以包括颜色)等。消息中的每辆车辆可能被标记为可能相符或完全相符。
消息的大小或带宽可以基于与可能相符或完全相符的车辆相关联的置信度。例如,完全相符的车辆可以以1.0的置信度(即完全置信度)来标记。基于扫描车辆的特征与目标车辆的特征之间的匹配程度,可能相符的车辆可以以0.0和1.0之间的置信度来标记。第一车辆200可以基于包括在重要性指示中的相关权重来计算置信度。
在低于第一级别的置信度下,第一车辆200可以传输包括体现可能相符车辆的特征的文本数据的小(低带宽)消息。在第一级别或高于第一级别并且低于第二级别的置信度下,第一车辆200可以传输包括文本数据和本地传感器102报告的压缩的原始数据(例如来自摄像机的低分辨率图像)的中等大小的消息(中等带宽)。在等于或高于第二级别的置信度下,第一车辆200可以传输包括文本数据和由本地传感器102报告的未压缩的原始数据(例如来自摄像机的高分辨率图像)的大消息(高带宽)。
在框410、412和414,第一车辆重复参照框404、406和408描述的过程。然而,在框410处,第一车辆200处理框406的较高质量和集中扫描。如果仅识别不相符的车辆,则第一车辆200返回到框402。如果识别出可能相符或完全相符的车辆,则第一车辆200进行到框412和414。
在框412和414之后,第一车辆200重复框410、412和414,直到仅在后续扫描中识别出不相符的车辆。根据一些实施例,第一车辆200重复框410、412和414,直到至少预定数量的连续扫描(例如50次连续扫描)未能识别可能或完全相符的车辆。
应当理解,框410、412和414的重复频率可以基于与可能或完全相符的车辆相关联的置信度。例如,当可能或完全相符的车辆具有高置信度时,可以以高频率重复框410、412和414。当可能相符的车辆具有低置信度时,可以以低频率重复框410、412和414。
最终,第一车辆200返回到框402并且执行图4的新的或后续迭代,直到(a)接收到的指令已经到期,并且(b)第一车辆200已经返回到框402(即在先前的扫描中仅识别出不相符的车辆)。如上参考图3所述,第一车辆200被配置为接收更新的指令。在接收到更新的指令之后,第一车辆200参照更新的指令执行图4所示的框306的后续迭代。
图5是在一个或多个外部服务器处对从多个连接的车辆接收的消息绘图的方法。在框502,服务器传输指令。第一车辆200被配置为在框302处接收这些指令。因此,这些指令包括或体现了接收到的指令的上述特征中的任何一个。指令可以具体地传输到具有特定坐标的连接的车辆。或者,指令可以指示具有特定坐标之外的坐标的连接的车辆忽略和/或丢弃指令。具体坐标可以是指定的地理边界(例如州、县或用户指定的地理边界)内的任何坐标。
在框504处,服务器在框408和414处接收从连接的车辆转发的消息(以及在框414之后由车辆发送的其他消息,因为框410、412和414重复直到车辆仅分辨不相符的车辆并返回到框402)。如上所述,消息包括检测到的车辆的标记(例如可能相符或完全相符)和检测到的车辆的性质(例如位置、速度(其可以包括前进方向)、加速度、品牌、型号、完整或部分牌照、安全证书(如果存在)以及唯一的标签(如果安全证书不存在))。转发的消息还可以包括由连接的车辆捕获的传感器视图的图像(例如由连接车辆的摄像机记录的包含部分相符或完全相符的车辆的图像)。
在框506处,服务器绘制可能相符和完全相符的车辆的地图。地图可以是用户可查看的并且被传输到多个位置。地图可以是可过滤的或可调节的,使得服务器被配置为基于用户选择的选项来过滤或调整地图(例如仅显示完全相符的车辆、仅显示与目标车辆的品牌和型号匹配的部分相符的车辆)。地图的一些视图可以是显示可能或完全相符的车辆的识别频率的热图。热图可以通过交通密度进行归一化,使得在高密度交通区域中的识别被给予比低密度交通区域中的识别更低的权重。
在框506之后,服务器返回到框502并传输更新的指令。当已经识别到完全相符的车辆或具有高于预定水平的置信度的可能相符的车辆时,服务器可以自动指示在所述车辆的位置的预定半径范围内的连接的车辆跳过框402、404、408并且直接进行到框406。服务器可以被配置为基于时间和不存在检测到的完全相符的车辆而自动地增加搜索的半径(例如上述的地理边界)。
参考图7,图5的外部服务器可以被配置为自动联系具有高于预定标记置信水平的置信度的可能相符车辆或完全相符的车辆。在框702,外部服务器将与车辆相关联的置信度与预定的标记置信水平进行比较。如果置信度超过预定水平,则在框704,外部服务器向可能或完全相符的车辆传输标记指令。
标记指令可以包括(a)将标记附加到由可能或完全相符的车辆做出的车辆间广播的指令(框706)和(b)用可能或完全相符的车辆的识别的本地传感器记录的信息来回复外部服务器的指令(框708)。所识别的本地传感器可以包括安全带传感器、座椅重量传感器、车辆位置、车辆速度、车辆加速度、输入导航软件的路线和/或路线或位置历史。
转到图6,第一车辆200被配置为识别包含指令的道路标志。换句话说,第一车辆200可以在框302处从外部实体(例如其他连接的车辆、图5中参考的服务器)或从道路标志接收指令。道路标志可以是高速公路上方贴出的电子广告牌。如下所述,第一车辆200验证道路标志以确保道路标志是权威的(即经认证的当局是道路标志的来源)。
在框602,第一车辆200使用本地传感器102(例如使用摄像机)扫描道路标志。在框604,第一车辆200处理扫描以确定是否已经检测到相关的道路标志。相关的道路标志可以包括特殊标记,例如术语“安珀警报”或任何其他预定特征,例如与黑色背景形成对比的黄色文本。
在框606,第一车辆200执行道路标志的第二次扫描。第二次扫描可能以比第一次扫描更高的分辨率。第二次扫描可能集中在相关道路标志的位置。与本文所描述的所有特征一样,框606是可选的,因此框604和608可以在框602处捕获的单个扫描上执行。
在框608,第一车辆200处理第二次扫描,以(a)确定指令的特征,例如目标车辆的特征和负责管理目标车辆的位置的外部服务器(例如图5的外部服务器)的电子位置;和(b)验证道路标志是权威的。当道路标志(a)具有一定的尺寸,(b)被放置在道路上方的某一高度,和/或(c)具有一定的颜色或对比度特征(例如黑色背景上的黄色文本)时,第一车辆200可以验证道路标志是权威的。
在框608之后,第一车辆200进行到图3的框302。应当理解,除了在框608处验证的道路标志之外,可以在框304通过联系外部服务器的预加载地址来验证体现在道路标志中的指令(如上所述)。
Claims (15)
1.一种车辆,包括:
马达、本地传感器、处理器,其中所述本地传感器包括摄像机,所述处理器被配置为:
响应于经由所述摄像机检测到包括预定特征的道路标志,处理扫描以确定指令的特征;
基于所述特征,得到包括目标车辆的第一属性的指令;
验证所述指令;
指示所述本地传感器以第一分辨率进行扫描;
基于所述第一属性和第二属性的比较将经扫描的具有第二属性的外部车辆标记为相符或不相符;
一经将所述外部车辆标记为相符,就指示所述本地传感器以第二分辨率进行扫描。
2.根据权利要求1所述的车辆,其中所述第二分辨率超过所述第一分辨率并且所述本地传感器是被配置为以所述第一分辨率和所述第二分辨率捕获图像的摄像机。
3.根据权利要求1所述的车辆,其中所述处理器被配置为将验证的指令转发到周围的车辆。
4. 根据权利要求1所述的车辆,其中所述处理器被配置为:
通过与在预加载的地址处的外部服务器联系来验证所述指令;以及
从存储器获取所述预加载的地址,而不参考所述得到的指令。
5.根据权利要求1所述的车辆,其中所述处理器被配置为指示所述本地传感器以所述第二分辨率扫描,直到预定数量的后续扫描不能包括所述相符的外部车辆。
6.根据权利要求1所述的车辆,其中所述车辆还包括超声波传感器。
7.根据权利要求1所述的车辆,其中所述指令包括每个所述第一属性的重要性,并且所述处理器被配置为基于所述重要性将所述经扫描的外部车辆标记为相符的或不相符的。
8.根据权利要求1所述的车辆,其中所述处理器被配置为,即使当一些所述第一属性不能匹配一些所述第二属性时,仍将所述外部车辆标记为相符。
9.根据权利要求1所述的车辆,其中所述处理器被配置为:
进一步将所述相符的外部车辆标记为可能相符和完全相符;
当所述外部车辆可能相符时计算相符性置信度,其中所述相符性置信度基于所述第一属性和所述第二属性的所述比较和包括在所述得到的指令中的重要性;以及
将所述相符性置信度与阈值置信度进行比较,并且基于所述相符性置信度超过所述阈值置信度来传输所述外部车辆的原始图像。
10.一种控制车辆的方法,所述车辆包括马达、本地传感器和处理器,其中所述本地传感器包括摄像机,所述方法包括经由所述处理器进行以下操作:
响应于经由所述摄像机检测到包括预定特征的道路标志,处理扫描以确定指令的特征;
基于所述特征,得到包括目标车辆的第一属性的指令;
验证所述指令;
指示所述本地传感器以第一分辨率进行扫描;
基于所述第一属性和第二属性的比较将经扫描的具有第二属性的外部车辆标记为相符或不相符;
一经将所述外部车辆标记为相符,就指示所述本地传感器以第二分辨率进行扫描。
11.根据权利要求10所述的方法,其中所述第二分辨率超过所述第一分辨率,所述本地传感器是被配置为以所述第一分辨率和所述第二分辨率捕获图像的摄像机,并且所述方法包括:将验证的指令转发到周围的车辆并且不向所述周围的车辆转发未经验证的指令。
12.根据权利要求11所述的方法,包括从存储器获取预加载的地址并通过与在所述预加载的地址处的外部服务器联系来验证所述指令。
13.根据权利要求12所述的方法,包括:指示所述本地传感器以所述第二分辨率进行扫描,直到预定数量的后续扫描不能包括所述相符的外部车辆。
14.根据权利要求13所述的方法,包括:
将所述相符的外部车辆标记为可能相符或完全相符;
当所述外部车辆是可能相符时计算相符性置信度,其中所述相符性置信度基于所述第一属性和所述第二属性的所述比较与包括在所述得到的指令中的重要性;
将所述相符性置信度与阈值置信度进行比较,并且基于所述相符性置信度超过所述阈值置信度来传输所述外部车辆的原始图像。
15.根据权利要求10所述的方法,包括:以较低频率处理所述第一分辨率扫描以及以较高频率处理所述第二分辨率扫描。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/334,039 US10410074B2 (en) | 2016-10-25 | 2016-10-25 | Systems and methods for locating target vehicles |
US15/334,039 | 2016-10-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107977603A CN107977603A (zh) | 2018-05-01 |
CN107977603B true CN107977603B (zh) | 2023-09-01 |
Family
ID=60481708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710976119.6A Active CN107977603B (zh) | 2016-10-25 | 2017-10-19 | 定位目标车辆的系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10410074B2 (zh) |
CN (1) | CN107977603B (zh) |
DE (1) | DE102017124751A1 (zh) |
GB (1) | GB2557012A (zh) |
MX (1) | MX2017013606A (zh) |
RU (1) | RU2017134791A (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110945448A (zh) | 2017-07-28 | 2020-03-31 | 纽诺有限公司 | 自主和半自主载具上的灵活隔间设计 |
US10424176B2 (en) * | 2017-09-27 | 2019-09-24 | Harman International Industries, Incorporated | AMBER alert monitoring and support |
US11902663B2 (en) * | 2018-07-31 | 2024-02-13 | Nikon Corporation | Electronic devices and program |
US11105927B2 (en) * | 2018-11-29 | 2021-08-31 | Waymo Llc | Localization initialization for autonomous vehicles |
US11874670B2 (en) * | 2019-04-15 | 2024-01-16 | Qualcomm Incorporated | V2X information elements for maneuver and path planning |
US11086862B2 (en) * | 2019-12-05 | 2021-08-10 | Rovi Guides, Inc. | Method and apparatus for determining and presenting answers to content-related questions |
WO2021194747A1 (en) | 2020-03-23 | 2021-09-30 | Nuro, Inc. | Methods and apparatus for automated deliveries |
DE102021109425B3 (de) * | 2021-04-15 | 2022-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201266435Y (zh) * | 2008-11-06 | 2009-07-01 | 北京汇大通业科技有限公司 | 道路交通安全自动警示装置 |
CN103034836A (zh) * | 2011-09-29 | 2013-04-10 | 株式会社理光 | 道路标志检测方法和道路标志检测设备 |
CN103430209A (zh) * | 2011-03-11 | 2013-12-04 | 莱福昂秀有限责任公司 | 视频图像捕获和车辆的识别 |
CN105323550A (zh) * | 2014-07-29 | 2016-02-10 | 霍尼韦尔国际公司 | 用于车辆监控器的视频搜索和回放接口 |
CN105358399A (zh) * | 2013-06-24 | 2016-02-24 | 谷歌公司 | 使用环境信息辅助用于自主车辆的图像处理 |
CN105447451A (zh) * | 2015-11-13 | 2016-03-30 | 东方网力科技股份有限公司 | 一种检索物体标志物的方法及设备 |
CN105607075A (zh) * | 2015-09-08 | 2016-05-25 | 北京铁路局北京科学技术研究所 | 道路安全的监测方法和装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840342B1 (en) * | 1997-10-22 | 2010-11-23 | Intelligent Technologies International, Inc. | Road physical condition monitoring techniques |
US8233670B2 (en) * | 2007-09-13 | 2012-07-31 | Cognex Corporation | System and method for traffic sign recognition |
JP2010103694A (ja) | 2008-10-22 | 2010-05-06 | Seiko Precision Inc | 翻訳機能付きカメラ、及びテキストの表示方法 |
RU2011119211A (ru) * | 2008-11-13 | 2012-12-20 | Асер Рич Лимитед. | Система и способ повышения безопасности транспортного средства путем улучшения знания ситуации водителем транспортного средства |
EP2391995A1 (de) * | 2009-01-28 | 2011-12-07 | JENOPTIK Robot GmbH | Verfahren und anordnung zur beweiskräftigen erfassung einer übertretung einer zulässigen höchstgeschwindigkeit auf einem streckenabschnitt einer fahrbahn |
US8180547B2 (en) | 2009-03-27 | 2012-05-15 | Ford Global Technologies, Llc | Telematics system and method for traction reporting and control in a vehicle |
JP5645769B2 (ja) * | 2011-08-01 | 2014-12-24 | 株式会社日立製作所 | 画像処理装置 |
US8953044B2 (en) * | 2011-10-05 | 2015-02-10 | Xerox Corporation | Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems |
US9305459B2 (en) | 2011-11-30 | 2016-04-05 | Intel Corporation | Automated driver alert system |
US8543254B1 (en) * | 2012-03-28 | 2013-09-24 | Gentex Corporation | Vehicular imaging system and method for determining roadway width |
DE102012011152A1 (de) | 2012-06-05 | 2013-12-05 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Fahrerassistenzsystem |
DE102012222668A1 (de) * | 2012-12-10 | 2014-06-12 | Robert Bosch Gmbh | Vorrichtung zur Fahrzeugumfeldüberwachung |
US9147119B2 (en) | 2012-12-14 | 2015-09-29 | Intel Corporation | System, device, and method for detecting and locating wanted vehicles |
DE102013215098A1 (de) * | 2013-08-01 | 2015-02-05 | Bayerische Motoren Werke Aktiengesellschaft | Umfeldmodelle für Fahrzeuge |
KR20150081838A (ko) | 2014-01-07 | 2015-07-15 | 한국전자통신연구원 | 수배차량 검색 장치 및 그 방법 |
US20150228066A1 (en) * | 2014-02-10 | 2015-08-13 | Michael Scot Farb | Rear Encroaching Vehicle Monitoring And Alerting System |
US10354265B2 (en) * | 2014-04-14 | 2019-07-16 | Sirius Xm Radio Inc. | Systems, methods and applications for using and enhancing vehicle to vehicle communications, including synergies and interoperation with satellite radio |
US9338585B2 (en) * | 2014-06-09 | 2016-05-10 | Telefonaktiebolaget L M Ericsson (Publ) | Automatically connecting a user equipment device with a partner device |
KR102233391B1 (ko) * | 2014-06-16 | 2021-03-29 | 팅크웨어(주) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 |
US9495869B2 (en) | 2014-10-03 | 2016-11-15 | International Business Machines Corporation | Assistance to law enforcement through ambient vigilance |
WO2016103258A1 (en) | 2014-12-24 | 2016-06-30 | Raiman Timor | System and method for preventing accidents |
US10021254B2 (en) * | 2015-01-22 | 2018-07-10 | Verizon Patent And Licensing Inc. | Autonomous vehicle cameras used for near real-time imaging |
-
2016
- 2016-10-25 US US15/334,039 patent/US10410074B2/en active Active
-
2017
- 2017-10-04 RU RU2017134791A patent/RU2017134791A/ru not_active Application Discontinuation
- 2017-10-19 CN CN201710976119.6A patent/CN107977603B/zh active Active
- 2017-10-19 GB GB1717184.4A patent/GB2557012A/en not_active Withdrawn
- 2017-10-23 MX MX2017013606A patent/MX2017013606A/es unknown
- 2017-10-23 DE DE102017124751.3A patent/DE102017124751A1/de active Pending
-
2019
- 2019-09-10 US US16/566,523 patent/US11093765B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201266435Y (zh) * | 2008-11-06 | 2009-07-01 | 北京汇大通业科技有限公司 | 道路交通安全自动警示装置 |
CN103430209A (zh) * | 2011-03-11 | 2013-12-04 | 莱福昂秀有限责任公司 | 视频图像捕获和车辆的识别 |
CN103034836A (zh) * | 2011-09-29 | 2013-04-10 | 株式会社理光 | 道路标志检测方法和道路标志检测设备 |
CN105358399A (zh) * | 2013-06-24 | 2016-02-24 | 谷歌公司 | 使用环境信息辅助用于自主车辆的图像处理 |
CN105323550A (zh) * | 2014-07-29 | 2016-02-10 | 霍尼韦尔国际公司 | 用于车辆监控器的视频搜索和回放接口 |
CN105607075A (zh) * | 2015-09-08 | 2016-05-25 | 北京铁路局北京科学技术研究所 | 道路安全的监测方法和装置 |
CN105447451A (zh) * | 2015-11-13 | 2016-03-30 | 东方网力科技股份有限公司 | 一种检索物体标志物的方法及设备 |
Non-Patent Citations (1)
Title |
---|
道路交通标线检测识别与建图方法研究;陈放;《中国优秀硕士学位论文全文数据库信息科技辑》(第7期);I138-1775 * |
Also Published As
Publication number | Publication date |
---|---|
RU2017134791A (ru) | 2019-04-04 |
US20180114076A1 (en) | 2018-04-26 |
US10410074B2 (en) | 2019-09-10 |
GB2557012A8 (en) | 2018-06-27 |
MX2017013606A (es) | 2018-09-28 |
US20200019800A1 (en) | 2020-01-16 |
GB201717184D0 (en) | 2017-12-06 |
GB2557012A (en) | 2018-06-13 |
CN107977603A (zh) | 2018-05-01 |
US11093765B2 (en) | 2021-08-17 |
DE102017124751A1 (de) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977603B (zh) | 定位目标车辆的系统和方法 | |
CN107972670B (zh) | 车辆虚拟地图 | |
US11580754B2 (en) | System and method for large-scale lane marking detection using multimodal sensor data | |
US10628690B2 (en) | Systems and methods for automated detection of trailer properties | |
US10885791B2 (en) | Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method | |
CN112203216B (zh) | 定位信息获取方法、辅助驾驶方法以及车端传感器检测方法 | |
US20230110812A1 (en) | Connectivity Matrix for Rapid 5G/6G Wireless Addressing | |
CN110803169B (zh) | 用于在车辆中显示信息的系统和方法 | |
CN111901778A (zh) | 一种基于v2x的车辆异常预警方法、系统及存储介质 | |
US10803332B2 (en) | Traffic sign detection method, apparatus, system and medium | |
JP6302920B2 (ja) | 走行路の領域内にあるマークされた危険個所、及び/或いは、工事現場を認識するための方法、並びに、手段 | |
CN114935334B (zh) | 车道拓扑关系的构建方法、装置、车辆、介质及芯片 | |
JP2015535106A5 (zh) | ||
JP2021043475A (ja) | 送信装置、点群データ収集システムおよびコンピュータプログラム | |
JP6620368B2 (ja) | 報知システム、およびプログラム | |
CN105539366A (zh) | 基于云计算的汽车防盗方法 | |
EP3859281B1 (en) | Apparatus and method for collecting data for map generation | |
CN113240206A (zh) | 扫码打车方法、扫码打车装置、电子设备和可读存储介质 | |
JP7470967B2 (ja) | システム、プログラム、機械学習方法、及び機械学習モデル等 | |
CN115437366A (zh) | 障碍物追踪方法、装置、设备及计算机可读存储介质 | |
JP2007249463A (ja) | 車両情報取得システム | |
US20230410624A1 (en) | Notification system and notification method | |
CN114724380B (zh) | 车辆限速识别处理方法及装置、智能车载终端、车联网系统 | |
JP2019096137A (ja) | 信号機認識装置 | |
US20220415163A1 (en) | Route control device and route control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |