CN108242163B - 驾驶员辅助系统、机动车、输出交通信息的方法和介质 - Google Patents

驾驶员辅助系统、机动车、输出交通信息的方法和介质 Download PDF

Info

Publication number
CN108242163B
CN108242163B CN201711390023.8A CN201711390023A CN108242163B CN 108242163 B CN108242163 B CN 108242163B CN 201711390023 A CN201711390023 A CN 201711390023A CN 108242163 B CN108242163 B CN 108242163B
Authority
CN
China
Prior art keywords
information
motor vehicle
landmark
assistance system
driver assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711390023.8A
Other languages
English (en)
Other versions
CN108242163A (zh
Inventor
G·施耐德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zf Active Safety Co ltd
Original Assignee
Zf Active Safety Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Active Safety Co ltd filed Critical Zf Active Safety Co ltd
Publication of CN108242163A publication Critical patent/CN108242163A/zh
Application granted granted Critical
Publication of CN108242163B publication Critical patent/CN108242163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G08G1/093—Data selection, e.g. prioritizing information, managing message queues, selecting the information to be output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

驾驶员辅助系统、机动车、输出交通信息的方法和介质。驾驶员辅助系统将与导航单元和摄像头单元连接；导航单元访问表示位于机动车的地理邻域中的路网的路段和位于路段上的路标的地图数据，确定位于路段上的机动车的当前位置，向驾驶员辅助系统提供位于机动车将基于机动车的当前位置而行进的路段的一位置处的至少一个路标的第一信息。驾驶员辅助系统基于第一信息向摄像头单元提供至少一个路标的第二信息。摄像头单元捕获机动车的环境，将机动车的环境与第二信息进行匹配，在环境中检测与第二信息大致相符的路标，向驾驶员辅助系统提供检测到的至少一个路标的第三信息。驾驶员辅助系统还基于第三信息向机动车的驾驶员或速度影响单元输出对应信令。

Description

驾驶员辅助系统、机动车、输出交通信息的方法和介质
技术领域
本发明涉及机动车的驾驶员辅助系统，并且涉及用于向机动车的驾驶员或速度影响单元输出交通信息的方法。
背景技术
用于机动车的驾驶员辅助系统是已知的，其包括摄像头传感器和导航系统。该导航系统从存储的地图数据库提供关于道路的信息和机动车的特定位置，并且摄像头传感器检测机动车的环境，具体为路标。来自导航系统和摄像头传感器的数据在驾驶员辅助系统中被合并，以便确保系统的最大可用性和准确性。摄像头传感器对路标的检测是摄像头传感器的计算密集型任务，并且如果在困难的条件下(例如，在雨中或雪中)记录图像，则容易出错。
发明内容
目的
为了降低驾驶员辅助系统或摄像头单元的计算工作量，本发明涉及简化路标检测并使其更精确，而同时最小化计算工作量。
提出的解决方案
作为解决方案，提出了机动车的驾驶员辅助系统。所述驾驶员辅助系统将与导航单元和摄像头单元连接。所述导航单元适于访问表示位于所述机动车的地理邻域中的路网中的路段和位于该路段上的路标的地图数据，确定位于一路段上的所述机动车的当前位置，以及向所述驾驶员辅助系统提供至少一个路标的第一信息，该路标位于所述机动车将基于该机动车的所述当前位置而行进的路段的位置上。所述驾驶员辅助系统适于基于由所述导航单元提供的所述第一信息向所述摄像头单元提供所述至少一个路标的第二信息。所述摄像头单元适于捕获所述机动车的环境，将所捕获的所述机动车的环境与所述第二信息进行匹配，在所捕获的环境中检测与所述第二信息大致相符的路标，以及向所述驾驶员辅助系统提供检测到的至少一个路标的第三信息。所述驾驶员辅助系统还适于基于由所述摄像头单元提供的所述第三信息向所述机动车的驾驶员或所述机动车的速度影响单元输出对应信令。
所述速度影响单元可以适于保持或改变所述机动车当前正在移动的速度。所述速度影响单元可以是巡航控制装置。
所述驾驶员辅助系统可以连接至所述机动车的车内电子系统或者可以作为其部分。
所述导航单元可以适于，基于来自至少一个卫星、无线电网络、全球移动通信系统(GSM)、惯性或自主系统的信号(具体为GPS信号，该信号包括地理信息(拓扑、道路、航空和/或航海地图))，来确定所述机动车的当前位置。所述导航单元还访问地图数据，该地图数据可以存储在该导航单元的存储器中，以外部数据载体的形式和/或通过云系统来提供。
所述摄像头单元可以是飞行时间TOF摄像头。所述摄像头单元可以适于借助于白光、红外光和/或激光来捕获所述机动车的环境。
所述至少一个路标可以是要求所述机动车的当前速度被所述机动车的所述驾驶员辅助系统、所述速度影响单元或者所述驾驶员调节的路标。
所述第一信息和/或所述第二信息可以包括关于以下项的信息：所述至少一个路标的形式、和/或在所述至少一个路标上描绘的街道名、地名、国家名和/或关注点POI名称、和/或在所述至少一个路标上描绘的符号。
所述第一信息和/或所述第二信息可以包括关于以下项的信息：所述至少一个路标的颜色和/或颜色组合、和/或从所述车辆的所述当前位置到所述路标的距离和/或时间。
所述第一信息和/或所述第二信息可以包括关于至少以下项的组合的信息：所述至少一个路标的形式、和/或所述至少一个路标的颜色、颜色组合、和/或在所述至少一个路标上描绘的街道名、地名(230)、国家名、关注点POI名称、在所述至少一个路标上描绘的符号、从所述车辆的所述当前位置到所述至少一个路标的距离和/或时间。
所述第一信息和/或所述第二信息还可以包括关于所述至少一个路标的类别的信息，该类别包括警告路标、城镇/地名路标、管制路标、方向性路标、交通设施路标和/或补充路标类别。通过道路交通行为定义不同类别的各个路标。
所述第一信息和所述第二信息可以相同。
所述摄像头单元还可以适于，在所述摄像头单元将所捕获的所述机动车的环境与所述第二信息进行匹配之前，将所捕获的环境划分成预定数量的图像区，并且在所述预定数量的图像区中的选择的至少一个图像区内以所述至少一个路标的形式来检测所述捕捉环境中的元素。所述图像区优选为所捕获的环境中的大小相同的区域。许多路标设置在预定高度，以便使大量道路使用者尽可能看到它们。所述摄像头单元因此可以适于在检测到所述至少一个路标时排除低于该特定高度的特定图像区。
而且，所述第三信息可以包括关于所捕获的环境的部分区域的信息，所述部分区域包括检测到的至少一个路标。所述部分区域可以对应于所述预定数量的图像区中的一图像区。
具体来说，关于所述部分区域的信息仅包括所述检测到的至少一个路标。
另选的是，所述第三信息可以包括确认所述摄像头单元已经检测到所述至少一个路标的信息。
作为另一另选解决方案，提出了一种机动车，其包括根据先前提出的解决方案之一的驾驶员辅助系统。
对于另一解决方案来说，提出了一种用于向机动车的驾驶员或速度影响单元输出交通信息的方法，该方法包括以下步骤：访问表示位于所述机动车的地理邻域中的路网中的路段和位于该路段上的路标的地图数据；确定在一路段上的所述机动车的当前位置；提供至少一个路标的第一信息，所述至少一个路标位于所述机动车将基于该机动车的所述当前位置而行进的路段的位置上；基于所述第一信息提供所述至少一个路标的第二信息；捕获所述机动车的环境；将所捕获的所述机动车的环境与所述第二信息进行匹配；在所捕获的环境中检测与所述第二信息大致相符的路标；提供检测到的至少一个路标的第三信息；以及基于提供的所述第三信息向所述机动车的驾驶员或所述速度影响单元输出对应信令。
所述至少一个路标可以是要求所述机动车的当前速度被所述机动车的所述驾驶员辅助系统、所述速度影响单元或者所述驾驶员调节的路标。
所述第一信息和/或所述第二信息可以包括关于以下项的信息：所述至少一个路标的形式、和/或在所述至少一个路标上描绘的街道名、地名、国家名和/或关注点POI名称、和/或在所述至少一个路标上描绘的符号。
所述第一信息和/或所述第二信息可以包括关于以下项的信息：所述至少一个路标的颜色和/或颜色组合、和/或从所述车辆的所述当前位置到所述路标的距离和/或时间。
所述第一信息和/或所述第二信息可以包括关于至少以下项的组合的信息：所述至少一个路标的形式、和/或所述至少一个路标的颜色、颜色组合、和/或在所述至少一个路标上描绘的街道名、地名、国家名、关注点POI名称、在所述至少一个路标上描绘的符号、从所述机动车的所述当前位置到所述至少一个路标的距离和/或时间。
所述第一信息和所述第二信息相同。
在将所捕获的所述机动车的环境与所述第二信息进行匹配的步骤之前，可以将所捕获的环境划分成预定数量的图像区，并且在所述预定数量的图像区中的选择的至少一个图像区内检测所述至少一个路标。
所述第三信息可以包括关于所捕获的环境的部分区域的信息，所述部分区域包括检测到的至少一个路标。
关于所述部分区域的信息仅包括所述检测到的至少一个路标。
另选的是，所述第三信息可以包括确认已经检测到所述至少一个路标的信息。
作为另一另选解决方案，提出了一种计算机程序产品，该计算机程序产品包括用于当该计算机程序产品在一个或更多个处理单元执行时，执行根据前述方面之一的方法的程序代码段。
所述计算机程序产品可以存储在一个或更多个计算机可读存储介质上。
附图说明
根据下面对当前优选变型例的描述，并且根据附图，本文描述的方法和装置的进一步细节、特征、优点以及效果将变得显而易见，其中：
图1是根据第一实施方式的机动车的驾驶员辅助系统的示意表示图；
图2和3是驾驶员辅助系统的摄像头单元的捕获环境的示意表示图；
图4是用于将交通信息输出给机动车的驾驶员或速度影响单元的方法的框图。
具体实施方式
在图1中，示意性地示出了摄像头单元110、驾驶员辅助系统120以及导航单元130，其中，摄像头单元110、驾驶员辅助系统120以及导航单元130可以包含在机动车(未示出)中。摄像头单元110连接至驾驶员辅助系统120，后者又连接至导航单元130。
导航单元130适于访问表示位于机动车的地理邻域中的路网中的路段210和位于该路段210上的路标的地图数据。导航单元130因此可以适于，基于来自至少一个卫星、无线电网络、全球移动通信系统(GSM)、惯性或自主系统的信号(具体为GPS信号)，确定机动车的当前位置。该信号可以包括不同的地理信息，如拓扑、道路、航空和/或航海地图信息。导航单元130还可以访问地图数据，该地图数据存储在该导航单元130的存储器中，以外部数据载体的形式和/或通过云系统来提供。该地图数据可以以路段210和节点的形式提供，两个节点之间的连接是路段210。
导航单元130向驾驶员辅助系统120提供关于至少一个路标220的第一信息，所述至少一个路标220位于机动车将基于该机动车的当前位置而行进的路段210的一位置。所述至少一个路标220可以位于机动车的前方、侧面或后方。
驾驶员辅助系统120适于基于第一信息向摄像头单元110提供关于所述至少一个路标220的第二信息。
第二信息可以与第一信息相同。另选的是，为了减少信息量并因此减少第一步骤中的计算工作量，第二信息可以仅包括第一信息的一部分。
所述至少一个路标优选为路标220，所述路标220要求该机动车的当前速度被驾驶员辅助系统120、机动车的速度影响单元或者驾驶员调节。速度影响单元可以是机动车的巡航控制装置。通过限制成这种路标220，摄像头单元110将检测到的路标220的数量(如下面将进行说明)已经可以显著减少。驾驶员辅助系统120旨在支持和辅助机动车的驾驶员(特别是在驾驶时)，因此通过检测路标并且由此根据交通法规进行速度调节的协助减轻了驾驶员的负担，并且增加了他的安全性。
摄像头单元110可以是飞行时间TOF摄像头。摄像头单元110可以适于，借助于白光、红外光和/或激光来捕获机动车的环境。摄像头单元110适于捕获机动车的环境(参见图2)。摄像头单元110由此可以捕获环境的一系列图像或连续的记录。随后，通过摄像头单元110扫描所捕获的环境，以便在所捕获的环境中检测与第二信息大致相符的路标220。如果摄像头单元110已经检测到与第二信息相符的路标220，那么摄像头单元110向驾驶员辅助系统120提供关于所检测的路标220的第三信息。
第三信息可以包括关于所捕获的环境中的、包含所检测的路标220的部分区域的信息。因为针对驾驶员辅助系统120的唯一相关因素是所述至少一个路标220是否已被检测到，所以驾驶员辅助系统120不需要完整记录所捕获的环境(例如，参见图2)，而是仅仅设置有所述至少一个路标220的部分。该部分区域也可以仅包括路标220。
另选的是，第三信息可以仅包括针对驾驶员辅助系统120确认已经检测到至少一个路标220的确认信息。确认信息同样意味着最小的数据量，并因此意味着驾驶员辅助系统120的简化处理。
基于该第三信息，驾驶员辅助系统120向机动车的驾驶员或速度影响单元输出对应信令。向驾驶员输出的信令例如可以包括经由机动车的扩音器或显示单元的输出，所述输出向驾驶员指示即将到来的或已经适用的速度调节。该输出还可以包括针对驾驶员的附加信息，例如，到路标220有多远，和/或如果规定了较低的速度，则何时和/或在哪里应该减小当前速度。到速度影响单元的信令可以包括关于即将到来的规定限速的信息、到路标的距离和/或基于当前速度，到达路标220的时间。基于该信息，速度影响单位可以及时影响当前速度。
如前文已经指出，摄像头单元110将更精确地且以更少的计算工作量来检测所述至少一个路标220。为了准许这样，驾驶员辅助系统120可以以这样的方式减少提供给摄像头单元110的信息，即，其表示用于摄像头单元110的最小计算工作量，但准许简单且精确地检测所述至少一个路标220。这将参照图2进行更详细说明。
图2示出了由摄像头单元110捕获的部分区域200形式的环境。部分区域200包括路段210的部分和路标220。
为了增加摄像头单元110的计算工作量和精度，驾驶员辅助系统120适于基于第一信息提供第二信息。因此，第一信息和/或第二信息可以包括关于以下项的信息：所述至少一个路标220的形式、和/或在所述至少一个路标220上描绘的街道名、地名230、国家名和/或关注点POI名称、和/或在所述至少一个路标220上描绘的符号。
这类信息的共同特征是，其规定了所述至少一个路标220的几何特性。通过将第二信息限制成所述至少一个路标220的形式(例如，地名标志的形式)，摄像头单元110能够有目的地在所捕获的环境中搜索矩形形状标志。因此，在找寻所述至少一个路标220时，可以忽略颜色信息。
摄像头单元110还可以适于，以不同的视角描绘或变换所述至少一个路标220的几何特性。并不是所有的路标220位于路段上(如图2所示)，而是它们也可以倾斜或转动。尽管该标志倾斜或转动，但形式仍具有相同的几何特性。因此，摄像头单元110可以适于基于第二信息来检测倾斜或转动的路标220。
如果第二信息包括关于地名230(在图2中，地点“A”)的信息，则摄像头单元110基于字母“A”的几何特性，可以有目的地在所捕获的环境中搜索该字母并相应地检测所述至少一个路标220，在这种情况下，地名标志“A”230。
如果第二信息包含关于所述至少一个路标220的多条信息(例如，所述至少一个路标220的地名和形式)，则摄像头单元110可以更好地与其它路标220区分。
摄像头单元110还可以适于基于第二信息来检测所述至少一个路标220，而不必完全捕获环境中的所述至少一个路标220。其中所述至少一个路标220不能完全被捕获的典型情况是，例如，当所述至少一个路标220部分地被树木遮蔽，使得仅所述至少一个路标220的特定部分仍可检测到时。摄像头单元110可以适于，基于第二信息来检测所述至少一个路标220的所述部分，并且单独基于所述至少一个路标220的所检测的部分向驾驶员辅助系统120提供第三信息。可选地或者另外，摄像头单元110可以适于通过光学重建来完整地标识所述至少一个路标220，然后向驾驶员辅助系统120提供第三信息。
第一信息和/或第二信息还可以包括关于以下项的信息：所述至少一个路标220的颜色和/或颜色组合、和/或从机动车的当前位置到所述至少一个路标220的距离和/或时间。
路标220以特定颜色为特征。而且，路标220在白天、黎明以及夜间容易被看到。因此，路标220具有所谓的反光膜(retroreflective film)，该反光膜将来自辐射源的光反射回源。DIN 67520规定了要求的最低反射值。而且，定义了不同的反射类别，即，所谓的RA类别，其对应于DIN 67520；DIN EN 12899-1或者DIN 67520。因此，路标220的颜色被清楚地规定，并且可以被摄像头单元110用来更好地检测和区分环境的其它部分。
如果第二信息包括与从述机动车的当前位置到所述至少一个路标220的时间和/或距离有关的信息，则摄像头单元110可以适于仅在特定距离和/或时间间隔内搜索所述至少一个路标220。通过进一步指定时刻、时间窗口或路段(其中，要检测所述至少一个路标220)，可以增加检测到所述至少一个路标220的精度。
检测所述至少一个路标220的其它干扰因素例如可以是雨、雪或雾。这些可以使准确捕获环境并因此捕获所述至少一个路标220更加困难。然而，即使摄像头单元110没有完全地检测到所述至少一个路标或者所述至少一个路标220的部分未被清晰地捕获到(例如由于光线在雨滴中的漫射)，摄像头单元110也适于借助于第二信息清楚地检测所述至少一个路标220。
第二信息还可以包括前文列出的信息的组合。
如图3所示，摄像头单元110适于将所捕获的环境的图像300划分成预定数量的图像区310、311、312。在图3中，图像300被划分成相同大小的三个图像区310、311、312，预定数量不限于图像区310、311、312的该数量。
许多路标220借助于支承柱(如图3所示)安装在高架位置处，或者也可以不需要这种支承柱，例如，安装在房子的墙上。路标220的高架位置是为了确保大量道路使用者清楚地看到它。其它路标(例如，多车道道路上的转弯指令)被描述在所讨论的车道中，因此只能在那里找到。
因此，摄像头单元110适于将所捕获的环境划分成图像区310、311、312，并在图像区310、311、312中的至少一个图像区中检测所述至少一个路标220。因此摄像头单元110的计算工作量显著减少，因为仅在特定图像区(例如，图像区310)中找寻所述至少一个路标220。
图4示出了用于向机动车的驾驶员或速度影响单元输出交通信息的方法400。在图4所示的方法中，步骤410至480可以按所描述的次序执行。另选的是，可以并行地或同时地或者以不同的次序执行各个步骤。
在步骤410中，访问表示位于机动车的地理邻域中的路网中的路段210和位于该路段210上的路标220的地图数据。在步骤420中，提供关于至少一个路标220的第一信息，所述至少一个路标220位于机动车将基于该机动车的当前位置而行进的路段210的一位置处。
基于第一信息，在步骤430中，提供第二信息，其如前文已经描述的，第二信息与第一信息相同，或者仅包括第一信息的一部分。在步骤440中，捕获机动车的环境，并且在步骤450中，将所捕获的环境与第二信息进行匹配。
在步骤460中，在所捕获的环境中检测与第二信息大致相符的路标220，并且在步骤470中，提供关于检测到的至少一个路标220的第三信息。在步骤480中，基于第三信息向机动车的驾驶员或者速度影响单元输出对应信令。
该方法或装置的上述变型例及其功能和操作方面仅用于更好地理解所述结构、功能以及特性，它们不将本公开例如限制成该示例性实施方式。这些图是部分示意图，在某些情况下，重要的特性和效果以显著放大的比例来示出，以便阐明所述功能、主动原理、技术配置以及特征。图中或文中公开的任何功能模式、任何原理、任何技术配置以及任何特征可以与所有权利要求，文中和其它图中的任何特征，本公开中包含的或从其中遵循的其它功能模式、原理、技术配置以及特征自由且任意组合，使得所有可设想组合要被指配给所述方法或装置。还包括文中(即，在本描述的每个部分中)、权利要求书中的所有单独实现之间的组合，并且还有文中、权利要求书中以及图中的不同变型例之间的组合。对于本文所提到的值范围来说，还公开了所有中间数字值。
权利要求书也不限制本公开，和由此的所有指示特征彼此的可能组合。而且，本文单独和与所有其它特征组合地明确公开了所有公开特征。

Claims (22)

1.一种机动车的驾驶员辅助系统(120)，该驾驶员辅助系统将与导航单元(130)和摄像头单元(110)连接；其中，
所述导航单元适于访问表示位于所述机动车的地理邻域中的路网的路段(210)和位于所述路段上的路标(220)的地图数据，确定位于一路段上的所述机动车的当前位置，并向所述驾驶员辅助系统(120)提供至少一个路标的第一信息，所述至少一个路标位于所述机动车将基于所述机动车的所述当前位置而行进的路段(210)的一位置上；
所述驾驶员辅助系统适于基于由所述导航单元提供的所述第一信息向所述摄像头单元提供所述至少一个路标的第二信息；
所述摄像头单元适于捕获所述机动车的环境，将所捕获的所述机动车的环境与所述第二信息进行匹配，在所捕获的环境中检测与所述第二信息相符的路标，并且向所述驾驶员辅助系统提供检测到的至少一个路标的第三信息；以及
所述驾驶员辅助系统适于基于由所述摄像头单元提供的所述第三信息向所述机动车的驾驶员或所述机动车的速度影响单元输出对应信令。
2.根据权利要求1所述的驾驶员辅助系统，其中，所述至少一个路标是要求所述机动车的当前速度被所述机动车的所述驾驶员辅助系统、所述速度影响单元或者所述驾驶员调节的路标。
3.根据权利要求1或2所述的驾驶员辅助系统，其中，所述第一信息和/或所述第二信息包括关于以下项的信息：所述至少一个路标的形式、和/或在所述至少一个路标上描绘的街道名、地名(230)、国家名和/或关注点POI名称、和/或在所述至少一个路标上描绘的符号。
4.根据权利要求1所述的驾驶员辅助系统，其中，所述第一信息和/或所述第二信息包括关于以下项的信息：所述至少一个路标的颜色和/或颜色组合、和/或从所述机动车的所述当前位置到所述至少一个路标的距离和/或时间。
5.根据权利要求1所述的驾驶员辅助系统，其中，所述第一信息和/或所述第二信息包括关于至少以下项的组合的信息：所述至少一个路标的形式、和/或所述至少一个路标的颜色、颜色组合、和/或在所述至少一个路标上描绘的街道名、地名(230)、国家名、关注点POI名称、在所述至少一个路标上描绘的符号、从所述机动车的所述当前位置到所述至少一个路标的距离和/或时间。
6.根据权利要求1所述的驾驶员辅助系统，其中，所述第一信息和所述第二信息彼此对应。
7.根据权利要求1所述的驾驶员辅助系统，其中，所述摄像头单元适于，在所述摄像头单元将所捕获的所述机动车的环境与所述第二信息进行匹配之前，将所捕获的环境划分成预定数量的图像区(310、311、312)，并且在所述预定数量的图像区中的选择的至少一个图像区内检测所捕获的环境中的元素作为所述至少一个路标。
8.根据权利要求1所述的驾驶员辅助系统，其中，所述第三信息包括关于所捕获的环境的部分区域的信息，其中，所述部分区域包括所述检测到的至少一个路标。
9.根据权利要求8所述的驾驶员辅助系统，其中，关于所述部分区域的信息仅包括所述检测到的至少一个路标。
10.根据权利要求1所述的驾驶员辅助系统，其中，所述第三信息包括确认所述摄像头单元已经检测到所述至少一个路标的信息。
11.一种包括根据权利要求1至10中的任一项所述的驾驶员辅助系统的机动车。
12.一种用于向机动车的驾驶员或速度影响单元输出交通信息的方法(500)，该方法包括以下步骤：
访问(410)表示位于所述机动车的地理邻域中的路网的路段(210)和位于所述路段上的路标(220)的地图数据；
确定(420)在一路段上的所述机动车的当前位置；
提供(430)至少一个路标的第一信息，所述至少一个路标位于所述机动车将基于所述机动车的所述当前位置而行进的路段的一位置上；
基于所述第一信息提供(440)所述至少一个路标的第二信息；
捕获(450)所述机动车的环境；
将所捕获的所述机动车的环境与所述第二信息进行匹配(460)；
在所捕获的环境中检测(470)与所述第二信息相符的路标；
提供(480)检测到的至少一个路标的第三信息；
基于提供的所述第三信息向所述机动车的所述驾驶员或所述速度影响单元输出(490)对应信令。
13.根据权利要求12所述的方法，其中，所述至少一个路标是要求所述机动车的当前速度被所述机动车的驾驶员辅助系统、所述速度影响单元或者所述驾驶员调节的路标。
14.根据权利要求12或13所述的方法，其中，所述第一信息和/或所述第二信息包括关于以下项的信息：所述至少一个路标的形式、和/或在所述至少一个路标上描绘的街道名、地名(230)、国家名和/或关注点POI名称、和/或在所述至少一个路标上描绘的符号。
15.根据权利要求12所述的方法，其中，所述第一信息和/或所述第二信息包括关于以下项的信息：所述至少一个路标的颜色和/或颜色组合、和/或从所述机动车的所述当前位置到所述路标的距离和/或时间。
16.根据权利要求12所述的方法，其中，所述第一信息和/或所述第二信息包括关于至少以下项的组合的信息：所述至少一个路标的形式、和/或所述至少一个路标的颜色、颜色组合、和/或在所述至少一个路标上描绘的街道名、地名(230)、国家名、关注点POI名称、在所述至少一个路标上描绘的符号、从所述机动车的所述当前位置到所述至少一个路标的距离和/或时间。
17.根据权利要求12所述的方法，其中，所述第一信息和所述第二信息相同。
18.根据权利要求12所述的方法，其中，在将所捕获的所述机动车的环境与所述第二信息进行匹配的步骤之前，将所捕获的环境划分成预定数量的图像区(310、311、312)，并且在所述预定数量的图像区中的选择的至少一个图像区内检测所述至少一个路标。
19.根据权利要求12所述的方法，其中，所述第三信息包括关于所捕获的环境的部分区域的信息，其中，所述部分区域包括所述检测到的至少一个路标。
20.根据权利要求19所述的方法，其中，关于所述部分区域的信息仅包括所述检测到的至少一个路标。
21.根据权利要求12所述的方法，其中，所述第三信息包括确认已经检测到所述至少一个路标的信息。
22.一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序代码，当所述计算机程序代码在一个或更多个处理单元上执行时，执行根据权利要求12至21中的任一项所述的方法。
CN201711390023.8A 2016-12-23 2017-12-21 驾驶员辅助系统、机动车、输出交通信息的方法和介质 Active CN108242163B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016015513.2 2016-12-23
DE102016015513.2A DE102016015513A1 (de) 2016-12-23 2016-12-23 Fahrassistenz-System eines Kraftfahrzeugs

Publications (2)

Publication Number Publication Date
CN108242163A CN108242163A (zh) 2018-07-03
CN108242163B true CN108242163B (zh) 2022-04-15

Family

ID=62509837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711390023.8A Active CN108242163B (zh) 2016-12-23 2017-12-21 驾驶员辅助系统、机动车、输出交通信息的方法和介质

Country Status (3)

Country Link
US (1) US10410073B2 (zh)
CN (1) CN108242163B (zh)
DE (1) DE102016015513A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019133613B3 (de) * 2019-12-10 2020-12-31 Audi Ag Verfahren zum Bereitstellen einer dreidimensionalen Landkarte in einem Kraftfahrzeug
DE102022100506A1 (de) 2022-01-11 2023-07-13 Valeo Schalter Und Sensoren Gmbh Einfache Ermittlung einer aktuellen Geschwindigkeitsbegrenzung für geschlossene Ortschaften
DE102022123805A1 (de) 2022-09-16 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zur Unterstützung eines Fahrers eines Fahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007132860A1 (ja) * 2006-05-17 2007-11-22 Toyota Jidosha Kabushiki Kaisha 対象物認識装置
CN103808317A (zh) * 2012-11-07 2014-05-21 沃尔沃汽车公司 车辆图像捕获系统
CN104899581A (zh) * 2015-06-30 2015-09-09 北京奇虎科技有限公司 基于行车记录仪的信息读取方法及装置
CN105469124A (zh) * 2015-11-20 2016-04-06 厦门雅迅网络股份有限公司 一种交通标志分类方法
CN105599610A (zh) * 2014-11-17 2016-05-25 本田技研工业株式会社 标识信息显示系统及标识信息显示方法
CN105723432A (zh) * 2013-11-12 2016-06-29 三菱电机株式会社 驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生成程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19842176A1 (de) 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
DE102010062633A1 (de) 2010-12-08 2012-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
EP2746137B1 (en) * 2012-12-19 2019-02-20 Volvo Car Corporation Method and system for assisting a driver
KR101737791B1 (ko) * 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007132860A1 (ja) * 2006-05-17 2007-11-22 Toyota Jidosha Kabushiki Kaisha 対象物認識装置
CN103808317A (zh) * 2012-11-07 2014-05-21 沃尔沃汽车公司 车辆图像捕获系统
CN105723432A (zh) * 2013-11-12 2016-06-29 三菱电机株式会社 驾驶辅助图像生成装置、驾驶辅助图像显示装置、驾驶辅助图像显示系统及驾驶辅助图像生成程序
CN105599610A (zh) * 2014-11-17 2016-05-25 本田技研工业株式会社 标识信息显示系统及标识信息显示方法
CN104899581A (zh) * 2015-06-30 2015-09-09 北京奇虎科技有限公司 基于行车记录仪的信息读取方法及装置
CN105469124A (zh) * 2015-11-20 2016-04-06 厦门雅迅网络股份有限公司 一种交通标志分类方法

Also Published As

Publication number Publication date
DE102016015513A1 (de) 2018-06-28
US10410073B2 (en) 2019-09-10
US20180181825A1 (en) 2018-06-28
CN108242163A (zh) 2018-07-03

Similar Documents

Publication Publication Date Title
EP2253936B1 (en) Current position determining device and current position determining nethod
JP4847090B2 (ja) 位置測位装置、および位置測位方法
CN101473195B (zh) 定位装置
US8379923B2 (en) Image recognition processing device, method, and program for processing of image information obtained by imaging the surrounding area of a vehicle
US9797733B2 (en) Navigation system and method of determining a vehicle position
US10458805B2 (en) Driver assistance system for a motor vehicle
US20160010998A1 (en) Intelligent video navigation for automobiles
US20100253775A1 (en) Navigation device
US20200307576A1 (en) Driver assistance apparatus and driver assistance method
CN113508277A (zh) 车道标记定位和融合
US11963066B2 (en) Method for indicating parking position and vehicle-mounted device
CN108242163B (zh) 驾驶员辅助系统、机动车、输出交通信息的方法和介质
CN111507129A (zh) 车道级定位方法及系统、计算机设备、车辆、存储介质
JP2000097714A (ja) カーナビゲーション装置
US11280632B2 (en) Method for reproducing a map display in a transportation vehicle depending on a driving situation
CN112781600A (zh) 一种车辆导航方法、装置及存储介质
CN108827325B (zh) 对数据进行定位的方法、设备和计算机可读的存储介质
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
KR20140085848A (ko) 차량 위치 기반 교통 신호 검출 시스템 및 이를 이용한 교통 신호 검출 방법
US10883839B2 (en) Method and system for geo-spatial matching of sensor data to stationary objects
CN106537172B (zh) 用于确定传感器的位置和/或定向的方法
JP4165457B2 (ja) 道路情報収集システム
JPWO2020031295A1 (ja) 自己位置推定方法及び自己位置推定装置
CN112590669B (zh) 一种车辆匹配方法及装置
US11370452B2 (en) Driving action determination device, driving action determination method and non-transitory storage medium storing a driving action determination program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Koblenz

Applicant after: ZF active safety Co., Ltd

Address before: Koblenz

Applicant before: Lucas Automotive Gmbh

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant