CN112115798A - 驾驶场景中的对象标注方法、装置及存储介质 - Google Patents

驾驶场景中的对象标注方法、装置及存储介质 Download PDF

Info

Publication number
CN112115798A
CN112115798A CN202010848831.XA CN202010848831A CN112115798A CN 112115798 A CN112115798 A CN 112115798A CN 202010848831 A CN202010848831 A CN 202010848831A CN 112115798 A CN112115798 A CN 112115798A
Authority
CN
China
Prior art keywords
information
target
driving scene
dimensional code
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010848831.XA
Other languages
English (en)
Other versions
CN112115798B (zh
Inventor
严义雄
庹新娟
余昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Corp
Original Assignee
Dongfeng Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Corp filed Critical Dongfeng Motor Corp
Priority to CN202010848831.XA priority Critical patent/CN112115798B/zh
Publication of CN112115798A publication Critical patent/CN112115798A/zh
Application granted granted Critical
Publication of CN112115798B publication Critical patent/CN112115798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书实施例公开一种驾驶场景中的对象标注方法、装置及存储介质，所述方法包括：在目标车辆位于驾驶场景中时，获取目标车辆采集到的目标信息；基于信息与信息处理方式的预设对应关系，确定与目标信息对应的目标处理方式；通过目标处理方式对目标信息进行处理，得到处理结果，并通过处理结果确定是否对驾驶场景进行信息采集；在处理结果表明需要对所述驾驶场景进行信息采集时，对驾驶场景中的对象进行标注。上述方案中，通过采集目标信息来触发驾驶场景的信息采集，提高了驾驶的安全性。

Description

驾驶场景中的对象标注方法、装置及存储介质
技术领域
本说明书实施例涉及汽车技术领域，尤其涉及一种驾驶场景中的对象标注方法、装置及存储介质。
背景技术
在自动驾驶场景中，为了保证自动驾驶车辆的安全行驶，需要对驾驶场景进行准确识别，驾驶场景中包含有大量的对象，例如桥梁、隧道、以及周围行驶的其他车辆等。现有技术中，需要对驾驶场景进行采集，同时对采集到的信息进行标定，例如，标定各个对象的标签信息等。
现有技术中，在对驾驶场景进行信息采集时，通常是通过驾驶员手动按下触发按钮来启动驾驶场景信息的采集，然后通过数据回放的方式，对采集到的信息进行人工标记。手动按下触发按钮的方式不够灵活，驾驶员一边开车一边按键存在安全隐患，并且人工对驾驶场景进行标定需要消耗大量的时间和人力，效率低下。
发明内容
本说明书实施例提供及一种驾驶场景中的对象标注方法、装置及存储介质。
第一方面，本说明书实施例提供一种驾驶场景中的对象标注方法，该方法包括：
在目标车辆位于驾驶场景中时，获取所述目标车辆采集到的目标信息，所述目标信息为用于触发对所述驾驶场景进行信息采集的信息；
基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式；
通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集；
在所述处理结果表明需要对所述驾驶场景进行信息采集时，基于所述驾驶场景中的二维码，对所述驾驶场景中的对象进行标注。
可选地，所述目标信息包括以下信息中的一种或多种：所述驾驶场景中的静态二维码、所述目标车辆的位置信息、手势信息、语音信息。
可选地，所述目标信息为所述静态二维码，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：
基于信息与信息处理方式的预设对应关系，确定与所述静态二维码对应的二维码处理方式作为所述目标处理方式；
所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：
提取所述静态二维码中的场景信息；
确定所述场景信息是否与预设的场景信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
可选地，所述目标信息为所述目标车辆的位置信息，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：
基于信息与信息处理方式的预设对应关系，确定与所述目标车辆的位置信息对应的位置信息处理方式作为所述目标处理方式；
所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：
确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
可选地，在所述确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配之前，所述方法还包括：
获取所述驾驶场景中的静态二维码的图像信息；
基于所述图像信息，确定所述静态二维码的图像尺寸；
基于所述图像尺寸，以及所述静态二维码的实际尺寸，确定所述目标车辆与所述静态二维码之间的目标距离；
基于所述目标距离对所述目标车辆的位置信息进行修正，得到修正后的位置信息；
所述确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，包括：确定所述修正后的位置信息是否与预设的电子围栏坐标信息相匹配。
可选地，所述基于所述驾驶场景中的二维码，对所述驾驶场景中的对象进行标注，包括：
获取所述驾驶场景中静态对象的静态二维码，并基于所述静态二维码对所述静态对象进行标注；和/或
获取所述驾驶场景中动态对象的动态二维码，并基于所述动态二维码对所述驾驶场景中的动态对象进行标注。
可选地，所述基于所述动态二维码对所述驾驶场景中的动态对象进行标注，包括：
获取所述目标车辆采集到的所述动态二维码的图像尺寸信息以及所述动态二维码的实际尺寸信息；
获取所述目标车辆的位置信息以及所述动态对象的位置信息；
基于所述动态二维码的图像尺寸信息，以及所述动态二维码的实际尺寸信息，得到所述目标车辆与所述动态对象之间的相对位置信息，并对所述相对位置信息进行标注。
第二方面，本说明书实施例提供一种驾驶场景中的对象标注装置，该装置包括：
获取模块，用于在目标车辆位于驾驶场景中时，获取所述目标车辆采集到的目标信息，所述目标信息为用于触发对所述驾驶场景进行信息采集的信息；
处理方式确定模块，用于基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式；
处理模块，用于通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集；
标注模块，用于在所述处理结果表明需要对所述驾驶场景进行信息采集时，基于所述驾驶场景中的二维码，对所述驾驶场景中的对象进行标注。
可选地，所述目标信息包括以下信息中的一种或多种：所述驾驶场景中的静态二维码、所述目标车辆的位置信息、手势信息、语音信息。
可选地，所述目标信息为所述静态二维码，所述处理方式确定模块，用于：
基于信息与信息处理方式的预设对应关系，确定与所述静态二维码对应的二维码处理方式作为所述目标处理方式；
所述处理模块，用于：
提取所述静态二维码中的场景信息；
确定所述场景信息是否与预设的场景信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
可选地，所述目标信息为所述目标车辆的位置信息，所述处理方式确定模块，用于：
基于信息与信息处理方式的预设对应关系，确定与所述目标车辆的位置信息对应的位置信息处理方式作为所述目标处理方式；
所述处理模块，用于：
确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
可选地，所述装置还包括：
图像信息获取模块，用于获取所述驾驶场景中的静态二维码的图像信息；
第一尺寸确定模块，用于基于所述图像信息，确定所述静态二维码的图像尺寸；
第二尺寸确定模块，用于基于所述图像尺寸，以及所述静态二维码的实际尺寸，确定所述目标车辆与所述静态二维码之间的目标距离；
位置修正模块，用于基于所述目标距离对所述目标车辆的位置信息进行修正，得到修正后的位置信息；
所述处理模块，用于：确定所述修正后的位置信息是否与预设的电子围栏坐标信息相匹配。
可选地，所述标注模块，用于：
获取所述驾驶场景中静态对象的静态二维码，并基于所述静态二维码对所述静态对象进行标注；和/或
获取所述驾驶场景中动态对象的动态二维码，并基于所述动态二维码对所述驾驶场景中的动态对象进行标注。
可选地，所述标注模块，用于：
获取所述目标车辆采集到的所述动态二维码的图像尺寸信息以及所述动态二维码的实际尺寸信息；
获取所述目标车辆的位置信息以及所述动态对象的位置信息；
基于所述动态二维码的图像尺寸信息，以及所述动态二维码的实际尺寸信息，得到所述目标车辆与所述动态对象之间的相对位置信息，并对所述相对位置信息进行标注。
第三方面，本说明书实施例提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述任一项所述方法的步骤。
第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
本说明书实施例有益效果如下：
本说明书实施例中，在目标车辆位于驾驶场景中时，获取目标车辆采集到的目标信息，该目标信息用于触发对驾驶场景进行信息采集，基于信息与信息处理方式的预设对应关系，确定与目标信息对应的目标处理方式，通过目标处理方式对目标信息进行处理，得到处理结果，并通过处理结果确定是否对驾驶场景进行信息采集，在需要对驾驶场景进行信息采集时，对驾驶场景中的对象进行标注。上述方案中，通过采集目标信息来触发驾驶场景的信息采集，不需要采用按钮的方式来触发，提高了驾驶的安全性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本说明书实施例第一方面提供的一种驾驶场景中的对象标注方法的流程图；
图2为本说明书实施例提供的一种二维码处理方式的流程图示意图；
图3为本说明书实施例提供的一种驾驶场景的对象标注示意图；
图4为本说明书实施例第二方面提供的驾驶场景中的对象标注装置的示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。
第一方面，本说明书实施例提供一种驾驶场景中的对象标注方法，如图1所示，为本说明书实施例提供的驾驶场景中的对象标注方法的流程图，该方法包括以下步骤：
步骤S11：在目标车辆位于驾驶场景中时，获取所述目标车辆采集到的目标信息，所述目标信息为用于触发对所述驾驶场景进行信息采集的信息；
步骤S12：基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式；
步骤S13：通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集；
步骤S14：在所述处理结果表明需要对所述驾驶场景进行信息采集时，基于所述驾驶场景中的二维码，对所述驾驶场景中的对象进行标注。
在步骤S11中，目标车辆可以为行驶在驾驶场景中的任意车辆，目标车辆上可以安装中信息采集装置，用于采集目标信息以及对驾驶场景进行信息采集。信息采集装置可以是图像采集装置、语音采集装置等，图像采集装置可以采集驾驶场景中的图像信息，语音采集装置可以采集驾驶场景中的语音信息，当然，除了上述信息采集装置以外，信息采集装置还可以包括温度采集装置、湿度采集装置等，用来采集驾驶场景中的环境信息，这里不做限定。
本说明书实施例中，目标信息可以包括以下信息中的一种或多种：驾驶场景中的静态二维码、目标车辆的位置信息、手势信息、语音信息等。
其中，静态二维码可以是设置在驾驶场景中且位置固定的二维码，静态二维码中可以包含场景信息(如隧道、天桥、十字路口、路面积水、陡坡)、静态二维码所在位置的经纬度、静态二维码自身的尺寸信息(如静态二维码对应的实际图像的长度和宽度)。静态二维码可以通过图像采集装置来采集，即获取包含有静态二维码的图像信息。
目标车辆的位置信息可以是通过目标车辆上安装的GPS(Global PositioningSystem，全球定位系统)所采集到的目标车辆的经纬度信息。
手势信息可以是位于目标车辆内的驾驶员做出的手势，也可以是位于目标车辆外，距离目标车辆一定距离的测试人员做出的手势。手势信息可以通过图像采集装置来采集，即获取包含有手势的图像信息。语音信息可以是驾驶员输入的语音信息，通过语音采集装置进行采集。
在获取了目标信息之后，执行步骤S12，对不同类型的目标信息，确定与目标信息对应的目标处理方式，例如，在目标信息为语音信息时，采用语音识别模型对语音信息进行识别，在目标信息为手势信息时，采用图像识别来对手势信息进行识别等。应理解的是，信息与信息处理方式的预设对应关系可以根据实际需要进行设定，这里不做限定。在确定了目标处理方式之后，执行步骤S13，以对目标信息进行处理，并根据处理结果来确定是否启动对驾驶场景的信息采集。
本说明书实施例中，为了更好的理解对不同目标信息的处理方式，以目标信息分别为静态二维码、目标车辆的位置信息、手势信息以及语音信息这四种信息为例，来进行说明。
第一种，在目标信息为静态二维码时，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：基于信息与信息处理方式的预设对应关系，确定与所述静态二维码对应的二维码处理方式作为所述目标处理方式；所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：提取所述静态二维码中的场景信息；确定所述场景信息是否与预设的场景信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
在具体实施过程中，目标信息为静态二维码时，静态二维码对应的目标处理方式为二维码处理方式，具体来讲，二维码处理方式可以为解析二维码、得到二维码中包含的各项信息，进一步对各项信息进行处理。
如图2所示，为本说明书实施例提供的一种二维码处理方式的流程图，具体包括：对二维码进行定位；提取二维码的格式信息与版本号；将二维码对应的数字图像转化为矩阵；去除掩膜；去除二维码中的功能模块；读取数据位流；对数据位流进行译码，得到二维码的译码信息。
本说明书实施例中，静态二维码中包含有场景信息，如隧道场景、十字路口场景等，当然静态二维码还可以包含有其他信息，这里不做限定。通过上述二维码处理方式对静态二维码进行处理，得到译码信息中包含有场景信息，如对某个静态二维码进行处理得到的场景信息为隧道场景，将该场景信息与预设的场景信息进行匹配，如果预设的场景信息为隧道场景，则二者相匹配，可以开始采集当前的驾驶场景信息；如果预设的场景信息与提取出的场景信息不相同，即二者不匹配，则不执行驾驶场景的信息采集。
第二种，在目标信息为目标车辆的位置信息时，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：基于信息与信息处理方式的预设对应关系，确定与所述目标车辆的位置信息对应的位置信息处理方式作为所述目标处理方式；所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
在具体实施过程中，目标信息为目标车辆的位置信息时，位置信息对应的目标处理方式为位置信息处理方式。具体来讲，位置信息处理方式可以为预先设置好电子围栏的坐标信息，预设的电子围栏坐标信息可以是经纬度信息，目标车辆的位置信息可以根据目标车辆上安装的GPS实时获得，判断目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，例如，通过目标车辆的位置信息以及预设的电子围栏坐标信息，判断二者之间的距离是否满足预设距离，或者判断目标车辆的位置信息与预设的目标围栏坐标信息之间的误差是否满足预设范围等，若满足，则目标车辆的位置信息与预设的电子围栏坐标信息相匹配。进一步的，在目标车辆的位置信息与预设的电子围栏坐标信息匹配时，执行对驾驶场景的信息采集。
本说明书实施例中，为了使得获取的目标车辆的位置信息更加准确，可以利用驾驶场景中的静态二维码来对目标车辆的位置信息进行修正。对目标车辆的位置信息的修正方式可以通过以下步骤实现：获取所述驾驶场景中的静态二维码的图像信息；基于所述图像信息，确定所述静态二维码的图像尺寸；基于所述图像尺寸，以及所述静态二维码的实际尺寸，确定所述目标车辆与所述静态二维码之间的目标距离；基于所述目标距离对所述目标车辆的位置信息进行修正，得到修正后的位置信息；确定所述修正后的位置信息是否与预设的电子围栏坐标信息相匹配。
在具体实施过程中，可以通过安装在目标车辆上的摄像头获取驾驶场景中的静态二维码的图像信息，对图像信息进行图像处理，得到图像信息中的静态二维码的图像尺寸。静态二维码的实际尺寸可以是预设好的，或者实际尺寸作为一种数据融合在静态二维码中，通过解析静态二维码获取静态二维码的实际尺寸。进一步的，根据摄像头透视成像模型，对静态二维码的图像尺寸以及实际尺寸进行分析，得到拍摄静态二维码图像时，目标车辆距离静态二维码的距离，即目标距离。
在通过目标距离对目标车辆的位置信息进行修正时，可以获取静态二维码的位置信息，即静态二维码所在位置的经纬度，根据目标距离，推算出目标车辆当前的位置信息，作为修正后的位置信息，并判断修正后的位置信息是否与预设的电子围栏坐标信息相匹配。
第三种，在目标信息为所述手势信息时，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：基于信息与信息处理方式的预设对应关系，确定与所述手势信息对应的手势信息处理方式作为所述目标处理方式；所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：对所述手势信息进行手势识别，得到手势识别结果；在所述手势识别结果为预设手势识别结果时，触发对所述驾驶场景进行信息采集。
本说明书实施例中，可以通过手势来触发驾驶场景的信息采集，具体来讲，车辆上安装有图像采集装置，通过图像采集装置可以采集包含有用户做出的手势的图像信息，作为手势信息。进一步的，对采集到的图像进行手势识别，具体的识别方式可以根据实际需要进行选择，例如，通过卷积神经网络、KNN(K-Nearest Neighbor，K近邻算法)等方式来进行识别，这里不做限定。本说明书实施例中，可以预先设定好手势样本集合，如拳头、手掌等，不同的手势样本可以对应不同的指令，例如，在手势为拳头时，对应的指令为启动驾驶场景的信息采集，在手势为手掌时，对应的指令为关闭驾驶场景的信息采集等。
在进行手势识别时，可以基于手势样本集合，对采集到的包含有手势的图像进行分类，确定图像中的手势信息属于手势样本集合中的哪一个手势样本，将分类结果作为手势识别结果。本申请中的预设手势识别结果可以为用于启动驾驶场景信息采集的手势样本，若手势识别结果为预设手势识别结果时，则启动驾驶场景的信息采集。
第四种，在目标信息为所述语音信息时，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：基于信息与信息处理方式的预设对应关系，确定与所述语音信息对应的语音信息处理方式作为所述目标处理方式；所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：通过语音识别模型对所述语音信息进行语音识别，得到语音识别结果；在所述语音识别结果为预设语音识别结果时，触发对所述驾驶场景进行信息采集。
本说明书实施例中，语音信息可以是通过目标车辆上安装的语音采集装置获取的，语音信息对应的目标处理方式为语音信息处理方式。在具体实施过程中，语音信息处理方式可以为通过预先训练好的语音识别模型对语音信息进行识别。预设语音识别结果为预设好的语音信息，例如，预设语音识别结果可以为“启动驾驶场景信息采集”、“启动信息采集”等，如果语音识别结果为预设语音识别结果时，则触发对驾驶场景的信息采集。
当然，语音识别还可以通过其他方式实现，在一个实施例中，语音识别可以通过模板匹配的方式来实现，模板匹配可以通过特征提取、模板训练、模板分类、判断来实现。在特征提取过程中：将语音信号波形的k个样点的每一帧，构成k维空间中的一个矢量，然后对矢量进行量化，如采用无记忆的树形搜索的矢量量化，k为正整数。在模板训练过程中：将k维无限空间划分为M个区域边界，M为正整数，然后将输入矢量与这些边界进行比较，并被量化为距离最小的区域边界的中心矢量值；初始模板的生成可以是随机选取。在选定了失真测度和初始模板后，对初始模板进行迭代优化，直到系统性能满足要求或不再有明显的改进为止。在模板分类过程中：输入音频，将语音信号波形的k个样点的每一帧，构成k维空间中的一个矢量，然后对矢量进行量化，与模板进行失真测度。在判决过程中，通过失真测度，得出分类结果，将分类结果作为语音识别结果。
可见，上述四种方式，均可以实现非接触式触发驾驶场景的信息采集，驾驶员不需要采用按钮的形式触发，提升了驾驶员驾驶的安全性。自动触发，能够节约时间，提高了工作效率。
进一步的，通过步骤S14对驾驶场景中的各个对象进行标注。在驾驶场景中，存在的对象可以包括静态对象以及动态对象，静态对象为位置固定的对象，例如隧道、十字路口、道路、车道线、障碍物等，动态对象为位置会发生变化的对象，例如行驶的车辆等。因此，在对驾驶场景中的对象进行标注时，包括对静态对象和/或动态对象进行标注。
在具体实施过程中，可以通过以下方式来进行对象标注：获取所述驾驶场景中静态对象的静态二维码，并基于所述静态二维码对所述静态对象进行标注；和/或获取所述驾驶场景中动态对象的动态二维码，并基于所述动态二维码对所述驾驶场景中的动态对象进行标注。
本说明书实施例中，对静态对象的标注，可以包括标注静态对象对应的场景标签、车道线类型标签等。具体的，在驾驶场景中放置有静态二维码，静态二维码中包含有场景信息、车道线类型信息等，通过目标车辆上设置的图像采集装置获取静态二维码，并对静态二维码进行解析，提取静态二维码中包含的信息，获得静态对象的标签。例如，在隧道入口放置了静态二维码，目标车辆通过识别该静态二维码，能够获知当前进入隧道，且获知车道线类型。
另外，静态二维码还可以包含二维码所处位置的经纬度、以及二维码自身的尺寸信息，将这些信息与GPS信息融合，能够得到厘米级的车辆位置信息，将位置信息导入高精度地图中，也可以获得对应的位置标签信息。
本说明书实施例中，以动态对象为驾驶场景中的其他车辆为例，对动态对象的标注可以包括标注目标车辆与其他车辆之间的距离、目标车辆的速度与加速度、其他车辆的速度与加速度，目标车辆与其他车辆之间的相对速度、其他车辆的类型、其他车辆的标识等信息。
在具体实施过程中，可以通过以下方式进行标注：获取所述目标车辆采集到的所述动态二维码的图像尺寸信息以及所述动态二维码的实际尺寸信息；获取所述目标车辆的位置信息以及所述动态对象的位置信息；基于所述动态二维码的图像尺寸信息，以及所述动态二维码的实际尺寸信息，得到所述目标车辆与所述动态对象之间的相对位置信息，并对所述相对位置信息进行标注。
动态二维码可以设置在其他车辆的车身上，目标车辆上搭载的图像采集装置能够采集到其他车辆上的动态二维码的图像，并确定出动态二维码在图像中的图像尺寸信息，以及动态二维码的实际尺寸信息，通过透视成像模型，根据图像尺寸信息以及实际尺寸信息，确定出目标车辆与其他车辆之间的距离，作为相对位置信息，并进行标注。
另外，动态二维码中还可以包含有其他车辆的车辆类型以及车辆标识，目标车辆通过采集动态二维码并进行解析，得到其他车辆的车辆类型以及车辆标识，以对其他车辆进行对应的标注。同时，目标车辆还可以与其他车辆或者后台服务器进行通信，实时获取其他车辆的位置信息，以计算出其他车辆的运动信息，包括速度、加速度。目标车辆还可以通过实时采集到的自身位置信息，计算出目标车辆的运动信息，包括速度、加速度。当然，还可以得到其他车辆的绝对位置、绝对加速度、绝对速度，目标车辆与其他车辆之间的相对速度、相对加速度等。在得到上述动态对象的信息后，可以通过上述信息对动态对象进行标注。
为了更好的理解本说明书实施例提供的驾驶场景中的对象标注方法，请参考图3，为本说明书实施例提供的一种驾驶场景的对象标注示意图，图3所示，驾驶场景中存在触发驾驶场景信息采集的多种信息，如驾驶场景中放置二维码，包括动态二维码以及静态二维码，驾驶场景中存在手势信息，以及GPS。
进一步的，目标车辆，即本车中设置有摄像头以及GPS接收器，其他车辆中也设置有GPS接收器，本车中的GPS接收器用于GPS读取，获取GPS信息，包括本车的经纬度以及对应的标准时间，其他车辆中的GPS接收器用于其他车辆的GPS读取，获取其他车辆的GPS信息，包括其他车辆的经纬度以及对应的标准时间。
本车的摄像头用于手势识别以及二维码读取。一方面，通过手势识别，识别出手势含义，包括启动触发以及关闭触发，以手动触发采集系统启动或关闭来进行驾驶场景的信息采集。
另一方面，二维码中包含有多种信息，道路上的二维码包含有二维码的经纬度、二维码尺寸、道路信息，其他车辆上的二维码包含有二维码尺寸、车辆ID、车辆类型。根据道路上的二维码以及本车的GPS信息，进行死神位置估计，具体的：通过道路上的二维码中包含的二维码的经纬度以及二维码尺寸，进行二维码位置估计，通过本车的GPS信息进行GPS坐标转换，进一步的将二维码位置估计与转换后的坐标进行精确的位置融合，得到本车的经纬度，以及本车的速度，若本车的经纬度与设置GPS电子围栏相匹配，自动触发采集系统。另外，根据其他车辆上的二维码以及其他车辆的GPS信息，进行其他车辆位置估计，具体的：根据其他车辆上的二维码中的二维码尺寸，进行二维码位置估计，基于其他车辆的GPS信息进行GPS坐标转换，将二维码位置估计与转换后的坐标进行精确的位置融合，得到其他车辆的经纬度、相对于本车的距离/速度，其他车辆的运动方式(加速/减速/变道)。
将上述本车以及其他车辆通过采集以及计算得到的各种信息生成标签数据，标签数据包括但不限于：自车速度、车道线类型、车道线质量、时间、其他车辆数量、其他车辆类型、其他车辆运动情况、其他车辆位置，同时将标签数据进行存储，另外，将采集系统所采集到的驾驶场景数据，如采集到的驾驶场景视频也进行存储。通过标签数据可以对驾驶场景中的各个对象进行打标。
第二方面，基于同一发明构思，本说明书实施例提供一种驾驶场景中的对象标注装置，请参考图4，包括：
获取模块41，用于在目标车辆位于驾驶场景中时，获取所述目标车辆采集到的目标信息，所述目标信息为用于触发对所述驾驶场景进行信息采集的信息；
处理方式确定模块42，用于基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式；
处理模块43，用于通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集；
标注模块44，用于在所述处理结果表明需要对所述驾驶场景进行信息采集时，对所述驾驶场景中的对象进行标注。
可选地，所述目标信息包括以下信息中的一种或多种：所述驾驶场景中的静态二维码、所述目标车辆的位置信息、手势信息、语音信息。
可选地，所述目标信息为所述静态二维码，所述处理方式确定模块，用于：
基于信息与信息处理方式的预设对应关系，确定与所述静态二维码对应的二维码处理方式作为所述目标处理方式；
所述处理模块，用于：
提取所述静态二维码中的场景信息；
确定所述场景信息是否与预设的场景信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
可选地，所述目标信息为所述目标车辆的位置信息，所述处理方式确定模块，用于：
基于信息与信息处理方式的预设对应关系，确定与所述目标车辆的位置信息对应的位置信息处理方式作为所述目标处理方式；
所述处理模块，用于：
确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
可选地，所述装置还包括：
图像信息获取模块，用于获取所述驾驶场景中的静态二维码的图像信息；
第一尺寸确定模块，用于基于所述图像信息，确定所述静态二维码的图像尺寸；
第二尺寸确定模块，用于基于所述图像尺寸，以及所述静态二维码的实际尺寸，确定所述目标车辆与所述静态二维码之间的目标距离；
位置修正模块，用于基于所述目标距离对所述目标车辆的位置信息进行修正，得到修正后的位置信息；
所述处理模块，用于：确定所述修正后的位置信息是否与预设的电子围栏坐标信息相匹配。
可选地，所述标注模块，用于：
获取所述驾驶场景中静态对象的静态二维码，并基于所述静态二维码对所述静态对象进行标注；和/或
获取所述驾驶场景中动态对象的动态二维码，并基于所述动态二维码对所述驾驶场景中的动态对象进行标注。
可选地，所述标注模块，用于：
获取所述目标车辆采集到的所述动态二维码的图像尺寸信息以及所述动态二维码的实际尺寸信息；
获取所述目标车辆的位置信息以及所述动态对象的位置信息；
基于所述动态二维码的图像尺寸信息，以及所述动态二维码的实际尺寸信息，得到所述目标车辆与所述动态对象之间的相对位置信息，并对所述相对位置信息进行标注。
关于上述装置，其中各个模块的具体功能已经在本说明书实施例提供的驾驶场景中的对象标注方法的实施例中进行了详细描述，此处将不做详细阐述说明。
第三方面，基于与前述实施例中驾驶场景中的对象标注方法同样的发明构思，本说明书实施例还提供一种驾驶场景中的对象标注装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文所述驾驶场景中的对象标注方法的任一方法的步骤。
第四方面，基于与前述实施例中驾驶场景中的对象标注方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述驾驶场景中的对象标注方法的任一方法的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (10)

1.一种驾驶场景中的对象标注方法，其特征在于，所述方法包括：
在目标车辆位于驾驶场景中时，获取所述目标车辆采集到的目标信息，所述目标信息为用于触发对所述驾驶场景进行信息采集的信息；
基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式；
通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集；
在所述处理结果表明需要对所述驾驶场景进行信息采集时，基于所述驾驶场景中的二维码，对所述驾驶场景中的对象进行标注。
2.根据权利要求1所述的方法，其特征在于，所述目标信息包括以下信息中的一种或多种：所述驾驶场景中的静态二维码、所述目标车辆的位置信息、手势信息、语音信息。
3.根据权利要求2所述的方法，其特征在于，所述目标信息为所述静态二维码，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：
基于信息与信息处理方式的预设对应关系，确定与所述静态二维码对应的二维码处理方式作为所述目标处理方式；
所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：
提取所述静态二维码中的场景信息；
确定所述场景信息是否与预设的场景信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
4.根据权利要求2所述的方法，其特征在于，所述目标信息为所述目标车辆的位置信息，所述基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式，包括：
基于信息与信息处理方式的预设对应关系，确定与所述目标车辆的位置信息对应的位置信息处理方式作为所述目标处理方式；
所述通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集，包括：
确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，若是，则触发对所述驾驶场景进行信息采集。
5.根据权利要求4所述的方法，其特征在于，在所述确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配之前，所述方法还包括：
获取所述驾驶场景中的静态二维码的图像信息；
基于所述图像信息，确定所述静态二维码的图像尺寸；
基于所述图像尺寸，以及所述静态二维码的实际尺寸，确定所述目标车辆与所述静态二维码之间的目标距离；
基于所述目标距离对所述目标车辆的位置信息进行修正，得到修正后的位置信息；
所述确定所述目标车辆的位置信息是否与预设的电子围栏坐标信息相匹配，包括：确定所述修正后的位置信息是否与预设的电子围栏坐标信息相匹配。
6.根据权利要求1所述的方法，其特征在于，所述基于所述驾驶场景中的二维码，对所述驾驶场景中的对象进行标注，包括：
获取所述驾驶场景中静态对象的静态二维码，并基于所述静态二维码对所述静态对象进行标注；和/或
获取所述驾驶场景中动态对象的动态二维码，并基于所述动态二维码对所述驾驶场景中的动态对象进行标注。
7.根据权利要求6所述的方法，其特征在于，所述基于所述动态二维码对所述驾驶场景中的动态对象进行标注，包括：
获取所述目标车辆采集到的所述动态二维码的图像尺寸信息以及所述动态二维码的实际尺寸信息；
获取所述目标车辆的位置信息以及所述动态对象的位置信息；
基于所述动态二维码的图像尺寸信息，以及所述动态二维码的实际尺寸信息，得到所述目标车辆与所述动态对象之间的相对位置信息，并对所述相对位置信息进行标注。
8.一种驾驶场景中的对象标注装置，其特征在于，所述装置包括：
获取模块，用于在目标车辆位于驾驶场景中时，获取所述目标车辆采集到的目标信息，所述目标信息为用于触发对所述驾驶场景进行信息采集的信息；
处理方式确定模块，用于基于信息与信息处理方式的预设对应关系，确定与所述目标信息对应的目标处理方式；
处理模块，用于通过所述目标处理方式对所述目标信息进行处理，得到处理结果，并通过所述处理结果确定是否对所述驾驶场景进行信息采集；
标注模块，用于在所述处理结果表明需要对所述驾驶场景进行信息采集时，对所述驾驶场景中的对象进行标注。
9.一种驾驶场景中的对象标注装置，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202010848831.XA 2020-08-21 2020-08-21 驾驶场景中的对象标注方法、装置及存储介质 Active CN112115798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010848831.XA CN112115798B (zh) 2020-08-21 2020-08-21 驾驶场景中的对象标注方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010848831.XA CN112115798B (zh) 2020-08-21 2020-08-21 驾驶场景中的对象标注方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112115798A true CN112115798A (zh) 2020-12-22
CN112115798B CN112115798B (zh) 2023-04-07

Family

ID=73805288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010848831.XA Active CN112115798B (zh) 2020-08-21 2020-08-21 驾驶场景中的对象标注方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112115798B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339691A (zh) * 2016-09-07 2017-01-18 四川天辰智创科技有限公司 对物体进行标注的方法及装置
CN106347359A (zh) * 2016-09-14 2017-01-25 北京百度网讯科技有限公司 用于操作自动驾驶车辆的方法和装置
CN109949439A (zh) * 2019-04-01 2019-06-28 星觅(上海)科技有限公司 行车实景信息标注方法、装置、电子设备和介质
US20190347489A1 (en) * 2018-05-14 2019-11-14 Fujitsu Limited Efficient distribution of data collected from information collection devices
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111428571A (zh) * 2020-02-28 2020-07-17 宁波吉利汽车研究开发有限公司 一种车辆引导方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339691A (zh) * 2016-09-07 2017-01-18 四川天辰智创科技有限公司 对物体进行标注的方法及装置
CN106347359A (zh) * 2016-09-14 2017-01-25 北京百度网讯科技有限公司 用于操作自动驾驶车辆的方法和装置
US20190347489A1 (en) * 2018-05-14 2019-11-14 Fujitsu Limited Efficient distribution of data collected from information collection devices
CN109949439A (zh) * 2019-04-01 2019-06-28 星觅(上海)科技有限公司 行车实景信息标注方法、装置、电子设备和介质
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111428571A (zh) * 2020-02-28 2020-07-17 宁波吉利汽车研究开发有限公司 一种车辆引导方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI WANG等: "A joint convolutional neural networks and context transfer for street scenes labeling", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
杨军 等: "采用深度级联卷积神经网络的三维点云识别与分割", 《光学精密工程》 *

Also Published As

Publication number Publication date
CN112115798B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP7190842B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与系统
CN110728650B (zh) 一种基于智能终端的井盖凹陷检测方法及相关设备
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN112949366B (zh) 障碍物识别方法和装置
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN111866728B (zh) 多站点路基网络感知方法、装置、终端和系统
CN111723724B (zh) 一种路面障碍物识别方法和相关装置
CN112990293A (zh) 一种点云标注方法、装置和电子设备
KR20170083662A (ko) 센서 오차에 강건한 지도 작성 장치
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
JP2019220084A (ja) 解析装置、車載器、及びパターン解析補助装置
CN112115798B (zh) 驾驶场景中的对象标注方法、装置及存储介质
CN113240750A (zh) 三维空间信息测算方法及装置
CN116413740B (zh) 一种激光雷达点云地面检测方法及装置
JP6916975B2 (ja) 標識位置特定システム及びプログラム
CN117079238A (zh) 道路边沿检测方法、装置、设备及存储介质
CN112950922A (zh) 一种共享电动车的定点还车方法
CN114332435A (zh) 一种基于三维重建的图像标注方法及装置
CN111126336B (zh) 样本采集方法、装置及设备
CN116182831A (zh) 车辆定位方法、装置、设备、介质及车辆
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant