CN109074742B - 周边认知装置、周边认知方法和计算机可读取的记录介质 - Google Patents

周边认知装置、周边认知方法和计算机可读取的记录介质 Download PDF

Info

Publication number
CN109074742B
CN109074742B CN201680084618.8A CN201680084618A CN109074742B CN 109074742 B CN109074742 B CN 109074742B CN 201680084618 A CN201680084618 A CN 201680084618A CN 109074742 B CN109074742 B CN 109074742B
Authority
CN
China
Prior art keywords
allocation
peripheral
moving
control unit
allocation rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680084618.8A
Other languages
English (en)
Other versions
CN109074742A (zh
Inventor
春日隆文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109074742A publication Critical patent/CN109074742A/zh
Application granted granted Critical
Publication of CN109074742B publication Critical patent/CN109074742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

控制部(21)根据移动体(100)行驶的道路的类别、移动体(100)的举动、从移动体(100)观察到的视野这样的移动体(100)的移动环境决定运算资源的分配率，该运算资源分别分配给对从观测移动体(100)的周边的多个传感器输出的传感器数据进行解析的多个传感处理。检测部(22)针对对应的传感处理使用根据由控制部(21)决定的分配率而确定的分配量的运算资源，检测移动体(100)的周边的物体。

Description

周边认知装置、周边认知方法和计算机可读取的记录介质
技术领域
本发明涉及对存在于移动体周边的物体进行认知的技术。
背景技术
以驾驶员的驾驶支持和预防安全为目的，车道偏离警报系统(LDW)、步行者检测系统(PD)、自适应巡航控制系统(ACC)这样的先进驾驶辅助系统已经开发或产品化。并且，开发了代替驾驶员进行目的地为止的一部分或全部驾驶的自动驾驶系统。
根据由传感器等认知到的车辆周边的状况来实现先进驾驶辅助系统和自动驾驶系统。因此，为了提高先进驾驶辅助系统和自动驾驶系统的精度，需要准确认知车辆周边的状况。
一般而言，在对传感器输出的传感器数据进行解析的传感处理(sensing)中，提高检测精度所需要的运算资源较多。提高检测精度是指缩短传感处理周期、扩大传感处理范围、细化检测分辨率。
特别是在先进驾驶辅助系统和自动驾驶系统中，需要同时对多个传感器数据进行传感处理，因此，存在运算资源不足这样的课题。
在专利文献1中记载了根据车辆的行驶状态和车辆的驾驶员的状态中的任意一方，设定监视车辆周边的不同区域的多个传感器的优先顺位，根据优先顺位对传感器的动作和传感器输出的信息的处理中的任意一方进行控制。由此，在专利文献1中，在使用多个传感器的情况下，降低CPU(Central Processing Unit)或车载LAN的负荷，并且认知车辆周边。
现有技术文献
专利文献
专利文献1：国际公开第2010/140239号小册子
发明内容
发明要解决的课题
但是，在专利文献1的技术中，在优先顺位较高的传感处理中使用较多的运算资源，对优先级较低的传感处理分配的运算资源不足。其结果，可能无法认知本来应该认知的物体。
本发明的目的在于，在可使用的运算资源内适当认知移动体周边的物体。
用于解决课题的手段
本发明的周边认知装置具有：控制部，其根据移动体的移动环境决定运算资源的分配率，该运算资源分别被分配给对从观测所述移动体的周边的多个传感器输出的传感器数据进行解析的多个传感处理；以及检测部，其针对对应的传感处理使用根据由所述控制部决定的分配率而确定的分配量的运算资源，检测所述移动体的周边的物体。
发明效果
本发明根据移动体的移动环境决定针对各传感处理的运算资源的分配率，使用根据所决定的分配率而确定的分配量的运算资源检测物体。由此，能够在可使用的运算资源内适当认知移动体周边的物体。
附图说明
图1是实施方式1的周边认知装置10的结构图。
图2是实施方式1的周边认知装置10的基本动作的流程图。
图3是实施方式1的资源控制处理的流程图。
图4是实施方式1的传感处理区域的说明图。
图5是按照实施方式1的传感处理的每个精度示出所需要的运算资源的分配率的分配率表411。
图6是示出与实施方式1的行驶环境对应的运算资源的分配的分配表412。
图7是实施方式2的资源控制处理的流程图。
图8是实施方式2的危险度分布的说明图。
图9是实施方式2的危险度分布的说明图。
图10是实施方式3的周边认知装置10的结构图。
图11是实施方式3的资源控制处理的流程图。
图12是按照实施方式3的传感处理的每个精度示出所需要的运算资源的分配率的分配率表411。
图13是实施方式3的电路数据43的说明图。
具体实施方式
实施方式1
***结构的说明***
参照图1对实施方式1的周边认知装置10的结构进行说明。
在图1中，示出周边认知装置10搭载于移动体100上的状态。移动体100是车辆、船舶、步行者。在实施方式1中，移动体100是车辆。
另外，周边认知装置10与移动体100或未图示的其他结构要素可以以一体化的形式或不可分离的形式进行安装，或者，也可以以能够取下的形式或能够分离的形式进行安装。
周边认知装置10是搭载于移动体100上的计算机。
周边认知装置10具有处理器11、存储器12、传感器接口13、通信接口14这样的硬件。处理器11经由系统总线而与其他硬件连接，对这些其他硬件进行控制。
处理器11是进行处理的IC(Integrated Circuit)。作为具体例，处理器11是CPU、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)。
在图1中仅示出一个处理器11。但是，处理器11也可以是多个，多个处理器11可以协作执行实现各功能的程序。在实施方式1中，处理器11具有CPU、DSP、GPU，它们协作执行实现各功能的程序。
CPU是进行程序的执行、数据运算这样的处理的处理器。
DSP是专用于算术运算、数据移动这样的数字信号处理的处理器。例如，关于从声纳得到的传感器数据的传感处理这样的数字信号的处理，优选不利用CPU进行处理，而利用DSP高速进行处理。
GPU是专用于图像的处理的处理器，是通过并行处理多个像素数据来实现高速处理、并且能够高速进行模板匹配这样的图像处理中频繁使用的处理的处理器。例如，当利用CPU对从照相机得到的传感器数据的传感处理进行处理时，处理时间庞大，因此，优选利用GPU进行处理。
存储器12由在周边认知装置10的电源断开的期间内也能够持续保持执行程序和数据的非易失性存储器、以及在周边认知装置10的动作时能够高速移动数据的易失性存储器构成。作为具体例，非易失性存储器是HDD(Hard Disk Drive)、SSD(Solid StateDrive)、闪存。作为具体例，易失性存储器是DDR2-SDRAM(Double-Data-Rate2 SynchronousDynamic Random Access Memory)、DDR3-SDRAM(Double-Data-Rate3 SynchronousDynamic Random Access Memory)。非易失性存储器也可以是SD(Secure Digital)存储卡、CF(CompactFlash)、NAND闪存、软盘、光盘、高密度盘、蓝光(注册商标)盘、DVD这样的移动存储介质。
存储器12经由存储器接口而与处理器11连接。存储器接口是以一维方式管理来自处理器11的存储器访问、并进行高效的存储器访问控制的装置。存储器接口利用于后述功能结构要素之间的数据转送以及对存储器12写入传感器数据这样的处理。
传感器接口13是用于连接搭载于移动体100上的传感器31的装置。作为具体例，传感器接口13是与以太网(注册商标)、I Square C(I2C)、串行外设接口(SPI)、影像信号、Controller Area Network(CAN)等通信标准对应的接口的端子。
在移动体100中搭载有对移动体100的周边进行观测的多个传感器31。作为具体例，传感器31是照相机、声纳、激光传感器、GPS(Global Positioning System)传感器。根据所需要的物体的检测精度和成本决定传感器31的种类和数量。
通信接口14是用于连接搭载于移动体100上的ECU32(Electronic Control Unit)的装置。作为具体例，通信接口14是Ethernet、CAN(Controller Area Network)、RS232C、USB、IEEE1394的端子。
ECU32是取得表示移动体100的速度的车速信息、转向角信息、表示移动体100的周边的温度的温度信息的装置。
作为功能结构要素，周边认知装置10具有控制部21和检测部22。检测部22具有传感部23、统合部24、位置确定部25、认知信息生成部26。控制部21、检测部22、传感部23、统合部24、位置确定部25、认知信息生成部26的各部的功能通过软件实现。
在存储器12中存储有实现各部的功能的程序。该程序通过处理器11读入并执行。
并且，在存储器12中存储有资源信息41和地图数据42。资源信息41具有按照传感处理的每个精度示出所需要的运算资源的分配率的分配率表411、以及示出与行驶环境对应的运算资源的分配的分配表412。地图数据42由静态地图数据和动态地图数据构成。静态地图数据表示道路的车道数、车道宽度、形状、倾斜、标识、信号灯等。动态地图数据表示拥堵信息、规则信息、交通事故信息、道路施工信息等动态变化的状况。
表示周边认知装置10的各部的功能的处理结果的信息、数据、信号值和变量值存储在存储器12或处理器11内的寄存器或高速缓冲存储器中。在以下的说明中，设表示周边认知装置10的各部的功能的处理结果的信息、数据、信号值和变量值存储在存储器12中。
并且，周边认知装置10与搭载于移动体100上的预测装置33连接。预测装置33是根据由周边认知装置10认知到的信息估计危险度分布和周边状况、并根据所估计出的危险度分布和周边状况决定移动体100的行驶内容的装置。而且，预测装置33是根据所决定的行驶内容对移动体100进行操作的装置。
危险度分布表示将移动体100的位置作为原点、在哪个位置存在哪种程度的危险。周边状况表示位于移动体100周围的物体的行动、移动、加减速等。行驶内容表示行驶的路径、车道、车道变更位置等。
***动作的说明***
参照图2～图6对实施方式1的周边认知装置10的动作进行说明。
实施方式1的周边认知装置10的动作相当于实施方式1的周边认知方法。并且，实施方式1的周边认知装置10的动作相当于实施方式1的周边认知程序的处理。
参照图2对实施方式1的周边认知装置10的基本动作进行说明。
(步骤S11：资源控制处理)
控制部21决定运算资源的分配率，该运算资源分别被分配给对从观测移动体的周边的多个传感器输出的传感器数据进行解析的多个传感处理。
在实施方式1中，运算资源是处理器11和存储器12。因此，运算资源的分配率表示处理器11和存储器12的被分配的量相对于可使用的量的比例。
(步骤S12：传感处理)
传感部23针对对应的传感处理，使用根据步骤S11中决定的分配率而确定的分配量的运算资源，对从传感器31输出的传感器数据进行传感处理，检测位于监视区域中的障碍物和标识这样的物体。传感部23生成表示检测到的物体的传感处理信息。
作为具体例，传感部23对图像数据进行解析，检测图像数据中示出的物体，其中，该图像数据是从对移动体100的前方进行拍摄的2台前方照相机输出的传感器数据。并且，传感部23根据从2台前方照相机分别输出的图像数据，通过立体法确定与检测到的物体之间的距离。然后，传感部23生成表示检测到的物体以及与所确定的物体之间的距离的传感处理信息。
(步骤S13：统合处理)
统合部24对步骤S12中生成的传感处理信息进行统合，生成信息量较多、且精度较高的统合信息。
作为具体例，设为在步骤S12中对从2台前方照相机输出的图像数据进行传感处理的结果是，确定了在前方10米左右存在人。并且，设为在步骤S12中对从激光传感器输出的传感器数据进行传感处理的结果是，确定了在前方10.2米存在障碍物。该情况下，统合部24对两个传感处理信息进行统合，生成在前方10.2米存在人这样的统合信息。
(步骤S14：位置确定处理)
位置确定部25根据经由通信接口14从ECU32取得的与移动体100有关的各种信息、步骤S12中生成的传感处理信息、存储器12中存储的地图数据42，确定移动体100的位置和姿态。
作为具体例，位置确定部25根据传感处理信息所表示的位置和该位置的地图数据42，确定正在单侧3车道的道路中的最中央的车道中行驶。并且，位置确定部25根据从ECU32取得的信息中包含的转向角信息，确定移动体100向右倾斜2度。
(步骤S15：认知信息生成处理)
认知信息生成部26根据步骤S13中生成的统合信息、步骤S14中确定的位置和姿态，生成将障碍物、标识、信号灯这样的物体的位置、属性、大小映射于移动体100的周边的三维空间的认知信息。
作为具体例，属性是人、标识、信号灯、对向车、前方车等。另外，在信号灯这样的状态变化的物体的情况下，属性中也可以包含该物体的状态、即如果是信号灯则包含是哪个颜色。并且，作为具体例，三维空间是将移动体100所在的一点作为原点、设行进方向为X轴、设横向为Y轴、设上下方向为Z轴的三维空间。通过将由多个传感处理得到的信息映射到一个空间坐标系中，能够示出当从移动体100观察时，在哪个位置以什么样的状态存在什么样的物体。
将步骤S12～步骤S15的处理统称为检测处理。
然后，预测装置33根据步骤S15中生成的认知信息来估计危险度分布和周边状况，根据所估计出的危险度分布和周边状况决定移动体100的行驶内容。然后，预测装置33根据所决定的行驶内容对移动体100进行操作。
参照图3对实施方式1的步骤S11的资源控制处理进行说明。
(步骤S21：初始化处理)
周边认知装置10开始进行处理后，控制部21从资源信息41中读出分别被分配给多个传感处理的运算资源的分配率的初始值。然后，控制部21将所读出的初始值决定为运算资源的分配率。
在实施方式1中，如图4所示，说明将移动体100即车辆的周边分类为前后左右这4个区域、并利用一个传感器对各个区域进行传感处理的例子。在以下的说明中，将对前方进行传感处理的情况称为前方传感处理，将对左方进行传感处理的情况称为左方传感处理，将对右方进行传感处理的情况称为右方传感处理，将对后方进行传感处理的情况称为后方传感处理。如图5所示，控制部21从资源信息41所具有的分配率表411中，读出分别针对多个传感处理作为初始值而设定的精度的分配率。例如，针对前方传感处理、左方传感处理、右方传感处理、后方传感处理，分别读出分类为A的分配率。
于是，按照根据所决定的运算资源的分配率而确定的分配量，执行图2的步骤S12。与此相伴，还执行图2的步骤S13～步骤S15。
(步骤S22：分配率读出处理)
控制部21根据移动体100的移动环境决定运算资源的分配率。移动体100的移动环境表示移动体100行驶的道路的类别、移动体100的举动、从移动体100观察到的视野中的至少任意一方。
具体而言，如图6所示，控制部21从资源信息41所具有的分配表412中，读出与移动体100的移动环境即道路的类别、举动、视野对应的分别针对多个传感处理的分类。作为具体例，在移动体100在一般道路中直行、处于天气晴朗的白天因而视野良好的情况下，控制部21读出图6的处理分类1中的分别针对多个传感处理的分类。即，控制部21针对前方传感处理读出分类C，针对左方传感处理读出分类A，针对右方传感处理读出分类A，针对后方传感处理读出分类C。
在实施方式1中，移动体100的移动环境是根据以下内容而确定的：经由通信接口14从ECU32取得的车速信息、转向角信息、温度信息这样的与移动体100和移动体100的周边环境有关的各种信息；步骤S14中由位置确定部25确定的移动体100的位置和姿态；步骤S15中由认知信息生成部26生成的认知信息；以及由预测装置33决定的周边状况。
例如，控制部21根据移动体100的位置确定移动体100行驶的道路的类别。此时，控制部21可以参照地图数据42确定道路的类别。并且，控制部21根据与移动体100和移动体100的周边环境有关的各种信息所表示的移动体100的速度和转向角、移动体100的位置和姿态、认知信息、周边状况来确定移动体100的举动。并且，控制部21根据与移动体100和移动体100的周边环境有关的各种信息所表示的温度等来确定视野。此时，控制部21也可以从外部的服务器等取得包含移动体100的位置的区域的气象信息，参照所取得的气象信息来确定视野。
(步骤S23：分配变更处理)
控制部21将分别被分配给多个传感处理的运算资源的分配率变更为步骤S22中决定的运算资源的分配率。
于是，根据变更后的运算资源的分配率执行图2的步骤S12。与此相伴，还执行图2的步骤S13～步骤S15。
(步骤S24：继续判定处理)
控制部21判定是否继续进行图2的步骤S12～步骤S15的检测处理。
控制部21在继续进行检测处理的情况下使处理进入步骤S25，在不继续进行检测处理的情况下结束处理。
(步骤S25：状况判定处理)
控制部21判定行驶环境是否发生了变化。
控制部21在行驶环境发生了变化的情况下使处理返回步骤S22。控制部21在行驶环境没有变化的情况下使处理返回步骤S24。
***实施方式1的效果***
如上所述，实施方式1的周边认知装置10根据移动体100的移动环境决定分别被分配给多个传感处理的运算资源的分配率。由此，能够在可使用的运算资源内适当认知移动体周边的物体。
***其他结构***
<变形例1>
在图3的步骤S25中，也可以仅在行驶环境和危险度分布分别变化阈值以上的情况下判定为发生了变化，在微细变化的情况下判定为没有发生变化。由此，能够防止将微细变化视为存在变化，频繁产生运算资源的分配率的再次分配而成为效率较差的传感处理控制。
实施方式2
实施方式2与实施方式1的不同之处在于，还考虑危险度分布来决定运算资源的分配率。在实施方式2中，对该不同之处进行说明。
***动作的说明***
参照图7～图9对实施方式2的周边认知装置10的动作进行说明。
实施方式2的周边认知装置10的动作相当于实施方式2的周边认知方法。并且，实施方式2的周边认知装置10的动作相当于实施方式2的周边认知程序的处理。
参照图7对实施方式2的资源控制处理进行说明。
步骤S31～步骤S32的处理以及步骤S36的处理与图3的步骤S21～步骤S22以及步骤S24的处理相同。
(步骤S33：重要度判定处理)
控制部21根据由预测装置33估计出的移动体100的周边的危险度分布，判定分别与多个传感处理相关的重要度。控制部21针对危险度越高的区域的传感处理，判定为重要度越高。另外，危险度分布不限于从预测装置33取得，也可以从路侧设备这样的其他装置取得。
危险度分布表示将移动体100作为原点的三维空间坐标或二维空间坐标中、在哪个位置存在哪种程度的危险度。作为具体例，根据物体侵入到由预测装置33生成的行驶内容所表示的行驶的路径上的概率、碰撞时的冲击度，计算危险度。作为具体例，根据物体的类别、车速、重量等计算冲击度。
此时，控制部21也可以还考虑由预测装置33估计出的周边状况来判定重要度。周边状况表示位于移动体100周围的物体的行动、移动、加减速等。
作为具体例，在单侧2车道的道路中直行时的危险度分布如图8所示。在图8中，示出进入阴影的地点的危险度较高。在图8中，示出检测到的前方的行驶车、对向车和后方的摩托车等所在的地点作为危险度较高的地点。并且，作为其他具体例，在交叉路口右转时的危险度分布如图9所示。在图9中，也示出进入阴影的地点的危险度较高。在图9中，示出检测到的对向车和后续车所在的地点以及被检测到的对向车遮挡而看不到的地点作为危险度较高的地点。
(步骤S34：最优化处理)
控制部21根据步骤S32中决定的运算资源的分配率和步骤S33中判定出的重要度，对运算资源的分配率进行最优化。
具体而言，控制部21针对移动体100的周边的危险度分布所表示的危险度较高的区域的传感处理，提高步骤S32中决定(暂且决定)的运算资源的分配率，由此进行最优化并正式决定运算资源的分配率。
作为具体例，设为在步骤S32中读出图6的处理分类6的分类。该情况下，前方传感处理为分类I，使用可使用的运算资源中的26％。左方传感处理为分类I，使用可使用的运算资源中的18％。右方传感处理为分类I，使用可使用的运算资源中的18％。后方传感处理为分类I，使用可使用的运算资源中的22％。因此，各传感处理中使用的运算资源的合计成为可使用的运算资源中的84％。
设为步骤S33的结果判定为前方传感处理重要。该情况下，控制部21将针对前方传感处理的运算资源的分配率变更为比步骤S32中求出的分类I的精度更高的分类J、分类K、分类L中的任意一方的分配率。此时，控制部21在各传感处理中使用的运算资源的合计不超过100％的范围内选择精度最高的分类。这里，设为精度最高的分类L，合计成为92％，不会超过100％，因此，控制部21将针对前方传感处理的运算资源的分配率变更为分类L的分配率。
这里，重要度较高的传感处理仅为前方传感处理，但是，在判定为2个以上的传感处理的重要度较高的情况下，也可以进行如下控制：在可使用的运算资源内尽可能提高重要度最高的区域的传感处理精度，或者结合重要度取得平衡来提高精度。
并且，为了抑制消耗电力，控制部21也可以进行设为必要最低限度的精度的控制。即，在上述说明中，在各传感处理中使用的运算资源的合计不超过100％的范围内选择精度最高的分类，但是，控制部21也可以根据重要度的高低来选择必要最低限度的精度的分类。
(步骤S35：分配变更处理)
控制部21将分别被分配给多个传感处理的运算资源的分配率变更为步骤S35中正式决定的运算资源的分配率。
于是，按照根据变更后的运算资源的分配率而确定的分配量，执行图2的步骤S12。与此相伴，还执行图2的步骤S13～步骤S15。
(步骤S37：状况判定处理)
控制部21判定行驶环境和危险度分布中的至少任意一方是否发生了变化。
控制部21在仅行驶环境发生了变化的情况下、以及行驶环境和危险度分布双方发生了变化的情况下使处理返回步骤S32。控制部21在仅危险度分布发生了变化的情况下使处理返回步骤S33。控制部21在任意一方均没有变化的情况下使处理返回步骤S36。
***实施方式2的效果***
如上所述，实施方式2的周边认知装置10根据移动体的周边的危险度分布决定运算资源的分配率。由此，能够在可使用的运算资源内适当认知避免危险所需要的物体。
实施方式3
实施方式3与实施方式1、2的不同之处在于，周边认知装置10的各部的功能通过硬件实现。针对实施方式3，对该不同之处进行说明。
在实施方式3中，对与实施方式2的不同之处进行说明，但是，针对实施方式1，各部的功能也同样能够通过硬件实现。
***结构的说明***
参照图10对实施方式3的周边认知装置10的结构进行说明。
周边认知装置10代替处理器11而具有处理电路15。
处理电路15是实现周边认知装置10的各部的功能的电子电路。在图10中仅示出一个处理电路15。但是，处理电路15也可以是多个，多个处理电路15可以协作实现各功能。
在实施方式3中，处理电路15是FPGA(Field-Programmable Gate Array)。FPGA由多个逻辑块、多个运算器块、多个块RAM(SRAM、Static Random Access Memory)构成，是通过切换逻辑块的结构和连接各块的布线的路径而能够动态变更电路结构的LSI(Large-Scale Integration)。
在存储器12中还存储有电路数据43。电路数据43表示分别执行多个传感处理的电路结构。
在实施方式3中，运算资源是由FPGA实现的电路。因此，根据运算资源的分配率而确定的分配量表示电路的规模。电路数据43按照传感处理和电路规模的每个分类示出电路结构。
***动作的说明***
参照图11～图13对实施方式3的周边认知装置10的动作进行说明。
实施方式3的周边认知装置10的动作相当于实施方式3的周边认知方法。并且，实施方式3的周边认知装置10的动作相当于实施方式3的周边认知程序的处理。
参照图11对实施方式3的资源控制处理进行说明。
步骤S42～步骤S44的处理和步骤S47～步骤S48的处理与图7的步骤S32～步骤S34的处理和步骤S36～步骤S37的处理相同。
(步骤S41：初始化处理)
周边认知装置10开始进行处理后，与实施方式1同样，控制部21从资源信息41中读出分别被分配给多个传感处理的运算资源的分配率的初始值。控制部21将所读出的初始值决定为运算资源的分配率。然后，控制部21分别针对多个传感处理设定FPGA，以使得针对根据所决定的分配率确定的分配量所表示的电路规模，成为电路数据43所表示的电路结构。
具体而言，如图12所示，控制部21从资源信息41所具有的分配率表411中，读出分别针对多个传感处理作为初始值而设定的精度的分配率。例如，针对前方传感处理、左方传感处理、右方传感处理、后方传感处理，分别读出分类为A的分配率。如图13所示，控制部21根据电路数据43所表示的电路结构，分别针对前方传感处理、左方传感处理、右方传感处理、后方传感处理，读出与根据所读出的分配率而确定的分配量所表示的电路规模对应的结构信息。然后，控制部21分别针对多个传感处理设定FPGA，以使得成为所读出的结构信息所表示的电路结构。
于是，通过所设定的FPGA执行图2的步骤S12。与此相伴，还执行图2的步骤S13～步骤S15。
(步骤S45：变更判定处理)
控制部21分别针对多个传感处理，针对根据步骤S44中正式决定的运算资源的分配率而确定的分配量所表示的电路规模，计算在电路数据43所表示的电路结构中设定FPGA所需要的时间。然后，控制部21在计算出的时间比基准时间短的情况下，判定为变更运算资源的分配率，在计算出的时间比基准时间长的情况下，判定为不变更运算资源的分配率。
控制部21在变更运算资源的分配率的情况下使处理进入步骤S46，在不变更运算资源的分配率的情况下使处理进入步骤S47。
具体而言，控制部21从图12所示的资源信息41所具有的分配率表411中，读出分别针对多个传感处理决定的精度的更新时间。然后，控制部21对所读出的更新时间进行合计。例如，设前方传感处理变更为分类D，左方传感处理变更为分类F，右方传感处理变更为分类I，后方传感处理变更为分类E。该情况下，前方传感处理的更新时间为8[ms(毫秒)]，左方传感处理的更新时间为9[ms]，右方传感处理的更新时间为9[ms]，后方传感处理的更新时间为7[ms]。因此，更新时间的合计为33[ms]。
然后，控制部21在计算出的更新时间的合计比基准时间短的情况下，判定为变更运算资源的分配率，在计算出的更新时间的合计比基准时间长的情况下，判定为不变更运算资源的分配率。基准时间是按照每个移动环境而确定的。作为具体例，在正在一般道路中行驶、且非常晴朗时、没有障碍物的情况下，基准时间确定为40[ms]。
(步骤S46：分配变更处理)
控制部21将分别被分配给多个传感处理的运算资源的分配率变更为步骤S44中决定的运算资源的分配率。然后，控制部21分别针对多个传感处理设定FPGA，以使得针对根据变更后的分配率确定的分配量所表示的电路规模，成为电路数据43所表示的电路结构。
于是，通过所设定的FPGA执行图2的步骤S12。与此相伴，还执行图2的步骤S13～步骤S15。
***实施方式3的效果***
如上所述，实施方式3的周边认知装置10构成运算资源的分配率所表示的规模的电路来进行传感处理。由此，在通过电路实现传感处理的情况下，也能够在可使用的运算资源内适当认知必要物体。
在变更FPGA的电路结构时，还基于要变更的规模，但是，需要毫秒级的时间。但是，实施方式3的周边认知装置10在变更电路结构所需要的更新时间比按照每个移动环境确定的基准时间长的情况下，不进行电路结构的变更。由此，能够防止由于变更电路结构而延迟认知物体。
***其他结构***
<变形例2>
在实施方式3中，周边认知装置10的各部的功能通过硬件实现。但是，作为变形例2，也可以是周边认知装置10的一部分功能通过硬件实现，其他功能通过软件实现。该情况下，周边认知装置10具有处理器11和处理电路15双方。
另外，在以上的说明中，将处理器11、存储器12、处理电路15统称为“处理线路(Processing Circuitry)”。即，各部的功能通过处理线路实现。
标号说明
10：周边认知装置；11：处理器；12：存储器；13：传感器接口；14：通信接口；15：处理电路；21：控制部；22：检测部；23：传感部；24：统合部；25：位置确定部；26：认知信息生成部；31：传感器；32：ECU；33：预测装置；41：资源信息；42：地图数据；43：电路数据；100：移动体。

Claims (15)

1.一种周边认知装置，其具有：
控制部，其从分配表中读出与移动体的移动环境对应的分配率，从而根据所述移动体的移动环境和所述移动体的周边的危险度分布决定分别对多个传感处理分配的运算资源的分配率，其中，在该分配表中，在所述分配率的合计不超过100％的范围内根据移动环境而规定了运算资源的分配率，该运算资源分别被分配给对从观测所述移动体的周边的多个传感器输出的传感器数据进行解析的多个传感处理；以及
检测部，其针对对应的传感处理，使用根据可使用的运算资源的量和由所述控制部决定的分配率而确定的分配量的运算资源，检测所述移动体的周边的物体，
所述移动环境表示所述移动体行驶的道路的类别或从所述移动体观察到的视野。
2.根据权利要求1所述的周边认知装置，其中，
所述控制部根据所述移动环境暂且决定所述分配率，通过提高针对所述移动体的周边的危险度分布所表示的危险度高的区域的传感处理暂且决定的所述分配率，从而正式决定所述分配率。
3.根据权利要求1或2所述的周边认知装置，其中，
所述移动环境还表示所述移动体的举动。
4.根据权利要求1或2所述的周边认知装置，其中，
所述检测部的至少一部分功能由电路实现，
所述分配量表示所述电路的规模。
5.根据权利要求3所述的周边认知装置，其中，
所述检测部的至少一部分功能由电路实现，
所述分配量表示所述电路的规模。
6.根据权利要求4所述的周边认知装置，其中，
所述控制部以所述分配量所表示的规模构成分别执行所述多个传感处理的所述电路，
所述检测部使用所构成的所述电路检测所述移动体的周边的物体。
7.根据权利要求5所述的周边认知装置，其中，
所述控制部以所述分配量所表示的规模构成分别执行所述多个传感处理的所述电路，
所述检测部使用所构成的所述电路检测所述移动体的周边的物体。
8.根据权利要求1或2所述的周边认知装置，其中，
所述控制部在所述移动环境变化了阈值以上的情况下，重新决定所述分配率。
9.根据权利要求3所述的周边认知装置，其中，
所述控制部在所述移动环境变化了阈值以上的情况下，重新决定所述分配率。
10.根据权利要求4所述的周边认知装置，其中，
所述控制部在所述移动环境变化了阈值以上的情况下，重新决定所述分配率。
11.根据权利要求5所述的周边认知装置，其中，
所述控制部在所述移动环境变化了阈值以上的情况下，重新决定所述分配率。
12.根据权利要求6所述的周边认知装置，其中，
所述控制部在所述移动环境变化了阈值以上的情况下，重新决定所述分配率。
13.根据权利要求7所述的周边认知装置，其中，
所述控制部在所述移动环境变化了阈值以上的情况下，重新决定所述分配率。
14.一种周边认知方法，其中，
处理器从分配表中读出与移动体的移动环境对应的分配率，从而根据所述移动体的移动环境和所述移动体的周边的危险度分布决定分别对多个传感处理分配的运算资源的分配率，其中，在该分配表中，在所述分配率的合计不超过100％的范围内根据移动环境而规定了运算资源的分配率，该运算资源分别被分配给对从观测所述移动体的周边的多个传感器输出的传感器数据进行解析的多个传感处理，
处理器针对对应的传感处理，使用根据可使用的运算资源的量和所决定的分配率而确定的分配量的运算资源，检测所述移动体的周边的物体，
其中，所述移动环境表示所述移动体行驶的道路的类别或从所述移动体观察到的视野。
15.一种记录了周边认知程序的计算机可读取的记录介质，该周边认知程序使计算机执行以下处理：
控制处理，从分配表中读出与移动体的移动环境对应的分配率，从而根据所述移动体的移动环境和所述移动体的周边的危险度分布决定分别对多个传感处理分配的运算资源的分配率，其中，在该分配表中，在所述分配率的合计不超过100％的范围内根据移动环境而决定了运算资源的分配率，该运算资源分别被分配给对从观测所述移动体的周边的多个传感器输出的传感器数据进行解析的多个传感处理；以及
检测处理，针对对应的传感处理，使用根据可使用的运算资源的量和通过所述控制处理决定的分配率而确定的分配量的运算资源，检测所述移动体的周边的物体，
其中，所述移动环境表示所述移动体行驶的道路的类别或从所述移动体观察到的视野。
CN201680084618.8A 2016-04-20 2016-04-20 周边认知装置、周边认知方法和计算机可读取的记录介质 Active CN109074742B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062558 WO2017183141A1 (ja) 2016-04-20 2016-04-20 周辺認知装置、周辺認知方法及び周辺認知プログラム

Publications (2)

Publication Number Publication Date
CN109074742A CN109074742A (zh) 2018-12-21
CN109074742B true CN109074742B (zh) 2022-05-13

Family

ID=60116644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084618.8A Active CN109074742B (zh) 2016-04-20 2016-04-20 周边认知装置、周边认知方法和计算机可读取的记录介质

Country Status (5)

Country Link
US (1) US11003922B2 (zh)
JP (1) JP6223607B1 (zh)
CN (1) CN109074742B (zh)
DE (1) DE112016006616T5 (zh)
WO (1) WO2017183141A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018043540A1 (ja) * 2016-08-31 2019-06-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
JP6652477B2 (ja) * 2016-10-03 2020-02-26 日立オートモティブシステムズ株式会社 車載処理装置
CN109885392B (zh) * 2019-01-03 2021-04-13 北京百度网讯科技有限公司 分配车载计算资源的方法以及装置
JP2020181105A (ja) * 2019-04-25 2020-11-05 キヤノン株式会社 投影装置およびその制御方法
US20200361452A1 (en) * 2019-05-13 2020-11-19 Toyota Research Institute, Inc. Vehicles and methods for performing tasks based on confidence in accuracy of module output
CN112257486B (zh) * 2019-12-23 2023-12-29 北京国家新能源汽车技术创新中心有限公司 算力分配方法、装置、计算机设备和存储介质
WO2022139843A1 (en) * 2020-12-24 2022-06-30 Intel Corporation Radar apparatus, system, and method
WO2023281784A1 (ja) * 2021-07-05 2023-01-12 日立Astemo株式会社 電子制御装置及び車載システム
US20230194704A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc Anomaly prioritization using dual-mode adaptive radar

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439644A (zh) * 2009-06-04 2012-05-02 丰田自动车株式会社 车辆用周边监控装置及车辆用周边监控方法
CN103108152A (zh) * 2011-11-09 2013-05-15 能晶科技股份有限公司 盲点侦测警示系统
CN103402261A (zh) * 2013-07-12 2013-11-20 北京邮电大学 一种自适应的多业务资源分配的方法和装置
CN103677999A (zh) * 2012-09-14 2014-03-26 国际商业机器公司 计算环境内的资源的管理
WO2014132747A1 (ja) * 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 物体検知装置
CN104691447A (zh) * 2013-12-04 2015-06-10 通用汽车环球科技运作有限责任公司 用于动态地聚焦车辆传感器的系统和方法
CN104769915A (zh) * 2012-10-26 2015-07-08 大陆-特韦斯贸易合伙股份公司及两合公司 用于合并环境传感器数据与通信数据的方法和系统以及该系统的应用

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19845568A1 (de) 1998-04-23 1999-10-28 Volkswagen Ag Vorrichtung zur Objekterfassung für Kraftfahrzeuge
JP4052496B2 (ja) 1998-08-07 2008-02-27 富士通テン株式会社 車両用障害物検知システム
US6642908B2 (en) 2000-08-16 2003-11-04 Raytheon Company Switched beam antenna architecture
US6489927B2 (en) 2000-08-16 2002-12-03 Raytheon Company System and technique for mounting a radar system on a vehicle
US20020075138A1 (en) 2000-08-16 2002-06-20 Van Rees H. Barteld Portable object detection system
US6748312B2 (en) 2000-08-16 2004-06-08 Raytheon Company Safe distance algorithm for adaptive cruise control
WO2002014898A2 (en) 2000-08-16 2002-02-21 Raytheon Company Near object detection system
US6577269B2 (en) 2000-08-16 2003-06-10 Raytheon Company Radar detection method and apparatus
WO2002014900A2 (en) 2000-08-16 2002-02-21 Raytheon Company Video amplifier for a radar receiver
EP1879047A3 (en) 2000-08-16 2011-03-30 Valeo Radar Systems, Inc. Automotive radar systems and techniques
JP2004506912A (ja) 2000-08-16 2004-03-04 レイセオン・カンパニー 高集積単一基板ｍｍｗマルチビーム・センサ
US6657581B1 (en) 2000-08-16 2003-12-02 Raytheon Company Automotive lane changing aid indicator
US6708100B2 (en) 2001-03-14 2004-03-16 Raytheon Company Safe distance algorithm for adaptive cruise control
US7183995B2 (en) 2001-08-16 2007-02-27 Raytheon Company Antenna configurations for reduced radar complexity
US6970142B1 (en) 2001-08-16 2005-11-29 Raytheon Company Antenna configurations for reduced radar complexity
US6995730B2 (en) 2001-08-16 2006-02-07 Raytheon Company Antenna configurations for reduced radar complexity
JP3879610B2 (ja) 2002-07-15 2007-02-14 株式会社デンソー 障害物検出装置及びプログラム並びに記録媒体
DE10238936A1 (de) 2002-08-24 2004-03-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Steuerung wenigstens einer Systemkomponente eines informationstechnischen Systems
JP2005309644A (ja) * 2004-04-20 2005-11-04 Hitachi Ltd リソース制御方法及びそのシステム
DE102005046045A1 (de) 2005-09-27 2007-03-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung mindestens eines Objektdetektionssensors
DE102006032541A1 (de) * 2006-07-13 2008-01-17 Robert Bosch Gmbh Warneinrichtung und Verfahren zur Umfeldüberwachung
JP4976395B2 (ja) 2006-08-02 2012-07-18 パイオニア株式会社 リソース管理装置、リソース管理方法、リソース管理プログラムおよびコンピュータに読み取り可能な記録媒体
US7792641B2 (en) * 2007-06-12 2010-09-07 Palo Alto Research Center Incorporated Using long-range dynamics and mental-state models to assess collision risk for early warning
US7831391B2 (en) 2007-06-12 2010-11-09 Palo Alto Research Center Incorporated Using segmented cones for fast, conservative assessment of collision risk
US8571786B2 (en) * 2009-06-02 2013-10-29 Toyota Jidosha Kabushiki Kaisha Vehicular peripheral surveillance device
JP5634046B2 (ja) 2009-09-25 2014-12-03 クラリオン株式会社 センサコントローラ、ナビゲーション装置、センサ制御方法
JP5441626B2 (ja) 2009-11-06 2014-03-12 日立オートモティブシステムズ株式会社 車載用マルチアプリ実行装置
JP5545022B2 (ja) * 2010-05-14 2014-07-09 トヨタ自動車株式会社 障害物認識装置
US20120182160A1 (en) * 2011-01-14 2012-07-19 TCS International, Inc. Directional Vehicle Sensor Matrix
JP2012221031A (ja) 2011-04-05 2012-11-12 Toyota Motor Corp 車両データ取得装置及び車両データ取得方法
WO2012144076A1 (ja) * 2011-04-22 2012-10-26 トヨタ自動車株式会社 車両周辺監視装置及び車両周辺監視情報の表示方法
US9158979B2 (en) * 2011-10-18 2015-10-13 Honda Motor Co., Ltd. Vehicle vicinity monitoring device
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
CN106060947B (zh) * 2016-07-12 2019-09-24 惠州Tcl移动通信有限公司 一种无线移动通信中的资源分配方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439644A (zh) * 2009-06-04 2012-05-02 丰田自动车株式会社 车辆用周边监控装置及车辆用周边监控方法
CN103108152A (zh) * 2011-11-09 2013-05-15 能晶科技股份有限公司 盲点侦测警示系统
CN103677999A (zh) * 2012-09-14 2014-03-26 国际商业机器公司 计算环境内的资源的管理
CN104769915A (zh) * 2012-10-26 2015-07-08 大陆-特韦斯贸易合伙股份公司及两合公司 用于合并环境传感器数据与通信数据的方法和系统以及该系统的应用
WO2014132747A1 (ja) * 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 物体検知装置
CN103402261A (zh) * 2013-07-12 2013-11-20 北京邮电大学 一种自适应的多业务资源分配的方法和装置
CN104691447A (zh) * 2013-12-04 2015-06-10 通用汽车环球科技运作有限责任公司 用于动态地聚焦车辆传感器的系统和方法

Also Published As

Publication number Publication date
CN109074742A (zh) 2018-12-21
US20190042863A1 (en) 2019-02-07
US11003922B2 (en) 2021-05-11
DE112016006616T5 (de) 2018-11-29
WO2017183141A1 (ja) 2017-10-26
JPWO2017183141A1 (ja) 2018-04-26
JP6223607B1 (ja) 2017-11-01

Similar Documents

Publication Publication Date Title
CN109074742B (zh) 周边认知装置、周边认知方法和计算机可读取的记录介质
US11769052B2 (en) Distance estimation to objects and free-space boundaries in autonomous machine applications
US11676364B2 (en) Real-time detection of lanes and boundaries by autonomous vehicles
JP6838248B2 (ja) 情報処理装置
JP6313646B2 (ja) 外界認識装置
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN109389026B (zh) 车道检测方法和设备
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
JP7040374B2 (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
US20210001883A1 (en) Action selection device, computer readable medium, and action selection method
WO2021126761A1 (en) Adaptive multiple region of interest camera perception
JP5895728B2 (ja) 車群管理装置
CN112735163B (zh) 确定目标物体静止状态的方法、路侧设备、云控平台
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
CN114729810A (zh) 人行横道检测
JP2023110364A (ja) 物体追跡装置、物体追跡方法、およびプログラム
Klette et al. Vision-based driver assistance systems
US20240127694A1 (en) Method for collision warning, electronic device, and storage medium
JP7126629B1 (ja) 情報統合装置、情報統合方法、及び情報統合プログラム
JP7001795B1 (ja) シミュレーション用のデータ生成装置、方法及びコンピュータプログラム
JP6861911B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6838769B2 (ja) 周辺環境認識装置、表示制御装置
JP2024030017A (ja) 物体検出装置、物体検出方法、および物体検出用コンピュータプログラム
KR20220067879A (ko) 자율주행 도로 환경평가 시나리오 생성 시스템
CN116542346A (zh) 在车辆的边缘训练感知模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant