CN106952308A - 运动物体的位置确定方法及系统 - Google Patents

运动物体的位置确定方法及系统 Download PDF

Info

Publication number
CN106952308A
CN106952308A CN201710212439.4A CN201710212439A CN106952308A CN 106952308 A CN106952308 A CN 106952308A CN 201710212439 A CN201710212439 A CN 201710212439A CN 106952308 A CN106952308 A CN 106952308A
Authority
CN
China
Prior art keywords
moving object
virtual
relative distance
target area
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710212439.4A
Other languages
English (en)
Other versions
CN106952308B (zh
Inventor
周煜远
何彬
赵来刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIO Co Ltd
Original Assignee
NIO Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIO Co Ltd filed Critical NIO Co Ltd
Priority to CN201710212439.4A priority Critical patent/CN106952308B/zh
Publication of CN106952308A publication Critical patent/CN106952308A/zh
Priority to PCT/CN2018/079596 priority patent/WO2018177159A1/zh
Application granted granted Critical
Publication of CN106952308B publication Critical patent/CN106952308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种运动物体的位置确定方法，包括：步骤a，针对每一个单位时间，获取运动物体周围的环视图像；步骤b，基于环视图像，利用事先训练好的识别模型，来确定虚拟目标区域；步骤c，针对虚拟目标区域，利用所述识别模型，确定其各个虚拟关键点的成像位置信息；步骤d，基于环视图像的成像坐标系与运动物体的主体坐标系之间的映射关系，根据各个虚拟关键点的成像位置信息来计算虚拟目标区域所对应的实际目标区域与运动物体的相对距离；以及步骤e，针对每一个单位时间，使用针对当前单位时间的前一个单位时间的通过步骤a～步骤d得到的相对距离与运动物体在前一个单位时间内移动的距离之差来修正针对当前单位时间的通过步骤a～步骤d得到的相对距离，以获得针对当前单位时间的修正后的相对距离。

Description

运动物体的位置确定方法及系统
技术领域
本发明涉及定位测距技术，更具体地涉及运动物体的位置确定方法及系统。
背景技术
在对诸如车辆、飞机等运动物体进行定位以测量其与目标区域的相对距离时，主要是借助于雷达。
以汽车辅助驾驶中的自动泊车场景为例，自动泊车向来是难点，其中最重要的是对车位准确的检测定位。
目前，量产的自动泊车产品大部分是基于毫米波雷达来对车位进行探测，受限于雷达的特性，车位两侧需要有障碍物，车辆通过来回探测来猜测车位的信息，因此，倒车体验很差。
其余的自动泊车产品主要是基于传统机器视觉来定位车位，可是，由于车位复杂多样，加上光照、角度等各种因素的影响，车位识别率不超过40％，并且，对车位内的障碍物没有处理，容易造成倒车事故，因此很少采用。
当然也有两者结合的产品，可是，由于各自缺陷导致未能很好地互补，再加上成本和安装校准等各方面的问题，也很难得到很好的应用。
发明内容
本发明是为了克服上述缺点而完成的，所采用的技术方案如下。
一种运动物体的位置确定方法，包括：步骤a，针对每一个单位时间，获取所述运动物体周围的环视图像；步骤b，基于所述环视图像，利用事先训练好的识别模型，确定虚拟目标区域；步骤c，针对所述虚拟目标区域，利用所述识别模型，确定其各个虚拟关键点的成像位置信息；步骤d，基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述各个虚拟关键点的成像位置信息来计算所述虚拟目标区域所对应的实际目标区域与所述运动物体的相对距离；以及步骤e，针对每一个单位时间，使用针对当前单位时间的前一个单位时间的通过所述步骤a～所述步骤d得到的相对距离与所述运动物体在所述前一个单位时间内移动的距离之差来修正针对所述当前单位时间的通过所述步骤a～所述步骤d得到的相对距离，以获得针对所述当前单位时间的修正后的相对距离。
进一步地，在根据本发明的运动物体的位置确定方法中，还包括：使用样本数据对深度学习模型进行训练以获得用于所述虚拟目标区域的所述识别模型的步骤。
进一步地，在根据本发明的运动物体的位置确定方法中，所述步骤b包括：步骤b1，在所述环视图像中自适应地选取若干个大小不同的候选区域；步骤b2，利用所述识别模型来计算每一个所述候选区域成为所述虚拟目标区域的概率值；以及步骤b3，基于所述若干个大小不同的候选区域各自的概率值所形成的至少一个概率簇，从所述若干个候选区域中选择一个候选区域来作为所述虚拟目标区域。
进一步地，在根据本发明的运动物体的位置确定方法中，所述步骤d包括：步骤d1，根据所述各个虚拟关键点的成像位置信息来计算所述各个虚拟关键点在所述环视图像的成像坐标系下的虚拟三维角度信息；步骤d2，基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述虚拟三维角度信息来计算与各个虚拟关键点对应的用于确定实际目标区域的各个实际关键点在所述运动物体的主体坐标系下的实际三维角度信息；以及步骤d3，基于所述实际三维角度信息和所述运动物体的高度来计算所述各个实际关键点与所述运动物体的相对距离。
进一步地，在根据本发明的运动物体的位置确定方法中，在所述步骤e中，对关于所述前一个单位时间的所述距离之差和针对所述当前单位时间计算出的相对距离进行卡尔曼滤波以获得针对所述当前单位时间的修正后的相对距离。
一种运动物体的位置确定装置系统，包括：第一模块，针对每一个单位时间，获取所述运动物体周围的环视图像；第二模块，基于所述环视图像，利用事先训练好的识别模型，确定虚拟目标区域；第三模块，针对所述虚拟目标区域，利用所述识别模型，确定其各个虚拟关键点的成像位置信息；第四模块，基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述各个虚拟关键点的成像位置信息来计算所述虚拟目标区域所对应的实际目标区域与所述运动物体的相对距离；以及第五模块，针对每一个单位时间，使用针对当前单位时间的前一个单位时间的通过所述第一模块～所述第四模块得到的相对距离与所述运动物体在所述前一个单位时间内移动的距离之差来修正针对所述当前单位时间的通过所述第一模块～所述第四模块得到的相对距离，以获得针对所述当前单位时间的修正后的相对距离。
进一步地，在根据本发明的运动物体的位置确定系统中，还包括：使用样本数据对深度学习模型进行训练以获得用于所述虚拟目标区域的所述识别模型的模块。
进一步地，在根据本发明的运动物体的位置确定系统中，所述第二模块包括：在所述环视图像中自适应地选取若干个大小不同的候选区域的单元；利用所述识别模型来计算每一个所述候选区域成为所述虚拟目标区域的概率值的单元；以及基于所述若干个大小不同的候选区域各自的概率值所形成的至少一个概率簇，从所述若干个候选区域中选择一个候选区域来作为所述虚拟目标区域的单元。
进一步地，在根据本发明的运动物体的位置确定系统中，所述第四模块包括：根据所述各个虚拟关键点的成像位置信息来计算所述各个虚拟关键点在所述环视图像的成像坐标系下的虚拟三维角度信息的单元；基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述虚拟三维角度信息来计算与各个虚拟关键点对应的用于确定实际目标区域的各个实际关键点在所述运动物体的主体坐标系下的实际三维角度信息的单元；以及基于所述实际三维角度信息和所述运动物体的高度来计算所述各个实际关键点与所述运动物体的相对距离的单元。
进一步地，在根据本发明的运动物体的位置确定系统中，所述第五模块对关于所述前一个单位时间的所述距离之差和针对所述当前单位时间计算出的相对距离进行卡尔曼滤波以获得针对所述当前单位时间的修正后的相对距离。
一种运动物体位置确定程序，用于使计算机执行所述运动物体的位置确定方法。
一种运动物体位置确定程序，用于使计算机实现所述运动物体的位置确定系统的功能。
一种计算机可读取的记录介质，记录有用于使计算机执行所述运动物体的位置确定方法的运动物体位置确定程序。
一种计算机可读取的记录介质，记录有用于使计算机实现所述运动物体的位置确定系统的功能的运动物体位置确定程序。
相对于现有技术，本发明的有益效果是，1)通过采用机器视觉的深度学习并结合独特的射影几何和成像原理，从而实现了对运动物体周边的目标区域的准确识别、以及实现了运动物体相对于目标区域的准确定位；2)通过考虑运动物体变形等特点而闭环地确定运动物体与目标区域的相对距离，从而能够在各类应用场景下具有更强的鲁棒性；3)由于不使用雷达等设备而是代之以依靠图像获取装置和闭环计算方法，因此，能够在任何位置实时确定运动物体相对于目标区域的位置，不要求运动物体两侧必须存在用于定位测距的障碍物。
附图说明
图1是根据本发明的一个示例的深度学习模型的原理图；
图2是根据本发明的一个示例的运动物体的位置确定方法的流程图；
图3是图2所示出的流程图中的步骤b的细节流程图；
图4是图2所示出的流程图中的步骤d的细节流程图；
图5是根据本发明的一个示例的运动物体的位置确定系统的框图。
具体实施方式
以下将结合附图对本发明涉及的运动物体的位置确定方法及系统作进一步的详细描述。需要注意的是，以下的具体实施方式是示例性而非限制的，其旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
此外，遍及本申请，可以使用序数(例如，第一、第二、第三等)作为要素(即，本申请中的任何名词)的形容词。序数的使用不暗示或创建要素的任何特定排序，也不将任何要素限于仅单个要素，除非明确公开，诸如通过使用术语“在……之前”、“在……之后”、“单个”和其它这样的术语。相反，序数的使用将区分要素。作为示例，第一要素与第二要素不同，并且第一要素可以涵盖多于一个要素且在要素的排序中处于第二要素之后(或之前)。
根据本发明的运动物体的位置确定方法及系统结合深度学习在图像识别领域的突破并且通过机器视觉来对运动物体进行定位。因此，根据本发明的运动物体的位置确定方法及系统适用于各种运动物体的各种场景，其中，所述各种运动物体包括但不限于车辆、飞机等，而所述各种场景包括但不限于自动泊车、车位检测等常用场景。
下面以车辆的车位检测场景为例来详细地说明根据本发明的运动物体的位置确定方法及系统。
在将作为本发明的一个示例的车辆的位置确定方法及系统应用于待定位的车辆之前，需要事先训练好一个识别模型以用于实际车位图像。作为上述识别模型，例如，可以通过对如图1所示的LeNet-5深度学习模型进行训练来获得。下面以图1中示出的LeNet-5深度学习模型为例来详细地说明如何训练模型。
具体地，首先，需要采集大量样本，例如，搜集在各种倒车环境下的各类倒车视频，此外通过互联网爬取各种车位图片，此外，还通过matlab对所爬取的各个视角、距离的车位图片进行仿真。接着，通过对所搜集的各类倒车视频的每一帧的图像、所爬取的各种车位图片、以及仿真后的车位图片进行缩放、旋转、平移等操作，从而进一步扩大样本的数量。然后，对所有样本提取出对应的车位信息并进行标注，所述车位信息包括但不限于车位的类型、车位内是否有干扰物体等。最后，利用标注有车位信息的所有样本对LeNet-5深度学习模型进行训练以获得适合后续的车位区域识别的识别模型的各个模型参数。
如图1所示，LeNet-5深度学习模型共分为七层，不包含输入，每层都包含可训练参数(连接权重)。输入图像为32×32的大小。第一层C1为卷积层，由6个28×28大小的特征图构成，用于形成车位的特征图谱；第二层S2为下抽样层，由6个14×14大小的特征图构成，用于利用图像局部相关性来对车位的特征图谱进行下抽样，以便在减少数据处理量的同时保留有用信息；第三层C3为卷积层，由16个10×10大小的特征图构成，用于对车位的特征图谱再次进行卷积操作以用于提取多种组合特征；第四层S4为下抽样层，与第二层类似，由16个5×5大小的特征图构成；第五层C5为卷积层，由120个特征图构成，与第四层S4进行全连接以便于提取全局特征；第六层F6为全连接层，由84个单元构成，与第五层C5进行全连接，对应最后一层的编码；第七层为输出层，由欧式径向基函数(Euclidean Radial BasisFunction)单元组成，用于输出车位的特征图谱的定位信息，诸如图1中所示出的车位框状的输入图像的外部4个顶点和内部4个顶点的坐标、以及虚拟车位线宽度等。
通过利用大量样本来对图1这样的LeNet-5深度学习模型进行训练，从而获得用于实际车位框的识别的识别模型以备后续使用。
需要注意的是，虽然在以上将LeNet-5深度学习模型作为示例进行了说明，但是，本发明中所涉及的深度学习模型不限于此，只要是能够使用大量样本数据来进行训练以用于车位图像的识别的模型，都可以作为本发明中所涉及的深度学习模型来发挥作用。
接下来，参照图2至图4来说明如何使用上述获得的识别模型来确定运动物体(在本示例中为车辆)相对于目标区域(在本示例中为车位框)的位置。
图2是根据本发明的一个示例的运动物体(在本示例中为车辆)的位置确定方法的流程图。
在本示例中，当车辆的用户进行倒车而开启环视功能时，使用例如安装于车辆的车载视觉系统中的图像传感器等针对每一个单位时间来获取车辆周围的环视图像(步骤a)。
需要注意的是，上述单位时间可以是1帧间隔，也可以是数帧间隔，还可以是根据车体变形等预先设定的其它固定的一段间隔时间。
在本示例中，在例如使用上述图像传感器等针对每一个单位时间获得车辆周围的环视图像之后，上述图像传感器等将该环视图像传送至例如车辆的电子控制单元(Electronic Control Unit，以下简称ECU)，由该ECU利用事先训练好的上述识别模型来对上述环视图像进行识别并且确定即将停车的车位框在图像上的区域、即虚拟目标区域(步骤b)。
图3是图2所示出的流程图中的步骤b的细节流程图。
具体地，在获得车辆周围的环视图像之后，在该环视图像中通过下述公式(1)自适应地选取若干个大小不同的候选区域(例如，若干个边长大小不同的框)(步骤b1)：
其中，z为处于所选取的框的某条边上的像素点离相应中线的距离，g(z)为该条边的边长。
然后，针对上述若干个边长大小不同的框中的每一个，将框及其内部的图像放入事先训练好的上述识别模型来计算该框与能够停车的车位框的匹配程度、即成为上述虚拟目标区域的概率值(步骤b2)。在对上述若干个边长大小不同的框均计算完该概率值之后，将根据各个框的位置以及每个框的概率值来形成关于上述环视图像的概率分布图，在该概率分布图中分布有至少一个概率簇，每个概率簇中存在一个概率最大值，其代表上述环视图像中该概率簇所处的区域存在成为车位框的可能性最大的一个框。
接下来，基于上述若干个边长大小不同的框的概率值所形成的上述至少一个概率簇，从上述若干个框中选择一个框来作为上述虚拟目标区域(步骤b3)。在一个示例中，环视图像的概率分布图仅分布有一个概率簇，此时，可以选择该概率簇中概率值最大的那个框来作为上述虚拟目标区域。在另一个示例中，环视图像的概率分布图分布有两个或两个以上的概率簇，此时，可以选择所有概率簇中概率值最大的那个框来作为上述虚拟目标区域。在又一个示例中，环视图像的概率分布图分布有两个或两个以上的概率簇，此时，可以选择离车辆最近的那个概率簇中概率值最大的那个框来作为上述虚拟目标区域。
在确定即将停车的车位框在图像上的区域、即虚拟目标区域之后，返回至图2，执行步骤c，即，针对该虚拟目标区域，利用上述识别模型，确定其各个虚拟关键点的成像位置信息。
需要注意的是，上述各个虚拟关键点可以是车位框的外部4个顶点和内部4个顶点，但是不限于此，也可以是在车位框的各条边上选取的若干点。此外，需要注意的是，上述成像位置信息可以是车位框的外部4个顶点和内部4个顶点的坐标值，但是不限于此，也可以是在车位框的各条边上选取的若干点的坐标，还可以是仅车位框的外部4个顶点和车位线宽度，等等。
然后，在上述示例中，ECU基于环视图像的成像坐标系与车辆自身的主体坐标系之间的映射关系，根据在上述步骤c中确定的各个虚拟关键点的成像位置信息来计算虚拟目标区域所对应的实际目标区域与车辆的相对距离(步骤d)。
图4是图2所示出的流程图中的步骤d的细节流程图。
具体地，在确定出虚拟目标区域的各个虚拟关键点的成像位置信息之后，根据所述成像位置信息来计算各个虚拟关键点在环视图像的成像坐标系下的虚拟三维角度信息(步骤d1)。具体地，事先标定好车辆的车载视觉系统的光轴角度，确定对应于该光轴的成像坐标系，通过成像原理计算出各个虚拟关键点和车辆的车载视觉系统的连线与成像坐标系中的各个轴形成的投影夹角，从而获得各个虚拟关键点在环视图像的成像坐标系下的虚拟三维角度信息。
接下来，基于由下述公式(2)限定的环视图像的成像坐标系与车辆自身的主体坐标系之间的映射关系(即，通过下述公式(2)求取的变换矩阵[R T])，将各个虚拟关键点在环视图像的成像坐标系下的虚拟三维角度信息变换成与各个虚拟关键点对应的用于确定实际目标区域的各个实际关键点在运动物体的主体坐标系下的实际三维角度信息(步骤d2)：
其中，Zc是缩放因子，取值为大于或等于0的任意一个数；u、v是环视图像上的任意点的像素坐标；f/a是环视图像长尺寸方向的像素数目，f/b是环视图像短尺寸方向的像素数目；u0、v0是位于环视图像中心的点的像素坐标，取值分别等于1/2*f/a、1/2*f/b；R是从环视图像的成像坐标系到车辆自身的主体坐标系的3×3的Rodrigues旋转矩阵；T是3×1的平移矩阵，其中，在环视图像的成像坐标系的原点与车辆自身的主体坐标系的原点重合时，T是每个分量的取值为0的3×1的平移矩阵；Xw、Yw、Zw是车辆自身的主体坐标系中与u、v对应的点的坐标。
然后，基于在步骤d2中计算出的实际三维角度信息和车身的高度，通过三角形原理来计算各个实际关键点与车身的相对距离(步骤d3)。
通过图2的步骤a～步骤d，能够针对每一个单位时间计算出车辆与目标车位框的相对距离。
然而，考虑到倒车过程中车体载重状态可能会发生变化，与此伴随地，底盘传感器可能会动态调整车身的高度，因此，为了确保针对每一个单位时间的相对距离的计算的鲁棒性，需要对每一个单位时间所对应的相对距离的值用其前一个单位时间所对应的相对距离的值进行修正。具体地，在上述示例中，对于某一个单位时间而言，ECU通过上述步骤a～上述步骤d计算出当前单位时间的相对距离并将其作为观测值，另一方面，ECU对车辆的轮速传感器进行控制以通过该轮速传感器获得车辆在当前单位时间的前一个单位时间内移动的距离，然后ECU用已经通过上述步骤a～上述步骤d计算完毕的所述前一个单位时间的相对距离减去通过轮速传感器获得的移动距离并将所得结果作为预测值，之后，ECU将上述观测值和上述预测值通过一组卡尔曼滤波器，最终得到由下述公式(3)表示的针对当前单位时间的修正后的相对距离(步骤e)：
其中，F(x,y)表示所计算的修正后的相对距离的结果，x、y分别表示上述观测值、上述预测值，k表示滤波器的个数，wk表示上述一组卡尔曼滤波器中的第k个卡尔曼滤波器的权重，gk(x,y)表示由第k个卡尔曼滤波器计算出的相对距离。
需要注意的是，上述根据本发明的运动物体的位置确定方法的各步骤可以通过形成在集成电路(IC芯片)上的逻辑电路在硬件上执行，也可以使用CPU(Central ProcessingUnit：中央处理单元)在软件上执行，还可以通过软硬件结合的方式来执行。
当如上所述将根据本发明的运动物体的位置确定方法应用于车辆的车位检测场景时，由于本发明结合深度学习在图片识别领域的突破，通过车载视觉系统对车身周边的车位进行准确的定位和识别，并且对车位内障碍物进行有效的判别，结合独特的射影几何方法，对可用车位进行垂直鸟览图转化，计算二维的车位坐标，从而动态闭环实现自动泊车等汽车辅助驾驶。
根据本发明的运动物体的位置确定方法实现了在各种环境下的无差别的车位识别定位效果，可应用于各类车辆辅助驾驶中，而且，可利用对应框架来检测车身周围常见的其它物体和行人等信息，因此，对车辆安全提供新的保障。
根据本发明的运动物体的位置确定方法，与毫米波雷达相比，不需要车辆的驾驶员来回开车和检测车位，而是在任何位置都能够实时检测出车位。对车位两侧也没有要求。
根据本发明的运动物体的位置确定方法，车位识别率最终为99％，部分车位因模糊而导致人眼很难辨识，但是，基于视觉的机器学习也能很好得工作，此外，障碍物识别率为100％，从而保障了自动泊车的安全性，识别的误差为-2cm至2cm，也满足了自动泊车模型的要求。
最后，参照图5来说明根据本发明的运动物体的位置确定系统。图5是根据本发明的一个示例的运动物体(在本示例中为车辆)的位置确定系统的框图。
如图5所示，运动物体(在本示例中为车辆)的位置确定系统包括：第一模块101、第二模块102、第三模块103、第四模块104、以及第五模块105。
第一模块101针对每一个单位时间获取车辆周围的环视图像。
在本示例中，第一模块可以是安装于车辆的车载视觉系统中的图像传感器等。
需要注意的是，上述单位时间可以是1帧间隔，也可以是数帧间隔，还可以是根据车体变形等预先设定的其它固定的一段间隔时间。
第二模块102基于由第一模块101获取的环视图像并利用事先训练好的识别模型来确定虚拟目标区域。
关于上述识别模型，例如，可以通过对如图1所示的LeNet-5深度学习模型进行训练来获得。
在本示例中，第二模块可以是车辆的ECU中的功能模块，在例如使用上述图像传感器等针对每一个单位时间获得车辆周围的环视图像之后，上述图像传感器等将该环视图像传送至该ECU，由该ECU利用上述识别模型来对上述环视图像进行识别并且确定即将停车的车位框在图像上的区域、即虚拟目标区域。
具体地，第二模块102包括：在上述环视图像中自适应地选取若干个大小不同的候选区域的单元，所述单元通过下述公式(4)自适应地选取若干个大小不同的候选区域(例如，若干个边长大小不同的框)：
其中，z为处于所选取的框的某条边上的像素点离相应中线的距离，g(z)为该条边的边长。
此外，第二模块102还包括：利用上述识别模型来计算每一个候选区域成为虚拟目标区域的概率值的单元，通过所述单元，将获得关于上述环视图像的概率分布图，在该概率分布图中分布有至少一个概率簇，每个概率簇中存在一个概率最大值，其代表上述环视图像中该概率簇所处的区域存在成为车位框的可能性最大的一个框。
此外，第二模块102还包括：基于上述若干个大小不同的候选区域各自的概率值所形成的至少一个概率簇，从上述若干个候选区域中选择一个候选区域来作为上述虚拟目标区域的单元。在一个示例中，环视图像的概率分布图仅分布有一个概率簇，此时，可以选择该概率簇中概率值最大的那个框来作为上述虚拟目标区域。在另一个示例中，环视图像的概率分布图分布有两个或两个以上的概率簇，此时，可以选择所有概率簇中概率值最大的那个框来作为上述虚拟目标区域。在又一个示例中，环视图像的概率分布图分布有两个或两个以上的概率簇，此时，可以选择离车辆最近的那个概率簇中概率值最大的那个框来作为上述虚拟目标区域。
第三模块103针对由第二模块102确定的虚拟目标区域利用上述识别模型来确定其各个虚拟关键点的成像位置信息。
在本示例中，第三模块可以是车辆的ECU中的功能模块。
需要注意的是，上述各个虚拟关键点可以是车位框的外部4个顶点和内部4个顶点，但是不限于此，也可以是在车位框的各条边上选取的若干点。此外，需要注意的是，上述成像位置信息可以是车位框的外部4个顶点和内部4个顶点的坐标值，但是不限于此，也可以是在车位框的各条边上选取的若干点的坐标，还可以是仅车位框的外部4个顶点和车位线宽度，等等。
第四模块104基于上述环视图像的成像坐标系与车辆自身的主体坐标系之间的映射关系，根据上述各个虚拟关键点的成像位置信息来计算上述虚拟目标区域所对应的实际目标区域与车辆的相对距离。
在本示例中，第四模块104可以是车辆的ECU中的功能模块。
具体地，第四模块104包括：根据各个虚拟关键点的成像位置信息来计算所述各个虚拟关键点在环视图像的成像坐标系下的虚拟三维角度信息的单元。具体地，所述单元通过事先标定好车辆的车载视觉系统的光轴角度，确定对应于该光轴的成像坐标系，借助于成像原理计算出各个虚拟关键点和车辆的车载视觉系统的连线与成像坐标系中的各个轴形成的投影夹角，从而获得各个虚拟关键点在环视图像的成像坐标系下的虚拟三维角度信息。
此外，第四模块104还包括：基于由下述公式(5)限定的环视图像的成像坐标系与车辆自身的主体坐标系之间的映射关系(即，通过下述公式(5)求取的变换矩阵[R T])，根据上述虚拟三维角度信息来计算与各个虚拟关键点对应的用于确定实际目标区域的各个实际关键点在车辆自身的主体坐标系下的实际三维角度信息的单元。
其中，Zc是缩放因子，取值为大于或等于0的任意一个数；u、v是环视图像上的任意点的像素坐标；f/a是环视图像长尺寸方向的像素数目，f/b是环视图像短尺寸方向的像素数目；u0、v0是位于环视图像中心的点的像素坐标，取值分别等于1/2*f/a、1/2*f/b；R是从环视图像的成像坐标系到车辆自身的主体坐标系的3×3的Rodrigues旋转矩阵；T是3×1的平移矩阵，其中，在环视图像的成像坐标系的原点与车辆自身的主体坐标系的原点重合时，T是每个分量的取值为0的3×1的平移矩阵；Xw、Yw、Zw是车辆自身的主体坐标系中与u、v对应的点的坐标。
此外，第四模块104还包括：基于实际三维角度信息和车身的高度来计算各个实际关键点与车身的相对距离的单元。
通过上述第一模块101～第四模块104，能够针对每一个单位时间计算出车辆与目标车位框的相对距离。
然而，考虑到倒车过程中车体载重状态可能会发生变化，与此伴随地，底盘传感器可能会动态调整车身的高度，因此，为了确保针对每一个单位时间的相对距离的计算的鲁棒性，需要对每一个单位时间所对应的相对距离的值用其前一个单位时间所对应的相对距离的值进行修正。因此，在图5所示的位置确定系统中设置有第五模块105，所述第五模块105针对每一个单位时间使用针对当前单位时间的前一个单位时间的通过上述第一模块101～上述第四模块104得到的相对距离与车辆在上述前一个单位时间内移动的距离之差来修正针对上述当前单位时间的通过上述第一模块101～上述第四模块104得到的相对距离，以获得针对上述当前单位时间的修正后的相对距离。其中，第五模块105可以是车辆的ECU中的功能模块，而车辆在前一个单位时间内移动的距离可以通过车辆的轮速传感器来获得。更具体地，第五模块105对关于前一个单位时间的上述距离之差和针对上述当前单位时间计算出的相对距离进行卡尔曼滤波以获得由下述公式(6)表示的针对上述当前单位时间的修正后的相对距离。
其中，F(x,y)表示所计算的修正后的相对距离的结果，x、y分别表示上述观测值、上述预测值，k表示滤波器的个数，wk表示上述一组卡尔曼滤波器中的第k个卡尔曼滤波器的权重，gk(x,y)表示由第k个卡尔曼滤波器计算出的相对距离。
除了上述第一模块101至第五模块105以外，根据本发明的运动物体的位置确定系统还包括：使用样本数据对深度学习模型进行训练以获得用于虚拟目标区域的上述识别模型的模块。
此外，上述的运动物体的位置确定系统的各模块可以通过形成在集成电路(IC芯片)上的逻辑电路在硬件上实现，也可以使用CPU(Central Processing Unit：中央处理单元)在软件上实现，还可以通过软硬件结合的方式来实现。
根据本发明的运动物体的位置确定方法及系统，通过采用机器视觉的深度学习并结合独特的射影几何和成像原理，从而实现了对运动物体周边的目标区域的准确识别、以及实现了运动物体相对于目标区域的准确定位；通过考虑运动物体变形等特点而闭环地确定运动物体与目标区域的相对距离，从而能够在各类应用场景下具有更强的鲁棒性；由于不使用雷达等设备而是代之以依靠图像获取装置和闭环计算方法，因此，能够在任何位置实时确定运动物体相对于目标区域的位置，不要求运动物体两侧必须存在用于定位测距的障碍物。
虽然在此之前以运动物体的位置确定方法及系统的实施方式为中心进行了说明，但是本发明不限定于这些实施方式，也可以将本发明实施为以下方式：用于执行上述运动物体的位置确定方法的计算机程序的方式或者用于实现上述运动物体的位置确定系统的功能的计算机程序的方式或者记录有该计算机程序的计算机可读取的记录介质的方式。
在此，作为记录介质，能采用盘类(例如，磁盘、光盘等)、卡类(例如，存储卡、光卡等)、半导体存储器类(例如，ROM、非易失性存储器等)、带类(例如，磁带、盒式磁带等)等各种方式的记录介质。
通过在这些记录介质中记录使计算机执行上述实施方式中的运动物体的位置确定方法的计算机程序或使计算机实现上述实施方式中的运动物体的位置确定系统的功能的计算机程序并使其流通，从而能使成本的低廉化以及可携带性、通用性提高。
而且，在计算机上装载上述记录介质，由计算机读出在记录介质中记录的计算机程序并储存在存储器中，计算机所具备的处理器(CPU：Central Processing Unit(中央处理单元)、MPU：Micro Processing Unit(微处理单元))从存储器读出该计算机程序并执行，由此，能执行上述实施方式中的运动物体的位置确定方法并能实现上述实施方式中的运动物体的位置确定系统的功能。
本领域普通技术人员应当了解，本发明不限定于上述的实施方式，本发明可以在不偏离其主旨与范围内以许多其它的形式实施。因此，所展示的示例与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (10)

1.一种运动物体的位置确定方法，其特征在于，包括：
步骤a，针对每一个单位时间，获取所述运动物体周围的环视图像；
步骤b，基于所述环视图像，利用事先训练好的识别模型，确定虚拟目标区域；
步骤c，针对所述虚拟目标区域，利用所述识别模型，确定其各个虚拟关键点的成像位置信息；
步骤d，基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述各个虚拟关键点的成像位置信息来计算所述虚拟目标区域所对应的实际目标区域与所述运动物体的相对距离；以及
步骤e，针对每一个单位时间，使用针对当前单位时间的前一个单位时间的通过所述步骤a～所述步骤d得到的相对距离与所述运动物体在所述前一个单位时间内移动的距离之差来修正针对所述当前单位时间的通过所述步骤a～所述步骤d得到的相对距离，以获得针对所述当前单位时间的修正后的相对距离。
2.根据权利要求1所述的运动物体的位置确定方法，其特征在于，还包括：
使用样本数据对深度学习模型进行训练以获得用于所述虚拟目标区域的所述识别模型的步骤。
3.根据权利要求1或2所述的运动物体的位置确定方法，其特征在于，所述步骤b包括：
步骤b1，在所述环视图像中自适应地选取若干个大小不同的候选区域；
步骤b2，利用所述识别模型来计算每一个所述候选区域成为所述虚拟目标区域的概率值；以及
步骤b3，基于所述若干个大小不同的候选区域各自的概率值所形成的至少一个概率簇，从所述若干个候选区域中选择一个候选区域来作为所述虚拟目标区域。
4.根据权利要求1或2所述的运动物体的位置确定方法，其特征在于，所述步骤d包括：
步骤d1，根据所述各个虚拟关键点的成像位置信息来计算所述各个虚拟关键点在所述环视图像的成像坐标系下的虚拟三维角度信息；
步骤d2，基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述虚拟三维角度信息来计算与各个虚拟关键点对应的用于确定实际目标区域的各个实际关键点在所述运动物体的主体坐标系下的实际三维角度信息；以及
步骤d3，基于所述实际三维角度信息和所述运动物体的高度来计算所述各个实际关键点与所述运动物体的相对距离。
5.根据权利要求1或2所述的运动物体的位置确定方法，其特征在于，
在所述步骤e中，对关于所述前一个单位时间的所述距离之差和针对所述当前单位时间计算出的相对距离进行卡尔曼滤波以获得针对所述当前单位时间的修正后的相对距离。
6.一种运动物体的位置确定系统，其特征在于，包括：
第一模块，针对每一个单位时间，获取所述运动物体周围的环视图像；
第二模块，基于所述环视图像，利用事先训练好的识别模型，确定虚拟目标区域；
第三模块，针对所述虚拟目标区域，利用所述识别模型，确定其各个虚拟关键点的成像位置信息；
第四模块，基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述各个虚拟关键点的成像位置信息来计算所述虚拟目标区域所对应的实际目标区域与所述运动物体的相对距离；以及
第五模块，针对每一个单位时间，使用针对当前单位时间的前一个单位时间的通过所述第一模块～所述第四模块得到的相对距离与所述运动物体在所述前一个单位时间内移动的距离之差来修正针对所述当前单位时间的通过所述第一模块～所述第四模块得到的相对距离，以获得针对所述当前单位时间的修正后的相对距离。
7.根据权利要求6所述的运动物体的位置确定系统，其特征在于，还包括：
使用样本数据对深度学习模型进行训练以获得用于所述虚拟目标区域的所述识别模型的模块。
8.根据权利要求6或7所述的运动物体的位置确定系统，其特征在于，所述第二模块包括：
在所述环视图像中自适应地选取若干个大小不同的候选区域的单元；
利用所述识别模型来计算每一个所述候选区域成为所述虚拟目标区域的概率值的单元；以及
基于所述若干个大小不同的候选区域各自的概率值所形成的至少一个概率簇，从所述若干个候选区域中选择一个候选区域来作为所述虚拟目标区域的单元。
9.根据权利要求6或7所述的运动物体的位置确定系统，其特征在于，所述第四模块包括：
根据所述各个虚拟关键点的成像位置信息来计算所述各个虚拟关键点在所述环视图像的成像坐标系下的虚拟三维角度信息的单元；
基于所述环视图像的成像坐标系与所述运动物体的主体坐标系之间的映射关系，根据所述虚拟三维角度信息来计算与各个虚拟关键点对应的用于确定实际目标区域的各个实际关键点在所述运动物体的主体坐标系下的实际三维角度信息的单元；以及
基于所述实际三维角度信息和所述运动物体的高度来计算所述各个实际关键点与所述运动物体的相对距离的单元。
10.根据权利要求6或7所述的运动物体的位置确定系统，其特征在于，
所述第五模块对关于所述前一个单位时间的所述距离之差和针对所述当前单位时间计算出的相对距离进行卡尔曼滤波以获得针对所述当前单位时间的修正后的相对距离。
CN201710212439.4A 2017-04-01 2017-04-01 运动物体的位置确定方法及系统 Active CN106952308B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710212439.4A CN106952308B (zh) 2017-04-01 2017-04-01 运动物体的位置确定方法及系统
PCT/CN2018/079596 WO2018177159A1 (zh) 2017-04-01 2018-03-20 运动物体的位置确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710212439.4A CN106952308B (zh) 2017-04-01 2017-04-01 运动物体的位置确定方法及系统

Publications (2)

Publication Number Publication Date
CN106952308A true CN106952308A (zh) 2017-07-14
CN106952308B CN106952308B (zh) 2020-02-28

Family

ID=59475157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710212439.4A Active CN106952308B (zh) 2017-04-01 2017-04-01 运动物体的位置确定方法及系统

Country Status (2)

Country Link
CN (1) CN106952308B (zh)
WO (1) WO2018177159A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573226A (zh) * 2018-04-08 2018-09-25 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
WO2018177159A1 (zh) * 2017-04-01 2018-10-04 上海蔚来汽车有限公司 运动物体的位置确定方法及系统
CN109086708A (zh) * 2018-07-25 2018-12-25 深圳大学 一种基于深度学习的停车位检测方法及系统
CN109614914A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 车位顶点定位方法、装置和存储介质
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN109872366A (zh) * 2019-02-25 2019-06-11 清华大学 基于深度拟合程度评估网络的物体三维位置检测方法和装置
CN109927731A (zh) * 2017-12-15 2019-06-25 蔚来汽车有限公司 驾驶员放手检测方法、装置、控制器及存储介质
CN110608746A (zh) * 2018-06-14 2019-12-24 大众汽车有限公司 用于确定机动车的位置的方法和装置
CN112534471A (zh) * 2018-11-29 2021-03-19 欧姆龙株式会社 图像生成装置、机器人训练系统、图像生成方法以及图像生成程序
CN113643355A (zh) * 2020-04-24 2021-11-12 广州汽车集团股份有限公司 一种目标车辆位置和朝向的检测方法、系统及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179332B (zh) * 2018-11-09 2023-12-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备及存储介质
CN113053131B (zh) * 2019-12-26 2022-11-01 北京新能源汽车股份有限公司 一种空闲车位识别方法、装置及车辆
CN111623776B (zh) * 2020-06-08 2022-12-02 昆山星际舟智能科技有限公司 使用近红外视觉传感器和陀螺仪进行目标测距的方法
CN113191329A (zh) * 2021-05-26 2021-07-30 超级视线科技有限公司 一种基于单目视觉图片的车辆泊位匹配方法及系统
CN113284120B (zh) * 2021-05-31 2024-03-08 北京经纬恒润科技股份有限公司 限高高度测量方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103000067A (zh) * 2012-12-28 2013-03-27 苏州苏迪智能系统有限公司 直角转弯检测系统及其检测方法
CN103065520A (zh) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 倒车入库检测系统及其检测方法
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法
CN106153000A (zh) * 2016-06-17 2016-11-23 合肥工业大学 一种前方车辆距离检测方法
CN106295459A (zh) * 2015-05-11 2017-01-04 青岛若贝电子有限公司 基于机器视觉和级联分类器的车辆检测和预警方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI353778B (en) * 2007-12-21 2011-12-01 Ind Tech Res Inst Moving object detection apparatus and method
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN105818763B (zh) * 2016-03-09 2018-06-22 睿驰智能汽车（广州）有限公司 一种确定车辆周围物体距离的方法、装置及系统
CN106503653B (zh) * 2016-10-21 2020-10-13 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN106952308B (zh) * 2017-04-01 2020-02-28 上海蔚来汽车有限公司 运动物体的位置确定方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103000067A (zh) * 2012-12-28 2013-03-27 苏州苏迪智能系统有限公司 直角转弯检测系统及其检测方法
CN103065520A (zh) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 倒车入库检测系统及其检测方法
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法
CN106295459A (zh) * 2015-05-11 2017-01-04 青岛若贝电子有限公司 基于机器视觉和级联分类器的车辆检测和预警方法
CN106153000A (zh) * 2016-06-17 2016-11-23 合肥工业大学 一种前方车辆距离检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018177159A1 (zh) * 2017-04-01 2018-10-04 上海蔚来汽车有限公司 运动物体的位置确定方法及系统
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN109927731B (zh) * 2017-12-15 2020-09-18 蔚来(安徽)控股有限公司 驾驶员放手检测方法、装置、控制器及存储介质
CN109927731A (zh) * 2017-12-15 2019-06-25 蔚来汽车有限公司 驾驶员放手检测方法、装置、控制器及存储介质
CN108573226B (zh) * 2018-04-08 2021-10-08 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
CN108573226A (zh) * 2018-04-08 2018-09-25 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
CN110608746A (zh) * 2018-06-14 2019-12-24 大众汽车有限公司 用于确定机动车的位置的方法和装置
CN109086708A (zh) * 2018-07-25 2018-12-25 深圳大学 一种基于深度学习的停车位检测方法及系统
CN112534471A (zh) * 2018-11-29 2021-03-19 欧姆龙株式会社 图像生成装置、机器人训练系统、图像生成方法以及图像生成程序
CN109614914A (zh) * 2018-12-05 2019-04-12 北京纵目安驰智能科技有限公司 车位顶点定位方法、装置和存储介质
CN109872366A (zh) * 2019-02-25 2019-06-11 清华大学 基于深度拟合程度评估网络的物体三维位置检测方法和装置
CN113643355A (zh) * 2020-04-24 2021-11-12 广州汽车集团股份有限公司 一种目标车辆位置和朝向的检测方法、系统及存储介质
CN113643355B (zh) * 2020-04-24 2024-03-29 广州汽车集团股份有限公司 一种目标车辆位置和朝向的检测方法、系统及存储介质

Also Published As

Publication number Publication date
CN106952308B (zh) 2020-02-28
WO2018177159A1 (zh) 2018-10-04

Similar Documents

Publication Publication Date Title
CN106952308A (zh) 运动物体的位置确定方法及系统
CN112292711B (zh) 关联lidar数据和图像数据
CN107657237B (zh) 基于深度学习的汽车碰撞检测方法及系统
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
Shim et al. An autonomous driving system for unknown environments using a unified map
CN107038723B (zh) 棒状像素估计方法和系统
EP1590771B1 (en) Real-time obstacle detection with a calibrated camera and known ego-motion
US10645365B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
KR102229220B1 (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
CN112912928B (zh) 用于从点云中动态选择特征相关点的深度神经网络的方法和系统
CN110276287A (zh) 车位检测方法、装置、计算机设备以及存储介质
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
US9361543B2 (en) Automatic learning method for the automatic learning of forms of appearance of objects in images
CN111274862A (zh) 用于产生车辆的周围环境的标签对象的设备和方法
JP7226368B2 (ja) 物体状態識別装置
CN117437523B (zh) 联合sar ccd和全局信息捕获的微弱痕迹检测方法
US11975738B2 (en) Image annotation for deep neural networks
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN104471436A (zh) 用于计算对象的成像比例的变化的方法和设备
CN109859489A (zh) 一种车距估计方法、装置、车载设备及存储介质
CN114648743A (zh) 三维交通标志检测
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
CN111460854A (zh) 一种远距离目标检测方法、装置及系统
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
CN113327192A (zh) 一种通过三维测量技术测算汽车行驶速度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant