CN110908366B - 自动驾驶方法及装置 - Google Patents
自动驾驶方法及装置 Download PDFInfo
- Publication number
- CN110908366B CN110908366B CN201810990623.6A CN201810990623A CN110908366B CN 110908366 B CN110908366 B CN 110908366B CN 201810990623 A CN201810990623 A CN 201810990623A CN 110908366 B CN110908366 B CN 110908366B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- moment
- image
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 239000003550 marker Substances 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Abstract
本发明提供一种自动驾驶方法及装置。所述自动驾驶方法包括：获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息。将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像。通过神经网络对所述标记图像进行处理以控制所述车辆自动驾驶。本发明的技术方案，在很大程度上提高了车辆自动驾驶过程中对周围环境的感知能力,进而也提高了车辆自动驾驶过程中的行驶安全性。
Description
技术领域
本发明涉及汽车技术领域，更具体地，涉及一种自动驾驶方法及装置、计算机设备、计算机存储可读存储介质。
背景技术
先进驾驶辅助系统(ADAS，Advanced Driver Assistant System)利用安装于车上的摄像头、雷达、激光探测器、超声波探测器等探测光、热、压力等变量，进而在第一时间采集车内外的环境数据，感知采集到的道路、标识、行人车辆等环境数据，基于环境感知的结果进行预判以对车辆进行加速、转向、制动等控制。
目前ADAS对环境的识别通过以下两种方式进行：第一种摄像头将其采集到的数据发送给雷达，以雷达检测到的数据为主，摄像头采集到的数据为辅，当摄像头采集到的数据与雷达检测到的数据不一致时，由雷达做统一的数据整合和数据不一致时的仲裁处理。第二种，雷达将其检测到的数据发送给摄像头，以摄像头采集到的数据为主，雷达采集到的数据为辅，当雷达检测到的数据与摄像头采集到的数据不一致时，由摄像头做统一的数据整合和数据不一致时的仲裁处理。
采用上述方式对环境识别时，对于特定场景的环境(如雷达检测效果较好或者摄像头采集效果较好)识别效果还可以，然而车辆所处的实际环境较为复杂，因此采用上述方式识别的环境与真实环境差别较大，进而基于该环境识别的结果控制车辆行驶，影响行车安全性。
因此，如何提供一种自动驾驶方法以确保行车安全性，成为目前亟待解决的问题之一。
发明内容
本发明要解决的问题是提供一种自动驾驶方法，以提高行车安全性。
为解决上述问题，本发明技术方案提供一种自动驾驶方法，包括:
获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。
可选的，将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像包括：
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像；
将与各时刻对应的车辆左侧物体的信息，标记到与该时刻对应的左后视图像采集单元采集的图像信息中，以获得与各时刻对应的第二图像；
将与各时刻对应的车辆右侧物体的信息，标记到与该时刻对应的右后视图像采集单元采集的图像信息中，以获得与各时刻对应的第三图像；
组合与各时刻对应的第一图像、第二图像及第三图像以获得与各时刻对应的标记图像。
可选的，将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像包括：
获取传感器检测的物体位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的传感器检测的物体的位置信息映射至与该时刻对应的前视图像采集单元采集的图像中，以获得与各时刻对应的第四图像；
获取车辆前方物体的位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆前方物体的信息映射至与该时刻对应的第四图像，以获得与各时刻对应的第五图像；
识别与各时刻对应的前视图像采集单元采集的图像信息中，车辆所在的车道信息；
基于与各时刻对应的车辆的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的第五图像中车辆所在的车道，以获得与各时刻对应的第一图像。
可选的，将与各时刻对应的车辆左侧物体的信息，标记到与该时刻对应的左后视图像采集单元采集的图像信息中，以获得与各时刻对应的第二图像包括：
获取车辆左侧物体的位置信息与左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆左侧物体的信息映射至与该时刻对应的左后视图像采集单元采集的图像中，以获得与各时刻对应的第二图像。
可选的，将与各时刻对应的车辆右侧物体的信息，标记到与该时刻对应的右后视图像采集单元采集的图像信息中，以获得与各时刻对应的第三图像包括：
获取车辆右侧物体的位置信息与右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆右侧物体的信息映射至与该时刻对应的右后视图像采集单元采集的图像中，以获得与各时刻对应的第三图像。
可选的，所述通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶包括：
通过第一神经网络对与各时刻对应的标记图像进行处理以获得与各时刻对应的车辆的转角值；
通过第二神经网络对与各时刻对应的标记图像进行处理以获得与各时刻对应的车辆的加减速度值；
基于与各时刻对应的所述车辆的转角值及加减速度值控制所述车辆自动驾驶。
可选的，所述第一神经网络为卷积神经网络，第二神经网络为递归神经网络。
本发明技术方案还提供一种自动驾驶装置，包括：
获取单元，用于获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
标记单元，用于将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
控制单元，用于通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。
本发明技术方案还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述计算机程序时实现如下操作：
获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。
本发明技术方案还提供一种计算机存储可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时执行如上所述的自动驾驶方法。
与现有技术相比，本发明技术方案具有以下优点：
由于不是仅根据单一的传感器的数据为主要仲裁依据，而是将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，获得与各时刻对应的标记图像，与各时刻对应的标记图像中尽可能的包括了不同传感器(图像采集单元、传感器)检测到的信息，及其周围物体的信息，提高了对车辆周围环境的辨识度，且与各时刻对应的标记图像记录了车辆行驶过程中不同场景下信息，因此本发明的技术方案可以适用于车辆行驶过程中的多种场景，在将与各时刻对应的该标记图像通过神经网络进行处理时，很大程度上提高了车辆自动驾驶过程中对周围环境的识别的准确度，进而也提高了车辆自动驾驶过程中的行驶安全性。
附图说明
图1是本发明实施例的自动驾驶方法的流程图；
图2是本发明实施例的毫米波雷达检测的物体位置信息示意图；
图3是本发明实施例的获取毫米波雷达检测的物体位置信息与前视摄像头采集的图像中该物体的位置信息之间映射关系的示意图；
图4是本发明实施例的获取车辆前方物体的位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图；
图5是本发明实施例的某一时刻的第一图像的示意图；
图6是本发明实施例的获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图；
图7是组合某一时刻第一图像、第二图像、第三图像时的位置关系示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
正如背景技术中所述的，目前的环境识别方式对于特定场景的识别效果还可以。发明人指出以单一传感器为主的仲裁方案通常只能确保正常的较理想环境下，环境识别的准确性。而实际上每个传感器的性能均具有局限性，例如，雷达传感器对静止的物体和行人的目标识别效果较差，摄像头对黑夜或者雨雪等恶劣天气下的目标识别效果较差。因此，当车辆行驶在复杂的环境中时，若仍以单一传感器采集的数据为主进行仲裁时，对真实环境的识别度较低，识别效果差，进而基于该识别结果控制车辆自动驾驶时，行车安全性有所降低。于是发明人提出，将传感器检测到的物体信息、车辆周围物体的位置信息，以及导航信息标记到车辆的图像采集单元采集到的图像信息中，提高对车辆周围环境的辨识度，进而再通过神经网络对标记图像处理后获得相应的操作指令，以控制车辆的自动驾驶。
图1是本发明实施例的自动驾驶方法的流程图，如图1所示，所述自动驾驶方法包括：
S11：获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
S12：将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
S13：通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。
执行S11，车辆的前方、左右后视镜会设置有图像采集单元以采集相应视野范围内的图像，本实施例中，车辆图像采集单元包括车辆的前视图像采集单元、左后视图像采集单元及右后视图像采集单元，所述图像采集单元可以是摄像头。另外，车辆的前方还会设置有传感器，如毫米波雷达传感器、超声波传感器等来检测车辆前方是否有物体。本实施例中，车辆周围的物体可以是车辆、建筑物等设施，其可以通过车辆与车辆(设施)之间的信息交互获得，如可以获得周边车辆的位置信息及该车的长、宽、高等信息。车辆的导航信息则可以通过该车导航系统的地图获得。以下以图像采集单元为摄像头、传感器为毫米波雷达为例进行相应的说明。
执行S12：将与各时刻对应的毫米波雷达检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的摄像头采集的图像信息中，以获得与各时刻对应的标记图像。本实例中，对于不同时刻不同位置的摄像头采集到的图像信息，分别将获得的与该时刻、该摄像头视野关联的相关信息标记到该时刻下该摄像头采集到的图像信息中。
首先将与各时刻对应的毫米波雷达检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视摄像头采集的图像信息中，以获得与各时刻对应的第一图像。以下以某一时刻为例，说明在该时刻下如何获得所述第一图像，而对于其他时刻而言，获得其他时刻下的第一图像的方式与此相同。本实施例中，对于某一时刻而言，其第一图像的获取，具体地包括：
获取毫米波雷达检测的物体位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系。图2是本发明实施例的毫米波雷达检测的物体位置信息示意图。图2中给出了俯视视角下雷达检测的物体位置信息示意图(Z轴方向位置信息未显示)。如图2所示，对于毫米波雷达而言，其检测范围可被划分为16×256的空间区域，该区域中每一个方格内均有一个能量场数值，该数值为毫米波雷达接收到该方格空间内的能量场数值。如图2中所示的包围了六个方格的矩形框，则代表了毫米波雷达检测到的物体的位置，例如可以是检测到的位于车辆前方面向车辆行驶的某一车辆所在的位置、检测到的建筑物、人的位置等。矩形框(检测到的物体)所在的物理空间位置由毫米波雷达给出。矩形框的四个角的物理空间位置分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，其限定了检测到的物体所在的位置。若不考虑Z轴方向的信息，矩形框的位置可以用图2中的(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)来代表。
图3是本发明实施例的获取毫米波雷达检测的物体位置信息与前视摄像头采集的图像中该物体的位置信息之间映射关系的示意图。如图3所示，本实施例中，以车辆1的车牌中心为坐标原点O，在距离其一定位置处放置一长方体，此时长方体在x、y、z方向上的物理坐标可以通过测量的方式获得，也可以通过毫米波雷达获得，如为图3中所标示的(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)。通过前视摄像头采集前视图像，以获得该长方体在前视图像中的位置信息 长方体的物理空间坐标和其在前视图像中的像素坐标之间符合函数关系，因此可以以(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)作为函数的输入，/> 作为函数的输出以获得二者之间的映射关系。另外，本实施例中为了获得二者之间更加准确的映射关系，还可以在图3中所示的车辆1的左前方放置长方体，左下方、右下方放置长方体来获得多组物理空间坐标和对应的像素坐标数据，根据多组采样测试数据来获得二者之间的数学函数映射关系。
在获得了毫米波雷达检测的物体位置信息与前置摄像头采集的图像中该物体的位置信息之间的映射关系后，可以通过该映射关系将毫米波雷达检测的物体的位置信息映射至前视摄像头采集的前视图像中以获得第四图像。
获取车辆前方物体的位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系。
图4是本发明实施例的获取车辆前方物体的位置信息与前视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图。图4中以俯视的视角显示车辆之间的位置关系。如图4所示，本实施例中，仍以车辆1的车牌中心为坐标原点，在其左前方某一位置处停有车辆2，车辆1的中心位置O1和车辆2的中心位置O2的位置信息可以通过GPS获得，而车辆1的长宽高及车辆2的长宽高则可以通过V2V数据获得。车辆1在图4中所示的坐标系下的坐标，可以通过其中心位置O1的坐标和车辆1的长和宽获得，而车辆1和车辆2的相对位置关系可以通过二者中心位置的坐标差获得，因此，可以计算出在图4所示的坐标系中，车辆2靠近车辆1的这面，空间4个点对应的坐标(x5，y5，z5)，(x6，y6，z6)，(x7，y7，z7)(图中未示出)，(x8，y8，z8)(图中未示出)。而前视摄像头采集到的前视图像中(x5，y5，z5)对应的(x6，y6，z6)对应的/>(x7，y7，z7)对应的/>(x8，y8，z8)对应的已知，车辆2的物理空间坐标与前视图像中的像素坐标之间符合函数关系，因此可以以(x5，y5，z5)，(x6，y6，z6)，(x7，y7，z7)，(x8，y8，z8)作为函数的输入，作为函数的输出以获得二者之间的映射关系。另外，本实施例中为了获得二者之间更加准确的映射关系，图4中所示的车辆1的右前方可以停放车辆2，以获得车辆2的多组物理空间坐标和对应的像素坐标数据，根据多组数据来获得二者之间的映射关系。
本实施例中，在获得了该映射关系后，可以将车辆前方物体的位置信息映射至第四图像，以获得第五图像。映射过程中可只映射靠近车辆1的那面，车辆2靠近地面的轮廓线，即将(x7，y7，z7)和(x8，y8，z8)之间的连线映射至第四图像。映射过程中仅映射车辆2的部分轮廓线，既可以清晰的示意出车辆2的位置，也降低了映射过程中的计算量。
识别某一时刻前视摄像头采集的图像信息中，车辆所在的车道信息。所述车道信息包括：车道线和车道曲率。本实施例中，可以通过边缘检测、霍夫变换等检测车辆所在的车道线和车道曲率。在确定车辆所在的车道线及其曲率后，基于车辆的导航信息中高精地图给出的该时刻行驶车辆的导航标识，将该导航标识投射至第五图像中车辆所在的车道(可以为两条车道线的中间)，以获得该时刻下的第一图像。
至此通过上述过程将某一时刻的毫米波雷达检测到的物体位置信息、车辆前方物体的位置信息，以及导航信息标记到了该时刻前视摄像头采集到的前视图像中。对各个时刻毫米波雷达检测到的物体位置信息、车辆前方物体的位置信息，以及导航信息重复上述的标记过程，即将相关信息标记到各时刻对应的前视摄像头采集的图像中，即可获得与各时刻对应的第一图像。
图5是本发明实施例的某一时刻的第一图像的示意图。图5中示出了车辆1(图中未示出)的正前方和左前方均有车辆，除了图像中显示的车辆外，正前方车辆上还标记了毫米波雷达检测到的信息(标记于正前方车辆上的两道竖线)，标记了根据车辆1正前方车辆位置信息标记的横线11。左前方车辆上还标记了毫米波雷达检测到的信息(标记于左前方车辆上的一道竖线)，根据车辆1左前方车辆位置信息标记的横线12。此外，正前方车辆上还标记了导航标识(图中所示的箭头)。
其次，将与各时刻对应的车辆左侧物体的信息，标记到与该时刻对应的左后视图像采集单元采集的图像信息中，以获得与各时刻对应的第二图像。
具体地，先获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系。参见图6，图6是本发明实施例的获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系的示意图。图6中以俯视的视角显示车辆之间的位置关系。如图6所示，本实施例中，将车辆1的左后视摄像头等效为一个点，以其作为图中所示坐标系的原点O，在车辆1的左后方某一位置处停有车辆2，车辆1的中心位置O1和车辆2的中心位置O2的位置信息可以通过GPS获得，而车辆1的长宽高及车辆2的长宽高则可以通过V2V数据获得。车辆1在图6中所示的坐标系下的坐标，可以通过车辆1的长和宽获得，而车辆1和车辆2的相对位置关系可以通过二者中心位置的坐标差获得，因此，可以计算出在图6所示的坐标系中，离车辆1较近的车辆2的这面，空间4个点对应的坐标(x9，y9，z9)，(x10，y10，z10)，(x11，y11，z11)(图中未示出)，(x12，y12，z12)(图中未示出)。而车辆1的左后视摄像头采集到的左后视图像中(x9，x9，z9)对应的(x10，y10，z10)对应的/>(x11，y11，z11)对应的/>(x12，y12，z12)对应的已知，车辆2的物理空间坐标与左后视图像中的像素坐标之间符合函数关系，因此可以以(x9，y9，z9)，(x10，y10，z10)，(x11，y11，z11)，(x12，y12，z12)作为函数的输入 作为函数的输出以获得二者之间的映射关系。另外，本实施例中为了获得二者之间更加准确的映射关系，还可以在图6中车辆1左后方的其他位置停放车辆2，以获得车辆2的多组物理空间坐标和对应的像素坐标数据，根据多组采样测试数据来获得二者之间的数学函数映射关系。
本实施例中，在获得了该映射关系后，可以将车辆左侧物体的位置信息映射至左后视摄像头采集的图像中，以获得第二图像。映射过程中可只映射接近车辆1的那面，车辆2靠近地面的轮廓线，即将(x11，y11，z11)和(x12，y12，z12)之间的连线映射至左后视摄像头采集的图像中。
将每一个时刻车辆左侧物体的位置信息映射至该时刻左后视摄像头采集的图像中，即可获得与各时刻对应的第二图像。
再次，将与各时刻对应的车辆右侧物体的信息，标记到与该时刻对应的右后视图像采集单元采集的图像信息中。
具体地，先获取车辆右侧物体的位置信息与右后视摄像头采集的图像中该物体的位置信息之间的映射关系。本实施例中获取车辆右侧物体的位置信息与右后视摄像头采集的图像中该物体的位置信息之间的映射关系，与获取车辆左侧物体的位置信息与左后视摄像头采集的图像中该物体的位置信息之间的映射关系相类似，不同的是此处将车辆1的右后视摄像头等效为一个点，以其为坐标系原点，水平向右为X轴的正方向，竖直向上为Y轴的正方向建立坐标系。
在获得了该映射关系后，将车辆右侧物体的位置信息映射至右后视摄像头采集的图像中，以获得第三图像。类似地，映射过程中可只映射接近车辆1的那面，车辆2靠近地面的轮廓线。
将每一个时刻车辆右侧物体的位置信息映射至该时刻右后视摄像头采集的图像中，即可获得与各时刻对应的第三图像。
最后，组合与各时刻对应的第一图像、第二图像及第三图像以获得与各时刻对应的标记图像。即对每一个时刻对应的第一图像、第二图像、第三图像进行组合，以获得每一个时刻对应的标记图像。本实施例中可以以实际应用中需输入至神经网络的图像的尺寸，来调整各时刻对应的第一图像、第二图像及第三图像的尺寸(如进行拉伸和缩放)，以使得组合后的各时刻对应的标记图像的尺寸满足神经网络的输入需求。图7是组合某一时刻第一图像、第二图像、第三图像时的位置关系示意图，如图7所示，第一图像、第二图像、第三图像的位置符合车辆上各摄像头的位置关系，即第一图像位于标记图像的正上方、第二图像位于标记图像的左下方，第三图像位于标记图像的右下方。
在通过S12获得了与各时刻对应的标记图像后，执行S13通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。本实施例中具体地，通过两个神经网络对与各时刻对应的标记图像进行处理，通过将与各时刻对应的标记图像输入至第一神经网络，如卷积神经网络以获得与各时刻对应的车辆的转角值。通过将与各时刻对应的标记图像输入至第二神经网络，如递归神经网络以获得与各时刻对应的车辆的加减速度值。进而基于与各时刻对应的车辆的转角值及加减速度值控制所述车辆行驶。而第一神经网络和第二神经网络则可以通过训练神经网络模型获得，训练过程中的训练样本可以是通过上述方法获得的各时刻的标记图像及与该标记图像对应的驾驶者的操作指令。
本发明实施例，还提供一种自动驾驶装置，包括：
获取单元，用于获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
标记单元，用于将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
控制单元，用于通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述计算机程序时实现如下操作：
获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶。
本发明实施例还提供一种计算机存储可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时执行上述所述的自动驾驶方法。
综上所述，本发明提供的自动驾驶方法及装置、计算机设备、计算机存储可读存储介质，至少具有如下有益效果：
由于不是仅根据单一的传感器的数据为主要仲裁依据，而是将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，获得与各时刻对应的标记图像，与各时刻对应的标记图像中尽可能的包括了不同传感器(图像采集单元、传感器)检测到的信息，及其周围物体的信息，提高了对车辆周围环境的辨识度，且与各时刻对应的标记图像记录了车辆行驶过程中不同场景下信息，因此本发明的技术方案可以适用于车辆行驶过程中的多种场景，在将与各时刻对应的标记图像通过神经网络进行处理时，很大程度上提高了车辆自动驾驶过程中对周围环境的识别的准确度，进而也提高了车辆自动驾驶过程中的行驶安全性。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (9)
1.一种自动驾驶方法，其特征在于，包括：
获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶，
其中，将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像包括：
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像，
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像包括：
获取传感器检测的物体位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的传感器检测的物体的位置信息映射至与该时刻对应的前视图像采集单元采集的图像中，以获得与各时刻对应的第四图像；
获取车辆前方物体的位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆前方物体的信息映射至与该时刻对应的第四图像，以获得与各时刻对应的第五图像；
识别与各时刻对应的前视图像采集单元采集的图像信息中，车辆所在的车道信息；
基于与各时刻对应的车辆的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的第五图像中车辆所在的车道，以获得与各时刻对应的第一图像。
2.根据权利要求1所述的方法，其特征在于，将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像还包括：
将与各时刻对应的车辆左侧物体的信息，标记到与该时刻对应的左后视图像采集单元采集的图像信息中，以获得与各时刻对应的第二图像；
将与各时刻对应的车辆右侧物体的信息，标记到与该时刻对应的右后视图像采集单元采集的图像信息中，以获得与各时刻对应的第三图像；
组合与各时刻对应的第一图像、第二图像及第三图像以获得与各时刻对应的标记图像。
3.根据权利要求2所述的方法，其特征在于，将与各时刻对应的车辆左侧物体的信息，标记到与该时刻对应的左后视图像采集单元采集的图像信息中，以获得与各时刻对应的第二图像包括：
获取车辆左侧物体的位置信息与左后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆左侧物体的信息映射至与该时刻对应的左后视图像采集单元采集的图像中，以获得与各时刻对应的第二图像。
4.根据权利要求2所述的方法，其特征在于，将与各时刻对应的车辆右侧物体的信息，标记到与该时刻对应的右后视图像采集单元采集的图像信息中，以获得与各时刻对应的第三图像包括：
获取车辆右侧物体的位置信息与右后视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆右侧物体的信息映射至与该时刻对应的右后视图像采集单元采集的图像中，以获得与各时刻对应的第三图像。
5.根据权利要求1所述的方法，其特征在于，所述通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶包括：
通过第一神经网络对与各时刻对应的标记图像进行处理以获得与各时刻对应的车辆的转角值；
通过第二神经网络对与各时刻对应的标记图像进行处理以获得与各时刻对应的车辆的加减速度值；
基于与各时刻对应的所述车辆的转角值及加减速度值控制所述车辆自动驾驶。
6.根据权利要求5所述的方法，其特征在于，所述第一神经网络为卷积神经网络，第二神经网络为递归神经网络。
7.一种自动驾驶装置，其特征在于，包括：
获取单元，用于获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
标记单元，用于将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
控制单元，用于通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶，
其中，将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像包括：
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像，
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像包括：
获取传感器检测的物体位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的传感器检测的物体的位置信息映射至与该时刻对应的前视图像采集单元采集的图像中，以获得与各时刻对应的第四图像；
获取车辆前方物体的位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆前方物体的信息映射至与该时刻对应的第四图像，以获得与各时刻对应的第五图像；
识别与各时刻对应的前视图像采集单元采集的图像信息中，车辆所在的车道信息；
基于与各时刻对应的车辆的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的第五图像中车辆所在的车道，以获得与各时刻对应的第一图像。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处
理器上运行的计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现如下操作：
获取车辆图像采集单元采集的图像信息、传感器检测的物体信息、车辆周围物体的信息及车辆的导航信息；
将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像；
通过神经网络对与各时刻对应的标记图像进行处理以控制所述车辆自动驾驶，
其中，将与各时刻对应的传感器检测的物体信息、车辆周围物体的信息，及车辆的导航信息标记到与该时刻对应的图像采集单元采集的图像信息中，以获得与各时刻对应的标记图像包括：
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像，
将与各时刻对应的传感器检测的物体信息、车辆前方物体的信息、及车辆的导航信息，标记到与该时刻对应的前视图像采集单元采集的图像信息中，以获得与各时刻对应的第一图像包括：
获取传感器检测的物体位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的传感器检测的物体的位置信息映射至与该时刻对应的前视图像采集单元采集的图像中，以获得与各时刻对应的第四图像；
获取车辆前方物体的位置信息与前视图像采集单元采集的图像中该物体的位置信息之间的映射关系；
基于所述映射关系，将与各时刻对应的车辆前方物体的信息映射至与该时刻对应的第四图像，以获得与各时刻对应的第五图像；
识别与各时刻对应的前视图像采集单元采集的图像信息中，车辆所在的车道信息；
基于与各时刻对应的车辆的导航信息，将与各时刻对应的导航标识投射至与该时刻对应的第五图像中车辆所在的车道，以获得与各时刻对应的第一图像。
9.一种计算机存储可读存储介质，其特征在于，包括：计算机可执行指令，当所述计算机可执行指令被运行时执行如权利要求1~6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810990623.6A CN110908366B (zh) | 2018-08-28 | 2018-08-28 | 自动驾驶方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810990623.6A CN110908366B (zh) | 2018-08-28 | 2018-08-28 | 自动驾驶方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110908366A CN110908366A (zh) | 2020-03-24 |
| CN110908366B true CN110908366B (zh) | 2023-08-25 |
Family
ID=69812203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810990623.6A Active CN110908366B (zh) | 2018-08-28 | 2018-08-28 | 自动驾驶方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110908366B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102387349A (zh) * | 2011-10-31 | 2012-03-21 | 深圳市长宇电器有限公司 | 车载摄像头取得图像的显示方法及装置 |
| CN102944224A (zh) * | 2012-11-09 | 2013-02-27 | 大连理工大学 | 一种无人驾驶车的自动环境感知系统及其工作方法 |
| CN103661102A (zh) * | 2012-08-31 | 2014-03-26 | 北京旅行者科技有限公司 | 一种实时提示车辆周边路人的方法及装置 |
| CN104267721A (zh) * | 2014-08-29 | 2015-01-07 | 陈业军 | 一种智能汽车的无人驾驶系统 |
| CN104477167A (zh) * | 2014-11-26 | 2015-04-01 | 浙江大学 | 一种智能驾驶系统及其控制方法 |
| CN104943684A (zh) * | 2014-03-31 | 2015-09-30 | 比亚迪股份有限公司 | 无人驾驶汽车控制系统和具有其的汽车 |
| CN106004864A (zh) * | 2016-05-30 | 2016-10-12 | 广州汽车集团股份有限公司 | 一种车辆行驶控制方法及系统 |
| CN106080590A (zh) * | 2016-06-12 | 2016-11-09 | 百度在线网络技术（北京）有限公司 | 车辆控制方法和装置以及决策模型的获取方法和装置 |
| CN107161141A (zh) * | 2017-03-08 | 2017-09-15 | 深圳市速腾聚创科技有限公司 | 无人驾驶汽车系统及汽车 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101327736B1 (ko) * | 2011-12-23 | 2013-11-11 | 현대자동차주식회사 | Ａｖｍ탑뷰 기반 주차지원 시스템 |
| US20150316387A1 (en) * | 2014-04-30 | 2015-11-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detailed map format for autonomous driving |
| KR102277018B1 (ko) * | 2014-11-11 | 2021-07-14 | 현대모비스 주식회사 | 차량 주행 보조 장치 및 차량 주행 보조 방법 |
-
2018
- 2018-08-28 CN CN201810990623.6A patent/CN110908366B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102387349A (zh) * | 2011-10-31 | 2012-03-21 | 深圳市长宇电器有限公司 | 车载摄像头取得图像的显示方法及装置 |
| CN103661102A (zh) * | 2012-08-31 | 2014-03-26 | 北京旅行者科技有限公司 | 一种实时提示车辆周边路人的方法及装置 |
| CN102944224A (zh) * | 2012-11-09 | 2013-02-27 | 大连理工大学 | 一种无人驾驶车的自动环境感知系统及其工作方法 |
| CN104943684A (zh) * | 2014-03-31 | 2015-09-30 | 比亚迪股份有限公司 | 无人驾驶汽车控制系统和具有其的汽车 |
| CN104267721A (zh) * | 2014-08-29 | 2015-01-07 | 陈业军 | 一种智能汽车的无人驾驶系统 |
| CN104477167A (zh) * | 2014-11-26 | 2015-04-01 | 浙江大学 | 一种智能驾驶系统及其控制方法 |
| CN106004864A (zh) * | 2016-05-30 | 2016-10-12 | 广州汽车集团股份有限公司 | 一种车辆行驶控制方法及系统 |
| CN106080590A (zh) * | 2016-06-12 | 2016-11-09 | 百度在线网络技术（北京）有限公司 | 车辆控制方法和装置以及决策模型的获取方法和装置 |
| CN107161141A (zh) * | 2017-03-08 | 2017-09-15 | 深圳市速腾聚创科技有限公司 | 无人驾驶汽车系统及汽车 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110908366A (zh) | 2020-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
| CN108647638B (zh) | 一种车辆位置检测方法及装置 | |
| JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| EP2237988B1 (en) | Object detection and recognition system | |
| CN101976460B (zh) | 车载多目摄像机环视系统的虚拟视点图像生成方法 | |
| JP2020525809A (ja) | 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法 | |
| TW202018328A (zh) | 用於產生彩色點雲的方法和系統 | |
| CN109791598A (zh) | 用于识别地面标记的图像处理方法以及地面标记检测系统 | |
| US20050270286A1 (en) | Method and apparatus for classifying an object | |
| CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
| US10872246B2 (en) | Vehicle lane detection system | |
| Fernández et al. | Free space and speed humps detection using lidar and vision for urban autonomous navigation | |
| CN110008893A (zh) | 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 | |
| CN110901638B (zh) | 驾驶辅助方法及系统 | |
| Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
| CN109703465B (zh) | 车载图像传感器的控制方法和装置 | |
| TWI754808B (zh) | 載具、載具定位系統及載具定位方法 | |
| CN112257539A (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
| KR20210058640A (ko) | 골프장 자동 운전차의 내비게이션 전환 설비 | |
| US8031908B2 (en) | Object recognizing apparatus including profile shape determining section | |
| CN111376902B (zh) | 一种自动驾驶的车道保持方法及系统 | |
| Hara et al. | Vehicle localization based on the detection of line segments from multi-camera images | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| CN110908366B (zh) | 自动驾驶方法及装置 | |
| WO2022133986A1 (en) | Accuracy estimation method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230417 Address after: Building 7, No. 600 Xingxian Road, Jiading District, Shanghai, 201815 Applicant after: Continental Zhixing Technology (Shanghai) Co.,Ltd. Address before: No. 600, Xingxian Road, industrial zone, Jiading District, Shanghai, 201815 Applicant before: Continental tamic Automotive Systems (Shanghai) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |