CN107808360B - 一种端到端自动驾驶系统的数据处理方法及装置 - Google Patents
一种端到端自动驾驶系统的数据处理方法及装置 Download PDFInfo
- Publication number
- CN107808360B CN107808360B CN201710792451.7A CN201710792451A CN107808360B CN 107808360 B CN107808360 B CN 107808360B CN 201710792451 A CN201710792451 A CN 201710792451A CN 107808360 B CN107808360 B CN 107808360B
- Authority
- CN
- China
- Prior art keywords
- navigation system
- time
- value
- data
- coordinated universal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000013499 data model Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 2
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000013135 deep learning Methods 0.000 abstract description 21
- 238000004364 calculation method Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种端到端自动驾驶系统的数据处理方法及装置，其中的方法包括：将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中本发明通过将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种端到端自动驾驶系统的数据处理方法及装置。
背景技术
随着深度学习的迅速发展以及人工智能的深入研究，汽车工业发生了革命性的变化，通过端到端的深度学习实现自动驾驶便是自动驾驶领域的一个主要研究方向。在现有技术中，自动驾驶系统通常采用通过前方实时采集的图像、输出转向角和速度等数据建立的模型进行深度学习。采集的数据越多，则生成的模型越有利于深度学习。由于自动驾驶系统的前方实时采集的图像数量较多且难以存储在有限的存储空间中，从而限制了深度学习在自动驾驶领域的发展。
发明内容
本发明解决的技术问题之一是现有的自动驾驶系统的前方实时采集的图像数量较多且难以存储在有限的存储空间中。
根据本发明一方面的一个实施例，提供了一种端到端自动驾驶系统的数据处理方法，包括：
将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；
将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中。
根据本发明另一方面的一个实施例，提供了一种端到端自动驾驶系统的数据处理装置，包括：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置；
将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置。
由于本实施例将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
本领域普通技术人员将了解，虽然下面的详细说明将参考图示实施例、附图进行，但本发明并不仅限于这些实施例。而是，本发明的范围是广泛的，且意在仅通过后附的权利要求限定本发明的范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了根据本发明一实施例中的端到端自动驾驶系统的数据处理方法的流程图。
图2示出了本发明的实施例一提出的端到端自动驾驶系统的数据处理方法的流程图。
图3示出了本发明的实施例二提出的端到端自动驾驶系统的数据处理方法的流程图。
图4示出了根据本发明一实施例中的端到端自动驾驶系统的数据处理装置的框图。
图5示出了本发明的实施例三提出的端到端自动驾驶系统的数据处理装置的框图。
图6示出了本发明的实施例四提出的端到端自动驾驶系统的数据处理装置的框图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1是根据本发明一个实施例的端到端自动驾驶系统的数据处理方法的流程图。
结合图1中所示，本实施例所述的端到端自动驾驶系统的数据处理方法包括如下步骤：
S110、将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；
S120、将预定导航系统的协调世界时间、从该预定导航系统提取的速度值对应的高斯投影以及从该预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中。
下面对各步骤做进一步详细介绍。
步骤S110中，首先将原始图像数据的分辨率按比例缩小，以保证数据模型能够在有限的存储空间中正常训练。在本实施例中包括但不限于将原始图像数据按照1/3的比例缩小，缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
可选的，在将缩小后的图像数据存储在HDF5文件中后，还可将该HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间，以满足时间的准确性。并且，还可将该图像采集时间对应时刻的图像RGB数据写入该HDF5文件。
步骤S120中，首先可以从高精采集车中输出的ieout数据中读取姿态数据，可读取的姿态数据包括但不限于GPS周、周内秒、速度值以及GPS数据。
其中，可将GPS周和周内秒转换为协调世界时间(UTC Time)，将提取的速度值中的正东向速度值、正北向速度值、高程(H-Ell)值和与竖直方向的夹角(Heading)值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后将上述的协调世界时间、高斯投影和曲率值写入HDF5文件中。
可选的，本实施例还可根据上述经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
采用本实施例提出的技术方案，通过将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
实施例一
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
因此，本实施例提出了又一种端到端自动驾驶系统的数据处理方法，结合图2中所示，包括如下步骤：
S210、将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中。
将原始图像数据的分辨率按1/3的比例缩小，以保证数据模型能够在有限的存储空间中正常训练。缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
S220、将GPS标准时间转换为协调世界时间。
在读取GPS标准时间后可转换为协调世界时间，需要转换的内容包括GPS周和周内秒，如下表所示：
由于GPS标准时间的基准是1980年1月6日0点与协调世界时刻相一致，以后按原子时秒长累积计时，因此将上述四组时间转换后的协调世界时间值如下表所示：
S230、将提取的速度值转换为高斯投影。
其中，速度值可以包括正东向速度值、正北向速度值、高程值和与竖直方向的夹角值，具体数值如下表所示：
将上述四组数据进行高斯投影可通过Python模块中的transform函数完成。采用Python模块进行高斯投影计算的基本原则为从经纬度坐标计算到投影坐标。高斯投影需要确定投影后的中央经度及投影椭球参数信息，由于Python模块基于脚本语言，因此在Python中实现高斯投影计算使用的是其提供的基本函数，即transform函数即可完成计算。
S240、通过差值运算获得GPS数据的曲率。
GPS数据的曲率可通过以下计算式计算获得：
其中，x`表示y关于x的一阶导数，x``表示y关于x的二阶导数，x`表示x关于y的一阶导数，x``表示x关于y的二阶导数。
S250、将协调世界时间值、高斯投影值和曲率值写入HDF5文件中。
上述计算获得四组协调世界时间值、高斯投影值和曲率值都可写入一个HDF5文件中，并且更多的姿态数据也都能写入一个HDF5文件中，能够显著减小姿态数据占用的存储空间，因此可以提高自动驾驶系统的深度学习效率。
实施例二
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，图像存储还会导致存储的文件过多，不利于编辑和管理，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
虽然可以通过压缩图像的方式减小占用的存储空间，但是当需要读取这些文件时，还需要额外的解压缩过程，难以提高深度学习的效率。因此，本实施例提出了一种端到端自动驾驶系统的数据处理方法，结合图3中所示，包括如下步骤：
S310、调整实时采集的原始图像。
原始图像的分辨率通常为960*640，保证数据模型能够在有限的存储空间中正常训练，可将每张图像调整为320*320的分辨率，然后再将调整后的图像写入以.h5为后缀名的HDF5文件中。
其中，可将HDF5文件中的图像采集时间与时间数组[0.0,125.0,250.0,375.0,500.0,625.0,750.0,875.0,1000.0]中间隔最近的时间作为协调世界时间，同时写入该时刻的图像RGB数据。
S320、将读取的姿态数据进行转换处理后写入HDF5文件中。
转换处理包括将GPS周和周内秒转换为协调世界时间，将提取的速度值中的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后将上述的协调世界时间值、高斯投影值和曲率值写入一个HDF5文件中。
当采用传统的ZIP方式压缩图像文件时，8千张图像数据占用的存储空间约为16GB，而采用HDF5存储10万张图像数据占用的存储空间仅为15GB，采用HDF5格式存储的图像文件不仅占用存储空间较小，存储的文件数量较少，不仅利于编辑和管理，而且网络I/O开销也较低。
S330、构造数据模型。
从高精采集车采集的数据经过图像变换后获得图像数据，再将上述的协调世界时间值、高斯投影值以及曲率值构造数据模型，完成了端到端数据模型的建模。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
图4是根据本发明一个实施例的端到端自动驾驶系统的数据处理装置的框图。
结合图4中所示，本实施例所述的端到端自动驾驶系统的数据处理装置(以下简称“数据处理装置”)，包括如下装置：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置(以下简称“图像变换装置”)410；
用于将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置(以下简称“数据存储装置”)420。
下面对各装置做进一步详细介绍。
首先通过图像变换装置410将原始图像数据的分辨率按比例缩小，以保证数据模型能够在有限的存储空间中正常训练。在本实施例中包括但不限于通过图像变换装置410将原始图像数据按照1/3的比例缩小，缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
可选的，在将缩小后的图像数据存储在HDF5文件中后，还可通过图像变换装置410将该HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间，以满足时间的准确性。并且，还可通过图像变换装置410将该图像采集时间对应时刻的图像RGB数据写入该HDF5文件。
然后可以通过数据存储装置420从高精采集车中输出的ieout数据中读取姿态数据，可读取的姿态数据包括但不限于GPS周、周内秒、速度值以及GPS数据。
其中，可通过数据存储装置420将GPS周和周内秒转换为协调世界时间(UTCTime)，将提取的速度值中的正东向速度值、正北向速度值、高程(H-Ell)值和与竖直方向的夹角(Heading)值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后通过数据存储装置420将上述的协调世界时间、高斯投影和曲率值写入HDF5文件中。
可选的，本实施例还可通过模型构造装置根据上述经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
采用本实施例提出的技术方案，通过将缩小分辨率的图像、导航系统的协调世界时间、速度值对应的高斯投影以及GPS数据对应的曲率值都存储在HDF5文件中，从而能够以较少的存储空间存储大量数据，以建立更好的自动驾驶数据模型，进而提高的深度学习在自动驾驶领域的学习效率。
实施例三
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
因此，本实施例提出了又一种端到端自动驾驶系统的数据处理装置，结合图5中所示，包括如下装置：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置(以下简称“变换存储装置”)510；
用于将GPS标准时间转换为协调世界时间的装置(以下简称“时间转换装置”)520；
用于将提取的速度值转换为高斯投影的装置(以下简称“投影转换装置”)530；
用于通过差值运算获得GPS数据的曲率的装置(以下简称“差值运算装置”)540；
用于将协调世界时间值、高斯投影值和曲率值写入HDF5文件中的装置(以下简称“数据写入装置”)550。
通过变换存储装置510将原始图像数据的分辨率按1/3的比例缩小，以保证数据模型能够在有限的存储空间中正常训练。缩小后的图像数据可以存储在以.h5为后缀名的HDF5文件中。并且多张图像文件也可以存储到一个HDF5文件中，从而减少网络I/O的访问量。
在通过时间转换装置520将读取的GPS标准时间转换为协调世界时间的过程中，需要转换的内容包括GPS周和周内秒，如下表所示：
由于GPS标准时间的基准是1980年1月6日0点与协调世界时刻相一致，以后按原子时秒长累积计时，因此将上述四组时间转换后的协调世界时间值如下表所示：
其中，速度值可以包括正东向速度值、正北向速度值、高程值和与竖直方向的夹角值，具体数值如下表所示：
将上述四组数据通过投影转换装置530进行高斯投影可通过Python模块中的transform函数完成。采用Python模块进行高斯投影计算的基本原则为从经纬度坐标计算到投影坐标。高斯投影需要确定投影后的中央经度及投影椭球参数信息，由于Python模块基于脚本语言，因此在Python中实现高斯投影计算使用的是其提供的基本函数，即transform函数即可完成计算。
GPS数据的曲率可由差值运算装置540通过以下计算式计算获得：
其中，x`表示y关于x的一阶导数，x``表示y关于x的二阶导数，x`表示x关于y的一阶导数，x``表示x关于y的二阶导数。
上述计算获得四组协调世界时间值、高斯投影值和曲率值都可通过数据写入装置550写入一个HDF5文件中，并且更多的姿态数据也都能写入一个HDF5文件中，能够显著减小姿态数据占用的存储空间，因此可以提高自动驾驶系统的深度学习效率。
实施例四
在本领域的现有技术中，通过将高精采集车采集的图像存储在HDF5文件中的方式供机器学习和控制软件使用。该方法会导致存储图像的HDF5文件占用较多的存储空间，并且会明显增加网络I/O的开销，图像存储还会导致存储的文件过多，不利于编辑和管理，所以传统的数据处理方法不利于自动驾驶系统的深度学习。
虽然可以通过压缩图像的方式减小占用的存储空间，但是当需要读取这些文件时，还需要额外的解压缩过程，难以提高深度学习的效率。因此，本实施例提出了一种端到端自动驾驶系统的数据处理装置，结合图6中所示，包括如下装置：
用于调整实时采集的原始图像的装置(以下简称“调整采集装置”)610；
用于将读取的姿态数据进行转换处理后写入HDF5文件中的装置(以下简称“数据转换装置”)620；
用于构造数据模型的装置(以下简称“模型构造装置”)630。
原始图像的分辨率通常为960*640，保证数据模型能够在有限的存储空间中正常训练，可通过调整采集装置610将每张图像调整为320*320的分辨率，然后再通过调整采集装置610将调整后的图像写入以.h5为后缀名的HDF5文件中。
其中，可通过调整采集装置610将HDF5文件中的图像采集时间与时间数组[0.0,125.0,250.0,375.0,500.0,625.0,750.0,875.0,1000.0]中间隔最近的时间作为协调世界时间，同时写入该时刻的图像RGB数据。
通过数据转换装置620将GPS周和周内秒转换为协调世界时间，将提取的速度值中的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影，以及将GPS数据通过差值运算求得曲率。最后将上述的协调世界时间值、高斯投影值和曲率值写入一个HDF5文件中。
当采用传统的ZIP方式压缩图像文件时，8千张图像数据占用的存储空间约为16GB，而采用HDF5存储10万张图像数据占用的存储空间仅为15GB，采用HDF5格式存储的图像文件不仅占用存储空间较小，存储的文件数量较少，不仅利于编辑和管理，而且网络I/O开销也较低。
从高精采集车采集的数据经过图像变换后获得图像数据，再通过模型构造装置630将上述的协调世界时间值、高斯投影值以及曲率值构造数据模型，完成了端到端数据模型的建模。该数据模型是一种基于端到端的数据模型，可以为自动驾驶系统提供有效的深度学习的素材。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
虽然前面特别示出并且描述了示例性实施例，但是本领域技术人员将会理解的是，在不背离权利要求书的精神和范围的情况下，在其形式和细节方面可以有所变化。这里所寻求的保护在所附权利要求书中做了阐述。
Claims (11)
1.一种端到端自动驾驶系统的数据处理方法，包括：
将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中；所述预定分辨率小于所述图像采集时的分辨率；
将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中；并根据经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型；
其中，将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的步骤包括：
将所述HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间。
2.根据权利要求1所述的方法，将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的步骤还包括：
将所述图像采集时间对应时刻的图像RGB数据写入所述HDF5文件。
3.根据权利要求1所述的方法，确定所述预定导航系统的协调世界时间的步骤包括：
将所述预定导航系统的GPS周和周内秒转换为协调世界时间。
4.根据权利要求1所述的方法，确定所述预定导航系统提取的速度值对应的高斯投影的步骤包括：
将从所述预定导航系统中提取的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影。
5.根据权利要求1所述的方法，确定所述预定导航系统提取的GPS数据对应的曲率值的步骤包括：
将所述GPS数据通过差值运算获得曲率值。
6.一种端到端自动驾驶系统的数据处理装置，包括：
用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置；所述预定分辨率小于所述图像采集时的分辨率；
用于将预定导航系统的协调世界时间、从所述预定导航系统提取的速度值对应的高斯投影以及从所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中，并根据经过图像变换的图像数据、所述协调世界时间、所述高斯投影以及所述曲率值构造数据模型的装置；
其中，在所述用于将多张实时采集的图像变换为预定分辨率后存储在HDF5文件中的装置中包括：
用于将所述HDF5文件中的图像采集时间与预定时间数组中间隔最近的时间作为协调世界时间的装置。
7.根据权利要求6所述的装置，在所述用于将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置中包括：
用于将所述预定导航系统的GPS周和周内秒转换为协调世界时间的装置。
8.根据权利要求6所述的装置，在所述用于将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置还包括：
用于将从所述预定导航系统中提取的正东向速度值、正北向速度值、高程值和与竖直方向的夹角值都转换为高斯投影的装置。
9.根据权利要求6所述的装置，在所述用于将预定导航系统的协调世界时间、所述预定导航系统提取的速度值对应的高斯投影以及所述预定导航系统提取的GPS数据对应的曲率值存储在所述HDF5文件中的装置还包括：
用于将所述GPS数据通过差值运算获得曲率值的装置。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1至5中任一项所述的方法被执行。
11.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710792451.7A CN107808360B (zh) | 2017-09-05 | 2017-09-05 | 一种端到端自动驾驶系统的数据处理方法及装置 |
| PCT/CN2018/094494 WO2019047607A1 (zh) | 2017-09-05 | 2018-07-04 | 一种端到端自动驾驶系统的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710792451.7A CN107808360B (zh) | 2017-09-05 | 2017-09-05 | 一种端到端自动驾驶系统的数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107808360A CN107808360A (zh) | 2018-03-16 |
| CN107808360B true CN107808360B (zh) | 2020-08-04 |
Family
ID=61569865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710792451.7A Active CN107808360B (zh) | 2017-09-05 | 2017-09-05 | 一种端到端自动驾驶系统的数据处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107808360B (zh) |
| WO (1) | WO2019047607A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808360B (zh) * | 2017-09-05 | 2020-08-04 | 百度在线网络技术（北京）有限公司 | 一种端到端自动驾驶系统的数据处理方法及装置 |
| CN108897313A (zh) * | 2018-05-23 | 2018-11-27 | 清华大学 | 一种分层式端到端车辆自动驾驶系统构建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1959343A (zh) * | 2005-10-31 | 2007-05-09 | 北京师范大学 | 机载多角度成像测高技术 |
| CN105718859A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 自动驾驶中一种结合图形处理器进行限速牌检测的算法 |
| CN106060382A (zh) * | 2016-05-27 | 2016-10-26 | 北京金山安全软件有限公司 | 一种图像处理方法、装置及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080016023A1 (en) * | 2006-07-17 | 2008-01-17 | The Mathworks, Inc. | Storing and loading data in an array-based computing environment |
| US9747506B2 (en) * | 2015-10-21 | 2017-08-29 | Ford Global Technologies, Llc | Perception-based speed limit estimation and learning |
| CN107808360B (zh) * | 2017-09-05 | 2020-08-04 | 百度在线网络技术（北京）有限公司 | 一种端到端自动驾驶系统的数据处理方法及装置 |
-
2017
- 2017-09-05 CN CN201710792451.7A patent/CN107808360B/zh active Active
-
2018
- 2018-07-04 WO PCT/CN2018/094494 patent/WO2019047607A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1959343A (zh) * | 2005-10-31 | 2007-05-09 | 北京师范大学 | 机载多角度成像测高技术 |
| CN105718859A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 自动驾驶中一种结合图形处理器进行限速牌检测的算法 |
| CN106060382A (zh) * | 2016-05-27 | 2016-10-26 | 北京金山安全软件有限公司 | 一种图像处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019047607A1 (zh) | 2019-03-14 |
| CN107808360A (zh) | 2018-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3621034B1 (en) | Method and apparatus for calibrating relative parameters of collector, and storage medium | |
| CN110246147B (zh) | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 | |
| JP6862409B2 (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
| CN113406682B (zh) | 一种定位方法、装置、电子设备及存储介质 | |
| EP3552388B1 (en) | Feature recognition assisted super-resolution method | |
| DE102020211472A1 (de) | System und verfahren zur verbesserung eines nicht inertialen tracking-systems mit inertialen beschränkungen | |
| EP4035061A1 (en) | Systems and methods for generating annotations of structured, static objects in aerial imagery using geometric transfer learning and probabilistic localization | |
| CN107808360B (zh) | 一种端到端自动驾驶系统的数据处理方法及装置 | |
| CN117541655B (zh) | 融合视觉语义消除radar建图z轴累积误差的方法 | |
| CN114661028A (zh) | 智能驾驶控制器测试方法、装置、计算机设备和存储介质 | |
| US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
| CN115578386B (zh) | 泊车图像生成方法、装置、电子设备及存储介质 | |
| CN111031258B (zh) | 月球车导航相机曝光参数确定方法及装置 | |
| JP6704134B1 (ja) | 情報処理装置及び方法 | |
| CN112162561A (zh) | 一种地图构建优化方法、装置、介质及设备 | |
| CN114627438A (zh) | 目标检测模型生成方法、目标检测方法、设备及介质 | |
| CN111696159A (zh) | 激光里程计的特征存储方法、电子设备和存储介质 | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
| CN117132904A (zh) | 实时飞行位置定位方法、装置、飞行器以及存储介质 | |
| CN115588085A (zh) | 轴线重建方法、设备及存储介质 | |
| CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
| CN114419155B (zh) | 一种基于激光雷达辅助的视觉建图方法 | |
| CN118521764B (zh) | 拒止环境下无人机对地目标组合定位方法、装置及系统 | |
| CN113592929B (zh) | 一种无人机航摄影像实时拼接方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |