一种自动驾驶视觉感知的可持续闭环链路的构建方法
技术领域
本发明涉及基于车路协同的自动驾驶技术领域,特别是涉及一种自动驾驶视觉感知的可持续闭环链路的构建方法。
背景技术
真值场景的构建和收集以及视觉感知算法迭代的闭环,是自动驾驶最为关键的一环,其效率、成本直接影响实际场景的落地。现有的技术方案大多只涉及环节中的某一项,没有形成闭环链路。而且,现有的自动驾驶真值场景的建立以及视觉感知算法迭代大多专注于自动驾驶车辆针对性的数据采集以及大规模的路端感知设备的铺设,没有充分利用路端感知设备具有的天然物理位置优势,导致成本高,不具备可持续性。同时,不同源的真值场景构建和标注不能直接应用于自动驾驶车辆,导致验证测试以及算法循环迭代复杂且不统一。
发明内容
本发明所要解决的技术问题是,克服现有技术的缺点,提供一种自动驾驶视觉感知的可持续闭环链路的构建方法。
为了解决以上技术问题,本发明的技术方案如下:
一种自动驾驶视觉感知的可持续闭环链路的构建方法,包括,
建立真值场景,并通过所述真值场景获取真值场景数据;
将所述真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代;
对经过优化迭代的所述视觉感知模型的算法进行场景回归验证。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述建立真值场景,并通过所述真值场景获取真值场景数据,将所述真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代包括,
在目标场景下部署全息视角的感知设备;
通过所述感知设备对所述目标场景进行数据采集并存储;
对采集到的数据进行全息融合,并进行真值标注处理,得到真值场景数据;
将所述真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述对采集到的数据进行全息融合,并进行真值标注处理,得到真值场景数据,将所述真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代包括,
对采集到的数据进行时间对齐;
对不同感知设备采集到的多源数据进行空间坐标数据对齐,实现数据的拼接融合;
根据所述感知设备的标定参数对拼接融合后的数据进行修正,形成全息视角场景数据;
对所述全息视角场景数据进行真值标注处理,得到全息真值场景数据;
将所述真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述将真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代包括,
将所述全息真值场景数据以及不同感知设备采集到的多源数据作为视觉感知模型的输入数据,对视觉感知模型的算法进行循环优化迭代。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述将真值场景数据作为视觉感知模型的输入数据,对所述视觉感知模型的算法进行优化迭代还包括,
将所述真值场景实时输出的全息视角场景数据作为车端视觉感知模型的感知数据补充。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:在所述在目标场景下部署全息视角的感知设备之后,还包括,
对所述感知设备进行标定参数的设置。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述感知设备呈正多边形或圆形均匀排布。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述感知设备均朝向正多边形或圆形的中心。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述对经过优化迭代的所述视觉感知模型的算法进行场景回归验证包括,
通过测试车辆在所述真值场景下进行视觉感知,获取场景感知数据;
将所述场景感知数据与所述真值场景实时输出的真值场景数据进行对比,验证测试车辆内经过优化迭代的所述视觉感知模型的算法的准确性以及所述真值场景数据的准确性。
作为本发明所述自动驾驶视觉感知的可持续闭环链路的构建方法的一种优选方案,其中:所述通过测试车辆在所述真值场景下进行视觉感知,获取场景感知数据包括,
测试车辆在不同时段沿不同方向在所述真值场景下进行视觉感知,分别获取场景感知数据。
本发明的有益效果是:
(1)本发明充分利用路端固定规则的优势,构建场景真值采集、算法迭代升级以及场景回归验证的闭环链路,从根本上解决了现有方案中真值场景的收集、构建以及算法迭代闭环的成本、效率和可持续性问题。
(2)本发明充分利用路端感知设备的物理位置优势,构建全息的场景视角,物理设备可以灵活投放至交通路况复杂的场景进行连续的场景采集,不仅成本低,而且采集效率高。
(3)本发明充分利用全息视角场景数据的物理确定性和时空易对齐性,通过数据层面的融合形成全息视角场景感知数据,并对其高效的识别进行时间连续、空间连续的真值场景,大大降低了真值标注的算法难度。
(4)本发明将真值场景数据与数据融合前的各个视角数据同时作为视觉感知模型的训练输入源,训练数据的输入不但有全局视角的真值参考,还有不同视角的数据,有效提高了感知场景下不同视角的感知模型的准确率,以便快速修正和收敛模型,进行算法优化的不断升级迭代。
(5)本发明充分利用全息视角识别的简易性,在路端全息视角的协助下,路端校准的实时真值系统作为连续的真值输出,作为自动驾驶车辆的感知真值的全息补充,自动驾驶车辆自身感知算法通过路端真值+自身感知增量来进一步简化车端感知融合算法和模型,从而在降低计算损耗的同时进一步提升感知准确率和召回率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明提供的自动驾驶视觉感知的可持续闭环链路的构建方法的流程示意图;
图2为本发明提供的自动驾驶视觉感知的可持续闭环链路的构建方法中步骤S101的具体流程示意图;
图3为形成全息视角的感知设备的分布示意图;
图4为不同感知设备采集到的数据进行空间坐标数据对齐的示意图;
图5为视觉感知模型训练迭代的示意图。
具体实施方式
为使本发明的内容更容易被清楚地理解,下面根据具体实施方式并结合附图,对本发明作出进一步详细的说明。
图1为本申请实施例提供的一种自动驾驶视觉感知的可持续闭环链路的构建方法的流程示意图。该方法包括步骤S101~步骤S103,具体步骤说明如下:
步骤S101:建立真值场景,并通过所述真值场景获取真值场景数据。
图2为步骤S101的具体流程示意图,具体包括如下步骤:
步骤S101a:在目标场景下部署全息视角的感知设备,并对感知设备进行标定参数的设置。
具体的,结合交通道路的实际情形,选择场景采集地点。一般选择交通路况复杂、交通事故频发或交通流量大等场景作为目标场景。在选择的场景中,在符合交通法规以及确保交通安全的前提下,部署并铺设感知设备,确保在应用范围内的场景下可以形成全息视角。
其中,感知设备的物理铺设准则选择几何规则放置。在本实施例中,感知设备呈正方形或圆形规则分布,来保证标定规则与投影规则统一简单,参见图3,包括感知设备A、B、C、D。当呈正方形布设时,四台感知设备分别位于正方形的四个拐角处,且四台感知设备均朝向正方形的中心。当呈圆形布设时,四台感知设备均位于同一圆周上,任意相邻的两台感知设备之间的间距均相等,且四台感知设备均朝向该圆的圆心。
在本实施例中,感知设备包括相机和雷达。
在全息视角的感知设备物理铺设完成后,还需要对感知设备进行标定参数的设置,供后续数据融合、真值标注和模型训练等使用。
步骤S101b:通过感知设备对目标场景进行数据采集并存储。
具体的,在完成全息视角铺设的物理场景下,通过分时间段、分场景自动触发感知设备进行数据采集,可采集到不同时间段以及不同场景下的数据,并将采集到的数据通过网络存储到云端存储中心。
步骤S101c:对采集到的数据进行全息融合,并进行真值标注处理,得到真值场景数据。
具体的,由于感知设备是分时段进行数据采集,因此需要对采集到的数据进行时间对齐,即对采集到的数据按照采集时间进行分类,在对同一时间段内采集到的数据进行数据融合。
数据融合层面需根据感知设备物理铺设的标准规则和标定参数,先对不同感知设备采集到的数据进行空间坐标数据对齐,进行数据层面的拼接融合。参见图4,以感知设备A、B、C、D呈正方形布设为例,感知设备A、B、C、D分别采集自身视角下的数据,即可能存在遮挡或采集盲区。通过对感知设备A、B、C、D采集到的数据进行空间坐标数据对齐,可将感知设备A、B、C、D采集到的自身视角下的数据拼接形成全息场景数据,从而消除遮挡以及采集盲区。
另外,在完成数据融合之后,还需要根据感知设备的标定系数对数据做进一步修正,最终形成时间和空间对齐的经过数据融合的全息视角场景数据。
基于获得的全息视角场景数据,由于其是全息视角,因此不存在遮挡和盲区,此时场景内所有目标均具有完整的结构模型,此时对目标物进行真值标注的准确率会通过各个视角的补全得到质的提升。在本实施例中,对于全息视角场景中的目标物标注可以使用真值标注算法模型进行高效识别和标注,即可通过真值标注算法模型自动标注目标物为行人、车辆、骑行者等,从而自动标签化全息数据场景,得到标签化,即真值标注后的全息真值场景数据。
步骤S102:将真值场景数据作为视觉感知模型的输入数据,对视觉感知模型的算法进行优化迭代。
具体的,基于真值场景输出的全息真值场景数据,对视觉感知模型的算法进行优化迭代主要分为两个方面。
其中,第一方面是以全息真值场景数据与数据融合之前的多源数据作为自动驾驶车辆以及路端视觉感知等模型算法的输入,进行算法优化的不断升级迭代。参见图5,以感知设备A、B、C、D呈正方形布设为例,通过分别将感知设备A、B、C、D采集到的分角度单数据源以及经过数据融合后的全息视角真值标注数据作为模型算法的输入,使模型算法不断升级迭代,从而不断提升算法的准确性。
第二方面是,随着视觉感知模型算法的不断升级迭代,路端设置的感知设备的多源数据采集以及数据融合可以作为实时的真值系统实时输出。自动驾驶车辆实时接收真值系统的输出,作为自动驾驶车辆感知真值的全息补充,同时自动驾驶车辆自身的视觉感知模型只负责感知delta的增量数据,达到了自动驾驶车辆自身视觉感知模型的算法通过路端真值+自身感知增量来进一步简化车端视觉感知模型和算法的效果,从而在降低计算损耗的同时进一步提升感知准确率和召回率。
步骤S103:对经过优化迭代的所述视觉感知模型的算法进行场景回归验证。
具体的,在对整体视觉感知模型的算法进行回归验证时,使用测试车辆在路端建立的真值场景下进行各个方位、各个时段的视觉感知,分别获取场景感知数据,然后将获取到的场景感知数据与真值场景实时输出的全息视角场景数据进行对比,进行真实场景的验证,可以充分验证真值场景标注的准确性、自动驾驶车辆自身视觉感知模型算法的准确性以及简化后视觉感知模型算法的准确性。
真实的测试场景可以覆盖更多的实时数据输入,在一个场景验证完成后,同样的方式可以低成本地复制到各个场景,迁移和复制成本大大降低。
由此,本申请的技术方案充分利用了路端固定规则的优势,构建场景真值采集、算法迭代升级以及场景回归验证的闭环链路,从根本上解决了现有方案中真值场景的收集、构建以及算法迭代闭环的成本、效率和可持续性问题。
除上述实施例外,本发明还可以有其他实施方式;凡采用等同替换或等效变换形成的技术方案,均落在本发明要求的保护范围。