CN111480182A - 道路地图生成系统以及道路地图生成方法 - Google Patents

Abstract

本发明涉及道路地图生成系统以及道路地图生成方法。道路地图生成系统(1)从搭载有车载相机(4)的多台车辆(A)收集拍摄这些车辆(A)的行驶中的道路状况而得的相机图像数据，并基于这些相机图像数据来生成道路地图数据，并具备：图像处理装置(14)，对收集到的相机图像数据进行图像处理，转换为从正上方观察的正投影图像，并且将多个正投影图像连结来生成连结图像；提取装置(14)，从连结图像提取道路上的道路标识的不良位置；判定装置(14)，判定道路标识的不良位置是由图像处理装置的图像处理时的噪声引起的还是现实中产生不良；以及修正装置(14)，基于判定装置(14)的判定结果，在道路标识的不良位置是由图像处理时的噪声引起的情况下，进行该道路标识的修正处理。

Description

道路地图生成系统以及道路地图生成方法

相关申请的交叉引用

本申请基于2017年12月15日申请的日本申请号2017－240642号，并在此引用其记载内容。

技术领域

本公开涉及从搭载有车载相机的多台车辆收集拍摄这些车辆的行驶中的道路状况而得的相机图像数据，并基于这些相机图像数据来生成道路地图数据的道路地图生成系统以及道路地图生成方法。

背景技术

已经考虑了一种通过搭载在车辆上的道路面拍摄系统，一边在道路上行驶一边拍摄路面，根据该图像生成包括路面标识的道路地图的系统(例如参照专利文献1)。在该系统中，将由相机拍摄的拍摄图像转换为包括路面标识的从正上方观察的正投影图像，进一步，将构成周边的多个正投影图像以路面标识成为适当的位置关系的方式组合来获得连结图像。另外，还公开了一并进行对路面标识的误识别进行修正的处理。

专利文献1:日本特开2009－223221号公报

近年来，对汽车的自动驾驶技术的实现的趋势正在提高，有想要配备为此的高精度的道路地图数据的需求。在上述专利文献1的技术中，例如道路的中央线、车道边界线的涂料歪斜的情况下，进行将其修正为笔直这样的处理。然而，也考虑到实际上道路状况较差，涂料产生歪斜的情况。因此，若单纯地进行路面标识的修正，则产生无法获得符合现实的准确的道路地图数据的情况。该情况下，对于涂料实际上消失这样的道路状况不好的道路，取消自动驾驶会带来安全、安心，所以希望获得符合现实的准确的道路地图数据。

发明内容

本公开的目的在于提供基于收集车载相机的相机图像数据来生成道路地图数据，且能够生成忠实地反映实际的道路状况的准确的道路地图数据的道路地图生成系统以及道路地图生成方法。

在本公开的第一方式中，道路地图生成系统是从搭载有车载相机的多台车辆收集相机图像数据，并基于这些相机图像数据来生成道路地图数据的系统，其中上述相机图像数据是拍摄这些车辆的行驶中的道路状况而得的数据，上述道路地图生成系统具备：图像处理装置，对上述收集到的相机图像数据进行图像处理，转换为从正上方观察的正投影图像，并且连结多个正投影图像来生成连结图像；提取装置，从上述连结图像提取道路上的道路标识的不良位置；判定装置，判定上述道路标识的不良位置是由上述图像处理装置的图像处理时的噪声引起的位置，还是现实中产生不良的位置；以及修正装置，基于上述判定装置的判定结果，在上述道路标识的不良位置是由图像处理时的噪声引起的位置的情况下，进行该道路标识的修正处理。

据此，若从多台车辆收集拍摄车辆的行驶中的道路状况而得的相机图像数据，则通过图像处理装置对收集到的相机图像数据进行图像处理，转换为从正上方观察的正投影图像。与此同时，将多个正投影图像连结来生成连结图像。接下来，若通过提取装置从该连结图像提取出道路上的道路标识的不良位置，则通过判定装置判定该道路标识的不良位置是由图像处理装置的图像处理时的噪声引起的位置，还是现实中产生不良的位置。而且，基于判定装置的判定结果，在道路标识的不良位置是由图像处理时的噪声引起的位置的情况下，通过修正装置进行该道路标识的修正处理。

此时，由修正装置进行道路标识的不良位置的修正限于由判定装置判定为道路标识的不良位置是由图像处理装置的图像处理时的噪声引起的情况。在由判定装置判定为现实中产生了不良的情况下，不进行修正。其结果为，起到基于收集车载相机的相机图像数据来生成道路地图数据时，能够生成忠实地反映实际的道路状况的准确的道路地图数据的优异的效果。

附图说明

关于本公开的上述目的以及其它目的、特征及优点，参照附图并通过下述的详细描述会变得更加明确。在该附图中：

图1是表示一个实施方式的图，且是示意性地表示系统的整体结构的图。

图2是示意性地表示车载装置的结构的框图。

图3是示意性地表示数据中心的主要部分构成的框图。

图4是示意性地表示处理控制装置执行的地图数据的生成的处理的顺序的流程图。

图5是示意性地表示处理控制装置执行的道路标识的变化的积蓄存储的处理的顺序的流程图。

图6A是用于说明图像处理的过程的图(其1)。

图6B是用于说明图像处理的过程的图(其2)。

图7A是表示道路标识的变化图案的例子(其1)的图。

图7B是表示道路标识的变化图案的例子(其2)的图。

图7C是表示道路标识的变化图案的例子(其3)的图。

具体实施方式

以下，参照附图，对将本公开具体化的一个实施方式进行说明。图1示意性地示出本实施方式所涉及的道路地图生成系统1的整体构成。此处，道路地图生成系统1由收集并分析相机图像数据且生成道路地图数据的数据中心2、和在道路上行驶的多台车辆A群构成。具体而言，上述车辆A群包括乘用车、卡车等一般的汽车整体。

在上述各车辆A中搭载有用于实现道路地图生成系统1的车载装置3。如图2所示，车载装置3具备车载相机4、位置检测部5、各种车载传感器6、地图数据库7、通信部8、图像数据存储部9、操作部10、控制部11。其中，车载相机4构成为例如设置在车辆A的前部并至少拍摄行驶方向前方的道路状况。上述位置检测部5基于公知的GPS接收机的接收数据等来检测本车位置。上述各种车载传感器6检测本车的速度信息、行驶方向(朝向)的信息等。另外，上述车载相机4能够设置在车辆A的前后以及左右。另外，作为车载相机4的种类，能够采用广角相机，特别是对于前方相机而言，优选采用双目式以上的相机。

上述地图数据库7例如存储有全国的道路地图信息。上述通信部8经由移动通信网或使用路车间通信等来进行与上述数据中心2之间的通信。在上述图像数据存储部9中，对上述车载相机4拍摄的相机图像数据附加此时的本车位置、行驶速度、行驶方向、拍摄时间等数据进行存储。上述操作部10具有未图示的开关、显示部，由车辆A的用户(驾驶员)进行所需的操作。

上述控制部11包括计算机而构成，控制整个车载装置3。该情况下，当车辆A正行驶时，控制部11通过上述车载相机4始终拍摄前方的道路状况，并将该相机图像数据与本车位置数据等一起存储至上述图像数据存储部9。而且，定期地例如一日一次通过上述通信部8对上述数据中心2发送图像数据存储部9中存储的相机图像数据。

另一方面，如图3所示，上述数据中心2具备通信部12、输入操作部13、处理控制装置14、相机图像数据库15、正投影图像数据库16、连结图像数据库17、道路地图数据库18、变化信息数据库19。其中，上述通信部12通过与各车辆A的通信部8之间的通信接收上述相机图像数据。上述输入操作部13用于操作人员进行所需的输入操作。

上述处理控制装置14以计算机为主体而构成，进行整个数据中心2的控制。与此同时，如后面详述那样，处理控制装置14执行道路地图数据的生成处理、道路标识的变化的积蓄存储的处理等处理。在上述相机图像数据库15中收集并存储从各车辆A发送的相机图像数据。此时，例如从在日本全国行驶的一般的车辆A收集膨大的相机图像数据。

另外，在上述处理控制装置14执行的道路地图数据的生成处理中，在上述正投影图像数据库16中存储正投影图像的数据，在连结图像数据库17中存储连结图像的数据。进一步，在道路地图数据库18中存储所生成的高精度的道路地图数据。而且，在本实施方式中，在上述处理控制装置14执行的道路标识的变化的积蓄存储的处理中，在上述变化信息数据库19中积蓄存储道路标识的最新(当前)的变化信息。

另外，如在后面的作用说明(流程图说明)中所述那样，在本实施方式中，上述数据中心2的处理控制装置14在进行道路地图数据的生成处理时，执行接下来的处理。即，首先，处理控制装置14对上述相机图像数据库15中存储的相机图像数据进行图像处理，转换为从正上方的正投影图像。与此同时，执行将多个正投影图像连结配置来生成连结图像的处理(图像处理工序)。

接下来，处理控制装置14执行从上述连结图像提取道路上的道路标识的不良位置的处理(提取工序)。接着，处理控制装置14执行判定提取出的道路标识的不良位置是由图像处理工序中的噪声引起的还是现实中产生不良的处理(判定工序)。而且，处理控制装置14基于该判定结果，在上述道路标识的不良位置是由图像处理时的噪声引起的情况下执行该道路标识的修正处理(修正工序)。

此时，在本实施方式中，在从连结图像提取道路上的道路标识的不良位置的处理时，处理控制装置14提取作为道路标识而涂在道路上的标识线的缺损部分或者歪斜部分作为不良位置。另外，在进行道路标识的修正处理时，在道路标识的不良位置是由图像处理时的噪声引起的情况下，处理控制装置14将标识线的缺损部分或者歪斜部分修正为平滑地连接。另外，此处所说的“标识线”包括车道中央线、车道边界线、车道外侧线、车辆通行区等车道划分线、停止线、行人或自行车的横穿区等各种线，主要是指在道路上用白色涂的图案。

与此同时，处理控制装置14并行执行道路标识的变化的积蓄存储的处理。在该道路标识的变化的积蓄存储的处理中，处理控制装置14执行从相机图像数据库15中存储的相机图像数据检测在同一位置存在道路标识的时间变化的处理(检测工序)。而且，在检测到道路标识的变化的情况下，执行将该变化信息积蓄存储至上述变化信息数据库19的处理(存储工序)。

此时，处理控制装置14在从相机图像数据检测在同一位置存在道路标识的时间变化的处理中，检测下面的道路标识的变化的图案。即，作为变化的图案，而检测道路上的轮胎打滑痕迹、重新铺装、部分的塌陷或者隆起、开裂、灾害所造成的异常状态中的至少任意一个的产生。处理控制装置14在检测到符合任意一个变化图案的道路标识的变化的情况下，将该变化信息积蓄存储至变化信息数据库19。在变化信息数据库19中存储道路的位置、变化图案、时间、符合的相机图像(参照图7A～图7C)等的数据，作为变化信息。

而且，处理控制装置14在道路地图数据的生成处理中，进行判定提取出的道路标识的不良位置是由图像处理工序中的噪声引起的还是现实中产生不良的处理。此时，处理控制装置14参照变化信息数据库19中积蓄存储的变化信息进行判定。换句话说，在提取出道路标识(标识线)的不良的位置处，在变化信息数据库19不存在变化信息的情况下，符合的道路位置中的道路标识的不良被判定为由图像处理上的噪声引起的。在变化信息数据库19存在变化信息的情况下，判定为现实中产生不良。

由此，在进行对连结图像的必要的修正后，基于该连结图像来生成最新的高精度的道路地图数据，并存储至道路地图数据库18。另外，虽然没有图示，但在本实施方式的道路地图生成系统1中，数据中心2构成为能够将所生成的最新的道路地图数据等提供到外部。例如，从数据中心2向动态信息中心提供交通信息，或向地图供应商、汽车制造商等提供自动驾驶用的高精度的道路地图数据。

接下来，也参照图4至图7C，对上述结构的道路地图生成系统1的作用进行叙述。图4的流程图示出主要由数据中心2的处理控制装置14执行的道路地图数据的生成处理的顺序。另外，图5的流程图示出处理控制装置14执行的道路标识的变化的积蓄存储的处理顺序。首先，在图5的流程图中，在步骤S11中，访问相机图像数据库15读入相机图像数据。在其次的步骤S12中，进行从相机图像数据检测道路标识的时间变化的处理(检测工序)。

此处，例如在道路铺装时、道路标识的涂料的重新涂刷时等初始状态时，道路标识是正常的，如果道路标识产生不良，则认为由于从初始状态伴随以后的道路标识的时间经过而产生的一些变化。在本实施方式中，如上述那样，作为道路标识的变化的图案，而检测道路上的轮胎打滑痕迹、重新铺装、部分的塌陷或者隆起、开裂、灾害所造成的异常状态中的至少任意一个的产生。而且，在检测到道路标识的变化的情况下，在步骤S13中，进行将该变化信息写入变化信息数据库19的处理(存储工序)。这样在变化信息数据库19中积蓄存储变化信息。

此处，图7A～图7C示出存在道路标识的变化的情况下的图像的图案的例子。图7A示出例如由于道路施工后的回填而产生部分的隆起(凹凸)，标识线(车道划分线)歪斜的样子。图7B示出由于道路上的轮胎的打滑痕迹而导致车道划分线在中途消失的样子。图7C示出由于灾害(斜坡的崩塌)而沙土堆积，产生包括标识线的道路的一部分被掩埋的异常状态的样子。通过预先对这些变化进行图案化，能够容易从相机图像检测到。

接下来，在表示道路地图数据的生成处理的顺序的图4的流程图中，首先在步骤S1中，在各车辆A的车载装置3中，通过车载相机4拍摄行驶中的道路状况。在下一个步骤S2中，将在各车辆A中拍摄的相机图像的数据被收集到数据中心2并写入相机图像数据库15。图6A示出此时的相机图像的例子。该情况下，在各车辆A中，通过控制部10的控制来执行上述步骤S1的处理。

在步骤S2的处理中，从各车辆A通过通信部8将相机图像数据发送至数据中心2，在数据中心2中，将经由通信部12接收到的相机图像数据通过处理控制装置14的控制写入相机图像数据库15。该情况下，从在全国的道路行驶的多台一般的车辆A收集全国的道路的最新的相机图像数据。

步骤S3～S6是处理控制装置14执行的图像处理的工序，在步骤S3中，执行从相机图像数据库15读入相机图像，将各帧图像转换为从正上方观察的状态并生成正投影图像的处理。在步骤S4中，将所生成的正投影图像写入正投影图像数据库16。在下一个步骤S5中，执行通过将所生成的正投影图像沿着车辆A的行驶时的行驶轨迹配置多个并连结(校准)，来生成连结图像的处理。在步骤S6中，将所生成的连结图像写入连结图像数据库17。图6B示出连结图像的一个例子。

而且，在步骤S7中，从所生成的连结图像识别道路上的道路标识，并根据需要执行进行道路标识的修正的处理。更具体而言，执行从连结图像提取道路上的道路标识的不良位置的提取处理(提取工序)。接下来，执行判定该道路标识的不良位置是由上述图像处理的工序中的图像处理时的噪声引起的还是现实中产生不良的判定处理(判定工序)。而且，执行基于该判定结果，在道路标识的不良位置是由图像处理时的噪声引起的情况下修正该道路标识的处理(修正工序)。

此处，如图6B所例示，作为道路标识的不良，有图中附图标记B1所示那样的、例如本来应为直线的停止线在中途偏离地歪斜的情况。另外，有附图标记B2所示那样的、例如本来应为直线的车道边界线被设置成之字形状的情况。若提取出道路标识的不良位置，则执行判定工序，但在本实施方式中，参照上述变化信息数据库19中存储的变化信息进行判定。此时，在提取出道路标识的不良的位置处，变化信息数据库19中存在符合的道路位置的变化信息时，能够推断为现实中产生不良。此时，不进行道路标识的修正。

与此相对，变化信息数据库19中不存在符合的道路位置中的变化信息时，能够推断为该道路标识的不良是由图像处理上的噪声引起的。此时，进行道路标识的不良部分的修正。当产生涂在道路上的标识线(道路划分线等)的缺损部分或者歪斜部分的情况下，进行修正，以使该标识线的缺损部分或者歪斜部分平滑地连接。之后，在步骤S8中，从修正处理后的连结图像生成道路地图数据，并写入道路地图数据库18。通过以上的处理，生成最新且高精度的道路地图数据。

如以上那样，根据本实施方式的道路地图生成系统1，能够获得如下那样的优异的效果。即，在本实施方式中，在基于收集车载相机4的相机图像数据来生成道路地图数据，且从连结图像提取出道路上的道路标识的不良位置时，限于判定为该道路标识的不良位置是由图像处理时的噪声引起的情况下进行修正。而且，在判定的工序中，在判定为现实中产生不良的情况下，不进行修正。

其结果，能够生成忠实地反映实际的道路状况的准确的道路地图数据。进而，能够为汽车的自动驾驶用的高精度的道路地图数据的设置做出很大贡献。另外，在本实施方式的道路地图生成系统1中，能够基于收集在全国的道路行驶的一般的多台的车辆A的车载相机4的相机图像数据来生成地图数据。因此，也能够获得与使专用的车辆行驶来获得数据不同，能够以廉价的成本生成高精度的地图数据这个优点。

此时，在本实施方式中，若在道路标识的变化的积蓄存储的处理中，从相机图像数据检测到在同一位置存在道路标识的时间变化，则在变化信息数据库19中积蓄存储该变化信息。而且，在判定道路标识的不良是否是由图像处理上的噪声引起的工序中，参照变化信息数据库19中存储的变化信息进行判定即可。因此，能够容易且可靠地进行判断的处理。

另外，产生现实的道路上的轮胎打滑痕迹、再铺装、部分的塌陷或者隆起、开裂、灾害所造成的异常状态的至少任意一个成为判断为道路标识的不良的重要因素，换句话说，成为现实中道路标识产生缺损或歪斜的原因。在本实施方式中，在检测的工序中，构成为从相机图像数据作为道路标识的变化的图案而检测道路上的轮胎打滑痕迹、重新铺装、部分的塌陷或者隆起、开裂、灾害所造成的异常状态的至少任意一个的产生。通过预先对那些变化进行图案化，能够容易从相机图像检测道路标识的变化。

特别是在本实施方式中，提取作为道路标识而涂在道路上的标识线的缺损部分或者歪斜部分作为不良位置，并在道路标识的不良位置是由图像处理时的噪声引起的情况下，修正标识线的缺损部分或者歪斜部分，以使其平滑地连接。由此，能够正确地修正由图像处理时的噪声引起的标识线的缺损部分或者歪斜部分，并能够生成高精度的地图数据。

另外，在上述实施方式中，构成为由计算机构成的处理控制装置14自动进行数据中心2中的各种处理(工序)，但也可以构成为包括来自操作人员的输入指示，以所谓的半自动地执行处理。据此，例如在进行现实中是否产生道路标识的不良的判定时，使显示装置显示相机图像数据，操作人员能够参照该相机图像数据进行判定。因此，能够容易确认实际的图像，准确地进行判定。

另外，在上述实施方式中，从车辆A通过无线通信收集相机图像数据，但例如也可以构成为经由SD卡等存储介质收集相机图像数据。除此以外，车辆(车载装置)、数据中心的硬件构成等也可以进行各种变更。

根据实施例对本公开进行了叙述，但应理解为本公开并不限于该实施例、构造。本公开也包含各种变形例、等同范围内的变形。此外，各种组合、方式、进而在这些组合、方式中仅包含一个要素、更多或更少的其它组合、方式也落入本公开的范畴、思想范围中。

Claims (10)

1.一种道路地图生成系统，该道路地图生成系统(1)从搭载有车载相机(4)的多台车辆(A)收集相机图像数据，并基于这些相机图像数据来生成道路地图数据，其中上述相机图像数据是拍摄这些车辆(A)的行驶中的道路状况而得的数据，具备：

图像处理装置(14)，对收集到的上述相机图像数据进行图像处理，转换为从正上方观察的正投影图像，并且连结多个正投影图像来生成连结图像；

提取装置(14)，从上述连结图像提取道路上的道路标识的不良位置；

判定装置(14)，判定上述道路标识的不良位置是由上述图像处理装置的图像处理时的噪声引起的位置，还是现实中产生了不良的位置；以及

修正装置(14)，基于上述判定装置(14)的判定结果，在上述道路标识的不良位置是由图像处理时的噪声引起的位置的情况下，进行该道路标识的修正处理。

2.根据权利要求1所述的道路地图生成系统，其中，

上述判定装置(14)参照上述道路标识的不良位置的上述相机图像数据进行判定。

3.根据权利要求1或者2所述的道路地图生成系统，具备：

检测装置(14)，从上述相机图像数据检测在同一位置存在道路标识的时间变化这一情况；以及

变化信息存储装置(19)，在由上述检测装置检测到道路标识的变化的情况下，对该变化的信息进行积蓄存储，

上述判定装置(14)参照上述变化信息存储装置(19)中存储的变化信息进行判定。

4.根据权利要求3所述的道路地图生成系统，其中，

上述检测装置(14)从上述相机图像数据检测道路上的轮胎打滑痕迹、重新铺装、部分的塌陷或者隆起、开裂、灾害所造成的异常状态中的至少任意一个的产生而作为上述道路标识的变化的图案。

5.根据权利要求1～4中的任意一项所述的道路地图生成系统，其中，

上述提取装置(14)从上述连结图像提取作为上述道路标识而涂在道路上的标识线的缺损部分或者歪斜部分，作为不良位置，

在上述道路标识的不良位置是由图像处理时的噪声引起的情况下，上述修正装置(14)修正上述标识线的缺损部分或者歪斜部分，以使其平滑地连接。

6.一种道路地图生成方法，该道路地图生成方法从搭载有车载相机(4)的多台车辆(A)收集相机图像数据，并基于这些相机图像数据来生成道路地图数据，其中上述相机图像数据是拍摄这些车辆(A)的行驶中的道路状况而得的数据，包括：

图像处理工序，对收集到的上述相机图像数据进行图像处理，转换为从正上方观察的正投影图像，并且连结多个正投影图像来生成连结图像；

提取工序，从上述连结图像提取道路上的道路标识的不良位置；

判定工序，判定上述道路标识的不良位置是由上述图像处理工序的图像处理时的噪声引起的位置，还是现实中产生了不良的位置；以及

修正工序，基于上述判定工序中的判定结果，在上述道路标识的不良位置是由图像处理时的噪声引起的位置的情况下，进行该道路标识的修正处理。

7.根据权利要求6所述的道路地图生成方法，其中，

上述判定工序参照上述道路标识的不良位置的上述相机图像数据进行判定。

8.根据权利要求6或者7所述的道路地图生成方法，具备：

检测工序，从上述相机图像数据检测在同一位置存在道路标识的时间变化这一情况；以及

存储工序，在上述检测工序中检测到道路标识的变化的情况下，将该变化的信息积蓄存储至变化信息存储装置(19)，

在上述判定工序中，参照上述变化信息存储装置(19)中存储的变化信息进行判定。

9.根据权利要求8所述的道路地图生成方法，其中，

上述检测工序从上述相机图像数据检测道路上的轮胎打滑痕迹、重新铺装、部分的塌陷或者隆起、开裂、灾害所造成的异常状态中的至少任意一个的产生而作为上述道路标识的变化的图案。

10.根据权利要求6～9中的任意一项所述的道路地图生成方法，其中，

在上述提取工序中，从上述连结图像提取作为上述道路标识而涂在道路上的标识线的缺损部分或者歪斜部分，作为不良位置，

在上述修正工序中，在上述道路标识的不良位置是由图像处理时的噪声引起的情况下，修正上述标识线的缺损部分或者歪斜部分，以使其平滑地连接。

Images