CN116892949A - 地上物检测装置、地上物检测方法以及地上物检测用计算机程序 - Google Patents

Abstract

本发明涉及地上物检测装置、地上物检测方法以及地上物检测用计算机程序。地上物检测装置具有：第1检测部(41)，从由设于车辆(2)的第1摄像部(11)生成的、表示车辆(2)的周围的第1范围的第1图像中检测1个以上的预定的地上物；第2检测部(42)，从由设于车辆(2)的第2摄像部(12)生成、表示比第1范围更靠近车辆的第2范围的第2图像中检测1个以上的预定的地上物；以及切换判定部(43)，判定车辆(2)是否停车，在车辆(2)停车时使第2检测部(42)检测1个以上的预定的地上物，另一方面，在车辆(2)的行驶中使第1检测部(41)检测1个以上的预定的地上物。

Description

地上物检测装置、地上物检测方法以及地上物检测用计算机 程序

技术领域

本发明涉及一种从图像中检测地上物的地上物检测装置、地上物检测方法以及地上物检测用计算机程序。

背景技术

提出有从由搭载于车辆的摄像机生成的、表示行驶中的车辆的周围的图像中检测与车辆的行驶相关联的地上物的技术(参照日本特开2009-205403号公报)。

在日本特开2009-205403号公报中公开的道路标示识别装置将车载摄像机的摄像图像变换为从垂直方向俯视的图像并按照时间序列顺序连接而生成合成图像。进而，该装置提取该合成图像的特征量，与预先准备的作为基准的特征量的模板进行对照，由此判断图像所包含的道路标示的类别。并且，该装置检测本车辆相对于道路标示的相对位置。

发明内容

路上有时存在从停车车辆这样的车载的摄像机观察时隐藏地上物的障碍物。在存在这样的障碍物的场所，由于在由车载的摄像机生成的图像中没有示出作为检测对象的地上物，因此有时难以从图像中检测地上物。作为其结果，有时无法生成表示这样的地上物的数据。

因此，本发明的目的在于提供一种地上物检测装置，其从由搭载于车辆的摄像机生成的图像中检测地上物。

根据一个实施方式，提供一种地上物检测装置。该地上物检测装置具有：第1检测部，从由设于车辆的第1摄像部生成的、表示车辆的周围的第1范围的第1图像中检测1个以上的预定的地上物；第2检测部，从由设于车辆的第2摄像部生成的、表示比第1范围更靠近车辆的第2范围的第2图像中检测1个以上的预定的地上物；以及切换判定部，基于车辆的速度、转向操纵角以及档位中的至少一个，判定车辆是否停车，在车辆停车时使第2检测部检测1个以上的预定的地上物，另一方面，在车辆的行驶中使第1检测部检测1个以上的预定的地上物。

在该地上物检测装置中，优选的是，第2检测部对第2图像进行视点变换而生成鸟瞰图像，从所生成的鸟瞰图像中检测出1个以上的预定的地上物。

另外，该地上物检测装置优选的是，还具有位置推定部，该位置推定部基于在车辆的行驶中在相互不同的定时得到的2个以上的第1图像各自中的、1个以上的预定的地上物中的第1地上物的位置、和2个以上的第1图像各自的获取定时之间的车辆的移动量，推定第1地上物与车辆的位置关系，基于推定出的位置关系，推定第1地上物在实际空间中的位置，基于车辆与第1地上物的位置关系，确定鸟瞰图像上的第1地上物的位置，基于鸟瞰图像上的第1地上物的位置与1个以上的预定的地上物中的从鸟瞰图像检测出的其他地上物在鸟瞰图像上的位置的位置关系以及第1地上物在实际空间中的位置，推定实际空间中的其他地上物的位置。

另外，该地上物检测装置优选的是，还具有数据生成部，该数据生成部生成表示检测出的1个以上的预定的地上物的数据。

根据另一方式，提供一种地上物检测方法。该地上物检测方法包括如下动作：基于车辆的速度、转向操纵角以及档位中的至少一个，判定车辆是否停车，在车辆正在行驶的区间中，从由设于车辆的第1摄像部生成的、表示车辆的周围的第1范围的第1图像中检测1个以上的预定的地上物，在车辆停车时的区间中，从由设于车辆的第2摄像部生成的、表示比第1范围更靠近车辆的第2范围的第2图像中检测1个以上的预定的地上物。

根据又一方式，提供一种地上物检测用计算机程序。该地上物检测用计算机程序用于使计算机执行如下动作：基于车辆的速度、转向操纵角以及档位中的至少一个，判定车辆是否停车，在车辆正在行驶的区间中，从由设于车辆的第1摄像部生成的、表示车辆的周围的第1范围的第1图像中检测1个以上的预定的地上物，在车辆停车时的区间中，从由设于车辆的第2摄像部生成的、表示比第1范围更靠近车辆的第2范围的第2图像中检测1个以上的预定的地上物。

本发明的地上物检测装置产生如下效果，即，能够基于由搭载于车辆的摄像机生成的图像生成表示地上物的数据。

附图说明

图1是安装有地上物检测装置的地上物数据收集系统的概略结构图。

图2是车辆的概略结构图。

图3是数据获取装置的硬件结构图。

图4是作为地上物检测装置的一例的服务器的硬件结构图。

图5是与地上物检测处理相关的服务器的处理器的功能框图。

图6是表示由第1检测部检测出的地上物与由第2检测部检测出的地上物的关系的一例的示意图。

图7是地上物检测处理的动作流程图。

具体实施方式

以下，参照附图对地上物检测装置、由地上物检测装置执行的地上物检测方法以及地上物检测用计算机程序进行说明。该地上物检测装置针对预定的区域，从能够通信的1个以上的车辆收集表示与车辆的行驶相关联的地上物的图像以及与车辆的行驶相关的信息。

向地上物检测装置发送图像的车辆具有拍摄范围互不相同的多个摄像机，针对每个摄像机生成表示车辆周围的图像。而且，车辆针对每个摄像机，将由该摄像机生成的时间序列的一系列图像、各图像的生成时刻以及与车辆的行驶有关的信息发送到地上物检测装置。

地上物检测装置基于与车辆的行驶相关的信息所包含的车辆的速度、转向操纵角以及档位中的至少一个，检测车辆停车的定时。然后，地上物检测装置在车辆停车的定时以外的时间，从由多个摄像机中的能够拍摄到相对远离车辆的范围的摄像机生成的图像中检测地上物。另一方面，地上物检测装置在车辆停车的定时，将由多个摄像机中的拍摄相对靠近车辆的范围的摄像机生成的图像变换为鸟瞰图像，从变换后的鸟瞰图像中检测地上物。进而，该地上物检测装置基于分别生成被检测出同一地上物的2个以上图像时的车辆的位置，推定该地上物的位置。然后，该地上物检测装置生成包含表示检测出的各个地上物的种类以及位置的信息的数据，作为表示地上物的数据。需要说明的是，以下，将表示地上物的数据简称为地上物数据。

作为检测对象的地上物例如包括各种道路标识、各种道路标示、信号灯以及其他与车辆的行驶相关联的地上物。

图1是安装有地上物检测装置的地上物数据收集系统的概略结构图。在本实施方式中，地上物数据收集系统1具有至少一个车辆2和作为地上物检测装置的一例的服务器3。无线基站5经由网关(未图示)等而与连接有服务器3的通信网络4连接，各车辆2例如通过访问无线基站5，从而经由无线基站5以及通信网络4与服务器3连接。需要说明的是，在图1中，为了简化，仅图示了一个车辆2，但地上物数据收集系统1也可以具有多个车辆2。同样地，在图1中，仅图示了一个无线基站5，但也可以多个无线基站5与通信网络4连接。

图2是车辆2的概略结构图。车辆2具有摄像机11、全景摄像机12、GPS接收机13、无线通信终端14、数据获取装置15。摄像机11、全景摄像机12、GPS接收机13、无线通信终端14以及数据获取装置15经由依照诸如控制器局域网的标准的车内网络连接为能够通信。另外，车辆2也可以还具有导航装置(未图示)，该导航装置搜索车辆2的预定行驶路径，并进行导航以使车辆2按照该预定行驶路径行驶。

摄像机11是第1摄像部的一例，具有由CCD或C-MOS等对可见光具有灵敏度的光电转换元件的阵列构成的二维检测器、和将作为拍摄对象的区域(第1范围)的像成像到该二维检测器上的成像光学系统。并且，摄像机11例如以朝向车辆2的前方的方式安装于车辆2的车厢内。然后，摄像机11按预定的拍摄周期(例如1/30秒～1/10秒)拍摄车辆2的前方区域，生成映现出该前方区域的图像。需要说明的是，摄像机11也可以以朝向其他方向、例如车辆2的后方的方式安装于车辆2。由摄像机11生成的图像是第1图像的一例，既可以是彩色图像，或者也可以是灰度图像。

摄像机11每次生成图像时，就将该生成的图像经由车内网络向数据获取装置15输出。

全景摄像机12是第2摄像部的一例，具有由CCD或C-MOS等对可见光具有灵敏度的光电转换元件的阵列构成的二维检测器、和将作为拍摄对象的区域(第2范围)的像成像到该二维检测器上的成像光学系统。并且，全景摄像机12以拍摄比摄像机11更靠近车辆2的范围的方式安装于车辆2。例如，全景摄像机12以其拍摄范围内包含车辆2的周围的下方的方式朝向斜下方安装于车辆2。因此，全景摄像机12的拍摄范围比摄像机11的拍摄范围窄。在本实施方式中，全景摄像机12的焦距比摄像机11的焦距短，但不限于此。而且，全景摄像机12按预定的拍摄周期(例如1/30秒～1/10秒)拍摄车辆2的周边区域，生成映现出该周边区域的图像。需要说明的是，摄像机11的拍摄周期和拍摄定时与全景摄像机12的拍摄周期和拍摄定时能够相互独立。由全景摄像机12生成的图像是第2图像的一例，既可以是彩色图像，或者也可以是灰度图像。

需要说明的是，也可以在车辆2上设置拍摄方向不同的多个全景摄像机12。例如，也可以是，一个全景摄像机12在车辆2的前端安装成朝向车辆2的前下方，另一个全景摄像机12在车辆2的后端安装成朝向车辆2的后下方。或者，为了能够拍摄车辆2的周围整体，也可以将4台全景摄像机12安装于车辆2的前端、后端及左右各自的侧面。

全景摄像机12每次生成图像时，就将该生成的图像经由车内网络向数据获取装置15输出。需要说明的是，以下，为了将由全景摄像机12生成的图像与由摄像机11生成的图像进行区分，有时将由全景摄像机12生成的图像称为全景图像。

全景摄像机12每次生成全景图像时，就将生成的全景图像经由车内网络向数据获取装置15输出。

GPS接收机13按预定的周期接收来自GPS卫星的GPS信号，基于接收到的GPS信号对车辆2的自身位置进行定位。需要说明的是，GPS接收机13对车辆2的自身位置进行定位的预定的周期也可以与摄像机11的拍摄周期以及全景摄像机12的拍摄周期不同。而且，GPS接收机13按预定的周期，经由车内网络将表示基于GPS信号得到的车辆2自身位置的定位结果的定位信息输出给数据获取装置15。需要说明的是，车辆2也可以具有除GPS接收机13以外的遵照卫星定位系统的接收机。在该情况下，只要该接收机对车辆2的自身位置进行定位即可。

无线通信终端14是通信部的一例，是执行遵循预定的无线通信标准的无线通信处理的设备，例如，通过访问无线基站5，经由无线基站5以及通信网络4与服务器3连接。然后，无线通信终端14生成包含从数据获取装置15接收到的图像信息或行驶信息的上行链路的无线信号。然后，无线通信终端14通过将该上行链路的无线信号向无线基站5发送，将图像信息以及行驶信息向服务器3发送。另外，无线通信终端14从无线基站5接收下行链路的无线信号，将该无线信号中包含的来自服务器3的收集指示等传递给数据获取装置15或者控制车辆2的行驶的电子控制装置(ECU，未图示)。

图3是数据获取装置的硬件结构图。数据获取装置15生成包括由摄像机11生成的图像和由全景摄像机12生成的全景图像的图像信息。进而，数据获取装置15生成表示车辆2的行驶行为的行驶信息。为此，数据获取装置15具有通信接口21、存储器22和处理器23。

通信接口21是车内通信部的一例，具有用于将数据获取装置15连接于车内网络的接口电路。即，通信接口21经由车内网络与摄像机11、全景摄像机12、GPS接收机13以及无线通信终端14连接。而且，通信接口21每次从摄像机11接收到图像时，将接收到的图像传递给处理器23。同样地，通信接口21每次从全景摄像机12接收到全景图像时，将接收到的全景图像传递给处理器23。另外，通信接口21每次从GPS接收机13接收到定位信息时，将接收到的定位信息传递给处理器23。进而，通信接口21将经由无线通信终端14从服务器3接收到的图像信息的收集指示传递给处理器23。进而，通信接口21将从处理器23接收到的图像信息以及行驶信息经由车内网络向无线通信终端14输出。

存储器22例如具有易失性的半导体存储器和非易失性的半导体存储器。存储器22也可以还具有硬盘装置这样的其他存储装置。并且，存储器22存储在与由数据获取装置15的处理器23执行的图像收集相关联的处理中使用的各种数据。这样的数据例如包含车辆2的识别信息、诸如摄像机11以及全景摄像机12各自的设置高度、拍摄方向以及视场角的摄像机11的参数等。另外，存储器22也可以将从摄像机11接收到的图像、从全景摄像机12接收到的全景图像以及从GPS接收机13接收到的定位信息存储一定期间。进而，存储器22存储表示由地上物数据的收集指示指定的、作为地上物数据的生成及收集对象的区域(以下，有时称为收集对象区域)的信息。另外，存储器22也可以存储用于实现由处理器23执行的各处理的计算机程序等。

处理器23具有1个或多个CPU(Central Processing Unit，中央处理器)及其外围电路。处理器23也可以还具有逻辑运算单元、数值运算单元或图形处理单元这样的其他运算电路。然后，处理器23将从摄像机11接收到的图像、从全景摄像机12接收到的全景图像、从GPS接收机13接收到的定位信息以及从ECU接收到的表示车辆2的行为的信息存储于存储器22。进而，在车辆2行驶的期间，处理器23按预定的周期(例如，0.1秒～10秒)执行与图像收集相关联的处理。

作为与图像收集相关联的处理，处理器23例如判定由从GPS接收机13接收到的定位信息表示的车辆2的本车位置是否包含于收集对象区域。然后，在本车位置包含于收集对象区域的情况下，处理器23生成包含从摄像机11接收到的图像以及从全景摄像机12接收到的全景图像的图像信息。

处理器23在图像信息中包含由摄像机11生成的图像、生成该图像的时刻、该时刻的车辆2的行进方向、以及诸如摄像机11的设置高度、拍摄方向以及视场角这样的摄像机11的参数。同样地，处理器23在图像信息中包含全景图像、生成全景图像的时刻、该时刻的车辆2的行进方向、以及诸如全景摄像机12的设置高度、拍摄方向以及视场角这样的全景摄像机12的参数。需要说明的是，处理器23从车辆2的ECU获取表示车辆2的行进方向的信息即可。然后，处理器23每次生成图像信息时，将所生成的图像信息经由无线通信终端14向服务器3发送。需要说明的是，处理器23也可以在一个图像信息中包含多个图像或多个全景图像、各图像或各全景图像的生成时刻以及车辆2的行进方向。另外，处理器23也可以将摄像机11的参数以及全景摄像机12的参数与图像信息分开地经由无线通信终端14向服务器3发送。

进而，处理器23生成预定的定时(例如，车辆2的点火开关被接通的定时)以后的车辆2的行驶信息，将该行驶信息经由无线通信终端14向服务器3发送。处理器23在行驶信息中包含在预定的定时以后得到的一系列的定位信息、得到各定位信息的时刻、以及诸如从ECU获取的车轮速度、加速度以及角速度这样的用于航位推算的表示车辆2的行为的信息。进而，处理器23也可以在行驶信息以及图像信息中包含车辆2的识别信息。

接下来，对作为地上物检测装置的一例的服务器3进行说明。

图4是作为地上物检测装置的一例的服务器3的硬件结构图。服务器3具有通信接口31、储存器装置32、存储器33以及处理器34。通信接口31、储存器装置32以及存储器33经由信号线与处理器34连接。服务器3也可以还具有键盘及鼠标这样的输入装置和液晶显示器这样的显示装置。

通信接口31是通信部的一例，具有用于将服务器3与通信网络4连接的接口电路。并且，通信接口31构成为能够经由通信网络4以及无线基站5与车辆2进行通信。即，通信接口31将从车辆2经由无线基站5以及通信网络4接收到的图像信息以及行驶信息传递给处理器34。另外，通信接口31将从处理器34接收到的收集指示经由通信网络4以及无线基站5发送给车辆2。

储存器装置32是存储部的一例，例如具有硬盘装置或光记录介质及其访问装置。并且，储存器装置32存储在地上物检测处理中使用的各种数据及信息。例如，储存器装置32存储用于确定用于从各种图像中检测地上物的识别器的参数集、以及各车辆2的识别信息。进而，储存器装置32存储从各车辆2接收到的图像信息和行驶信息。另外，储存器装置32也可以存储在处理器34上执行的用于执行地上物检测处理的计算机程序。

存储器33是存储部的另一例，例如具有非易失性的半导体存储器和易失性的半导体存储器。并且，存储器33临时存储在地上物检测处理的执行过程中生成的各种数据等。

处理器34是控制部的一例，具有1个或多个CPU(Central Processing Unit，中央处理器)及其外围电路。处理器34也可以还具有诸如逻辑运算单元、数值运算单元或者图形处理单元的其他运算电路。并且，处理器34执行地上物检测处理。

图5是与地上物检测处理相关联的处理器34的功能框图。处理器34具有第1检测部41、第2检测部42、切换判定部43、位置推定部44以及数据生成部45。处理器34所具有的这些各部例如是通过在处理器34上动作的计算机程序来实现的功能模块。或者，处理器34所具有的这些各部也可以是设于处理器34的专用的运算电路。

第1检测部41从由摄像机11生成的时间序列的一系列图像中的、在由切换判定部43指示了地上物检测的区间中由摄像机11生成的各个图像、即在车辆2的行驶中生成的各个图像中检测地上物。

第1检测部41参照从车辆2接收到的图像信息中包含的各图像的生成时刻，确定由摄像机11生成的图像中的、在从切换判定部43指示了地上物检测的区间中生成的图像。然后，第1检测部41通过将所确定的各个图像输入到以检测作为检测对象的地上物的方式预先学习的识别器，从而检测输入的图像(以下，有时简称为输入图像)所表示的地上物。作为这样的识别器，第1检测部41能够使用以从输入图像中检测该输入图像所表示的地上物的方式预先学习的深度神经网络(DNN)。作为这样的DNN，例如使用Single Shot MultiBoxDetector(SSD，单步多框检测器)或FasterR-CNN这样的具有卷积神经网络(CNN)型的架构的DNN。或者，作为这样的DNN，也可以使用Vision Transformer这样的具有self attentionnetwork(SAN，自注意力网络)型的架构的DNN。

在该情况下，识别器在输入图像上的各种区域中，针对作为检测对象的地上物的每个种类(例如，信号灯、车道划分线、人行横道、临时停止线等)，计算表示在该区域中表示有该地上物的概率的确信度。识别器判定为在关于任意种类的地上物的确信度为预定的检测阈值以上的区域中表示有该种类的地上物。然后，该识别器输出表示在输入图像上包含作为检测对象的地上物的区域(例如，作为检测对象的地上物的外接矩形，以下称为物体区域)的信息、以及表示在物体区域中表示的地上物的种类的信息。

需要说明的是，第1检测部41与详细情况后述的第2检测部42不同，不将由摄像机11生成的图像变换为鸟瞰图像，而将该图像本身作为向识别器的输入图像。这是因为，摄像机11能够拍摄到比全景摄像机12更远离车辆2的位置，因此即使将图像变换为鸟瞰图像，从车辆2离开一定程度以上的地上物在该鸟瞰图像上也以失真的方式表示，无法期待识别精度的提高。

第1检测部41向位置推定部44和数据生成部45通知各图像的生成时刻、以及各图像中的表示包含检测出的地上物的物体区域的信息及检测出的地上物的种类。

第2检测部42从由全景摄像机12生成的时间序列的一系列全景图像中的、在由切换判定部43指示了地上物检测的区间中生成的全景图像中检测地上物。即，第2检测部42从在车辆2停车时的区间生成的各个全景图像中检测地上物。

第2检测部42参照从车辆2接收到的图像信息中包含的各全景图像的生成时刻，确定由全景摄像机12生成的全景图像中的、在从切换判定部43指示了地上物检测的区间中生成的全景图像。然后，第2检测部42对所确定出的各个全景图像进行视点变换而生成鸟瞰图像，并从所生成的各个鸟瞰图像中检测地上物。这样，第2检测部42从由设置成拍摄与摄像机11不同的朝向的全景摄像机12生成的一系列全景图像中检测地上物。因此，第2检测部42也能够检测由摄像机11获得的图像中未表示的地上物、例如被停车车辆这样的位于路面上的障碍物遮挡的地上物。进而，在鸟瞰图像中，特别是道路标示这样的表示在路面上的地上物被表现得不怎么失真。因此，通过从变换全景图像后的鸟瞰图像中检测地上物，第2检测部42能够精度良好地检测地上物。

第2检测部42针对各个全景图像，使用全景摄像机12的设置位置、拍摄方向以及焦距等参数，执行从预定的高度向朝向铅垂下方的虚拟视点的视点变换处理。由此，第2检测部42生成与每个全景图像对应的鸟瞰图像。需要说明的是，在车辆2设有多个全景摄像机12的情况下，也可以通过对由各全景摄像机12在相同的定时生成的各全景图像分别进行视点变换并合成，从而生成一个鸟瞰图像。而且，第2检测部42将各个鸟瞰图像输入到以检测作为检测对象的地上物的方式预先学习的识别器，由此检测输入图像中表示的地上物。作为这样的识别器，第2检测部42使用与第1检测部41所使用的识别器相同的识别器。或者，第2检测部42也可以使用与第1检测部41所使用的识别器不同的识别器。在该情况下，第2检测部42使用的识别器将鸟瞰图像作为输入图像而预先学习即可。另外，第2检测部42所使用的识别器也能够设为具有CNN型或SAN型的架构的DNN。

根据变形例，第2检测部42所使用的识别器也可以以将全景图像本身用作输入图像的方式预先进行学习。在该情况下，第2检测部42也可以不执行视点变换处理，而是通过将各个全景图像输入到识别器，从而从各个全景图像中检测地上物。根据该变形例，由于省略了视点变换处理，因此减轻了运算负荷。

第2检测部42将各全景图像的生成时刻以及表示各全景图像中的包含检测出的地上物的物体区域的信息以及检测出的地上物的种类通知给位置推定部44和数据生成部45。

切换判定部43基于行驶信息所包含的表示车辆2的行为的信息、特别是在预定区域行驶时的各个时间的车辆2的速度、转向操纵角以及档位中的至少一个，判定车辆2是否在某一区间停车。而且，切换判定部43针对车辆2停车时的区间，使第2检测部检测地上物。另一方面，切换判定部43针对车辆2正在行驶的区间，使第1检测部41检测地上物。

例如，切换判定部43将车辆2的车速为预定的速度阈值以下的区间判定为车辆2停车时的区间。另外，一般而言，在停车时，车辆2的行进方向的变化变大。因此，切换判定部43也可以将从车辆2的车速为预定的速度阈值以下且车辆2的方向盘的转向操纵角为预定角度以上时起到车辆2的车速超过预定的速度阈值为止的区间判定为车辆2停车时的区间。再或者，在停车时，有时将车辆2的行进方向切换为后退方向。因此，切换判定部43也可以将从车辆2的档位成为倒档位置时起到档位接下来转移至前进位置为止的区间判定为车辆2停车时的区间。

切换判定部43向第1检测部41通知车辆2在预定区域行驶时的行驶区间中的、除了车辆2停车时的区间以外的剩余区间，并且指示第1检测部41针对该通知的区间检测地上物。另外，切换判定部43向第2检测部42通知车辆2停车时的区间，并且指示第2检测部42针对该通知的区间检测地上物。进而，切换判定部43将车辆2停车时的区间通知给位置推定部44和数据生成部45。

位置推定部44推定从任意的图像或任意的全景图像中检测出的地上物的位置。

在本实施方式中，位置推定部44针对车辆2正在行驶的区间，按照所谓的Structure from Motion(SfM，运动恢复结构)方法，推定各图像生成时的车辆2的位置以及检测出的各个地上物相对于这些位置的相对位置。即，位置推定部44基于在车辆2的行驶中在相互不同的定时得到的2个以上的图像各自中的所关注的地上物的位置、和在各图像的生成定时之间的车辆2的移动量，推定所关注的地上物与车辆2的位置关系。然后，位置推定部44基于推定出的位置关系，推定所关注的地上物在实际空间中的位置。

在此，图像上的各像素的位置与从摄像机11向该像素所表示的物体的方位1对1地对应。因此，位置推定部44能够基于与表示各图像中的地上物的特征点对应的、来自摄像机11的方位、各图像的生成时刻之间的车辆2的移动量、车辆2的行进方向以及摄像机11的参数，推定该地上物与车辆2的相对位置关系。

位置推定部44能够将车辆2的基准位置设为行驶信息所包含的、预定的定时的由GPS接收机13得到的定位信息表示的车辆2的本车位置。之后，位置推定部44利用行驶信息所包含的车轮速度、加速度以及角速度这样的用于航位推算的信息，推定各图像的生成时刻之间的车辆2的移动量。

在车辆2的行驶中，位置推定部44将在相互不同的定时得到的多个图像的各个图像中检测出的相同的地上物建立对应。此时，位置推定部44例如通过利用利用了光流的追踪方法，能够在多个图像间将表示同一关注的地上物的物体区域所包含的特征点彼此建立对应。而且，位置推定部44能够通过三角测量来推定所关注的地上物相对于各图像生成时的车辆2的位置的相对位置以及各图像生成时的车辆2的位置。此时，位置推定部44在该三角测量中利用各图像的生成时刻的车辆2的行进方向、任意图像生成时的车辆2的位置、各图像的生成时刻之间的车辆2的移动量、摄像机11的参数、各图像中的对应的特征点的位置即可。

位置推定部44通过对检测出的多个地上物反复进行上述处理，能够依次推定各图像生成时的车辆2的位置以及位于车辆2的周围的地上物相对于这些位置的相对位置。然后，位置推定部44基于推定出的地上物相对于车辆2的位置的相对位置、以及车辆2的基准位置，推定实际空间中的该地上物的位置即可。需要说明的是，在检测出的地上物中包含位置已知的地上物的情况下，位置推定部44也可以代替车辆2的基准位置而使用已知的地上物的位置来推定实际空间中的所检测出的各个地上物的位置。

另外，位置推定部44按照下述所示的步骤推定从各个鸟瞰图像中检测出的地上物的位置。需要说明的是，位置推定部44对各个鸟瞰图像执行相同的处理即可，因此以下对针对一个鸟瞰图像的处理进行说明。

位置推定部44选择在即将切换为从全景图像进行地上物检测之前的预定期间内从由摄像机11生成的任意图像中检测出的地上物(以下，称为第1地上物)。然后，位置推定部44基于第1地上物与车辆2的位置关系、以及全景摄像机12的设置位置，确定所关注的全景图像生成时的、第1地上物相对于全景摄像机12的相对位置。在检测到第1地上物的图像的生成时刻与所关注的全景图像的生成时刻不同的情况下，位置推定部44参照行驶信息，求出从检测到第1地上物的图像的生成时刻到所关注的全景图像的生成时刻为止的车辆2的移动量。然后，位置推定部44考虑该移动量，确定第1地上物相对于全景摄像机12的相对位置即可。进而，位置推定部44基于全景摄像机12的参数、第1地上物相对于全景摄像机12的相对位置以及视点变换中使用的虚拟视点，确定鸟瞰图像上的第1地上物的位置。进而，位置推定部44基于第1地上物与从鸟瞰图像中检测出的其他地上物(以下，称为第2地上物)在鸟瞰图像上的位置关系及视点变换所使用的虚拟视点，确定以实际空间中的第1地上物为基准的第2地上物的相对位置。然后，位置推定部44基于第1地上物在实际空间中的位置和第2地上物相对于第1地上物的相对位置，推定第2地上物在实际空间中的位置。

需要说明的是，在当车辆2停车时从全景图像中检测出地上物的变形例中，位置推定部44对代替鸟瞰图像而从全景图像中检测出的第2地上物执行与上述处理相同的处理，推定第2地上物在实际空间中的位置即可。此时，位置推定部44使用全景摄像机12的参数来代替鸟瞰图像生成时的虚拟摄像机的参数，由此确定实际空间中的以第1地上物为基准的第2地上物的相对位置即可。

位置推定部44将各地上物的实际空间中的位置通知给数据生成部45。

数据生成部45生成表示由第1检测部41检测出的各地上物以及由第2检测部42检测出的各地上物的地上物数据。具体而言，数据生成部45针对由第1检测部41检测出的各地上物，将从第1检测部41通知的该地上物的种类和由位置推定部44推定出的该地上物在实际空间中的位置包含在地上物数据中。同样地，数据生成部45针对由第2检测部42检测出的各地上物，将从第2检测部42通知的该地上物的种类和由位置推定部44推定出的该地上物在实际空间中的位置包含在地上物数据中。

所生成的地上物数据用于地图的生成或更新。即，关于地上物数据所表示的各地上物，只要将该地上物的种类和位置写入作为生成或更新对象的地图即可。

图6是表示本实施方式的由第1检测部41检测出的地上物与由第2检测部42检测出的地上物之间的关系的一例的示意图。在图6中，在车辆2位于位置P1时，车辆2处于行驶中，利用第1检测部41从由摄像机11生成的图像中检测地上物。因此，存在于摄像机11的拍摄范围601内的车道划分线等被检测为地上物。另一方面，在位置P2，车辆2要停车，通过第2检测部42，从对由全景摄像机12生成的全景图像进行视点变换而得到的鸟瞰图像中检测地上物。因此，存在于鸟瞰图像所表示的范围602内的车道划分线等被检测为地上物。特别是，在该例子中，拍摄范围601与鸟瞰图像所表示的范围602部分重复，因此位于该部分重复的部位的道路标示611由第1检测部41和第2检测部42这两者检测出来。因此，通过SfM的方法来确定实际空间中的位置被推定的道路标示611在鸟瞰图像上的位置。进而，从位置P1起，道路端侧的车道划分线的一部分612从位置P1起被停车车辆621遮挡，因此不会映现到由摄像机11生成的图像中。因此，第1检测部41无法从由摄像机11生成的图像中检测到车道划分线的一部分612。然而，在位置P2生成的鸟瞰图像所表示的范围602包含该车道划分线的一部分612。因此，第2检测部42能够检测该车道划分线的一部分612。进而，基于道路标示611在实际空间中的位置、以及道路标示611与该车道划分线的一部分612在鸟瞰图像上的相对位置关系，也推定出该车道划分线的一部分612在实际空间中的位置。

图7是服务器3中的地上物检测处理的动作流程图。服务器3的处理器34在从关于收集对象区域内的预定的区间的车辆2接收到图像信息以及行驶信息时，按照以下所示的动作流程图执行地上物检测处理即可。

处理器34的切换判定部43判定在预定的区间中车辆2正在行驶的区间和车辆2停车时的区间(步骤S101)。然后，切换判定部43针对车辆2正在行驶的区间，对第1检测部41指示地上物的检测，并且针对车辆2停车时的区间，对第2检测部42指示地上物的检测。

处理器34的第1检测部41从在车辆2行驶的区间中由摄像机11生成的一系列图像分别检测地上物，并且推定该地上物的种类(步骤S102)。另外，处理器34的第2检测部42将在车辆2停车时的区间中由全景摄像机12生成的各个全景图像变换为鸟瞰图像，从各鸟瞰图像检测地上物，并且推定该地上物的种类(步骤S103)。需要说明的是，如上所述，第2检测部42也可以从在车辆2停车时的区间中由全景摄像机12生成的各个全景图像中直接检测地上物。

处理器34的位置推定部44推定从由摄像机11生成的各个图像中检测出的地上物各自在实际空间中的位置(步骤S104)。进而，位置推定部44确定从由摄像机11生成的任意图像中检测出的第1地上物在鸟瞰图像中的位置(步骤S105)。然后，位置推定部44基于该确定的位置与从鸟瞰图像检测出的其他地上物在鸟瞰图像上的位置关系、以及第1地上物在实际空间中的位置，推定其他地上物在实际空间中的位置(步骤S106)。

处理器34的数据生成部45通过将检测出的各地上物的种类及实际空间中的位置包含在地上物数据中，生成表示检测出的各地上物的地上物数据(步骤S107)。然后，处理器34结束地上物检测处理。

如以上说明的那样，在车辆的行驶中，该地上物检测装置从拍摄范围相对较宽、并且能够拍摄到相对远离车辆的位置的第1摄像部所生成的时间序列的一系列图像中检测地上物。因此，同一地上物映现于在相互不同的位置生成的2个以上的图像中的可能性变高，作为其结果，该地上物检测装置能够精度良好地推定该地上物的位置。另一方面，在车辆停车时，该地上物检测装置从由相对而言拍摄车辆附近的第2摄像部生成的第2图像中检测地上物。因此，该地上物检测装置也能够从第2图像中检测由于障碍物等而从第1摄像部看不到的地上物。进而，该地上物检测装置基于从第1图像中检测出的地上物在实际空间中的位置，推定从第2图像中检测出的地上物在实际空间中的位置。因此，该地上物检测装置也能够精度良好地推定由于低速行驶或者转向操纵角变大而基于SfM的位置推定的精度不足的、从车辆停车时生成的第2图像检测出的地上物的位置。因而，该地上物检测装置能够恰当地生成表示检测出的地上物的地上物数据。

基于上述的实施方式或变形例的服务器3的处理器34的各部的处理也可以由搭载于车辆2的数据获取装置15的处理器23执行。在这种情况下，数据获取装置15是地上物检测装置的另一例。而且，数据获取装置15也可以将生成的地上物数据经由无线通信终端14发送给服务器3。在该情况下，切换判定部43也可以基于从ECU获取的表示车辆2的行为的信息实时地判定车辆2是否处于停车中。然后，基于该判定结果，第1检测部41或第2检测部42也可以从由摄像机11生成的最新的图像或由全景摄像机12生成的最新的全景图像中的任意图像中依次检测地上物。另外，也可以由数据获取装置15的处理器23执行服务器3的处理器34的各部的处理中的一部分。例如，处理器23也可以将由全景摄像机12生成的时间序列的一系列全景图像分别变换为鸟瞰图像，将各鸟瞰图像包含于图像信息中而发送给服务器3。或者，处理器23也可以执行切换判定部43的处理，针对由切换判定部43判定为车辆2正在行驶的区间，仅将由摄像机11生成的图像包含于图像信息中。另外，处理器23也可以针对车辆2停车时的区间，仅将由全景摄像机12生成的全景图像或者根据该全景图像生成的鸟瞰图像包含于图像信息。

进而，检测出的地上物也可以用于地图的生成及更新以外的用途。例如，检测出的地上物的种类和位置也可以在车辆2的ECU中用于车辆2的控制。在该情况下，也可以省略数据生成部。

使计算机实现上述实施方式或变形例的地上物检测装置的处理器所具有的各部的功能的计算机程序也可以以存储在计算机可读取的记录介质中的形式提供。需要说明的是，计算机可读取的记录介质例如能够是磁记录介质、光记录介质或半导体存储器。

如上所述，本领域技术人员能够在本发明的范围内根据实施方式进行各种变更。

Claims (6)

1.一种地上物检测装置，其中，所述地上物检测装置具有：

第1检测部，从由设于车辆的第1摄像部生成的、表示所述车辆的周围的第1范围的第1图像中检测1个以上的预定的地上物；

第2检测部，从由设于所述车辆的第2摄像部生成的、表示比所述第1范围更靠近所述车辆的第2范围的第2图像中检测所述1个以上的预定的地上物；以及

切换判定部，基于所述车辆的速度、转向操纵角以及档位中的至少一个，判定所述车辆是否停车，在所述车辆停车时使所述第2检测部检测所述1个以上的预定的地上物，另一方面，在所述车辆的行驶中使所述第1检测部检测所述1个以上的预定的地上物。

2.根据权利要求1所述的地上物检测装置，其中，

所述第2检测部对所述第2图像进行视点变换而生成鸟瞰图像，从所生成的所述鸟瞰图像中检测所述1个以上的预定的地上物。

3.根据权利要求2所述的地上物检测装置，其中，

所述地上物检测装置还具有位置推定部，

所述位置推定部基于在所述车辆的行驶中在相互不同的定时得到的2个以上的所述第1图像各自中的、所述1个以上的预定的地上物中的第1地上物的位置、和所述2个以上的所述第1图像各自的获取定时之间的所述车辆的移动量，推定所述第1地上物与所述车辆的位置关系，基于推定出的位置关系，推定所述第1地上物在实际空间中的位置，

所述位置推定部基于所述车辆与所述第1地上物的位置关系，确定所述鸟瞰图像上的所述第1地上物的位置，基于所述鸟瞰图像上的所述第1地上物的位置与所述1个以上的预定的地上物中的从所述鸟瞰图像中检测出的其他地上物在所述鸟瞰图像上的位置的位置关系以及所述第1地上物在实际空间中的位置，推定实际空间中的所述其他地上物的位置。

4.根据权利要求1～3中任一项所述的地上物检测装置，其中，

所述地上物检测装置还具有数据生成部，该数据生成部生成表示检测出的所述1个以上的预定的地上物的数据。

5.一种地上物检测方法，其中，所述地上物检测方法包括如下动作：

基于车辆的速度、转向操纵角以及档位中的至少一个，判定所述车辆是否停车，

在所述车辆正在行驶的区间中，从由设于所述车辆的第1摄像部生成的、表示所述车辆的周围的第1范围的第1图像中检测1个以上的预定的地上物，

在所述车辆停车时的区间中，从由设于所述车辆的第2摄像部生成、表示比所述第1范围更靠近所述车辆的第2范围的第2图像中检测所述1个以上的预定的地上物。

6.一种地上物检测用计算机程序，其中，所述地上物检测用计算机程序用于使计算机执行如下动作：

基于车辆的速度、转向操纵角以及档位中的至少一个，判定所述车辆是否停车，

在所述车辆正在行驶的区间中，从由设于所述车辆的第1摄像部生成的、表示所述车辆的周围的第1范围的第1图像中检测1个以上的预定的地上物，

在所述车辆停车时的区间中，从由设于所述车辆的第2摄像部生成的、表示比所述第1范围更靠近所述车辆的第2范围的第2图像中检测所述1个以上的预定的地上物。