CN116324863A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

图像处理装置在一个方式中具备决定部(30)和图像生成部(37)。决定部(30)使用包含移动体的周边的多个检测点的位置信息和移动体的自身位置信息，决定移动体的多个周边图像中的空间上相邻的周边图像的重复区域中的边界区域。图像生成部使用边界区域，以使用空间上相邻的周边图像生成合成图像。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及图像处理装置、图像处理方法以及图像处理程序。

背景技术

公开有如下的技术：使用将移动体的周边的拍摄图像投影到虚拟的投影面而得的投影图像，生成来自任意的视点的合成图像。

专利文献1：日本特开2013-207637号公报

专利文献2：日本特表2014-531078号公报

专利文献3：日本特开2009-232310号公报

专利文献4：日本特开2019-140518号公报

专利文献5：日本特开2019-153138号公报

非专利文献1：“移动机器人的环境识别-地图构建和自身位置推断”系统/控制/信息(系统信息学会志)、Vol.60No.12、pp509-514、2016

然而，在将叠合多个图像而成的合成图像投影并显示于投影面的情况下，在所投影的合成图像中，存在例如产生水平面上的停车划分线成为双重等不良情况的情况。

发明内容

在一个方面中，本发明的目的在于提供消除将叠合多个图像而成的合成图像投影并显示于投影面的情况下的不良情况的图像处理装置、图像处理方法以及图像处理程序。

本申请公开的图像处理装置在一个方式中具备：决定部，使用包含移动体的周边的多个检测点的位置信息和上述移动体的自身位置信息，决定上述移动体的多个周边图像中的空间上相邻的上述周边图像的重复区域中的边界区域；以及图像生成部，使用上述边界区域，以使用空间上相邻的上述周边图像生成合成图像。

根据本申请公开的图像处理装置的一个方式，能够消除将叠合多个图像而成的合成图像投影并显示于投影面的情况下的不良情况。

附图说明

图1是表示第一实施方式的图像处理系统的整体结构的图。

图2是表示第一实施方式的图像处理装置的硬件结构的图。

图3是表示第一实施方式的图像处理装置的功能结构的图。

图4是第一实施方式的环境地图信息的示意图。

图5是第一实施方式的渐近曲线的说明图。

图6是表示第一实施方式的基准投影面的一个例子的示意图。

图7是表示由第一实施方式的形状决定部决定的投影形状的一个例子的示意图。

图8是表示第一实施方式的决定部的功能结构的一个例子的示意图。

图9是用于对边界角和边界宽度进行说明的图。

图10是表示将合成图像投影到基准投影面的处理的概念图。

图11是示意性地表示图10所示的合成图像的一个例子的图。

图12是表示针对图10所示的基准投影面投影执行了投影形状决定处理的情况下的合成图像的处理的概念图。

图13是示意性地表示图12所示的合成图像的一个例子的图。

图14是表示在从图12、图13所示的状态起移动体进一步朝向停车划分线前进了的情况下，针对投影形状投影合成图像的处理的概念图。

图15是示意性地表示图14所示的合成图像的一个例子的图。

图16是表示通过边界区域适应控制来校正图14所示的投影处理的例子的概念图。

图17是示意性地表示图16所示的合成图像的一个例子的图。

图18是表示由第一实施方式的图像处理装置执行的图像处理的流程的一个例子的流程图。

图19是用于对不执行边界区域适应控制的比较例进行说明的图。

图20是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。

图21是用于对不执行边界区域适应控制的比较例进行说明的图。

图22是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。

图23是用于对不执行边界区域适应控制的比较例进行说明的图。

图24是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。

图25是表示第二实施方式的图像处理装置的功能结构的一个例子的图。

图26是表示由第二实施方式的图像处理装置执行的图像处理的流程的一个例子的流程图。

具体实施方式

以下，一边参照附图，一边详细地说明本申请公开的图像处理装置、图像处理方法以及图像处理程序的实施方式。此外，以下的实施方式并不限定公开的技术。而且，各实施方式能够在不使处理内容矛盾的范围内适当地组合。

(第一实施方式)

图1是表示本实施方式的图像处理系统1的整体结构的一个例子的图。图像处理系统1具备图像处理装置10、拍摄部12、检测部14以及显示部16。图像处理装置10、拍摄部12、检测部14和显示部16连接成能够收发数据或者信号。

在本实施方式中，作为一个例子，对图像处理装置10、拍摄部12、检测部14以及显示部16被搭载于移动体2的方式进行说明。此外，第一实施方式的图像处理装置10是使用Visual SLAM的例子。

移动体2是指能够移动的物体。移动体2例如为车辆、能够飞行的物体(有人飞行机、无人飞行机(例如，UAV(Unmanned Aerial Vehicle：无人驾驶飞行器)、无人机))、机器人等。另外，移动体2例如是经由人的驾驶操作而行进的移动体、不经由人的驾驶操作而能够自动地行进(自主行进)的移动体。在本实施方式中，作为一个例子，对移动体2为车辆的情况进行说明。车辆例如为二轮汽车、三轮汽车、四轮汽车等。在本实施方式中，作为一个例子，对车辆为能够自主行进的四轮汽车的情况进行说明。

此外，并不限定于图像处理装置10、拍摄部12、检测部14以及显示部16全部搭载于移动体2的方式。图像处理装置10也可以搭载于静止物。静止物是固定于地面的物体。静止物是不能移动的物体、相对于地面处于静止的状态的物体。静止物例如为信号灯、停车车辆、道路标志等。另外，图像处理装置10也可以搭载于在云上执行处理的云服务器。

拍摄部12拍摄移动体2的周边，获取拍摄图像数据。以下，将拍摄图像数据简称为拍摄图像来进行说明。拍摄部12例如是能够进行动态拍摄的数字相机。此外，拍摄是指将通过透镜等光学系统而成像的被拍摄体的像变换为电信号。拍摄部12将拍摄到的拍摄图像输出到图像处理装置10。另外，在本实施方式中，假定拍摄部12为单眼的鱼眼相机(例如，视场角为195度)的情况来进行说明。

在本实施方式中，作为一个例子，对在移动体2搭载了4个拍摄部12(拍摄部12A～拍摄部12D)的方式进行说明。多个拍摄部12(拍摄部12A～拍摄部12D)拍摄各自的拍摄区域E(拍摄区域E1～拍摄区域E4)的被拍摄体，获取拍摄图像。此外，这些多个拍摄部12的拍摄方向相互不同。另外，这些多个拍摄部12的拍摄方向被预先调整，以使得在与相邻的拍摄部12之间拍摄区域E的至少一部分重复。

另外，4个拍摄部12A～拍摄部12D为一个例子，并不限定拍摄部12的数量。例如，在移动体2像公交车、卡车那样具有纵长的形状的情况下，也能够在移动体2的前方、后方、右侧面的前方、右侧面的后方、左侧面的前方、左侧面的后方分别各配置一个拍摄部12，使用合计6个拍摄部12。即，能够根据移动体2的大小、形状，任意地设定拍摄部12的数量、配置位置。此外，后述的边界角度的决定处理能够通过设置至少两个拍摄部12来实现。

检测部14检测移动体2的周边的多个检测点的各自的位置信息。换言之，检测部14检测检测区域F的检测点的各自的位置信息。检测点表示实际空间中的、由检测部14独立地观测的点中的各个点。检测点例如对应于移动体2的周边的立体物。例如，检测部14向检测部14的周围照射光，接受由反射点反射的反射光。该反射点相当于检测点。

检测点的位置信息是指表示实际空间(三维空间)中的检测点的位置的信息。例如，检测点的位置信息是表示从检测部14(即移动体2的位置)到检测点为止的距离以及以检测部14为基准的检测点的方向的信息。这些距离和方向例如能够由表示以检测部14为基准的检测点的相对位置的位置坐标、表示检测点的绝对位置的位置坐标、或者矢量等来表示。

检测部14例如为3D(Three-Dimensional：三维)扫描仪、2D(Two Dimensional：二维)扫描仪、距离传感器(毫米波雷达、激光传感器)、利用声波探测物体的声纳传感器、超声波传感器等。激光传感器例如为三维LiDAR(Laser imaging Detection and Ranging：激光成像检测与测距)传感器。另外，检测部14也可以是使用了根据由单眼相机拍摄到的图像对距离进行测距的SfM(Structure from Motion：运动结构)技术的装置。另外，也可以使用多个拍摄部12作为检测部14。另外，也可以使用多个拍摄部12中的一个作为检测部14。

显示部16显示各种信息。显示部16例如是LCD(Liquid Crystal Display：液晶显示器)或者有机EL(Electro-Luminescence：电致发光)显示器等。

在本实施方式中，图像处理装置10与搭载于移动体2的电子控制单元(ECU：Electronic Control Unit)3连接为能够通信。ECU3是进行移动体2的电子控制的单元。在本实施方式中，图像处理装置10能够从ECU3接收移动体2的速度、移动方向等CAN(Controller Area Network：控制器局域网络)数据。

接下来，对图像处理装置10的硬件结构进行说明。

图2是表示图像处理装置10的硬件结构的一个例子的图。

图像处理装置10包括CPU(Central Processing Unit：中央处理单元)10A、ROM(Read Only Memory：只读存储器)10B、RAM(Random Access Memory：随机存取存储器)10C以及I/F(InterFace：接口)10D，例如是计算机。CPU10A、ROM10B、RAM10C以及I/F10D通过总线10E而相互连接，成为使用了通常的计算机的硬件结构。

CPU10A是控制图像处理装置10的运算装置。CPU10A与硬件处理器的一个例子对应。ROM10B存储实现基于CPU10A的各种处理的程序等。RAM10C存储基于CPU10A的各种处理所需要的数据。I/F10D是与拍摄部12、检测部14、显示部16以及ECU3等连接，用于收发数据的接口。

用于执行由本实施方式的图像处理装置10执行的图像处理的程序通过预先组装于ROM10B等而被提供。此外，由本实施方式的图像处理装置10执行的程序也可以被构成为以能够安装于图像处理装置10的形式或者能够由图像处理装置10执行的形式的文件记录于记录介质而被提供。记录介质是计算机能够读取的介质。记录介质为CD(Compact Disc：光盘)-ROM、软盘(FD)、CD-R(Recordable：可记录)、DVD(Digital Versatile Disk：数字多功能磁盘)、USB(Universal Serial Bus：通用串行总线)存储器、SD(Secure Digital：安全数字)卡等。

接下来，对本实施方式的图像处理装置10的功能结构进行说明。图像处理装置10通过Visual SLAM(Simultaneous Localization and Mapping：同时定位和映射)，根据由拍摄部12拍摄到的拍摄图像同时推断检测点的位置信息和移动体2的自身位置信息。图像处理装置10将空间上相邻的多个拍摄图像连接起来，以生成并显示俯瞰移动体2的周边的合成图像。此外，在本实施方式中，将拍摄部12作为检测部14使用。

图3是表示图像处理装置10的功能结构的一个例子的图。此外，在图3中，为了明确数据的输入输出关系，除了图像处理装置10之外，一并图示拍摄部12和显示部16。

图像处理装置10具备获取部20、选择部23、匹配部25、自身位置推断部27、检测点登记部29、存储部26、校正部28、决定部30、变形部32、虚拟视点视线决定部34、投影变换部36以及图像合成部38。

上述多个各部的一部分或者全部例如也可以通过使CPU10A等处理装置执行程序、即通过软件来实现。另外，上述多个各部的一部分或者全部也可以由IC(IntegratedCircuit：集成电路)等硬件实现，也可以并用软件和硬件来实现。

获取部20从拍摄部12获取拍摄图像。获取部20从拍摄部12(拍摄部12A～拍摄部12D)中的各个拍摄部获取拍摄图像。

获取部20在每次获取拍摄图像时，将所获取的拍摄图像输出到投影变换部36和选择部23。

选择部23选择检测点的检测区域。在本实施方式中，选择部23通过选择多个拍摄部12(拍摄部12A～拍摄部12D)中的、至少一个拍摄部12，来选择检测区域。

在本实施方式中，选择部23使用从ECU3接收到的CAN数据中包含的车辆状态信息、检测方向信息或者通过基于用户的操作指示而输入的指示信息，选择至少任意一个拍摄部12。

车辆状态信息例如是表示移动体2的行进方向、移动体2的方向指示的状态、移动体2的齿轮的状态等的信息。车辆状态信息能够从CAN数据导出。检测方向信息是表示检测出应该关注的信息的方向的信息，能够通过POI(Point of Interest：兴趣点)技术导出。指示信息是表示应该关注的方向的信息，通过基于用户的操作指示而输入。

例如，选择部23使用车辆状态信息来选择检测区域的方向。具体而言，选择部23使用车辆状态信息来确定表示移动体2的后方停车的后方停车信息、表示纵列停车的纵列停车信息等停车信息。选择部23将停车信息与任意一个拍摄部12的识别信息建立对应关系地预先存储。例如，选择部23与后方停车信息建立对应关系地预先存储拍摄移动体2的后方的拍摄部12D(参照图1)的识别信息。另外，选择部23与纵列停车信息建立对应关系地预先存储拍摄移动体2的左右方向的拍摄部12B和拍摄部12C(参照图1)各自的识别信息。

而且，选择部23通过选择与从接受到的车辆状态信息导出的停车信息对应的拍摄部12，来选择检测区域的方向。

另外，选择部23也可以选择将由检测方向信息表示的方向作为拍摄区域E的拍摄部12。另外，选择部23也可以选择将通过POI技术导出的检测方向信息所示的方向作为拍摄区域E的拍摄部12。

选择部23将由获取部20获取的拍摄图像中的、由所选择的拍摄部12拍摄到的拍摄图像输出到匹配部25。

匹配部25针对拍摄定时不同的多个拍摄图像(帧不同的多个拍摄图像)，进行特征量的提取处理和各图像间的匹配处理。详细地说，匹配部25根据这些多个拍摄图像进行特征量提取处理。匹配部25针对拍摄定时不同的多个拍摄图像，在各个拍摄图像之间使用特征量，进行确定该多个拍摄图像间的对应的点的匹配处理。匹配部25将其匹配处理结果输出到自身位置推断部27。另外，匹配部25将所确定的多个拍摄图像间的对应的点的信息登记于环境地图信息26A。

存储部26存储各种数据。存储部26例如是RAM、闪存等半导体存储器元件、硬盘、光盘等。此外，存储部26也可以是设置在图像处理装置10的外部的存储装置。另外，存储部26也可以是存储介质。具体而言，存储介质也可以经由LAN(Local Area Network：局域网)、因特网等下载程序、各种信息并存储或者暂时存储。

环境地图信息26A是表示移动体2的周边状况的地图信息。环境地图信息26A是在以实际空间中的规定位置为原点的三维坐标空间中登记了检测点各自的位置信息和移动体2的自身位置信息的信息。实际空间中的规定位置例如也可以基于预先设定的条件来决定。

例如，规定位置是由图像处理装置10执行本实施方式的图像处理时的移动体2的位置。例如，假定在移动体2的停车场景等规定定时执行图像处理的情况。在该情况下，图像处理装置10将判别为到达该规定定时时的移动体2的位置设为规定位置即可。例如，图像处理装置10在判别为移动体2的举动为表示停车场景的举动时，判断为到达该规定定时即可。表示停车场景的举动例如是移动体2的速度成为规定速度以下的情况、移动体2的齿轮进入倒档的情况、根据用户的操作指示等而接受到表示停车开始的信号的情况等。此外，该规定定时并不限定于停车场景。

图4是环境地图信息26A的一个例子的示意图。如图4所示，环境地图信息26A是将检测点P各自的位置信息和移动体2的自身位置S的自身位置信息登记于该三维坐标空间中的对应的坐标位置的信息。

自身位置推断部27使用从匹配部25获取的匹配处理结果中包含的、被确定为对应的点的信息，通过三角测量来推断移动体2的自身位置信息。这里，自身位置信息是指表示移动体2的姿势的信息。移动体2的姿势表示移动体2的位置和倾斜。在自身位置信息中，例如包含与不同的拍摄定时中的各个拍摄定时对应的移动体2的位置、拍摄部12的朝向等信息。

而且，自身位置推断部27将计算出的自身位置信息登记于环境地图信息26A。

此外，自身位置推断部27也可以使用测程法来推断自身位置信息。在该情况下，自身位置推断部27使用前次计算出的自身位置信息和移动体2的移动量，通过基于测程法的积分计算来推断新的自身位置信息即可。此外，自身位置推断部27能够通过读取从ECU3获取的CAN数据中包含的移动体2的移动量，来获取移动量。

检测点登记部29使用由自身位置推断部27推断出的、与不同的拍摄定时中的各个拍摄定时对应的移动体2的自身位置信息，求出移动体2的移动量(平移量和旋转量)。而且，根据该移动量，求出由匹配部25确定的多个拍摄图像间的对应的点相对于移动体2的自身位置的相对坐标(检测点)。

另外，检测点登记部29将该坐标作为检测点P的坐标，登记于环境地图信息26A。此外，登记于环境地图信息26A的检测点P的坐标也可以变换为以规定位置为原点的坐标。

因此，在环境地图信息26A中，伴随着移动体2的移动，依次追加登记新的检测点P的位置信息和自身位置S的自身位置信息。在图4中，作为一个例子，表示自身位置S1～自身位置S3的自身位置S。S之后的数值的值越大，意味着是越接近当前的定时的自身位置S。

校正部28对登记于环境地图信息26A的多个检测点P各自的位置信息以及移动体2的自身位置信息进行校正。校正部28使用在该检测点P的获取定时之后的获取定时所获取的对应的检测点P各自的位置信息，对已登记于环境地图信息26A的位置信息和自身位置信息进行校正。

即，校正部28使用由检测点登记部29新登记的检测点P的位置信息对登记于环境地图信息26A的检测点P的位置信息进行校正。此时，校正部28也可以还使用登记于环境地图信息26A的检测点P各自的位置信息的计算所使用的各种参数来校正位置信息和自身位置信息。通过该校正处理，校正部28对登记于环境地图信息26A的检测点P的位置信息的误差进行校正。校正部28使用最小二乘法等对登记于环境地图信息26A的检测点P的位置信息进行校正即可。通过基于校正部28的校正处理，对检测点P的位置信息的累积误差进行校正。

不限定基于校正部28的校正处理的定时。例如，校正部28在每个规定定时执行上述校正处理即可。规定定时例如也可以基于预先设定的条件来决定。此外，在本实施方式中，作为一个例子，对图像处理装置10是具备校正部28的结构的情况进行说明。然而，图像处理装置10也可以是不具备校正部28的结构。

决定部30使用积蓄于环境地图信息26A的检测点P的位置信息，决定投影面的投影形状，生成投影形状信息。决定部30将所生成的投影形状信息输出到变形部32。

这里，投影面是指用于对移动体2的周边图像进行投影的立体面。另外，移动体2的周边图像是指移动体2的周边的拍摄图像，是由拍摄部12A～拍摄部12D中的各个拍摄部拍摄到的拍摄图像。投影面的投影形状是在与实际空间对应的虚拟空间中虚拟地形成的立体(3D)形状。另外，在本实施方式中，将由决定部30执行的投影面的投影形状的决定称为“投影形状决定处理”。

决定部30使用积蓄于环境地图信息26A的、包含移动体2的周边的多个检测点P的位置信息和移动体2的自身位置信息，决定边界区域，生成边界区域信息。决定部30将所生成的边界区域信息输出到图像合成部38。

这里，边界区域是指在将移动体2的多个周边图像在空间上连接起来而生成合成图像的情况下，使由拍摄部12A～12D中的空间上相邻的拍摄部12获取的两个周边图像叠合的区域。该边界区域例如由与边界区域的中心位置对应的边界角度和边界宽度决定。在本实施方式中，将由决定部30执行的边界区域的决定称为“边界区域决定处理”。

另外，决定部30使用积蓄于环境地图信息26A的、包含移动体2的周边的多个检测点P的位置信息和移动体2的自身位置信息，计算渐近曲线，生成渐近曲线信息。

图5是由决定部30生成的渐近曲线Q的说明图。这里，渐近曲线是指环境地图信息26A中的多个检测点P的渐近曲线。图5是在从上方鸟瞰移动体2的情况下，在将拍摄图像投影到投影面而得的投影图像上表示渐近曲线Q的例子。例如，假定决定部30按照接近移动体2的自身位置S的顺序确定了3个检测点P。在该情况下，决定部30生成该3个检测点P的渐近曲线Q。

决定部30将自身位置和渐近曲线信息输出到虚拟视点视线决定部34。

此外，关于决定部30的结构，在后面详细地说明。

变形部32基于从决定部30接受的投影形状信息，使投影面变形。

图6是表示基准投影面40的一个例子的示意图。图7是表示由决定部30决定的投影形状41的一个例子的示意图。即，变形部32基于投影形状信息，对预先存储的图6所示的基准投影面进行变形，决定作为图7所示的投影形状41的变形投影面42。决定部30基于投影形状41生成变形投影面信息。以最接近移动体2的检测点P为基准执行该基准投影面的变形。变形部32将变形投影面信息输出到投影变换部36。

另外，例如，变形部32基于投影形状信息，将基准投影面变形为沿着按照接近移动体2的顺序预先决定的数量的多个检测点P的渐近曲线的形状。

此外，优选变形部32使用在第一定时之前所获取的检测点P的位置信息和自身位置S的自身位置信息，对基准投影面进行变形。

这里，第一定时是指由匹配部25检测出检测点P的位置信息的最新的定时、或者比该最新的定时过去的任意的定时。例如，在第一定时之前所获取的检测点P包含位于移动体2的周边的特定物体的位置信息，在第一定时所获取的检测点P不包含该位于周边的特定物体的位置信息。决定部30使用环境地图信息26A中包含的、在该第一定时之前所获取的检测点P的位置信息，与上述同样地决定投影形状即可。而且，变形部32使用该投影形状的投影形状信息，与上述同样地生成变形投影面即可。

例如，在匹配部25在第一定时检测出的检测点P的位置信息中，有时不包含比该定时在过去检测出的检测点P的位置信息。在该情况下，变形部32也能够生成与该过去检测出的检测点P对应的变形投影面。

虚拟视点视线决定部34基于自身位置和渐近曲线信息，决定虚拟视点视线信息。

一边参照图5、图7，一边对虚拟视点视线信息的决定进行说明。虚拟视点视线决定部34例如将穿过最接近移动体2的自身位置S的检测点P且与变形投影面垂直的方向决定为视线方向。另外，虚拟视点视线决定部34例如固定该视线方向L的方向，将虚拟视点O的坐标决定为任意的Z坐标和从渐近曲线Q向自身位置S侧远离的方向上的任意的XY坐标。在该情况下，该XY坐标也可以是比自身位置S更远离渐近曲线Q的位置的坐标。而且，虚拟视点视线决定部34将表示虚拟视点O和视线方向L的虚拟视点视线信息输出到投影变换部36。此外，如图7所示，视线方向L也可以为从虚拟视点O朝向渐近曲线Q的顶点W的位置的方向。

投影变换部36基于变形投影面信息和虚拟视点视线信息，生成将从拍摄部12获取的拍摄图像投影到变形投影面而得的投影图像。投影变换部36将所生成的投影图像变换为虚拟视点图像并输出到图像合成部38。这里，虚拟视点图像是指从虚拟视点在任意的方向上视觉确认投影图像而得的图像。

一边参照图7，一边详细地对基于投影变换部36的投影图像生成处理进行说明。投影变换部36将拍摄图像投影到变形投影面42。而且，投影变换部36生成虚拟视点图像，该虚拟视点图像是从任意的虚拟视点O在视线方向L上视觉确认投影到变形投影面42的拍摄图像而得的图像(未图示)。虚拟视点O的位置例如为移动体2的最新的自身位置S即可。在该情况下，虚拟视点O的XY坐标的值为移动体2的最新的自身位置S的XY坐标的值即可。另外，将虚拟视点O的Z坐标(铅垂方向的位置)的值为最接近移动体2的自身位置S的检测点P的Z坐标的值即可。视线方向L例如也可以基于预先决定的基准来决定。

视线方向L例如为从虚拟视点O朝向最接近移动体2的自身位置S的检测点P的方向。另外，视线方向L也可以为穿过该检测点P且与变形投影面42垂直的方向。表示虚拟视点O和视线方向L的虚拟视点视线信息由虚拟视点视线决定部34制成。

例如，虚拟视点视线决定部34也可以将穿过最接近移动体2的自身位置S的检测点P且与变形投影面42垂直的方向决定为视线方向L。另外，虚拟视点视线决定部34也可以固定该视线方向L的方向，将虚拟视点O的坐标决定为任意的Z坐标和从渐近曲线Q向自身位置S侧远离的方向上的任意的XY坐标。在该情况下，该XY坐标也可以是比自身位置S更远离渐近曲线Q的位置的坐标。而且，虚拟视点视线决定部34将表示虚拟视点O和视线方向L的虚拟视点视线信息输出到投影变换部36。此外，也可以如图6所示，视线方向L为从虚拟视点O朝向渐近曲线Q的顶点W的位置的方向。

投影变换部36从虚拟视点视线决定部34接受虚拟视点视线信息。投影变换部36通过接受该虚拟视点视线信息，而确定虚拟视点O和视线方向L。而且，投影变换部36根据投影到变形投影面42的拍摄图像，生成从该虚拟视点O在视线方向L上视觉确认的图像即虚拟视点图像。投影变换部36将虚拟视点图像输出到图像合成部38。

图像合成部38生成提取了虚拟视点图像的一部分或者全部的合成图像。例如，图像合成部38进行边界区域中的多个虚拟视点图像(这里，与拍摄部12A～12D对应的4张虚拟视点图像)的连接处理、该连接处理中的各图像的混合处理。这里，混合处理是指将在边界区域中空间上相邻的图像以规定的比率(混合比)混合的处理。混合比例如能够阶段性地设定成随着远离边界区域的中心位置而变化。此外，混合比的值、混合比的阶段性的设定也可以任意地调整。另外，也可以省略混合处理。

图像合成部38将所生成的合成图像输出到显示部16。此外，合成图像也可以是将移动体2的上方作为虚拟视点O的鸟瞰图像、以移动体2内为虚拟视点O而半透明地显示移动体2的图像。

此外，投影变换部36和图像合成部38构成图像生成部37。图像生成部37是使用边界区域，以使用空间上相邻的上述周边图像来生成合成图像的图像生成部的一个例子。

(决定部30的结构例)

接下来，对决定部30的详细的结构的一个例子进行说明。

图8是表示决定部30的结构的一个例子的示意图。如图8所示，决定部30具备绝对距离换算部30A、提取部30B、最邻近确定部30C、基准投影面形状选择部30D、尺度决定部30E、渐近曲线计算部30F、形状决定部30G以及边界区域决定部30H。

绝对距离换算部30A从存储部26读取环境地图信息26A。绝对距离换算部30A将所读取的环境地图信息26A中包含的多个检测点P各自的位置信息换算为从移动体2的最新的自身位置S即当前位置到该多个检测点P中的各个检测点为止的绝对距离的距离信息。此外，在检测部14获取检测点P的距离信息的情况下，也可以省略绝对距离换算部30A。

详细地说，绝对距离换算部30A使用从移动体2的ECU3接收到的CAN数据中包含的移动体2的速度数据，计算移动体2的当前位置。

具体而言，例如，绝对距离换算部30A使用CAN数据中包含的移动体2的速度数据，计算登记于环境地图信息26A的自身位置S间的距离。例如，假定图4所示的环境地图信息26A。在该情况下，绝对距离换算部30A使用CAN数据中包含的速度数据，计算自身位置S1与自身位置S2之间的距离以及自身位置S2与自身位置S3之间的距离。而且，绝对距离换算部30A使用这些距离，计算移动体2的当前位置。

而且，绝对距离换算部30A计算从移动体2的当前位置到环境地图信息26A中包含的多个检测点P中的各个检测点为止的距离亦即距离信息。详细地说，绝对距离换算部30A将环境地图信息26A中包含的多个检测点P各自的位置信息换算为与移动体2的当前位置相距的距离信息。通过该处理，绝对距离换算部30A计算检测点P各自的绝对距离亦即距离信息。

而且，绝对距离换算部30A将计算出的多个检测点P各自的距离信息输出到提取部30B。另外，绝对距离换算部30A将计算出的移动体2的当前位置作为移动体2的自身位置信息输出到虚拟视点视线决定部34。

提取部30B提取从绝对距离换算部30A接受了距离信息的多个检测点P中的、在特定的范围内存在的检测点P。特定的范围例如是指从配置有移动体2的路面到与移动体2的车高相当的高度为止的范围。此外，该范围并不限定于上述范围。

通过由提取部30B提取该范围内的检测点P，例如能够提取成为移动体2的行进的障碍的物体的检测点P。

而且，提取部30B将提取出的检测点P各自的距离信息输出到最邻近确定部30C。

最邻近确定部30C按照每个确定的角度范围来划分移动体2的自身位置S的周围，按照每个角度范围确定最接近移动体2的检测点P、或者按照接近移动体2的顺序确定多个检测点P。最邻近确定部30C使用从提取部30B接受到的距离信息，确定检测点P。在本实施方式中，作为一个例子，对最邻近确定部30C按照每个角度范围，按照接近移动体2的顺序确定多个检测点P的方式进行说明。

最邻近确定部30C将按照每个角度范围而确定出的检测点P的距离信息输出到基准投影面形状选择部30D、尺度决定部30E、渐近曲线计算部30F、边界区域决定部30H。

基准投影面形状选择部30D选择基准投影面的形状。

这里，一边参照图6，一边详细地说明基准投影面。基准投影面40例如是在变更投影面的形状时成为基准的形状的投影面。基准投影面40的形状例如是碗形、圆柱形等。此外，在图6中例示碗形的基准投影面40。

碗形是指具有底面40A和侧壁面40B，侧壁面40B的一端与该底面40A连续，另一端开口的形状。对于该侧壁面40B而言，从底面40A侧朝向该另一端部的开口侧，水平截面的宽度变大。底面40A例如是圆形状。这里，圆形状是指包含正圆形状、椭圆形状等正圆形状以外的圆形状的形状。水平截面是与铅垂方向(箭头Z方向)正交的正交平面。正交平面是沿着与箭头Z方向正交的箭头X方向以及与箭头Z方向和箭头X方向正交的箭头Y方向的二维平面。以下，有时将水平截面和正交平面称为XY平面来进行说明。此外，底面40A也可以是例如蛋形那样的圆形状以外的形状。

圆柱形是指由圆形状的底面40A和与该底面40A连续的侧壁面40B构成的形状。另外，构成圆柱形的基准投影面40的侧壁面40B为一端部的开口与底面40A连续，另一端部开口的圆筒状。但是，构成圆柱形的基准投影面40的侧壁面40B是从底面40A侧朝向该另一端部的开口侧，XY平面的直径大致恒定的形状。此外，底面40A也可以是例如蛋形那样的圆形状以外的形状。

在本实施方式中，作为一个例子，对基准投影面40的形状为图6所示的碗形的情况进行说明。基准投影面40是在将底面40A设为与移动体2的下方的路面大致一致的面、将该底面40A的中心设为移动体2的自身位置S的虚拟空间中虚拟地形成的立体模型。

基准投影面形状选择部30D通过从存储了多个种类的基准投影面40的形状的存储部26读取确定的一个形状，来选择基准投影面40的形状。例如，基准投影面形状选择部30D根据自身位置与周围立体物之间的位置关系、距离信息等来选择基准投影面40的形状。此外，也可以根据用户的操作指示来选择基准投影面40的形状。基准投影面形状选择部30D将所决定的基准投影面40的形状信息输出到形状决定部30G。在本实施方式中，如上所述，作为一个例子，对基准投影面形状选择部30D选择碗形的基准投影面40的方式进行说明。

尺度决定部30E决定由基准投影面形状选择部30D选择的形状的基准投影面40的尺度。尺度决定部30E例如进行在距自身位置S规定的距离的范围内存在多个检测点P的情况下减小尺度等的决定。尺度决定部30E将所决定的尺度的尺度信息输出到形状决定部30G。

渐近曲线计算部30F将使用从最邻近确定部30C接受到的、按照距离自身位置S的每个角度范围而与自身位置S最近的检测点P的距离信息中的各个距离信息计算出的渐近曲线Q的渐近曲线信息输出到形状决定部30G和虚拟视点视线决定部34。此外，渐近曲线计算部30F也可以计算按照基准投影面40的多个部分而积蓄的检测点P的渐近曲线Q。而且，渐近曲线计算部30F也可以将计算出的渐近曲线Q的渐近曲线信息输出到形状决定部30G和虚拟视点视线决定部34。

形状决定部30G将由从基准投影面形状选择部30D接受到的形状信息所示的形状的基准投影面40放大或者缩小为从尺度决定部30E接受到的尺度信息的尺度。而且，形状决定部30G针对放大或者缩小后的基准投影面40，将变形为沿着从渐近曲线计算部30F接受到的渐近曲线Q的渐近曲线信息的形状而得的形状决定为投影形状。

这里，一边参照图7，一边详细地说明投影形状的决定。如图7所示，形状决定部30G将使基准投影面40变形为穿过最接近基准投影面40的底面40A的中心即移动体2的自身位置S的检测点P的形状而得的形状决定为投影形状41。穿过检测点P的形状是指变形后的侧壁面40B穿过该检测点P的形状。该自身位置S是由自身位置推断部27计算出的最新的自身位置S。另外，穿过检测点P的形状是指变形后的侧壁面40B穿过该检测点P的形状。

即，形状决定部30G确定登记于环境地图信息26A的多个检测点P中的、最接近该自身位置S的检测点P。详细地说，将移动体2的中心位置(自身位置S)的XY坐标设为(X，Y)＝(0，0)。而且，形状决定部30G将X²+Y²的值表示最小值的检测点P确定为最接近自身位置S的检测点P。而且，形状决定部30G将变形为基准投影面40的侧壁面40B穿过该检测点P的形状而得的形状决定为投影形状41。

更具体而言，形状决定部30G将底面40A和侧壁面40B的一部分区域的变形形状决定为投影形状41，以使得在使基准投影面40变形时侧壁面40B的一部分区域成为穿过最接近移动体2的检测点P的壁面。变形后的投影形状41例如成为从底面40A上的立起线44朝向接近底面40A的中心的方向立起的形状。立起是指例如使该侧壁面40B和底面40A的一部分朝向接近底面40A的中心的方向弯曲或者折弯，以使得基准投影面40的侧壁面40B与底面40A所成的角度变为较小的角度。

形状决定部30G决定使基准投影面40中的确定区域变形为在XY平面的视点(俯视)突出至穿过该检测点P的位置。确定区域的形状和范围也可以基于预先决定的基准来决定。而且，形状决定部30G决定设为将基准投影面40变形为距自身位置S的距离从突出的确定区域朝向侧壁面40B中的该确定区域以外的区域连续地变远而得的形状。

例如，如图7所示，优选决定投影形状41以使得沿着XY平面的截面的外周的形状为曲线形状。此外，投影形状41的该截面的外周的形状例如为圆形状，但也可以为圆形状以外的形状。

此外，形状决定部30G也可以将使基准投影面40变形为沿着渐近曲线的形状而得的形状决定为投影形状41。形状决定部30G生成朝向远离与移动体2的自身位置S最近的检测点P的方向而预先决定的数量的多个检测点P的渐近曲线。该检测点P的数量为多个即可。例如，优选该检测点P的数量为3个以上。另外，在该情况下，优选形状决定部30G生成在从自身位置S观察时位于远离规定角度以上的位置的多个检测点P的渐近曲线。例如，形状决定部30G能够将在图6所示的渐近曲线Q中使基准投影面40变形为沿着所生成的渐近曲线Q的形状而得的形状决定为投影形状41。

此外，形状决定部30G也可以按照每个确定的角度范围划分移动体2的自身位置S的周围，按照每个该角度范围确定最接近移动体2的检测点P，或者按照接近移动体2的顺序确定多个检测点P。而且，形状决定部30G也可以将按照每个该角度范围，使基准投影面40变形为穿过所确定的检测点P的形状或者沿着所确定的多个检测点P的渐近曲线Q的形状而得的形状决定为投影形状41。

另外，不限定形状决定部30G对投影形状41的决定定时。例如，在本实施方式中，形状决定部30G也可以根据移动体2的移动，使用在由选择部23选择的检测区域中包含的被拍摄体的大小较大的定时得到的拍摄图像，决定投影形状41。

而且，形状决定部30G将所决定的投影形状41的投影形状信息输出到变形部32。

边界区域决定部30H执行使用积蓄于环境地图信息26A的、包含移动体2的周边的多个检测点P的位置信息和移动体2的自身位置信息，决定移动体2的多个周边图像的边界区域的边界区域决定处理。即，边界区域决定部30H基于由最邻近确定部30C指定的最邻近的检测点P的位置，决定边界区域。

图9是用于对边界角和边界宽度进行说明的图。在图9中，分别表示从正上方观察移动体2的情况下的拍摄部12A的视线方向AA、拍摄部12C的视线方向AC、拍摄部12D的视线方向AD、设定边界角的角度范围R₁、R₂。柱C是距离移动体2的最邻近的立体物。C₀表示从移动体2观察到的柱C的中心位置，CW表示从移动体2观察到的柱C的宽度。在图9所示的状况中，假定将移动体2后方停车至停车划分线PL的情况。在该情况下，拍摄部12D的视线方向AD相当于边界角0度，拍摄部12C的视线方向AC相当于边界角90度。

边界区域决定部30H基于由最邻近确定部30C确定的最邻近的检测点P的位置，确定最接近移动体2的立体物即柱C的中心位置C₀及其宽度CW。边界区域决定部30H决定为与所确定的柱C的中心位置C₀对应的边界角(例如45度)。边界区域决定部30H决定以边界角为基准的与规定的边界宽度对应的角度范围。

此外，优选边界宽度不超过最接近移动体2的立体物即柱C的宽度CW。另外，能够通过调整边界宽度，使边界区域成为任意的大小。例如，也可以基于检测出的柱C的宽度CW来设定边界区域的大小。另外，在图9的例子中，为了容易理解说明，例示了在从0度到90度的角度范围R₁中设定边界角的情况。与此相对，例如在拍摄部12具有195度左右的拍摄范围的情况下，也可以将边界角设定为90度以上的角度。

此外，在图9中，例示了在移动体2的周边仅存在柱C的情况。与此相对，在移动体2的周边存在多个立体物的情况下，边界区域决定部30H以最邻近的立体物为基准来决定边界区域。另外，边界区域决定部30H将满足规定的基准的大小(例如满足能够由Visual SLAM检测的尺寸的大小)的立体物作为对象，决定边界区域。

另外，当移动体2从图9所示的状况起进一步向后方移动时，例如柱C移动到移动体2的右斜前方。此时，边界区域决定部30H在拍摄部12C的视线方向AC与拍摄部12A的视线方向AA之间的角度范围R₂中，伴随着移动体2的移动而同样地设定边界角，决定边界区域。这是因为，图像处理装置10连续地生成环境地图信息26A，因此能够实时地判定移动体2与柱C的位置关系。

另外，在图9所示的例子中，例示了距离移动体2的最邻近的立体物为柱C的情况。与此相对，在距离移动体2的最邻近的立体物是壁而不是柱C的情况下，边界区域决定部30H以距离移动体2的最邻近的壁部分为基准决定边界区域。另外，例如在移动体2的右侧面全部为壁的情况下，边界区域决定部30H例如使用移动体2的顶视图像(Top View)，判定与移动体2最邻近的壁部分，以部分为基准决定边界区域。

边界区域决定部30H将所决定的边界角和以该边界角为基准的规定的角度范围作为边界区域信息，输出到图像合成部38。

接下来，详细地说明由本实施方式的图像处理装置10实现的边界区域适应控制。这里，边界区域适应控制是指，通过以最接近移动体2的立体物为基准设定边界区域，来消除将多个周边图像连接而成的合成图像投影并显示于投影面的情况下的不良情况。

此外，以下，为了具体地进行说明，与图9所示的状况同样地以如下的情况为例：使用由配置在移动体2的后方的拍摄部12D拍摄到的周边图像和由配置在右侧面的拍摄部12C拍摄到的周边图像来生成合成图像。

另外，以下，作为一个例子，对与边界区域适应控制一同使用投影形状适应控制的情况进行说明。这里，通过以最接近移动体2的立体物为基准设定投影形状，从而消除将图像投影并显示于投影面的情况下的不良情况。然而，与边界区域适应控制一同使用投影形状适应控制的情况只是例示。即，边界区域适应控制也可以与投影形状适应控制无关地单独使用。

图10表示将移动体2后方停车到柱C附近的停车划分线PL内(停车空间)的情况下的状况。图10是表示对由拍摄部12C拍摄到的图像进行透视投影变换后的周边图像V_C1以及对由拍摄部12D拍摄到的图像进行透视投影变换后的周边图像V_D1的概念图。另外，图11是示意性地表示将周边图像V_C1和周边图像V_D1合成而生成的合成图像V_T1的一个例子的图。

此外，在图10中，柱C_C1、停车划分线PL_C1表示在周边图像V_C1中被影像化的柱C、停车划分线PL，柱C_D1、停车划分线PL_D1表示在周边图像V_D1中被影像化的柱C、停车划分线PL。另外，图10的下侧表示使周边图像V_D1与周边图像V_C1叠合的情况下的、柱C_C1、停车划分线PL_C1、柱C_D1、停车划分线PL_D1、边界区域BR投影到基准投影面40的情况。

在图10中，投影到基准投影面40的周边图像V_D1的柱C_D1和周边图像V_C1的柱C_C1在位于边界区域BR的基准投影面40的侧面上存在不相互重叠的部分。另外，在边界区域BR中，周边图像V_D1与周边图像V_C1以规定的比率混合。因此，有时例如如图11的区域H所示，在合成图像V_T1上，柱C的一部分未被影像化而成为消失的状态。

图12是表示针对图10所示的基准投影面40执行投影形状适应控制，从基准投影面40变形为投影形状41的情况的概念图。在图12中，针对投影形状41，示出对由拍摄部12C拍摄到的图像进行透视投影变换后的周边图像V_C2以及对由拍摄部12D拍摄到的图像进行透视投影变换后的周边图像V_D2。另外，图13是示意性地表示图12所示的合成图像V_T2的一个例子的图。此外，在图12中，柱C_C2、停车划分线PL_C2表示在周边图像V_C2中被影像化的柱C、停车划分线PL，柱C_D2、停车划分线PL_D2表示在周边图像V_D2中被影像化的柱C、停车划分线PL。

如图12所示，通过投影形状适应控制而以最邻近的立体物即柱C的位置为基准生成投影形状41。因此，边界区域BR中的柱C_C2与柱C_D2的在投影形状41的侧面上的偏差被消除。其结果是，例如如图13的区域H所示，在合成图像V_T2上柱C被影像化，合成图像V_T2上的柱C的一部分的消失被消除。

图14是从图12、图13所示的状态起移动体2进一步朝向停车划分线PL前进了的情况下的概念图。在图14中，对由拍摄部12C拍摄到的图像进行透视投影变换后的周边图像与对由拍摄部12D拍摄到的图像进行透视投影变换后的周边图像叠合。另外，图15是示意性地表示图14所示的合成图像V_T2的一个例子的图。在比较图14、图15和图12、图13的情况下，移动体2进一步朝向停车划分线PL前进，因此柱C的位置在移动体2的右侧面从移动体2的后方向前方移动。

在不执行边界区域适应控制的情况下，边界区域BR例如保持在图12所示的位置不变。因此，移动体2进一步朝向停车划分线前进的结果为，边界区域BR从像图12所示那样与柱C重叠的区域向像图14所示那样不与柱C重叠的区域移动。移动后的边界区域BR在投影形状41立起的区域中被投影，但在边界区域BR内包含的作为水平面影像的停车划分线PL_C2、PL_D2在投影形状41立起的区域中不相互重叠。其结果是，如图15的区域H所示，存在在合成图像V_T2上，停车划分线PL在边界区域BR中作为停车划分线PL_C2、PL_D2而被双重影像化的情况。

图16是表示针对图14所示的情况，通过边界区域适应控制将投影处理适应化的例子的概念图。在图16中，对由拍摄部12C拍摄到的图像进行透视投影变换后的周边图像与对由拍摄部12D拍摄到的图像进行透视投影变换后的周边图像叠合。另外，图17是示意性地表示图16所示的合成图像V_T2的一个例子的图。

如图16所示，本实施方式的图像处理装置10通过边界区域适应控制，在最邻近的立体物即柱C的中心位置(图17箭头的位置I所示的位置)设定边界角，设定边界区域BR以收敛于柱C的宽度。因此，停车划分线PL通过与右侧面的周边图像V_C2对应的停车划分线PL_C2、与后方的周边图像V_D2对应的停车划分线PL_D2中的任意一方而投影于投影形状41。另外，在边界区域BR中，最邻近的立体物即柱C_C2、C_D2在投影形状41的水平面和侧面被投影为相互重叠。其结果是，如图17的区域H所示，在合成图像V_T2上，停车划分线PL的双重影像化被消除。

接下来，对由第一实施方式的图像处理装置10执行的、包括边界区域适应控制的图像处理的流程的一个例子进行说明。

图18是表示由图像处理装置10执行的图像处理的流程的一个例子的流程图。

获取部20从拍摄部12获取拍摄图像(步骤S10)。另外，获取部20执行直接指定内容(例如，移动体2的齿轮为倒档等)的获取、车辆状态(例如，停止状态等)的获取。

选择部23选择拍摄部12A～12D中的至少任意两个(步骤S12)。

匹配部25使用在步骤S10中获取的拍摄图像中的、在步骤S12中选择并由拍摄部12拍摄到的拍摄定时不同的多个拍摄图像，进行特征量的提取和匹配处理(步骤S14)。另外，匹配部25将通过匹配处理而确定的、拍摄定时不同的多个拍摄图像间的对应的点的信息登记于环境地图信息26A。

自身位置推断部27读取环境地图信息26A(地图和自身位置信息)(步骤S16)。自身位置推断部27使用登记于该环境地图信息26A的、确定为对应的点的信息，通过三角测量来计算(推断)与不同的拍摄定时中的各个拍摄定时对应的移动体2的自身位置信息(步骤S18)。

然后，自身位置推断部27将计算出的自身位置信息添加(登记)于环境地图信息26A(步骤S20)。

检测点登记部29读取环境地图信息26A(地图和自身位置信息)(步骤S22)，使用与不同的拍摄定时中的各个拍摄定时对应的移动体2的自身位置信息，求出移动体2的移动量(平移量和旋转量)。检测点登记部29根据该移动量，求出通过步骤S14的匹配处理而确定的、拍摄定时不同的多个拍摄图像间的对应的点相对于移动体2的自身位置的相对的三维坐标，执行三维复原。检测点登记部29将该三维坐标作为检测点P的坐标，登记于环境地图信息26A(步骤S24)。此外，登记于环境地图信息26A的检测点P的坐标也可以变换为以规定位置为原点的坐标。

校正部28获取环境地图信息26A(地图和自身位置信息)。校正部28还使用由检测点登记部29新登记的检测点P的位置信息，例如通过误差最小化处理来校正登记于环境地图信息26A的检测点P的位置信息(步骤S26)。其结果是，更新环境地图信息26A中的地图和自身位置信息。

绝对距离换算部30A获取从移动体2的ECU3接收到的CAN数据中包含的移动体2的速度数据(本车速度)。绝对距离换算部30A使用移动体2的速度数据，将环境地图信息26A中包含的多个检测点P各自的位置信息换算为从移动体2的最新的自身位置S即当前位置到该多个检测点P中的各个检测点为止的绝对距离的距离信息(步骤S28)。绝对距离换算部30A将计算出的多个检测点P各自的距离信息输出到提取部30B。另外，绝对距离换算部30A将计算出的移动体2的当前位置作为移动体2的自身位置信息输出到虚拟视点视线决定部34。

提取部30B提取接受到距离信息的多个检测点P中的、存在于确定的范围内的检测点P(步骤S30)。

最邻近确定部30C按照每个确定的角度范围划分移动体2的自身位置S的周围，按照每个角度范围确定最接近移动体2的检测点P、或者按照接近移动体2的顺序确定多个检测点P，提取与最邻近物体之间的距离(步骤S32)。最邻近确定部30C将按照每个角度范围而确定的检测点P的距离信息(与最邻近物体之间的距离)输出到基准投影面形状选择部30D、尺度决定部30E、渐近曲线计算部30F、边界区域决定部30H。

渐近曲线计算部30F计算渐近曲线(步骤S34)，作为渐近曲线信息输出到形状决定部30G和虚拟视点视线决定部34。

基准投影面形状选择部30D选择基准投影面40的形状(步骤S36)，将所选择的基准投影面40的形状信息输出到形状决定部30G。

尺度决定部30E决定由基准投影面形状选择部30D选择的形状的基准投影面40的尺度(步骤S38)，将所决定的尺度的尺度信息输出到形状决定部30G。

形状决定部30G基于尺度信息和渐近曲线信息，决定使基准投影面的形状如何变形的投影形状(步骤S40)。形状决定部30G将所决定的投影形状41的投影形状信息输出到变形部32。

投影变换部35基于投影形状信息使基准投影面变形(步骤S42)。投影变换部35决定虚拟视线视点信息，该虚拟视线视点信息包含用于在画面中央描绘渐近线的极小值的虚拟视点和虚拟视线(步骤S44)。

另外，投影变换部35执行使用了变形后的投影形状、所决定的虚拟视点和虚拟视线的透视投影，生成与4个方向的周边图像相关的虚拟视点图像(步骤S46)。

边界区域决定部30H基于与按照每个角度范围而确定的最邻近物体之间的距离，决定边界区域。即，边界区域决定部30H基于移动体2的最邻近的物体的位置来决定作为空间上相邻的周边图像的叠合区域的边界区域(步骤S48)。边界区域决定部30H将所决定的边界区域输出到图像合成部38。

图像合成部38使用边界区域使在空间上相邻的透视投影图像连接起来而生成合成图像(步骤S50)。即，图像合成部38根据被设定为最邻近物体方向的角度的边界区域将4个方向的透视投影图像连接起来，来生成合成图像。此外，在边界区域中，在空间上相邻的透视投影图像以规定的比率混合。

显示部16显示合成图像(步骤S52)。

图像处理装置10判断是否结束图像处理(步骤S54)。例如，图像处理装置10通过判别是否从ECU3接收到表示移动体2的位置移动停止的信号，来进行步骤S54的判断。另外，例如，图像处理装置10也可以通过判别是否根据基于用户的操作指示等接受了图像处理的结束指示，来进行步骤S54的判断。

若在步骤S54中进行否定判断(步骤S54：否)，则反复执行从上述步骤S10到步骤S54为止的处理。因此，追随最邻近物体方向的角度地设定用于将空间上相邻的周边图像连接起来的边界区域。

另一方面，若在步骤S54中进行肯定判断(步骤S54：是)，则结束本程序。

此外，在执行了步骤S26的校正处理之后从步骤S54返回到步骤S10的情况下，有时也可以省略之后的步骤S26的校正处理。另外，在不执行步骤S26的校正处理而从步骤S54返回到步骤S10的情况下，有时也可以执行之后的步骤S26的校正处理。

像上述那样，实施方式的图像处理装置具备作为决定部的边界区域决定部30H、以及作为生成部的图像生成部37。边界区域决定部30H使用包含移动体2的周边的多个检测点P的位置信息和移动体2的自身位置信息，决定移动体2的多个周边图像中的空间上相邻的周边图像的重复区域中的边界区域。图像生成部37使用边界区域，以使用空间上相邻的周边图像来生成合成图像。

因此，能够根据包含移动体2的周边的多个检测点P的位置信息和移动体2的自身位置信息，适当地设定用于将移动体2的多个周边图像中的空间上相邻的周边图像连接起来的边界区域。

另外，边界区域决定部30H基于与最邻近移动体2的立体物对应的检测点P的位置信息，决定边界区域。因此，在边界区域中，使用空间上相邻的多个周边图像，最邻近移动体2的立体物在投影面被投影为相互重叠。另外，在边界区域以外的区域中，执行使用了空间上相邻的周边图像中的任意一个周边图像的投影处理。其结果是，在合成图像上，能够抑制停车划分线的双重影像化等不良情况的产生。

另外，边界区域决定部30H基于最邻近移动体2的立体物的宽度来决定边界区域。因此，能够将边界区域设定为收敛于最邻近移动体2的立体物的宽度。其结果是，边界区域不会从最邻近移动体2的立体物突出，能够抑制水平区域等中的停车划分线的双重影像化等的产生。

另外，边界区域决定部30H使用依次生成的位置信息和自身位置信息，决定追随立体物的多个边界区域。图像生成部37使用追随立体物的多个边界区域，使用空间上相邻的周边图像而依次生成合成图像。因此，追随最邻近物体方向的角度地设定用于将空间上相邻的周边图像连接起来的边界区域。其结果是，用户能够使用抑制了在水平区域等中停车划分线的双重影像化等的产生的、精度较高的合成图像。

另外，本实施方式的图像处理装置10还具备变形部32，该变形部32使用位置信息和自身位置信息使基准投影面变形。图像生成部37使用变形后的基准投影面和空间上相邻的周边图像来生成合成图像。因此，追随根据最邻近物体的位置而变形的基准投影面地设定用于将空间上相邻的周边图像连接起来的边界区域。其结果是，用户能够使用抑制了移动体2的周边立体物的双重影像化等的产生的、精度较高的合成图像。

一边参照图19～图24，一边进一步详细地说明本实施方式的图像处理装置10的效果。图19、图21、图23是用于说明不执行边界区域适应控制的比较例的图。图20、图22、图24是表示通过包括边界区域适应控制的图像处理而得到的合成图像的一个例子的图。此外，图19～图24都是将移动体2后方停车的情况下的例子。

在图19所示的比较例中，边界角被设定在从最邻近移动体2的立体物J偏离的位置(约45度)。因此，在图19所示的区域H中，产生停车划分线被双重影像化的现象。

图20是表示针对图19所示的比较例，执行本实施方式的边界区域适应控制而得的合成图像的例子。通过边界区域适应控制，边界角被设定在与最邻近移动体2的立体物J重叠的I的位置(约75度)，边界宽度被设定为收敛于最邻近移动体2的立体物J的宽度。因此，在图20中，消除停车划分线的双重影像化。

图21和图22表示移动体2从图19和图20的情况下的位置移动，向其他的场所进行后方停车的情况下的合成图像的例子。图21表示即使移动体2移动也维持图20中设定的边界角的比较例。在该情况下，边界角被设定在从最邻近移动体2的立体物K偏离的位置(约75度)。因此，在图21所示的区域H中，产生停车划分线被双重影像化的现象。此外，图21和图22也可以是移动体2通过进行后方停车中的回轮等，而从图19和图20所示的位置向前方移动的情况。

图22是表示针对图21所示的比较例，执行本实施方式的边界区域适应控制而得的合成图像的例子。通过边界区域适应控制，边界角被设定在与最邻近移动体2的立体物K重叠的I的位置(约25度)，边界区域被设定为收敛于最邻近移动体2的立体物K的宽度。因此，在图22中，消除停车划分线的双重影像化。

在图23和图24中移动体2向比图21和图22中的移动体2的位置靠后方移动。图23表示即使移动体2移动也维持图22中设定的边界角的比较例。在该情况下，边界角被设定在从最邻近移动体2的立体物K偏离的位置(约25度)。因此，在图23所示的区域H中，产生停车划分线被双重影像化的现象。

图24是表示针对图23所示的比较例，执行本实施方式的边界区域适应控制而得的合成图像的例子。通过边界区域适应控制，边界角被设定在与最邻近移动体2的立体物K重叠的位置I(约60度)，边界区域被设定为收敛于最邻近移动体2的立体物K的宽度。在该情况下，伴随着移动体2向后方的移动，连续地控制边界角。因此，在图24中，消除停车划分线的双重影像化。这样，通过追随移动体2的移动执行边界区域适应控制，从而能够连续地抑制移动体2的周边立体物的双重影像化等的产生。

(第二实施方式)

在上述第一实施方式中，对从基于拍摄部12的拍摄图像获取检测点P的位置信息的方式、即使用了Visual SLAM的方式的例子进行了说明。与此相对，在第二实施方式中，对利用检测部14检测检测点P的位置信息的方式的例子进行说明。即，第二实施方式的图像处理装置10是使用三维LiDAR SLAM等的例子。

图25是表示第二实施方式的图像处理装置10的功能结构的一个例子的图。图像处理装置10与第一实施方式的图像处理装置10同样地与拍摄部12、检测部14和显示部16连接为能够收发数据或者信号。

图像处理装置10具备获取部20、自身位置推断部27、检测点登记部29、存储部26、校正部28、决定部30、变形部32、虚拟视点视线决定部34、投影变换部36以及图像合成部38。

上述多个各部的一部分或者全部例如也可以通过使图2所示的CPU10A等处理装置执行程序、即通过软件来实现。另外，上述多个各部的一部分或者全部也可以由IC等硬件实现，也可以并用软件和硬件来实现。

在图25中，存储部26、校正部28、决定部30、变形部32、虚拟视点视线决定部34、投影变换部36以及图像合成部38与第一实施方式同样。存储部26存储环境地图信息26A。环境地图信息26A与第一实施方式同样。

获取部20从拍摄部12获取拍摄图像。另外，获取部20从检测部14获取检测点的位置信息。获取部20从拍摄部12(拍摄部12A～拍摄部12D)中的各个拍摄部获取拍摄图像。检测部14检测多个检测点各自的位置信息。因此，获取部20获取多个检测点各自的位置信息和基于多个拍摄部12中的各个拍摄部的拍摄图像。

获取部20每次获取多个检测点各自的位置信息时，将所获取的位置信息输出到检测点登记部29和自身位置推断部27。另外，获取部20每次获取拍摄图像时，将所获取的拍摄图像输出到投影变换部36。

检测点登记部29每次获取多个检测点各自的位置信息时，将所获取的位置信息中的各个位置信息登记于环境地图信息26A。将环境地图信息26A存储于存储部26。

检测点登记部29每次经由获取部20从检测部14获取检测点P的位置信息时，通过扫描匹配来确定已登记于环境地图信息26A的相同的检测点P。相同的检测点P是指虽然基于检测部14的位置信息的获取定时不同，但在实际空间中为相同的检测点P。检测点登记部29将从检测部14获取的检测点P的位置信息中的、未登记于环境地图信息26A的检测点P的位置信息追加地登记于环境地图信息26A。此时，检测点登记部29在将所获取的检测点P的位置信息坐标变换为以上述规定位置为原点的坐标之后，登记于环境地图信息26A。

此外，基于检测点登记部29的扫描匹配的结果有时为已登记于环境地图信息26A的检测点P与新获取的检测点P规定比例以上不一致。在该情况下，检测点登记部29也可以放弃该新获取的检测点P的位置信息，省略向环境地图信息26A的登记。规定比例预先决定即可。通过该处理，能够提高环境地图信息26A的可靠性。

此外，优选检测点登记部29将用于检测点P的位置信息的计算的各种参数与该位置信息一同登记于环境地图信息26A。

自身位置推断部27基于登记于环境地图信息26A的多个检测点P各自的位置信息，推断表示移动体2的自身位置S的自身位置信息。而且，自身位置推断部27将推断出的自身位置S的自身位置信息登记于环境地图信息26A。

自身位置推断部27使用登记于环境地图信息26A的检测点P各自的位置信息和经由获取部20从检测部14获取的最新的检测点P各自的位置信息，确定这些位置信息中包含的对应的检测点P。对应的检测点P是指虽然基于检测部14的位置信息的获取定时不同，但在实际空间中为相同的检测点P。自身位置推断部27通过使用了确定出的对应的检测点P各自的位置信息的三角测量，来计算移动体2的自身位置S的自身位置信息。而且，自身位置推断部27将计算出的自身位置信息登记于环境地图信息26A。此外，自身位置推断部27也可以使用测程法来推断自身位置信息。

这样，在本实施方式中，图像处理装置10通过SLAM，同时执行检测点P的位置信息向环境地图信息26A的登记和移动体2的自身位置信息的推断。

接下来，对由第二实施方式的图像处理装置10执行的、包括边界区域适应控制的图像处理的流程的一个例子进行说明。

图26是表示由图像处理装置10执行的图像处理的流程的一个例子的流程图。

获取部20从拍摄部12获取拍摄图像(步骤S100)。另外，获取部20从检测部14获取多个检测点P各自的位置信息(步骤S102)。

检测点登记部29通过扫描匹配来确定在步骤S102中获取的位置信息的各个位置信息的检测点P中的、已登记于环境地图信息26A的相同的检测点P(步骤S104)。然后，检测点登记部29将在步骤S102中获取的检测点P的位置信息中的、未登记于环境地图信息26A的检测点P的位置信息登记于环境地图信息26A(步骤S106)。

自身位置推断部27基于登记于环境地图信息26A的多个检测点P各自的位置信息和在步骤S102中获取的位置信息，推断表示移动体2的自身位置S的自身位置信息(步骤S108)。然后，自身位置推断部27将推断出的自身位置信息登记于环境地图信息26A(步骤S110)。

校正部28使用在步骤S102中获取的检测点P的位置信息来校正登记于环境地图信息26A的检测点P的位置信息(步骤S112)。此外，如上所述，也可以是不执行步骤S112的校正处理的方式。

决定部30的绝对距离换算部30A将环境地图信息26A中包含的多个检测点P各自的位置信息换算为从移动体2的当前位置到该多个检测点P中的各个检测点为止的绝对距离的距离信息(步骤S114)。

提取部30B提取利用绝对距离换算部30A计算出绝对距离的距离信息的检测点P中的、存在于确定的范围内的检测点P(步骤S116)。

最邻近确定部30C使用在步骤S116中提取出的检测点P各自的距离信息，按照移动体2的周围的每个角度范围，按照接近移动体2的顺序确定多个检测点P(步骤S118)。

渐近曲线计算部30F使用在步骤S118中确定的按照每个角度范围的多个检测点P的距离信息中的各个，计算渐近曲线Q(步骤S120)。

基准投影面形状选择部30D选择基准投影面40的形状(步骤S122)。如上所述，作为一个例子，对基准投影面形状选择部30D选择碗形的基准投影面40的方式进行说明。

尺度决定部30E决定在步骤S122中选择的形状的基准投影面40的尺度(步骤S124)。

形状决定部30G将在步骤S122中选择的形状的基准投影面40放大或者缩小为在步骤S124中决定的尺度。然后，形状决定部30G针对放大或者缩小后的基准投影面40，变形为沿着在步骤S120中计算出的渐近曲线Q的形状。形状决定部30G将该变形后的形状决定为投影形状41(步骤S126)。

变形部32将基准投影面40变形为由决定部30决定的投影形状41(步骤S128)。通过该变形处理，变形部32生成变形后的基准投影面40即变形投影面42。

虚拟视点视线决定部34决定虚拟视点视线信息(步骤S130)。例如，虚拟视点视线决定部34将移动体2的自身位置S决定为虚拟视点O，将从该虚拟视点O朝向渐近曲线Q的顶点W的位置的方向决定为视线方向L。详细地说，虚拟视点视线决定部34将朝向在步骤S120中按照每个角度范围而计算出的渐近曲线Q中的、确定的一个角度范围的渐近曲线Q的顶点W的方向决定为视线方向L。

投影变换部36将在步骤S100中获取的拍摄图像投影在步骤S128中生成的变形投影面42。然后，投影变换部36将该投影图像变换为从在步骤S130中决定的虚拟视点O在视线方向L上对投影到变形投影面42的拍摄图像进行视觉确认而得的图像即虚拟视点图像(步骤S132)。

边界区域决定部30H基于与按照每个角度范围而确定的最邻近物体之间的距离，决定边界区域。即，边界区域决定部30H基于最邻近移动体2的物体的位置，决定作为空间上相邻的周边图像的叠合区域的边界区域(步骤S134)。边界区域决定部30H将所决定的边界区域输出到图像合成部38。

图像合成部38通过使用边界区域将空间上相邻的透视投影图像连接起来，而生成合成图像(步骤S136)。即，图像合成部38根据设定为最邻近物体方向的角度的边界区域，将4个方向的透视投影图像连接起来，而生成合成图像。此外，在边界区域中，空间上相邻的透视投影图像以规定的比率混合。

显示部16执行显示所生成的合成图像54的显示控制(步骤S138)。

接下来，图像处理装置10判断是否结束图像处理(步骤S140)。例如，图像处理装置10通过判别是否从ECU3接收到表示移动体2的位置移动停止的信号，来进行步骤S140的判断。另外，例如，图像处理装置10也可以通过判别是否根据基于用户的操作指示等接受了图像处理的结束指示，来进行步骤S140的判断。

若在步骤S140中进行否定判断(步骤S140：否)，则反复执行从上述步骤S100到步骤S140为止的处理。因此，追随最邻近物体方向的角度地设定用于将空间上相邻的周边图像连接起来的边界区域。另一方面，若在步骤S140中进行肯定判断(步骤S140：是)，则结束本程序。

此外，在执行了步骤S112的校正处理之后从步骤S140返回到步骤S100的情况下，有时也可以省略之后的步骤S112的校正处理。另外，在不执行步骤S112的校正处理而从步骤S140返回到步骤S100的情况下，有时也可以执行之后的步骤S112的校正处理。

如上所述，第二实施方式的图像处理装置10通过SLAM，使用由拍摄部12拍摄到的拍摄图像和由检测部14检测出的位置信息，生成包含移动体2的周边的多个检测点P的位置信息和移动体2的自身位置信息。边界区域决定部30H使用上述位置信息和上述自身位置信息，决定移动体2的多个周边图像中的空间上相邻的周边图像的重复区域中的边界区域。图像生成部37使用边界区域和空间上相邻的周边图像，生成合成图像。因此，根据第二实施方式的图像处理装置10，能够实现与第一实施方式的图像处理装置10同样的作用效果。

(变形例)

在上述各实施方式中，对使用SLAM的图像处理装置10进行了说明。与此相对，也可以不使用SLAM，使用基于由多个距离传感器构建的传感器阵列的立即值来制成环境地图信息，使用该环境地图信息来执行包括边界区域适应控制的图像处理。

以上，对各实施方式和变形例进行了说明，但本申请公开的图像处理装置、图像处理方法以及图像处理程序并不直接限定于上述的各实施方式等，在各实施阶段等中在不脱离其主旨的范围内能够对结构要素进行变形而具体化。另外，通过在上述的各实施方式等中公开的多个结构要素的适当的组合，能够形成各种发明。例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。

此外，上述第一实施方式和第二实施方式的图像处理装置10能够应用于各种装置。例如，上述第一实施方式和第二实施方式的图像处理装置10能够应用于对从监视相机得到的影像进行处理的监视相机系统、或者对车外的周边环境的图像进行处理的车载系统等。

附图标记说明：10…图像处理装置；12、12A～12D…拍摄部；14…检测部；20…获取部；23…选择部；25…匹配部；26…存储部；26A…环境地图信息；27…自身位置推断部；28…校正部；29…检测点登记部；30…决定部；30A…绝对距离换算部；30B…提取部；30C…最邻近确定部；30D…基准投影面形状选择部；30E…尺度决定部；30F…渐近曲线计算部；30G…形状决定部；30H…边界区域决定部；32…变形部；34…虚拟视点视线决定部；36…投影变换部；37…图像生成部；38…图像合成部。

Claims (9)

1.一种图像处理装置，具备：

决定部，使用包含移动体的周边的多个检测点的位置信息和所述移动体的自身位置信息，决定所述移动体的多个周边图像中的空间上相邻的所述周边图像的重复区域中的边界区域；以及

图像生成部，使用所述边界区域，以使用空间上相邻的所述周边图像生成合成图像。

2.根据权利要求1所述的图像处理装置，其中，

所述决定部基于与最邻近所述移动体的立体物对应的所述检测点的位置信息，决定所述边界区域。

3.根据权利要求2所述的图像处理装置，其中，

所述决定部基于所述立体物的宽度，决定所述边界区域。

4.根据权利要求2或3所述的图像处理装置，其中，

所述决定部使用依次生成的所述位置信息和所述自身位置信息，决定追随所述立体物的多个所述边界区域，

所述图像生成部使用追随所述立体物的多个所述边界区域，以使用空间上相邻的所述周边图像来依次生成所述合成图像。

5.根据权利要求2至4中任一项所述的图像处理装置，其中，

所述图像处理装置还具备变形部，所述变形部使用所述位置信息和所述自身位置信息来使基准投影面变形，

所述图像生成部使用变形后的所述基准投影面和空间上相邻的所述周边图像，生成所述合成图像。

6.根据权利要求1至5中任一项所述的图像处理装置，其中，

使用所述周边图像检测所述检测点。

7.根据权利要求1至5中任一项所述的图像处理装置，其中，

通过搭载于所述移动体的检测部检测所述检测点。

8.一种图像处理方法，是由计算机执行的图像处理方法，其中，所述图像处理方法包括以下步骤：

使用包含移动体的周边的多个检测点的位置信息和所述移动体的自身位置信息，决定所述移动体的多个周边图像中的空间上相邻的所述周边图像的边界区域；以及

使用所述边界区域，以使用空间上相邻的所述周边图像生成合成图像。

9.一种图像处理程序，用于使计算机执行以下步骤：

使用包含移动体的周边的多个检测点的位置信息和所述移动体的自身位置信息，决定所述移动体的多个周边图像中的空间上相邻的所述周边图像的重复区域中的边界区域；以及

使用所述边界区域，以使用空间上相邻的所述周边图像生成合成图像。

Images