CN117581281A - 信息处理装置、信息处理方法、以及信息处理程序 - Google Patents

信息处理装置、信息处理方法、以及信息处理程序 Download PDF

Info

Publication number
CN117581281A
CN117581281A CN202180099606.3A CN202180099606A CN117581281A CN 117581281 A CN117581281 A CN 117581281A CN 202180099606 A CN202180099606 A CN 202180099606A CN 117581281 A CN117581281 A CN 117581281A
Authority
CN
China
Prior art keywords
information
unit
group information
point group
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180099606.3A
Other languages
English (en)
Inventor
大桥和将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of CN117581281A publication Critical patent/CN117581281A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在一个技术方案中，信息处理装置(10)具备：作为获取部的VSLAM处理部(24)；作为对位处理部的差分计算部(292)以及偏移处理部(293)；以及作为统合处理部的统合部(294)。VSLAM处理部(24)基于从设置于移动体(2)的第一位置的第一拍摄部得到的第一图像数据，获取第一点组信息，基于从设置于移动体(2)的与上述第一位置不同的第二位置的第二拍摄部得到的第二图像数据，获取第二点组信息。差分计算部(292)以及偏移处理部(293)执行第一点组信息与第二点组信息的对位处理。统合部(294)使用执行了对位处理的第一点组信息以及第二点组信息，生成统合点组信息。

Description

信息处理装置、信息处理方法、以及信息处理程序
技术领域
本发明涉及信息处理装置、信息处理方法、以及信息处理程序。
背景技术
存在SLAM(Simultaneous Localization and Mapping：同步定位和测绘)这样的技术，获取车等移动体的周边的立体物作为点组信息，推断自身以及周边立体物的位置信息。另外，存在使用由照相机拍摄到的图像来进行SLAM的Visual SLAM(SimultaneousLocalization and Mapping：表示为VSLAM)这样的技术。
专利文献1：日本特开2018-205949号公报
专利文献2：日本特开2016-045874号公报
专利文献3：日本特开2016-123021号公报
专利文献4：国时公开第2019/073795号
专利文献5：国时公开第2020/246261号
非专利文献1：“Vision SLAM Using Omni·Directional Visual ScanMatching”2008IEEE/RSJ International Conference on Intelligent Robots andSystems Sept.22·26,2008
然而，例如在VSLAM处理中，在VSLAM处理中得到的周边物体的位置信息有时不足。其结果是，存在基于VSLAM的周边物体的位置、自身位置的检测不稳定的情况。
发明内容
在一个技术方案中，本发明的目的在于，提供信息处理装置、信息处理方法、以及信息处理程序，消除在VSLAM处理中得到的周边物体的位置信息不足。
在一个技术方案中，本申请公开的信息处理装置具备：获取部，基于从设置于移动体的第一位置的第一拍摄部得到的第一图像数据，获取第一点组信息，基于从设置于上述移动体的与上述第一位置不同的第二位置的第二拍摄部得到的第二图像数据，获取第二点组信息；对位处理部，执行上述第一点组信息与上述第二点组信息的对位处理；以及统合处理部，使用执行了上述对位处理的上述第一点组信息以及上述第二点组信息，生成统合点组信息。
根据本申请公开的信息处理装置的一个技术方案，能够消除在VSLAM处理中得到的周边物体的位置信息不足。
附图说明
图1是表示实施方式的信息处理系统的整体结构的一例的图。
图2是表示实施方式的信息处理装置的硬件结构的一例的图。
图3是表示实施方式的信息处理装置的功能结构的一例的图。
图4是表示实施方式的环境地图信息的一例的示意图。
图5是表示使移动体向停车位进行后方停车的状况的一例的俯视图。
图6是表示在移动体向前方移动的情况下设置于移动体的前方的拍摄部的拍摄范围的一例的俯视图。
图7是表示在移动体向后方移动的情况下设置于移动体的后方的拍摄部的拍摄范围的一例的俯视图。
图8是表示在移动体沿着轨迹暂时向前方移动的情况下，通过VSLAM处理而生成的、与移动体的前方相关的点组信息的一例的图。
图9是表示在移动体沿着轨迹暂时向后方移动的情况下，通过VSLAM处理而生成的、与移动体的后方相关的点组信息的一例的图。
图10是表示通过图5所示的移动体的后方停车中的统合处理而生成的统合点组信息的一例的图。
图11是表示图5～图10所示的统合处理的流程的一例的流程图。
图12是由决定部生成的渐近曲线的说明图。
图13是表示基准投影面的一例的示意图。
图14是表示由决定部决定的投影形状的一例的示意图。
图15是表示统合处理部以及决定部的功能结构的一例的示意图。
图16是表示由信息处理装置执行的信息处理的流程的一例的流程图。
图17是表示图16的步骤S27中的点组统合处理的流程的一例的流程图。
图18是表示比较例的信息处理装置的后方VSLAM处理的点组信息的图。
具体实施方式
以下，一边参照附图，一边详细地说明本申请所公开的信息处理装置、信息处理方法、以及信息处理程序的实施方式。此外，以下的实施方式并不限定公开的技术。而且，各实施方式能够在不使处理内容矛盾的范围内适当地组合。
图1是表示本实施方式的信息处理系统1的整体结构的一例的图。信息处理系统1具备信息处理装置10、拍摄部12、检测部14、显示部16。将信息处理装置10、拍摄部12、检测部14、显示部16连接为能够授受数据或者信号。
在本实施方式中，作为一例，对将信息处理装置10、拍摄部12、检测部14、以及显示部16搭载于移动体2的方式进行说明。
移动体2是指能够移动的物体。移动体2例如是车辆、能够飞行的物体(有人飞机、无人飞机(例如，UAV(Unmanned Aerial Vehicle：无人驾驶的航空机)、无人机))、机器人等。另外，移动体2例如是经由人的驾驶操作而行进的移动体、不经由人的驾驶操作而能够自动地行进(自主行进)的移动体。在本实施方式中，作为一例对移动体2是车辆的情况进行说明。车辆例如是二轮汽车、三轮汽车、四轮汽车等。在本实施方式中，作为一例对车辆是能够自主行进的四轮汽车的情况进行说明。
此外，不限于信息处理装置10、拍摄部12、检测部14、以及显示部16全部搭载于移动体2的方式。信息处理装置10也可以搭载于静止物。静止物是固定于地面的物体。静止物是不能移动的物体、相对于地面静止的状态的物体。静止物例如是信号灯、停车车辆、道路标志等。另外，信息处理装置10也可以搭载于在云上执行处理的云服务器。
拍摄部12对移动体2的周边进行拍摄，获取拍摄图像数据。以下，将拍摄图像数据简称为拍摄图像来进行说明。拍摄部12例如是能够进行动态图像拍摄的数码照相机。此外，拍摄是指将由透镜等光学系统成像的被拍摄体的像转换为电信号。拍摄部12将拍摄到的拍摄图像输出到信息处理装置10。另外，在本实施方式中，假定拍摄部12是单眼的鱼眼照相机(例如，视场角为195度)的情况而进行说明。
在本实施方式中，作为一例对在移动体2搭载有四个拍摄部12(拍摄部12A～拍摄部12D)的方式进行说明。多个拍摄部12(拍摄部12A～拍摄部12D)拍摄各个拍摄区域E(拍摄区域E1～拍摄区域E4)的被拍摄体，获取拍摄图像。此外，假设这些多个拍摄部12的拍摄方向相互不同。另外，预先调整这些多个拍摄部12的拍摄方向，以使得在与相邻的拍摄部12之间拍摄区域E的至少一部分重复。
另外，四个拍摄部12A～拍摄部12D是一例，不限于拍摄部12的数量。例如，在移动体2像公共汽车、卡车那样具有纵长的形状的情况下，也可以在移动体2的前方、后方、右侧面的前方、右侧面的后方、左侧面的前方、左侧面的后方分别各配置一个拍摄部12，利用合计6个拍摄部12。即，根据移动体2的大小、形状，拍摄部12的数量、配置位置能够任意地设定。此外，本发明能够通过设置至少两个拍摄部12而实现。
检测部14检测移动体2的周边的多个检测点各自的位置信息。换言之，检测部14对检测区域F的检测点各自的位置信息进行检测。检测点表示实际空间中的、由检测部14独立地观测到的各个点。检测点例如与移动体2的周边的立体物对应。
检测点的位置信息是指表示实际空间(三维空间)中的检测点的位置的信息。例如，检测点的位置信息是表示从检测部14(即移动体2的位置)到检测点为止的距离、以检测部14为基准的检测点的方向的信息。这些距离以及方向例如能够由表示以检测部14为基准的检测点的相对位置的位置坐标、表示检测点的绝对位置的位置坐标、或者矢量等表示。
检测部14例如是3D(Three-Dimensional：三维)扫描仪、2D(Two Dimensional：二维)扫描仪、距离传感器(毫米波雷达、激光传感器)、通过声波来探测物体的声纳传感器、超声波传感器等。激光传感器例如是三维LiDAR(Laserimaging Detection and Ranging：激光成像探测和测距)传感器。另外，检测部14也可以是使用了根据由立体照相机、单眼照相机拍摄到的图像对距离进行测距的技术、例如SfM(Structure from Motion：运动结构)技术的装置。另外，作为检测部14也可以使用多个拍摄部12。另外，作为检测部14也可以使用多个拍摄部12中的一个。
显示部16显示各种信息。显示部16例如是LCD(Liquid Crystal Display：液晶显示器)或者有机EL(Electro-Luminescence：电致发光)显示器等。
在本实施方式中，信息处理装置10与搭载于移动体2的电子控制单元(ECU：Electronic Control Unit)3连接为能够通信。ECU3是进行移动体2的电子控制的单元。在本实施方式中，信息处理装置10能够从ECU3接收移动体2的速度、移动方向等CAN(Controller Area Network：控制器局域网)数据。
接下来，对信息处理装置10的硬件结构进行说明。
图2是表示信息处理装置10的硬件结构的一例的图。
信息处理装置10包含CPU(Central Processing Unit：中央处理器)10A、ROM(ReadOnly Memory：只读存储器)10B、RAM(Random Access Memory：随机存取存储器)10C、以及I/F(InterFace：界面)10D，例如是计算机。CPU10A、ROM10B、RAM10C、以及I/F10D由总线10E相互连接，成为利用通常的计算机的硬件结构。
CPU10A是控制信息处理装置10的运算装置。CPU10A与硬件处理器的一例对应。ROM10B存储有实现基于CPU10A的各种处理的程序等。RAM10C存储有基于CPU10A的各种处理所需要的数据。I/F10D是与拍摄部12、检测部14、显示部16、以及ECU3等连接，用于发送接收数据的接口。
用于执行由本实施方式的信息处理装置10执行的信息处理的程序预先组装于ROM10B等而被提供。此外，由本实施方式的信息处理装置10执行的程序也可以构成为以能够安装于信息处理装置10的形式或者能够执行的形式的文件记录于记录介质来提供。记录介质是能够由计算机读取的介质。记录介质是CD(Compact Disc：压缩碟片)-ROM、软盘(FD)、CD-R(Recordable：可录音)、DVD(Digital Versatile Disk：数字多功能盘)、USB(Universal Serial Bus：通用串行总线)存储器、SD(Secure Digital：安全数字)卡等。
接下来，对本实施方式的信息处理装置10的功能结构进行说明。信息处理装置10通过Visual SLAM处理，根据由拍摄部12拍摄到的拍摄图像同时推断检测点的位置信息和移动体2的自身位置信息。信息处理装置10将空间上相邻的多个拍摄图像接合，生成并显示俯瞰移动体2的周边的合成图像。此外，在本实施方式中，使用拍摄部12作为检测部14。
图3是表示信息处理装置10的功能结构的一例的图。此外，在图3中，为了明确数据的输入输出关系，除了信息处理装置10之外，还一并图示了拍摄部12以及显示部16。
信息处理装置10具备获取部20、选择部23、VSLAM处理部24、统合处理部29、决定部30、变形部32、虚拟视点视线决定部34、投影转换部36、图像合成部38。
上述多个各部的一部分或者全部例如也可以使CPU10A等处理装置执行程序，即由软件实现。另外，上述多个各部的一部分或者全部也可以由IC(Integrated Circuit：集成电路)等硬件实现，也可以同时采用软件以及硬件来实现。
获取部20从拍摄部12获取拍摄图像。获取部20从拍摄部12(拍摄部12A～拍摄部12D)中的各个拍摄部获取拍摄图像。
获取部20每次获取拍摄图像时，将获取到的拍摄图像输出到投影转换部36以及选择部23。
选择部23选择检测点的检测区域。在本实施方式中，选择部23通过选择多个拍摄部12(拍摄部12A～拍摄部12D)中的至少一个拍摄部12，而选择检测区域。
在本实施方式中，选择部23使用从ECU3接收到的CAN数据中包含的车辆状态信息、检测方向信息、或者通过用户的操作指示而输入的指示信息，选择至少任意一个拍摄部12。
车辆状态信息例如是表示移动体2的行进方向、移动体2的方向指示的状态、移动体2的档位的状态等的信息。车辆状态信息能够从CAN数据导出。检测方向信息是表示检测出应该关注的信息的方向的信息，能够通过POI(Point of Interest：兴趣点)技术而导出。指示信息例如是在自动停车模式下，假定选择并列停车或者纵列停车等将要进行的停车的种类的情况，通过用户的操作指示而输入的信息。
例如，选择部23使用车辆状态信息来选择检测区域E(E1～D4)。具体而言，选择部23使用车辆状态信息来确定移动体2的行进方向。选择部23将行进方向与任一个拍摄部12的识别信息建立对应关系地预先存储。例如，选择部23与后退信息建立对应关系地预先存储对移动体2的后方进行拍摄的拍摄部12D(参照图1)的识别信息。另外，选择部23与前进信息建立对应关系地预先存储对移动体2的前方进行拍摄的拍摄部12A(参照图1)的识别信息。
而且，选择部23通过选择与从接受到的车辆状态信息导出的停车信息对应的拍摄部12，而选择检测区域E。
另外，选择部23也可以选择将由检测方向信息表示的方向作为拍摄区域E的拍摄部12。另外，选择部23也可以选择将通过POI技术而导出的检测方向信息所表示的方向作为拍摄区域E的拍摄部12。
选择部23将由获取部20获取到的拍摄图像中的、由所选择的拍摄部12拍摄到的拍摄图像输出到VSLAM处理部24。
VSLAM处理部24基于从拍摄部12A～拍摄部12D中的任一方即第一拍摄部得到的第一图像数据，获取第一点组信息。VSLAM处理部24基于从与第一拍摄部不同的拍摄部12A～拍摄部12D中的任一方即第二拍摄部得到的第二图像数据，获取第二点组信息。即，VSLAM处理部24从选择部23接受由拍摄部12A～拍摄部12D中的任一方拍摄到的拍摄图像，使用该拍摄图像来执行VSLAM处理而生成环境地图信息，并将所生成的环境地图信息输出到决定部30。VSLAM处理部24是作为获取部的一例。
更具体而言，VSLAM处理部24具备匹配部25、存储部26、自身位置推断部27A、三维复原部27B、修正部28。
匹配部25针对拍摄定时不同的多个拍摄图像(帧不同的多个拍摄图像)，进行特征量的提取处理和各图像间的匹配处理。详细地，匹配部25从这些多个拍摄图像进行特征量提取处理。匹配部25针对拍摄定时不同的多个拍摄图像，在各自之间使用特征量，进行确定该多个拍摄图像间的对应的点的匹配处理。匹配部25将该匹配处理结果输出到存储部26。
自身位置推断部27A使用由匹配部25获取到的多个匹配点，通过射影转换等而推断相对于拍摄图像的相对的自身位置。这里，自身位置包含拍摄部12的位置(三维坐标)以及倾斜(旋转)的信息。自身位置推断部27将自身位置信息作为点组信息存储于环境地图信息26A。
三维复原部27B使用由自身位置推断部27A推断出的自身位置的移动量(平移量以及旋转量)进行透视投影转换处理，决定匹配点的三维坐标(相对于自身位置的相对坐标)。三维复原部27B将所决定的三维坐标即周边位置信息作为点组信息而存储于环境地图信息26A。
由此，在环境地图信息26A中，伴随着搭载有拍摄部12的移动体2的移动，依次追加新的周边位置信息、以及自身位置信息。
存储部26存储各种数据。存储部26例如是RAM、闪存等半导体存储器元件、硬盘、光盘等。此外，存储部26也可以是设置于信息处理装置10的外部的存储装置。另外，存储部26也可以是存储介质。具体而言，存储介质也可以经由LAN(Local Area Network：局域网)、因特网等下载程序、各种信息而进行存储或者暂时存储。
环境地图信息26A是在将实际空间中的规定位置作为原点(基准位置)的三维坐标空间中，登记了由三维复原部27B计算出的周边位置信息即点组信息以及由自身位置推断部27A计算出的自身位置信息即点组信息而得的信息。实际空间中的规定位置例如也可以基于预先设定的条件来确定。
例如，规定位置是信息处理装置10执行本实施方式的信息处理时的移动体2的位置。例如，假定在移动体2的停车场景等规定定时执行信息处理的情况。在该情况下，信息处理装置10只要将判别出达到该规定定时时的移动体2的位置设为规定位置即可。例如，信息处理装置10只要在判别为移动体2的举动为表示停车场景的举动时，判断为达到该规定定时即可。表示基于后退的停车场景的举动例如是移动体2的速度为规定速度以下的情况、移动体2的档位进入倒档的情况、通过用户的操作指示等而接受表示停车开始的信号的情况等。此外，该规定定时不限于停车场景。
图4是环境地图信息26A的一例的示意图。如图4所示，环境地图信息26A是将作为检测点P各自的位置信息(周边位置信息)的点组信息、作为移动体2的自身位置S的自身位置信息的点组信息登记于该三维坐标空间中的对应的坐标位置的信息。此外，在图4中，作为一例，表示自身位置S1～自身位置S3的自身位置S。S之后接着的数值的值越大，则意味着是越接近当前的定时的自身位置S。
修正部28为了针对在多个帧间多次匹配的点，使在过去计算出的三维坐标与新计算出的三维坐标中，在三维空间内的距离的差的合计最小，而例如使用最小二乘法等，对在环境地图信息26A中登记完成的周边位置信息以及自身位置信息进行修正。此外，修正部28也可以对在自身位置信息以及周边位置信息的计算的过程中使用的自身位置的移动量(平移量以及旋转量)进行修正。
基于修正部28的修正处理的定时未被限定。例如，修正部28只要按照每个规定定时执行上述修正处理即可。规定定时例如也可以基于预先设定的条件来确定。此外，在本实施方式中，作为一例对信息处理装置10是具备修正部28的结构的情况进行说明。然而，信息处理装置10也可以是不具备修正部28的结构。
统合处理部29执行从VSLAM处理部24接受到的第一点组信息与第二点组信息的对位处理。统合处理部29使用执行了对位处理的第一点组信息以及第二点组信息而执行统合处理。这里，统合处理是指针对使用利用第一拍摄部拍摄到的图像而获取到的周边位置信息以及自身位置信息的点组信息即第一点组信息、使用利用与第一拍摄部不同的第二拍摄部拍摄到的图像而获取到的周边位置信息以及自身位置信息的点组信息即第二点组信息进行对位并统合，生成至少包含双方的点组信息的统合点组信息的处理。
以下，一边参照图5～图11一边对由统合处理部29执行的统合处理进行说明。
图5是表示使移动体2向停车位PA进行后方停车的状况的一例的俯视图。图6是表示在移动体2向前方移动的情况下设置于移动体2的前方的拍摄部12A(以下，也称为“前方拍摄部12A”)的拍摄范围E1的一例的俯视图。图7是表示在移动体2向后方移动的情况下设置于移动体2的后方的拍摄部12D(以下，也称为“后方拍摄部12D”)的拍摄范围E4的一例的俯视图。此外，在图5中，例示了在移动体2沿着轨迹OB1暂时向前方移动之后，将移动体2的档位从驱动“D”切换为倒档“R”，沿着轨迹OB2向后方移动，由此向停车位PA进行后方停车的情况。此外，car1、car2、car3分别表示停车在与停车位PA不同的停车位的其他的移动体。
以下，为了具体地进行说明，以移动体2进行图5所示的后方停车的情况下的统合处理为例。
在移动体2沿着轨迹OB1暂时向前方移动的情况下，如图6所示，伴随着移动体2的移动，通过前方拍摄部12A依次获取拍摄范围E1的图像。VSLAM处理部24使用从选择部23依次输出的拍摄范围E1的图像来执行VSLAM处理，生成与移动体2的前方相关的点组信息。此外，以下将使用了基于前方拍摄部12A的拍摄范围E1的图像的VSLAM处理也称为“前方VSLAM处理”。前方VSLAM处理是第一处理或者第二处理的一例。另外，VSLAM处理部24执行使用了新输入的拍摄范围E1的图像的前方VSLAM处理，更新与移动体2的周边相关的点组信息。
图8是表示在移动体2沿着轨迹OB1暂时向前方移动的情况下，通过VSLAM处理部24而生成的、与移动体2的周边相关的点组信息M1的一例的图。在图8中，在前方VSLAM处理所涉及的点组信息M1的区域R1中存在的点组是与图5的car1对应的点组。由于移动体2沿着轨迹OB1向前方移动，因此在图5的car1进入拍摄范围E1并转入图像的期间能够获取与car1对应的点组信息。因此，如图8所示，可知在与car1对应的区域R1中存在较多的点组。
另外，如图7所示，在移动体2沿着轨迹OB1向前方移动之后，伴随着档位切换后的移动体2的后方移动，通过后方拍摄部12D依次获取拍摄范围E4的图像。VSLAM处理部24使用从选择部23依次输出的拍摄范围E4的图像来执行VSLAM处理，生成与移动体2的后方相关的点组信息。此外，以下将使用了基于后方拍摄部12D的拍摄范围E4的图像的VSLAM处理也称为“后方VSLAM处理”。后方VSLAM处理是第一处理或者第二处理的一例。另外，VSLAM处理部24执行使用了新输入的拍摄范围E4的图像的后方VSLAM处理，更新与移动体2的后方相关的点组信息。
图9是表示在移动体2沿着档位的切换后轨迹OB2向后方移动的情况下，通过VSLAM处理部24而生成的、与移动体2的后方相关的点组信息M2的一例的图。在图9中，在后方VSLAM所涉及的处理的点组信息M2的区域R2中存在的点组是与图5的car2对应的点组。由于移动体2沿着轨迹OB2向后方移动，因此在图5的car2进入拍摄范围E4并映入图像的期间，能够获取与car2对应的点组信息。因此，如图9所示，可知在区域R2中存在较多的点组。
统合处理部29例如执行前方VSLAM处理所涉及的点组信息M1与后方VSLAM处理所涉及的点组信息M2的点组对位处理。这里，点组对位处理是指针对作为对位对象的多个点组中的至少任一点组，执行包含平行移动(平移移动)以及旋转移动中的至少一方的运算处理，由此进行多个点组与点组的对位的处理。例如在执行两个点组信息的点组对位处理的情况下，首先，使双方的自身位置坐标对准，将与自身位置相距一定的范围的周边点组作为对位对象，求出对应的点间的位置的差异来作为距离，求出该距离的总和为预先决定的阈值以下时的、另一方的基准位置相对于一方的基准位置的平行移动量。
此外，点组对位处理只要是进行作为对象的点组信息之间的对位的处理，则也可以是任意的处理。作为点组对位处理的例子，能够列举使用ICP(Iterative ClosestPoint：迭代最近点)、NDT(Normal Distribution Transform：正态分布变换)等算法的扫描匹配处理。
统合处理部29使用执行了点组对位处理的点组信息M1和点组信息M2，生成统合了点组信息M1和点组信息M2的统合点组信息。
图10是表示通过图5所示的移动体2的后方停车中的统合处理而生成的统合点组信息M3的一例的图。如图10所示，统合点组信息M3包含前方VSLAM处理所涉及的点组信息M1、后方VSLAM处理所涉及的点组信息M2双方的信息。因此，关于与car1对应的区域R3、与car2对应的区域R5等，包含较多的点组信息。
此外，上述的统合处理与表示动作状态的变化的车辆状态信息的输入(在本实施方式中，档位的切换)联动地执行。
图11是表示图5～图10所示的统合处理的流程的一例的流程图。如图11所示，统合处理部29判定档位是处于前进(例如驱动“D”)的状态还是处于后退(例如倒档“R”)的状态(步骤S1)。以后，使用将前进的档位设为驱动“D”、将后退的档位设为倒档“R”的例子进行说明。
统合处理部29在判定为档位处于驱动“D”的状态的情况下(步骤S1的D)，执行上述的前方VSLAM处理(步骤S2a)。统合处理部29反复执行前方VSLAM处理直到变更档位为止(步骤S3a的No)。
另一方面，统合处理部29在将档位从驱动“D”变更为倒档“R”的情况下(步骤S3a的Yes)，执行上述的后方VSLAM处理(步骤S4a)。
统合处理部29执行使用了通过后方VSLAM处理得到的后方点组信息和通过前方VSLAM处理得到的前方点组信息的点组对位(步骤S5a)。
统合处理部29使用点组对位处理后的后方点组信息和前方点组信息而生成统合点组信息(步骤S6a)。
统合处理部29伴随着移动体2的后方移动而执行后方VSLAM处理，依次更新统合点组信息(步骤S7a)。
另一方面，统合处理部29在步骤S1中判定为档位为倒档“R”的状态的情况下(步骤S1的R)，执行上述的后方VSLAM处理(步骤S2b)。统合处理部29反复执行后方VSLAM处理直到变更档位为止(步骤S3b的No)。
另一方面，统合处理部29在将档位从倒档“R”变更为驱动“D”的情况下(步骤S3b的Yes)，执行上述的前方VSLAM处理(步骤S4b)。
统合处理部29利用使用了通过前方VSLAM处理而得到的前方点组信息和通过后方VSLAM处理而得到的后方点组信息的对位处理，执行双方的点组的对位(步骤S5b)。
统合处理部29使用点组对位处理后的前方点组信息和后方点组信息而生成统合点组信息(步骤S6b)。
统合处理部29伴随着移动体2的前方移动而执行前方VSLAM处理，依次更新统合点组信息(步骤S7b)。
返回图3，决定部30从统合处理部29接受包含统合点组信息的环境地图信息，使用储存于环境地图信息26A的周边位置信息和自身位置信息，而计算移动体2与周边的立体物的距离。
另外，决定部30使用移动体2与周边的立体物的距离来决定投影面的投影形状，生成投影形状信息。决定部30将所生成的投影形状信息输出到变形部32。
这里，投影面是指用于对移动体2的周边图像进行投影的立体面。另外，移动体2的周边图像是指移动体2的周边的拍摄图像，是由拍摄部12A～拍摄部12D中的各个拍摄部拍摄到的拍摄图像。投影面的投影形状是在与实际空间对应的虚拟空间中虚拟地形成的立体(3D)形状。另外，在本实施方式中，将由决定部30执行的投影面的投影形状的决定称为投影形状决定处理。
另外，决定部30使用储存于环境地图信息26A的移动体2的周边位置信息和自身位置信息，计算周边位置信息相对于自身位置的渐近曲线。
图12是由决定部30生成的渐近曲线Q的说明图。这里，渐近曲线是指环境地图信息26A中的多个检测点P的渐近曲线。图12是表示在从上方俯瞰移动体2的情况下，在向投影面投影了拍摄图像而得的投影图像上表示渐近曲线Q的例子。例如，假定决定部30按照接近移动体2的自身位置S的顺序确定了3个检测点P。在该情况下，决定部30生成这3个检测点P的渐近曲线Q。
决定部30将自身位置和渐近曲线信息输出到虚拟视点视线决定部34。
变形部32基于从决定部30接受到的、使用包含统合点组信息的环境地图信息而决定的投影形状信息，使投影面变形。此外，变形部32是变形部的一例。
图13是表示基准投影面40的一例的示意图。图14是表示由决定部30决定的投影形状41的一例的示意图。即，变形部32基于投影形状信息，对预先存储的图13所示的基准投影面进行变形，决定图14所示的作为投影形状41的变形投影面42。变形部32基于投影形状41而生成变形投影面信息。例如以与移动体2最接近的检测点P为基准来执行该基准投影面的变形。变形部32将变形投影面信息输出到投影转换部36。
另外，例如，变形部32基于投影形状信息，将基准投影面变形为沿着按照接近移动体2的顺序预先决定的数量的多个检测点P的渐近曲线的形状。
虚拟视点视线决定部34基于自身位置和渐近曲线信息，决定虚拟视点视线信息。
一边参照图12、图14，一边对虚拟视点视线信息的决定进行说明。虚拟视点视线决定部34例如将穿过最接近移动体2的自身位置S的检测点P、并且与变形投影面垂直的方向决定为视线方向。另外，虚拟视点视线决定部34例如固定该视线方向L的方向，将虚拟视点O的坐标决定为任意的Z坐标、从渐近曲线Q向远离自身位置S的方向上的任意的XY坐标。在该情况下，该XY坐标也可以是比自身位置S远离渐近曲线Q的位置的坐标。而且，虚拟视点视线决定部34将表示虚拟视点O以及视线方向L的虚拟视点视线信息输出到投影转换部36。此外，也可以如图14所示，视线方向L为从虚拟视点O朝向渐近曲线Q的顶点W的位置的方向。
投影转换部36基于变形投影面信息和虚拟视点视线信息，而生成将从拍摄部12获取到的拍摄图像投影到变形投影面而得的投影图像。投影转换部36将所生成的投影图像转换为虚拟视点图像并输出到图像合成部38。这里，虚拟视点图像是指从虚拟视点在任意的方向上视觉确认投影图像的图像。
一边参照图14，一边详细地说明基于投影转换部36的投影图像生成处理。投影转换部36将拍摄图像投影到变形投影面42。而且，投影转换部36生成虚拟视点图像，该虚拟视点图像是从任意的虚拟视点O在视线方向L上视觉确认了投影到变形投影面42的拍摄图像的图像(未图示)。虚拟视点O的位置例如只要为移动体2的最新的自身位置S即可。在该情况下，只要将虚拟视点O的XY坐标的值设为移动体2的最新的自身位置S的XY坐标的值即可。另外，只要将虚拟视点O的Z坐标(铅垂方向的位置)的值设为最接近移动体2的自身位置S的检测点P的Z坐标的值即可。视线方向L例如也可以基于预先决定的基准来决定。
视线方向L例如只要设为从虚拟视点O朝向最接近移动体2的自身位置S的检测点P的方向即可。另外，视线方向L也可以为穿过该检测点P且与变形投影面42垂直的方向。表示虚拟视点O以及视线方向L的虚拟视点视线信息由虚拟视点视线决定部34制作。
例如，虚拟视点视线决定部34也可以将穿过最接近移动体2的自身位置S的检测点P、且与变形投影面42垂直的方向决定为视线方向L。另外，虚拟视点视线决定部34也可以固定该视线方向L的方向，将虚拟视点O的坐标决定为任意的Z坐标和从渐近曲线Q向远离自身位置S的方向上的任意的XY坐标。在该情况下，该XY坐标也可以是比自身位置S远离渐近曲线Q的位置的坐标。而且，虚拟视点视线决定部34将表示虚拟视点O以及视线方向L的虚拟视点视线信息输出到投影转换部36。此外，也可以如图14所示，视线方向L为从虚拟视点O朝向渐近曲线Q的顶点W的位置的方向。
投影转换部36从虚拟视点视线决定部34接受虚拟视点视线信息。投影转换部36通过接受该虚拟视点视线信息，而确定虚拟视点O以及视线方向L。而且，投影转换部36根据投影到变形投影面42的拍摄图像，生成从该虚拟视点O在视线方向L上视觉确认的图像即虚拟视点图像。投影转换部36将虚拟视点图像输出到图像合成部38。
图像合成部38生成提取了虚拟视点图像的一部分或者全部的合成图像。例如，图像合成部38进行拍摄部间的边界区域中的多个虚拟视点图像(这里，与拍摄部12A～12D对应的4个虚拟视点图像)的接合处理等。
图像合成部38将所生成的合成图像输出到显示部16。此外，合成图像也可以为将移动体2的上方设为虚拟视点O的俯瞰图像、将移动体2内设为虚拟视点O，半透明地显示移动体2的图像。
此外，投影转换部36与图像合成部38构成图像生成部37。图像生成部37是图像生成部的一例。
[统合处理部29以及决定部30的结构例]
接下来，对统合处理部29以及决定部30的详细的结构的一例进行说明。
图15是表示统合处理部29以及决定部30的功能结构的一例的示意图。如图15所示，统合处理部29具备过去地图保持部291、差分计算部292、偏移处理部293、统合部294。另外，决定部30具备绝对距离换算部30A、提取部30B、最附近特定部30C、基准投影面形状选择部30D、尺度决定部30E、渐近曲线计算部30F、形状决定部30G、边界区域决定部30H。
过去地图保持部291根据移动体2的车辆状态信息的变化，获取从VSLAM处理部24输出的环境地图信息并进行存储(保持)。例如，过去地图保持部291将表示档位的切换的档位信息(车辆状态信息)的输入作为触发(在档位的切换定时)，保持从VSLAM处理部24输出的最新的环境地图信息中包含的点组信息。
差分计算部292在从VSLAM处理部24输出的环境地图信息中包含的点组信息与由过去地图保持部291保持的点组信息之间，进行点组对位处理。例如，差分计算部292将从VSLAM处理部24输出的环境地图信息中包含的点组信息与过去地图保持部291所保持的点组信息的点间距离的合计最小时的、另一方的原点相对于一方的原点的平行移动量计算为偏移量Δ。
偏移处理部293使用由差分计算部292计算出的偏移量，使由过去地图保持部291保持的点组信息(坐标)偏移。例如，偏移处理部293使由过去地图保持部291保持的点组信息加上偏移量Δ而使其平行移动。
统合部294使用从VSLAM处理部24输出的环境地图信息中包含的点组信息和从偏移处理部293输出的点组信息，而生成统合点组信息。例如，统合部294在从VSLAM处理部24输出的环境地图信息中包含的点组信息上重叠从偏移处理部293输出的点组信息，生成统合点组信息。此外，统合部294是结合部的一例。
绝对距离换算部30A将能够通过环境地图信息26A得知的、自身位置与周边立体物的相对的位置关系换算为从自身位置到周边立体物为止的距离的绝对值。
具体而言，例如使用从移动体2的ECU3接收到的CAN数据中包含的移动体2的速度数据。例如，在图4所示的环境地图信息26A的情况下，在自身位置S与多个检测点P之间，能够得知相对的位置关系，但未计算出距离的绝对值。这里，能够根据进行自身位置计算的帧间周期和基于CAN数据的其间的速度数据，求出自身位置S3与自身位置S2之间的距离。环境地图信息26A所具有的相对的位置关系是与实际空间相似的关系，因此通过知道自身位置S3与自身位置S2之间的距离，也能够求出从自身位置S到除此以外的全部的检测点P为止的距离的绝对值。此外，在检测部14获取检测点P的距离信息的情况下，也可以省略绝对距离换算部30A。
而且，绝对距离换算部30A将计算出的多个检测点P各自的测定距离输出到提取部30B。另外，绝对距离换算部30A将计算出的移动体2的当前位置作为移动体2的自身位置信息而输出到虚拟视点视线决定部34。
提取部30B提取从绝对距离换算部30A接受到测定距离的多个检测点P中的、存在于特定的范围内的检测点P。特定的范围例如是指从配置有移动体2的路面到相当于移动体2的车高的高度为止的范围。此外，该范围不限于上述的范围。
通过由提取部30B提取该范围内的检测点P，例如能够提取成为移动体2行进的障碍的物体、与移动体2邻接地配置的物体等检测点P。
而且，提取部30B将提取出的检测点P各自的测定距离输出到最附近特定部30C。
最附近特定部30C按照特定的范围(例如角度范围)对移动体2的自身位置S的周围进行划分，按照范围，确定最接近移动体2的检测点P、或者按照接近移动体2的顺序确定多个检测点P。最附近特定部30C使用从提取部30B接受到的测定距离，确定检测点P。在本实施方式中，作为一例对最附近特定部30C按照范围，按照接近移动体2的顺序确定多个检测点P的方式进行说明。
最附近特定部30C将按照范围确定的检测点P的测定距离输出到基准投影面形状选择部30D、尺度决定部30E、渐近曲线计算部30F、边界区域决定部30H。
基准投影面形状选择部30D选择基准投影面的形状。
这里，一边参照图13一边对基准投影面进行说明。基准投影面40例如是在变更投影面的形状时成为基准的形状的投影面。基准投影面40的形状例如是碗型、圆柱型等。此外，在图13中例示碗型的基准投影面40。
碗型是指具有底面40A和侧壁面40B，侧壁面40B的一端与该底面40A连续，另一端开口的形状。该侧壁面40B从底面40A侧朝向该另一端部的开口侧，水平剖面的宽度变大。底面40A例如是圆形状。这里，圆形状是指包含正圆形状、椭圆形状等正圆形状以外的圆形状的形状。水平剖面是指与铅垂方向(箭头Z方向)正交的正交平面。正交平面是沿着与箭头Z方向正交的箭头X方向、以及与箭头Z方向和箭头X方向正交的箭头Y方向的二维平面。以下，有时将水平剖面以及正交平面称为XY平面来进行说明。此外，底面40A例如也可以是卵型那样的圆形状以外的形状。
圆柱型是指由圆形状的底面40A和与该底面40A连续的侧壁面40B构成的形状。另外，构成圆柱型的基准投影面40的侧壁面40B是一端部的开口与底面40A连续，另一端部开口的圆筒状。其中，构成圆柱型的基准投影面40的侧壁面40B是从底面40A侧朝向该另一端部的开口侧，XY平面的直径大致恒定的形状。此外，底面40A例如也可以是卵型那样的圆形状以外的形状。
在本实施方式中，作为一例对基准投影面40的形状是图13所示的碗型的情况进行说明。基准投影面40是在将底面40A设为与移动体2的下方的路面大致一致的面、将该底面40A的中心设为移动体2的自身位置S的虚拟空间中虚拟地形成的立体模型。
基准投影面形状选择部30D通过从多个种类的基准投影面40读取特定的一个形状，而选择基准投影面40的形状。例如，基准投影面形状选择部30D根据自身位置与周围立体物的位置关系、稳定化距离等来选择基准投影面40的形状。此外，也可以通过用户的操作指示来选择基准投影面40的形状。基准投影面形状选择部30D将所决定的基准投影面40的形状信息输出到形状决定部30G。在本实施方式中，如上所述，作为一例对基准投影面形状选择部30D选择碗型的基准投影面40的方式进行说明。
尺度决定部30E决定由基准投影面形状选择部30D选择的形状的基准投影面40的尺度。尺度决定部30E例如在与自身位置S相距规定的距离的范围内存在多个检测点P的情况下进行减小尺度等的决定。尺度决定部30E将所决定的尺度的尺度信息输出到形状决定部30G。
渐近曲线计算部30F使用从最附近特定部30C接受到的、按照与自身位置S相距的范围而最接近自身位置S的检测点P的稳定化距离中的各个距离，将计算出的渐近曲线Q的渐近曲线信息输出到形状决定部30G以及虚拟视点视线决定部34。此外，渐近曲线计算部30F也可以计算按照基准投影面40的多个部分而储存的检测点P的渐近曲线Q。而且，渐近曲线计算部30F也可以将计算出的渐近曲线Q的渐近曲线信息输出到形状决定部30G以及虚拟视点视线决定部34。
形状决定部30G将由从基准投影面形状选择部30D接受到的形状信息表示的形状的基准投影面40放大或者缩小为从尺度决定部30E接受到的尺度信息的尺度。而且，形状决定部30G针对放大或者缩小后的基准投影面40，将变形为沿着从渐近曲线计算部30F接受到的渐近曲线Q的渐近曲线信息的形状而得的形状决定为投影形状。
这里，一边参照图14一边详细地说明投影形状的决定。如图14所示，形状决定部30G决定将基准投影面40变形为穿过最接近基准投影面40的底面40A的中心即移动体2的自身位置S的检测点P的形状而得的形状作为投影形状41。穿过检测点P的形状意味着变形后的侧壁面40B穿过该检测点P的形状。该自身位置S是由自身位置推断部27计算出的最新的自身位置S。
即，形状决定部30G确定登记于环境地图信息26A的多个检测点P中的、最接近该自身位置S的检测点P。详细地，将移动体2的中心位置(自身位置S)的XY坐标设为(X，Y)＝(0，0)。而且，形状决定部30G将X2+Y2的值表示最小值的检测点P确定为最接近自身位置S的检测点P。而且，形状决定部30G决定将基准投影面40的侧壁面40B变形为穿过该检测点P的形状而得的形状作为投影形状41。
更具体而言，形状决定部30G在使基准投影面40变形时侧壁面40B的一部分的区域成为穿过最接近移动体2的检测点P的壁面地将底面40A以及侧壁面40B的一部分的区域的变形形状决定为投影形状41。变形后的投影形状41例如为从底面40A上的立起线44朝向在XY平面的视点(俯视)下接近底面40A的中心的方向立起的形状。立起例如意味着使该侧壁面40B以及底面40A的一部分朝向接近底面40A的中心的方向屈曲或者折弯以使得基准投影面40的侧壁面40B与底面40A所成的角度成为更小的角度。此外，也可以是，在立起的形状中，立起线44位于底面40A与侧壁面40B之间，底面40A保持不变形。
形状决定部30G决定将基准投影面40中的特定区域变形为在XY平面的视点(俯视)下向穿过该检测点P的位置突出。特定区域的形状以及范围也可以基于预先决定的基准来决定。而且，形状决定部30G决定成为将基准投影面40变形为从突出的特定区域朝向侧壁面40B中的该特定区域以外的区域，与自身位置S相距的距离连续地变远而得的形状。
例如，如图14所示，优选将投影形状41决定为沿着XY平面的剖面的外周的形状成为曲线形状。此外，投影形状41的该剖面的外周的形状例如是圆形状，但也可以是圆形状以外的形状。
此外，形状决定部30G也可以决定将基准投影面40变形为沿着渐近曲线的形状而得的形状作为投影形状41。形状决定部30G朝向远离最接近移动体2的自身位置S的检测点P的方向生成预先决定的数量的多个检测点P的渐近曲线。该检测点P的数量只要为多个即可。例如，该检测点P的数量优选为3个以上。另外，在该情况下，优选形状决定部30G生成在从自身位置S观察时位于分开规定角度以上的位置的多个检测点P的渐近曲线。例如，形状决定部30G能够决定在图12所示的渐近曲线Q中，将基准投影面40变形为沿着所生成的渐近曲线Q的形状而得的形状作为投影形状41。
此外，形状决定部30G也可以按照特定的范围划分移动体2的自身位置S的周围，按照该范围，确定最接近移动体2的检测点P、或者按照接近移动体2的顺序确定多个检测点P。而且，形状决定部30G也可以决定将基准投影面40变形为穿过按照该范围确定的检测点P的形状或者沿着确定的多个检测点P的渐近曲线Q的形状而得的形状作为投影形状41。
而且，形状决定部30G将所决定的投影形状41的投影形状信息输出到变形部32。
接下来，对由本实施方式的信息处理装置10执行的、包含点组统合处理的信息处理的流程的一例进行说明。
图16是表示由信息处理装置10执行的信息处理的流程的一例的流程图。
获取部20从拍摄部12获取拍摄图像(步骤S10)。另外，获取部20执行直接指定内容(例如，移动体2的档位成为倒档等)的获取、车辆状态的获取。
选择部23选择拍摄部12A～12D中的至少任一个(步骤S12)。
匹配部25使用在步骤S10中获取到的拍摄图像中的、在步骤S12中选择并由拍摄部12拍摄到的拍摄定时不同的多个拍摄图像，进行特征量的提取和匹配处理(步骤S14)。另外，匹配部25将通过匹配处理而确定的、拍摄定时不同的多个拍摄图像间的对应的点的信息登记于存储部26。
自身位置推断部27从存储部26读取匹配点以及环境地图信息26A(周边位置信息和自身位置信息)(步骤S16)。自身位置推断部27使用从匹配部25获取到的多个匹配点，通过射影转换等，推断相对于拍摄图像的相对的自身位置(步骤S18)，将计算出的自身位置信息登记到环境地图信息26A(步骤S20)。
三维复原部26B读取环境地图信息26A(周边位置信息和自身位置信息)(步骤S22)。三维复原部26B使用由自身位置推断部27推断出的自身位置的移动量(平移量以及旋转量)而进行透视投影转换处理，决定该匹配点的三维坐标(相对于自身位置的相对坐标)，作为周边位置信息，登记到环境地图信息26A(步骤S24)。
修正部28读取环境地图信息26A(周边位置信息和自身位置信息)。修正部28为了针对在多个帧间匹配多次的点，使在过去计算出的三维坐标和新计算出的三维坐标中，三维空间内的距离的差的合计最小，而例如使用最小二乘法等，对在环境地图信息26A中登记完成的周边位置信息以及自身位置信息进行修正(步骤S26)，并更新环境地图信息26A。
统合处理部29接受从VSLAM处理部24输出的环境地图信息26A，执行点组统合处理(步骤S27)。
图17是表示图16的步骤S27中的点组统合处理的流程的一例的流程图。即，过去地图保持部291响应于档位的切换，保持从VSLAM处理部24输出的最新的环境地图信息中包含的点组信息(步骤S113a)。
差分计算部292执行使用了从VSLAM处理部24输出的环境地图信息中包含的点组信息和由过去地图保持部291保持的点组信息的扫描匹配处理，计算偏移量(步骤S113b)。
偏移处理部293使由过去地图保持部291保持的点组信息加上偏移量而使其平行移动，执行点组信息间的对位(步骤S113c)。
统合部294使用从VSLAM处理部24输出的环境地图信息中包含的点组信息和从偏移处理部293输出的点组信息，生成统合点组信息(步骤S113d)。
返回图16，绝对距离换算部30A获取从移动体2的ECU3接收到的CAN数据中包含的移动体2的速度数据(自车速度)。绝对距离换算部30A使用移动体2的速度数据，将环境地图信息26A中包含的周边位置信息换算为从移动体2的最新的自身位置S即当前位置到该多个检测点P中的各个检测点为止的距离信息(步骤S28)。绝对距离换算部30A将计算出的多个检测点P各自的距离信息输出到提取部30B。另外，绝对距离换算部30A将计算出的移动体2的当前位置作为移动体2的自身位置信息而输出到虚拟视点视线决定部34。
提取部30B提取接受了距离信息的多个检测点P中的、存在于特定的范围内的检测点P(步骤S30)。
最附近特定部30C按照特定的范围划分移动体2的自身位置S的周围，按照范围，确定最接近移动体2的检测点P、或者按照接近移动体2的顺序确定多个检测点P，提取与最附近物体的距离(步骤S32)。最附近特定部30C将按照范围确定的检测点P的测定距离(移动体2与最附近物体的测定距离)d输出到基准投影面形状选择部30D、尺度决定部30E、以及渐近曲线计算部30F、边界区域决定部30H。
渐近曲线计算部30F计算渐近曲线(步骤S34)，作为渐近曲线信息输出到形状决定部30G以及虚拟视点视线决定部34。
基准投影面形状选择部30D选择基准投影面40的形状(步骤S36)，将所选择的基准投影面40的形状信息输出到形状决定部30G。
尺度决定部30E决定由基准投影面形状选择部30D选择的形状的基准投影面40的尺度(步骤S38)，将所决定的尺度的尺度信息输出到形状决定部30G。
形状决定部30G基于尺度信息以及渐近曲线信息，决定使基准投影面的形状如何变形的投影形状(步骤S40)。形状决定部30G将所决定的投影形状41的投影形状信息输出到变形部32。
变形部32基于投影形状信息，使基准投影面的形状变形(步骤S42)。变形部32将变形后的变形投影面信息输出到投影转换部36。
虚拟视点视线决定部34基于自身位置和渐近曲线信息，决定虚拟视点视线信息(步骤S44)。虚拟视点视线决定部34将表示虚拟视点O以及视线方向L的虚拟视点视线信息输出到投影转换部36。
投影转换部36基于变形投影面信息和虚拟视点视线信息，生成将从拍摄部12获取到的拍摄图像投影到变形投影面而得的投影图像。投影转换部36将所生成的投影图像转换为虚拟视点图像(步骤S46)并输出到图像合成部38。
边界区域决定部30H基于与按照范围确定的最附近物体的距离，决定边界区域。即，边界区域决定部30H基于移动体2的最附近的物体的位置来决定作为在空间上相邻的周边图像的重叠区域的边界区域(步骤S48)。边界区域决定部30H将所决定的边界区域输出到图像合成部38。
图像合成部38使用边界区域将在空间上相邻的透视投影图像接合而生成合成图像(步骤S50)。即，图像合成部38根据设定为最附近物体方向的角度的边界区域将4个方向的透视投影图像接合，而生成合成图像。此外，在边界区域中，在空间上相邻的透视投影图像以规定的比率混合。
显示部16显示合成图像(步骤S52)。
信息处理装置10判断是否结束信息处理(步骤S54)。例如，信息处理装置10判别是否从ECU3接收到表示移动体2的位置移动停止的信号，由此进行步骤S54的判断。另外，例如，信息处理装置10也可以判别是否通过用户的操作指示等而接受到信息处理的结束指示，由此进行步骤S54的判断。
若在步骤S54中进行否定判断(步骤S54：No)，则反复执行从上述步骤S10到步骤S54为止的处理。
另一方面，若在步骤S54中进行肯定判断(步骤S54：Yes)，则结束本程序。
此外，也可以是，在执行了步骤S26的修正处理之后从步骤S54返回到步骤S10的情况下，有时省略之后的步骤S26的修正处理。另外，也可以是，在不执行步骤S26的修正处理而从步骤S54返回到步骤S10的情况下，有时执行之后的步骤S26的修正处理。
像上述那样，实施方式的信息处理装置10具备作为获取部的VSLAM处理部24、作为对位处理部的差分计算部292以及偏移处理部293、以及作为统合部的统合部294。VSLAM处理部24例如基于从设置于移动体2的前方的拍摄部12A得到的图像数据，获取前方VSLAM处理所涉及的点组信息，基于从设置于移动体2的后方的拍摄部12D得到的图像数据，获取后方VSLAM处理所涉及的点组信息。差分计算部292以及偏移处理部293执行前方VSLAM处理所涉及的点组信息与后方VSLAM处理所涉及的点组信息的对位处理。统合部294使用执行了对位处理后的前方VSLAM处理所涉及的点组信息以及后方VSLAM处理所涉及的点组信息，生成统合点组信息。
因此，能够生成将使用由过去不同的拍摄部拍摄到的图像而获取的点组信息与使用由当前的拍摄部拍摄到的图像而获取的点组信息统合而得的统合点组信息，使用该统合点组信息而生成移动体周边的图像。因此，例如在车伴随着折返动作而停车的情况下等，也能够消除在VSLAM处理中得到的周边物体的位置信息不足。
图18是表示比较例的信息处理装置的后方VSLAM处理所涉及的点组信息M5的图。即，图18表示当在移动体2沿着轨迹OB1暂时向前方移动之后，切换移动体2的档位，沿着轨迹OB2向后方移动，由此向停车位PA后方停车的情况下，仅由后方VSLAM获取到的点组信息M5。在不使用本实施方式的点组统合处理的情况下，使用仅由后方VSLAM获取到的点组信息M5而生成并显示移动体周边的图像。
因此，如图18所示，在仅由后方VSLAM获取到的点组信息M5中，伴随着移动体2的后方移动而图5所示的car1立即从拍摄范围D4脱离，与car1对应的区域R6的点组信息变得稀疏，car1等移动体的周边物体的检测有时变得不稳定。
与此相对，本实施方式的信息处理装置10通过统合处理而生成图10所示的统合点组信息。比较图10的统合点组信息M3中的与car1对应的区域R3和图18的点组信息M5中的与car1对应的区域R6可知，例如统合点组信息M3中的与car1对应的点组与统合点组信息M5相比存在得多。因此，根据本实施方式的信息处理装置10，与比较例的信息处理装置相比，能够使car1等移动体的周边物体的检测稳定。
VSLAM处理部24基于表示移动体2的状态的车辆状态信息，从获取前方点组信息的前方VSLAM处理转移到获取后方点组信息的后方VSLAM处理。差分计算部292以及偏移处理部293在从前方VSLAM处理转移到后方VSLAM处理后，使用前方点组信息和后方点组信息执行对位处理。
因此，不需要执行前方VSLAM处理以及后方VSLAM处理双方，能够减轻计算负荷。
(变形例1)
在上述实施方式中，例示了以表示移动体2将档位从驱动“D”切换为倒档“R”的档位信息(车辆状态信息)的输入为触发，执行点组统合处理的情况。成为触发的车辆状态信息不限于档位信息。例如也能够以表示为了变更移动体2的行进方向而使方向盘(手柄)旋转一定以上的信息、表示移动体2的停车所具备的速度为一定以下的信息等为触发，执行点组统合处理。
(变形例2)
在上述实施方式中，作为例子对移动体2进行后方停车的情况下的点组统合处理进行说明。与此相对，在移动体2进行纵列停车、前方停车的情况下，也能够执行点组统合处理。例如，如果是移动体2进行纵列停车的情况，则能够利用使用由配置于移动体2的侧面的拍摄部12B、12C拍摄到的图像的侧方VSLAM处理所涉及的点组信息、后方VSLAM处理所涉及的点组信息，执行点组统合处理。
另外，在上述实施方式中，作为例子对使用了前方VSLAM处理所涉及的点组信息和后方VSLAM处理所涉及的点组信息的点组统合处理进行说明。与此相对，也可以使用前方VSLAM处理所涉及的点组信息、后方VSLAM处理所涉及的点组信息、侧方VSLAM处理所涉及的点组信息等、三个方向以上(或者不同的三个部位以上)的VSLAM处理所涉及的点组信息，执行点组统合处理。
另外，在移动体2为无人机的情况下，也能够利用使用由设置于移动体2的上表面的拍摄部获取到的图像的上方VSLAM处理所涉及的点组信息、使用由设置于移动体2的下表面的拍摄部获取到的图像的下方VSLAM处理所涉及的点组信息、侧方VSLAM处理所涉及的点组信息，执行点组统合处理。
(变形例3)
在上述实施方式中，作为例子对以车辆状态信息的输入为触发从前方VSLAM处理切换为后方VSLAM处理(或者相反)，将前方VSLAM处理所涉及的点组信息和后方VSLAM处理所涉及的点组信息统合的点组统合处理进行了说明。与此相对，也能够使用并列地执行多个VSLAM处理而得的各点组信息，执行点组统合处理。
例如，设置前方用的VSLAM处理部24和后方用的VSLAM处理部24。而且，前方拍摄部12A与后方拍摄部12D拍摄相对于移动体2不同的方向，各VSLAM处理部24并列地获取前方点组信息和后方点组信息。在差分计算部292以及偏移处理部293中，对位处理部使用并列地获取到的前方点组信息和后方点组信息而执行上述对位处理。
根据该结构，多方向VSLAM处理互补。其结果是，能够进一步消除检测信息不足，能够生成可靠性高的周边地图。
以上，对实施方式以及各变形例进行了说明，但本申请公开的信息处理装置、信息处理方法、以及信息处理程序不直接限定于上述的各实施方式等，在各实施阶段等中能够在不脱离其主旨的范围内对结构要素进行变形而具体化。另外，通过上述的实施方式以及各变形例等中公开的多个结构要素的适当的组合，能够形成各种发明。例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。
此外，上述实施方式以及各变形例的信息处理装置10能够应用于各种装置。例如，上述实施方式以及各变形例的信息处理装置10能够应用于对从监视照相机得到的影像进行处理的监视照相机系统、或者对车外的周边环境的图像进行处理的车载系统等。
附图标记的说明
10…信息处理装置；12、12A～12D…拍摄部；14…检测部；20…获取部；23…选择部；24…VSLAM处理部；25…匹配部；26…存储部；26A…环境地图信息；27A…自身位置推断部；27B…三维复原部；28…修正部；29…统合处理部；30…决定部；30A…绝对距离换算部；30B…提取部；30C…最附近特定部；30D…基准投影面形状选择部；30E…尺度决定部；30F…渐近曲线计算部；30G…形状决定部；30H…边界区域决定部；32…变形部；34…虚拟视点视线决定部；36…投影转换部；37…图像生成部；38…图像合成部；291…过去地图保持部；292…差分计算部；293…偏移处理部；294…统合部。

Claims (9)

1.一种信息处理装置，其中，具备：
获取部，基于从设置于移动体的第一位置的第一拍摄部得到的第一图像数据，获取第一点组信息，基于从设置于所述移动体的与所述第一位置不同的第二位置的第二拍摄部得到的第二图像数据，获取第二点组信息；
对位处理部，执行所述第一点组信息与所述第二点组信息的对位处理；以及
统合处理部，使用执行了所述对位处理的所述第一点组信息以及所述第二点组信息，生成统合点组信息。
2.根据权利要求1所述的信息处理装置，其中，
所述获取部基于表示所述移动体的状态的状态信息，从获取所述第一点组信息的第一处理转移到获取所述第二点组信息的第二处理，
所述对位处理部使用在所述第一处理中获取到的所述第一点组信息和在所述第二处理中获取到的所述第二点组信息来执行所述对位处理。
3.根据权利要求2所述的信息处理装置，其中，
所述对位处理部计算所述第一点组信息以及所述第二点组信息中的至少一方的包含平行移动量以及旋转移动量中的至少一方的差分信息，基于所述差分信息，执行所述对位处理。
4.根据权利要求2或3所述的信息处理装置，其中，
所述状态信息包含对所述移动体的行进方向进行变更的信息以及所述移动体的速度信息中的至少一方。
5.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述第一拍摄部与所述第二拍摄部拍摄相对于所述移动体分别不同的方向。
6.根据权利要求1所述的信息处理装置，其中，
所述获取部并列地执行获取所述第一点组信息的第一处理和获取所述第二点组信息的第二处理，
所述对位处理部使用并列地获取到的所述第一点组信息和所述第二点组信息来执行所述对位处理。
7.根据权利要求1至6中任一项所述的信息处理装置，其中，该信息处理装置具有：
图像生成部，将包含所述第一图像数据以及所述第二图像数据的所述移动体周边的图像投影到投影面；以及
变形部，基于所述统合点组信息对所述投影面进行变形。
8.一种信息处理方法，由计算机执行，其中，该信息处理方法包含如下的步骤：
基于从设置于移动体的第一位置的第一拍摄部得到的第一图像数据，获取第一点组信息，基于从设置于所述移动体的与所述第一位置不同的第二位置的第二拍摄部得到的第二图像数据，获取第二点组信息；
执行所述第一点组信息与所述第二点组信息的对位处理；以及
使用执行了所述对位处理的所述第一点组信息以及所述第二点组信息，生成统合点组信息。
9.一种信息处理程序，用于使计算机执行如下的步骤：
基于从设置于移动体的第一位置的第一拍摄部得到的第一图像数据，获取第一点组信息，基于从设置于所述移动体的与所述第一位置不同的第二位置的第二拍摄部得到的第二图像数据，获取第二点组信息；
执行所述第一点组信息与所述第二点组信息的对位处理；以及
使用执行了所述对位处理的所述第一点组信息以及所述第二点组信息，生成统合点组信息。
CN202180099606.3A 2021-06-24 2021-06-24 信息处理装置、信息处理方法、以及信息处理程序 Pending CN117581281A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/023999 WO2022269875A1 (ja) 2021-06-24 2021-06-24 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN117581281A true CN117581281A (zh) 2024-02-20

Family

ID=84544390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180099606.3A Pending CN117581281A (zh) 2021-06-24 2021-06-24 信息处理装置、信息处理方法、以及信息处理程序

Country Status (4)

Country Link
US (1) US20240144499A1 (zh)
JP (1) JPWO2022269875A1 (zh)
CN (1) CN117581281A (zh)
WO (1) WO2022269875A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5626578B2 (ja) * 2010-12-02 2014-11-19 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援プログラム、及び走行支援方法
JP6524529B2 (ja) * 2015-10-27 2019-06-05 株式会社明電舎 建築限界判定装置
JP2019117435A (ja) * 2017-12-26 2019-07-18 パイオニア株式会社 画像生成装置
JP2020052671A (ja) * 2018-09-26 2020-04-02 パナソニックＩｐマネジメント株式会社 表示制御装置、車両、表示制御方法
US11105905B2 (en) * 2018-11-30 2021-08-31 Lyft, Inc. LiDAR and camera rotational position calibration using multiple point cloud comparisons

Also Published As

Publication number Publication date
WO2022269875A1 (ja) 2022-12-29
JPWO2022269875A1 (zh) 2022-12-29
US20240144499A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
JP7021372B2 (ja) 自動化されたトレーラヒッチングのための、群点を介したカプラおよび牽引バーの検出
US10659677B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US9151626B1 (en) Vehicle position estimation system
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
CN112512843A (zh) 实时拖车联接器定位和跟踪
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
US11087145B2 (en) Gradient estimation device, gradient estimation method, computer program product, and controlling system
JP7424390B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
US10249056B2 (en) Vehicle position estimation system
CN112528719A (zh) 推定装置、推定方法以及存储介质
WO2022202915A1 (ja) 自律走行車及び自律走行車の自己位置推定方法
CN117581281A (zh) 信息处理装置、信息处理方法、以及信息处理程序
US11532100B2 (en) Method for environmental acquisition, data processing unit
US20230245362A1 (en) Image processing device, image processing method, and computer-readable medium
WO2024057439A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2010148058A (ja) 運転支援装置及び運転支援方法
WO2023084660A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2023175988A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2024157367A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20240098231A1 (en) Image processing device, image processing method, and computer-readable medium
US20240331082A1 (en) Image processing device, image processing method, and computer program product
JP7564742B2 (ja) 情報処理装置及び情報処理方法
US11620831B2 (en) Register sets of low-level features without data association
CN117715813A (zh) 用于定向地停放挂车的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination