CN118355655A - 信息处理装置、移动体、信息处理方法及程序 - Google Patents

Abstract

根据本发明的一种方式，提供一种信息处理装置。所述信息处理装置包括控制部。控制部生成包含移动体和移动体的周边的俯瞰图像，进行控制以在移动体的操作者能够目视的显示部上显示俯瞰图像，并且基于移动体与存在于移动体的行进方向上的对象之间的距离，来改变与俯瞰图像的视点有关的俯角。

Description

信息处理装置、移动体、信息处理方法及程序

技术领域

本发明涉及信息处理装置、移动体、信息处理方法及程序。

背景技术

目前存在有与移动体相关的显示系统。

专利文献1公开了一项以乘坐人员容易掌握移动体的行进方向并且容易集中于周边监视的显示为目的的技术。

现有技术文献

专利文献

专利文献1：日本专利公开2021-094939号公报

发明内容

本发明所要解决的技术问题

本发明旨在以更易于理解的方式呈现移动体的周边信息。

用于解决技术问题的技术方案

根据本发明的一种方式，提供一种信息处理装置。所述信息处理装置包括控制部。控制部生成包含移动体和移动体的周边的俯瞰图像，进行控制以在移动体的操作者能够目视的显示部上显示俯瞰图像，并且基于移动体与存在于移动体的行进方向上的对象之间的距离，来改变与俯瞰图像的视点有关的俯角。

附图说明

图1是表示信息处理系统1000的系统结构示例的图。

图2是表示信息处理装置110的硬件结构示例的图。

图3是表示信息处理装置110的功能结构示例的图。

图4是表示信息处理装置110的信息处理示例的活动图。

图5是表示俯瞰图像示例的图(之一)。

图6是表示俯瞰图像示例的图(之二)。

图7是表示俯瞰图像示例的图(之三)。

图8是表示当远离对象的per减少时的位移曲线示例的图。

图9是表示当接近对象的per增加时的位移曲线示例的图。

图10是表示通过显示控制部304以机动车100越接近障碍物150则俯角越大的方式进行控制的示例的图。

图11是表示变形例3的视点的改变示例的图(之一)。

图12是表示变形例3的视点的改变示例的图(之二)。

具体实施方式

以下使用图示说明本发明的实施例。在以下所示实施例中示出的各种特征事项均可相互组合。

本说明书中的“部”可包括例如通过广义的电路所实施的硬件资源与可通过这样的硬件资源来具体实现的软件信息处理的组合。另外，虽然在本实施例中处理各种信息，但这些信息是例如代表电压或电流的信号值的物理意义的数值，或者可以作为由0或1所构成的二进制的位集(Bit set)的信号值的高低，或者通过量子迭加(即所谓量子位)来表示，而且可在广义的电路上执行通信或运算。

另外，广义的电路是通过至少适当地组合电路(Circuit)、电路类(Circuitry)、处理器(Processor)以及内存(Memory)等来实现的电路。即，包含针对特定用途的集成电路(Application Specific Integrated Circuit：ASIC)、可编程逻辑器件(例如，简单可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复杂可编程逻辑器件(ComplexProgrammable Logic Device：CPLD)以及现场可编程门阵列(Field Programmable GateArray：FPGA))等。

<实施例1>

1.系统结构

图1是表示信息处理系统1000的系统结构示例的图。如图1所示，作为系统结构，信息处理系统1000包括机动车100。机动车是移动体的示例。机动车100包括信息处理装置110、显示器120以及多个摄像头130。信息处理装置110是执行本实施例的处理的装置。在本实施例中，将说明信息处理装置110包含于机动车100中的情况，但只要能够与机动车100等进行通信，则也可以不包含在机动车100中。显示器120是在信息处理装置110的控制下显示后述的3D合成图像等的显示装置。摄像头130是对机动车100的周边进行摄像的摄像头。更具体而言，摄像头130是附加颜色信息作为影像进行记述的RGB摄像头等。摄像头1301设置在机动车100的后方。摄像头1302设置在机动车100的前方。虽然在图1中进行了省略，但是除了摄像头1301和摄像头1302以外，在机动车100的左右还分别设置有摄像头130。以下，将这多个摄像头简称为摄像头130。另外，为了简化说明，虽然在图1中未图示，但机动车100具有多个深度传感器。深度传感器使用激光等测定机动车100周围的物体的形状以及从机动车100到物体的距离。然而，深度传感器不限于激光，可以使用超声波测量距离，也可以使用带有深度传感器的摄像头来测量距离。

2.硬件结构

图2是表示信息处理装置110的硬件结构示例的图。作为硬件结构，信息处理装置110包括控制部201、存储部202以及通信部203。控制部201是中央处理器(CentralProcessing Unit：CPU)等，用于控制信息处理装置110的整体。存储部202是硬盘驱动器(Hard Disk Drive：HDD)、只读存储器(Read-Only Memory：ROM)、随机存取存储器(RandomAccess Memory：RAM)、固态硬盘(Solid State Drives：SSD)等中的任意一种或者这些的任意组合，用于存储程序和控制部201基于程序执行处理时利用的数据等。控制部201基于存储在存储部202中的程序来执行处理，由此实现后述的图3所示的信息处理装置110的功能结构、后述的图4所示的活动图的处理等。注意，在本实施例中，说明了控制部201在基于程序执行处理时使用的数据被存储在存储部202中的情况，但是数据也可以被存储在信息处理装置110能够进行通信的其他装置的存储部等中。通信部203是网络接口卡(NetworkInterface Card：NIC)等，将信息处理装置110连接到网络，并负责与其他装置(例如显示器120、摄像头130等)的通信。存储部202是存储介质的示例。

3.功能结构

图3是表示信息处理装置110的功能结构示例的图。作为功能结构，信息处理装置110包括周边信息接收部301、物体识别部302、举动信息接收部303以及显示控制部304。

(周边信息接收部301)

周边信息接收部301从摄像头130接收机动车100的周围的物体的信息、机动车100的周围的颜色的信息等作为周边信息。另外，周边信息接收部301从多个深度传感器接收机动车100周围的物体的形状以及从机动车100到物体的距离等作为周边信息。

(物体识别部302)

物体识别部302基于由周边信息接收部301接收到的周边信息等来识别机动车100的周边的物体。周围的物体例如有建筑物、道路、其他机动车、停车场等。

(举动信息接收部303)

举动信息接收部303接收移动体的举动信息。更具体而言，举动信息接收部303取得包含于机动车100中的、由车轮速度传感器、转向角传感器以及惯性测量装置(InertialMeasurement Unit：IMU)等检测出的信息作为机动车100的举动信息。注意，惯性测量装置是检测三维惯性运动(直行三轴方向的平移运动和旋转运动)的装置，通过加速度传感器[m/s2]检测平移运动，通过角速度(陀螺仪)传感器[deg/sec]检测旋转运动。另外，举动信息接收部303也可以从机动车100中包含的即时定位与地图构建(SimultaneousLocalization and Mapping：SLAM)以及机动车100中包含的LiDAR、立体摄像头、陀螺仪传感器等接收与机动车100的举动相关的信息。

在此，作为与举动相关的信息，例如包含机动车100的位置信息、朝向信息等。

(显示控制部304)

显示控制部304基于物体识别部302识别的物体的信息、来自SLAM的信息等，将周围的物体变换为3D模型。此外，显示控制部304基于来自摄像头130的信息、来自SLAM的信息、举动信息接收部303接收到的举动信息等，来生成机动车100的3D模型。另外，显示控制部304基于周边物体的3D模型、机动车100的3D模型、来自摄像头130的信息等，来生成包含机动车100及机动车100的周边的俯瞰图像。在此，俯瞰图像是以相对于道路面从上面能够看到的方式进行了透视变换的图像，是包含机动车100的整体、或者至少包含机动车100的一半以上的图像。有关俯瞰图像将在后述的图5至图7等中表示。显示控制部304进行控制，以将生成的俯瞰图像显示在机动车100的显示器120等上。机动车100的显示器120是机动车100的操作者能够目视的显示部的示例。

注意，图3的功能结构的一部分或全部可以作为硬件结构安装于信息处理装置110或机动车100。此外，信息处理装置110的功能结构的一部分或全部可以安装于机动车100。

4.信息处理

图4是表示信息处理装置110的信息处理示例的活动图。

在A401中，周边信息接收部301从摄像头130接收机动车100的周围的物体的信息、机动车100的周围的颜色的信息等作为周边信息。另外，周边信息接收部301从多个深度传感器接收机动车100周围的物体的形状以及从机动车100到物体的距离等作为周边信息。

在A402中，物体识别部302基于由周边信息接收部301接收到的周边信息等来识别机动车100的周边的物体。

在A403中，举动信息接收部303接收与机动车100的举动有关的信息。

在A404中，显示控制部304基于物体识别部302识别的物体的信息、来自SLAM的信息等，将周围的物体变换为3D模型。此外，显示控制部304基于来自摄像头130的信息、来自SLAM的信息、举动信息接收部303接收到的机动车100的举动信息等，来生成机动车100的3D模型。另外，显示控制部304基于周边物体的3D模型、机动车100的3D模型、来自摄像头130的信息等，生成包含机动车100及机动车100的周边的俯瞰图像。

在A405中，显示控制部304进行控制，使得生成的俯瞰图像显示在机动车100的显示器120等上。显示控制部304基于机动车100与在机动车100的行进方向上存在的对象之间的距离，来改变关于俯瞰图像的视点的俯角。在行进方向上存在的对象的示例包括诸如挡车桩等的障碍物。然而，这并不用于限制本实施例，作为存在于行进方向上的对象的其它示例，可以是停车场的墙壁、停在停车场的其它车辆、指示停车场的停车位置的标记等。表示挡车桩或停车场所的标记等是与机动车的停车位置相关的示例。但是，以下为了简化说明，作为对象的示例，以障碍物为例进行说明。在此，显示控制部304既可以通过图像处理来识别、提取存在于行进方向的障碍物，也可以通过由物体识别部302识别的机动车100的周边的物体来识别存在于行进方向的障碍物。

在图5至图7中示出了当改变俯角时的俯瞰图像的示例。

图5是表示俯瞰图像示例的图(之一)。图6是表示俯瞰图像示例的图(之二)。图7是表示俯瞰图像示例的图(之三)。

(自动视点变换)

以下，为了简化说明，以机动车100与机动车100的后方的障碍物之间的距离L为预定距离以上时和小于预定距离时的显示控制为例进行说明。注意，作为预定距离的示例，以下以5m为例进行说明。需要留意的是5m仅为示例。

显示控制部304求出表示距离比例的per。

在后退的情况下，显示控制部304测定从机动车100到后方的障碍物的距离，将除以最大距离(5m)后的值设为per。

per＝1-到后方的障碍物的距离/最大距离(5m)

在前进的情况下，显示控制部304测定从机动车100到前方的障碍物的距离，将除以最大距离(5m)后的值设为per。

per＝1-到前方的障碍物的距离/最大距离(5m)

如果到障碍物的距离不比最大距离更近，则不执行后续处理。

per(0≤per≤1)

显示控制部304使用所求出的per通过位移曲线获得视点移动划分(dif)。

在此，在机动车100停车时，有时会进行返回。另外，由于转向的转向角，机动车100和障碍物有时会分开。在这种情况下，为了不使显示器120上显示的图像(影像)发生大的变化，位移曲线构成为使机动车100具有远离障碍物的per减少时(curveDec)的图8和接近障碍物的per增加时(curveInc)的图9这两个图。另外，curveInc必须位于curveDec的右侧。图8是表示当远离障碍物的per减少时的位移曲线的示例的图。图9是表示当接近障碍物的per增加时的位移曲线的示例的图。在图8和图9中，横轴是per，纵轴是dif。图8和图9中的曲线的左右值是恒定的。左边总是0，右边总是1。

dif＝curve.evaluate(per)

在增加时，如果dif为1，则模式发生变化，之后在评价中使用减少时的曲线。

在减少时，如果dif为0，则模式发生变化，之后在评价中使用增加时的曲线。

dif(0≤dif≤1)

(视点的改变)

显示控制部304基于机动车100与行进方向上存在的障碍物的距离，基于距离来连续性地改变俯角。更具体而言，显示控制部304进行控制，使得随着机动车100越靠近障碍物则俯角越大。此时，显示控制部304使用如上所述的位移曲线进行控制，使得随着机动车100越接近障碍物，则与俯瞰图像的视点相关的俯角越大。图10是表示通过显示控制部304以机动车100越接近障碍物150则俯角越大的方式进行控制的示例的图。显示控制部304随着机动车100接近障碍物150，将视点从视点1改变为视点2。视点2的俯角是大于视点1的俯角的俯角。在此，在图10的示例中，视点1和视点2位于机动车100的行进方向的轴上，但是视点1和视点2不一定都位于行进方向的轴上。然而，当视点位于轴上时，生成的俯瞰图像的视觉效果更好。

在此，在机动车100的行进方向上没有障碍物150的情况下，显示控制部304进行控制，以生成来自视点1的视点的俯瞰图像，并将其显示在显示器120上。另一方面，也可以进行控制，以生成来自在机动车100的行进方向上存在障碍物150的视点2的视点的俯瞰图像，并显示在显示器120上。

注意，显示控制部304也可以在机动车100接近障碍物时和移动体远离障碍物时改变俯角的变化比例。

显示控制部304使用per、dif来控制摄像头的旋转及移动。此处所说的摄像头是指从机动车100的上方虚拟拍摄机动车100的摄像头。

例如，在将俯角30度设为没有障碍物时的俯角的情况下，显示控制部304以随着机动车100接近障碍物而接近俯角90度(来自上方的图像)的方式进行控制。此时，俯角30度、俯角90度也可以根据状况等预先改变设定。例如，显示控制部304可以根据障碍物的类型、大小等改变俯角和/或使用的位移曲线。

此外，可以准备用于旋转的位移曲线和用于移动的位移曲线，并且显示控制部304可以使用用于旋转的位移曲线和用于移动的位移曲线来控制俯瞰图像的显示。

另外，显示控制部304在从移动开始(per＝0，dif＝0)到增加时记录至此的dif的最大值，并且即使数值暂时下降，也使用至此的最大值的dif的值来控制摄像头。由此，能够抑制由于障碍物的形状等而导致摄像头细微地移动。

另外，显示控制部304根据来自各传感器(机动车100的前后左右)的信息求出到障碍物的距离,并且如下计算比例(per)：

前后为per＝1-(到障碍物的距离)/最大距离(5m)

左右为per＝1-(到障碍物的距离)/最大距离(1m)

显示控制部304对这些值使用最大的per(到障碍物的距离比例最小者)。

因此，当可能会碰撞到侧面的障碍物时，能够从正上方切换到视点，并且能够防止障碍物的碰撞。

另外，显示控制部304也可以不显示位于机动车100面前的障碍物。如上所述，即使在诸如塔式停车场之类的具有大量遮蔽物的停车场中，也能够看到自己的车辆。在此，显示控制部304在视点与本车之间不存在碰撞的情况下进行上述处理。在本车总是向前方行进、视点位于面前侧的情况下，显示控制部304不显示位于机动车100面前的障碍物。即，显示控制部304不隐藏有可能与机动车100碰撞的障碍物。

通过这样的设计，从而灵活地实施视点变换。

另外，在上述实施例等中，主要使用在机动车100的后方有障碍物的示例进行了说明，但在机动车100的前方有障碍物的情况下也同样如此。另外，在机动车100的左右存在障碍物的情况下，显示控制部304也能够进行与上述处理同样的处理。

停车大致分为使机动车100进入停车框内的行动和调整停止位置及停止姿势的停车过程中的行动。在各个行动中所要求的机动车100的周围信息不同。在进行进入停车框内的行动时，可以求出为了进入停车框内的周围信息以及在大转向时与车辆内接侧面的障碍物的距离。在停车过程中的行动中，求出到停止位置的距离以及机动车100两侧的障碍物与机动车100之间的距离。以此为前提，从机动车100到障碍物的距离的表示如下。

在以下的说明中，测距为前方±20度、后方±15度、左右±60度。

1.关于左右的显示

显示控制部304在最小的障碍物的位置显示标记。

显示控制部304在标记和机动车100的轮胎宽度的两端构成三角形进行显示。

显示控制部304以使最短距离的障碍物位置成为红色、面前成为绿色的方式进行色调显示。

2.关于前后的显示

显示从机动车100到障碍物的10cm间隔的平行线

显示控制部304以使最短距离的障碍物位置成为红色、面前成为绿色的方式进行色调显示。

显示控制部304还可以立体地上下扩展扫描范围。

在图5中，示出了机动车100进入停车场所时的图像。在图6中，示出了从机动车100进入停车场到停车过程的过渡时的图像。在图7中，示出了机动车100的停车过程中的图像。

以上，根据本实施例，乘坐人员能够容易掌握移动体的行进方向，并且能够更容易地呈现移动体的周边信息。更具体而言，信息处理装置110可以根据周围的状况来改变俯瞰图像的透视变换的视点，从而呈现直观的周围信息。特别是，信息处理装置110通过考虑到机动车100周围的障碍物等障碍物的距离，进行视点变换，来实现能够更意识到障碍物的显示方法。由此，操作者能够更直观地理解车辆后退时的前后动作，从而能够安全地驾驶机动车100。

(变形例1)

以下说明实施例1的变形例。

在上述实施例中，示出了连续性地改变俯角的示例。但是，显示控制部304也可以根据从机动车100到障碍物的距离来阶段性地改变俯角。作为阶段性地改变俯角的示例，可以是在距离为5m为止俯角为30度，在距离为5m以内时俯角为90度等。

根据变形例1，乘坐人员能够容易掌握移动体的行进方向，并且能够更容易地呈现移动体的周边信息。

(变形例2)

以下说明实施例1的变形例。

在实施例1中，作为移动体的示例，以机动车100为例进行了说明。但是，移动体例如也可以是无人飞机等所谓的无人机。在移动体是无人机的情况下，信息处理装置110可以包含在无人机中，也可以包含在操作无人机的操作者的控制器中。另外,当移动体是无人机时，控制器上设置有操作者能够目视的显示部。另外，在移动体为无人机的情况下，作为变形例2中对象的示例，有表示无人机的起降场所的标记等。

根据变形例，操作者可以容易地掌握无人机的行进方向，并且可以更容易地呈现移动体的周边信息。

(变形例3)

以下说明实施例1的变形例。

图11是表示变形例3的视点改变示例的图(之一)。

变形例3的显示控制部304在相对于机动车100的行进方向在左侧或右侧的预定距离内存在障碍物的情况下，使俯瞰图像的视点向障碍物所在的方向移动。在图11的示例中，障碍物150位于机动车100的左侧，因此显示控制部304使视点从视点3到视点4的方式让视点向左侧移动，从而生成来自视点4的俯瞰图像。在图11的示例中，显示控制部304生成俯瞰图像，使得来自视点4的视线与来自视点3的视线平行。

图12是表示变形例3的视点改变示例的图(之二)。

显示控制部304在相对于机动车100的行进方向在左侧或右侧的预定距离内存在障碍物的情况下，使俯瞰图像的视点向障碍物所在的方向移动。在图12的示例中，障碍物150位于机动车100的左侧，因此显示控制部304使视点从视点5到视点6的方式让视点向左侧移动，从而生成来自视点6的俯瞰图像。然而，在图12的示例中，显示控制部304创建俯瞰图像，使得来自视点5的视线的前方(例如，视线前方的地面)与来自视点6的视线的前方(例如，视线前方的地面)相同。

<附记>

本发明还可以通过以下所描述的各种方式来提供。

(1)一种信息处理装置，其特征在于，包括控制部；所述控制部生成包含移动体和所述移动体的周边的俯瞰图像，进行控制以在所述移动体的操作者能够目视的显示部上显示所述俯瞰图像，并且基于所述移动体与存在于所述移动体的行进方向上的对象之间的距离，来改变与所述俯瞰图像的视点有关的俯角。

(2)根据上述(1)所述的信息处理装置，其中，所述控制部基于所述距离来连续性地改变所述俯角。

(3)根据上述(1)所述的信息处理装置，其中，所述控制部基于所述距离来阶段性地改变所述俯角。

(4)根据上述(1)至(3)中任一项所述的信息处理装置，其中，所述控制部进行控制，使得所述移动体越靠近所述对象则所述俯角越大。

(5)根据上述(1)至(4)中任一项所述的信息处理装置，其中，所述控制部在所述移动体接近所述对象的情况下和所述移动体远离所述对象的情况下改变所述俯角的变化比例。

(6)根据上述(1)至(5)中任一项所述的信息处理装置，其中，所述控制部在相对于所述移动体的行进方向的左侧或右侧存在对象的情况下，使所述视点向所述对象所在的方向移动。

(7)根据上述(1)至(6)中任一项所述的信息处理装置，其中，所述移动体是机动车，所述对象与所述机动车的停车位置有关。

(8)一种移动体，其特征在于，具有上述(1)至(7)中任一项所述的信息处理装置。

(9)根据上述(8)所述的移动体，其中，所述移动体是机动车。

(10)一种由信息处理装置执行的信息处理方法，其特征在于，生成包含移动体和所述移动体的周边的俯瞰图像，进行控制以在所述移动体的操作者能够目视的显示部上显示所述俯瞰图像，并且基于所述移动体与存在于所述移动体的行进方向上的对象之间的距离，来改变与所述俯瞰图像的视点有关的俯角。

(11)一种程序，其特征在于，使计算机作为上述(1)至(7)中任一项所述的信息处理装置的控制部发挥功能。

当然，并非仅限于此。

例如，可以提供存储上述程序的计算机可读非临时性存储介质。

此外，也可以任意组合变形例。

另外，在上述实施例等中主要以后视图为例进行了说明，但通过对主视图执行同样的处理也能够起到上述效果。

最后，虽然已经说明本发明的各种实施例，但这些实施例仅作为示例呈现，并且无意限制本发明的范围。新实施例可以以其它各种方式实施，并且可以在不脱离本发明要旨的范围内进行各种省略、替换和修改。该实施例或其变形可以包含在发明的范围或要旨中，并且可以包含在权利要求所描述的发明及其同等范围内。

附图标记说明

100：机动车

110：信息处理装置

120：显示器

130：摄像头

150：障碍物

201：控制部

202：存储部

203：通信部

301：周边信息接收部

302：物体识别部

303：举动信息接收部

304：显示控制部

1000：信息处理系统

Claims (11)

1.一种信息处理装置，其特征在于，包括：

控制部；

所述控制部

生成包含移动体和所述移动体的周边的俯瞰图像，

进行控制以在所述移动体的操作者能够目视的显示部上显示所述俯瞰图像，并且

基于所述移动体与存在于所述移动体的行进方向上的对象之间的距离，来改变与所述俯瞰图像的视点有关的俯角。

2.根据权利要求1所述的信息处理装置，其中，

所述控制部基于所述距离来连续性地改变所述俯角。

3.根据权利要求1所述的信息处理装置，其中，

所述控制部基于所述距离来阶段性地改变所述俯角。

4.根据权利要求1至3中任一项所述的信息处理装置，其中，

所述控制部进行控制，使得所述移动体越靠近所述对象则所述俯角越大。

5.根据权利要求1至4中任一项所述的信息处理装置，其中，

所述控制部在所述移动体接近所述对象的情况下和所述移动体远离所述对象的情况下改变所述俯角的变化比例。

6.根据权利要求1至5中任一项所述的信息处理装置，其中，

所述控制部在相对于所述移动体的行进方向的左侧或右侧存在对象的情况下，使所述视点向所述对象所在的方向移动。

7.根据权利要求1至6中任一项所述的信息处理装置，其中，

所述移动体是机动车，

所述对象与所述机动车的停车位置有关。

8.一种移动体，其特征在于，

具有权利要求1至7中任一项所述的信息处理装置。

9.根据权利要求8所述的移动体，其中，

所述移动体是机动车。

10.一种由信息处理装置执行的信息处理方法，其特征在于，

生成包含移动体和所述移动体的周边的俯瞰图像，

进行控制以在所述移动体的操作者能够目视的显示部上显示所述俯瞰图像，并且

基于所述移动体与存在于所述移动体的行进方向上的对象之间的距离，来改变与所述俯瞰图像的视点有关的俯角。

11.一种程序，其特征在于，

使计算机作为权利要求1至7中任一项所述的信息处理装置的控制部发挥功能。