CN115123281A - 图像显示系统 - Google Patents

Abstract

图像显示系统。一种图像显示系统包括：显示装置，所述显示装置被构造成显示外部环境信息；输入装置，所述输入装置被构造成接收用户的输入操作；以及控制装置，所述控制装置被构造成根据所述用户的所述输入操作控制所述外部环境信息在所述显示装置上的显示。所述控制装置被构造成生成外部虚拟视点图像和内部虚拟视点图像，并使所述显示装置显示所述外部虚拟视点图像和所述内部虚拟视点图像。当所述输入装置在所述显示装置显示所述外部虚拟视点图像的状态下接收到规定的放大操作时，所述控制装置将所述显示装置上的图像从所述外部虚拟视点图像切换到所述内部虚拟视点图像。

Description

图像显示系统

技术领域

本发明涉及图像显示系统。

背景技术

照惯例，图像显示系统可以显示从虚拟视点观察诸如车辆的移动体和移动体周围的对象的图像(以下称为“虚拟视点图像”)。

例如，WO2020/148957A1公开了一种车辆控制装置，该车辆控制装置包括处理器，该处理器从第一视点基于由多个摄像头中的每一个摄像头捕获的本车辆周围的图像生成三维图像。在从第一视点切换到第二视点后，处理器生成本车辆的旋转动画并使显示器显示通过合成本车辆的旋转动画和黑色图像而形成的图像。

在上述传统技术中，所有的虚拟视点都设置在移动体(即，本车辆)的外部。因此，无法在来自移动体外部的虚拟视点的虚拟视点图像和来自移动体内部的虚拟视点的虚拟视点图像之间切换。换句话说，无法将虚拟视点的位置在移动体的内部和其外部之间切换。

发明内容

鉴于上述背景，本发明的目的在于通过简单的操作在来自移动体外部的虚拟视点的虚拟视点图像和来自移动体内部的虚拟视点的虚拟视点图像之间切换。换句话说，本发明的目的在于通过简单的操作在移动体的内部和移动体的外部之间切换虚拟视点的位置。

为了实现这样的目的，本发明的一个方面提供了一种图像显示系统1，所述图像显示系统1包括：外部环境信息获取装置19，所述外部环境信息获取装置19被构造成获取移动体V周围的外部环境信息；显示装置32，所述显示装置32被构造成显示由所述外部环境信息获取装置获取的外部环境信息；输入装置32，所述输入装置32被构造成接收用户的输入操作；以及控制装置15，所述控制装置15被构造成根据用户的输入操作控制外部环境信息在显示装置上的显示，其中，控制装置被构造成生成外部虚拟视点图像51和内部虚拟视点图像52，并且使显示装置显示外部虚拟视点图像和内部虚拟视点图像，所述外部虚拟视点图像是从移动体外部的虚拟视点A观察移动体和移动体周围的对象Y的图像，所述内部虚拟视点图像是从移动体内部的虚拟视点C观察移动体和对象的图像，并且当在显示装置显示外部虚拟视点图像的状态下输入装置接收到规定的放大操作时，控制装置将显示装置上的图像从外部虚拟视点图像切换到内部虚拟视点图像。

根据该方面，用户能够通过简单的操作(即，放大操作)将显示装置上的图像从外部虚拟视点图像切换到内部虚拟视点图像。因此，可以提高图像显示系统的便利性。

为了实现这样的目的，本发明的另一方面提供了一种图像显示系统1，所述图像显示系统1包括：外部环境信息获取装置19，所述外部环境信息获取装置19被构造成获取移动体V周围的外部环境信息；显示装置32，所述显示装置32被构造成显示由所述外部环境信息获取装置获取的外部环境信息；输入装置32，所述输入装置32构造成接收用户的输入操作；以及控制装置15，所述控制装置15构造成根据用户的输入操作控制外部环境信息在显示装置上的显示，其中，控制装置构造成生成外部虚拟视点图像51和内部虚拟视点图像52，并且使显示装置显示外部虚拟视点图像和内部虚拟视点图像，所述外部虚拟视点图像是从移动体外部的虚拟视点A观察移动体和移动体周围的对象Y的图像，所述内部虚拟视点图像是从移动体内部的虚拟视点C观察移动体和对象的图像，并且当在显示装置显示外部虚拟视点图像的状态下输入装置接收到规定的缩小操作时，控制装置将显示装置上的图像从内部虚拟视点图像切换到外部虚拟视点图像。

根据该方面，用户能够通过简单的操作(即，缩小操作)将显示装置上的图像从内部虚拟视点图像切换到外部虚拟视点图像。因此，可以提高图像显示系统的便利性。

在上述方面，优选地，当将显示装置上的图像从外部虚拟视点图像切换到内部虚拟视点图像时，控制装置使显示装置显示移动体逐渐放大的动画53。

根据该方面，通过显示在外部虚拟视点图像和内部虚拟视点图像之间逐渐放大移动体的动画，能够清楚地通知用户显示装置上的图像从外部虚拟视点图像切换到内部虚拟视点图像。

在上述方面，优选地，当将显示装置上的图像从内部虚拟视点图像切换到外部虚拟视点图像时，控制装置使显示装置显示移动体逐渐缩小的动画。

根据该方面，通过显示在内部虚拟视点图像和外部虚拟视点图像之间逐渐缩小移动体的动画，能够清楚地通知用户显示装置上的图像从内部虚拟视点图像切换到外部虚拟视点图像。

在上述方面，优选地，控制装置构造成基于设置在移动体内部的中心点将显示装置上的图像在外部虚拟视点图像和内部虚拟视点图像之间切换。

根据该方面，用户能够容易地理解在外部虚拟视点图像和内部虚拟视点图像之间切换后的虚拟视点的位置。

在上述方面，优选地，控制装置构造成将显示装置上的图像在外部虚拟视点图像和内部虚拟视点图像之间切换，使得在平面图中第一方向与第二方向匹配，第一方向是从移动体外部的虚拟视点观察移动体和对象的方向，第二方向是从移动体内部的虚拟视点观察移动体和对象的方向。

根据该方面，用户能够容易地理解在外部虚拟视点图像和内部虚拟视点图像之间切换后的虚拟视点的方向。此外，当显示装置上的图像从外部虚拟视点图像切换到内部虚拟视点图像时，在外部虚拟视点图像中隐藏在移动体后面的空间可以显示在内部虚拟视点图像中。因此，用户可以容易地检查上述空间中的对象，从而提高移动体的周围环境的可视性。

为了实现这样的目的，本发明的又一方面提供了一种图像显示系统1，所述图像显示系统1包括：外部环境信息获取装置19，所述外部环境信息获取装置19构造成获取移动体V周围的外部环境信息；显示装置32，所述显示装置32构造成显示由所述外部环境信息获取装置获取的外部环境信息；输入装置32，所述输入装置32构造成接收用户的输入操作；以及控制装置15，所述控制装置15构造成根据用户的输入操作控制外部环境信息在显示装置上的显示，其中，控制装置构造成生成虚拟视点图像51、52，并且使显示装置显示虚拟视点图像，所述虚拟视点图像是从虚拟视点A、C观察移动体和移动体周围的对象Y的图像，并且当在显示装置显示虚拟视点图像的状态下输入装置接收到规定的放大操作和规定的缩小操作中的一者时，控制装置将虚拟视点的位置在移动体的内部和移动体的外部之间切换。

根据该方面，用户能够通过简单的操作(即，放大操作或缩小操作)将虚拟视点的位置在移动体的内部和移动体的外部之间切换。因此，可以提高图像显示系统的便利性。

在上述方面，优选地，当将虚拟视点的位置在移动体的内部和移动体的外部之间切换时，控制装置使显示装置显示移动体逐渐放大或缩小的动画。

根据该方面，通过显示移动体逐渐放大或缩小的动画，可以清楚地通知用户虚拟视点的位置被切换。

在上述方面，优选地，控制装置构造成基于设置在移动体内部的中心点在移动体的内部和移动体的外部之间切换虚拟视点的位置。

根据该方面，用户能够容易地理解在虚拟视点的位置切换之后的虚拟视点的位置。

在上述方面，优选地，控制装置构造成将虚拟视点的位置在移动体的内部和外部之间切换，使得在平面图中第一方向与第二方向匹配，第一方向是从移动体外部的虚拟视点观察移动体和对象的方向，第二方向是从移动体内部的虚拟视点观察移动体和对象的方向。

根据该方面，用户能够容易地理解在虚拟视点的位置切换之后的虚拟视点的方向。此外，当虚拟视点的位置从移动体的外部切换到移动体的内部时，可以在切换后的虚拟视点图像中显示切换前的虚拟视点图像中隐藏在移动体后面的空间。因此，用户可以容易地检查上述空间中的对象，从而提高移动体的周围环境的可视性。

因此，根据上述方面，可以通过简单的操作在来自移动体外部的虚拟视点的虚拟视点图像和来自移动体内部的虚拟视点的虚拟视点图像之间切换。换句话说，可以将虚拟视点的位置在移动体的内部和移动体的外部之间切换。

附图说明

图1是示出根据本发明的实施方式的设置有停车辅助系统的车辆的功能框图；

图2是根据实施方式的停车辅助系统中的自动停车处理的流程图；

图3A是示出在根据实施方式的停车辅助系统中在目标停车位置接收处理期间触摸面板的画面显示的图；

图3B是示出在根据实施方式的停车辅助系统中在驱动处理期间触摸面板的画面显示的图；

图3C是示出在根据实施方式的停车辅助系统中当完成自动停车时触摸面板的画面显示的图；

图4是根据实施方式的停车辅助系统中的以车辆为中心的平面图；

图5A是示出在根据实施方式的停车辅助系统中显示外部虚拟视点图像和俯视图像的触摸面板的画面的图；

图5B是示出在根据实施方式的停车辅助系统中显示内部虚拟视点图像和俯视图像的触摸面板的画面的图；

图6A至图6C是示出根据实施方式的停车辅助系统中显示动画的触摸面板的画面的图；以及

图7A至图7C是示出在根据实施方式的停车辅助系统中显示动画的触摸面板的画面的图。

具体实施方式

下面，将参照附图来详细地描述本发明的实施方式。

停车辅助系统1(图像显示系统的示例)被安装在车辆V(移动体的示例：本实施方式中的汽车)上，该车辆V设置有构造成使车辆V自主行驶的车辆控制系统2。

如图1中所示，车辆控制系统2包括动力总成4、制动装置5、转向装置6、外部环境传感器7、车辆传感器8、导航装置10、操作输入构件11、驱动操作传感器12、状态检测传感器13、人机界面(HMI)14以及控制装置15。车辆控制系统2的以上部件彼此连接，从而可以经由诸如控制器局域网(CAN)之类的通信机构在其间传送信号。

动力总成4是构造成向车辆V施加驱动力的装置。动力总成4包括动力源和变速器。动力源包括诸如汽油发动机和柴油发动机之类的内燃机与电动马达中的至少一种。在本实施方式中，动力总成4包括自动变速器16(动力传递装置的示例)以及用于改变自动变速器16的换档范围(车辆V的档位)的换档致动器17。制动装置5是构造成对车辆V施加制动力的装置。例如，制动装置5包括：制动钳，其构造成将制动垫压向制动转子；以及电动缸，其构造成向制动钳提供制动压力(油压)。制动装置5可以包括电动停车制动装置，该电动停车制动装置构造成经由线缆限制车轮的旋转。转向装置6是用于改变车轮的转向角的装置。例如，转向装置6包括：齿条-小齿轮机构，其构造成使车轮转向(转动)；以及电动马达，其构造成驱动齿条-小齿轮机构。动力总成4、制动装置5和转向装置6由控制装置15控制。

外部环境传感器7用作外部环境信息获取装置，用于从车辆V的周围检测电磁波、声波等，以检测车辆V外部的对象并获取车辆V的周围信息。外部环境传感器7包括声纳18和外部摄像头19。外部环境传感器7还可以包括毫米波雷达和/或激光雷达。外部环境传感器7将检测结果输出到控制装置15。

每个声纳18均由所谓的超声波传感器组成。每个声纳18向车辆V的周围发射超声波，并捕获由对象反射的超声波，从而检测对象的位置(距离和方向)。在车辆V的后部和前部的每一者处设置多个声纳18。在本实施方式中，一对声纳18在后保险杠上设置成彼此横向隔开，一对声纳18在前保险杠上设置成彼此横向隔开，并且四个声纳18分别设置在车辆V的两侧面的前端部和后端部。即，车辆V总共设置有8个声纳18。设置在后保险杠上的声纳18主要检测车辆V后方的对象的位置。设置在前保险杠上的声纳18主要检测车辆V前方的对象的位置。设置在车辆V的两侧面的前端部的声纳18分别检测在车辆V的前端部的左外侧和右外侧的对象的位置。设置在车辆的V两侧面的后端部的声纳18分别检测在车辆V的后端部的左外侧和右外侧的对象的位置。

外部摄像头19是构造成捕获车辆V周围的图像的装置。例如，每个外部摄像头19均由使用诸如CCD或CMOS之类的固体成像元件的数字照相机组成。外部摄像头19包括用于捕获车辆V前方图像的前摄像头和用于捕获车辆V后方图像的后摄像头。外部摄像头19可以包括设置在车辆V的后视镜附近的左右一对摄像头，以捕获车辆V的左右两侧的图像。

车辆传感器8包括：车辆速度传感器8a，其构造成检测车辆V的车速；加速度传感器，其构造成检测车辆V的加速度；偏航率传感器，其构造成检测围绕车辆V的竖直轴线的角速度；以及方向传感器，其构造成检测车辆V的方向。例如，车辆速度传感器8a由多个车轮速度传感器构成。每个车轮速度传感器构造成检测车轮速度(每个车轮的转速)。例如，偏航率传感器由陀螺仪传感器组成。

导航装置10是构造成获得车辆V的当前位置并且提供到目的地等的路线指引的装置。导航装置10包括GPS接收单元20和地图存储单元21。GPS接收单元20基于从人造卫星(定位卫星)接收的信号来识别车辆V的位置(纬度和经度)。地图存储单元21由诸如闪存或硬盘之类的已知存储装置构成，并存储地图信息。

操作输入构件11设置在车厢中，以接收由乘员(用户)进行的输入操作以控制车辆V。操作输入构件11包括方向盘22、加速踏板23、制动踏板24(制动输入构件)和换档杆25(换档构件)。换档杆25构造成接收用于切换车辆V的档位的操作。

驱动操作传感器12检测操作输入构件11的操作量。驱动操作传感器12包括：转向角传感器26，其构造成检测方向盘22的转向角；制动传感器27，其构造成检测制动踏板24的踩踏量，以及加速传感器28，其构造成检测加速踏板23的踩踏量。驱动操作传感器12将检测到的操作量输出至控制装置15。

状态检测传感器13是构造成检测根据乘员的操作车辆V的状态变化的传感器。由状态检测传感器13检测到的乘员的操作包括指示乘员的下车意图(意图从车V上下来)的操作和指示在自主停车操作或自主驶离操作期间乘员无检查车辆V周围环境的意图的操作。状态检测传感器13包括构造成检测车门打开和/或关闭的门打开/关闭传感器29以及构造成检测安全带的紧固状态的安全带传感器30作为用于检测指示下车意图的操作的传感器。状态检测传感器13包括构造成检测后视镜的位置的后视镜位置传感器31作为用于检测与离位意图相对应的操作的传感器。状态检测传感器13将指示检测到的车辆V状态变化的信号输出至控制装置15。

HMI 14是输入/输出装置，用于接收乘员的输入操作并经由显示和/或语音向乘员通知各种信息。HMI 14包括例如：触摸面板32，触摸面板32包括诸如液晶显示器或有机EL显示器之类的显示屏，并且构造成接收乘员的输入操作；诸如蜂鸣器或扬声器之类的声音产生装置33；停车主开关34；以及选择输入构件35。停车主开关34接收乘员的输入操作，以执行自动停车处理(自动停车操作)和自动驶离处理(自动驶离操作)中选择的一项。停车主开关34是仅在乘员进行了按压操作(按下操作)时才开启的所谓的瞬时开关。选择输入构件35接收乘员的与自动停车处理和自动驶离处理的选择有关的选择操作。选择输入构件35可以由旋转选择开关组成，旋转选择开关优选地需要按压作为选择操作。

控制装置15由包括CPU的电子控制单元(ECU)、诸如ROM之类的非易失性存储器、诸如RAM之类的易失性存储器等组成。CPU根据程序执行操作处理，从而控制装置15执行各种类型的车辆控制。控制装置15可以由一个硬件组成，或者可以由包括多个硬件的单元组成。此外，控制装置15的功能可以至少部分地由诸如LSI、ASIC和FPGA之类的硬件执行，或者可以由软件和硬件的组合来执行。

此外，控制装置15根据程序执行算术处理，从而进行由外部摄像头19捕获的图像(视频)的转换处理，以生成与车辆V及其周围区域的平面图相对应的俯视图像47以及在从上方观察时与车辆V及其周围区域的位于行进方向上的那部分的三维图像相对应的鸟瞰图像48。控制装置15可以通过组合前摄像头、后摄像头以及左右侧摄像头的图像来生成俯视图像47，并且可以通过组合由面向行进方向的前摄像头或后摄像头捕获的图像以及由左右侧摄像头捕获的图像来生成鸟瞰图像48。

停车辅助系统1是用于执行所谓的自动停车过程和所谓的自动驶离处理的系统，在该系统中，车辆V自主地移动到由乘员所选的规定目标位置(目标停车位置或目标驶离位置)以停放车辆V或使车辆V驶离。

停车辅助系统1包括外部摄像头19(外部环境信息获取装置的示例)、触摸面板32(显示装置和输入装置的示例)以及控制装置15。每个外部摄像头19捕获车辆V的周围图像(车辆V周围的外部环境信息的示例)。触摸面板32显示由每个外部摄像头19捕获的周围图像。控制装置15根据乘员的输入操作，控制周围图像在控制触摸面板32上的显示。

控制装置15控制动力总成4、制动装置5和转向装置6以执行自主停车操作，从而使车辆V自主地移动到目标停车位置并且将车辆V停在目标停车位置，以及执行自主驶离操作，从而使车辆V自主移动到目标驶离位置，并在目标驶离位置将车辆V驶离。为了执行这样的操作，控制装置15包括外部环境辨识单元41、车辆位置识别单元42、行动计划单元43、行进控制单元44以及显示控制单元45。

外部环境辨识单元41基于外部环境传感器7的检测结果，辨识存在于车辆V周围的障碍物(例如，停放的车辆或墙壁)，从而获得关于障碍物的信息。此外，外部环境辨识单元41基于诸如图案匹配之类的已知图像分析方法来分析由外部摄像头19捕获的图像，从而确定是否存在车辆止动器(车轮止动器)或障碍物，并在存在车辆止动器或障碍物的情况下获得车辆止动器或障碍物的大小。此外，外部环境辨识单元41可以基于来自声纳18的信号计算到障碍物的距离，以获得障碍物的位置。

此外，通过对外部环境传感器7的检测结果进行分析(更具体地，通过基于诸如图案匹配之类的已知图像分析方法对由外部摄像头19捕获的图像进行分析)，外部环境辨识单元41能够获取例如由路标界定的道路上的车道以及由设置在道路、停车场等表面上的白线等界定的停车位。

车辆位置识别单元42基于来自导航装置10的GPS接收单元20的信号来识别车辆V(本车辆)的位置。此外，除了来自GPS接收单元20的信号外，车辆位置识别单元42还可以获得来自车辆传感器8的车辆速度和偏航率，并借助所谓的惯性导航识别车辆V的位置和姿态。

行进控制单元44基于来自行动计划单元43的行进控制指令来控制动力总成4、制动装置5和转向装置6，以使车辆V行进。

显示控制单元45生成车辆V的周围图像，并使触摸面板32显示所生成的周围图像。显示控制单元45基于乘员的输入操作和来自行动计划单元43的指示，切换显示在触摸面板32上的周围图像。

当车辆V处于规定状态并且HMI 14或停车主开关34接收到用户的对应于自动停车处理或自动驶离处理的请求的规定输入时，行动计划单元43执行自动停车处理(自主停车操作)或自动驶离处理(自主驶离操作)。更具体地，当车辆V停止或车辆V以等于或小于规定车辆速度(可以搜索候选停车位置的车辆速度)的低速度行进时，在进行与自动停车处理相对应的规定输入的情况下，行动计划单元43执行自动停车处理。当车辆V停止时，在进行与自动驶离处理相对应的规定输入的情况下，行动计划单元43执行自动驶离处理(并行驶离处理)。可以由行动计划单元43基于车辆V的状态来选择要执行的处理(自动停车处理或自动驶离处理)。另选地，也可以由乘员经由触摸面板32或选择输入构件35进行以上选择。行动计划单元43在执行自动停车处理时，首先使触摸面板32显示用于设置目标停车位置的停车搜索画面。在设置了目标停车位置之后，行动计划单元43使触摸面板32显示停车画面。当执行自动驶离处理时，行动计划单元43首先使触摸面板32显示用于设置目标驶离位置的驶离搜索画面。在设置了目标驶离位置之后，行动计划单元43使触摸面板32显示驶离画面。

下文中，将参考图2描述自动停车处理。行动计划单元43首先执行获取处理(步骤ST1)以获取一个或多个停车位(如果有的话)。更具体地，在车辆V停止的情况下，行动计划单元43首先使HMI 14的触摸面板32显示指示乘员使车辆V直行的通知。当坐在驾驶员座椅上的乘员(以下称为“驾驶员”)使车辆V直行时，外部环境辨识单元41基于来自外部环境传感器7的信号获取检测到的每个障碍物的位置和大小以及设置在路面上的白线的位置。外部环境辨识单元41基于所获取的障碍物的位置和大小以及所获取的白线的位置，提取一个或多个未界定的停车位以及一个或多个界定的停车位(如果有的话)(下文中，将未界定的停车位与界定的停车位统称为“停车位”)。每个未界定的停车位是未由白线等界定，其大小足以停放车辆V，并且可用(即，其中没有障碍物)的空间。每个界定的停车位是由白线等界定，其大小足以停放车辆V，并且可用(即，没有停放另一辆车(本车辆以外的车辆))的空间。

接下来，行动计划单元43执行轨迹计算处理(步骤ST2)，以计算车辆V的从车辆V的当前位置到每个提取的停车位的轨迹。在针对特定停车位计算车辆的轨迹的情况下，行动计划单元43将该停车位设置为能够停放车辆V的候选停车位置，并且使触摸面板32在画面上(停车搜索画面)显示该候选停车位置。在由于障碍物的存在而无法计算车辆V的轨迹的情况下，行动计划单元43不将该停车位设置为候选停车位置，并且不使触摸面板32在画面上显示该停车位。当行动计划单元43设置多个候选停车位置(即，能够计算车辆V轨迹的多个停车地点)时，行动计划单元43使触摸面板32显示这些候选停车位置。

接下来，行动计划单元43执行目标停车位置接收处理(步骤ST3)，以接收由乘员进行的选择操作来选择目标停车位置，该目标停车位置是乘员想要停放车辆V的停车位置，并且选自触摸面板32上显示的所述一个或多个候选停车位置。更具体地，行动计划单元43使触摸面板32在图3A中所示的停车搜索画面上沿行进方向显示俯视图像47和鸟瞰图像48。当行动计划单元43获取至少一个候选停车位置时，行动计划单元43使触摸面板32在俯视图像47和鸟瞰图像48(图3A中的俯视图像47)中的至少一者中以重叠的方式显示指示候选停车位置的框和与该框相对应的图标。该图标由指示候选停车位置的符号组成(参见图3A中的“P”)。另外，行动计划单元43使触摸面板32显示包括指示驾驶员停止车辆V并选择目标停车位置的通知的停车搜索画面，从而触摸面板32接收目标停车位置的选择操作。目标停车位置的选择操作可以经由触摸面板32进行，或者可以经由选择输入构件35进行。

在车辆V停止并且驾驶员选择了目标停车位置之后，行动计划单元43使触摸面板32将画面从停车搜索画面切换到停车画面。如图3B中所示，停车画面是这样的画面，其中在触摸面板32的左半部分上显示车辆V的行进方向上的图像(下文中称为“行进方向图像49”)，并在触摸面板32的右半部分上显示包括车辆V及其周围区域的俯视图像47。此时，行动计划单元43可以使触摸面板32显示指示从候选停车位置中选择的目标停车位置的粗框和与该粗框相对应的图标，使得该粗框和图标与俯视图像47重叠。该图标由指示目标停车位置的符号组成，并以与指示候选停车位置的符号不同的颜色显示。

在选择了目标停车位置并且触摸面板32的画面切换到停车画面之后，行动计划单元43执行驱动处理(步骤ST4)以使车辆V沿着计算出的轨迹行进。此时，行动计划单元43基于由GPS接收单元20获取的车辆V的位置以及来自外部摄像头19、车辆传感器8等的信号来控制车辆V，使得车辆V沿着计算出的轨迹行进。此时，行动计划单元43控制动力总成4、制动装置5和转向装置6，以执行用于切换车辆V的行进方向的切换操作(用于使车辆V的行进方向反向的反向操作)。切换操作可以重复执行，或者可以仅执行一次。

在驱动处理中，行动计划单元43可以从外部摄像头19获取行进方向图像49，并使触摸面板32在其左半部分上显示所获取的行进方向图像49。例如，如图3B中所示，当车辆V向后移动时，行动计划单元43可以使触摸面板32在其左半部分上显示由外部摄像头19捕获的车辆V后方的图像。当行动计划单元43正在执行驱动处理时，触摸面板32的右半部分上显示的俯视图像47中的车辆V(本车辆)的周围图像随着车辆V的移动而改变。当车辆V到达目标停车位置时，行动计划单元43使车辆V停止并结束驱动处理。

当驱动处理结束时，行动计划单元43执行停车处理(步骤ST5)。在停车处理中，行动计划单元43首先驱动换档致动器17以将换档范围(档位)设置为停车范围(停车位置)。此后，行动计划单元43驱动停车制动装置，并使触摸面板32显示指示已经完成车辆的自动停车V的弹出窗口(参见图3C)。该弹出窗口可以在触摸面板32的画面上显示规定时间段。此后，行动计划单元43可以使触摸面板32将画面切换到导航装置10的操作画面或地图画面。

在停车处理中，可能存在由于换档致动器17的异常而无法将换档范围改变为停车范围的情况，或者存在由于停车制动装置53的异常而无法驱动停车制动装置53的情况。在这些情况下，行动计划单元43可以使触摸面板32在其画面上显示异常原因。

<外部虚拟视点图像51、内部虚拟视点图像52和动画53>

在下文中，将参照图4至图7描述外部虚拟视点图像51、内部虚拟视点图像52和动画53(它们是周围图像的示例)。图4中的点P表示设置在车辆V内部的车辆V的中心点(以下称为“中心点P”)。例如，中心点P是车辆V的横向方向和前后方向的中心。在另一实施方式中，中心点P可以是除了车辆V的横向方向和前后方向的中心之外的点(例如，车辆V的重心)。

参照图4，显示控制单元45设置外部虚拟视点A的轨迹B(以下简称为“外部轨迹B”)。外部虚拟视点A设置在车辆V的斜上方(设置在车辆V的外部)。在另一实施方式中，外部虚拟视点A可以设置在与车辆V相同的高度处。外部轨迹B在平面图中具有以中心点P为中心的正圆形。在另一实施方式中，外部轨迹B可以具有除上述形状之外的形状(例如，在平面图中以中心点P为中心的椭圆形或多边形、在侧视图中以中心点P为中心的弧形或者以中心点P为中心的圆顶形状)。图4中的角度θ1表示从外部虚拟视点A俯视(观察)车辆V和车辆V周围的对象Y的状态下的视角示例(在下文中，称为“第一角度θ1”)。对象Y包括界定了车辆V的停车位置X(停止位置的示例)的分界线Y1、障碍物Y2、另一车辆(未示出)等。

显示控制单元45设置内部虚拟视点C的轨迹D(以下简称为“内部轨迹D”)。内部虚拟视点C设置在车辆V的中心(设置在车辆V的内部)。内部轨迹D在平面图中具有以中心点P为中心的正圆形。在另一实施方式中，内部轨迹D可以具有上述形状以外的形状，类似于外部轨迹B。此外，在又一实施方式中，显示控制单元45可以将内部虚拟视点C固定到一个点(例如,中心点P)而不设置内部轨迹D。图4中的角度θ2表示在从内部虚拟视点C观察车辆V和对象Y的状态下视角的示例(在下文中，称为“第二角度θ2”)。第二角度θ2可以与第一角度θ1相同或与第一角度θ1不同。

参照图5A，显示控制单元45通过对由每个外部摄像头19捕获的图像执行图像处理来生成外部虚拟视点图像51，并且使触摸面板32一起显示所生成的外部虚拟视点图像51连同上述俯视图像47。外部虚拟视点图像51是从外部虚拟视点A俯视(观察)车辆V和对象Y的三维图像。图5A示出了从中心点P的左上侧的外部虚拟视点A(见图4)朝向右下侧的外部虚拟视点图像51。在外部虚拟视点图像51中，显示整个车辆V和对象Y。

参照图5B，显示控制单元45通过对由每个外部摄像头19捕获的图像执行图像处理来生成内部虚拟视点图像52，并且使触摸面板32一起显示所生成的内部虚拟视点图像52连同上述俯视图像47。内部虚拟视点图像52是从内部虚拟视点C观察车辆V和对象Y的三维图像。图5B示出了从在中心点P的左侧的内部虚拟视点C(参见图4)朝向右侧的内部虚拟视点图像52。内部虚拟视点图像52不显示整个车辆V，而是显示车辆V的底部Va(地板)和对象Y。在另一个实施方式中，内部虚拟视点图像52可以以半透明方式显示车辆V的除了底部Va之外的部分(例如，车辆V的左侧部分和右侧部分和车轮)。

在下文中，将外部虚拟视点A和内部虚拟视点C统称为“虚拟视点A、C”，将外部轨迹B和内部轨迹D统称为“轨迹B、D”，并且将外部虚拟视点图像51和内部虚拟视点图像52统称为“虚拟视点图像51、52”。

显示控制单元45根据乘员对触摸面板32的横向滑动操作(输入操作的示例)沿轨迹B、D在水平方向上连续移动虚拟视点A、C。随着虚拟视点A、C以这种方式连续移动，虚拟视点图像51、52中的车辆V的角度和对象Y的位置连续改变。在另一实施方式中，显示控制单元45可以根据乘员在触摸面板32上的上下滑动操作在上下方向上连续移动虚拟视点A、C。此外，在又一实施方式中，显示控制单元45可以根据除了乘员的滑动操作之外的操作(例如，轻敲操作)移动虚拟视点A、C，或者根据乘员对除了触摸面板32之外的部件(例如，设置在触摸面板32周围的按钮)上的操作移动虚拟视点A、C。

参照图5A和图5B，显示控制单元45使触摸面板32显示操作促进图像54，使得操作促进图像54被叠加在虚拟视点图像51、52的下部上。操作促进图像54是促进乘员对触摸面板32的滑动操作的图像。操作促进图像54包括手图像和布置在手图像左右两侧上的一对箭头图像。在另一实施方式中，操作促进图像54可以包括除了手图像和箭头图像之外的图像。

当触摸面板32在触摸面板32显示外部虚拟视点图像51的状态下接收到规定的放大操作(放大显示操作：输入操作的示例)时，显示控制单元45将触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52(即，显示控制单元45将虚拟视点A、C的位置从车辆V的外部切换到车辆V的内部)。因此，用户能够通过简单的操作(即，放大操作)将触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52。因此，可以提高停车辅助系统1的便利性。

放大操作是用于放大(放大显示(zooming in on))显示在触摸面板32上的图像的操作。例如，放大操作是对触摸面板32的张开操作(使与触摸面板32的屏幕接触的两个手指在彼此远离的方向上移动的操作)。在另一实施方式中，放大操作可以是除了张开操作之外的操作(例如，轻敲操作)，或者可以是对除了触摸面板32之外的部件(例如，设置在触摸面板32周围的按钮)的操作。

当触摸面板32在触摸面板32显示内部虚拟视点图像52的状态下接收到规定的缩小操作(缩小显示操作：输入操作的示例)时，显示控制单元45将触摸面板32上的图像从内部虚拟视点图像52切换到外部虚拟视点图像51(即，显示控制单元45将虚拟视点A、C的位置从车辆V的内部切换到车辆V的外部)。因此，用户能够通过简单的操作(即，缩小操作)将触摸面板32上的图像从内外部虚拟视点图像52切换到外部虚拟视点图像51。因此，可以提高停车辅助系统1的便利性。

缩小操作是用于缩小(缩小显示(zooming out from))显示在触摸面板32上的图像的操作。例如，缩小操作是对触摸面板32的捏合(pinch-in)操作(使与触摸面板32的屏幕接触的两个手指在彼此靠近的方向上移动的操作)。也就是说，缩小操作的方向与放大操作的方向相反。在另一实施方式中，缩小操作可以是除了捏合操作之外的操作(例如，轻敲操作)，或者可以是对除了触摸面板32之外的部件(例如，设置在触摸面板32周围的按钮)的操作。

可以根据放大/缩小操作来放大/缩小虚拟视点图像51和52。另选地，可以不放大/缩小虚拟视点图像51和52。在可以放大/缩小虚拟视点图像51、52的情况下，当触摸面板32在外部虚拟视点图像51被最大地放大的状态下接收到放大操作时，显示控制单元45可以将触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52。在可以放大/缩小虚拟视点图像51、52的情况下，当触摸面板32在内部虚拟视点图像52被最小地缩小的状态下接收到缩小操作时，显示控制单元45可以将触摸面板32上的图像从内部虚拟视点图像52切换到外部虚拟视点图像51。在可以放大/缩小虚拟视点图像51、52的情况下，显示控制单元45可以使触摸面板32显示用于接收放大/缩小操作的图像(例如，滑动条和沿着滑动条移动的滑块)，并根据对这些图像的放大/缩小操作来放大/缩小和切换虚拟视点图像51、52。

参照图6和图7，当将触摸面板32上的图像在外部虚拟视点图像51和内部虚拟视点图像52之间切换时(即，当虚拟视点A、C的位置在车辆V的外部和车辆V的内部之间切换时)，显示控制单元45使触摸面板32显示动画53。类似于外部虚拟视点图像51，动画53可以显示整个车辆V和对象Y(参见图6A至图6C)。另选地，类似于内部虚拟视点图像52，动画53可以显示车辆V的底部Va和和对象Y(参见图7A至图7C)。在另一实施方式中，对象Y可以不显示在动画53中，而是可以显示整个车辆V或仅显示底部Va。

当将触摸面板32上的图像在外部虚拟视点图像51和内部虚拟视点图像52之间切换时，显示控制单元45使触摸面板32(更具体地，触摸面板32的左半部)仅显示外部虚拟视点图像51和内部虚拟视点图像52之间的动画53。因此，可以将触摸面板32上的图像在外部虚拟视点图像51和内部虚拟视点图像52之间无缝地切换。在另一实施方式中，显示控制单元45可以使触摸面板32显示除了外部虚拟视点图像51和内部虚拟视点图像52之间的动画53之外的图像(例如，像黑色图像那样的单色图像)。

例如，动画53由三个图像(第一图像53a、第二图像53b和第三图像53c)组成。在另一实施方式中，动画53可以由两幅图像或四幅或更多幅图像组成。动画53中的车辆V和对象Y的尺寸按照第一图像53a、第二图像53b、第三图像53c的顺序变大。

当将触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52时(即，当虚拟视点A、C的位置从车辆V的外部切换到车辆V的内部时)，显示控制单元45使触摸面板32按照第一图像53a、第二图像53b、第三图像53c的顺序显示动画53。也就是说，在触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52时，显示控制部45使触摸面板32显示车辆V和对象Y逐渐变大的动画53。因此，可以清楚地通知用户触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52。

当将触摸面板32上的图像从内部虚拟视点图像52切换到外部虚拟视点图像51时(即，当虚拟视点A、C的位置从车辆V的内部切换到车辆V的外部时)，显示控制单元45使触摸面板32按照第三图像53c、第二图像53b、第一图像53a的顺序显示动画53。也就是说，在触摸面板32上的图像从内部虚拟视点图像52切换到外部虚拟视点图像51时，显示控制单元45使触摸面板32显示车辆V和对象Y逐渐缩小的动画53。因此，可以清楚地通知用户触摸面板32上的图像从内部虚拟视点图像52切换到外部虚拟视点图像51。

显示控制单元45基于车辆V的中心点P将触摸面板32上的图像在外部虚拟视点图像51和内部虚拟视点图像52之间切换(即，显示控制单元45将虚拟视点A、C的位置在车辆V的外部和车辆V的内部之间切换)。参照图4，例如，显示控制单元45将触摸面板32上的图像在外部虚拟视点图像51和外部虚拟视点图像51之间切换，使得外部虚拟视点A、内部虚拟视点C和中心点P在平面图中设置在同一直线L上。因此，用户能够容易地理解在外部虚拟视点图像51和内部虚拟视点图像52之间切换后的虚拟视点A、C的位置。

显示控制单元45将触摸面板32上的图像在外部虚拟视点图像51和内部虚拟视点图像52之间切换(即，显示控制单元45将虚拟视点A、C的位置在车辆V的外部侧和车辆V的内部之间切换)，使得第一方向(从外部虚拟视点A观察车辆V和对象Y的方向)与第二方向(从内部虚拟视点C观察车辆V和对象Y的方向)在平面图中匹配。参照图4，例如，显示控制单元45将触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52，在所述外部虚拟视点图像51中，从外部虚拟视点A朝向右下侧向下俯视(观察)车辆V和对象Y，在所述内部虚拟视点图像52中，从内外部虚拟视点C朝向右侧观察车辆V和对象Y。因此，用户可以容易地理解在外部虚拟视点图像51和内部虚拟视点图像52之间的切换后虚拟视点A、C的方向。此外，当将触摸面板32上的图像从外部虚拟视点图像51切换到内部虚拟视点图像52时，可以在内部虚拟视点图像52中显示外部虚拟视点图像51中隐藏在车辆V后面的空间(参照图5A和图5B)。因此，用户可以容易地检查上述空间中的对象Y，从而提高车辆V的周围环境的可视性。

<其他修改实施方式>

在上述实施方式中，触摸面板32用作显示装置和输入装置的示例。另一方面，在另一实施方式中，构造成与车辆V进行通信的通信装置(例如，智能电话、平板PC、移动电话、PDA等)可以用作显示装置和输入装置的示例。即，显示装置和输入装置不一定安装在车辆V上。另外，在上述实施方式中，触摸面板32兼作显示装置和输入装置。另一方面，在另一实施方式中，显示装置和输入装置可以由不同的部件组成。

在上述实施方式中，乘员作为用户的示例。另一方面，在另一实施方式中，也可以将除了乘员之外的人(即，车辆V外的人)作为用户的示例。

在上述实施方式中，每个外部摄像头19捕获的图像用作外部环境信息获取装置获取的外部环境信息的示例。另一方面，在另一实施方式中，除了由每个外部摄像头19捕获的图像以外的信息(例如，由车载摄像头捕获的图像、激光雷达获取的点群数据)可以用作由外部环境信息获取装置获取的外部环境信息的示例。

在上述实施方式中，车辆V(更具体地，汽车)用作移动体的示例。另一方面，在另一实施方式中，除了汽车之外的车辆V(例如，二轮车)可以用作移动体的示例，或者除了车辆V之外的移动体(例，如赛格威(Segway)、轮船或飞机)可以作为移动体的示例。

在上述实施方式中，停车辅助系统1用作图像显示系统的示例。另一方面，在另一实施方式中，除了停车辅助系统1之外的系统(例如，使移动体行驶的系统)可以用作图像显示系统的示例。

上面已经描述了本发明的具体实施方式，但是本发明不应被前述实施方式限制，并且在本发明的范围内可以进行各种变型和变更。

Claims (10)

1.一种图像显示系统，所述图像显示系统包括：

外部环境信息获取装置，所述外部环境信息获取装置被构造成获取移动体周围的外部环境信息；

显示装置，所述显示装置被构造成显示由所述外部环境信息获取装置获取的外部环境信息；

输入装置，所述输入装置被构造成接收用户的输入操作；以及

控制装置，所述控制装置被构造成根据所述用户的所述输入操作控制所述外部环境信息在所述显示装置上的显示，

其中，所述控制装置被构造成生成外部虚拟视点图像和内部虚拟视点图像，并使所述显示装置显示所述外部虚拟视点图像和所述内部虚拟视点图像，所述外部虚拟视点图像是从所述移动体外部的虚拟视点观察所述移动体和所述移动体周围的对象的图像，所述内部虚拟视点图像是从所述移动体内部的虚拟视点观察所述移动体和所述对象的图像，并且

当所述输入装置在所述显示装置显示所述外部虚拟视点图像的状态下接收到规定的放大操作时，所述控制装置将所述显示装置上的图像从所述外部虚拟视点图像切换到所述内部虚拟视点图像。

2.一种图像显示系统，所述图像显示系统包括：

外部环境信息获取装置，所述外部环境信息获取装置被构造成获取移动体周围的外部环境信息；

显示装置，所述显示装置被构造成显示由所述外部环境信息获取装置获取的外部环境信息；

输入装置，所述输入装置被构造成接收用户的输入操作；以及

控制装置，所述控制装置被构造成根据所述用户的所述输入操作控制所述外部环境信息在所述显示装置上的显示，

其中，所述控制装置被构造成生成外部虚拟视点图像和内部虚拟视点图像，并使所述显示装置显示所述外部虚拟视点图像和所述内部虚拟视点图像，所述外部虚拟视点图像是从所述移动体外部的虚拟视点观察所述移动体和所述移动体周围的对象的图像，所述内部虚拟视点图像是从所述移动体内部的虚拟视点观察所述移动体和所述对象的图像，并且

当所述输入装置在所述显示装置显示所述内部虚拟视点图像的状态下接收到规定的缩小操作时，所述控制装置将所述显示装置上的图像从所述内部虚拟视点图像切换到所述外部虚拟视点图像。

3.根据权利要求1所述的图像显示系统，其中，当将所述显示装置上的图像从所述外部虚拟视点图像切换到所述内部虚拟视点图像时，所述控制装置使所述显示装置显示所述移动体逐渐放大的动画。

4.根据权利要求2所述的图像显示系统，其中，当将所述显示装置上的图像从所述内部虚拟视点图像切换到所述外部虚拟视点图像时，所述控制装置使所述显示装置显示所述移动体逐渐缩小的动画。

5.根据权利要求1至4中的任一项所述的图像显示系统，其中，所述控制装置被构造成基于设置在所述移动体内部的中心点将所述显示装置上的图像在所述外部虚拟视点图像和所述内部虚拟视点图像之间切换。

6.根据权利要求1至4中的任一项所述的图像显示系统，其中，所述控制装置被构造成将所述显示装置上的图像在所述外部虚拟视点图像和所述内部虚拟视点图像之间切换，使得在平面图中第一方向与第二方向匹配，所述第一方向是从所述移动体外部的虚拟视点观察所述移动体和所述对象的方向，所述第二方向是从所述移动体内部的虚拟视点观察所述移动体和所述对象的方向。

7.一种图像显示系统，所述图像显示系统包括：

外部环境信息获取装置，所述外部环境信息获取装置被构造成获取移动体周围的外部环境信息；

显示装置，所述显示装置被构造成显示由所述外部环境信息获取装置获取的外部环境信息；

输入装置，所述输入装置被构造成接收用户的输入操作；以及

控制装置，所述控制装置被构造成根据所述用户的所述输入操作控制所述外部环境信息在所述显示装置上的显示，

其中，所述控制装置被构造成生成虚拟视点图像并使所述显示装置显示所述虚拟视点图像，所述虚拟视点图像是从虚拟视点观察所述移动体和所述移动体周围的对象的图像，并且

当所述输入装置在所述显示装置显示所述虚拟视点图像的状态下接收到规定的放大操作和规定的缩小操作中的一种操作时，所述控制装置将所述虚拟视点的位置在所述移动体的内部和所述移动体的外部之间切换。

8.根据权利要求7所述的图像显示系统，其中，当将所述虚拟视点的位置在所述移动体的内部和所述移动体的外部之间切换时，所述控制装置使所述显示装置显示所述移动体逐渐放大或逐渐缩小的动画。

9.根据权利要求7或8所述的图像显示系统，其中，所述控制装置被构造成基于设置在所述移动体内部的中心点将所述虚拟视点的位置在所述移动体的内部和所述移动体的外部之间切换。

10.根据权利要求7或8所述的图像显示系统，其中，所述控制装置被构造成将所述虚拟视点的位置在所述移动体的内部和所述移动体的外部之间切换，使得在平面图中第一方向与第二方向匹配，所述第一方向是从所述移动体外部的虚拟视点观察所述移动体和所述对象的方向，所述第二方向是从所述移动体内部的虚拟视点观察所述移动体和所述对象的方向。

Images