CN111295876B - 全景环视图像控制装置及其全景环视图像处理方法 - Google Patents

Abstract

一种全景环视图像处理方法，包括：使用从多个摄像装置获取的图像信息来生成通过图像合成而获得的第一全景环视图像信号；在预定时间段内使用从多个摄像装置获取的图像信息来生成通过图像校正而获得的第二全景环视图像信号；以及输出第二全景环视图像信号或者输出第一全景环视图像和第二全景环视图像信号。当输出第一全景环视图像信号和第二全景环视图像信号时，该全景环视图像处理方法还可以包括：从第一全景环视图像信号和第二全景环视图像信号中选择一个图像信号，并且输出从第一全景环视图像信号和第二全景环视图像信号中选择的图像信号。

Description

全景环视图像控制装置及其全景环视图像处理方法

技术领域

实施方式涉及全景环视图像控制装置及其全景环视图像校正方法。

背景技术

车辆是为了运输人或货物的目的而通过驱动车轮行驶的所有装置。车辆的一般示例可以包括机动车辆。

根据所使用的发动机的类型，车辆可以被分类为内燃机车辆、外燃机车辆、燃气轮机车辆或电动车辆。

电动车辆使用电力作为驱动电动机的能源，并且可以被分类为电动车辆、混合动力车辆(HEV)、插入式混合动力车辆(PHEV)、燃料电池电动车辆(FCEV)等。

近来，为了驾驶员或行人的安全和便利，智能车辆已经被积极开发并且商业化。智能车辆是结合了信息技术(IT)的最先进的车辆，它不仅引入了车辆本身的先进系统，而且还通过与智能运输系统的链接来提供最佳的交通效率。具体地，智能车辆通过执行自动驾驶、自适应巡航控制(ACC)、障碍物检测、碰撞检测、精确地图提供、至目的地的路线的设置、主要场所的位置的提供来使驾驶员、乘客和行人的安全和便利最大化。

作为用于使驾驶员、乘客和行人的安全和便利最大化的装置，全景环视控制装置引起了关注。

全景环视控制装置使用摄像装置提供车辆的全景环视图像，并且驾驶员可以通过全景环视图像来实时地全景环视车辆。

由于全景环视图像通过合成由摄像装置沿不同方向获取的图像而生成，因此邻近图像之间的匹配非常重要。

然而，如果在驾驶期间改变了各种外部环境因素(例如，骑车人、外部冲击、老化等)，或者更换了摄像装置或用于控制摄像装置的装置，则匹配信息会改变，从而使邻近图像之间的匹配无法进行。无法匹配意味着失配。

当图像之间发生不匹配时，需要进行校正操作。在没有进行校正操作的情况下释放的车辆中可能会出现相同的问题。

在相关技术中，在将校正图案放置在地面上之后，通过将从校正图案获得的测量值与参考校正图案进行比较来执行校正操作。

然而，在相关技术中，为了执行校正操作，由于校正图案在地面的两侧上成排放置，并且因此在车辆行驶的同时从校正图案获得测量值，因此需要宽阔的空间。另外，由于每当执行校正操作时，操作者需要将校正图案放置在地面的两侧上，因此可能难以使校正操作自动化。

另外，在相关技术中，当需要校正操作时，驾驶员不得不去服务中心，从而造成了麻烦。因此，由于许多驾驶员在不拜访服务中心的情况下使用了具有由于不正确的信息而变形的边界的全景环视图像，因此可能由于驾驶员的错误判断而导致事故。

发明内容

技术问题

实施方式的目的是解决上面所描述的问题和其他问题。

实施方式的另一目的是提供一种能够在没有空间限制的情况下执行校正的全景环视图像控制装置及其全景环视图像校正方法。

实施方式的另一目的是提供一种能够在没有地点限制的情况下执行校正的全景环视图像控制装置及其全景环视图像校正方法。

实施方式的另一目的是提供一种能够在没有时间限制的情况下执行校正的全景环视图像控制装置及其全景环视图像校正方法。

实施方式的另一目的是提供一种能够在校正之后容易地对全景环视图像进行更新的全景环视图像控制装置及其全景环视图像校正方法。

技术方案

根据实施方式的一方面，一种处理全景环视图像的方法包括：使用从多个摄像装置获取的图像信息来生成合成的第一全景环视图像信号；在预定时间期间使用从多个摄像装置获取的图像信息来生成校正的第二全景环视图像信号；以及输出第二全景环视图像信号或者第一和第二全景环视图像信号。另外，该方法还可以包括：当输出第一和第二全景环视图像信号时，选择第一全景环视图像信号和第二全景环视图像信号中的一个，并且输出第一和第二全景环视图像信号中的所选择的图像信号。

根据实施方式的另一方面，一种全景环视图像控制装置，包括：多个摄像装置；以及电连接至摄像装置的控制器，该控制器被配置成使用从摄像装置获取的信息来控制图像信号。该控制器可以被配置成：使用从多个摄像装置获取的图像信息来生成合成的第一全景环视图像信号，在预定时间期间使用从多个摄像装置获取的图像信息来生成校正的第二全景环视图像信号，并且输出第二全景环视图像信号或者第一和第二全景环视图像信号。

发明效果

下面将描述根据实施方式的全景环视图像控制装置的效果及其全景环视图像校正方法。

根据实施方式中的至少一个，由于仅通过驾驶车辆来自动地校正了图像不匹配，因此可以容易地执行图像校正。

根据实施方式中的至少一个，可以在没有空间、时间和地点限制的情况下校正图像不匹配。

根据实施方式中的至少一个，由于在图像校正之后自动地更新了全景环视图像，因此可以容易地对全景环视图像进行更新。

根据以下详细描述，实施方式的适用性的进一步范围将变得明显。然而，本领域技术人员可以清楚地理解实施方式的精神和范围内的各种改变和修改，并且因此，应当将诸如详细描述和优选实施方式的特定实施方式理解为仅作为示例给出。

附图说明

图1是示出根据实施方式的全景环视图像控制装置的配置的框图。

图2a是示出根据实施方式的包括全景环视图像控制装置的车辆的外观的视图。

图2b是示出其中包括在根据实施方式的全景环视图像控制装置中的传感器单元设置在车辆中的状态的视图。

图3是示出根据实施方式的包括全景环视图像控制装置的车辆的配置的框图。

图4是示出全景环视图像的视图。

图5是示出根据实施方式的全景环视图像控制装置的全景环视图像校准方法的流程图。

图6是示出校正图像不匹配的状态的视图。

图7是示出根据实施方式的在全景环视图像控制装置中估计用于校正的匹配值的方法的流程图。

图8是示出消失点的变化的视图。

图9是示出估计匹配值的状态的图。

图10是示出根据第一实施方式的在全景环视图像控制装置中更新全景环视图像的方法的流程图。

图11是示出根据第二实施方式的在全景环视图像控制装置中更新全景环视图像的方法的流程图。

图12是示出当由于外部环境因素的改变而发生图像不匹配时的校正方法的流程图。

图13是示出在校正之前的画面的视图。

图14是示出当车辆行驶进行校正时的画面的视图。

图15是示出在校正之后关闭画面的状态的视图。

图16是示出用于显示更新结果的画面的视图。

图17是示出通过自诊断来校正图像失配的方法的流程图。

图18是示出在校正之前的画面的视图。

图19是示出当车辆行驶进行校正时的画面的视图。

图20是示出用于在执行校正之后同时显示未校正图像和校正图像的画面的视图。

图21是示出其中选择校正图像并显示更新图像的画面的视图。

具体实施方式

现在将参照附图根据本文公开的示例性实施方式详细给出描述。为了参照附图进行简要描述，相同或等同的部件可以提供有相同的附图标记，并且将不重复其描述。通常，可以使用诸如“模块”和“单元”的后缀来指代元件或部件。本文中使用这种后缀仅旨在有助于说明书的描述，并且后缀本身不旨在给出任何特殊含义或功能。在本公开内容中，为了简洁起见，通常省略对于相关领域中的普通技术人员公知的内容。附图用于帮助容易地理解各种技术特征，并且应当理解，本文所提出的实施方式不受附图的限制。因此，除了在附图中特别陈述的那些之外，本公开内容应当被解释成扩展至任何改变、等同内容和替代内容。

应当理解，尽管本文中可以使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语通常仅用于将一个元件与另一元件区分开。

应当理解，当元件被称为与另一元件“连接”时，该元件可以与其他元件连接或者也可以存在中间元件。相反，当元件被称为与另一元件“直接连接”时，不存在中间元件。

除非它表示与上下文明确地不同的含义，否则单数表示可以包括复数表示。

本文中使用诸如“包括”或“具有”的术语，并且应当理解其旨在指示在说明书中所公开的若干部件、功能或步骤的存在，并且还应当理解，同样地可以利用更多或更少的部件、功能或步骤。

在本公开内容中使用的术语“车辆”可以包括所有类型的车辆，例如汽车和摩托车。在下文中，例如，将描述汽车。

在本公开内容中，车辆可以是以下中任意一种：配备有作为电源的发动机的内燃机车辆、配备有作为电源的发动机和电动机的混合型车辆、配备有作为电源的电动机的电动车辆等。

在以下描述中，车辆的左侧是指车辆的驾驶方向的左侧，并且车辆的右侧是指车辆的驾驶方向的右侧。在以下描述中，除非另有说明，否则车辆指的是其中方向盘位于左侧上的左驾(LHD)车辆。

在本说明书中描述的全景环视图像控制装置可以是设置在车辆中的单独装置，并且定义为用于通过与车辆进行数据通信来交换必要信息并提供车辆周围对象的全景环视图像的装置。全景环视图像控制装置可以在由制造商安装在车辆中的状态下被释放，或者可以在车辆被释放之后由驾驶员或第三方安装。然而，在一些实施方式中，全景环视图像控制装置可以包括用于配置车辆的一部分的一组车辆的一些部件。

全景环视图像是示出车辆周围的图像，并且还可以被称为顶视图或鸟瞰图。可以基于沿不同方向获取的图像来生成这种全景环视图像。

当全景环视图像控制装置是单独装置时，全景环视图像控制装置的至少一些部件(见图1)可以是不包括在全景环视图像控制装置中但是包括在车辆中或安装在车辆中的另一装置中的外部部件。这种外部部件可以被理解为通过经由全景环视图像控制装置的接口发送并接收数据来配置全景环视图像控制装置。

为了便于描述，在本说明书中，全景环视图像控制装置将被描述为直接包括图1所示的部件。

在下文中，将参照附图详细描述根据实施方式的全景环视图像控制装置。

图1是示出根据实施方式的全景环视图像控制装置的配置的框图。

参照图1，全景环视图像控制装置100可以包括感测单元155和处理器170。另外，根据实施方式的全景环视图像控制装置100还可以包括以下中的至少一个：输入单元110、通信单元120、接口130、存储器140、监视单元165、显示器180、音频输出单元185或电力供应190。然而，图1所示的部件对于实现全景环视图像控制装置100不是必要的，并且因此根据实施方式的全景环视图像控制装置100可以具有比上面所列出的部件更多或更少的部件。

将详细描述部件。输入单元110可以检测用户输入。例如，用户可以通过输入单元110输入由全景环视图像控制装置100提供的全景环视图像的设置，或者打开/关闭全景环视图像控制装置100的电力。

输入单元110可以包括以下中的至少一个：用于检测用户手势的手势输入单元(例如，光学传感器等)；用于检测触摸的触摸输入单元(例如，触摸传感器、触摸键、机械键等)；或者用于检测语音输入，并且检测用户输入的麦克风。

通信单元120可以与另一车辆510、移动终端600和服务器500进行通信。

在这种情况下，全景环视图像控制装置100可以通过通信单元120接收以下信息中的至少一种：导航信息、另一车辆的行驶信息或交通信息。另外，全景环视图像控制装置100可以通过通信单元120发送关于包括全景环视图像控制装置100的主体车辆的信息。

具体地，通信单元120可以从移动终端600或服务器500接收位置信息、天气信息和道路交通状态信息(例如，运输协议专家组(TPEG)信息)。

另外，通信单元120可以从具有智能运输系统(ITS)的服务器500接收交通信息。在此，交通信息可以包括交通信号信息、车道信息、车辆周围信息或位置信息。

通信单元120可以向移动终端600和/或服务器500发送导航信息。在此，导航信息可以包括以下信息中的至少一种：与车辆行驶有关的地图信息、车道信息、车辆位置信息、根据目的地而设置目的地信息或路线信息。

例如，通信单元120可以接收车辆的实时位置作为导航信息。具体地，通信单元120可以包括GPS(全球定位系统)模块和/或Wi-Fi(无线保真)模块并且获取车辆的位置。

另外，通信单元120可以从另一车辆510接收另一车辆510的驾驶信息，并且将关于该主体车辆的信息发送至另一车辆510，从而在车辆之间共享驾驶信息。在此，共享驾驶信息可以包括以下信息中的至少一种：车辆移动方向信息、位置信息、车辆速度信息、加速度信息、移动路径信息、车辆前进/后退信息、邻近车辆信息或转向信号信息。

另外，当用户进入车辆时，用户的移动终端600和全景环视图像控制装置100可以自动地彼此配对或者在用户执行应用时彼此配对。

通信单元120可以以无线方式与另一车辆510、移动终端600或服务器500交换数据。

具体地，通信单元120可以使用无线数据通信方法来执行无线通信。作为无线数据通信方法，可以使用用于移动通信(例如，GSM(用于移动通信的全球系统)、CDMA(码分多址)、CDMA2000(码分多址2000)、EV-DO(增强语音数据优化或仅增强语音数据)、WCDMA(宽带CDMA)、HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)、LTE(长期演进)、LTE-A(高级长期演进)等)的技术标准或通信方法。

另外，通信单元120可以使用无线因特网技术并且使用例如WLAN(无线LAN)、Wi-Fi(无线保真)、Wi-Fi(无线保真)直连、DLNA(数字生活网络联盟)、WiBro(无线宽带)、WiMAX(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)、LTE(长期演进)、LTE-A(高级长期演进)等作为无线因特网技术。

另外，通信单元120可以使用近距离通信，并且使用以下中的至少一种来支持近距离通信：Bluetooth^TM、RFID(射频识别)、红外数据协会(IrDA)、UWB(超宽带)、ZigBee、NFC(近场通信)、Wi-Fi(无线保真)、Wi-Fi直连、无线USB(无线通用串行总线)技术。

另外，全景环视图像控制装置100可以使用近距离通信方法与车辆内部的移动终端600进行配对，并且使用移动终端600的远距离无线通信模块与另一车辆510或服务器500无线地交换数据。

接口130可以执行全景环视图像控制装置100的内部/外部接口，例如从电子控制单元(ECU)770接收数据，以对车辆进行整体控制或将由处理器170处理或生成的信号传输至外部。

具体地，全景环视图像控制装置100可以通过接口130接收以下信息中的至少一种：车辆驾驶信息、导航信息或感测信息。

另外，全景环视图像控制装置100可以通过接口130向车辆的ECU 770发送用于全景环视执行的控制信号或由全景环视图像控制装置100生成的信息。

接口130可以使用有线通信方法或无线通信方法与车辆内部的ECU 770、AVN(音频视频导航)装置400或感测单元760中的至少一个进行数据通信。

具体地，接口130可以通过与ECU 770、AVN装置400和/或单独导航装置(未示出)的数据通信来接收导航信息。

另外，接口130可以从ECU 770或感测单元760接收感测信息。

在此，感测信息可以包括以下信息中的至少一种：车辆方向信息、车辆速度信息、加速度信息、倾斜信息、前进/后退信息、燃料信息、关于距前/后车辆的距离的信息、关于车辆与车道之间的距离的信息、或者转向信号信息。

可以通过航向传感器、偏航传感器、陀螺仪传感器、位置模块、车辆前进/后退传感器、车轮传感器、车辆速度传感器、车辆倾斜传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、门传感器等来获取感测信息。位置模块可以包括用于接收GPS信息的GPS模块。

接口130可以通过车辆的用户输入单元724接收用户输入。在这种情况下，接口130可以直接地或者通过车辆的ECU 770从车辆的输入单元724接收用户输入。

另外，接口130可以从服务器500接收所获取的交通信息。服务器500可以位于交通控制站处，以用于控制交通。例如，当通过车辆的通信单元710从服务器500接收到交通信息时，接口130可以从车辆的ECU 770接收交通信息。

存储器140可以存储用于全景环视图像控制装置100的整体操作的各种数据，例如用于处理或控制处理器170的程序。

另外，存储器140可以存储在全景环视图像控制装置100中执行的多个应用程序或应用或者用于全景环视图像控制装置100的操作的数据或命令。这种应用程序中的至少一些可以通过无线通信从外部服务器下载。另外，这种应用程序中的至少一些可能已经在工厂中位于全景环视图像控制装置100中，以用于全景环视图像控制装置100的基本功能(例如，车辆外围引导功能)。

这种应用程序可以存储在存储器140中并由处理器170驱动，以执行全景环视图像控制装置100的操作(或功能)。

存储器140可以存储用于识别包括在图像中的对象的数据。例如，当在通过摄像装置160获取的车辆周围的图像中检测到预定对象时，存储器140可以存储用于通过各种算法识别该对象对应于什么的数据。

例如，存储器140可以存储比较图像和比较数据，所述比较图像和比较数据用于确定包括在通过摄像装置160获取的图像中的对象是否对应于车道、交通标志、两轮车辆或行人。

另外，存储器140可以存储用于生成全景环视图像的预定合成信息或视图信息。

可以通过对沿不同方向获取的图像进行合成来生成全景环视图像。此时，可以将根据图像生成的合成区域的距离信息和边界线信息作为合成信息存储在存储器140中。

观看信息可以是关于从摄像装置观看的方向的信息，但不限于此。

存储器140可以包括至少一种类型的存储介质，例如闪存类型、硬盘类型、SSD(固态盘)类型、SDD(硅盘驱动器)类型、多媒体卡微类型或卡类型的存储器(例如SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、PROM(可编程只读存储器)、磁存储器、磁盘、光盘等。

另外，全景环视图像控制装置100可以与用于执行因特网上的存储器140的存储功能的网络存储相关联地操作。

监视单元165可以获取关于车辆内部状况的信息。

由监视单元165检测到的信息可以包括以下信息中的至少一种：面部识别信息、指纹信息、虹膜扫描信息、视网膜扫描信息、手的几何形状信息或语音识别信息。另外，监视单元165可以包括用于检测这种生物特征信息的其他传感器。

全景环视图像控制装置100还可以包括用于检测车辆周围的对象的感测单元155。在一些实施方式中，全景环视图像控制装置100可以通过接口130接收由车辆的感测单元760获得的感测信息。所获得的感测信息可以被包括在车辆的周围信息中。

感测单元155可以包括以下中的至少一个：用于检测车辆周围的对象的位置的距离传感器150或者用于捕获并获取车辆周围的图像的摄像装置160。

距离传感器150可以准确地检测邻近该主体车辆的对象的位置、与该主体车辆间隔开的对象的方向、距车辆的距离、对象的移动方向等。距离传感器150可以连续地测量被检测对象的位置，从而准确地检测与车辆的位置关系的变化。

距离传感器150可以检测位于车辆的前、后、左或右区域中的至少一个中的对象。为此，距离传感器150可以设置在车辆的各个位置处。

距离传感器150可以包括能够进行距离测量的各种类型的传感器中的至少一种，例如激光雷达传感器、激光传感器、超声传感器、立体摄像装置等。

例如，距离传感器150是激光传感器，激光传感器可以利用飞行时间(TOF)和/或根据激光信号调制方法的相位移来准确地测量车辆与对象之间的位置关系。

关于对象的信息可以通过在处理器170处分析由摄像装置160捕获的图像来获取。具体地，全景环视图像控制装置100可以通过经由摄像装置160捕获车辆周围的图像并且经由处理器170分析车辆周围的图像来检测车辆周围的对象，确定对象的属性，并且生成感测信息。

在此，对象信息可以是以下中的至少一种：对象的类型、由对象显示的交通信号信息、对象与车辆之间的距离以及对象的位置，并且可以包括在感测信息中。

具体地，处理器170可以通过以下方式生成对象信息：通过图像处理从捕获的图像中检测对象、跟踪对象、测量距对象的距离并识别对象即分析对象。

尽管未示出，但是感测单元155还可以包括超声传感器。超声传感器可以包括多个超声传感器，但不限于此。可以基于由每个超声传感器发送的超声波与在被对象反射了所发送的超声波之后接到的超声波之间的差异来检测车辆周围的对象。

处理器170可以通过对沿所有方向捕获的图像进行合成来提供从顶部观看的车辆的全景环视图像。

为了使处理器170能够更容易地执行对象分析，在实施方式中，摄像装置160可以是用于在捕获图像的同时测量距对象的距离的立体摄像装置。

摄像装置160可以直接包括图像传感器和图像处理模块。在这种情况下，摄像装置160可以处理由图像传感器(例如，CMOS或CCD)获得的静止图像或移动图像。另外，图像处理模块可以处理由图像传感器获得的静止图像或移动图像，提取必要的图像信息，并且将所提取的图像信息发送至处理器170。

感测单元155可以是通过将距离传感器150与摄像装置160耦接而获得的立体摄像装置。也就是说，立体摄像装置可以获取图像并且同时检测与对象的位置关系。

显示器180可以显示全景环视图像。显示器180可以根据需要包括至少一个显示区域。可以在显示区域中显示不同的图像信息。

音频输出单元185可以输出用于检查全景环视图像的描述、执行等的消息作为音频。因此，全景环视图像控制装置100可以通过使用显示器180的视觉显示和音频输出单元185的音频输出相互补充对全景环视图像控制装置100的功能的描述。

在一些实施方式中，全景环视图像控制装置100还可以包括用于输出触觉信号的触觉输出单元(未示出)。触觉输出单元(未示出)可以以触觉形式输出关于全景环视图像的警报。例如，当在导航信息、交通信息、通信信息、车辆状态信息、高级驾驶员辅助系统(ADAS)信息或其他驾驶员便利信息中的至少一种中包括对驾驶员的警告时，全景环视图像控制装置100可以以振动的形式通知用户警告。

触觉输出单元(未示出)可以提供具有方向性的振动。例如，触觉输出单元(未示出)可以设置在转向装置中，以用于控制转向以输出振动。当提供振动时，触觉输出单元可以根据左转向和右转向来不同地输出振动，从而给出触觉输出的方向性。

电力供应190可以在处理器170的控制下从外部电源或内部电源接收电力，并且供应部件的工作所需的电力。

处理器170可以控制全景环视图像控制装置100中的部件的整体操作。

另外，处理器170可以控制包括在全景环视图像控制装置100中的至少一些部件或者组合并操作至少两个部件，以执行应用程序。

处理器170可以以以下中的至少一种形式来实现：ASIC(专用集成电路)、DSP(数字信号处理器)、DSPD(数字信号处理装置)、PLD(可编程逻辑器件)、FPGA(现场可编程门阵列)、控制器、微控制器、微处理器170或用于在硬件中执行其他功能的电子单元。

在一些实施方式中，处理器170可以由车辆的ECU 770控制。

除了与在存储器140中存储的应用程序有关的操作之外，处理器170通常还控制全景环视图像控制装置100的整体操作。处理器170可以通过以下方式提供或处理适合于用户的信息或功能：处理通过上面所描述的部件输入或输出的信号、数据、信息等或者执行存储在存储器170中的应用程序。

图2a是示出根据实施方式的包括全景环视图像控制装置的车辆的外观的视图。

参照图2a，根据实施方式的车辆700包括通过电源旋转的车轮13FL和13RL以及用于为用户提供关于车辆周围的对象的信息的全景环视图像控制装置100。

全景环视图像控制装置100可以安装在车辆700的内部。在这种情况下，可以根据实施方式来以各种方式设置全景环视图像控制装置100的安装位置。参照图2a，全景环视图像控制装置100设置在车辆700的挡风玻璃100的下端处。

图2b是示出其中包括在根据实施方式的全景环视图像控制装置中的传感器单元设置在车辆中的状态的视图。

包括在感测单元155中的距离传感器150可以设置在以下位置中的至少一个处：车辆主体的前侧、后侧、左侧或右侧或者顶棚。参照图2b，距离传感器150a和150b设置在车辆的左侧和右侧处。

包括在感测单元155中的摄像装置160可以设置在各个位置以监视驾驶方向的前侧、后侧、左侧和右侧。参照图2b，摄像装置160a、160b、160c和160d分别设置在车辆的前侧、后侧、左侧和右侧。

例如，安装在车辆的前侧的摄像装置160a被称为第一摄像装置，安装在车辆的右侧的摄像装置160b被称为第二摄像装置，安装在车辆的后侧的摄像装置160c被称为第三摄像装置，并且安装在车辆的左侧的摄像装置106d被称为第四摄像装置，但不限于此。在多个摄像装置160a、160b、160c和160d中，首先进行描述的摄像装置可以被称为第一摄像装置，随后描述的摄像装置可以被称为第二摄像装置。

第一摄像装置160a可以通过沿驾驶方向拍摄前侧的图像来获取前图像。为此，第一摄像装置160a可以设置在标志或散热器格栅附近。

第二摄像装置160b可以设置在围绕右侧视镜的壳体中。在一些实施方式中，第二摄像装置160b可以设置在围绕右侧视镜的壳体的外部，或者可以设置在右前门、右后门或右防护板外部的一个区域中。

第三摄像装置160c可以通过沿驾驶方向捕获后侧的图像来获取后图像。第三摄像装置160c可以设置在后牌照或行李箱开关附近。

第四摄像装置160d可以设置在围绕左侧视镜的壳体中。在一些实施方式中，第四摄像装置160d可以设置在围绕左侧视镜的壳体的外部，或者可以设置在左前门、左后门或左防护板外部的一个区域中。

尽管未示出，但是可以在车辆的顶棚上另外地安装摄像装置。顶棚摄像装置可以捕获车辆的所有前侧、后侧、左侧和右侧。

另外，如果需要，除了第一摄像装置至第四摄像装置160a、160b、160c和160d之外，还可以安装更多摄像装置。

图3是示出根据实施方式的包括全景环视图像控制装置的车辆的配置的框图。

根据实施方式的全景环视图像控制装置100可以安装在车辆700内部。

参照图3，车辆700可以包括通信单元710、输入单元720、感测单元760、输出单元740、车辆驱动单元750、存储器730、AVN装置400、接口780、ECU 770、电力供应790和全景环视图像控制装置100。

通信单元710可以包括用于使得能够在车辆700与移动终端600之间、在车辆700与外部服务器500之间或者在车辆700与另一车辆510之间进行无线通信的一个或更多个模块。另外，通信单元710可以包括用于将车辆700连接至一个或更多个网络的一个或更多个模块。

通信单元710可以包括广播接收模块711、无线因特网模块712、近距离通信模块713、位置信息模块714和光通信模块715。

广播接收模块711通过广播信道从外部广播管理服务器接收广播信号或广播相关信息。在此，广播包括无线电广播或电视广播。

无线因特网模块712指的是用于无线因特网访问的模块，并且可以安装在车辆700的内部或外部。无线因特网模块712被配置成根据无线因特网技术通过通信网络发送并且接收无线信号。

无线因特网技术包括，例如，WLAN(无线LAN)、Wi-Fi(无线保真)、Wi-Fi(无线保真)直连、DLNA(数字生活网络联盟)、WiBro(无线宽带)、WiMAX(全球微波接入互操作性)、HSDPA(高速下行链路分组接入)、HSUPA(高速上行链路分组接入)、LTE(长期演进)、LTE-A(高级长期演进)等，以及无线因特网模块712根据包括以上未列出的因特网技术的范围中的至少一种无线因特网技术来发送并接收数据。例如，无线因特网模块712可以与外部服务器500无线地交换数据。无线因特网模块712可以从外部服务器500接收天气信息或道路交通状态信息(例如，TPEG(运输协议专家组))。

近距离通信模块指的是用于近距离通信的模块，并且可以使用Bluetooth^TM、RFID(射频识别)、红外数据协会(IrDA)、UWB(超宽带)、ZigBee、NFC(近场通信)、Wi-Fi(无线保真)、Wi-Fi直连或无线USB(无线通用串行总线)技术来支持近距离通信。

近距离通信模块713可以建立无线局域网并且在车辆与至少一个外部装置之间执行近距离通信。例如，近距离通信模块713可以与移动终端600无线地交换数据。近距离通信模块713可以从移动终端600接收天气信息或道路交通状态信息(例如，TPEG(运输协议专家组))。当用户进入车辆时，用户的移动终端600和车辆可以自动地彼此配对或者通过由用户执行的应用彼此配对。

位置信息模块714指的是用于获取车辆的位置的模块，并且位置信息模块714的代表性示例包括GPS(全球定位系统)模块。例如，车辆700可以基于使用GPS模块从GPS卫星接收的信号来获取车辆700的位置。

光通信模块715可以包括光发送单元和光接收单元。

光接收单元可以将光信号转换成电信号并接收信息。光接收单元可以包括用于接收光的光电二极管(PD)。光电二极管可以将光转换成电信号。例如，光接收单元可以通过从包括在前车辆中的光源发射的光来接收关于在前车辆的信息。

光传输单元可以包括用于将电信号转换成光信号的至少一个发光元件。在此，发光元件优选地是发光二极管(LED)。光传输单元将电信号转换成光信号，并且将光信号发射至外部。例如，光传输单元可以通过使与预定频率对应的发光元件闪烁来将光信号发射至外部。在一些实施方式中，光传输单元可以包括多个发光元件阵列。在一些实施方式中，光传输单元可以与设置在车辆中的灯成为一体。例如，光传输单元可以是前灯、尾灯、制动灯、转向信号灯和车宽灯中的至少一种。

根据一个实施方式，光通信模块715可以通过光通信与另一车辆510交换数据。

输入单元720可以包括驾驶操作单元721、摄像装置722、麦克风723、用户输入单元724和监视器725。

驾驶操作单元721接收用于驾驶车辆的用户输入。驾驶操作单元721可以包括转向输入单元、变速输入单元、加速度输入单元、制动输入单元等。

转向输入单元接收车辆700的行驶方向的输入。转向输入单元可以以车轮的形式形成，以能够通过旋转进行转向输入。在一些实施方式中，转向输入单元可以形成为触摸屏、触摸板或按钮。

变速输入单元接收用于车辆的驻车档P、前进档D、空档N和倒档R的输入。变速输入单元可以以杆的形式形成。在一些实施方式中，变速输入单元可以形成为触摸屏、触摸板或按钮。

加速度输入单元接收用于车辆加速的输入。制动输入单元接收用于车辆减速的输入。在这种情况下，加速度输入单元和制动输入单元可以以踏板的形式形成。在一些实施方式中，加速度输入单元和制动输入单元可以形成为触摸屏、触摸板或按钮。

摄像装置722可以包括图像传感器和图像处理模块。摄像装置722可以处理由图像传感器(例如，CMOS或CCD)获得的静止图像或移动图像。图像处理模块可以通过对通过图像传感器获取的静止图像或移动图像进行处理来提取必要的信息，并且将所提取的信息发送至ECU 770。同时，车辆700可以包括用于捕获车辆的前图像或车辆的周围图像的摄像装置722以及用于捕获车辆的内部图像的监视器725。

监视器725可以获取乘客的图像。监视器725可以获取关于乘客的生物特征的图像。

尽管在图3中监视器725和摄像装置722被示出为包括在输入单元720中，但是如上面所描述的，摄像装置722可以被包括在全景环视图像控制装置100中。

麦克风723可以将外部音频信号处理成电数据。根据通过车辆700执行的功能，可以以各种方式使用处理的数据。麦克风723可以将用户的语音命令转换成电数据。经转换的电数据可以被发送至ECU 770。

用户输入单元724可以从用户接收信息。当通过用户输入单元724接收到信息时，ECU 770可以控制车辆700的操作以对应于输入信息。用户输入单元724可以包括触摸输入单元或机械输入单元。在一些实施方式中，用户输入单元724可以设置在方向盘的一个区域中。在这种情况下，驾驶员可以在保持方向盘的状态中用他们的手指操纵用户输入单元724。

感测单元760感测与车辆的驾驶有关的信号。为此，感测单元760可以包括碰撞传感器、车轮传感器、速度传感器、倾斜传感器、重量传感器、航向传感器、偏航传感器、陀螺仪传感器、以及位置模块、车辆前进/后退传感器、电池传感器、燃料传感器、轮胎传感器、通过方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声传感器、雷达、LiDar(激光雷达)等。

因此，感测单元760可以获取车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度等。

同时，感测单元760还可以包括加速器踏板传感器、压力传感器、发动机速度传感器、空气流量传感器(AFS)、空气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器、曲柄角度传感器(CAS)等。

感测单元760可以包括生物特征信息感测单元。生物特征信息感测单元检测并获取乘客的生物特征信息。生物特征信息可以包括指纹信息、虹膜扫描信息、视网膜扫描信息、手的几何形状信息、面部识别信息和语音识别信息。生物特征信息感测单元可以包括用于感测乘客的生物特征信息的传感器。在此，监视器725和麦克风723可以操作为传感器。生物特征信息感测单元可以通过监视器725获取手的形状信息和面部识别信息。

输出单元740指的是用于输出由ECU 770处理的信息的部件，并且可以包括显示器741、音频输出单元742和触觉输出单元743。

显示器741可以显示由ECU 770处理的信息。例如，显示器741可以显示车辆有关信息。在此，车辆有关信息可以包括用于直接控制车辆的车辆控制信息或者用于为车辆的驾驶员引导驾驶的车辆驾驶辅助信息。另外，车辆有关信息可以包括指示车辆的当前状态的车辆状态信息或者与车辆的驾驶有关的车辆驾驶信息。

显示器741可以是全景环视图像控制装置100的显示器180，或者可以与显示器180分开设置。

显示器741可以由以下中的至少一种来执行：液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器或电子墨水显示器。

显示器741可以通过与触摸传感器形成夹层结构或与触摸传感器一体地形成来实现触摸屏。这种触摸屏可以用作用于在车辆700与用户之间提供输入接口并且在车辆700与用户之间提供输出接口的用户输入单元724。在这种情况下，显示器741可以包括用于检测显示器741的触摸以通过触摸方法来接收控制命令的触摸传感器。当触摸显示器741时，触摸传感器可以被配置成检测触摸，并且ECU 770可以被配置成生成与触摸对应的控制命令。通过触摸方法输入的内容是可以以各种模式指示或指定的字符或数字或菜单项。

显示器741可以包括集群，使得驾驶员在驾驶的同时检查车辆状态信息或车辆驾驶信息。集群可能位于仪表板上。在这种情况下，驾驶员可以在盯着车辆的前侧的同时检查显示在仪表板上的信息。

在一些实施方式中，显示器741可以实现为平视显示器(HUD)。当显示器741实现为HUD时，可以通过设置在挡风玻璃中的透明显示器来输出信息。可替选地，显示器741可以包括投影模块，以通过投影至挡风玻璃上的图像来输出信息。

音频输出单元742将来自ECU 770的电信号转换为音频信号并输出该音频信号。为此，音频输出单元742可以包括扬声器等。音频输出单元742可以输出与由用户输入单元724输入的操作对应的声音。

触觉输出单元743生成触觉输出。例如，触觉输出单元743可以使方向盘、座椅安全带或座椅振动，以使得用户能够识别输出。

车辆驱动单元750可以控制包括在车辆700中的各种装置和部件的操作。车辆驱动单元750可以包括电源驱动器751、转向驱动器752、制动驱动器753、灯驱动器754、空气调节驱动器755、窗户驱动器756、气囊驱动器757、天窗驱动器758和悬架驱动器759。

电源驱动器751可以执行对车辆700中的电源的电子控制。

例如，当基于矿物燃料的发动机(未示出)为电源时，电源驱动器751可以执行发动机的电子控制。因此，可以控制发动机的输出扭矩。当电源驱动器751是发动机时，可以在ECU 770的控制下通过限制发动机输出扭矩来限制车辆的速度。

作为另一示例，当电动机(未示出)是电源时，电源驱动器751可以执行对电动机的控制。因此，可以控制电动机的转速、转矩等。

转向驾驶员762可以执行对车辆中的转向装置的电子控制。因此，可以改变车辆的行驶方向。

制动驱动器753可以执行对车辆中的制动装置(未示出)的电子控制。例如，可以通过控制设置在车轮中的制动器的操作来降低车辆的速度。作为另一示例，通过使分别设置在左车轮和右车轮中的制动器的操作不同，可以控制车辆向左或向右的行驶方向。

灯驱动器754可以控制设置在车辆内部和外部的灯的开/关。另外，可以控制灯的光的强度/方向等。例如，可以控制转向信号灯、制动灯等。

空气调节驱动器755可以执行对车辆中的空调(未示出)的电子控制。例如，当车辆的内部温度高时，空调可以运行使得冷空气被供应至车辆700中。

窗户驱动器756可以执行对车辆中的窗户装置的电子控制。例如，可以控制车辆700的左窗和右窗的打开或关闭。

气囊驱动器757可以执行对车辆中的气囊装置的电子控制。例如，当发生事故时，可以控制气囊以爆裂。

天窗驱动器758可以执行对车辆中的天窗装置(未示出)的电子控制。例如，可以控制天窗的打开或关闭。

悬架驱动器759可以执行对车辆700中的悬架装置(未示出)的电子控制。例如，当路面不平坦时，可以控制悬架装置以减小车辆的振动。

存储器730与ECU 770电连接。存储器730可以存储单元的基本数据、用于单元的操作控制的控制数据以及输入/输出数据。存储器730可以包括硬件中的各种存储介质，例如ROM、RAM、EPROM、闪存驱动器、硬盘驱动器等。存储器730可以存储用于车辆的整体操作的各种数据，例如用于ECU 770的处理或控制的程序。

接口780可以用作通往连接至车辆700的各种类型的外部装置的路径。例如，接口780可以包括可连接至移动终端600的端口，并且可以通过该端口与移动终端600连接。在这种情况下，接口780可以与移动终端600交换数据。

接口780可以用作用于向连接的移动终端600供应电能的路径。当移动终端600直接连接至接口780时，在ECU 770的控制下，接口780向移动终端600提供由电力供应790供应的电能。

ECU 770可以控制车辆700中的部件的总体工作。ECU 770还可以被称为ECU(电子控制单元)。

根据全景环视图像控制装置100的执行信号的传输，ECU 770可以执行与发送信号对应的功能。

ECU 770可以以以下中的至少一种形式来实现：ASIC(专用集成电路)、DSP(数字信号处理器)、DSPD(数字信号处理装置)、PLD(可编程逻辑器件)、FPGA(现场可编程门阵列)、处理器、控制器、微控制器、微处理器或用于在硬件中执行其他功能的电子单元。

此时，控制器或微处理器可以与包括在全景环视图像控制装置100中的处理器170分开设置。

电力供应790可以在ECU 770的控制下供应部件的操作所需的电力。在这种情况下，电力供应790可以从车辆中的电池(未示出)接收电力。

AVN(音频视频导航)装置400可以与ECU 770交换数据。ECU 770可以从AVN装置400或单独导航装置(未示出)接收导航信息。在此，导航信息可以包括设置的目的地信息、根据目的地的路线信息、与车辆驾驶有关的地图信息或车辆位置信息。

图4是示出全景环视图像的视图。

参照图4，该全景环视图像可以包括第一合成区域至第四合成区域301、303、305和307。这种全景环视图像可以显示在显示器180上。

可以基于由安装在车辆700的前侧的第一摄像装置160a获取的前图像来生成第一合成区域301。可以基于由安装在车辆700的右侧的第二摄像装置160b获取的右图像来生成第二合成区域303。可以基于由安装在车辆700的后侧的第三摄像装置160c获取的后图像来生成第三合成区域305。可以基于由安装在车辆700的左侧的第四摄像装置160d获取的左图像来生成第四合成区域307。

合成区域301、303、305和307的图像可以与由第一摄像装置至第四摄像装置160a、160b、160c和160d获取的图像不同。

也就是说，可以通过摄像装置160a、160b、160c和160d的透镜来接收由第一摄像装置至第四摄像装置160a、160b、160c和160d获取的图像，并且因此可以将对象的实际形状显示为没有变化的图像。与之相比，合成区域301、303、305和307中的每一个的图像可以是通过将由第一摄像装置至第四摄像装置160a、160b、160c和160d获取的图像中的每一个的前视图改变为顶视图而获得的图像。

例如，如果由第一摄像装置至第四摄像装置160a、160b、160c和160d的特定摄像装置获取的图像的对象是站立的人，则根据获取的图像生成的合成区域的对象的人可能显示为不站立而是躺着。

第一合成区域至第四合成区域301、303、305和307可以彼此邻近设置，其中在其间插入边界线311、313、315和317。例如，第一合成区域301和第二合成区域303可以彼此邻近设置，其中在其间插入第一边界线311。第二合成区域303和第三合成区域305可以彼此邻近设置，其中在其间插入第二边界线313。第三合成区域305和第四合成区域307可以彼此邻近设置，其中在其间插入第三边界线315。第四合成区域307和第一合成区域301可以彼此邻近设置，其中在其间插入第四边界线317。

可以基于存储在存储器140中的合成信息来生成全景环视图像。如上面所描述的，可以将根据第一摄像装置至第四摄像装置160a、160b、160c和160d的图像生成的第一合成区域至第四合成区域307的距离信息，以及第一合成信息至第四合成信息的边界的边界线信息存储在存储器140中作为合成信息。

可以将边界线信息设置为第一边界线至第四边界线311、313、315和317的位置。可以将合成区域的距离信息设置为合成区域301、303、305和307的距离。

因此，处理器170可以基于合成信息的距离信息和边界线信息，根据从第一摄像装置至第四摄像装置160a、160b、160c和160d获取的图像生成合成区域301、303、305和307并且对合成区域301、303、305和307进行合成，从而生成全景环视图像。

在不改变正常模式的情况下可以在显示器180上显示所生成的全景环视图像。

具体地，处理器170可以基于设置在边界线信息中的合成区域的距离信息和边界线信息，根据从第一摄像装置至第四摄像装置160a、160b、160c和160d获取的图像来提取与边界线311、313、315与317之间的区域对应的图像，并且基于所提取的图像来生成包括第一合成区域至第四合成区域301、303、305和307的全景环视图像。

如上面所描述的，从第一摄像装置至第四摄像装置160a、160b、160c和160d以及第一合成区域至第四合成区域301、303、305和307获取的图像是不同的图像。

图5是示出根据实施方式的全景环视图像控制装置的全景环视图像校准方法的流程图。该校准方法可以是校正方法。参照图5，当发生校正事件时，可以执行校正(S10)并且在校正完成之后可以执行更新(S50)。

在校正步骤S10中，可以执行校正以解决合成区域301、303、305和307之间的不匹配。

如图6a所示，具有直线形状的引导杆320可以位于道路的左侧上。引导杆320可以是道路的线。在第一摄像装置160a具有引起合成区域301、303、305和307之间不匹配的问题的情况下，当车辆沿引导杆行驶时，引导杆320可能在通过对从摄像装置160a、160b、160c和160d获取的图像进行合成而获得的第一合成区域301与第二合成区域303或第一合成区域301与第四合成区域307之间的边界线311、313、315和317中变形。

在这种情况下，在校正步骤S10中，可以对第一合成区域301进行校正，并且如图6b所示，第一合成区域301和第四合成区域307可以匹配，并且可以将第一合成区域301与第四合成区域307之间的引导杆320视为直线。

在更新步骤S50中，可以基于作为校正不匹配的结果的校正信息来更新全景环视图像。

在下文中，将详细描述校正步骤S10。

图7是示出根据实施方式的在全景环视图像控制装置中估计用于校正的匹配值的方法的流程图。

参照图1和图7，处理器170可以使用与ECU 770的CAN通信来确定车辆是否正在行驶(S11)。ECU 770可以从各个传感器并且更具体地从车轮旋转传感器接收传感器信号，并且基于该传感器信号来确定车辆是否正在行驶。可以使用CAN通信将确定的结果发送至处理器170。

当开始驾驶车辆时，处理器170可以计算移动值和消失点(S13)。

具体地，当开始驾驶车辆时，处理器170可以控制第一摄像装置至第四摄像装置160a、160b、160c和160d以从第一摄像装置至第四摄像装置160a、160b、160c和160d获取第一图像至第四图像。处理器170可以使用极坐标系转换所获取的第一图像至第四图像，并且生成第一转换图像至第四转换图像。第一转换图像至第四转换图像可以是图4中示出的第一合成区域至第四合成区域301、303、305和307，但不限于此。处理器170可以基于第一转换图像至第四转换图像来计算第一合成区域至第四合成区域301、303、305和307中的移动值和消失点。

例如，第一区域可以由第一摄像装置160a覆盖，并且第二区域可以由第二摄像装置160b覆盖。第三区域可以由第三摄像装置160c覆盖，并且第四区域可以由第四摄像装置160d覆盖。

例如，当使用极坐标系转换第一图像至第四图像时，可以将图像转换成被视为似乎是从顶部观看地面的图像信号。

可以基于第一转换图像至第四转换图像中的每一个的帧之间的图像信息的变化来计算移动值。可以针对第一转换图像至第四转换图像中的每一个来计算移动值。

消失点是在驾驶期间根据地面状态而变化的点，并且可以是从地面检测到的线形式的边缘线收敛在第一转换图像至第四转换图像中的每一个中的点。可以使用公知的计算方法来计算这种消失点。可以针对第一转换图像至第四转换图像中的每一个来计算这种消失点。

如图8a至图8d所示，可以在从第一区域至第四区域中的每一个获取并转换的第一转换图像至第四转换图像中的每一个中观看到消失点。这种消失点的位置可以根据地面状态而变化。例如，当地面状态平坦时，消失点可以位于转换图像的中心处。例如，当地面状态不平坦时，消失点可以位于转换图像的左侧或右侧上，而不是转换图像的中心处。

特别地，在地面不平坦的未铺路面的情况下，由于消失点的位置严重改变，因此难以稳定消失点。因此，为了进行校正，优选地在具有平坦地面的柏油路面上驾驶车辆。

如图8a所示，由于在通过从第一区域即道路的前侧获取图像并转换图像而获得的第一转换图像中，地面状态平坦，因此消失点可以位于第一转换图像的中心处。

如图8b所示，由于在通过从第二区域即道路的后侧获取图像并转换图像而获得的第二转换图像中，地面状态平坦，因此消失点可以位于第二转换图像的中心处。

在图8c和图8d中，在通过从第三区域即道路的右侧获取图像而获得的第三转换图像以及通过从第四区域即道路的左侧获取图像而获得的第四转换图像中，消失点可能偏离中心。

处理器170可以基于消失点来确定消失点的位置变化是否在预定范围内，消失点的位置根据地面状态而改变，并且确定消失点的稳定性(S15)。当消失点的位置变化在预定范围中时，可以确定消失点是稳定的。稳定消失点可能意味着地面平坦。当地面平坦且消失点稳定时，可以准确地执行校正。

作为另一示例，除了预定范围之外，还可以考虑给定时间来确定消失点的稳定性。也就是说，当消失点的位置变化在预定范围中持续预定时间时，可以确定消失点是稳定的。

当消失点稳定时，处理器170可以基于在消失点稳定之后计算出的移动值来计算匹配值(S17)。匹配值可以是外部参数。

可以从三个旋转角度信息偏航、滚动和俯仰和三个轴信息X、Y和Z来计算外部参数。可以基于计算出的移动值来获得三个旋转角度信息偏航、滚动和俯仰和三个轴信息X、Y和Z，并且可以基于三个旋转角度信息偏航、滚动和俯仰和三个轴信息X、Y和Z来计算外部参数即匹配值。可以在预定时间期间连续获得匹配值。

处理器170可以基于多个连续获得的匹配值使用高斯模型来估计最佳匹配值(S19)。

如图9的a所示，当发生当前图像的匹配并且此时设置第一角度时，大多数匹配值可以收敛在设置的第一角度上。在此，角度可以是摄像装置160a、160b、160c或160d的角度或图像的视点角度。

如图9的c所示，图像不匹配可能由于外部环境因素的改变而发生，并且此时的角度可以从第一角度改变为第二角度。

当发生图像不匹配时，根据通过驱动从摄像装置160a、160b、160c和160d获得的转换图像计算出的匹配值变得不同于当发生图像匹配时的匹配值。如图9d和图9e所示，新改变的匹配值可能会收敛在第二角度上。因此，如图9f所示，可以通过匹配值的收敛来估计最佳匹配值。在此，估计可以具有与决策相同的含义。也就是说，可以确定最佳匹配值。

处理器170可以确定校正是否完成(S21)。校正的完成可能意味着确定了最佳匹配值。也就是说，处理器170可以确定确定了最佳匹配值，并且在没有确定最佳匹配值时转至S11。

在此，将详细描述更新步骤S50。

图10是示出根据第一实施方式的在全景环视图像控制装置中更新全景环视图像的方法的流程图。

参照图1、图7和图10，处理器170可以将先前的匹配值更新为估计的匹配值(S51)。先前的匹配值可以存储在存储器140中。

处理器170可以将更新的匹配值存储在存储器140中(S53)。在这种情况下，可以从存储器140中删除先前的匹配值。

作为另一示例，可以将第一区域和第二区域分配至存储器140，可以将先前的匹配值存储在第一区域中，并且可以将估计的匹配值存储在第二区域中。在这种情况下，可以从存储器140中删除先前的匹配值或不从存储器140中删除先前的匹配值。为了便于描述，尽管将两个区域分配至存储器140，但是可以将两个或更多个区域分配至存储器140。

处理器170可以基于更新的匹配值来生成新的全景环视图像(S55)。新的全景环视图像可以存储在存储器140中。新的全景环视图像可以临时存储在存储器140中，并且当如下所描述的未被驾驶员选择时可以从存储器140中删除，但不限于此。

当生成新的全景环视图像时，由先前的匹配值生成的先前的全景环视图像可以存储在存储器140中而没有改变或从存储器140中删除。

处理器170可以输出新的全景环视图像(S57)。新的全景环视图像可以显示在显示器180上。

处理器170可以仅显示新的全景环视图像或者同时显示先前的全景环视图像和新的全景环视图像。

图11是示出根据第二实施方式的在全景环视图像控制装置中更新全景环视图像的方法的流程图。

参照图1、图7和图11，可以将先前的匹配值更新为估计的匹配值(S61)。

可以将先前的匹配值和估计的匹配值分别存储在存储器140中，而不是更新。

处理器170可以基于更新的匹配值来生成用于全景环视图像的新查找表LUT(S63)。

处理器170可以将估计的匹配值和生成的新查找表存储在存储器140中(S65)。另外，可以将先前的匹配值和由先前的匹配值生成的先前的查找表存储在存储器140中，但不限于此。

处理器170可以使用存储在存储器140中的新查找表输出或显示新的全景环视图像(S67)。

作为另一示例，可以将第一区域和第二区域分配至存储器140，可以将先前的匹配值和先前的查找表存储在第一区域中，并且可以将更新的匹配值和新查找表存储在第二区域中。在这种情况下，可以使用存储在存储器140的第一区域中的第一查找表输出或显示先前的全景环视图像，并且可以使用存储在存储器140的第一区域中的第二查找表输出或显示新的全景环视图像。先前的全景环视图像可以被称为第一全景环视图像，并且新的全景环视图像可以被称为第二全景环视图像。

总之，在根据第一实施方式的更新全景环视图像的方法中，可以将先前的匹配值更新为新的匹配值，更新的新匹配值可以存储在存储器140中，并且可以使用所存储的新匹配值来生成并输出新的全景环视图像。因此，根据第一实施方式，由于仅匹配值存储在存储器140中，因此存储器140的容量可以很小，并且因此可以减小存储器140的尺寸。

与之相比，在根据第二实施方式的更新全景环视图像的方法中，可以将先前的匹配值更新为新的匹配值，可以使用更新的匹配值来生成新查找表，新查找表可以存储在存储器140中，并且可以使用所存储的新查找表来生成并输出新的全景环视图像。因此，根据第二实施方式，由于使用新查找表立即输出了新的全景环视图像，因此可以减轻处理器170的处理负担。

在下文中，将详细描述当由于外部环境因素的改变而发生图像失配时的校正方法。

图12是示出当由于外部环境因素的改变而发生图像失配时的校正方法的流程图，图13是示出在校正之前的画面的视图，图14是示出当车辆行驶进行校正时的画面的视图，图15是示出在校正之后关闭画面的状态的视图，以及图16是示出用于显示更新结果的画面的视图。

参照图1、图5、图7以及图10至图15，处理器170可以确定是否执行由于外部环境因素的改变而执行校正(S1100)。

可以通过输入具体定义的事件信号来确定是否执行由于外部环境因素的改变而执行校正。例如，当在画面上提供与由于外部环境因素的改变而引起的校正有关的模式选择按钮时，可以选择模式选择按钮。当选择了模式选择按钮时，可以将用于由于外部环境因素的改变而请求校正的事件信号发送至处理器170，并且处理器170可以通过这种事件信号来确定是否执行由于外部环境因素的改变而执行校正。

如上面所描述的，外部环境因素的改变可以包括例如骑车人、外部撞击、老化等。另外，外部环境因素的改变可以包括用于控制摄像装置160a、160b、160c和160d的装置或摄像装置160a、160b、160c和160d的更换。另外，外部环境因素的改变可以包括在释放车辆之前的未校正。

当确定由于外部环境因素的改变而执行了校正时，处理器170可以执行图5中示出的校正步骤S10。校正步骤S10可以包括如图7所示的步骤S11至S21。处理器170可以执行校正步骤S10，从而估计最佳匹配值。

如图13所示，可以在显示器180的画面上显示其中发生图像不匹配的全景环视图像。其中发生不匹配的全景环视图像可以是尚未校正的图像。具体地，可以将画面划分成第一子画面410和第二子画面420(或区域)，例如，可以在第一子画面上显示前图像或后图像，并且可以在第二子画面上显示其中发生不匹配的全景环视图像。第一子画面和第二子画面可以具有相同的尺寸或不同的尺寸。

如图14的a至c所示，可以在车辆行驶的同时估计最佳匹配值。

当估计了最佳匹配值时，处理器170可以激活显示器关闭功能，使得任何信息例如先前的全景环视图像(S1110)不显示在显示器180上。也就是说，可能阻止先前的全景环视图像的显示。作为另一示例，处理器170可以使用CAN通信向ECU发送关闭控制信号，并且在ECU的控制下关闭车辆，而不是激活显示器关闭功能，但不限于此。

如图15的a和b所示，当通过驾驶车辆来估计最佳匹配值时，不向显示器180提供任何全景环视图像。也就是说，处理器170可以激活显示器关闭功能，使得不再向显示器180提供其中发生失配的全景环视图像。因此，关闭显示器180的画面。

处理器170可以在激活显示器关闭功能的状态下执行图5中示出的更新步骤S50。更新步骤S50可以包括如图10所示的S51至S57或者如图11所示的S61至S67。

处理器170可以执行更新步骤S10，以将先前的匹配值更新为最佳匹配值，或者将最佳匹配值与先前的匹配值分开存储，并且基于最佳匹配值生成新的全景环视图像(匹配的全景环视图像)。也就是说，当激活显示器关闭功能时，可以基于更新的匹配值来生成新的全景环视图像。可以将所生成的新的全景环视图像存储在存储器140中。

可以将先前的全景环视图像(失配的全景环视图像)更新为生成的新的全景环视图像。可以删除更新的新的全景环视图像和先前的全景环视图像。

作为另一示例，可以与先前的全景环视图像分开生成新的全景环视图像。所生成的新的全景环视图像可以与先前的全景环视图像一起存储在存储器140中。

一旦识别出完成了新的全景环视图像的生成，处理器170可以激活显示器开启功能(S1120)，并且在显示器180的画面上显示新的全景环视图像而不是已经显示的先前的全景环视图像(S1130)。也就是说，可以基于画面将先前的全景环视图像改变为新的全景环视图像。

实施方式可以分别包括显示器开启功能和显示器关闭功能。在这种情况下，显示器开启功能和显示器关闭功能可以反向运行。例如，当激活显示器开启功能时，可以去激活显示器关闭功能。

作为另一示例，实施方式可以仅包括显示器开启功能和显示器关闭功能中的一个。在这种情况下，显示器开启/关闭功能可以被激活为显示器开启功能或显示器关闭功能。如果需要，可以去激活显示器开启功能和显示器关闭功能两者，但不限于此。

如图16所示，当激活显示器开启功能时，可以打开显示器180的画面。当打开了显示器的画面时，新的全景环视图像可以显示在显示器180的画面上。

作为另一示例，一旦识别出完成了新的全景环视图像的生成，处理器170可以使用CAN通信向ECU发送启动控制信号并且驱动显示器180以显示信息，但不限于此。在下文中，处理器170可以在显示器180的画面上显示新的全景环视图像，而不是已经显示的先前的全景环视图像。

作为另一示例，例如，当完成了新的全景环视图像的生成时，可以通过语音通知完成了新的全景环视图像的生成。可以响应于与由已识别出语音通知的驾驶员与对触摸板或按钮进行操纵对应的输入信号来打开显示器180的画面，或者可以响应于与由已识别出语音通知的驾驶员与对触摸板或按钮进行操纵对应的输入信号来在显示器180上显示新的全景环视图像。

在下文中，将详细描述通过自诊断来校正图像失配的方法。

图17是示出通过自诊断来校正图像失配的方法的流程图，图18是示出在校正之前的画面的视图，图19是示出当车辆行驶进行校正时的画面的视图，图20是示出用于在执行校正之后同时显示未校正图像和校正图像的画面的视图，以及图21是示出其中选择校正图像并显示更新图像的画面的视图。

参照图1、图5、图7以及图17至图21，处理器170可以确定自诊断是否是必要的(S1200)。

处理器170可以一直检查由全景环视图像提供者提供的全景环视图像并且确定自诊断是否必要的。

作为另一示例，处理器170可以根据预定时间段来执行自诊断。

当自诊断是必要的时，处理器170可以执行图5中示出的校正步骤S10。校正步骤S10可以包括如图7所示的步骤S11至S21。处理器170可以执行校正步骤S10，从而估计最佳匹配值。

如图18所示，可以在显示器180的画面上显示失配的全景环视图像。例如，可以在第一子画面上显示前图像或后图像，并且可以在第二子画面上显示失配的全景环视图像。

如图19的a至c所示，可以在车辆行驶的同时估计最佳匹配值。

处理器170可以基于估计的匹配值来生成新的全景环视图像，并且将所生成的新的全景环视图像临时存储在存储器140中。

随后，处理器170可以通过语音或图像来通知驾驶员完成了新的全景环视图像的生成。

当基于这种通知从驾驶员接收到显示请求信号时，处理器170可以在显示器180上同时输出并显示先前的全景环视图像和新的全景环视图像(S1210)。

如图20的a所示，可以由已识别出通知的驾驶员通过对显示器180的画面上的触摸板或按钮进行操纵来接收显示请求信号。因此，如图20的b所示，可以响应于显示请求信号将画面的第一子画面410和第二子画面420改变为第三子画面430和第四子画面440(或区域)。可以在第三子画面上显示先前的全景环视图像(失配的全景环视图像)，并且可以在第四子画面上显示新的全景环视图像。此时，新的全景环视图像可以是完整地匹配的全景环视图像或不完整的全景环视图像。第三画面和第四画面可以具有相同的尺寸或不同的尺寸。

作为另一示例，不管触摸板或按钮的操作如何，当识别出完成了新的全景环视图像的生成时，处理器170可以控制显示器180的画面以将画面的第一子画面和第二子画面改变为第三子画面和第四子画面，并且同时在第三子画面和第四子画面上分别显示先前的全景环视图像和新的全景环视图像。

处理器170可以基于从驾驶员接收到的选择信号来确定选择了先前的全景环视图像和新的全景环视图像中的哪一个(S1220)。

如图20c所示，可以选择在其上显示先前的全景环视图像的第一子画面和在其上显示新的全景环视图像的第二子画面中的一个。可以通过触摸板或按钮的操纵来进行这种选择。当选择了画面时，可以生成所选择的画面的选择信号并将其发送至处理器170。

当接收到先前的全景环视图像的选择信号时，处理器170可以将第三子画面和第四子画面改变为第一子画面和第二子画面，并且在改变的第二子画面上显示先前的全景环视图像(S1230)。可以在第一子画面上显示前图像或后图像。在这种情况下，可以将临时存储在存储器140中的新的全景环视图像删除，但不限于此。

当接收到新的全景环视图像的选择信号时，处理器170可以对新的全景环视图像(S1240)进行更新。也就是说，可以将先前的全景环视图像更新为临时存储在存储器140中的新的全景环视图像。

处理器170可以将画面的第三子画面和第四子画面改变为第一子画面和第二子画面，并且在改变的第二子画面上显示更新的新的全景环视图像(S1250)。可以在第一子画面上显示前图像或后图像。

如图21所示，可以在显示器180的画面上显示新的全景环视图像。

如果驾驶员不满意更新的新的全景环视图像，则可以通过触摸板的附加操作来生成用于执行附加校正的输入信号。该方法可以通过输入信号移至S10以再次执行校正步骤。

因此，驾驶员可以在观看显示器180的画面的同时，使用全景环视图像控制装置100将全景环视图像校正至令驾驶员满意的水平。

在以上描述中，消失点可以被称为消失信息，移动值可以被称为移动信息，并且匹配值可以被称为匹配信息。

先前的查找表可以被称为第一查找表，并且新查找表可以被称为第二查找表。

先前的全景环视图像可以被称为第一全景环视图像，并且新的全景环视图像或更新的新的全景环视图像可以被称为第二全景环视图像。

根据实施方式的一种处理全景环视图像的方法包括：使用从多个摄像装置获取的图像信息来生成合成的第一全景环视图像信号；在预定时间期间使用从多个摄像装置获取的图像信息来生成校正的第二全景环视图像信号；以及输出第二全景环视图像信号或者第一全景环视图像信号和第二全景环视图像信号。

另外，该方法还可以包括：当输出第一全景环视图像信号和第二全景环视图像信号时，选择第一全景环视图像信号和第二全景环视图像信号中的一个，并且输出第一全景环视图像信号和第二全景环视图像信号中的所选择的图像信号。该方法还可以包括：在输出第二全景环视图像信号时，自动地设置成输出第一全景环视图像信号和第二全景环视图像信号中的第二全景环视图像信号。当在第一全景环视图像中检测到预定范围或更大范围的不匹配时，可以执行第二全景环视图像信号的生成。可以在运输对象移动的同时生成第一全景环视图像信号。第一全景环视图像信号和第二全景环视图像信号的同时输出可以包括在其中运输对象停止的状态下输出。

一种全景环视图像控制装置，包括：多个摄像装置；以及电连接至摄像装置的控制器，该控制器被配置成使用从摄像装置获取的信息来控制图像信号。该控制器可以被配置成：使用从多个摄像装置获取的图像信息来生成合成的第一全景环视图像信号，在预定时间期间使用从多个摄像装置获取的图像信息来生成校正的第二全景环视图像信号，并且输出第二全景环视图像信号或者第一全景环视图像信号和第二全景环视图像信号。在这种情况下，可以将输出信号发送至显示器，从而输出图像。该控制器可以被配置成：当输出第一全景环视图像信号和第二全景环视图像信号时，接收对第一全景环视图像信号和第二全景环视图像信号中的一个的选择并输出第一全景环视图像信号和第二全景环视图像信号中的所选择的图像信号。该控制器可以被配置成：当在预定时间期间使用从多个摄像装置获取的图像信息来生成校正的第二全景环视图像信号时，阻止第一全景环视图像信号的输出，并且输出第二全景环视图像信号。该控制器可以被配置成：当生成第二全景环视图像信号时，输出第一全景环视图像信号和第二全景环视图像信号，并且当接收到第一全景环视图像信号和第二全景环视图像信号中的一个的选择信号时，输出所选择的图像信号。

详细描述将在所有方面被解释为说明性的而非限制性。实施方式的范围应当由所附权利要求书及其合法等同内容来确定，而不是由以上描述来确定，并且落入所附权利要求书的含义和等同范围内的所有改变都旨在包含在其中。

工业适用性

实施方式适用于可移动的对象。这种移动对象的示例包括车辆等。

Claims (11)

1.一种处理全景环视图像的方法，所述方法包括：

基于从多个摄像装置获取的图像信息来生成经合成的第一全景环视图像信号；

在预定时间期间基于从所述多个摄像装置获取的图像信息来生成经校正的第二全景环视图像信号，生成经校正的第二全景环视图像信号包括计算匹配值并且基于所计算的匹配值来估计最佳匹配值；

输出所述第二全景环视图像信号，或者输出所述第一全景环视图像信号和所述第二全景环视图像信号；

当输出所述第一全景环视图像信号和所述第二全景环视图像信号时，选择所述第一全景环视图像信号和所述第二全景环视图像信号中的一个；以及

输出所述第一全景环视图像信号和所述第二全景环视图像信号中的所选择的图像信号，

其中，所述匹配值的计算包括基于在确定消失点稳定之后的移动值来计算所述匹配值，并且确定所述消失点稳定包括确定所述消失点在由所述多个摄像装置之一获取的多个图像中的位置变化在第一预定范围内。

2.根据权利要求1所述的方法，还包括：在输出所述第二全景环视图像信号的情况下，自动地设置成输出在所述第一全景环视图像信号和所述第二全景环视图像信号中的所述第二全景环视图像信号。

3.根据权利要求1所述的方法，其中，当在所述第一全景环视图像中检测到第二预定范围的失配时，执行所述第二全景环视图像信号的生成。

4.根据权利要求1所述的方法，其中，在运输对象移动的同时生成所述第一全景环视图像信号。

5.根据权利要求4所述的方法，其中，所述第一全景环视图像信号和所述第二全景环视图像信号的同时输出包括在运输对象停止的状态下输出。

6.根据权利要求1所述的方法，其中，所述最佳匹配值的计算包括基于多个连续获得的匹配值、利用高斯模型来估计所述最佳匹配值。

7.一种全景环视图像控制装置，包括：

多个摄像装置；以及

连接至所述摄像装置的控制器，所述控制器被配置成基于从所述摄像装置获取的信息来控制图像信号，

其中，所述控制器被配置成：

基于从所述多个摄像装置获取的图像信息来生成经合成的第一全景环视图像信号，

在预定时间期间基于从所述多个摄像装置获取的图像信息、通过计算匹配值并且基于所计算的匹配值估计最佳匹配值来生成经校正的第二全景环视图像信号，并且

输出所述第二全景环视图像信号，或者输出所述第一全景环视图像信号和所述第二全景环视图像信号，

其中，所述匹配值的计算包括基于在确定消失点稳定之后的移动值来计算所述匹配值，并且确定所述消失点稳定包括确定所述消失点在由所述多个摄像装置之一获取的多个图像中的位置变化在预定范围内。

8.根据权利要求7所述的全景环视图像控制装置，其中，所述控制器被配置成：当输出所述第一全景环视图像信号和所述第二全景环视图像信号时，接收对所述第一全景环视图像信号和所述第二全景环视图像信号中的一个的选择，并且输出所述第一全景环视图像信号和所述第二全景环视图像信号中的所选择的图像信号。

9.根据权利要求7所述的全景环视图像控制装置，其中，所述控制器被配置成：

当在所述预定时间期间基于从所述多个摄像装置获取的图像信息来生成所述经校正的第二全景环视图像信号时，阻止所述第一全景环视图像信号的输出，并且

输出所述第二全景环视图像信号。

10.根据权利要求8所述的全景环视图像控制装置，其中，所述控制器被配置成：

当生成所述第二全景环视图像信号时，输出所述第一全景环视图像信号和所述第二全景环视图像信号，并且

当接收到选择所述第一全景环视图像信号和所述第二全景环视图像信号中的一个的信号时，输出所选择的图像信号。

11.根据权利要求7所述的全景环视图像控制装置，其中，所述控制器被配置成基于多个连续获得的匹配值、利用高斯模型来估计所述最佳匹配值。

Images