CN115179863A - 移动体的控制装置及控制方法、存储介质以及车辆 - Google Patents

Abstract

本发明涉及移动体的控制装置及控制方法、存储介质以及车辆，根据移动场景适当地识别移动体的外界。具有一个以上的拍摄装置的移动体的控制装置具备：图像获取部，其从一个以上的拍摄装置获取移动体的外界的图像；修正部，其针对从一个以上的拍摄装置获取到的图像所包含的一个以上的区域分别进行用于减轻图像的失真的失真减轻处理；以及识别部，其基于进行失真减轻处理后的图像来识别移动体的外界，修正部按照与移动体的移动场景相应的预定的规则决定作为失真减轻处理的对象的一个以上的区域。

Description

移动体的控制装置及控制方法、存储介质以及车辆

技术领域

本发明涉及移动体的控制装置及控制方法、存储介质以及车辆。

背景技术

使用多个相机来识别车辆的外界的技术已实用化。外界的识别结果被用于驾驶辅助、自动驾驶。在专利文献1中，提出通过广角镜头的相机以宽范围拍摄车辆的周围的技术。为了对通过广角镜头的相机拍摄到的图像减轻失真而进行坐标转换。

现有技术文献

专利文献

专利文献1：日本特开2018-171964号公报

发明内容

发明所要解决的问题

用于减轻通过安装了广角镜头、鱼眼镜头的相机而拍摄的图像的失真的处理会消耗电力。因此，若为了识别车辆的外界而过度执行减轻失真的处理，则电力消耗量变多。上述那样的电力消耗量的增加不限于车辆，也适用于其他移动体。本发明的一部分的方面的目的在于提供一种用于根据移动场景适当地识别移动体的外界的技术。

用于解决问题的手段

鉴于上述问题，根据一部分的实施方式，提供一种控制装置，其是具有一个以上的拍摄装置的移动体的控制装置，所述控制装置具备：图像获取单元，其从所述一个以上的拍摄装置获取所述移动体的外界的图像；修正单元，其针对从所述一个以上的拍摄装置获取到的图像所包含的一个以上的区域分别进行用于减轻图像的失真的失真减轻处理；以及识别单元，其基于进行所述失真减轻处理后的图像来识别所述移动体的外界，所述修正单元按照与所述移动体的移动场景相应的预定的规则，决定作为所述失真减轻处理的对象的所述一个以上的区域。根据其他部分的实施方式，提供一种控制方法，其是具有一个以上的拍摄装置的移动体的控制方法，所述控制方法具备：图像获取步骤，在所述图像获取步骤中，从所述一个以上的拍摄装置获取所述移动体的外界的图像；修正步骤，在所述修正步骤中，针对从所述一个以上的拍摄装置获取到的图像所包含的一个以上的区域分别进行用于减轻图像的失真的失真减轻处理；以及识别步骤，在所述识别步骤中，基于进行所述失真减轻处理后的图像来识别所述移动体的外界，在所述修正步骤中，按照与所述移动体的移动场景相应的预定的规则决定作为所述失真减轻处理的对象的所述一个以上的区域。

发明效果

根据上述手段，能够根据移动场景适当地识别移动体的外界。

附图说明

图1是说明实施方式所涉及的车辆的构成例的框图。

图2是说明实施方式所涉及的相机的拍摄范围的示意图。

图3是说明实施方式所涉及的失真减轻处理的示意图。

图4是说明实施方式所涉及的失真减轻处理的对象区域的示意图。

图5是说明实施方式所涉及的车辆的控制装置的动作例的流程图。

图6是说明实施方式所涉及的失真减轻处理的对象候选的时机图。

图7是说明实施方式所涉及的通常的行驶场景的示意图。

图8是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图9是说明按照实施方式所涉及的特定的规则的区域的铅垂方向的位置的示意图。

图10是说明按照实施方式所涉及的特定的行驶场景的示意图。

图11是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图12是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图13是说明按照实施方式所涉及的特定的行驶场景的示意图。

图14是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图15是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图16是说明按照实施方式所涉及的特定的规则的区域的铅垂方向的位置的示意图。

图17是说明按照实施方式所涉及的特定的行驶场景的示意图。

图18是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图19是说明按照实施方式所涉及的特定的行驶场景的示意图。

图20是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图21是说明按照实施方式所涉及的特定的行驶场景的示意图。

图22是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图23是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

图24是说明按照实施方式所涉及的特定的行驶场景的示意图。

图25是说明按照实施方式所涉及的特定的规则的状态转变的示意图。

具体实施方式

以下，参照附图对实施方式进行详细说明。需要说明的是，以下的实施方式并非对技术方案所涉及的发明进行限定，另外，在实施方式中说明的特征的组合未必全部都是发明所必须的。也可以对实施方式中说明的多个特征中的两个以上的特征任意地进行组合。另外，对相同或者同样的构成标注相同的附图标记，并省略重复的说明。需要说明的是，在以下的实施方式中，以移动体为车辆来进行说明，移动体不限于车辆而可以是飞行体、机器人等。

图1是本发明的一个实施方式所涉及的车辆1的框图。在图1中，以俯视图和侧视图表示车辆1的概要。作为一个例子，车辆1是轿车型的四轮的乘用车。车辆1可以是上述那样的四轮车辆，也可以是两轮车辆、其他类型的车辆。

车辆1包括对车辆1进行控制的车辆用控制装置2(以下，简称为控制装置2)。控制装置2包括利用车内网络连接为能够通信的多个ECU(Electronic Control Unit：电子控制单元)20～ECU29。各ECU包括CPU(Central Processing Unit：中央处理单元)等处理器、半导体存储器等存储器、外部设备的接口等。在存储器中保存有处理器所执行的程序、处理器在处理中使用的数据等。各ECU可以具备多个处理器、存储器以及接口等。例如，ECU20具备处理器20a和存储器20b。通过由处理器20a执行包括在存储器20b中保存的程序在内的指令，来执行基于ECU20的处理。取而代之，ECU20可以具备用于执行基于ECU20的处理的ASIC(Application Specific Integrated Circuit：特殊应用集成电路)等专用的集成回路。关于其他ECU也相同。

以下，对各ECU20～29所担负的功能等进行说明。需要说明的是，ECU的数量、担负的功能能够适当地设计，可以比本实施方式更细化，或者进行整合。

ECU20执行车辆1的与自动行驶相关的控制。在自动驾驶中，对车辆1的转向、加速减速中的至少任一者进行自动控制。ECU20所进行的自动行驶可以包含不需要驾驶员所进行的行驶操作的自动行驶(也可以称为自动驾驶)、用于辅助驾驶员所进行的行驶操作的自动行驶(也可以称为驾驶辅助)。

ECU21控制电动动力转向装置3。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)对前轮进行转向的机构。另外，电动动力转向装置3包括发挥用于辅助转向操作、或使前轮自动转向的驱动力的马达、检测转向角的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU21与来自ECU20的指示对应地自动控制电动动力转向装置3，控制车辆1的行进方向。

ECU22以及ECU 23进行对车辆的周围的状况进行检测的检测单元的控制以及检测结果的信息处理。作为对车辆的状况进行检测的检测单元，车辆1包含一个标准相机40、四个鱼眼相机41～44。标准相机40及鱼眼相机42、鱼眼相机44与ECU22连接。鱼眼相机41、鱼眼相机43与ECU23连接。ECU22以及23通过对由标准相机40以及鱼眼相机41～44所拍摄的图像进行解析，能够提取目标物的轮廓、道路上的车道的划分线(白线等)。

鱼眼相机41～44是指安装有鱼眼镜头的相机。以下，对鱼眼相机41的构成进行说明。其他鱼眼相机42～44也可以具有同样的构成。鱼眼相机41的视场角比标准相机40的视场角宽。因此，鱼眼相机41能够拍摄比标准相机40更宽的范围。由鱼眼相机41拍摄到的图像与由标准相机40拍摄到的图像相比较而具有较大的失真。因此，ECU23在解析由鱼眼相机41拍摄到的图像前，可以针对该图像进行用于减轻失真的转换处理(以下，称为“失真减轻处理”)。另一方面，ECU22在对由标准相机40拍摄到的图像进行解析前，可以不针对该图像进行失真减轻处理。这样，标准相机40是对不成为失真减轻处理的对象的图像进行拍摄的拍摄装置，鱼眼相机41是对成为失真减轻处理的对象的图像进行拍摄的拍摄装置。替代标准相机40，可以使用对不成为失真减轻处理的对象的图像进行拍摄的其他拍摄装置例如安装有广角镜头、远摄镜头的相机。

标准相机40安装于车辆1的前部中央，对车辆1的前方的状况进行拍摄。鱼眼相机41安装于车辆1的前部中央，对车辆1的前方的状况进行拍摄。在图1中，将标准相机40和鱼眼相机41表示为沿水平方向排列。然而，标准相机40以及鱼眼相机41的配置不限于此，例如也可以使它们沿铅垂方向排列。另外，标准相机40和鱼眼相机41中的至少一方可以安装于车辆1的车顶前部(例如，前窗的车室内侧)。例如，可以是鱼眼相机41安装于车辆1的前部中央(例如，保险杠)，标准相机40安装于车辆1的车顶前部。鱼眼相机42安装于车辆1的右侧部中央，对车辆1的右方的状况进行拍摄。鱼眼相机43安装于车辆1的后部中央，对车辆1的后方的状况进行拍摄。鱼眼相机44安装于车辆1的左侧部中央，对车辆1的左方的状况进行拍摄。

车辆1所具有的相机的种类、个数以及安装位置不限于上述的例子。另外，作为用于对车辆1的周围的目标物进行检测或对与目标物的距离进行测距的检测单元，车辆1也可以包含光学雷达(Light Detection and Ranging：光学检测与测距)、毫米波雷达。

ECU22进行标准相机40以及鱼眼相机42、鱼眼相机44的控制以及检测结果的信息处理。ECU23进行鱼眼相机41、鱼眼相机43的控制以及检测结果的信息处理。通过将对车辆的状况进行检测的检测单元分为两个系统，能够提高检测结果的可靠性。

ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或者通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。能够根据陀螺仪传感器5的检测结果、车轮速度等来判定车辆1的行进路线。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息的服务器进行无线通信，获取这些信息。ECU24能够访问在存储器中构建的地图信息的数据库24a，进行从当前位置地到目的地的路线搜索等。ECU24、地图数据库24a、GPS传感器24b构成所谓的导航装置。

ECU25具备车与车之间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，并进行车辆间的信息交换。

ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，例如包括发动机和变速器。ECU26例如与由设置于油门踏板7A的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)对应地控制发动机的输出，或者基于车速传感器7c检测到的车速等信息来切换变速器的变速档。在车辆1的驾驶状态处于自动驾驶的情况下，ECU26与来自ECU20的指示对应地自动控制动力装置6，控制车辆1的加速减速。

ECU27控制包括方向指示器8(转向灯)的照明器件(前照灯、尾灯等)。在图1的例子中，方向指示器8设置于车辆1的前部、车门后视镜以及后部。

ECU28对输入输出装置9进行控制。输入输出装置9进行对驾驶员的信息的输出、和来自驾驶员的信息的输入的接受。声音输出装置91通过声音向驾驶员通知信息。显示装置92通过图像的显示向驾驶员通知信息。显示装置92例如配置在驾驶席正面，构成仪表板等。需要说明的是，在此，例示了声音和显示，但也可以通过振动、光来通知信息。另外，也可以将声音、显示、振动或者光中的多个组合来报告信息。进一步地，可以根据待报告的信息的等级(例如紧急度)，使组合不同、或使报告方式不同。输入装置93是配置于驾驶员所能够操作的位置，进行针对车辆1的指示的开关组，但也可以包含声音输入装置。

ECU29控制制动装置10、驻车制动器(未图示)。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力而使车辆1减速或停止。ECU29例如与由设置在制动踏板7B上的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)对应地控制制动装置10的工作。在车辆1的驾驶状态为自动驾驶的情况下，ECU29与来自ECU20的指示对应地自动控制制动装置10，控制车辆1的减速以及停止。制动装置10、驻车制动器也能够为了维持车辆1的停止状态而工作。另外，在动力装置6的变速器具备驻车锁定机构的情况下，也能够为了维持车辆1的停止状态而使其工作。

参照图2，对标准相机40以及鱼眼相机41～44的拍摄范围进行说明。图2中的(a)表示各相机的水平方向的拍摄范围，图2中的(b)表示车辆1的前部的鱼眼相机41的铅垂方向的拍摄范围，图2中的(c)表示车辆1的右侧部的鱼眼相机42的铅垂方向的拍摄范围，图2中的(d)表示车辆1的后部的鱼眼相机43的铅垂方向的拍摄范围。在本说明书中，水平方向以及铅垂方向以车辆1的车身为基准。车辆1的左侧部的鱼眼相机42的铅垂方向的拍摄范围可以与图2中的(c)相同，因此省略。

首先，参照图2中的(a)，对车辆1的俯视图(即，车辆1的水平方向)中的拍摄范围进行说明。标准相机40对拍摄范围200所包含的状况进行拍摄。标准相机40的拍摄中心200C朝向车辆1的前方正面。拍摄中心200C也可以由透镜的光轴的方向规定。标准相机40的水平方向的视场角可以小于90°，例如可以为45°左右或30°左右。

鱼眼相机41对拍摄范围201所包含的状况进行拍摄。鱼眼相机41的拍摄中心201C朝向车辆1的前方正面。鱼眼相机42对拍摄范围202所包含的状况进行拍摄。鱼眼相机42的拍摄中心202C朝向车辆1的右方正面。鱼眼相机43对拍摄范围203所包含的状况进行拍摄。鱼眼相机43的拍摄中心203C朝向车辆1的后方正面。鱼眼相机44对拍摄范围204所包含的状况进行拍摄。鱼眼相机44的拍摄中心204C朝向车辆1的左方正面。鱼眼相机41～44的水平方向的视场角例如可以大于90°，也可以大于150°，也可以大于180°，例如可以为180°左右。图2中的(a)示出鱼眼相机41～44的水平方向的视场角为180°的例子。

接着，参照图2中的(b)～图2中的(d)，对车辆1的铅垂方向上的拍摄范围进行说明。在图2中的(b)中，对鱼眼相机41的铅垂方向的拍摄范围进行说明，在图2中的(c)中，对鱼眼相机42的铅垂方向的拍摄范围进行说明，在图2中的(d)中，对鱼眼相机43的铅垂方向的拍摄范围进行说明。其他鱼眼相机44的铅垂方向的拍摄范围也可以与图2中的(c)相同。

鱼眼相机41～44的铅垂方向的视场角例如可以大于90°，也可以大于150°，也可以大于180°，例如可以为180°左右。图2中的(b)～图2中的(d)表示鱼眼相机41～44的铅垂方向的视场角为180°的例子。鱼眼相机43的拍摄中心203C与平行于地面的方向相比朝向下侧(地面侧)。取而代之，鱼眼相机43的拍摄中心203C既可以朝向与地面平行的方向，也可以朝向比与地面平行的方向靠上侧(与地面相反的一侧)。另外，鱼眼相机41～44的拍摄中心201C～204C也可以在铅垂方向上朝向单独的方向。

标准相机40以及鱼眼相机41～44具有上述那样的拍摄范围200～204，由此车辆1的正面前方以及四个倾斜方向包含于两个独立的相机的拍摄范围。具体而言，车辆1的正面前方包含于标准相机40的拍摄范围200和鱼眼相机41的拍摄范围201这两方。车辆1的右斜前方包含于鱼眼相机41的拍摄范围201和鱼眼相机42的拍摄范围202这两方。对于车辆1的其他三个倾斜方向也是同样的。

参照图3以及图4，对由鱼眼相机41～44拍摄到的图像的失真减轻处理进行说明。图3表示失真减轻处理前后的图像。图4表示成为失真减轻处理的对象的区域。图4中的(a)表示从上方观察车辆1的图，图4中的(b)表示从后方观察车辆1的图。图像300是由鱼眼相机42拍摄到的车辆1的右方的状况的图像。如图3所示，图像300特别是在周边部分具有大的失真。

与鱼眼相机42连接的ECU22对图像300进行失真减轻处理。具体而言，如图3所示，ECU22将图像300内的一点决定为转换中心301。如图4所示，转换中心301在水平方向上从鱼眼相机42观察位于拍摄范围202内的右侧，在铅垂方向上朝向与地面平行的方向。

ECU22从图像300截取以转换中心301为中心的矩形的区域302。如图4所示，该区域302与拍摄范围202中的从鱼眼相机42观察位于右侧的区域202R对应。ECU22通过对该区域302进行失真减轻处理，生成失真被减轻的图像303。该图像303是表示区域202R的状况的图像。

作为失真减轻处理的结果，越是接近转换中心301的位置，失真越被减轻，在远离转换中心301的位置，失真不会被减轻、或者失真增大。在将图像300整体作为失真减轻处理的对象的情况下，在位于远离转换中心301的位置的区域中失真变大。因此，即使利用位于该较远位置的区域来解析车辆1的外界，也无法进行高精度的解析。因此，控制装置2将转换中心301设定为解析对象的区域，对转换中心301的周围的区域进行失真减轻处理，使用处理后的图像来对解析对象的区域的状况进行解析。

拍摄范围201包括拍摄车辆1的左斜前方的区域201L、拍摄车辆1的正面前方的区域201F以及拍摄车辆1的右斜前方的区域201R作为解析对象的区域。拍摄范围202包括对车辆1的右斜前方进行拍摄的区域202L、对车辆1的右方正面进行拍摄的区域202F、以及对车辆1的右斜后方进行拍摄的区域202R作为解析对象的区域。拍摄范围203包括对车辆1的右斜后方进行拍摄的区域203L、对车辆1的后方正面进行拍摄的区域203F、以及对车辆1的左斜后方进行拍摄的区域203R作为解析对象的区域。拍摄范围204包括对车辆1的左斜后方进行拍摄的区域204L、对车辆1的左方正面进行拍摄的区域204F、以及对车辆1的左斜前方进行拍摄的区域204R作为解析对象的区域。拍摄范围201也可以以在水平方向上三个区域201L、201F以及201R均等的方式(即，以各区域的水平方向的视场角相等的方式)进行分割。对于其他拍摄范围202～204，也可以均等地分割为三份。

控制装置2在想要解析车辆1的右斜前方的状况的情况下，在鱼眼相机42的拍摄范围202所包含的区域202L内(例如，区域202L的中心)设定转换中心301，对转换中心301的周围的区域进行失真减轻处理，使用处理后的图像来解析右斜前方的状况。控制装置2在想要解析车辆1的右方正面的状况的情况下，在鱼眼相机42的拍摄范围202所包含的区域202F内(例如，区域202F的中心)设定转换中心301，对转换中心301的周围的区域进行失真减轻处理，使用处理后的图像来解析右方正面的状况。控制装置2在想要解析车辆1的右斜后方的状况的情况下，在鱼眼相机42的拍摄范围202所包含的区域202R内(例如，区域202R的中心)设定转换中心301，对转换中心301的周围的区域进行失真减轻处理，使用处理后的图像来解析右斜后方的状况。

参照图5，对在一部分实施方式中控制装置2控制车辆1的方法的例子进行说明。该方法也可以通过控制装置2的各ECU20～29的处理器20a执行存储器20b内的程序来进行。图5的方法也可以根据控制装置2的驾驶辅助功能或自动驾驶功能成为开启的情况而开始。

在步骤S501中，控制装置2分别从标准相机40以及鱼眼相机41～44获取车辆1的外界的图像。各图像包括车辆1的外界中的在图2中说明的范围的状况。

在步骤S502中，控制装置2判定车辆1的当前的行驶场景。在以下说明的例子中，作为车辆的行驶场景，处理为：(1)进入丁字交叉路口的场景或者暂时停止后再起步的场景、(2)在窄路行驶的场景、(3)在交叉路口进行右转或者左转的场景、(4)倒车的场景、(5)进行车道变更的场景。这些以外的场景作为通常(默认)的场景来处理。通常的场景例如包括车辆1沿道路行驶的场景。在本说明书中，对车辆1在采用了左侧通行的国家行驶的情况进行处理。在采用右侧通行的国家中，调换以下的说明中的左转以及右转。

在步骤S503中，控制装置2按照与车辆1的当前的行驶场景相应的规则，决定在步骤S501中获取的图像中的作为失真减轻处理的对象的一个以上的区域。以下，将该规则称为区域决定规则。区域决定规则是事先决定的，例如存储在存储器20b中。稍后将描述区域确定规则的具体例。

在步骤S504中，如图3所示，控制装置2对被决定为失真减轻处理的对象的一个以上区域分别进行失真减轻处理。该失真减轻处理是用于减轻从鱼眼相机41～44获取的图像的失真的处理。在失真减轻处理中也可以使用现有的技术，因此省略详细的说明。不需要对从标准相机40获取的图像进行失真减轻处理。

在步骤S505中，控制装置2基于从标准相机40获取的图像以及从鱼眼相机41～44获取并进行了失真减轻处理的图像识别车辆1的外界。例如，控制装置2也可以通过将修正后的图像应用于事先学习并储存于存储器20b的模型来确定车辆1的周围的目标物。进一步而言，控制装置2也可以根据外界的识别结果来进行车辆1的控制(例如，自动制动、向驾驶员的通知、自动驾驶等级的变更等)。在与外界的识别结果相应的车辆1的控制中也可以应用现有的技术，因此省略详细的说明。

在步骤S506中，控制装置2判定是否结束动作。控制装置2在判定为结束动作的情况下(在步骤S506中为“是”)结束动作，在除此以外的情况下(在步骤S506中为“否”)使动作返回到步骤S501。控制装置2例如也可以根据驾驶辅助功能或自动驾驶功能已关闭的情况来判定为结束动作。

如上所述，重复执行步骤S501至S505。控制装置2也可以周期性地执行步骤S501～S505的动作。该执行周期根据S504的失真减轻处理以及S505的识别处理的所需时间而不同，例如可以是100ms左右。

参照图6，对控制装置2的周期性的动作进行说明。图6的圆圈表示在步骤S505的识别处理中使用的图像的候选。图6的Δt表示执行步骤S501～S505的周期。由于从标准相机40获取的图像的失真小，因此能够不进行步骤S504的失真减轻处理而在步骤S505的识别处理中使用。从鱼眼相机41～44获取到的图像在步骤S504中进行了失真减轻处理之后在步骤S505的识别处理中使用。如上所述，从鱼眼相机获取到的图像能够生成对在水平方向上分割的三个区域分别进行了失真减轻处理的图像。因此，在周期性的动作的一次动作时机中，控制装置2最多能够使用十三个图像来执行识别处理。由于十三个图像中的十二个是从鱼眼相机获取的，所以在识别处理之前进行失真减轻处理。如果对这十二个区域的全部进行失真减轻处理，则处理负荷变大，功耗也变高。因此，在以下的实施方式中，基于车辆1的行驶场景，决定在各动作时机对十二个区域中的哪个区域进行失真减轻处理并用于识别处理。

参照图7至图9，对通常的场景的区域决定规则进行说明。图7表示行驶场景的一例。在图7所示的例子中，车辆1正在直线道路上沿路行驶。

图8表示在各动作时机成为解析对象的区域。控制装置2依次重复状态800～802。即，若在时刻t的动作时机为状态800，则在时刻t+Δt(如上所述，Δt表示周期)的动作时机成为状态801，在时刻t+2×Δt的动作时机成为状态802，在时刻t+3×Δt的动作时机返回至状态800。关于后述的其他行驶场景中的区域决定规则也是同样的。

在状态800中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机42的区域202R、鱼眼相机43的区域203L、鱼眼相机44的区域204R成为解析对象。在状态801中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202F、鱼眼相机43的区域203F、鱼眼相机44的区域204F成为解析对象。在状态802中，标准相机40的拍摄范围200、鱼眼相机41的区域201R、鱼眼相机42的区域202L、鱼眼相机43的区域203R、鱼眼相机44的区域204L成为解析对象。

在鱼眼相机的拍摄范围所包含的区域成为解析对象的情况下，控制装置2对该区域如上述那样进行失真减轻处理。因此，区域决定规则规定成为失真减轻处理的对象的区域的水平方向的位置、和将位于该位置的区域作为失真减轻处理的对象的时机。另外，区域决定规则针对多个鱼眼相机41～44的每一个分别规定规则。

如上所述，通过在每个动作时机转变状态，控制装置2将车辆1的前方正面按每一个周期(即，每次)设为解析对象，将车辆1的右斜前方、右方正面、右斜后方、后方正面、左斜后方、左方正面及左斜前方分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。进而，对于车辆1的前方正面，每隔三个周期进行使用了标准相机40的图像和鱼眼相机的图像这两者的解析，对于车辆1的四个倾斜方向的每一个，每隔三个周期进行使用了两个鱼眼相机的图像这两者的解析。这样，在各动作时机，通过将进行失真修正处理的鱼眼相机41～44的图像的一部分作为解析对象，控制装置2的处理负荷减轻，功耗降低。

图9表示解析对象的区域的铅垂方向上的位置。图9中的(a)表示鱼眼相机41的区域201F的铅垂方向上的位置。图9中的(b)表示鱼眼相机42的区域202F的铅垂方向上的位置。图9中的(c)表示鱼眼相机43的区域203F的铅垂方向上的位置。鱼眼相机44的各区域的铅垂方向上的位置也可以与图9中的(b)相同，因此省略说明。

在区域决定规则中，如图9中的(a)所示，规定区域201F的转换中心301与车辆1的铅垂向下所成的角被规定为θ1。θ1可以是90度，也可以是小于90度的值(例如，80度)。对于区域201R以及201L，也可以将转换中心301与车辆1的铅垂向下所成的角规定为θ1。同样地，对于鱼眼相机42～44的区域，也可以将转换中心301与车辆1的铅垂向下所成的角规定为θ1。这样，区域决定规则规定成为失真减轻处理的对象的区域的铅垂方向的位置。通过将转换中心301与车辆1的铅垂向下所成的角设为θ1(例如90度)，能够均衡地解析车辆1的远方和附近。

参照图10至图12，对车辆1进入丁字交叉路口的场景或车辆1暂时停止后再起步的场景的区域决定规则进行说明。图10表示这样的场景的一例。在图10所示的例子中，车辆1要进入丁字交叉路口。由于在丁字交叉路口之前有暂时停止的标识，所以车辆1在此暂时停止，再起步。在图10的例子中，示出了进行向丁字交叉路口的进入和暂时停止后的再起步这两方的场景，但也可以对仅进行其中一方的场景应用以下的区域决定规则。车辆1进入丁字交叉路口的场景或车辆1暂时停止后再起步的场景的解析对象的区域的铅垂方向上的位置也可以与图9中的说明相同，因此省略重复的说明。

图11表示在区域决定规则的一个例子中，在各动作时机成为解析对象的区域。控制装置2重复状态1100。在状态1100中，标准相机40的拍摄范围200、鱼眼相机41的区域201L及201R、鱼眼相机42的区域202L、鱼眼相机44的区域204R成为解析对象。在该例子中，控制装置2将车辆1的前方正面、右斜前方以及左斜前方分别按每一个周期(即，每次)设为解析对象。另一方面，不将车辆1的右方正面、右斜后方、后方正面、左斜后方以及左方正面作为解析对象。另外，针对车辆1的右斜前方以及左斜前方，每次进行使用了两个鱼眼相机的图像这两方的解析。通过使用来自两个不同的鱼眼相机的图像进行解析，能够执行基于立体视觉的测距，因此能够进行精度更高的解析。

图12表示在区域决定规则的另一例中，在各动作时机成为解析对象的区域。控制装置2依次重复状态1200～1202。在状态1200中，标准相机40的拍摄范围200、鱼眼相机41的区域201L以及201R、鱼眼相机43的区域203L以及203R成为解析对象。在状态1201中，标准相机40的拍摄范围200、鱼眼相机41的区域201L以及201R、鱼眼相机42的区域202F、鱼眼相机44的区域204F成为解析对象。在状态1202中，标准相机40的拍摄范围200、鱼眼相机41的区域201L及201R、鱼眼相机42的区域202L、鱼眼相机44的区域204R成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面、右斜前方以及左斜前方按每一个周期(即，每次)设为解析对象，将车辆1的右方正面、右斜后方、后方正面、左斜后方以及左方正面分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。并且，针对车辆1的右斜前方以及左斜前方，每隔三个周期进行使用了两个鱼眼相机的图像这两方的解析。

在上述的任一个例子中，区域决定规则都规定将车辆1的左斜前方以及右斜前方以比车辆1的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率作为失真减轻处理的对象。在车辆1进入丁字交叉路口的场景或者车辆1暂时停止后再起步的场景中，从车辆1的左斜前方以及右斜前方出现其他交通参与者(行人、自行车、其他车辆)的可能性高。因此，通过以高频率将车辆1的左斜前方以及右斜前方作为解析对象，能够降低控制装置2的处理负荷，并且执行与行驶场景对应的适当的解析。

参照图13～图16，对车辆1在窄路上行驶的场景的区域决定规则进行说明。窄路也可以是车辆1与障碍物的距离为阈值以下(例如50cm以下)的行驶场景。图13表示这样的场景的一例。图13中的(a)表示车辆1在S形弯道上行驶的场景。图13中的(b)表示车辆1在L字路行驶的场景。图13中的(c)表示车辆1与对向车辆会车的场景。图13中的(d)表示车辆1穿过要右转的前行车辆的旁边而行驶的场景。如图13中的(a)及图13中的(b)所示，有时根据道路形状而产生窄路，如图13中的(c)及图13中的(d)所示，有时根据交通状况而产生窄路。

图14表示在区域决定规则的一个例子中，在各动作时机成为解析对象的区域。控制装置2依次重复状态1400～1406。在状态1400中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L以及202F、鱼眼相机44的区域204R成为解析对象。在状态1401中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L以及202R、鱼眼相机44的区域204R成为解析对象。在状态1402中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L、鱼眼相机43的区域203L、鱼眼相机44的区域204R成为解析对象。在状态1403中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L、鱼眼相机43的区域203F、鱼眼相机44的区域204R成为解析对象。在状态1404中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L、鱼眼相机43的区域203R、鱼眼相机44的区域204R成为解析对象。在状态1405中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L、鱼眼相机44的区域204R以及204L成为解析对象。在状态1406中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L、鱼眼相机44的区域204R以及204F成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面、右斜前方以及左斜前方按每一个周期(即，每次)作为解析对象，将车辆1的右方正面、后方正面以及左方正面分别按每七个周期作为解析对象，将车辆1的右斜后方以及左斜后方分别按七个周期中的两次作为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

图15表示在区域决定规则的一个例子中，在各动作时机成为解析对象的区域。控制装置2依次重复状态1500～1502。在状态1500中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202L、鱼眼相机43的区域203F、鱼眼相机44的区域204R成为解析对象。在状态1501中，标准相机40的拍摄范围200、鱼眼相机42的区域202L以及202F、鱼眼相机44的区域204F以及204R成为解析对象。在状态1502中，标准相机40的拍摄范围200、鱼眼相机42的区域202L、鱼眼相机43的区域203L及203R、鱼眼相机44的区域204R成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面、右斜前方以及左斜前方按每一个周期(即，每次)设为解析对象，将车辆1的右方正面、右斜后方、后方正面、左斜后方以及左方正面分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

图16表示解析对象的区域的铅垂方向上的位置。图16中的(a)表示鱼眼相机41的区域201F的铅垂方向上的位置。图16中的(b)表示鱼眼相机42的区域202F的铅垂方向上的位置。图16中的(c)表示鱼眼相机43的区域203F的铅垂方向上的位置。鱼眼相机44的各区域的铅垂方向上的位置也可以与图16中的(b)相同，因此省略说明。

在区域决定规则中，如图16中的(a)所示，规定区域201F的转换中心301与车辆1的铅垂向下所成的角被规定为θ2。θ2是比图9的θ1小的值，例如也可以是70度。对于区域201R以及201L，也可以将转换中心301与车辆1的铅垂向下所成的角规定为θ2。关于鱼眼相机42～44的区域，转换中心301与车辆1的铅垂向下所成的角也被规定为θ3。θ3是比θ2小的值，例如也可以是45度。

这样，在车辆1的前方正面、右斜前方、右方正面、右斜后方、后方正面、左斜后方、左方正面、左斜前方的任一区域中，车辆1在窄路行驶的情况下的解析对象的区域的铅垂方向上的位置与车辆1在窄路以外行驶的情况(例如，上述的通常的场景的情况)相比，都位于下侧(例如，转换中心301朝下)。在车辆1在狭窄路上行驶的情况下，车辆1的车轮有可能撞上路缘石或落到侧沟。通过使解析对象的区域位于下侧，地面附近的状况的解析精度提高。另外，在车辆1在窄路上行驶的情况下的区域决定规则中，鱼眼相机41的前方正面的区域201F成为解析对象。由此，如图16中的(a)所示，能够对不包含于标准相机40的拍摄范围200的车辆1的前方正面的附近进行解析。另外，基于鱼眼相机42的区域202L来解析车辆1的右斜前方的状况。由此，能够解析车辆1的前轮附近的区域。对于左斜前方的状况也是同样的。

在车辆1在窄路行驶的情况下，车辆的侧方正面位于障碍物附近，因此解析远方的必要性低，但车辆的前方(包括右斜前方以及左斜前方)解析到某种程度的远方较好。因此，在上述的例子中，使包含车辆1的右斜前方以及左斜前方的区域的铅垂方向上的位置比包含车辆1的右方正面以及左方正面的区域的铅垂方向上的位置靠上侧(即，θ2＞θ3)。

在上述的任一个例子中，区域决定规则都规定将车辆1的右斜前方以及左斜前方以比车辆1的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率作为失真减轻处理的对象。在车辆1在窄路行驶的场景下，车辆1与处于左斜前方以及右斜前方的物体接触的可能性高。因此，通过以高频率将车辆1的左斜前方以及右斜前方作为解析对象，能够降低控制装置2的处理负荷，并且执行与行驶场景对应的适当的解析。

参照图17～图20，对车辆1在交叉路口处转弯的场景的区域决定规则进行说明。图17及图19表示这样的场景的一例。在图17所示的例子中，车辆1在交叉路口左转。在左侧通行的国家，左转是指车辆1在交叉路口向不与对向车道交叉的方向转弯。在图19所示的例子中，车辆1在交叉路口右转。在左侧通行的国家，右转是指车辆1在交叉路口向与对向车道交叉的方向转弯。车辆1在交叉路口处转弯的场景的解析对象的区域的铅垂方向上的位置也可以与图9中的说明相同，因此省略重复的说明。

图18表示在车辆1在交叉路口左转的场景的区域决定规则的一例中，在各动作时机成为解析对象的区域。控制装置2依次重复状态1800～1802。在状态1800中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机42的区域202R、鱼眼相机43的区域203R、鱼眼相机44的区域204F成为解析对象。在状态1801中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机42的区域202F、鱼眼相机43的区域203F以及203R、鱼眼相机44的区域204F成为解析对象。在状态1802中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机42的区域202L、鱼眼相机43的区域203L及203R、鱼眼相机44的区域204F成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面、左斜前方、左斜正面以及左斜后方按每一个周期(即，每次)设为解析对象，将车辆1的右斜前方、右斜正面、右斜后方以及后方正面分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

图20表示在车辆1在交叉路口右转的场景的区域决定规则的一例中，在各动作时机成为解析对象的区域。控制装置2依次重复状态2000～2002。在状态2000中，标准相机40的拍摄范围200、鱼眼相机41的区域201F及201R、鱼眼相机43的区域203L、鱼眼相机44的区域204F成为解析对象。在状态2001中，标准相机40的拍摄范围200、鱼眼相机41的区域201F及201R、鱼眼相机43的区域203F、鱼眼相机44的区域204R成为解析对象。在状态2002中，标准相机40的拍摄范围200、鱼眼相机41的区域201F及201R、鱼眼相机42的区域202F、鱼眼相机43的区域203R成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面以及右斜前方按每一个周期(即，每次)设为解析对象，将车辆1的右方正面、右斜后方、后方正面、左斜前方、左方正面以及左斜后方分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

在上述的任一个例子中，区域决定规则都规定将车辆1转弯的方向的车辆1的斜前方以比车辆1的后方正面以及车辆1转弯的方向的相反侧的车辆1的侧方(包括斜前方、侧方正面以及斜后方)高的频率作为失真减轻处理的对象。在车辆1在交叉路口转弯的场景中，从车辆1的转弯方向的斜前方出现其他交通参与者(行人、自行车、其他车辆)的可能性高。因此，通过以高频率将车辆1转弯的方向的斜前方作为解析对象，能够降低控制装置2的处理负荷，并且执行与行驶场景对应的适当的解析。

在上述的例子中，在车辆1左转的情况下，将车辆1的左斜后方以比与车辆1转弯的方向相反的一侧的车辆1的侧方(包括斜前方、侧方正面以及斜后方)高的频率作为失真减轻处理的对象。这样，通过以高频率将车辆1的左斜后方作为解析对象，能够提高成为左转时的卷入事故的原因的交通参与者的识别精度。区域决定规则规定在车辆1右转的情况下，将车辆1的前方正面以比与车辆1转弯的方向相反的一侧的车辆1的侧方(包括斜前方、侧方正面以及斜后方)高的频率作为失真减轻处理的对象。这样，通过以高频率将车辆1的前方正面作为解析对象，右转时的对向车辆的识别精度提高。

参照图21～图23，对车辆1倒车的场景的区域决定规则进行说明。图21表示这样的场景的一例。在图21所示的例子中，车辆1为了从停车空间起步而要倒车。车辆1倒车的场景的解析对象的区域的铅垂方向上的位置也可以与图16中的说明相同，因此省略重复的说明。

图22表示在区域决定规则的一个例子中，在各动作时机成为解析对象的区域。控制装置2依次重复状态2200～2204。在状态2200中，标准相机40的拍摄范围200、鱼眼相机43的区域203L、203F以及203R、鱼眼相机44的区域204F成为解析对象。在状态2201中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机43的区域203L、203F以及203R成为解析对象。在状态2202中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机43的区域203L、203F以及203R成为解析对象。在状态2203中，标准相机40的拍摄范围200、鱼眼相机41的区域201R、鱼眼相机43的区域203L、203F以及203R成为解析对象。在状态2204中，标准相机40的拍摄范围200、鱼眼相机42的区域202F、鱼眼相机43的区域203L、203F以及203R成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面、右斜后方、后方正面、以及左斜后方按每一个周期(即，每次)设为解析对象，将车辆1的左斜前方、右斜前方、右方正面、左方正面、以及左斜前方分别按每五个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

图23表示在区域决定规则的一个例子中，在各动作时机成为解析对象的区域。控制装置2依次重复状态2300～2205。在状态2300中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机43的区域203L、203F以及203R成为解析对象。在状态2301中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机42的区域202F、鱼眼相机43的区域203F、鱼眼相机44的区域204F成为解析对象。在状态2302中，标准相机40的拍摄范围200、鱼眼相机41的区域201R、鱼眼相机43的区域203L、203F以及203R成为解析对象。在状态2303中，标准相机40的拍摄范围200、鱼眼相机41的区域201L、鱼眼相机42的区域202F、鱼眼相机43的区域203F、鱼眼相机44的区域204F成为解析对象。在状态2304中，标准相机40的拍摄范围200、鱼眼相机41的区域201F、鱼眼相机43的区域203L、203F以及203R成为解析对象。在状态2305中，标准相机40的拍摄范围200、鱼眼相机41的区域201R、鱼眼相机42的区域202F、鱼眼相机43的区域203F、鱼眼相机44的区域204F成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的前方正面以及后方正面按每一个周期(即，每次)设为解析对象，将车辆1的右斜后方以及左斜后方分别按每两个周期设为解析对象，将车辆1的右斜前方、右方正面、左方正面以及左斜前方分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

在上述的任一个例子中，区域决定规则都规定将车辆1的后方正面、右斜后方以及左斜后方以比车辆1的右斜前方以及左斜前方高的频率作为失真减轻处理的对象。在车辆1倒车的场景中，从车辆1的左斜后方、后方正面以及右斜后方出现其他交通参与者(行人、自行车、其他车辆)的可能性高。因此，通过以高频率将车辆1的后方正面、右斜后方以及左斜后方作为解析对象，能够降低控制装置2的处理负荷，并且执行与行驶场景对应的适当的解析。进一步而言，在图23的例子中，将车辆1的后方正面以比车辆1的右斜后方以及左斜后方高的频率作为失真减轻处理的对象。车辆1的前方正面每次都是来自标准相机40的图像的解析对象，但在车辆1的后方正面不存在这样的标准相机。因此，也可以将鱼眼相机43拍摄到的后方正面的图像以高频率作为解析对象。

在上述的例子中，区域决定规则规定在车辆1倒车的情况下，与车辆1前进的情况相比，将包含车辆1的后方正面的区域的铅垂方向上的位置设为下侧。由此，能够提高从驾驶员来看成为死角的车辆1的后方正面附近的解析精度。

参照图24以及图25，对车辆1进行车道变更的场景的区域决定规则进行说明。图24表示这样的场景的一例。车道变更可以按照向目的地的行驶计划来进行，也可以为了避免车辆1的前方的障碍物(例如，其他车辆的插队、行人的冲出)而进行。

图25表示在区域决定规则的一个例子中，在各动作时机成为解析对象的区域。图25处理车辆1向右侧的车道移动的情况。在车辆1向左侧的车道移动的情况下，左右翻转。控制装置2依次重复状态2500～2505。在状态2500中，标准相机40的拍摄范围200、鱼眼相机41的区域201L及201R、鱼眼相机42的区域202F、鱼眼相机44的区域204F成为解析对象。在状态2501中，标准相机40的拍摄范围200、鱼眼相机41的区域201L以及201R、鱼眼相机43的区域203L以及203R成为解析对象。在状态2502中，标准相机40的拍摄范围200、鱼眼相机41的区域201L以及201R、鱼眼相机42的区域202F、鱼眼相机43的区域203F成为解析对象。在状态2503中，标准相机40的拍摄范围200、鱼眼相机41的区域201L及201R、鱼眼相机43的区域203L、鱼眼相机44的区域204F成为解析对象。在状态2504中，标准相机40的拍摄范围200、鱼眼相机41的区域201L及201R、鱼眼相机42的区域202F、鱼眼相机43的区域203R成为解析对象。在状态2505中，标准相机40的拍摄范围200、鱼眼相机41的区域201L及201R、鱼眼相机43的区域203L及203F成为解析对象。

通过如上述那样在每个动作时机转变状态，控制装置2将车辆1的左斜前方、前方正面以及右斜前方按每一个周期(即，每次)设为解析对象，将车辆1的右方正面以及右斜后方分别按每两个周期设为解析对象，将车辆1的后方正面、左斜后方以及左方正面分别按每三个周期设为解析对象。另外，为了使负荷在特定的动作时机不集中于控制装置2，将不作为解析对象的区域分散为多个动作时机。

在上述的例子中，区域决定规则规定将车辆1的右斜前方以及左斜前方以比左右中的车辆1的移动方向的正面以及左右中的车辆1的移动方向的斜后方高的频率作为失真减轻处理的对象。进一步而言，区域决定规则规定将左右中的车辆1的移动方向的正面以及左右中的车辆1的移动方向的斜后方以比左右中的与车辆1的移动方向相反的一侧的正面以及左右中的与车辆1的移动方向相反的一侧的斜后方高的频率作为失真减轻处理的对象。在车辆1进行车道变更的情况下，将作为车辆的行进方向的前方(包括左斜前方、前方正面以及右斜前方)以高频率作为解析对象，并且将车辆的移动方向(例如，如果是向右侧的车道的移动，则为右方正面以及右斜后方)以高于其相反侧(例如，如果是向右侧的车道的移动，则为左方正面以及左斜后方)的频率作为解析对象。由此，能够降低控制装置2的处理负荷，并且执行与行驶场景相应的适当的解析。

车辆1进行车道变更的场景的解析对象的区域的铅垂方向上的位置也可以与图9中的说明相同。取而代之，区域决定规则也可以规定使左右中的包含与车辆1的移动方向相反的一侧的斜前方的区域的铅垂方向上的位置比左右中的包含车辆1的移动方向的斜前方的区域的铅垂方向上的位置靠下侧。例如，如果车辆1是向右侧的车道的移动，则也可以使基于鱼眼相机44的区域204R的铅垂方向上的位置比基于鱼眼相机42的区域204L的铅垂方向上的位置靠下侧。例如在为了紧急避让而进行车道变更的情况下，成为紧急避让的原因的物体存在于车辆1的附近的可能性高。因此，通过将左右中的包含与车辆1的移动方向相反的一侧的斜前方的区域的铅垂方向上的位置设为下侧，能够高精度地识别该物体。

对上述实施方式的变形例进行说明。控制装置2除了与车辆1的当前的行驶场景相应的规则以外，还基于车辆1的驾驶员的视线方向来决定作为失真减轻处理的对象的一个以上的区域。控制装置2例如也可以基于由安装于车辆1的司机监视相机(未图示)拍摄到的图像来判定驾驶员的视线方向。认为即使控制装置2不进行识别处理，驾驶员的视线方向也会由驾驶员进行与状况相应的动作。因此，控制装置2也可以针对车辆1的外界中的驾驶员的视线方向的区域，降低作为失真减轻处理的对象的频率。例如，在驾驶员观察车辆1的左斜后方的情况下，控制装置2也可以降低将鱼眼相机41的区域201L或者鱼眼相机44的区域204R作为解析对象的频率。

＜实施方式的总结＞

＜项目1＞

一种控制装置，其是具有一个以上的拍摄装置(41～44)的移动体(1)的控制装置(2)，

所述控制装置具备：

图像获取单元，其从所述一个以上的拍摄装置获取所述移动体的外界的图像(300)；

修正单元，其针对从所述一个以上的拍摄装置获取到的图像所包含的一个以上的区域(302)分别进行用于减轻图像的失真的失真减轻处理；以及

识别单元，其基于进行所述失真减轻处理后的图像(303)来识别所述移动体的外界，

所述修正单元按照与所述移动体的移动场景相应的预定的规则，决定作为所述失真减轻处理的对象的所述一个以上的区域。

根据该项目，能够根据移动场景适当地识别移动体的外界。

＜项目2＞

根据项目1所记载的控制装置，

所述修正单元针对每个预定的周期进行所述失真减轻处理，

所述预定的规则是规定针对每个所述预定的周期的作为所述失真减轻处理的对象的区域的规则。

根据该项目，能够以指定的频率分析应关注的区域。

＜项目3＞

根据项目1或2所记载的控制装置，

所述预定的规则规定如下内容：

作为所述失真减轻处理的对象的区域的水平方向上的位置；以及

将处于所述位置的区域作为所述失真减轻处理的对象的时机。

根据该项目，能够以指定的频率分析在水平方向上应关注的位置。

＜项目4＞

根据项目1至3中任一项所记载的控制装置，所述预定的规则规定作为所述失真减轻处理的对象的区域的铅垂方向上的位置。

根据该项目，能够重点地分析在铅垂方向上应关注的位置。

＜项目5＞

根据项目1至4中任一项所记载的控制装置，

所述移动体具有多个拍摄装置，

所述图像获取单元从所述多个拍摄装置分别获取所述移动体的外界的图像，

所述预定的规则针对所述多个拍摄装置分别规定单独的规则。

根据该项目，能够选择并重点地分析多个拍摄装置的拍摄范围所包含的单独的区域。

＜项目6＞

根据项目5所记载的控制装置，

所述多个拍摄装置包括：

第一拍摄装置(41)，其拍摄所述移动体的前方正面、右斜前方以及左斜前方；

第二拍摄装置(43)，其拍摄所述移动体的后方正面、右斜后方以及左斜后方；

第三拍摄装置(42)，其拍摄所述移动体的右方正面、右斜前方以及右斜后方；以及

第四拍摄装置(44)，其拍摄所述移动体的左方正面、左斜前方以及左斜后方。

根据该项目，能够全方位地分析移动体的周围。

＜项目7＞

根据项目1至6中任一项所记载的控制装置，所述移动体是车辆(1)，所述移动场景是所述车辆的行驶场景。

根据该项目，能够重点地分析车辆行驶时应关注的方向。

＜项目8＞

根据项目7所记载的控制装置，

在所述车辆进入到丁字交叉路口的情况下或在所述车辆暂时停止后再起步的情况下，

所述预定的规则规定以比所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率将所述车辆的左斜前方以及右斜前方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在进入丁字交叉路口时或暂时停止后再起步时应关注的方向。

＜项目9＞

根据项目7或8所记载的控制装置，

在所述车辆进入到丁字交叉路口的情况下或在所述车辆暂时停止后再起步的情况下，

所述预定的规则规定以相同的时机将从两个拍摄装置获取到的两个图像中的、包含所述车辆的斜前方的两个区域作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在进入丁字交叉路口时或暂时停止后再起步时应关注的方向。

＜项目10＞

根据项目7至9中任一项所记载的控制装置，

在所述车辆行驶在窄路的情况下，

所述预定的规则规定以比所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率将所述车辆的左斜前方以及右斜前方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在行驶在窄路时应关注的方向。

＜项目11＞

根据项目7至10中任一项所记载的控制装置，

在所述车辆行驶在窄路的情况下，

所述预定的规则规定以比所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率将所述车辆的右斜前方以及左斜前方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在行驶在窄路时应关注的方向。

＜项目12＞

根据项目7至11中任一项所记载的控制装置，

在所述车辆行驶在窄路的情况下，与所述车辆行驶在非窄路的其他道路的情况相比，

所述预定的规则将包含所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面的区域的铅垂方向上的位置规定为靠下侧。

根据该项目，能够重点地分析在行驶在窄路时应关注的方向。

＜项目13＞

根据项目7至11中任一项所记载的控制装置，

在所述车辆行驶在窄路的情况下，与所述车辆行驶在非窄路的其他道路的情况相比，

所述预定的规则将包含所述车辆的前方正面、右斜前方以及左斜前方的区域的铅垂方向上的位置规定为靠下侧。

根据该项目，能够重点地分析在行驶在窄路时应关注的方向。

＜项目14＞

根据项目7至13中任一项所记载的控制装置，

在所述车辆行驶在窄路的情况下，

所述预定的规则将包含所述车辆的右斜前方以及左斜前方的区域的铅垂方向上的位置规定为比包含所述车辆的右方正面以及左方正面的区域的铅垂方向上的位置靠上侧。

根据该项目，能够重点地分析在行驶在窄路时应关注的方向。

＜项目15＞

根据项目7至14中任一项所记载的控制装置，

在所述车辆在交叉路口转弯的情况下，

所述预定的规则规定以比所述车辆的后方正面以及与所述车辆转弯的方向相反的一侧的所述车辆的斜后方高的频率将所述车辆转弯的方向上的所述车辆的斜前方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在交叉路口转弯时应关注的方向。

＜项目16＞

根据项目15所记载的控制装置，

在所述车辆在交叉路口向与对向车道交叉的方向转弯的情况下，

所述预定的规则规定以比所述车辆的后方正面以及与所述车辆转弯的方向相反的一侧的所述车辆的斜后方高的频率将所述车辆的前方正面作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在交叉路口转弯时应关注的方向。

＜项目17＞

根据项目15或16所记载的控制装置，

在所述车辆在交叉路口向不与对向车道交叉的方向转弯的情况下，

所述预定的规则规定以比所述车辆的后方正面以及与所述车辆转弯的方向相反的一侧的所述车辆的斜后方高的频率将所述车辆转弯的方向上的所述车辆的斜后方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在交叉路口转弯时应关注的方向。

＜项目18＞

根据项目7至17中任一项所记载的控制装置，

在所述车辆倒车的情况下，

所述预定的规则规定以比所述车辆的右斜前方以及左斜前方高的频率将所述车辆的后方正面、右斜后方以及左斜后方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在倒车时应关注的方向。

＜项目19＞

根据项目18所记载的控制装置，

在所述车辆倒车的情况下，

所述预定的规则以比所述车辆的右斜后方以及左斜后方高的频率将所述车辆的后方正面作为所述失真减轻处理的对象。

根据该项目，能够重点地分析在倒车时应关注的方向。

＜项目20＞

根据项目7至19中任一项所记载的控制装置，

在所述车辆倒车的情况下，与所述车辆前进的情况相比，

所述预定的规则将包含所述车辆的后方正面的区域的铅垂方向上的位置规定为靠下侧。

根据该项目，能够重点地分析在倒车时应关注的方向。

＜项目21＞

根据项目7至20中任一项所记载的控制装置，

在所述车辆进行车道变更的情况下，

所述预定的规则规定以比左右之中所述车辆的移动方向上的正面以及左右之中所述车辆的移动方向上的斜后方高的频率将所述车辆的右斜前方以及左斜前方作为所述失真减轻处理的对象，

所述预定的规则规定以比左右之中与所述车辆的移动方向相反的一侧的正面以及左右之中与所述车辆的移动方向相反的一侧的斜后方高的频率将左右之中所述车辆的移动方向上的正面以及左右之中所述车辆的移动方向上的斜后方作为所述失真减轻处理的对象。

根据该项目，能够重点地分析车道变更时应关注的方向。

＜项目22＞

根据项目7至21中任一项所记载的控制装置，

在所述车辆进行车道变更的情况下，

所述预定的规则将包含左右之中与所述车辆的移动方向相反的一侧的斜前方的区域的铅垂方向上的位置规定为比包含左右之中所述车辆的移动方向的斜前方的区域的铅垂方向上的位置靠下侧。

根据该项目，能够重点地分析车道变更时应关注的方向。

＜项目23＞

根据项目1至22中任一项所记载的控制装置，所述一个以上的拍摄装置分别是安装有鱼眼镜头的拍摄装置。

根据该项目，能够扩大拍摄装置的拍摄范围。

＜项目24＞

根据项目1至23中任一项所记载的控制装置，所述移动体还具有其他拍摄装置(40)，该其他拍摄装置拍摄比失真所述一个以上的拍摄装置少的图像，

所述图像获取单元从所述其他拍摄装置获取所述移动体的外界的图像，

所述识别单元还基于来自所述其他拍摄装置的图像来识别所述移动体的外界。

根据该项目，能够使用多个类型的拍摄装置来识别外界。

＜项目25＞

一种车辆，其具备项目1至24中任一项所记载的控制装置。

根据该项目，以车辆的方式得到上述的效果。

＜项目26＞

一种程序，其使计算机作为项目1至24中任一项所记载的控制装置的各单元而发挥功能。

根据该项目，以程序的方式得到上述的效果。

＜项目27＞

一种控制方法，其是具有一个以上的拍摄装置(41～44)的移动体(1)的控制方法，

所述控制方法包括：

图像获取步骤，在所述图像获取步骤中，从所述一个以上的拍摄装置获取所述移动体的外界的图像(300)；

修正步骤，在所述修正步骤中，针对从所述一个以上的拍摄装置获取到的图像所包含的一个以上的区域(302)分别进行用于减轻图像的失真的失真减轻处理；以及

识别步骤，在所述识别步骤中，基于进行所述失真减轻处理后的图像(303)来识别所述移动体的外界，

在所述修正步骤中，按照与所述移动体的移动场景相应的预定的规则决定作为所述失真减轻处理的对象的所述一个以上的区域。

根据该项目，能够根据移动场景适当地识别移动体的外界。

本发明不限于上述的实施方式，可以在本发明的主旨的范围内进行各种变形、变更。

Claims (27)

1.一种控制装置，该控制装置是具有一个以上的拍摄装置的移动体的控制装置，

其特征在于，

所述控制装置具备：

图像获取单元，其从所述一个以上的拍摄装置获取所述移动体的外界的图像；

修正单元，其针对从所述一个以上的拍摄装置获取到的图像所包含的一个以上的区域分别进行用于减轻图像的失真的失真减轻处理；以及

识别单元，其基于进行所述失真减轻处理后的图像来识别所述移动体的外界，

所述修正单元按照与所述移动体的移动场景相应的预定的规则，决定作为所述失真减轻处理的对象的所述一个以上的区域。

2.根据权利要求1所述的控制装置，其特征在于，

所述修正单元针对每个预定的周期进行所述失真减轻处理，

所述预定的规则是规定针对每个所述预定的周期的作为所述失真减轻处理的对象的区域的规则。

3.根据权利要求1所述的控制装置，其特征在于，

所述预定的规则规定如下内容：

作为所述失真减轻处理的对象的区域的水平方向上的位置；以及

将处于所述位置的区域作为所述失真减轻处理的对象的时机。

4.根据权利要求1所述的控制装置，其特征在于，所述预定的规则规定作为所述失真减轻处理的对象的区域的铅垂方向上的位置。

5.根据权利要求1所述的控制装置，其特征在于，

所述移动体具有多个拍摄装置，

所述图像获取单元从所述多个拍摄装置分别获取所述移动体的外界的图像，

所述预定的规则针对所述多个拍摄装置分别规定单独的规则。

6.根据权利要求5所述的控制装置，其特征在于，

所述多个拍摄装置包括：

第一拍摄装置，其拍摄所述移动体的前方正面、右斜前方以及左斜前方；

第二拍摄装置，其拍摄所述移动体的后方正面、右斜后方以及左斜后方；

第三拍摄装置，其拍摄所述移动体的右方正面、右斜前方以及右斜后方；以及

第四拍摄装置，其拍摄所述移动体的左方正面、左斜前方以及左斜后方。

7.根据权利要求1所述的控制装置，其特征在于，所述移动体是车辆，所述移动场景是所述车辆的行驶场景。

8.根据权利要求7所述的控制装置，其特征在于，

在所述车辆进入到丁字交叉路口的情况下或在所述车辆暂时停止后再起步的情况下，

所述预定的规则规定以比所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率将所述车辆的左斜前方以及右斜前方作为所述失真减轻处理的对象。

9.根据权利要求7所述的控制装置，其特征在于，

在所述车辆进入到丁字交叉路口的情况下或在所述车辆暂时停止后再起步的情况下，

所述预定的规则规定以相同的时机将从两个拍摄装置获取到的两个图像中的、包含所述车辆的斜前方的两个区域作为所述失真减轻处理的对象。

10.根据权利要求7所述的控制装置，其特征在于，

在所述车辆行驶在窄路的情况下，

所述预定的规则规定以比所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率将所述车辆的左斜前方以及右斜前方作为所述失真减轻处理的对象。

11.根据权利要求7所述的控制装置，其特征在于，

在所述车辆行驶在窄路的情况下，

所述预定的规则规定以比所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面高的频率将所述车辆的右斜前方以及左斜前方作为所述失真减轻处理的对象。

12.根据权利要求7所述的控制装置，其特征在于，

在所述车辆行驶在窄路的情况下，与所述车辆行驶在非窄路的其他道路的情况相比，

所述预定的规则将包含所述车辆的右方正面、左方正面、右斜后方、左斜后方以及后方正面的区域的铅垂方向上的位置规定为靠下侧。

13.根据权利要求7所述的控制装置，其特征在于，

在所述车辆行驶在窄路的情况下，与所述车辆行驶在非窄路的其他道路的情况相比，

所述预定的规则将包含所述车辆的前方正面、右斜前方以及左斜前方的区域的铅垂方向上的位置规定为靠下侧。

14.根据权利要求7所述的控制装置，其特征在于，

在所述车辆行驶在窄路的情况下，

所述预定的规则将包含所述车辆的右斜前方以及左斜前方的区域的铅垂方向上的位置规定为比包含所述车辆的右方正面以及左方正面的区域的铅垂方向上的位置靠上侧。

15.根据权利要求7所述的控制装置，其特征在于，

在所述车辆在交叉路口转弯的情况下，

所述预定的规则规定以比所述车辆的后方正面以及与所述车辆转弯的方向相反的一侧的所述车辆的斜后方高的频率将所述车辆转弯的方向上的所述车辆的斜前方作为所述失真减轻处理的对象。

16.根据权利要求15所述的控制装置，其特征在于，

在所述车辆在交叉路口向与对向车道交叉的方向转弯的情况下，

所述预定的规则规定以比所述车辆的后方正面以及与所述车辆转弯的方向相反的一侧的所述车辆的斜后方高的频率将所述车辆的前方正面作为所述失真减轻处理的对象。

17.根据权利要求15所述的控制装置，其特征在于，

在所述车辆在交叉路口向不与对向车道交叉的方向转弯的情况下，

所述预定的规则规定以比所述车辆的后方正面以及与所述车辆转弯的方向相反的一侧的所述车辆的斜后方高的频率将所述车辆转弯的方向上的所述车辆的斜后方作为所述失真减轻处理的对象。

18.根据权利要求7所述的控制装置，其特征在于，

在所述车辆倒车的情况下，

所述预定的规则规定以比所述车辆的右斜前方以及左斜前方高的频率将所述车辆的后方正面、右斜后方以及左斜后方作为所述失真减轻处理的对象。

19.根据权利要求18所述的控制装置，其特征在于，

在所述车辆倒车的情况下，

所述预定的规则以比所述车辆的右斜后方以及左斜后方高的频率将所述车辆的后方正面作为所述失真减轻处理的对象。

20.根据权利要求7所述的控制装置，其特征在于，

在所述车辆倒车的情况下，与所述车辆前进的情况相比，

所述预定的规则将包含所述车辆的后方正面的区域的铅垂方向上的位置规定为靠下侧。

21.根据权利要求7所述的控制装置，其特征在于，

在所述车辆进行车道变更的情况下，

所述预定的规则规定以比左右之中所述车辆的移动方向上的正面以及左右之中所述车辆的移动方向上的斜后方高的频率将所述车辆的右斜前方以及左斜前方作为所述失真减轻处理的对象，

所述预定的规则规定以比左右之中与所述车辆的移动方向相反的一侧的正面以及左右之中与所述车辆的移动方向相反的一侧的斜后方高的频率将左右之中所述车辆的移动方向上的正面以及左右之中所述车辆的移动方向上的斜后方作为所述失真减轻处理的对象。

22.根据权利要求7所述的控制装置，其特征在于，

在所述车辆进行车道变更的情况下，

所述预定的规则将包含左右之中与所述车辆的移动方向相反的一侧的斜前方的区域的铅垂方向上的位置规定为比包含左右之中所述车辆的移动方向的斜前方的区域的铅垂方向上的位置靠下侧。

23.根据权利要求1所述的控制装置，其特征在于，所述一个以上的拍摄装置分别是安装有鱼眼镜头的拍摄装置。

24.根据权利要求1所述的控制装置，其特征在于，

所述移动体还具有其他拍摄装置，该其他拍摄装置拍摄失真比所述一个以上的拍摄装置少的图像，

所述图像获取单元从所述其他拍摄装置获取所述移动体的外界的图像，

所述识别单元还基于来自所述其他拍摄装置的图像来识别所述移动体的外界。

25.一种车辆，其具备权利要求1至24中任一项所述的控制装置。

26.一种存储介质，其存储有用于使计算机作为权利要求1至24中任一项所述的控制装置的各单元而发挥功能的程序。

27.一种控制方法，该控制方法是具有一个以上的拍摄装置的移动体的控制方法，其特征在于，

所述控制方法包括：

图像获取步骤，在所述图像获取步骤中，从所述一个以上的拍摄装置获取所述移动体的外界的图像；

修正步骤，在所述修正步骤中，针对从所述一个以上的拍摄装置获取到的图像所包含的一个以上的区域分别进行用于减轻图像的失真的失真减轻处理；以及

识别步骤，在所述识别步骤中，基于进行所述失真减轻处理后的图像来识别所述移动体的外界，

在所述修正步骤中，按照与所述移动体的移动场景相应的预定的规则决定作为所述失真减轻处理的对象的所述一个以上的区域。

Images