CN117162916A - 可移动设备、可移动设备的控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种可移动设备、可移动设备的控制方法和存储介质。该可移动设备包括照相机单元，照相机单元包括用于在摄像单元的受光面上形成具有高分辨率区域和低分辨率区域的光学图像的光学系统，照相机单元安装在可移动设备的横向侧，并且在高分辨率区域的垂直视角为θv、光学系统的光轴的垂直方向角度为φv、可移动设备的长轴方向上的驾驶员的视点位置与照相机单元之间的偏移为x1、照相机单元相对于地面的在高度方向上的偏移为h1、长轴方向上的相对于驾驶员的视点位置的距离为d1和d2的情况下，满足例如Atan(h1/(d1+x1))‑θv/2<φv<Atan(h1/(d2+x1))+θv/2。

Description

可移动设备、可移动设备的控制方法和存储介质

技术领域

本发明涉及可移动设备、可移动设备的控制方法和存储介质等。

背景技术

近年来，已要求用电子后视镜替换车辆中所装配的后视镜(后视反射镜)。例如，日本特开2010-95202公开了一种电子后视镜系统，该电子后视镜系统包括以车辆外部的后方侧作为后方摄像范围的摄像单元以及车辆内部的显示单元，并且通过在车辆中的显示器上显示摄像单元所拍摄到的图像，使得驾驶员能够确认车辆外部的后方侧的情形。

此外，日本特开2004-345554公开了一种后方侧确认系统，该后方侧确认系统用于通过安装用以对车辆的后方侧进行摄像的照相机并在车厢内部显示所拍摄图像，使得驾驶员能够例如在向后移动时确认车辆后方的盲点。

用作拍摄上述电子后视镜所用的图像的摄像单元的照相机需要具有高分辨率，使得驾驶员可以更精确地确认相对较远的后方侧的情形。另一方面，需要横向侧碰撞检测系统所用的照相机来对更宽范围摄像以确认在包括车辆的横向侧的盲点或后方横向侧的更宽范围中的安全，从而避免在车辆左转的情况下的碰撞或卷入。

此外，在电子后视镜系统和横向侧碰撞检测系统这两者都装配在车辆中的情况下，电子后视镜系统所用的照相机和横向侧碰撞检测系统所用的照相机的单独装配使车载图像处理系统复杂化。例如，在布置了多个照相机以拍摄车辆的周围环境的状态下进行自动驾驶等的自动驾驶系统中，也发生这样的问题。

另一方面，例如通过采用具有特殊超广角镜头的照相机，可以减少车辆中所安装的照相机的数量。然而，在使用超广角镜头的情况下，存在如下的问题：可以获得宽视角，但周边部中的失真量大，并且难以在电子侧视镜等上显示高分辨率和低失真图像。

发明内容

本发明的一方面的一种可移动设备包括：照相机单元，其包括光学系统，所述光学系统用于在摄像单元的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，所述照相机单元安装在所述可移动设备的横向侧，

其中，所述照相机单元被安装成：

在所述高分辨率区域的垂直视角为θv、水平视角为θh、所述光学系统的光轴的垂直角度为φv、水平角度为φh、所述可移动设备的长轴方向上的驾驶员的视点位置与所述照相机单元之间的偏移为x1、所述可移动设备的短轴方向上的所述照相机单元相对于所述可移动设备的侧面的偏移为z、所述照相机单元相对于地面的高度方向上的偏移为h1、长轴方向上的相对于所述驾驶员的视点位置的距离为d1和d2、并且距离d1和d2处的地面上的预定宽度为w1和w2的情况下，满足以下的式：

Atan(h1/(d1 + x1)) - θv/2 < φv < Atan(h1/(d2 + x1)) + θv/2 … (式2)

Φh_limit＝max(Atan((w1-z)/(d1+x1))-θh/2,Atan((w2-z)/(d2+x1))-θh/2)…(式3)

Φh_limit<φh<-Atan(z/(d1+x1))+θh/2…(式4)，以及

在所述低分辨率区域的垂直视角为θlv、水平视角为θlh、相对于地面的预定高度为h2、从所述驾驶员的视点位置到所述可移动设备的前端的距离为x2、所述可移动设备的总长度为d7、并且地面上的预定宽度为w7的情况下，满足以下的式：

在x2<x1的情况下，

Atan(h1/(x1 - x2)) - θlv/2 < φv … (式18)

Atan((w7-z)/(x1-x2))-θlh/2<φh<-Atan(z/(x1-x2))+θlh/2…(式19)，

在x2>x1的情况下，

-Atan((h1 - h2)/(x2 - x1)) - θlv/2 + 180° < φv … (式20)

-Atan((w7-z)/(x2-x1))-θlh/2+180°<φh…(式21)，以及

在x2＝x1的情况下，

+90° < φv + θlv/2 … (式22)

-90 > φh - θlh/2 … (式23)

+90<φh+θlh/2…(式24)。

通过以下参考附图对实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出第一实施例中的照相机单元和车辆之间的位置关系的图。

图2是示出第一实施例中的摄像单元的光学特性的图。

图3是示出第一实施例中的图像处理系统的结构的功能框图。

图4是示出第一实施例中的用于在车辆1中安装照相机单元的条件的图。

图5是示出中型货运车辆等中的规定区域和照相机单元的安装条件的示例的图。

图6是图5的一部分的放大图。

图7是图6的中型货运车辆的侧视图。

图8是示出第六实施例中的图像处理系统的结构的功能框图。

图9是示出在从上方观看根据第六实施例的本车辆时的横向侧检测所需的检测区域的图。

图10是示出在从侧面观看根据第六实施例的本车辆时的横向侧检测所需的检测区域的图。

具体实施方式

在下文，参考附图，将使用实施例来说明本发明的有利模式。在各图中，将相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的说明。

[第一实施例]

在第一实施例中，将说明如下的图像处理系统，该图像处理系统可以在利用少量照相机实现高清电子后视镜或电子侧视镜所用的显示以及诸如宽范围的后方侧等的车辆的周围环境的确认所用的显示这两者的同时，优化视角的分配。

图1是示出第一实施例的照相机单元与车辆之间的位置关系的图。

在第一实施例中，如图1所示，在作为可移动设备的诸如汽车等的车辆1的前方侧、右横向侧、后方侧和左横向侧上安装有照相机单元11、12、13和14。尽管在第一实施例中存在四个照相机单元，但照相机单元的数量不限于四个，并且仅需要至少一个照相机单元。

照相机单元11至14被安装成使得用作可移动设备的车辆1的前方侧、右横向侧、后方侧和左横向侧是摄像范围。

在第一实施例中，照相机单元11至14具有基本相同的配置，其各自包括拍摄光学图像的图像传感器和在图像传感器的受光面上形成光学图像的光学系统。

例如，照相机单元11和13被安装成使得在车辆1处于基本水平状态的情况下，照相机单元11和13的光学系统的光轴为基本水平，并且照相机单元12和14被安装成使得照相机单元12和14的光学系统的光轴相对于水平方向略微向下或指向正下方。

此外，第一实施例中所使用的照相机单元11至14的光学系统被配置为能够以围绕光轴的小视角获得高清晰度图像并且以大视角获得低分辨率拍摄图像。

附图标记11a至14a是使得能够拍摄高分辨率低失真图像的摄像视角，并且附图标记11b至14b是使得能够拍摄低分辨率高失真图像的摄像视角。附图标记11b至14b包括区域11a至14a。也就是说，可以以大摄像视角11b至14b内的中央处的窄摄像视角11a至14a来获得高分辨率拍摄图像。

接着，将使用图2来说明第一实施例中的照相机单元11至14中所包括的光学系统。尽管照相机单元11至14的光学系统的特性可以不相同，但在第一实施例中，假定照相机单元11至14的光学系统具有基本相同的特性，并且将作为示例说明照相机单元11的光学系统。

图2的(A)和(B)是示出第一实施例中的摄像单元的光学特性的图，并且图2的(A)是以等高线形式示出第一实施例中的照相机单元11的光学系统的在图像传感器的受光面上的各半视角处的像高y的图。

图2的(B)是示出表示第一实施例中的照相机单元11的光学系统的像高y和半视角θ之间的关系的投影特性的图。在图2的(B)中，半视角(由光轴和入射光束形成的角度)θ是横轴，并且照相机单元11的传感器面(像面)上的成像高度(像高)y是纵轴。

如图2的(B)所示，第一实施例中的照相机单元11的光学系统被配置成使得投影特性y(θ)在比预定半视角θa小的区域与等于或大于半视角θa的区域之间有所不同。因此，在将相对于各单位的半视角θ的像高y的增加量称为分辨率的情况下，分辨率根据区域而不同。

可以说，该局部分辨率由投影特性y(θ)在半视角θ处的微分值dy(θ)/dθ表示。也就是说，可以说，如果图2的(B)中的投影特性y(θ)的斜率变大，则分辨率增加。此外，可以说，随着图2的(A)中的以等高线形式的各个半视角处的像高y之间的间隔增加，分辨率更高。

在第一实施例中，在半视角θ小于预定半视角θa时在传感器面上形成的中心附近(中央部)的区域被称为高分辨率区域10a，并且半视角θ等于或大于预定半视角θa的外侧附近(周边部)的区域被称为低分辨率区域10b。高分辨率区域10a与摄像视角11a相对应，并且包括高分辨率区域10a和低分辨率区域10b的视角与摄像视角11b相对应。

在第一实施例中，高分辨率区域10a和低分辨率区域10b之间的边界上的圆被称为分辨率边界，并且与分辨率边界相对应的显示画面上的边界图像被称为显示分辨率边界或简称为边界图像。

显示画面上所显示的边界图像(显示分辨率边界)可以不是圆形的。为了方便，边界图像可以以矩形形状等显示。此外，高分辨率区域10a和低分辨率区域10b之间的边界可以不是圆形形状，而是可以是椭圆形形状或失真形状。

此外，边界93(高分辨率区域10a)的重心可以与光学系统的光轴和受光面相交的位置不一致。然而，在第一实施例中，由于边界93(高分辨率区域10a)的重心与光学系统的光轴和受光面相交的位置基本一致，因此容易设计光学系统并且可以获得稳定的光学特性并抑制失真校正的负荷。

在第一实施例中，高分辨率区域10a是具有相对较小的失真的低失真区域，并且低分辨率区域10b是具有相对较大的失真的高失真区域。因此，在第一实施例中，高分辨率区域和低分辨率区域分别与低失真区域和高失真区域相对应，并且高分辨率区域和低分辨率区域有时分别被称为低失真区域和高失真区域。

第一实施例中的照相机单元11中所包括的光学系统被配置成使得在高分辨率区域(低失真区域)10a中投影特性y(θ)大于f×θ(f是照相机单元11中所包括的光学系统的焦距)。此外，高分辨率区域(低失真区域)中的投影特性y(θ)被设置为与低分辨率区域(高失真区域)中的投影特性不同。

此外，在θmax是照相机单元11中所包括的光学系统的最大半视角时，θa和θmax之间的比θa/θmax优选等于或大于预定下限值，并且例如，预定下限值优选为0.15至0.16。

此外，θa与θmax的比θa/θmax优选等于或小于预定上限值，并且例如优选为0.25至0.35。例如，如果θmax为90°、预定下限值为0.15并且预定上限值为0.35，则θa优选被确定在13.5°至31.5°的范围内。

此外，照相机单元11的光学系统被配置成使得投影特性y(θ)也满足以下的式1。

1 < f × sin(θmax)/y(θmax) ≤ 1.9 … (式1)

如上所述，f是照相机单元11中所包括的光学系统的焦距。通过将下限值设置为1，可以与具有相同的最大成像高度的鱼眼镜头的正射投影类型(即，y＝f×sinθ的情况)相比，增加中心分辨率。

此外，通过将上限值设置为1.9，可以在获得与鱼眼镜头的视角等同的视角的同时维持良好的光学性能。上限值可以是考虑到高分辨率区域和低分辨率区域之间的分辨率平衡来确定的，并且优选被设置在1.9至1.4的范围内。

在光学系统如上所述配置的情况下，可以在高分辨率区域10a中获得高分辨率，而在低分辨率区域10b中，相对于各单位的半视角θ的像高y的增加量减小，从而使得可以对更宽视角摄像。因此，可以在将与鱼眼镜头的宽视角等同的宽视角设置为摄像范围的同时，在高分辨率区域10a中获得高分辨率。

此外，在第一实施例中，由于高分辨率区域(低失真区域)具有与作为正常摄像所用的光学系统的投影特性的中心投影方案(y＝f×tanθ)或者等距投影方案(y＝f×θ)接近的特性，因此光学失真小并且可以进行精确显示。因此，可以获得在从视觉上观察附近车辆等时的自然远近感，并且通过抑制图像质量的劣化来获得良好的可视性。

由于只要投影特性y(θ)满足上述的式1的条件、就可以获得相同的效果，因此本发明不限于图2所示的投影特性。在第一实施例中，具有满足上述的式1的条件的投影特性y(θ)的光学系统可以被称为不同视角透镜。

各个照相机单元11至14的光学系统的高分辨率区域10a与摄像视角11a至14a相对应，并且包括摄像视角11a至14a和低分辨率区域10b的视角与摄像视角11b至14b相对应。

如上所述，在第一实施例中，照相机单元11至14的图像传感器的受光面的近似中央与高分辨率区域10a的重心(光学系统的光轴)基本重叠，并且高分辨率区域10a的重心与光学系统的光轴和受光面相交的位置一致。

然而，例如，图像传感器的受光面的近似中央与高分辨率区域10a的重心(光学系统的光轴)可能在预定方向(第一方向)上移位。此外，高分辨率区域10a的重心相对于光学系统的光轴与受光面相交的位置可能移位。

接着，将使用图3来说明第一实施例中的图像处理系统的结构。图3是示出第一实施例中的图像处理系统的结构的功能框图。

在图3中，图像处理系统100装配在作为可移动设备的车辆1中，并且在照相机单元11至14的壳体中分别布置有摄像单元21至24和照相机处理单元31至34。

摄像单元21至24分别包括不同视角透镜21c至24c以及诸如CMOS图像传感器或CCD图像传感器等的图像传感器21d至24d。

用作光学系统的不同视角透镜21c至24c由一个或多于一个光学透镜构成，具有满足式1的条件的投影特性y(θ)，并且分别在图像传感器21d至24d的受光面上形成具有低失真区域和高失真区域的光学图像。

图像传感器21d至24d用作摄像单元，对光学图像进行光电转换，并输出摄像信号。在图像传感器21d至24d的受光面上针对各像素配置例如RGB滤色器。RGB阵列例如是拜耳阵列。

因此，从图像传感器，根据拜耳阵列，从预定行顺次输出R、G、R和G的信号，并且从相邻行顺次输出G、B、G和B的信号。

附图标记31至34表示照相机处理单元，其分别与摄像单元21至24一起容纳在照相机单元11至14的相同壳体中，并且分别处理从摄像单元21至24输出的摄像信号。在图3中，为了方便起见，省略了摄像单元24和照相机处理单元34的详情及其布线。

照相机处理单元31至34分别包括图像处理单元31a至34a、识别单元31b至34b和照相机信息单元31c至34c。图像处理单元31a至34a对从各个摄像单元21至24输出的摄像信号进行图像处理。照相机处理单元31的一部分或全部可以通过图像传感器21d至24d中的堆叠的信号处理单元来实现。

具体地，图像处理单元31a至34a对根据拜耳阵列从摄像单元21至24输入的图像数据进行解拜耳处理，并将该数据转换成RGB光栅格式图像数据。此外，进行各种类型的校正处理，诸如白平衡调整、增益/偏移调整、伽马处理、颜色矩阵处理或可逆压缩处理等。然而，不进行不可逆压缩处理等以形成所谓的RAW(原始)图像信号。

识别单元31b至34b根据经受了图像处理单元31a至34a的图像处理的未经受失真校正的RAW图像信号来进行预定目标对象(例如，汽车、人或障碍物)的图像识别。也就是说，识别单元31b至34b在不对与低失真区域相对应的图像信号进行失真校正的情况下在RAW图像信号的状态下进行图像识别，并且输出第一图像识别结果。

第一实施例的识别单元31b至34b至少对从高分辨率区域10a获得的RAW图像信号进行图像识别处理，并且识别预定目标对象。在这种情况下，识别单元31b至34b也可以对从低分辨率区域10b获得的RAW图像信号进行图像识别处理。然而，由于RAW图像信号未经受失真校正，因此不同视角透镜的周边部的图像极大失真，并且识别的可靠性降低。

可替代地，识别单元31b至34b可以切出从高分辨率区域10a获得的RAW图像信号，并且仅对从高分辨率区域10a获得的RAW图像信号进行图像识别处理。

在这种情况下，优选针对图像识别所切出的区域是作为适合于图像识别处理的形状的矩形。此外，所切出的矩形区域可以仅是高分辨率区域10a的一部分(例如，高分辨率区域10a中内接的矩形)，或者可以是包括高分辨率区域10a和低分辨率区域10b这两者的矩形。

这里，识别单元31b至34b用作第一图像识别单元，其基于摄像单元所获取到的图像信号中的至少部分区域的图像信号来进行图像识别并输出第一图像识别结果。在第一实施例中，部分区域是与低失真区域相对应的区域。

识别单元31b至34b将目标对象的类型和坐标的集合作为识别结果发送到整合处理单元40。

另一方面，识别单元31b至34b从整合处理单元40的整合控制单元41c接收预测信息，该预测信息是目标对象的类型以及与目标对象的移动方向有关的信息或优先识别区域信息的集合。以下将说明该预测信息。

这里，车辆1的正面所安装的照相机单元11的识别单元31b的输出也被直接供给到行驶控制单元(ECU)60。这是因为，可能需要基于在识别单元31b中识别障碍物等的结果而立即停止行驶、或者控制行驶以躲避障碍物。

照相机信息单元31c至34c分别将与照相机单元11至14有关的照相机信息预先保持在存储器中。照相机信息单元还可以暂时保持来自照相机单元11至14中所设置的各种传感器等的信息。照相机信息例如包括由不同视角透镜21c至24c形成的光学图像的如图2所示的特性信息(分辨率边界信息等)。

照相机信息还包括图像传感器21d至24d的像素数、照相机单元的车辆坐标处的附接位置坐标和姿势(俯仰、侧倾或横摆等)信息、以及摄像方向等。照相机信息可以包括诸如伽马特性、感光度特性和帧频等的信息。此外，照相机信息可以包括与在图像处理单元31a至34a中生成RAW图像信号的情况下的图像处理方法或图像格式有关的信息。

由于在许多情况下确定了各照相机单元相对于车辆的附接位置，因此附接位置坐标可以预先存储在照相机信息单元内的存储器中。此外，照相机单元的姿势坐标是相对于车辆1的坐标，并且可以从照相机单元中所设置的编码器(未示出)获取。可替代地，可以使用三维加速度传感器等来获取姿势坐标。

此外，可以通过使用例如地磁传感器来获取与摄像方向有关的信息。由于照相机的分辨率边界信息是根据镜头设计确定的，因此假定分辨率边界信息预先存储在照相机信息单元内的存储器中。

照相机信息是摄像单元21至24的特有信息且彼此不同，并且该信息被发送到整合处理单元40并在整合处理单元40进行图像处理等的情况下被参考。这里，照相机信息单元31c至34c用作保持与光学图像的特性有关的特性信息或者照相机单元的位置姿势信息的保持单元。

在照相机处理单元31至34中嵌入有用作计算机的CPU或者用作存储介质的存储有计算机程序的存储器。此外，CPU被配置为通过执行存储器中的计算机程序来控制照相机处理单元31至34中的各个单元。

在第一实施例中，对于图像处理单元31a至34a或识别单元31b至34b，使用诸如专用电路(ASIC)或处理器(可重构处理器或DSP)等的硬件。这使得可以实现高分辨率区域中的高速图像识别，并且增加避免事故的可能性。图像处理单元31a至34a可以具有失真校正功能。

可以通过使得CPU执行存储器中所存储的计算机程序来实现照相机处理单元31至34内部的功能块的一些或全部，并且在这种情况下，优选提高CPU的处理速度。

附图标记40是整合处理单元，其包括片上系统(SOC)/现场可编程门阵列(FPGA)41、用作计算机的CPU 42和用作存储介质的存储器43。

CPU 42通过执行存储器43中所存储的计算机程序来进行整个图像处理系统100的各种控制。在第一实施例中，整合处理单元40容纳在与照相机单元分开的壳体中。

SOC/FPGA41包括图像处理单元41a、识别单元41b和整合控制单元41c。图像处理单元41a从照相机处理单元31至34获取各个RAW图像信号，并且从照相机信息单元31c至34c获取各个照相机单元11至14的照相机信息。

如上所述，照相机信息包括不同视角透镜21c至24c的光学特性、图像传感器21d至24d的像素数、光电转换特性、γ特性、感光度特性、RAW图像信号格式信息、以及照相机单元的车辆坐标处的附接位置的坐标或姿势信息等。

图像处理单元41a获取诸如光学系统的特性信息等的照相机信息。基于照相机信息对来自照相机处理单元31至34的RAW图像信号进行分辨率转换，并且针对从摄像单元21至24的低分辨率区域10b获得的图像信号执行诸如失真校正等的图像处理步骤。

也就是说，基于光学图像的特性对失真校正区域中的图像信号进行失真校正，并且将经受失真校正的图像信号与未经受失真校正的非失真校正区域中的图像信号合成，使得生成合成图像。也就是说，图像处理单元41a也用作显示信号生成单元，并且进行失真校正等以进行用于生成合成图像的显示信号生成步骤。在第一实施例中，失真校正区域可以由用户设置或者可以自动设置。

在第一实施例中，由于从高分辨率区域10a获得的图像信号基本无失真，因此图像处理单元41a不进行失真校正。然而，图像处理单元41a也可以对从高分辨率区域10a获得的图像信号进行简单的失真校正。此外，图像处理单元41a对来自照相机处理单元31至34的各个RAW图像信号适当地进行不可逆压缩处理等。

此外，图像处理单元41a将经受失真校正的摄像单元21至24的低分辨率区域10b的图像信号和高分辨率区域10a的图像信号合成，以使这些图像信号平滑地拼接并形成摄像单元21至24的所有图像。

在对低分辨率区域10b的图像信号和从高分辨率区域10a获得的图像信号这两者进行失真校正的情况下，可以按原样对图像处理单元31a至34a所获得的RAW图像信号进行失真校正。

图像处理单元41a基于照相机信息中的特别是照相机的布置位置和姿势信息来进行诸如图像旋转等的图像处理。以下将说明这一点。

识别单元41b在至少对低分辨率区域进行失真校正之后对摄像单元21至24的所有图像进行图像识别处理，以对摄像单元21至24的所有图像中的预定目标对象(例如，汽车、人或障碍物)进行图像识别。也就是说，识别单元41b在对与至少低分辨率区域(高失真区域)相对应的图像信号进行失真校正之后进行图像识别以输出第二图像识别结果。

在这种情况下，还参考识别单元31b至34b的识别结果(目标对象的类型和坐标)。在第一实施例中，识别单元41b对摄像单元21至24的所有图像进行图像识别，但可以不必对所有图像进行图像识别。例如，可以不对图像的周边部进行图像识别。

也就是说，识别单元41b可以识别例如包括识别单元31b至34b所识别的区域的更宽区域。

也就是说，识别单元41b用作第二图像识别单元，其对由图像获取单元所获取到的图像信号中的包括经受第一图像识别单元的图像识别的部分区域的比该部分区域更宽的区域的图像信号进行图像识别，并输出第二图像识别结果。

第二图像识别单元对通过将与用作低失真区域的高分辨率区域10a和用作高失真区域的低分辨率区域10b相对应的图像信号合成所获得的合成图像进行图像识别，并输出第二图像识别结果。

在第一实施例中，图像处理单元41a将来自用作多个摄像单元的照相机单元12至14的图像合成，以拼接这些图像并形成全景合成图像。

在这种情况下，优选将要拼接的多个摄像单元的图像设置成使得各个拍摄视角的至少一部分具有预定量或更多的重叠区域。

在第一实施例中，照相机单元12和13被布置成使得拍摄范围彼此重叠。此外，照相机单元13和14被布置成使得拍摄范围彼此重叠。此外，在这种情况下，照相机单元12和13被设置成使得至少两个图像获取单元的低失真区域的拍摄范围彼此重叠。

此外，识别单元41b对全景合成图像进行图像识别。这使得可以对以跨越多个摄像单元的视角的方式拍摄的目标对象进行图像识别。也就是说，这是因为存在如下的情况：根据来自各个摄像单元的所有单独图像，目标对象的整个图像是未知的且不能进行图像识别，但还存在如下的情况：在全景合成图像中，可以拍摄基本整个目标对象且可以通过图像处理进行图像识别。

例如，如果识别单元31b至34b的识别结果不同于识别单元41b的识别结果，则整合控制单元41c输出通过采用更高可靠性侧的识别结果所整合的图像识别结果。

例如，将识别单元31b至34b所识别的图像内的目标对象的占据比例与识别单元41b所识别的相同目标对象的在画面内封闭的比例进行比较，并且更大比例侧的识别结果被判断为更可靠并被采用。

可替代地，在跨越高分辨率区域和低分辨率区域这两者的目标对象的情况下，识别单元41b的识别结果可以被判断为比识别单元31b至34b的识别结果更可靠并被采用。可替代地，在识别单元31b至34b所识别的目标对象的位置是画面的周边部的情况下，可以判断为可靠性低，并且识别单元41b的识别结果可以被判断为更可靠并被采用。

可替代地，识别单元41b可以在对低分辨率区域进行失真校正的状态下仅在低分辨率区域中进行图像识别，并且在目标对象跨越低分辨率区域和高分辨率区域的情况下，对目标对象进行图像识别。此外，识别单元31b至34b中的识别的可靠性可以被认为对于仅存在于高分辨率区域中的目标对象而言是高的，并且可以进行控制以使得识别单元41b不进行图像识别处理。

这里，整合控制单元41c用作输出基于第一图像识别结果的可靠性和第二图像识别结果的可靠性所整合的图像识别结果的整合处理单元。

此外，整合控制单元41c形成用于将摄像单元21至24的所有图像以及全景合成图像中的期望图像显示在第一显示单元50或第二显示单元51等上的信号。此外，生成例如与用于突出显示所识别的目标对象的框、以及目标对象的类型、大小、位置或速度等有关的信息或警告所用的CG。

此外，可以基于诸如从照相机信息单元31c至34c获取到的显示分辨率边界信息等的光学系统的特性信息来生成用于显示边界的边界图像的CG。

此外，进行用于将CG或字符叠加在图像上的显示处理等。这里，第一显示单元50或第二显示单元51等可以执行显示图像信号或整合的图像识别结果的显示步骤。

此外，在第一实施例中，整合控制单元41c被配置为在多个照相机单元之间共享与所识别的目标对象有关的信息。也就是说，假定例如识别出照相机单元14所识别的目标对象正在照相机单元11的视角的方向上移动。

在这种情况下，整合控制单元41c将包括与目标对象的类型有关的信息和与目标对象的移动方向有关的信息或优先识别区域信息的预测信息发送到照相机单元11的识别单元31b。

这样的预测信息在照相机单元11至14的识别单元31b至34b之间共享，使得可以提高照相机单元11至14的识别单元31b至34b中的图像识别的准确度。在照相机单元11至14的识别单元31b至34b与整合处理单元40的识别单元41b分离的情况下，共享这样的预测信息的优点特别大。

此外，整合控制单元41c使用诸如CAN、FlexRay或以太网(Ethernet)等的协议经由内部所设置的通信单元(未示出)与行驶控制单元(ECU)60等进行通信。因此，进行用于基于从行驶控制单元(ECU)60等接收到的车辆控制信号来适当地改变要显示的信息的显示处理。也就是说，例如，根据通过车辆控制信号所获取到的车辆的移动状态来改变显示单元上所显示的图像的范围。

行驶控制单元(ECU)60装配在车辆1上，并且是嵌入有用于全面地进行车辆1的驱动控制和方向控制等的计算机或存储器的单元。将与车辆的行驶(移动状态)有关的信息(例如，行驶速度、行驶方向、换档杆的换档位置、转向信号的状态以及地磁传感器等所检测到的车辆的方向等)作为车辆控制信号从行驶控制单元(ECU)60输入到整合处理单元40。

另一方面，整合控制单元41c将诸如识别单元41b所识别的预定目标对象(诸如障碍物等)的类型、位置、移动方向或移动速度等的信息发送到行驶控制单元(ECU)60。因此，行驶控制单元(ECU)60进行障碍物避开等所需的控制，诸如停止车辆、驾驶车辆和改变行驶方向等。这里，行驶控制单元(ECU)60用作基于整合的图像识别结果来控制用作可移动设备的车辆的移动的移动控制单元。

第一显示单元50例如以显示画面指向车辆的后方侧的状态安装在车辆1的驾驶员座椅的前方上部的车辆宽度方向上的中央附近，并且用作电子后视镜。可以使用半透半反镜等，并且在半透半反镜不作为图像显示所用的显示器使用时半透半反镜可以作为镜使用。

此外，第一显示单元50可以被配置为包括触摸面板或操作按钮，获取来自用户的指示，并且能够将指示输出到整合控制单元41c。此外，代替现有技术的光学侧视镜，第一显示单元50可以用作用于确认左右的障碍物的电子侧视镜。

第二显示单元51例如安装在车辆1的驾驶员座椅前方的车辆宽度方向上的中央附近的操作面板附近。在用作可移动设备的车辆1上装配有导航系统和音频系统等(未示出)。

此外，例如，在第二显示单元上可以显示来自导航系统、音频系统和行驶控制单元(ECU)60的各种控制信号。此外，包括触摸面板或操作按钮以能够获取来自用户的指示。

第二显示单元51可以是例如外部平板电脑终端的显示单元，并且可以有线地连接到整合处理单元40以能够显示图像，或者可以能够经由通信单元62无线地接收图像并显示图像。作为第一显示单元50和第二显示单元51的显示面板，可以使用液晶显示器或有机EL显示器等。显示单元的数量不限于三个。

整合处理单元40等中所包括的功能块的一些或所有可以通过硬件来实现，或者可以通过使得CPU 42执行存储器43中所存储的计算机程序来实现。作为硬件，可以使用专用电路(ASIC)或处理器(可重构处理器或DSP)等。

图像处理单元31a至34a所进行的图像处理的一部分或全部可以由整合处理单元40的图像处理单元41a进行。也就是说，在第一实施例中，例如，图像获取单元和第一图像识别单元容纳在照相机单元的相同壳体中，并且照相机单元和第二图像识别单元容纳在单独的壳体中。然而，例如，第一图像识别单元和第二图像识别单元可以容纳在整合处理单元40的壳体中。

在第一实施例中，整合处理单元40安装在用作可移动设备的车辆1中，但整合处理单元40的图像处理单元41a、识别单元41b和整合控制单元41c中的一些的处理例如可以通过网络由外部服务器等进行。

在这种情况下，例如，用作图像获取单元的摄像单元21至24装配在用作可移动设备的车辆1上，但例如，照相机处理单元31至34或整合处理单元40的功能中的一些可以由外部服务器等处理。此外，可以使得行驶控制单元(ECU)60具有整合处理单元40的功能的一些或全部。

附图标记61表示记录单元，其记录整合处理单元40所生成的摄像单元21至24的所有图像或者全景合成图像。此外，将表示所识别的目标对象的预定框、字符和警告的CG以及叠加有CG且显示在第一显示单元50或第二显示单元51等上的图像连同时间等或GPS信息等一起记录。

整合处理单元40还可以再现记录单元61中所记录的过去信息并将该过去信息显示在第一显示单元50或第二显示单元51上。

附图标记62表示通信单元并用于经由网络与外部服务器等进行通信，并且可以将记录在记录单元61中之前的信息或记录单元61中所记录的过去信息发送到外部服务器等，并将该信息存储在外部服务器等中。

此外，如上所述，可以将图像发送到外部平板电脑终端等，并且显示在作为平板电脑终端的显示单元的第二显示单元51上。此外，可以从外部服务器等获取交通信息和各种类型的信息，并经由整合处理单元40将这些信息显示在第一显示单元50或第二显示单元51上。

附图标记63表示操作单元，其用于根据用户的操作向图像处理系统输入各种指示。操作单元例如包括触摸面板或操作按钮。

图4是示出第一实施例中的用于在车辆1中安装照相机单元的条件的图。

在图4中，附图标记14是安装在左横向侧的照相机单元，其拍摄电子侧视镜显示所用的图像。

此外，为了使驾驶员通过电子侧视镜的显示来确认车辆的周围环境的安全，需要如图4的阴影区域所示显示车辆的横向侧或后方侧的地面上的区域。在下文，在第一实施例中，图4中的阴影区域也被称为规定区域。在图4中，将在驾驶员的视点位置E后方的距离d1处具有宽度w1的区域和在距离d2处具有宽度w2的地面上的区域定义为规定区域。

优选将该规定区域显示在第一显示单元50上。也就是说，d1和d2是图4中的X方向上的驾驶员的视点位置E后方的距离，并且w1和w2分别是距离d1和d2处的地面上的宽度。

为了显示图4所示的规定区域，必须至少将规定区域设置成使得规定区域包括在照相机单元14的摄像区域中。因此，在第一实施例中，照相机单元14被安装成能够以与满足式1的条件的高分辨率区域10a相对应的摄像视角对规定区域摄像。

此外，假定在图4中，照相机单元14布置在X轴、Y轴和Z轴的交点处，并且具有如图4所示的摄像视角。

这里，为了使用满足式1的条件的高分辨率区域10a形成侧视镜所用的图像以显示规定区域，优选将照相机单元14以满足以下的式2的条件的方式安装在垂直方向上。

Atan(h/(d1 + x)) - θv/2 < φv < Atan(h/(d2 + x)) + θv/2 … (式2)

此外，优选将照相机单元14以满足以下的式3和式4的条件的方式安装在水平方向上。

Φh_limit

＝max(Atan((w1-z)/(d1+x))-θh/2,Atan((w2-z)/(d2+x))-θh/2)…(式3)

Φh_limit < φh < -Atan(z/(d1 + x)) + θh/2 … (式4)

这里，如图4所示，θv是高分辨率区域10a的垂直视角，θh是高分辨率区域10a的水平视角，φv是照相机单元14的光学系统的光轴的垂直方向角度，并且φh是照相机单元14的光学系统的光轴的水平角度。

此外，x是车辆1的长轴方向(图4中的X方向)上的驾驶员的视点位置E与照相机单元14之间的偏移，并且z是照相机单元14相对于车辆的横向侧的短轴方向(图4中的Z方向)上的偏移。此外，h是照相机单元14相对于地面的高度方向(图4中的Y方向)上的偏移。

假定驾驶员的视点位置E是驾驶员的就座位置处的眼睛的位置或者驾驶员的座椅面的中央位置。

尽管以上说明了左横向侧上的照相机单元14的安装条件，但相同的条件适用于右横向侧上的照相机单元12。

如上所述满足了式1至4的所有条件，这使得可以使如图4所示的驾驶员应确认安全的规定区域包括在高分辨率区域10a的视角内并进行摄像。因此，可以使用电子侧视镜适当地显示高分辨率和低失真图像。

因此，在第一实施例中，满足上述的式1至4的条件，这使得可以使以高分辨率区域10a的视角的车辆的后方横向侧上的规定区域包括在摄像范围中。

因此，可以将车辆的后方横向侧的规定区域显示在电子侧视镜上，从而使得驾驶员能够确认安全。此外，由于高分辨率区域10a具有小失真和高分辨率，因此驾驶员可以利用高分辨率和低失真图像及时地从视觉上观察障碍物等。

此外，对于高分辨率区域10a，在RAW图像信号的状态下进行图像识别，从而使得可以无延迟地进行图像识别，并由此迅速地向驾驶员通知与障碍物等有关的信息。此外，如上所述满足了上述的式1至4的条件，从而使得汽车可以在电子侧视镜上显示使得驾驶员能够容易地确认安全的视频。

如上所述，在第一实施例中，高分辨率区域(低失真区域)10a具有与作为正常摄像所用的光学系统的投影特性的中心投影方案(即，y＝f×tanθ的情况)或者等距投影方案(即，y＝f×θ的情况)接近的特性。

因此，光学失真小，并且高分辨率显示变得可能。此外，可以获得从视觉上观察附近的车辆等时的自然远近感。此外，可以通过抑制图像质量的劣化来获得良好的可视性，并且在无失真校正的情况下进行图像识别。

即使投影特性y(θ)不满足上述的式1的条件，光学系统也形成具有高分辨率区域10a和低分辨率区域10b的光学图像，并且可以以满足式2至4的条件的方式安装。在这种情况下，也可以从视觉上观察具有稍高分辨率和低失真的图像或者进行图像识别。

例如，在具有九名或更少乘员的乘用车或者小型货运车辆(例如，车辆重量为3.5吨或更小)的情况下，优选驾驶员利用电子侧视镜确认d1＝4m、w1＝1m、d2＝20m且w2＝4m的规定区域。

在这种情况下，假定例如使用高分辨率区域10a的垂直视角θv和水平视角θh各自均为47.2度的照相机单元，并且该照相机单元安装在x1＝0.5m、z＝0.2m且h1＝1m的位置处。

在这种情况下，照相机单元的光轴的垂直方向角度φv和水平角度φh分别为-11.07°<φv<26.4°和-13.1°<φh<26.1°。照相机单元是以满足这些条件的方式根据照相机的光轴安装的。

此外，在具有10名或更多乘员的乘用车或者中型或大型货运车辆的情况下，优选能够确认后方侧，因此优选驾驶员能够利用电子侧视镜确认d1＝4m、w1＝1m、d2＝30m且w2＝5m的规定区域。

在这种情况下，假定使用高分辨率区域10a的垂直视角θv和水平视角θh各自均为47.2度的照相机单元，并且该照相机单元安装在x1＝0.5m、z＝0.2m且h＝1m的位置处。然后，照相机单元的光轴的垂直方向角度φv和水平角度φh分别为-11.1°<φv<25.5°和-13.5°<φh<26.1°。

在上述的数值示例中，照相机单元的安装位置(x,z,h)已被设置为固定条件，并且已计算出照相机单元的光轴的角度条件，但可以满足式2和3的条件，并且用于计算安装条件的方法不限于此。例如，在预先确定照相机单元的光轴的角度作为车辆设计的约束的情况下，基于该角度来确定满足式2和3的条件的照相机单元的安装位置的范围。

这使得可以使规定区域包括在照相机单元的高分辨率区域的摄像范围中。在预先确定照相机单元的安装位置(x,z,h)和照相机单元的光轴的角度作为两个设计上的约束的情况下，可以基于这些约束来确定满足式2和3的条件的照相机单元的高分辨率区域10a的垂直视角θv和水平视角θh。

[第二实施例]

在第二实施例中，将说明在中型货运车辆中安装照相机单元的情况下的安装条件。假定中型货运车辆例如是车辆总重量大于3.5吨且小于或等于12吨的车辆。

中型货运车辆可以是大于3.5吨且小于或等于7.5吨的车辆。在中型货运车辆中，与乘用车或小型货运车辆相比，驾驶员需要确认横向方向上的更宽范围中的安全。

图5是示出中型货运车辆等中的规定区域和照相机单元安装条件的示例的图，并且图6是图5的一部分的放大图。此外，图7是图5和图6的中型货运车辆的侧视图。如图5至图7所示，优选将从驾驶员的视点位置E起的距离d1至d6以及与各个距离相对应的宽度w1至w6显示在电子侧视镜上，使得驾驶员可以确认这些距离和宽度。

将由d1至d6以及与各个距离相对应的宽度w1至w6所规定的区域作为第二实施例中的规定区域进行描述。此外，在第二实施例中，照相机单元被安装成使得可以在照相机单元的高分辨率区域10a中对所有规定区域进行摄像。在图5中，P3至P5与P3'至P5'相对应，P3至P5和P3'至P5'相对于车辆1的长轴方向(X方向)上的中心线处于对称关系。

假定如图6所示，针对侧视镜显示所安装的照相机单元14的位置布置在驾驶员的视点位置E的前方x处，并且相对于车辆的横向侧偏移了z。如图7所示，照相机单元14附接到相对于车辆1斜向前突出的支撑臂。

在第二实施例中，为了将照相机单元安装成使得可以在照相机单元的高分辨率区域10a中对图5所示的所有规定区域进行摄像，优选照相机单元14的位置或角度除了满足式1至4的条件之外，还满足以下的式5至9的条件。

也就是说，对于垂直方向，优选满足以下的式5。

Atan(h/(d3 + x)) - θv/2 > φv … (式5)

此外，对于水平方向，优选满足以下的式6以对距离d3处的车体侧的点P1进行摄像。

-Atan(z/(d3 + x)) + θh/2 > φh … (式6)

此外，为了对距离d3处的外侧的点P3进行摄像，优选满足以下的式7。

Atan((w3 - z)/(d3 + x)) - θh/2 < φh … (式7)

此外，为了对距离d4处的外侧的点P4进行摄像，优选满足以下的式8。

Atan((w4 - z)/(d4 + x)) - θh/2 < φh … (式8)

此外，为了对距离d5处的外侧的点P5进行摄像，优选满足以下的式9。

Atan((w5 - z)/(d5 + x)) - θh/2 < φh … (式9)

这里，d3至d5是针对图5所示的X方向的驾驶员的视点位置E后方的距离，并且w3至w5是图5所示的Z方向上的从车辆1的侧面起在外侧延伸的宽度。

此外，x是车辆的长轴方向(图5和图6中的X方向)上的驾驶员的视点位置E与照相机单元14之间的偏移，并且z是照相机单元14相对于车辆的侧面的短轴方向(图5至图7中的Y方向)上的偏移。此外，h是照相机单元14相对于地面的高度方向(图7中的Z方向)上的偏移。在第二实施例中，w4＝w5。

[第三实施例]

在第三实施例中，将说明在大型货运车辆中安装照相机单元的情况下的安装条件。例如，大型货运车辆是车辆总重量超过12吨的车辆。大型货运车辆可以是超过7.5吨的车辆。

照相机单元被安装成使得第二实施例的规定区域中的具有距离d1处的宽度w1、距离d2处的宽度w2和距离d5处的宽度w5的区域包括在照相机单元的高分辨率区域的摄像范围中。

作为这种情况下的安装条件，除了满足上述的式2至4的条件之外，还满足式5、6和9的条件。也就是说，对于垂直方向，使用式5的条件，对于水平方向，用于对距离d3处的车辆1的侧面的点进行摄像的条件是式6，并且用于对距离d5处的外侧的点进行摄像的条件是式9。

[第四实施例]

在第四实施例中，第二实施例的规定区域中的具有距离d4处的宽度w4和d5处的宽度w5的区域包括在照相机单元的高分辨率区域的摄像范围中。作为这种情况下的安装条件，除了满足上述的式2至4的条件之外，还满足式5、6、8和9的条件。

也就是说，对于垂直方向，使用式5的条件，对于水平方向，使用式6的条件来对距离d3处的车辆1的侧面的点进行摄像，使用式8的条件来对距离d4处的外侧的点进行摄像，并且使用式9的条件来对距离d5处的外侧的点进行摄像。

[第五实施例]

在第五实施例中，在低分辨率区域10b中，除了可以对第一实施例中的规定区域进行摄像之外，还可以对在图6和图7所示的距离d6和d3的位置处由宽度w6规定的区域进行摄像。为了确认与驾驶员座椅相对的一侧的地面，优选使得该规定区域包括在摄像范围内。

在这种情况下，优选除了满足上述的式1至4的条件之外，还满足以下的式10至16的条件。此外，在这种情况下，可以满足第二实施例至第四实施例中任一个的条件。通过这样做，可以利用一个照相机单元将各规定区域包括在摄像范围中。

也就是说，在x>d6的情况下，对于垂直方向，优选满足以下的式10。

Atan(h/(x - d6)) - θlv/2 < φv… (式10)

此外，对于水平方向，优选满足以下的式11。

Atan((w6-z)/(x-d6))-θlh/2<φh

< -Atan(z/(x - d6)) + θlh/2 … (式11)

此外，在x<d6的情况下，

对于垂直方向，优选满足以下的式12。

Atan(h/(d6 - x)) + 90° - θlv/2 < φv … (式12)

此外，对于水平方向，优选满足以下的式13。

Atan((w6-z)/(x-d6))-θlh/2+90°<φh<-Atan(z/(x-d6))+θlh/2-90°…(式13)

此外，在x＝d6的情况下，

对于垂直方向，优选满足以下的式14。

+90° < φv + θlv/2 … (式14)

此外，对于水平方向上的车体侧，优选满足以下的式15。

-90° > φh - θlh/2 … (式15)

此外，对于水平方向上的外侧，优选满足以下的式16。

+90° < φh + θlh/2 … (式16)

这里，假定θlv是低分辨率区域10b的垂直视角，并且θlh是低分辨率区域10b的水平视角。

尽管在第一实施例至第五实施例中说明了左侧的照相机单元14，但相同的条件适用于右侧的照相机单元12。

作为如上所述的第二实施例至第五实施例的规定区域的具体示例，优选驾驶员能够利用电子侧视镜确认例如d1＝4m、w1＝1m、d2＝20m、W2＝4m、d3＝1.5m、w3＝4.5m、d4＝10m且w4＝15m。此外，优选驾驶员能够利用电子侧视镜确认d5＝25m、w5＝15m、d6＝1m且w6＝2m的规定区域。

例如，如果照相机单元的安装位置为x＝1.1m、z＝0.3m且h＝2.3m，则照相机单元的光轴的垂直方向角度φv和水平角度φh分别为0.67°<φv<17.9°和-3.37°<φh<17°。

在上述说明中，照相机单元11至14的图像传感器的受光面的近似中心与高分辨率区域10a的重心(光学系统的光轴)基本重叠，并且高分辨率区域10a的重心与光学系统的光轴和受光面相交的位置一致。然而，如上所述，受光面的近似中心和高分辨率区域10a的重心(光学系统的光轴)可能移位，并且高分辨率区域10a的重心和光学系统的光轴与光学系统的光轴和受光面相交的位置可能不一致。

也就是说，例如，照相机单元14被布置成使得照相机单元14的高分辨率区域(低失真区域)10a的重心相对于图像传感器的受光面140的中心向上(第一方向)移位，使得发生渐晕。

在照相机单元14被布置成使得渐晕的方向(第一方向)例如指向车辆1的方向的情况下，在车体的外侧上可以摄像的视角变宽，从而使得可以优化摄像视角并且尽可能有效地使用图像传感器的像素。

将发生渐晕的部分从θlv或θlh的范围中排除。也就是说，在第一实施例至第五实施例中，计算上述的式1至16，使得不包括在θlv或θlh的边缘处发生渐晕的部分。

如上所述，在第一实施例至第五实施例中，高分辨率区域(低失真区域)10a具有与正常摄像所用的光学系统的中心投影方案(即，y＝f×tanθ的情况)或等距投影方案(即，y＝f×θ的情况)近似的投影特性。

因此，例如，在诸如第一显示单元50等的电子侧视镜上所显示的高分辨率区域(低失真区域)10a的图像与低分辨率区域(高失真区域)10b相比具有更高的分辨率，从而使得可以更精确地显示车辆1的横向远侧。此外，与使用具有不同视角的多个照相机单元来对横向侧进行摄像的情况相比，这在成本、处理效率或小型化等方面更优越。

显示方法不受限制，只要可以显示各规定区域即可。例如，可以将由距离d6和d3处的宽度w6所规定的规定区域、由距离d3至d5处的宽度w3至w5所规定的区域以及由距离d1和d2处的宽度w1和w2所规定的区域作为单独图像从照相机单元的拍摄图像中切出，并显示在不同的显示单元上。通过这样做，可以根据各规定区域的目的来进行显示。

此外，由于由距离d6和d3处的宽度w6所规定的区域、由距离d3至d5处的宽度w3至w5所规定的区域以及由距离d1和d2处的宽度w1和w2所规定的区域包括在摄像范围中，因此照相机单元的拍摄图像可以原样显示在一个显示单元上。通过这样做，可以在使得驾驶员能够确认规定区域的同时简化图像切出处理。

此外，由于在第五实施例的高分辨率区域10a中光学失真小，因此可以以小失真状态显示要显示在第一显示单元50上的电子后视镜或电子侧视镜所用的图像，并且驾驶员可以以更自然的远近感从视觉上观察车辆的周围环境。

此外，由于高分辨率区域10a具有小光学失真，因此可以在未经受失真校正的RAW图像信号的状态下进行图像识别，并且可以减轻图像识别的处理负荷，使得可以高速进行图像识别。

因此，可以基于图像识别结果来及早检测障碍物，并且可以及时地进行用于避开障碍物的操作。因此，在满足本实施例的条件式的情况下，特别是高速公路等上高速行驶时，可以获得大的效果。

尽管在上述实施例中说明了使用多个照相机单元的示例，但对于具有仅一个照相机单元的系统，本发明也是有效的。

[第六实施例]

在第六实施例中，可以采用卡车的远侧电子侧视镜(UNR46、2类)和横向侧碰撞警告装置(WP29)。

也就是说，在第六实施例中，在大型货运车辆中，可以检测到供电子侧视镜所用的显示用的摄像区域和车辆的横向侧的移动对象，并且可以通过单个照相机来对用于在存在碰撞的可能性的情况下警告驾驶员的横向侧碰撞警告所用的检测区域进行摄像。

通常，由于如果车辆越大、则车辆的横向侧的盲点越大，因此这种结构的效果大。这里，大型货运车辆例如是车辆总重量为8.0吨或更大的车辆。

首先，将参考图8来说明第六实施例中的图像处理系统。图8是示出第六实施例中的图像处理系统的结构的功能框图。

第六实施例中的图像处理系统100被配置为除了包括第一实施例中的图像处理系统的结构之外，还包括警告显示单元52和语音通知单元53。在下文，将说明具有与第一实施例中的操作或配置不同的操作或配置的功能块。此外，将省略对具有与第一实施例中的操作或配置相同的操作或配置的功能块的说明。

第六实施例中的图像处理系统100检测车辆的横向侧的移动对象，以防止在车辆右转或左转的情况下的卷入或碰撞。这里的移动对象例如是自行车、行人和其他车辆，并且在第六实施例中被称为检测目标。

整合控制单元41c基于识别单元31b至34b和识别单元41b所输出的识别结果来判断是否包括检测目标，并输出识别结果。整合控制单元41c所输出的识别结果包括检测目标的存在或不存在、检测目标的类型或坐标、以及速度信息。

警告显示单元52和语音通知单元53用作警告单元，并且基于从整合控制单元41c输出的识别结果，使用视觉信息来对驾驶员进行横向侧碰撞警告。

警告显示单元52例如可以由LED构成，并且可被配置为在识别结果中包括表示存在检测目标的信息的情况下点亮或闪烁。

此外，警告显示单元52可以配置有诸如液晶等的显示器。在这种情况下，如果在识别结果中包括表示存在检测目标的信息，则可以将该信息作为图标或字符信息在显示器上输出。

此外，警告显示单元52可以被配置为例如以显示画面指向驾驶员方向的状态安装在车辆1的驾驶员座椅前方的车辆宽度方向上的端附近。此外，警告显示单元52可以安装在第一显示单元50或第二显示单元51附近，或者可以被配置为例如代替第一显示单元50或第二显示单元51而使用、或者与第一显示单元50或第二显示单元51一起使用。

声音通知单元53基于从整合控制单元41c输出的识别结果，使用例如扬声器来输出声音。语音通知单元53例如可以安装在车辆1的驾驶员座椅前方的车辆宽度方向上的端附近。

此外，整合控制单元41c用作警告条件判断单元，并且进行控制，使得警告显示单元52或语音通知单元53所输出的警告的内容基于识别单元31b至34b和识别单元41b所获得的检测目标的坐标或速度而改变。

此外，整合控制单元41c可以根据检测目标和车辆的横向侧之间的距离以及警告显示单元52中的警告显示的显示内容来改变色相。例如，整合控制单元41c可以进行控制，使得在到检测目标的距离小的情况下以红色进行显示，在到检测目标的距离为中等的情况下以黄色进行显示，并且在到检测目标的距离大于预定值的情况下以蓝色或绿色进行显示。

此外，整合控制单元41c可以被配置为控制警告显示单元52，使得随着到检测目标的距离减小，警告显示的亮度增加。

此外，例如，整合控制单元41c可以控制语音通知单元53，使得随着检测目标和车辆的横向侧之间的距离减小，通知的音量增大。

整合控制单元41c可以被配置为判断从行驶控制单元(ECU)60输入的本车辆的行驶速度是否等于或低于预定速度，并且仅在行驶速度等于或低于预定速度的情况下，才使用警告显示单元52进行警告显示或使用语音通知单元53进行警告通知。

也就是说，如果本车辆的行驶速度高于预定速度，则存在无法正确地识别检测目标的可能性，因而利用这样的配置，可以进行正确的横向侧检测。预定速度优选为例如约30km/h。

此外，由于在检测目标正在移动的情况下与车辆碰撞的可能性高，因此整合控制单元41c可以判断检测目标的速度是否在预定范围内。整合控制单元41c可以被配置为仅在整合控制单元41c判断为检测目标的速度在预定范围内(等于或高于预定速度)的情况下，才使用警告显示单元52进行警告显示或使用语音通知单元53进行警告通知。在这种情况下，预定检测目标的速度的预定范围优选为例如5km/h以上且20km/h以下。

此外，整合控制单元41c可以根据从行驶控制单元(ECU)60输出的本车辆的移动方向信息来判断本车辆是否正在左转或右转，并且仅在车辆正在右转或左转的情况下，才使用警告显示单元52进行警告显示或使用语音通知单元53进行警告通知。

接着，将参考图5、图9和图10来说明第六实施例中的照相机单元的安装条件。

如上所述，图5示出驾驶员应通过电子侧视镜的显示确认车辆周围的安全的规定区域。

图9是示出根据第六实施例的在从上方观看本车辆时的横向侧检测所需的检测区域的图。在第六实施例中，照相机单元被安装成能够在照相机单元的高分辨率区域10a中对规定区域进行摄像，并且在低分辨率区域10b中对检测区域进行摄像。

由图5所示的相对于驾驶员的视点位置E的距离d1和d2以及与各个距离相对应的宽度w1和w2所规定的区域被称为第六实施例中的规定区域。

此外，图10是示出根据第六实施例的在从横向侧观看本车辆时的横向侧检测所需的检测区域的图。如图9和图10所示，由车辆总长度d7和相对于车辆的侧面的距离w7所规定的区域被称为第六实施例中的检测区域。

该检测区域是如果在本车辆左转或右转的情况下在检测区域内存在对象、则卷入或碰撞的可能性高的区域。因此，检测区域包括在照相机单元的摄像范围中，以检测难以从视觉上观察的存在于与驾驶员座椅相对的车辆的横向侧的检测目标。

如图9所示，假定针对侧视镜的显示所安装的照相机单元14的位置布置在驾驶员的视点位置E的前方x1处，并且相对于车辆的横向侧偏移了z。还假定从驾驶员的视点位置E到车辆前端的距离为x2。

优选如式17所示照相机单元14的高度方向上的偏移h1大于预定高度h2。h2与检测目标的高度相对应。

也就是说，

h1≥h2…(式17)。

优选满足式17的条件。该安装条件使得可以使得具有预定高度h2或更小的检测目标的高度方向包括在摄像范围中。例如，如果自行车是检测目标，则优选将h2设置为约1.7米。此外，如果行人包括在检测目标中，则优选将h2设置为约2米。

也就是说，为了将在高分辨率区域中拍摄的视频显示在电子侧视镜上，在照相机单元的高分辨率区域10a中拍摄规定区域。此外，照相机单元被安装成能够同时对包括车辆前端处的横向侧的整个检测区域进行摄像，以防止与存在于车辆的横向侧的检测目标的碰撞或卷入。

因此，照相机单元14被安装成使得照相机单元14的位置和角度除了满足上述的式1至4的条件之外，还满足以下的式18至24的条件。这使得可以实现车辆的横向侧的检测目标的检测和电子侧视镜上的高分辨率视频的显示这两者。

在照相机单元的偏移x1大于从驾驶员的视点位置E到车辆前端的距离x2的情况下，需要使得车辆前端的位置处的地面的整个宽度w7包括在摄像范围中，以拍摄存在于检测区域内的检测目标。

因此，在x2<x1的情况下，对于垂直方向，照相机单元被安装成满足以下的式18，这使得可以对车辆前端和地面之间的接触点进行摄像。

Atan(h1/(x1 - x2)) - θlv/2 < φv … (式18)

此外，对于水平方向，可以通过满足式19来对图9中的点P6和P7处的检测目标进行摄像。

Atan((w7-z)/(x1-x2))-θlh/2<φh<-Atan(z/(x1-x2))+θlh/2…(式19)

另一方面，在照相机单元的偏移x1小于直到可移动设备的前端为止的距离x2的情况下，需要使得预定高度h2的检测目标在直到可移动设备的前端为止的距离x2的位置处包括在摄像范围中，以拍摄存在于检测区域中的检测目标。

因此，在x2>x1的情况下，

对于垂直方向，可以通过满足以下的式20来对图9中的点P7处存在的检测目标进行摄像。

-Atan((h1 - h2)/(x2 - x1)) - θlv/2 + 180° < φv … (式20)

另一方面，对于水平方向，可以通过满足以下的式21来对图9中的点P6处存在的检测目标进行摄像。

-Atan((w7 - z)/(x2 - x1)) - θlh/2 + 180° < φh … (式21)

此外，在直到可移动设备的前端为止的距离x2等于照相机单元的偏移x1的情况下，优选对照相机单元正下方的外侧进行摄像以拍摄检测目标。

因此，在x2＝x1的情况下，

对于垂直方向，优选满足以下的式22。

+90° < φv + θlv/2 … (式22)

此外，对于水平方向上的车体侧，优选满足以下的式23。

-90 > φh - θlh/2 … (式23)

此外，对于水平方向上的外侧，优选满足以下的式24。

+90 < φh + θlh/2 … (式24)

可以通过满足上述的式22至24的条件来使得图9中的点P6和点P7处存在的检测目标包括在摄像范围中。

尽管在以上对第六实施例的说明中描述了在驾驶员座椅在右侧的情况下的车辆的左横向侧的照相机单元14的安装条件的示例，但对于在驾驶员座椅在左侧的情况下的车辆的右横向侧的照相机单元12，可以满足相同的条件。

作为上述的第六实施例的规定区域的具体示例，优选驾驶员能够利用电子侧视镜确认d1＝4m、w1＝1m、d2＝30m且w2＝5m的规定区域。此外，作为检测区域的具体示例，优选能够对w7＝3m且车辆的总长度d7＝12m的检测区域内的检测目标进行摄像。

此外，假定例如使用高分辨率区域10a的垂直视角θv和水平视角θh各自均为47.2度的照相机单元，该照相机单元安装在x1＝1.1m、x2＝0.9m、z＝0.3m且h1＝2.3m的位置处，并且检测目标的高度为h2＝1.7m。

在这种情况下，照相机单元被安装成使得照相机单元的光轴的垂直方向角度φv和水平角度φh分别满足：

0.67°<φv<27.83°，以及

-4.24°<φh<27.00°。

这使得可以在对横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。

此外，在具体示例中，更优选增加检测区域的宽度，使得例如w7＝4.25m，因为可以在更宽范围中检测到检测目标。在这种情况下，照相机单元被安装成使得照相机单元的光轴的垂直方向角度φv和水平角度φh分别满足：

0.67°<φv<27.83°，以及

-2.90°<φh<27.00°。

这使得可以在对更宽范围的横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。

如上所述，由于在第六实施例的高分辨率区域10a中光学失真小，因此可以以小失真状态来显示要显示在第一显示单元50上的电子后视镜或电子侧视镜所用的图像，并且驾驶员可以以更自然的远近感从视觉上观察车辆的周围环境。

此外，可以通过对车辆的横向侧的检测区域进行摄像来检测车辆的横向侧的移动对象，并且驾驶员可以通过发出警告来降低卷入或碰撞的可能性。因此，根据第六实施例，可以在对横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。

[第七实施例]

在第七实施例中，系统包括卡车的远侧确认用电子侧视镜(UNR46、2类)和横向侧碰撞警告装置(WP29)，图9中的点P8包括在高分辨率区域中，并且可以用一个不同视角照相机进行摄像。

在第七实施例中，照相机单元被安装成使得第六实施例的检测区域中的图9的点P8处存在的检测目标包括在照相机单元的高分辨率区域的摄像范围中。在下文，将说明具有与第六实施例的操作或配置不同的操作或配置的功能块。此外，将省略对具有与第六实施例的操作或配置相同的操作或配置的功能块的说明。

在第七实施例中，由于照相机单元被安装成使得第六实施例的检测区域中的图9的点P8处存在的检测目标包括在照相机单元的高分辨率区域的摄像范围中，因此可以减少作为用于识别检测目标的处理的预处理的失真校正的量。因此，存在可以减少计算资源或处理所需的时间的优点。

在第七实施例中，照相机单元被安装成能够在低分辨率区域中对第六实施例的检测区域进行摄像的同时，在照相机单元的高分辨率区域10a中对第六实施例的规定区域和检测区域中的图9的点P8进行摄像。作为这种情况下的安装条件，除了满足上述的式1至4和式17至24的条件之外，还满足以下的式25的条件。

也就是说，对于水平方向，满足以下的式25的条件，以在照相机单元的高分辨率区域10a中对图9中的点P8进行摄像。

Atan((w7 - z)/(x1 - x2 + d7)) - θh/2 < φh … (式25)

作为上述第七实施例的规定区域的具体示例，优选驾驶员能够利用电子侧视镜确认d1＝4m、w1＝1m、d2＝30m和w2＝5m的规定区域。此外，作为检测区域的具体示例，优选能够对w7＝3m且车辆总长度d7＝7m的检测区域内的检测目标进行摄像。

此外，假定例如使用高分辨率区域10a的垂直视角θv和水平视角θh各自均为47.2度的照相机单元，该照相机单元安装在x1＝1.1m、x2＝0.9m、z＝0.3m且h1＝2.3m的位置处，并且检测目标的高度为h2＝1.7m。

在这种情况下，照相机单元被安装成使得照相机单元的光轴的垂直方向角度φv和水平角度φh分别满足：

0.67°<φv<27.83°，以及

-3.04°<φh<27.00°。

这使得可以在对更宽范围的横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。

此外，作为第七实施例特有的优点，由于可以减少作为用于识别检测目标的处理的预处理的失真校正的量，因此存在可以减少计算资源或处理所需的时间的优点。

[第八实施例]

在第八实施例中，通过使用一个不同视角照相机来实现卡车的远侧确认用电子侧视镜(UNR46、2类)、卡车的广角确认用电子侧视镜(UNR46、4类)和横向侧碰撞警告装置(WP29)。

也就是说，在第八实施例中，除了第六实施例的检测区域之外，在第二实施例中规定的区域中也可以进行摄像。通常，大型货运车辆与乘用车或小型货运车辆相比要求驾驶员确认横向方向上的更宽范围中的安全，并且需要检测存在于车辆的横向测的检测目标并警告驾驶员，以降低在车辆左转或右转的情况下的卷入或碰撞的可能性。

在下文，将说明具有与第六实施例的操作或配置不同的操作或配置的功能块。将省略对具有与第六实施例的操作或配置相同的操作或配置的功能块的说明。此外，由于本实施例的规定区域与第二实施例的规定区域相同，因此将省略其说明。

在第八实施例中，照相机单元被安装成能够在照相机单元的高分辨率区域10a中对图5所示的所有规定区域进行摄像的同时，对图9所示的所有检测区域进行摄像。因此，作为安装条件，满足上述的式1至9和式17至24的条件。

在第八实施例中，优选驾驶员能够利用电子侧视镜确认例如d1＝4m、w1＝1m、d2＝30m、w2＝5m、d3＝1.5m、w3＝4.5m、d4＝10m、w4＝15m、d5＝25m且w5＝15m的规定区域。此外，作为检测区域的具体示例，优选能够对w7＝3m且车辆总长度d7＝12m的检测区域内的检测目标进行摄像。

此外，假定例如使用高分辨率区域10a的垂直视角θv和水平视角θh各自均为47.2度的照相机单元，该照相机单元安装在x1＝1.1m、x2＝0.9m、z＝0.3m且h1＝2.3m的位置处，并且检测目标的高度为h2＝1.7m。

在这种情况下，照相机单元被安装成使得照相机单元的光轴的垂直方向角度φv和水平角度φh分别满足：

0.67°<φv<17.90°，以及

-4.24°<φh<17.02°。

这使得能够在对更宽范围的横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。如第八实施例那样安装照相机单元，这使得可以对横向方向上的更宽范围的区域以及检测区域这两者进行摄像以防止卷入或碰撞。

[第九实施例]

在第九实施例中，包括卡车的远侧确认用电子侧视镜(UNR46、2类)和卡车的广角确认用电子侧视镜(UNR46、4类)。此外，在高分辨率区域中捕捉到图5中的点P5和P5'，并且使用一个不同视角照相机来实现横向侧碰撞警告装置(WP29)。

也就是说，在第九实施例中，除了第六实施例的检测区域之外，在第三实施例所规定的区域中也可以进行摄像。在第九实施例中，照相机单元被安装成使得在第八实施例的规定区域中、图5中的点P5和P5'在高分辨率区域中包括在摄像范围中。

这使得可以以高分辨率确认点P5和P5'处的对象，并且还进行检测区域的摄像以防止卷入或碰撞。

此外，由于在可以放宽光轴的条件的安装方向上的自由度可以高于第八实施例中的自由度，因此例如即使利用在高分辨率区域中具有窄视角的照相机单元，也可以更容易地进行规定区域和检测区域这两者的摄像。

由于第九实施例的图像处理系统100的各功能块与第六实施例的功能块相同，因此将省略其说明。此外，由于第九实施例的规定区域与第三实施例的规定区域相同，因此将省略其说明。作为第九实施例中的安装条件，除了满足式2至4的条件之外，还满足式5、6、9和17至24。

通过如第九实施例那样安装照相机单元，可以在对横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。此外，可以实现点P5和P5'处的对象的高分辨率摄像以及检测区域的摄像这两者以防止卷入或碰撞。

[第十实施例]

在第十实施例中，包括卡车的远侧确认用电子侧视镜(UNR46、2类)和卡车的广角确认用电子侧视镜(UNR46、4类)。此外，在高分辨率区域中捕捉到图5中的点P4、P4'、P5和P5'，并且横向侧碰撞警告装置(WP29)被配置成使得可以通过单个不同视角照相机来进行摄像。

在第十实施例中，除第六实施例的检测区域之外，在第四实施例中限定的区域中也可以进行摄像。在第十实施例中，照相机单元被安装成使得在第八实施例的规定区域中图5中的点P4、P4'、P5和P5'包括在高分辨率区域的摄像范围中。

这使得可以以高分辨率确认点P4、P4'、P5和P5'处的对象，并且对检测区域进行摄像以防止卷入或碰撞。此外，由于与第八实施例相比可以放宽安装条件，因此即使利用在高分辨率区域中具有窄视角的照相机单元也可以进行规定区域和检测区域这两者的摄像。

在下文，由于第十实施例中的图像处理系统100的各个功能块与第六实施方式的各个功能块相同，因此将省略其说明。此外，由于第十实施例的规定区域与第四实施例的规定区域相同，因此将省略其说明。作为第十实施例中的安装条件，除了满足式2至4的条件之外，还满足式5、6、8、9和17至24的条件。

如第十实施例那样安装照相机单元，这在对更宽范围的横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。此外，可以进行点P4、P4'、P5和P5'处的对象的高分辨率摄像以及检测区域的摄像这两者以防止卷入或碰撞。

[第十一实施例]

在第十一实施例中，通过使用一个不同视角照相机来实现卡车的远侧确认用电子侧视镜(UNR46、2类)、卡车的横向近侧确认用电子侧视镜(UNR46、5类)、以及横向侧碰撞警告装置(WP29)。

也就是说，在第十一实施例中，除第六实施例的检测区域之外，在第五实施例中规定的区域中也可以进行摄像。此外，优选用于使得驾驶员能够在图像中确认与驾驶员座椅相对的一侧的地面的规定区域以及用于检测车辆的横向侧以降低在车辆左转或右转的情况下的卷入或碰撞的可能性的检测区域这两者都包括在摄像范围中。

由于第十一实施例中的配置与第六实施例中的配置相同，因此将省略其说明。此外，由于第十一实施例中的规定区域与第五实施例中的规定区域相同，因此将省略其说明。

在第十一实施例中，照相机单元被安装成能够在照相机单元的高分辨率区域10a中对图5所示的所有规定区域进行摄像的同时，对由图6和图7所示的距离d6和d3的位置处的宽度w6所规定的区域以及图9所示的检测区域全部进行摄像。

作为这种情况下的安装条件，除了满足上述的式1至4的条件之外，还满足式10至24的条件。

在第十一实施例中，优选驾驶员能够利用电子侧视镜确认例如d1＝4m、w1＝1m、d2＝30m、w2＝5m、d3＝1.5m、w3＝4.5m、d4＝10m、w4＝15m、d5＝25m和w5＝15m的规定区域。

此外，作为检测区域的具体示例，优选能够对w7＝3m且车辆总长度d7＝12m的检测区域内的检测目标进行摄像。此外，假定例如使用高分辨率区域10a的垂直视角θv和水平视角θh各自均为47.2度的照相机单元，该照相机单元安装在x1＝1.1m、x2＝0.9m、z＝0.3m且h1＝2.3m的位置处，并且检测目标的高度为h2＝1.7m。

在这种情况下，照相机单元被安装成使得照相机单元的光轴的垂直方向角度φv和水平角度φh分别满足：

0.67°<φv<17.90°，以及

-3.37°<φh<17.02°。

这使得可以在对更宽范围的横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。

此外，在这种情况下，可以满足第七实施例至第十实施例中任一个的条件。通过这样做，可以利用一个照相机单元使得各规定区域包括在摄像范围中。

通过如第十一实施例那样安装照相机单元，可以在对横向侧碰撞检测系统所需的视角进行摄像的同时，同时进行用于在电子侧视镜上显示高分辨率和低失真图像的图像的拍摄。此外，可以使得用于使得驾驶员能够在图像中确认与驾驶员座椅相对的一侧的地面的规定区域以及用于检测车辆的横向侧以降低在车辆左转或右转的情况下的卷入或碰撞的可能性的检测区域这两者都包括在摄像范围中。

[第十二实施例]

可以使用程序来实现上述的第一实施例至第十一实施例中所述的各种功能、处理和方法中的至少一个。在下文，在第十二实施例中，用于实现上述的第一实施例至第十一实施例中所述的各种功能、处理和方法中的至少一个的程序被称为“程序X”。

此外，用于执行程序X的计算机将被称为“计算机Y”。计算机Y的示例是个人计算机、微计算机和中央处理单元(CPU)。诸如上述实施例中的图像处理系统等的计算机也是计算机Y的示例。

上述的第一实施例至第十一实施例中所述的各种功能、处理和方法中的至少一个可以通过计算机Y执行程序X来实现。在这种情况下，将程序X经由计算机可读存储介质供给到计算机Y。

第十二实施例中的计算机可读存储介质包括硬盘装置、磁存储装置、光存储装置、磁光存储装置、存储卡、ROM和RAM中的至少一个。此外，第十二实施例中的计算机可读存储介质是非暂态存储介质。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。可以适当地组合第一实施例至第十二实施例。

另外，作为根据实施例的控制的一部分或全部，可以将实现上述实施例的功能的计算机程序通过网络或各种存储介质供给到可移动设备。然后，可移动设备的计算机(或CPU或MPU等)可以被配置为读取并执行该程序。在这种情况下，程序和存储该程序的存储介质构成本发明。

本申请要求2022年6月3日提交的日本专利申请2022-091097的权益，其通过引用而被全部并入本文。

Claims (24)

1.一种可移动设备，包括：

照相机单元，其包括光学系统，所述光学系统用于在摄像单元的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，所述照相机单元安装在所述可移动设备的横向侧，

其中，所述照相机单元被安装成：

在所述高分辨率区域的垂直视角为θv、水平视角为θh、所述光学系统的光轴的垂直角度为φv、水平角度为φh、所述可移动设备的长轴方向上的驾驶员的视点位置与所述照相机单元之间的偏移为x1、所述可移动设备的短轴方向上的所述照相机单元相对于所述可移动设备的侧面的偏移为z、所述照相机单元相对于地面的高度方向上的偏移为h1、长轴方向上的相对于所述驾驶员的视点位置的距离为d1和d2、并且距离d1和d2处的地面上的预定宽度为w1和w2的情况下，满足以下的式：

Atan(h1/(d1+x1))-θv/2<φv<Atan(h1/(d2+x1))+θv/2…(式2)

Φh_limit＝max(Atan((w1-z)/(d1+x1))-θh/2,Atan((w2-z)/(d2+x1))-θh/2)…(式3)

Φh_limit<φh<-Atan(z/(d1+x1))+θh/2…(式4)，以及

在所述低分辨率区域的垂直视角为θlv、水平视角为θlh、相对于地面的预定高度为h2、从所述驾驶员的视点位置到所述可移动设备的前端的距离为x2、所述可移动设备的总长度为d7、并且地面上的预定宽度为w7的情况下，满足以下的式：

在x2<x1的情况下，

Atan(h1/(x1-x2))-θlv/2<φv…(式18)

Atan((w7-z)/(x1-x2))-θlh/2<φh<-Atan(z/(x1-x2))+θlh/2…(式19)，

在x2>x1的情况下，

-Atan((h1-h2)/(x2-x1))-θlv/2+180°<φv…(式20)

-Atan((w7-z)/(x2-x1))-θlh/2+180°<φh…(式21)，以及

在x2＝x1的情况下，

+90°<φv+θlv/2…(式22)

-90>φh-θlh/2…(式23)

+90<φh+θlh/2…(式24)。

2.根据权利要求1所述的可移动设备，

其中，h2与检测目标的高度相对应，以及

所述照相机单元被安装成满足h1≥h2。

3.根据权利要求1所述的可移动设备，其中，所述驾驶员的视点位置是所述驾驶员的就座位置处的眼睛的位置、或者所述驾驶员的座椅面的中央位置。

4.根据权利要求1所述的可移动设备，其中，所述高分辨率区域和所述低分辨率区域分别与低失真区域和高失真区域相对应。

5.根据权利要求4所述的可移动设备，其中，在所述光学系统的焦距为f、半视角为θ、像面上的像高为y、并且表示像高y和半视角θ之间的关系的投影特性为y(θ)的情况下，所述低失真区域中的y(θ)大于f×θ并且不同于所述高失真区域中的投影特性。

6.根据权利要求5所述的可移动设备，其中，所述低失真区域被配置为具有近似中心投影方案或等距投影方案的投影特性。

7.根据权利要求5所述的可移动设备，其中，在θmax是所述光学系统的最大半视角的情况下，所述光学系统被配置为满足：

1<f×sin(θmax)/y(θmax)≤1.9…(式1)。

8.根据权利要求7所述的可移动设备，其中，w1为1m，w2为4m，距离d1为4m，并且d2为20m。

9.根据权利要求8所述的可移动设备，其中，w7为3m。

10.根据权利要求8所述的可移动设备，其中，w7为4.25m。

11.根据权利要求1所述的可移动设备，其中，所述照相机单元被布置成在d3至d5是针对长轴方向的相对于所述驾驶员的视点位置的距离、并且w3至w5是距离d3至d5处的地面上的预定宽度的情况下，满足以下的条件：

Atan(h/(d3+x))-θv/2>φv…(式5)

-Atan(z/(d3+x))+θh/2>φh…(式6)

Atan((w3-z)/(d3+x))-θh/2<φh…(式7)

Atan((w4-z)/(d4+x))-θh/2<φh…(式8)

Atan((w5-z)/(d5+x))-θh/2<φh…(式9)。

12.根据权利要求1所述的可移动设备，其中，所述照相机单元被布置成在d3至d5是针对长轴方向的相对于所述驾驶员的视点位置的距离、并且w5是距离d5处的地面上的预定宽度的情况下，满足以下的条件：

Atan(h/(d3+x))-θv/2>φv…(式5)

-Atan(z/(d3+x))+θh/2>φh…(式6)

Atan((w5-z)/(d5+x))-θh/2<φh…(式9)。

13.根据权利要求1所述的可移动设备，其中，所述照相机单元被布置成在d3至d5是针对长轴方向的所述驾驶员的视点位置后方的距离、并且w4和w5是距离d4和d5处的地面上的预定宽度的情况下，满足以下的条件：

Atan(h/(d3+x))-θv/2>φv…(式5)

-Atan(z/(d3+x))+θh/2>φh…(式6)

Atan((w4-z)/(d4+x))-θh/2<φh…(式8)

Atan((w5-z)/(d5+x))-θh/2<φh…(式9)。

14.根据权利要求1所述的可移动设备，其中，所述照相机单元被布置成在d6是针对长轴方向的相对于所述驾驶员的视点位置的距离、并且w6是距离d6处的地面上的预定宽度的情况下，满足以下的条件：

在x>d6的情况下，

Atan(h/(x-d6))-θlv/2<φv…(式10)

Atan((w6-z)/(x-d6))-θlh/2<φh<-Atan(z/(x-d6))+θlh/2…(式18)，

在x<d6的情况下，

Atan(h/(d6-x))+90°-θlv/2<φv…(式19)

Atan((w6-z)/(x-d6))-θlh/2+90°<φh<-Atan(z/(x-d6))+θlh/2-90°…(式20)，以及

在x＝d6的情况下，

+90°<φv+θlv/2…(式14)

-90>φh-θlh/2…(式15)

+90<φh+θlh/2…(式16)。

15.根据权利要求1所述的可移动设备，包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作图像处理单元，所述图像处理单元被配置为基于所述光学系统的特性信息来对从所述摄像单元获得的图像信号进行失真校正。

16.根据权利要求15所述的可移动设备，其中，所述图像处理单元包括图像识别单元，所述图像识别单元被配置为对从所述摄像单元获得的图像信号进行图像识别。

17.根据权利要求16所述的可移动设备，其中，所述图像识别单元检测自行车。

18.根据权利要求16所述的可移动设备，其中，所述至少一个处理器或电路还被配置为用作：

警告单元，其被配置为基于所述图像识别单元的图像识别的结果来发出警告。

19.根据权利要求18所述的可移动设备，其中，所述警告单元包括语音通知单元，所述语音通知单元被配置为发出语音警告。

20.根据权利要求18所述的可移动设备，其中，在所述可移动设备的速度等于或低于预定速度的情况下，所述警告单元基于所述图像识别单元中的图像识别的结果来进行所述警告。

21.根据权利要求18所述的可移动设备，其中，在通过所述图像识别单元中的图像识别所检测到的检测目标的速度等于或低于预定速度的情况下，所述警告单元进行所述警告。

22.根据权利要求1所述的可移动设备，包括：

显示单元，其被配置为至少显示与所述高分辨率区域相对应的图像。

23.一种可移动设备的控制方法，所述可移动设备包括照相机单元，所述照相机单元包括用于在摄像单元的受光面上形成具有高分辨率区域和低分辨率区域的光学图像的光学系统，所述照相机单元安装在所述可移动设备的横向侧，所述可移动设备的控制方法包括：

将所述照相机单元安装成：

在所述高分辨率区域的垂直视角为θv、水平视角为θh、所述光学系统的光轴的垂直角度为φv、水平角度为φh、所述可移动设备的长轴方向上的驾驶员的视点位置与所述照相机单元之间的偏移为x1、所述可移动设备的短轴方向上的所述照相机单元相对于所述可移动设备的侧面的偏移为z、所述照相机单元相对于地面的高度方向上的偏移为h1、长轴方向上的相对于所述驾驶员的视点位置的距离为d1和d2、并且距离d1和d2处的地面上的预定宽度为w1和w2的情况下，满足以下的式：

Atan(h1/(d1+x1))-θv/2<φv<Atan(h1/(d2+x1))+θv/2…(式2)

Φh_limit＝max(Atan((w1-z)/(d1+x1))-θh/2,Atan((w2-z)/(d2+x1))-θh/2)…(式3)

Φh_limit<φh<-Atan(z/(d1+x1))+θh/2…(式4)，以及

在所述低分辨率区域的垂直视角为θlv、水平视角为θlh、相对于地面的预定高度为h2、从所述驾驶员的视点位置到所述可移动设备的前端的距离为x2、所述可移动设备的总长度为d7、并且地面上的预定宽度为w7的情况下，满足以下的式：

在x2<x1的情况下，

Atan(h1/(x1-x2))-θlv/2<φv…(式18)

Atan((w7-z)/(x1-x2))-θlh/2<φh<-Atan(z/(x1-x2))+θlh/2…(式19)，

在x2>x1的情况下，

-Atan((h1-h2)/(x2-x1))-θlv/2+180°<φv…(式20)

-Atan((w7-z)/(x2-x1))-θlh/2+180°<φh…(式21)，以及

在x2＝x1的情况下，

+90°<φv+θlv/2…(式22)

-90>φh-θlh/2…(式23)

+90<φh+θlh/2…(式24)；

图像处理步骤，用于对从所述摄像单元获得的图像进行图像处理；以及

显示步骤，用于显示在所述图像处理步骤中经受了所述图像处理的图像。

24.一种非暂态计算机可读存储介质，其被配置为存储用以控制可移动设备的计算机程序，所述可移动设备被配置为具有：

照相机单元，其包括光学系统，所述光学系统用于在摄像单元的受光面上形成具有高分辨率区域和低分辨率区域的光学图像，所述照相机单元安装在所述可移动设备的横向侧，

其中，所述照相机单元被安装成：

在所述高分辨率区域的垂直视角为θv、水平视角为θh、所述光学系统的光轴的垂直角度为φv、水平角度为φh、所述可移动设备的长轴方向上的驾驶员的视点位置与所述照相机单元之间的偏移为x1、所述可移动设备的短轴方向上的所述照相机单元相对于所述可移动设备的侧面的偏移为z、所述照相机单元相对于地面的高度方向上的偏移为h1、长轴方向上的相对于所述驾驶员的视点位置的距离为d1和d2、并且距离d1和d2处的地面上的预定宽度为w1和w2的情况下，满足以下的式：

Atan(h1/(d1+x1))-θv/2<φv<Atan(h1/(d2+x1))+θv/2…(式2)

Φh_limit＝max(Atan((w1-z)/(d1+x1))-θh/2,Atan((w2-z)/(d2+x1))-θh/2)…(式3)

Φh_limit<φh<-Atan(z/(d1+x1))+θh/2…(式4)，以及

在所述低分辨率区域的垂直视角为θlv、水平视角为θlh、相对于地面的预定高度为h2、从所述驾驶员的视点位置到所述可移动设备的前端的距离为x2、所述可移动设备的总长度为d7、并且地面上的预定宽度为w7的情况下，满足以下的式：

在x2<x1的情况下，

Atan(h1/(x1-x2))-θlv/2<φv…(式18)

Atan((w7-z)/(x1-x2))-θlh/2<φh<-Atan(z/(x1-x2))+θlh/2…(式19)，

在x2>x1的情况下，

-Atan((h1-h2)/(x2-x1))-θlv/2+180°<φv…(式20)

-Atan((w7-z)/(x2-x1))-θlh/2+180°<φh…(式21)，以及

在x2＝x1的情况下，

+90°<φv+θlv/2…(式22)

-90>φh-θlh/2…(式23)

+90<φh+θlh/2…(式24)，以及

其中，所述计算机程序包括用于执行以下处理的指令：

图像处理步骤，用于对从所述摄像单元获得的图像进行图像处理；以及

显示步骤，用于显示在所述图像处理步骤中经受了所述图像处理的图像。