CN115883984A - 图像处理系统和方法、存储介质、摄像设备和光学单元 - Google Patents

Abstract

本发明涉及图像处理系统和方法、存储介质、摄像设备和光学单元。为了提供使得容易调整照相机等的位置和姿势的图像处理系统，该图像处理系统包括：图像获取单元，其被配置为获取由用于拍摄具有低失真区域和高失真区域的光学图像的摄像单元所形成的图像信号；特性信息获取单元，其被配置为获取与所述光学图像的特性有关的特性信息；以及显示信号生成单元，其被配置为基于所述特性信息获取单元所获取到的特性信息来形成表示所述低失真区域和所述高失真区域之间的边界的信息，并且生成用于将表示边界的信息叠加在所述图像信号上的显示信号。

Description

图像处理系统和方法、存储介质、摄像设备和光学单元

技术领域

本发明涉及能够进行图像识别的图像处理系统、图像处理方法、存储介质、摄像设备和光学单元。

背景技术

近年来，需要用电子后视镜替换运载工具上所安装的后视镜。例如，日本特开2010-95202公开了一种电子后视镜系统，该电子后视镜系统由将运载工具外部的后侧设置为摄像范围的摄像部件和运载工具内部的显示部件构成，并且该电子后视镜系统将摄像部件所拍摄到的图像显示在运载工具内部的显示器上，使得驾驶员可以确认运载工具外部的后侧的状态。

另一方面，存在使得驾驶员能够在运载工具向后移动时等确认运载工具后方的盲点的后方确认系统。日本特开2004-345554公开了如下的后方确认系统，在该后方确认系统中安装有照相机以对运载工具后方的一侧进行摄像，并且在运载工具内部显示拍摄图像，使得当运载工具向后移动时等，驾驶员可以确认运载工具后方的盲点。

作为拍摄上述电子后视镜所用的图像的摄像单元的照相机需要具有高分辨率，使得驾驶员可以更准确地检查相对较远的后视图。另一方面，后方确认系统所用的照相机检查包括运载工具后方的盲点和后侧的更宽范围中的安全性，以避免在运载工具向后移动时等发生碰撞，因此需要照相机对更大范围进行摄像。

因此，在电子后视镜系统和后方确认系统同时装备在运载工具上的情况下，当电子后视镜系统所用的照相机和后方确认系统所用的照相机分开装备时，运载工具内图像处理系统变得复杂。这样的问题也发生在例如通过布置多个照相机以对运载工具周围的情形进行摄像来进行自动驾驶等的自动驾驶系统中。

另一方面，通过采用使用例如特殊的超广角镜头的照相机，可以减少运载工具中所安装的照相机的数量。然而，尽管可以获得宽视角，但存在高分辨率区域(低失真区域)和低分辨率区域(高失真区域)，因此难以确定高分辨率区域(低失真区域)是否与要关注的摄像目标正确对准。存在的问题是，进行用于安装这种照相机的调整是极其困难的。

因此，考虑到上述问题，本发明的一个目的是提供可以容易地调整安装照相机的位置和姿势中的至少一个的图像处理系统。

发明内容

为了实现上述目的，根据本发明一方面的一种图像处理系统，其包括：至少一个处理器或电路，其被配置为用作：图像获取单元，其被配置为获取由用于拍摄具有低失真区域和高失真区域的光学图像的摄像单元所形成的图像信号；特性信息获取单元，其被配置为获取与所述光学图像的特性有关的特性信息；以及显示信号生成单元，其被配置为基于所述特性信息获取单元所获取到的特性信息来形成表示所述低失真区域和所述高失真区域之间的边界的信息，并且生成用于将表示边界的信息叠加在所述图像信号上的显示信号。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出第一实施例中的图像处理系统中的运载工具和摄像单元之间的位置关系的图。

图2A和图2B是示出第一实施例中的摄像单元的光学特性的图。

图3是示出第一实施例中的图像处理系统的结构的功能框图。

图4是示出第一实施例中的照相机处理单元的处理流程的流程图。

图5是示出从图4继续的处理的流程图。

图6是示出来自图4的分支处理的流程图。

图7是示出来自图6的分支处理的流程图。

图8是示出来自图4的另一分支处理的流程图。

图9A至图9H是示出显示图像的状态和显示分辨率边界的叠加的示例的图。

图10A和图10B是示出叠加在图像上的显示分辨率边界93的另一示例的图。

图11A至图11C是示出根据标志F在调整所用的画面上显示的基准框等的示例的图。

图12是示基准框的安装位置的示例的图。

具体实施方式

在下文，参考附图，将使用实施例来说明本发明的有利模式。在各图中，将相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的说明。

[第一实施例]

在第一实施例中，将说明用少量照相机来实现电子后视镜所用的高清显示和用于确认诸如宽范围后侧等的运载工具的周围的显示这两者的有所改进的方法。

图1是示出第一实施例中的图像处理系统中的运载工具和摄像单元之间的位置关系的图。

在第一实施例中，如图1所示，照相机单元11、12、13和14分别安装在运载工具1(其是作为移动体的汽车)的前侧、右侧、后侧和左侧。注意，尽管在第一实施例中提供了四个照相机单元，但照相机单元的数量不限于四个，并且可以提供至少一个或更多个照相机单元。

照相机单元11至14被安装成使得作为移动体的运载工具1的前侧、右侧、后侧和左侧作为摄像范围，并且用作摄像单元。

照相机单元11至14具有基本相同的结构，并且各自包括拍摄光学图像的摄像元件和在摄像元件的受光面上形成光学图像的光学系统。

例如，照相机单元11和13的光学系统的光轴被安装成基本水平，并且照相机单元12和14的光学系统的光轴被安装成从水平略微面向下。

另外，第一实施例中所使用的照相机单元11至14中包括的各个光学系统被配置为能够以围绕光轴的窄视角获得高清图像，并且以宽视角获得低分辨率拍摄图像。注意，附图标记11a至14a表示可以拍摄高分辨率和低失真图像的摄像视角，并且附图标记11b至14b表示可以拍摄低分辨率和高失真图像的摄像视角。

将参考图2A和图2B来说明第一实施例中的照相机单元11至14中所包括的光学系统。注意，尽管各个照相机单元11至14的光学系统可以不必具有相同的特性，但假定在第一实施例中照相机单元11至14中所包括的光学系统具有基本相同的特性，并且将例示地说明照相机单元11中所包括的光学系统。

图2A和图2B是示出本发明的第一实施例中的摄像单元的光学特性的图，并且图2A是以等高线形状示出第一实施例中的照相机单元11中所包括的光学系统内的摄像元件的受光面上的各半视角处的像高y的图。

图2B是示出第一实施例中的照相机单元11中所包括的光学系统的像高y和半视角θ之间的关系的投影特性的图。在图2B中，半视角(由光轴和入射光束形成的角度)θ被示为横轴，并且照相机单元11的传感器表面(像面)上的成像高度(像高)y被示为纵轴。

如图2B所示，第一实施例中的照相机单元11中所包括的光学系统被配置成使得投影特性y(θ)在具有小于预定半视角θa的区域和具有半视角θa或更大的区域之间不同。因此，当每单位的像高y相对于半视角θ的增加量被设置为分辨率时，分辨率根据区域而不同。还可以说，该局部分辨率由投影特性y(θ)的半视角θ处的微分值dy(θ)/dθ表示。也就是说，可以说，图2B中的投影特性y(θ)的倾斜度越大，分辨率越高。此外，还可以说，图2A中的具有等高线形状的各半视角处的像高y的间隔越大，分辨率越高。

在第一实施例中，当半视角θ小于预定半视角θa时在传感器表面上形成的靠近中心的区域被称为高分辨率区域10a，并且半视角θ等于或大于预定半视角θa的靠近外部的区域被称为低分辨率区域10b。注意，在第一实施例中，高分辨率区域10a和低分辨率区域10b之间的边界处的圆被称为分辨率边界，并且与分辨率边界相对应的显示画面上的边界图像被称为显示分辨率边界或简称为边界图像。注意，显示画面上显示的边界图像(显示分辨率边界)不必是圆形的。为方便起见，边界图像可以是矩形等。

注意，在第一实施例中，高分辨率区域10a是失真相对较小的低失真区域，并且低分辨率区域10b是失真相对较大的高失真区域。因此，在第一实施例中，高分辨率区域和低分辨率区域分别与低失真区域和高失真区域相对应，并且高分辨率区域和低分辨率区域可以分别被称为低失真区域和高失真区域。相反，低失真区域和高失真区域可以分别被称为高分辨率区域和低分辨率区域。

第一实施例中的照相机单元11中所包括的光学系统被配置成使得其投影特性y(θ)在高分辨率区域(低失真区域)10a中大于f×θ(f是照相机单元11中所包括的光学系统的焦距)。另外，高分辨率区域(低失真区域)中的投影特性y(θ)被设置为不同于低分辨率区域(高失真区域)中的投影特性。

此外，当θmax是照相机单元11中所包括的光学系统的最大半视角时，优选θa和θmax之间的比θa/θmax等于或大于预定下限值，并且例如，优选0.15至0.16作为预定下限值。

此外，优选θa和θmax之间的比θa/θmax等于或小于预定上限值，并且例如优选为0.25至0.35。例如，在θmax被设置为90度、预定下限被设置为0.15、并且预定上限被设置为0.35的情况下，优选θa被确定在13.5度至31.5度的范围内。

此外，照相机单元11中所包括的光学系统被配置成使得其投影特性y(θ)也满足下式1。

如上所述，f是照相机单元11中所包括的光学系统的焦距，并且A是预定常数。通过将下限值设置为1，可以使中心分辨率高于具有相同最大成像高度的正交投影法(y＝f×sinθ)中的鱼眼镜头的中心分辨率，并且通过将上限值设置为A，可以在获得与鱼眼镜头的视角等同的视角的同时维持良好的光学性能。预定常数A可以考虑高分辨率区域和低分辨率区域之间的平衡来确定，并且优选被设置为1.4至1.9。

通过如上所述配置光学系统，可以在高分辨率区域10a中获得高分辨率，而在低分辨率区域10b中，可以减少每单位的像高y相对于半视角θ的增加量并且拍摄到更宽的视角。因此，可以在将摄像范围设置为与鱼眼镜头的宽视角等同的宽视角的同时在高分辨率区域10a中获得高分辨率。

此外，在第一实施例中，由于高分辨率区域(低失真区域)被设置为具有接近中心投影法(y＝f×tanθ)和等距投影法(y＝f×θ)的特性(其是摄像所用的普通光学系统的投影特性)，因此光学失真小，并且可以进行精细显示。因此，当从视觉上观察诸如前方运载工具和跟随运载工具等的周围运载工具时，可以获得自然的深度感知，并且可以通过抑制图像质量的劣化来获得良好的可视性。

注意，只要投影特性y(θ)满足上述式1的条件，就可以获得相同的效果，因此本发明不限于图2B所示的投影特性。注意，在第一实施例中，具有满足上述式1的投影特性y(θ)的光学系统可以被称为不同视角镜头。

注意，照相机单元11至14的光学系统的高分辨率区域10a与摄像视角11a至14a相对应，并且低分辨率区域10b与摄像视角11b至14b相对应。

对于运载工具的前/右/左侧所装备的照相机单元11、12和14，可以使用具有满足式2的投影特性y(θ)的光学系统来代替不同视角镜头。与不同视角镜头相比，该光学系统具有大致相反的高分辨率区域和低分辨率区域。这种光学系统有时被称为反向不同视角镜头。

0.2<2*f*tan(θmax/2)/y*(θmax)<0.92 (式2)

接着，将参考图3来说明第一实施例中的图像处理系统的结构。

图3是示出第一实施例中的图像处理系统的结构的功能框图。

在图3中，图像处理系统100装备在作为移动体的运载工具1上，并且摄像单元21至24和照相机处理单元31至34分别布置在照相机单元11至14的壳体中。

摄像单元21至24分别包括不同视角镜头21c至24c以及诸如CMOS图像传感器和CCD图像传感器等的摄像元件21d至24d。这里，摄像单元21至24各自用作图像获取单元，并且各图像获取单元从拍摄具有低失真区域和高失真区域的光学图像的摄像单元获取图像信号。此外，在第一实施例中，提供了布置在不同位置处的多个图像获取单元。

作为光学系统的不同视角镜头21c至24c由一个或多于一个光学透镜构成，具有满足式1的条件的投影特性y(θ)，并且在各个摄像元件21d至24d的受光面上形成具有低失真区域和高失真区域的光学图像。摄像元件21d至24d用作摄像单元，并且对光学图像进行光电转换以输出摄像信号。例如，在摄像元件21d至24d的受光面上针对各像素排列RGB滤色器。RGB排列例如是拜耳排列。应当注意，可以使用反向不同视角镜头来代替前方和侧方所用的不同视角镜头。

因此，摄像元件被配置成使得：根据拜耳排列从预定行顺次输出例如R、G、R、G信号，并且从相邻行顺次输出G、B、G、B信号。

附图标记31至34表示照相机处理单元，这些照相机处理单元与摄像单元21至24一起容纳在照相机单元11至14的相同壳体中，并且分别处理从摄像单元21至24输出的摄像信号。注意，为方便起见，在图3中省略了摄像单元24和照相机处理单元34及其布线的细节。

照相机处理单元31至34分别包括图像处理单元31a至34a、识别单元31b至34b和照相机信息单元31c至34c。图像处理单元31a至34a分别对从摄像单元21至24输出的摄像信号进行图像处理。注意，该图像处理的一些或全部可以通过摄像元件21d至24d内的堆叠的信号处理单元来进行。

具体地，图像处理单元31a至34a对根据拜耳排列从摄像单元21至24输入的图像数据进行去拜耳处理，并将该图像数据转换成光栅格式的RGB图像数据。此外，进行各种校正处理，诸如白平衡调整、增益/偏移调整、伽马处理、颜色矩阵处理和可逆压缩处理等。然而，在不进行不可逆压缩处理等的情况下，形成所谓的RAW(原始)图像信号。

识别单元31b至34b从由图像处理单元31a至34a进行图像处理后的未进行失真校正的RAW图像信号中进行预定对象(例如，汽车、人和障碍物等)的图像识别。也就是说，识别单元31b至34b在未进行失真校正的情况下在RAW图像信号的状态下识别与低失真区域相对应的图像信号，并且输出第一图像识别结果。

也就是说，第一实施例中的识别单元31b至34b对从至少高分辨率区域10a获得的RAW图像信号进行图像识别处理，并且识别预定对象。

此时，识别单元31b至34b还可以对从低分辨率区域10b获得的RAW图像信号进行图像识别处理。然而，由于尚未对RAW图像信号进行失真校正，因此不同视角镜头的周边部分中的图像具有大的失真，并且识别的可靠度降低。

可替代地，识别单元31b至34b可以切出从高分辨率区域10a获得的RAW图像信号，并且仅对从高分辨率区域10a获得的RAW图像信号进行图像识别处理。

注意，此时，优选要切出的区域具有矩形形状以供图像识别处理用。此外，要切出的矩形区域可以仅是高分辨率区域10a的一部分(例如，内接在高分辨率区域10a中的矩形)，或者可以是包括高分辨率区域10a和低分辨率区域10b两者的矩形。

这里，识别单元31b至34b用作第一图像识别单元，第一图像识别单元对摄像单元(图像获取单元)所获取到的图像信号内的至少部分区域中的图像信号进行图像识别并且输出第一图像识别结果。注意，在第一实施例中，部分区域是与低失真区域相对应的区域。

识别单元31b至34b将对象的类型和一组坐标作为识别结果发送到整合处理单元40。

另一方面，识别单元31b至34b从整合处理单元40的整合控制单元41c接收横跨照相机单元之间的对象的类型、以及作为与对象的移动方向有关的信息或优先识别区域信息的集合的预测信息。后面将说明该预测信息。

这里，针对正面所安装的照相机单元11的识别单元31b的输出也被直接供给到行驶控制单元(ECU)60。这是因为，可能需要基于由识别单元31b获得的障碍物的识别结果来控制行驶以立即停止行驶或避开障碍物。

照相机信息单元31c至34c预先将照相机单元11至14特有的照相机信息保持在存储器中。照相机信息单元还可以暂时保持来自照相机单元11至14中所设置的各种传感器等的信息。照相机信息包括由例如不同视角镜头21c至24c形成的光学图像的如图2A和图2B所示的特性信息(分辨率边界信息等)。另外，照相机信息包括摄像元件21d至24d的像素数、与照相机单元的运载工具坐标中的装备位置坐标和姿势(俯仰、侧倾和横摆等)有关的信息、以及摄像方向等。照相机信息可以包括诸如伽马特性、感光度特性和帧频等的信息。

此外，照相机信息可以包括与诸如图像处理单元31a至34a生成RAW图像信号时的可逆压缩方法等的图像处理方法以及图像格式有关的信息。

注意，由于通常针对各照相机单元确定针对运载工具的装备位置，因此装备位置坐标可以预先存储在照相机信息单元内的存储器中。此外，照相机单元的姿势坐标是相对于运载工具1的坐标，并且可以从照相机单元中所设置的编码器(未示出)获取。可替代地，可以使用三维加速度传感器等获取姿势坐标。

此外，可以使用例如地磁传感器获取与摄像方向有关的信息。由于照相机的分辨率边界信息由镜头的设计确定，因此假定分辨率边界信息预先存储在照相机信息单元内的存储器中。

照相机信息是摄像单元21至24的独特信息，并且多个照相机信息彼此不同，被发送到整合处理单元40，并在整合处理单元40中进行图像处理等时被参考。

注意，在照相机处理单元31至34中内置有作为计算机的CPU和作为存储介质的用于存储计算机程序的存储器。此外，CPU被配置为通过执行存储器中的计算机程序来控制照相机处理单元31至34中的各单元。

注意，在第一实施例中，图像处理单元31a至34a和识别单元31b至34b使用诸如专用电路(ASIC)或处理器(可重构处理器，DSP)等的硬件。由此，可以实现高分辨率区域的高速图像识别，并且增加避免移动体的轻微碰撞的可能性。注意，图像处理单元31a至34a也可以具有失真校正功能。

注意，可以通过使CPU执行存储器中所存储的计算机程序来实现照相机处理单元31至34内部的功能块的一些或全部，但在这种情况下，优选增加CPU的处理速度。

附图标记40表示整合处理单元，其包括片上系统(SOC)/现场可编程门阵列(FPGA)41、作为计算机的CPU 42和作为存储介质的存储器43。CPU 42通过执行存储器43中所存储的计算机程序来进行整个图像处理系统100的各种控制。注意，在第一实施例中，整合处理单元40容纳在与照相机单元分开的壳体中。

SOC/FPGA 41包括图像处理单元41a、识别单元41b和整合控制单元41c。

图像处理单元41a从照相机处理单元31至34获取各个RAW图像信号，并且从照相机信息单元31c至34c获取照相机单元11至14的照相机信息。

如上所述，照相机信息包括不同视角镜头21c至24c的光学特性、摄像元件21d至24d的像素数、光电转换特性、伽马特性、感光度特性、RAW图像信号的格式信息、以及照相机单元的运载工具坐标中的装备坐标和姿势信息等。

图像处理单元41a基于多个照相机信息对从照相机处理单元31至34获得的各个RAW图像信号进行分辨率转换，并且对从摄像单元21至24的各个低分辨率区域10b获得的图像信号进行失真校正。

在第一实施例中，由于从高分辨率区域10a获得的图像信号几乎没有失真，因此图像处理单元41a不进行失真校正。然而，图像处理单元41a也可以对从高分辨率区域10a获得的图像信号进行简单的失真校正。此外，图像处理单元41a对从照相机处理单元31至34获得的各个RAW图像信号适当地进行不可逆压缩处理等。

此外，图像处理单元41a将进行了失真校正的摄像单元21至24的低分辨率区域10b的图像信号与高分辨率区域10a的图像信号以彼此平滑地连接的方式合成，由此形成每个摄像单元21至24的整体图像。

注意，在对低分辨率区域10b的图像信号和从高分辨率区域10a获得的图像信号这两者进行失真校正的情况下，可以对图像处理单元31a至34a所获得的RAW图像信号原样进行失真校正。

识别单元41b在至少对低分辨率区域进行失真校正之后对每个摄像单元21至24的整体图像进行图像识别处理，并且对每个摄像单元21至24的整体图像中的预定对象(例如，汽车、人和障碍物等)进行图像识别。也就是说，识别单元41b对至少与低分辨率区域(高失真区域)相对应的图像信号进行失真校正，然后进行图像识别以输出第二图像识别结果。

此时，还参考由识别单元31b至34b获得的识别结果(对象的类型和坐标)。注意，在第一实施例中，识别单元41b对每个摄像单元21至24的整体图像进行图像识别，但可以不对整体图像进行图像识别。例如，可以不对图像的周边部进行图像识别。

也就是说，识别单元41b的图像识别区域可以包括例如由识别单元31b至34b识别的区域，并且可以是更宽的区域。

也就是说，识别单元41b用作第二图像识别单元，该第二图像识别单元对比由第一图像识别单元进行了图像识别的部分区域更宽的区域的图像信号进行图像识别并且输出第二图像识别结果，该图像信号是图像获取单元所获取的图像信号中的包括该部分区域的图像信号。注意，第二图像识别单元对与作为低失真区域的高分辨率区域10a和作为高失真区域的低分辨率区域10b相对应的两个图像信号进行图像识别，并且输出第二图像识别结果。

在第一实施例中，图像处理单元41a将从作为多个摄像单元的照相机单元12至14获得的图像以连接的方式合成，由此形成全景合成图像。

在这种情况下，要连接的多个摄像单元的图像被设置成使得摄像视角的至少部分具有预定量或更多的重叠区域。

也就是说，照相机单元12和13的摄像范围被布置成彼此重叠。此外，照相机单元13和14的摄像范围被布置成彼此重叠。此外，在第一实施例中，至少两个图像获取单元的低失真区域的摄像范围被布置成彼此重叠。

此外，识别单元41b对全景合成图像进行图像识别。由此，例如，可以识别被拍摄成横跨多个摄像单元的视角的对象的图像。也就是说，这是因为，尽管从来自各个摄像单元的各个整体图像中可能无法知晓对象的整体图像，但在全景合成图像中示出几乎整个对象，并且可以通过图像处理来进行图像识别。

例如，在由识别单元31b至34b获得的识别结果和由识别单元41b获得的识别结果彼此不同的情况下，整合控制单元41c通过采用更可靠的识别结果来输出整合后的图像识别结果。

例如，将画面中的由识别单元31b至34b识别的对象的比例和画面中的由识别单元41b识别的相同对象的比例彼此进行比较，并且具有更大比例的识别结果可以被判断为具有更高的可靠度并被采用。

可替代地，在横跨高分辨率区域的内部和低分辨率区域这两者的对象的情况下，由识别单元41b获得的识别结果可以被判断为具有比识别单元31b至34b获得的识别结果的可靠度更高的可靠度，并且可以被采用。可替代地，在由识别单元31b至34b识别的对象的位置是画面的周边部的情况下，判断为可靠度低，并且可由识别单元41b获得的识别结果可以被判断为具有更高的可靠度并被采用。

可替代地，识别单元41b在低分辨率区域经受失真校正的状态下仅对低分辨率区域进行图像识别，并且在存在横跨低分辨率区域和高分辨率区域的对象的情况下，识别单元41b可以对该对象进行图像识别。也就是说，可以认为由识别单元31b至34b进行的识别对于仅存在于高分辨率区域中的对象更可靠，并且可以控制识别单元41b以不进行图像识别处理。

这里，整合控制单元41c用作输出基于第一图像识别结果的可靠度和第二图像识别结果的可靠度整合后的图像识别结果的整合处理单元。

另外，图像处理单元41a形成了用于将每个摄像单元21至24的整体图像以及通过连接这些整体图像所获得的全景合成图像等中的期望图像显示在第一显示单元50、第二显示单元51和第三显示单元52等上的信号。另外，生成了用于突出显示所识别的对象的框、以及与对象的类型、大小、位置和速度等有关的信息或者警告所用的CG等。此外，可以基于光学系统的特性信息(诸如从照相机信息单元31c至34c获取到的显示分辨率边界信息等)来生成用于显示边界的边界图像的CG。此外，为了表示边界，仅需要可以生成表示边界的信息而不生成显示图像。

另外，进行用于将CG和字符叠加在图像上的显示处理。这里，第一显示单元50、第二显示单元51和第三显示单元52等用作显示单元，并且显示图像信号以及整合后的图像识别结果等。

此外，在第一实施例中，整合控制单元41c被配置为在多个照相机单元之间共享与识别的对象有关的信息。也就是说，例如，假定由照相机单元14识别的对象正在照相机单元11的视角的方向上移动。在这种情况下，整合控制单元41c将对象的类型以及包括与对象的移动方向有关的信息或优先识别区域信息的预测信息发送到照相机单元11的识别单元31b。

通过由照相机单元11至14的识别单元31b至34b共享这样的预测信息，可以提高照相机单元11至14的识别单元31b至34b中的图像识别的准确度。注意，当照相机单元11至14的识别单元31b至34b与整合处理单元40的识别单元41b分开时，共享这样的预测信息的优点特别有效。

此外，整合控制单元41c使用诸如CAN、FlexRay或以太网(Ethernet)等的协议经由内部设置的通信单元(未示出)与行驶控制单元(ECU)60等进行通信。由此，进行用于基于从行驶控制单元(ECU)60等接收到的运载工具控制信号来适当地改变要显示的信息的显示处理。也就是说，例如，显示单元上显示的图像的范围等根据通过运载工具控制信号获取到的运载工具的移动状态而改变。

注意，行驶控制单元(ECU)60装备在运载工具1上，并且是具有用于综合进行运载工具1的驱动控制和方向控制等的内置计算机和存储器的单元。从行驶控制单元(ECU)60将与运载工具的行驶(移动状态)有关的信息(诸如行驶速度、行驶方向、换挡杆、换挡、转向信号的状态和使用地磁传感器等的运载工具的朝向等)作为运载工具控制信号输入到整合处理单元40。

整合控制单元41C将诸如识别单元41b识别的预定对象(障碍物等)的类型、位置、移动方向和移动速度等的信息发送到行驶控制单元(ECU)60。由此，行驶控制单元(ECU)60进行避开障碍物所需的控制，诸如运载工具的停止、驾驶和行驶方向的改变等。这里，行驶控制单元(ECU)60用作基于整合后的图像识别结果来控制作为移动体的运载工具的移动的移动控制单元。

第一显示单元50以显示画面面向运载工具的后方的状态安装在例如运载工具1的驾驶员座位的前方上部在运载工具宽度方向上的中央附近，并且用作电子后视镜。注意，第一显示单元50可以被配置为在不用作显示器时可用作使用半反射镜等的反射镜。另外，第一显示单元50可以被配置为通过包括触摸面板或操作按钮来获取用户的指示，并且能够将该指示输出到整合控制单元41c。

第二显示单元51例如安装在运载工具1的驾驶员座椅前方在运载工具宽度方向上的中央附近的操作面板周围。注意，作为移动体的运载工具1配备有导航系统(未示出)和音频系统等。

另外，例如，可以在第二显示单元上显示来自导航系统、音频系统和行驶控制单元(ECU)60的各种控制信号等。另外，第二显示单元被配置为包括触摸面板和操作按钮，以能够获取用户的指示。

第三显示单元52例如是平板终端的显示单元，并且可以通过以有线方式连接到整合处理单元40来进行显示，并且还可以经由通信单元62以无线方式接收和显示图像。

当调整照相机单元11至14的位置和姿势时，在以无线方式连接的平板终端的显示单元上显示调整所用的画面的同时进行调整操作。当然，显示从导航系统接收到的控制信号的第二显示单元51和第三显示单元52的功能也可以通过一个显示装置来实现。

注意，可以使用液晶显示器或有机EL显示器等作为第一显示单元50、第二显示单元51和第三显示单元52的显示面板。注意，显示单元的数量不限于三个。

注意，整合处理单元40等中所包括的功能块的一些或全部可以通过硬件来实现，或者可以通过使CPU 42执行存储器43中所存储的计算机程序来实现。作为硬件，可以使用专用电路(ASIC)或处理器(可重构处理器、DSP)等。

另外，由图像处理单元31a至34a进行的图像处理的一部分或全部可以由整合处理单元40的图像处理单元41a进行。也就是说，在第一实施例中，例如，图像获取单元和第一图像识别单元容纳在同一照相机单元的壳体中，并且照相机单元和第二图像识别单元容纳在不同的壳体中。然而，例如，第一图像识别单元可以与第二图像识别单元一起容纳在整合处理单元40的壳体中。

注意，在第一实施例中，整合处理单元40装备在作为移动体的运载工具1上，但整合处理单元40的图像处理单元41a、识别单元41b和整合控制单元41c中的一部分的处理可以通过网络由例如外部服务器等进行。在这种情况下，例如，作为图像获取单元的摄像单元21至24装备在作为移动体的运载工具1上，但例如，照相机处理单元31至34和整合处理单元40的功能的一些可以由外部服务器等处理。另外，还可以将整合处理单元40的功能的一些或全部提供给行驶控制单元(ECU)60。

附图标记61表示存储单元，其存储由整合处理单元40生成的每个摄像单元21至24的整体图像以及全景合成图像。此外，将表示所识别的对象的预定框、诸如字符和警告等的CG、以及叠加有CG并显示在第一显示单元50和第二显示单元51等上的图像连同时间和GPS信息等一起存储。

整合处理单元40还可以再现存储单元61中所存储的过去信息并将该过去信息显示在第一显示单元50和第二显示单元51上。

附图标记62表示通信单元，其用于经由网络与外部服务器等进行通信，并且可以将存储在存储单元61中之前的信息或存储在存储单元61中的过去信息发送到外部服务器等，并将其存储在外部服务器等中。此外，如上所述，也可以将图像发送到外部平板终端等并显示在作为平板终端的显示单元的第三显示单元52上。另外，也可以从外部服务器等获取拥堵信息和各种类型的信息，并经由整合处理单元40显示在第一显示单元50或第二显示单元51等上。

图4至图8是示出第一实施例中的整合处理单元40的一系列操作的流程图。图4至图8的流程通过整合处理单元40的CPU 42执行存储器43中所存储的计算机程序来顺次执行。

例如，在平板终端的第三显示单元52上显示用于开始照相机姿势调整模式的开始按钮，并且当点击开始按钮时，图4至图8的流程开始。

图4是示出第一实施例中的照相机处理单元的处理流程的流程图。

在图4的步骤S41中，判断后方照相机是否处于调整模式。在“是”的情况下，处理进入步骤S42，并且在“否”的情况下，处理进入图8中的步骤S80。

在步骤S42(特性信息获取步骤)中，从后方的照相机单元13的照相机信息单元33c获取后方照相机的位置、姿势和分辨率边界信息等。这里，步骤S42用作用于获取与光学图像的特性有关的特性信息的特性信息获取单元。

在步骤S43(图像获取步骤)中从后方的照相机单元13获取视频，在步骤S44中判断是否进行针对多个照相机单元的分辨率边界显示，并且在“否”的情况下，处理进入步骤S45。

在步骤S45中，判断是否进行失真校正，并且在“否”的情况下，处理进入步骤S47以将标志F设置为0，然后处理进入步骤S48。在“是”的情况下，图像处理单元41a在步骤S46中对后方的照相机单元13的视频进行失真校正，将标志F设置为1，然后进入步骤S48。

在步骤S48中，基于标志F考虑到是否进行了失真校正来计算后方的照相机单元13的显示分辨率边界。然后，在步骤S49(显示信号生成步骤)中，将所计算出的显示分辨率边界叠加在从后方的照相机单元13获得的视频上，并将该视频显示在例如第三显示单元52上。也就是说，例如，将该视频显示在经由通信单元62调整照相机单元时使用的平板终端的第三显示单元52上。这里，步骤S48用作显示信号生成单元，该显示信号生成单元基于由特性信息获取单元获取到的特性信息来形成低失真区域和高失真区域的边界图像，并通过将该图像叠加在图像信号上来生成显示信号。

图9A至图9H是示出图像的显示状态与显示分辨率边界的叠加的示例的图，并且图9A是示出显示分辨率边界93叠加在从后方的照相机单元13获得的尚未经受失真校正的视频130上的示例的图。也就是说，示出在标志F为0的情况下显示的图像。另一方面，图9B是示出显示分辨率边界93的边界图像叠加在从后方的照相机单元13获得的经受了失真校正的视频131上的示例的图。图9A和图9B都是在作为第三显示单元52的平板终端的显示单元上显示的视频的示例。

注意，可以对图9B中显示的显示分辨率边界93进行根据失真校正的坐标转换。

此外，当显示分辨率边界93叠加在图像上时，可以叠加如图10A和图10B所示的附加边界图像的CG。

图10A和图10B是示出叠加在图像上的显示分辨率边界93的另一示例的图。图10A是示出如下示例的图：通过以显示分辨率边界93作为边界使高分辨率区域和低分辨率区域在亮度和颜色方面不同、以便区分高分辨率区域和低分辨率区域之间的边界，可以看到显示分辨率边界的内部和外部。

注意，在如图10A所示、在显示分辨率边界93的内部和外部之间亮度和颜色等不同的情况下，可以不显示显示分辨率边界的线本身。也就是说，第一实施例中的显示分辨率边界(边界图像)的显示包括不使用线的边界的显示。另外，表示边界的线可以由例如双线表示，并且内侧(高分辨率区域所在的一侧)的线可以由虚线表示以将视线向内引导，由此使得可以容易地看到高分辨率区域的内部和外部。

图10B是示出如下示例的图：在照相机单元相对于侧倾轴等倾斜的情况下，在显示分辨率边界93上添加并叠加水平轴和垂直轴以容易地看到照相机单元的倾斜。

注意，当显示显示分辨率边界时，为方便起见，可以将显示分辨率边界显示为例如矩形。通过将显示分辨率边界显示为矩形，可以以易于理解的方式显示该显示分辨率边界是否侧倾。这种情况下的矩形例如可以是相对于圆形的显示分辨率边界内接或外接的矩形。

在图4的步骤S49中在第三显示单元52上输出和显示图像和显示分辨率边界93等之后，处理进入图5的步骤S50。

图5是示出从图4继续的处理的流程图。

在步骤S50中，在标志F为0或1的情况下，在画面上显示如图11A所示的基准框200和基准框中心203。注意，在标志F为1的情况下，进行失真校正，因此第三显示单元52上显示的图像的坐标以及显示分辨率边界93的坐标也被相应地转换。

注意，基准框200可以是例如仅显示四个角的框、或者例如是四个点等，并且第一实施例中的框也包括这样的框。此外，基准框200被设置为充分满足根据美国国家公路交通安全管理局(NHTSA)的后方照相机标准设置最终规则(MVSS111)。也就是说，例如，仅需要将运载工具后端后方3m且离左右方向上的运载工具的中心轴1.5m远的婴儿的头部能够充分落入的区域设置为基准框。

图11A至图11C是示出根据标志F在调整所用的画面上显示的基准框等的示例的图，并且图11A是示出在标志F为0或1的情况下在调整所用的画面上显示的基准框等的示例的图。图12是示出基准框的安装位置的示例的图。图11A中的画面是在标志F为0的情况下进行失真校正之前的画面，并且是在标志F为1的情况下进行了失真校正之后的画面。

在图11A中，例如，相对于显示分辨率边界93显示矩形的虚拟基准框200和基准框中心203。该基准框200在图12所示的位置205(例如，在离运载工具1的后端2m远、垂直于运载工具1的移动方向、相对于垂直于地面的平面在水平方向上4m、并且与地面相距1m的位置)处以运载工具1的坐标为基准布置在虚拟画面上。

可以经由行驶控制单元(ECU)60从地磁传感器等的输出获取运载工具1的方向。注意，代替将这样的虚拟图像显示在画面上，可以通过实际将基准板放置在位置205处并进行摄像来显示基准框200和基准框中心203。

注意，基准框200与电子后视镜上所显示的图像区域相对应。例如，在运载工具1向后移动的情况下，图像处理单元41a仅将从照相机单元13获得的图像信号显示在电子后视镜上。此时，可以在从照相机单元13获得的图像信号中仅切出与基准框200相对应的图像区域，并将该图像区域显示在例如作为电子后视镜的第一显示单元50上。然而，在照相机单元13的调整期间，将如图11A所示的整体图像显示在诸如平板终端的显示单元等的第三显示单元52的画面520上，并且可以调整照相机单元13的位置和姿势。

注意，如上所述并且如图12所示，照相机单元11至14中的至少两个照相机单元12和13的摄像范围以及照相机单元13和14的摄像范围被布置成彼此重叠。此外，在第一实施例中，至少两个图像获取单元的低失真区域的摄像范围被布置成彼此重叠。

在图5的步骤S51中，判断基准框中心203和显示分辨率边界93的重心93c是否彼此一致。在它们彼此一致的情况下，处理进入步骤S53。在“否”的情况下，处理进入步骤S52，显示箭头303(引导信息)以使显示分辨率边界93的重心93c朝向基准框中心203移动，然后处理进入步骤S53。此外，在步骤S51中，基准框中心203和重心93c不一定必须彼此一致。仅需要可以将基准框区域中的大部分(理想地，全部)调整成变为高分辨率区域。因此，在设置了阈值并且基准框区域中的高分辨率区域的面积超过阈值的情况下，S51中的判断结果为“是”，并且处理可以进入S53。

以这种方式，在步骤S52中，可以显示用于根据箭头303的朝向和长度来校正偏差的移动方向和移动量。可替代地，可以使用文本或声音给出移动方向和移动所用的指示。

此外，在步骤S52中，可以使用例如基准框中心203作为画面的水平和垂直坐标的中心来用数值显示显示分辨率边界93的重心93c在水平和垂直坐标中的位置。

这些数值、箭头303、基准框200和基准框中心203用作用于基于边界图像来调整图像获取单元的姿势等的引导信息。注意，可以使用这些中的至少一个作为引导信息。例如，可以仅显示基准框200，并且用户可以从视觉上调整边界图像和基准框200。

此外，步骤S50和S52还用作显示信号生成步骤(显示信号生成单元)。

在步骤S53中，判断照相机单元13的姿势等的调整是否终止。例如，在平板终端的第三显示单元52上显示调整完成按钮。然后，例如，在用户在观看平板终端的画面的同时调整照相机单元13的姿势等并且在该调整完成之后点击调整完成按钮的情况下，判断为调整已完成。

另外，如上所述，并不总是需要进行调整直到基准框中心203和重心93c之间的偏差消失为止。仅需要可将基准框区域中的大部分(理想地，全部)调整为高分辨率区域。因此，在设置了阈值并且基准框区域中的高分辨率区域的面积超过阈值的情况下，S53中的判断结果为“是”，并且处理进入S54。在步骤S53中为“否”的情况下，处理返回到步骤S51，并且在“是”的情况下，处理进入步骤S54。

在步骤S54中，判断是否做出了模式终止请求。例如，在平板终端的第三显示单元52上显示用于终止照相机姿势调整模式的终止按钮，并且当用户点击终止按钮时，判断为做出了模式终止请求。

在步骤S54中为“是”的情况下，终止图4至图8的流程。在“否”的情况下，处理返回到步骤S41。

在图4的步骤S44中，判断是否进行针对多个照相机单元的分辨率边界显示，并且在“是”的情况下，处理进入图6的步骤S60(特性信息获取步骤)。

图6是示出来自图4的分支处理的流程图。这里，以容易理解的方式显示是否可以将基准框200的区域的内部作为高分辨率区域进行摄像。在不能进行这种摄像的情况下，尝试支持安装照相机单元12至14的位置和姿势中的至少一个的调整。

在步骤S60中，从照相机信息单元32c和34c获取右侧的照相机单元12和左侧的照相机单元14的位置、姿势和分辨率边界信息等。也就是说，获取到作为多个图像获取单元的照相机单元12和14中的边界信息。

接着，在步骤S61中，判断是否使用从多个照相机单元获得的图像。在“否”的情况下，处理进入步骤S62以判断是否进行失真校正。

在步骤S62中为“是”的情况下，在步骤S63中对后方的照相机单元13的视频进行失真校正，将标志F设置为3，并且处理进入步骤S65。另一方面，在步骤S62中为“否”的情况下，在步骤S64中将标志F设置为2，然后处理进入步骤S65。

在步骤S65中，计算后方的照相机单元13、右侧的照相机单元12和左侧的照相机单元14的显示分辨率边界。

然后，在步骤S66(显示信号生成步骤)中，将多个显示分辨率边界叠加在后方的照相机单元13的视频上并显示在第三显示单元52上。也就是说，生成多个边界图像叠加在一个图像上的显示信号。将该显示信号例如经由通信单元62供给到在调整照相机单元时使用的平板终端的第三显示单元52并显示在第三显示单元52上。

图9C是示出照相机单元13的显示分辨率边界93、照相机单元12的显示分辨率边界92和照相机单元14的显示分辨率边界94叠加在从照相机单元13获得并显示的尚未经受失真校正的视频130上的示例的图。图9C和图9D都是在作为第三显示单元52的平板终端的显示单元上显示的视频的示例。当使用前/左/右侧的包括不同视角镜头的摄像单元时，分辨率边界92内部的区域是高分辨率区域。然而，当使用前/左/右侧的包括反向不同视角镜头的摄像单元时，用反向不同视角镜头拍摄到的位于分辨率边界92外部的区域是高分辨率区域。

也就是说，示出在标志F为2的情况下显示的图像。另一方面，图9D是示出照相机单元13的显示分辨率边界93、照相机单元12的显示分辨率边界92和照相机单元14的显示分辨率边界94叠加在从照相机单元13获得的经受了失真校正的视频131上的示例的图。

也就是说，示出在标志F为3的情况下显示的图像。注意，对图9D所示的显示分辨率边界92和94进行根据失真校正的坐标转换。还可以对显示分辨率边界93进行根据失真校正的坐标转换。

在步骤S66之后，处理进入步骤S50。步骤S50至S54的操作与已经描述的操作相同，但在标志F为2或3的情况下，在步骤S50中显示如图11B所示的调整所用的画面。

图11B是示出在标志F为2或3的情况下在调整所用的画面上显示的基准框等的示例的图。注意，图11B中的画面是在标志F为2的情况下进行失真校正之前的画面，并且是在标志F为3的情况下进行了失真校正之后的画面。

在标志F为2或3的情况下，显示基准框200、基准框中心203和用于对准右侧的照相机单元12的显示分辨率边界92的重心93c的基准点202。此外，显示用于对准左侧的照相机单元14的显示分辨率边界94的重心94c的基准点204。

然后，在步骤S51中，判断为基准框中心203和显示分辨率边界93的重心93c彼此一致、基准点202和显示分辨率边界92的重心93c彼此一致、并且基准点204和显示分辨率边界94的重心94c彼此一致。

注意，这里，基准点202和204被设置在相对于基准框中心203的预定距离处，并且显示分辨率边界92和93被设置为彼此重叠了预定量。此外，显示分辨率边界94和93被设置为彼此重叠了预定量。也就是说，如上所述，在第一实施例中，至少两个图像获取单元的摄像范围(特别地，高分辨率区域(低失真区域))被调整并布置成彼此重叠。另外，如上所述，在步骤S51中，基准点202和204与重心92c和93c不一定必须彼此一致。仅需要可以将基准框区域中的大部分(理想地，全部)调整成变为高分辨率区域。因此，在设置了阈值并且基准框区域中的高分辨率区域的面积超过阈值的情况下，S51中的判断结果可以为“是”。在该面积等于或小于阈值的情况下，在S51中判断结果为“否”，并且处理进入S52。

注意，如上所述，图11B中的基准框200与电子后视镜上所显示的图像区域相对应。

因此，图像处理单元41a例如在运载工具1的正常驾驶期间合成并显示从照相机单元12至14获得的图像信号。另外，可以从合成图像中切出与基准框200相对应的图像区域，并将该图像区域显示在作为例如电子后视镜的第一显示单元50上。然而，在照相机单元12至14的调整期间，将如图11B所示的整体图像显示在诸如平板终端的显示单元等的第三显示单元52上，并且可以调整照相机单元12至14的姿势等。

在步骤S52中，在基准框中心203与显示分辨率边界93的重心93c之间存在偏差的情况下，该偏差由箭头303表示。此外，如图11B所示，基准点202与显示分辨率边界92的重心93c之间的偏差由箭头302表示，并且基准点204与显示分辨率边界94的重心94c之间的偏差由箭头304表示。与箭头302一起，可以显示或通知诸如“请将右侧的照相机指向运载工具”等的文本或声音。

另外，如上所述，并不总是需要调整偏差直到基准点202和204与重心92c和93c彼此一致为止。仅需要可将基准框区域中的大部分(理想地，全部)调整成变为高分辨率区域。因此，在设置了阈值并且基准框区域中的高分辨率区域的面积超过阈值的情况下，S53中的判断结果为“是”，并且处理进入S54。

在步骤S53中，用户调整照相机单元12至14的位置和姿势，并且在用户在调整完成之后点击调整完成按钮的情况下，判断为调整已经完成。

接着，当在图6的步骤S61中判断是否使用多个照相机的视频时，在“是”的情况下，处理进入图7的步骤S70。

图7是示出来自图6的分支处理的流程图。

在步骤S703(图像获取步骤)中，获取右侧的照相机单元12和左侧的照相机单元14的视频，并且在步骤S71中判断是否进行失真校正。

在步骤S71中为“是”的情况下，在步骤S72中对后方的照相机单元13、右侧的照相机单元12和左侧的照相机单元14的视频进行失真校正，将标志F设置为5，并且处理进入步骤S74。另一方面，在步骤S71中为“否”的情况下，在步骤S73中将标志F设置为4，然后处理进入步骤S74。

在步骤S74中，合成后方的照相机单元13、右侧的照相机单元12和左侧的照相机单元14的视频。也就是说，合成从多个图像获取单元获取的图像信号以生成合成图像。

接着，在步骤S75中，计算后方的照相机单元13、右侧的照相机单元12和左侧的照相机单元14的显示分辨率边界。

然后，在步骤S76(显示信号生成步骤)中，将显示分辨率边界叠加在合成图像上并显示在第三显示单元52上。也就是说，生成多个边界图像叠加在合成图像上的显示信号。将该显示信号例如经由通信单元62供给到在调整照相机单元时使用的平板终端的第三显示单元52并显示在第三显示单元52上。

图9E是示出在未进行失真校正的情况下合成的图像上叠加显示分辨率边界的示例的图，并且示出在标志F为4的情况下显示的视频。图9F是示出在进行失真校正之后合成的图像上叠加显示分辨率边界的示例的图，并且示出在标志F为5的情况下显示的图像。附图标记520表示第三显示单元52的画面框。

附图标记120表示从右侧的照相机单元12获得的尚未经过失真校正的图像信号，附图标记130表示从后方的照相机单元13获得的尚未经过失真校正的图像信号，并且附图标记140表示从左侧的照相机单元14获得的尚未经过失真校正的图像信号。附图标记900表示这些图像信号并排显示的图像。照相机视频被布置成使得分辨率边界分开了照相机的显示分辨率边界的距离。例如，当照相机单元的安装位置或姿势根据图11B和图11C所示的引导改变、并且显示分辨率边界彼此接近时，表示边界的信息(圆线)也接近。

此外，附图标记121表示从右侧的照相机单元12获得的经过了失真校正的图像信号，附图标记131表示从后方的照相机单元13获得的经过了失真校正的图像信号，并且附图标记141表示从左侧的照相机单元14获得的经过了失真校正的图像信号。附图标记901表示这些图像信号并排显示的图像。照相机视频被布置成使得分辨率边界分开了照相机的显示分辨率边界的距离。

例如，当照相机单元的安装位置或姿势根据图11B和图11C所示的引导改变、并且显示分辨率边界彼此接近时，表示边界的信息(圆线)也接近。

注意，对图9F所示的显示分辨率边界92、94进行根据失真校正的坐标转换。还可以对显示分辨率边界93进行根据失真校正的坐标转换。

注意，在第一实施例中，在图9E和图9F中，显示分辨率边界92和94以不与显示分辨率边界93重叠的方式显示在第三显示单元52的画面520上。然而，在正常驾驶等期间在电子室内监视器上显示的图像以显示分辨率边界92的一部分与显示分辨率边界93彼此重叠的状态被合成。此外，显示分辨率边界94的一部分与显示分辨率边界93以重叠状态被合成。

在步骤S76之后，处理进入步骤S50。步骤S50至S54的操作与已经描述的操作相同，但在标志F为4或5的情况下，在步骤S50中显示如图11C所示的调整所用的画面。

图11C是示出在标志F为4或5的情况下的调整所用的画面的示例的图，并且该画面是在标志F为4的情况下进行失真校正之前的画面，并且是在标志F为5时进行失真校正之后的画面。

在图11C中，在基准框210中，除了显示基准框中心213之外，还显示用于对准右侧的照相机单元12的显示分辨率边界92的重心93c的基准点212。此外，显示用于对准左侧的照相机单元14的显示分辨率边界94的重心94c的基准点214。

然后，在步骤S51中，判断为基准框中心213与显示分辨率边界93的重心93c彼此一致、基准点212与显示分辨率边界92的重心93c彼此一致、并且基准点214与显示分辨率边界94的重心94c彼此一致。

注意，图11C中的基准框210与电子后视镜上显示的图像区域相对应。然而，在图11C中，照相机单元11至13的图像在未被合成的情况下并排显示，但在电子后视镜上实际显示通过将照相机单元11至13的图像彼此部分叠加所获得的合成图像。因此，基准框210在调整时显示，并且具有比实际与图11A和图11B所示的电子后视镜相对应的基准框200更长且更窄的形状。

也就是说，在图像处理单元41a合成并显示从照相机单元12至14获得的图像信号的情况下，从合成图像中切出与图11A的基准框200相对应的图像区域，并将该图像区域显示在例如作为电子后视镜的第一显示单元50上。

注意，在第一实施例中，电子后视镜上显示的合成图像的切出区域与照相机单元12至14的高分辨率区域(低分辨率区域)相对应，并且仅切出并显示合成图像中的高分辨率区域(低分辨率区域)。

然而，如上所述，在照相机单元12至14的调整期间，将如图11C所示的整体图像和基准框210显示在诸如平板终端的显示单元等的第三显示单元52上，并且可以调整照相机单元12至14的位置和姿势。

在步骤S52中，当在基准框中心213与显示分辨率边界93的重心93c之间存在偏差时，该偏差由箭头表示。此外，基准点212与显示分辨率边界92的重心93c之间的偏差由箭头表示，并且基准点214与显示分辨率边界94的重心94c之间的偏差由箭头表示。此外，由于步骤S50至S54的其他操作与已经描述的操作相同，因此将省略其说明。也就是说，在合成图像上显示多个边界图像的状态下，生成诸如用于调整摄像单元的姿势的箭头等的引导信息。

接着，在图4的步骤S41中，判断是否调整了后方的照相机单元。在“否”的情况下，处理进入图8的步骤S80(特性信息获取步骤)。

图8是示出来自图4的另一分支处理的流程图。

在步骤S80中，从正面的照相机单元11的照相机信息单元31c获取正面的照相机单元11的位置、姿势和分辨率边界信息等，并且在步骤S813(图像获取步骤)中获取正面的照相机单元11的视频。

然后，在步骤S82中判断是否进行失真校正。在“是”的情况下，在步骤S83中对正面的照相机单元11的视频进行失真校正，将标志F设置为7，并且处理进入步骤S85。另一方面，在步骤S82中为“否”的情况下，在步骤S84中将标志F设置为6，然后处理进入步骤S85。

在步骤S85中，计算正面的照相机单元11的显示分辨率边界，并且在步骤S86(显示信号生成步骤)中将显示分辨率边界叠加在正面的照相机单元11的视频上并显示在第三显示单元52上。也就是说，例如，将视频经由通信单元62显示在调整照相机单元时使用的平板终端的第三显示单元52上。

图9G是示出正面的照相机单元11的显示分辨率边界91叠加在尚未经过失真校正的正面的照相机单元11的视频110上的示例的图，并且示出在标志F为6的情况下显示的图像的示例。图9H是示出正面的照相机单元11的显示分辨率边界91叠加在进行失真校正之后的正面的照相机单元11的视频111上的示例的图，并且示出在标志F为7的情况下显示的图像作为示例。

注意，可以对图9H所示的显示分辨率边界91进行根据失真校正的坐标转换。

在步骤S86之后，处理进入步骤S50。步骤S50至S54的操作与已经描述的操作相同，但在标志F为6或7的情况下，在步骤S50中显示如图11A所示的调整所用的画面。注意，图11A的画面是在标志F为6的情况下进行失真校正之前的画面，并且是在标志F为7的情况下进行了失真校正之后的画面。注意，图11A中的显示分辨率边界93及其重心93c分别被读取为显示分辨率边界91及其中心91c。

此外，正面的照相机单元11所用的虚拟基准框可以具有与基准框200相同的大小，并且可以显示在画面上，仿佛该虚拟基准框虚拟地布置在运载工具1前方的由附图标记206表示的位置处一样，该位置在与图12中的运载工具1后方的位置205的相对侧。

注意，如上所述，图11A中的基准框200与电子后视镜上显示的图像区域相对应。

因此，在图像处理单元41a显示从照相机单元11获得的图像信号的情况下，可以切出与基准框200相对应的图像区域并将该图像区域显示在例如作为电子后视镜的第一显示单元50上。然而，在照相机单元11的调整期间，将如图11A所示的整体图像显示在诸如平板终端的显示单元等的第三显示单元52的画面520上，并且可以调整照相机单元11的位置和姿势。

以这种方式，在第一实施例中，如上所述，高分辨率区域(低失真区域)10a被配置为具有接近摄像所用的普通光学系统的中心投影方法(y＝f×tanθ)和等距投影方法(y＝f×θ)的投影特性。因此，例如，第一显示单元50上显示的电子后视镜的图像具有比低分辨率区域(高失真区域)10b更高的分辨率，并且可以更精细地显示运载工具1的正面、侧方和后方的远距离。

此外，由于高分辨率区域10a具有小的光学失真，因此第一显示单元50上显示的电子后视镜所用的图像也可以以失真小的状态显示，并且驾驶员可以以更自然的深度感知从视觉识别运载工具的周围。

在图11A至图11C的调整示例中，描述了使用右侧的包括不同视角镜头的摄像单元的情况。然而，当使用右侧的包括反向不同视角镜头的摄像单元时，进行调整，使得分辨率边界92和94外部的高分辨率区域落在基准框200内。

此外，第一实施例中的高分辨率区域10a被配置成使得光学失真变小，并且可以在尚未进行失真校正的RAW图像信号的状态下进行图像识别，这使得可以减少图像识别的处理负荷并高速进行图像识别。因此，可以基于图像识别结果在早期阶段检测障碍物，并且可以以及时的方式进行用于避开障碍物的操作。以这种方式，当使用第一实施例的配置时，特别是在高速公路等上高速行驶时，可以获得极大的效果。

注意，尽管在上述实施例中描述了使用多个照相机单元的示例，但在具有仅一个照相机单元的系统中也是有效的。另外，根据第一实施例，在如上所述的使用不同视角镜头的系统中，可以容易地调整要安装的照相机单元的位置和姿势，因此可以大幅提高调整的工作效率并充分发挥使用不同视角镜头的系统的性能。

注意，在上述实施例中，尽管可以通过在调整照相机单元时显示低失真区域和高失真区域的边界图像来缩短调整处理，但即使在不进行调整时，例如在正常驾驶期间也可以显示边界图像。

注意，在上述实施例中描述了将图像处理系统装备在诸如运载工具等的移动体上的示例。然而，第一实施例中的移动体不限于诸如汽车等的运载工具，并且可以是诸如火车、船舶、飞行器、机器人或无人机等的任何移动装置。另外，第一实施例中的图像处理系统包括移动体上所装备的图像处理系统。

另外，在远程控制移动体的情况下，也可以应用第一实施例。

[第二实施例]

可以使用程序来实现上述第一实施例中描述的各种功能、处理和方法中的至少一个。在下文，在第二实施例中，用于实现上述第一实施例中描述的各种功能、处理和方法中的至少一个的程序被称为“程序X”。此外，在第二实施例中，用于执行程序X的计算机被称为“计算机Y”。个人计算机、微计算机和中央处理单元(CPU)等是计算机Y的示例。诸如上述实施例中的图像处理系统等的计算机也是计算机Y的示例。

上述第一实施例中描述的各种功能、处理和方法中的至少一个可以通过使计算机Y执行程序X来实现。在这种情况下，将程序X经由计算机可读存储介质供给到计算机Y。第二实施例中的计算机可读存储介质包括硬盘装置、磁存储装置、光存储装置、磁光存储装置、存储卡、ROM和RAM等中的至少一个。此外，第二实施例中的计算机可读存储介质是非暂时性存储介质。

尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。另外，作为根据实施例的控制的一部分或全部，可以将实现上述实施例的功能的计算机程序通过网络或各种存储介质供给到图像处理系统。然后，图像处理系统的计算机(或CPU或MPU等)可以被配置为读取并执行程序。在这种情况下，程序和存储该程序的存储介质构成本发明。

本申请要求2021年9月24日提交的日本专利申请2021-155589和2022年9月20日提交的日本专利申请2022-148737的权益，这两个申请的全部内容通过引用而被包含于此。

Claims (28)

1.一种图像处理系统，包括：

至少一个处理器或电路，其被配置为用作：

图像获取单元，其被配置为获取由用于拍摄具有低失真区域和高失真区域的光学图像的摄像单元所形成的图像信号；

特性信息获取单元，其被配置为获取与所述光学图像的特性有关的特性信息；以及

显示信号生成单元，其被配置为基于所述特性信息获取单元所获取到的特性信息来形成表示所述低失真区域和所述高失真区域之间的边界的信息，并且生成用于将表示边界的信息叠加在所述图像信号上的显示信号。

2.根据权利要求1所述的图像处理系统，其中，所述图像获取单元包括用于形成所述光学图像的光学系统和用于拍摄由所述光学系统形成的光学图像的摄像元件。

3.根据权利要求1所述的图像处理系统，其中，所述图像获取单元包括布置在不同位置处的多个图像获取单元，以及

所述显示信号生成单元对从多个图像获取单元获取到的图像信号进行合成以生成合成图像。

4.根据权利要求3所述的图像处理系统，其中，所述特性信息获取单元获取多个图像获取单元中的特性信息。

5.根据权利要求4所述的图像处理系统，其中，所述显示信号生成单元基于多个图像获取单元中的特性信息来生成将表示多个边界的信息叠加在一个图像上的显示信号。

6.根据权利要求5所述的图像处理系统，其中，所述显示信号生成单元生成用于将表示多个边界的信息叠加在所述合成图像上的显示信号。

7.根据权利要求1所述的图像处理系统，其中，所述显示信号生成单元生成包括用于调整所述图像获取单元的姿势的引导信息的显示信号。

8.根据权利要求7所述的图像处理系统，其中，所述引导信息包括基准框，并且所述基准框与电子后视镜上显示的图像区域相对应。

9.根据权利要求1所述的图像处理系统，其中，所述低失真区域和所述高失真区域分别与所述光学图像的高分辨率区域和低分辨率区域相对应。

10.根据权利要求2所述的图像处理系统，其中，在所述光学系统的焦距为f、半视角为θ、像面上的像高为y、并且表示像高y和半视角θ之间的关系的投影特性为y(θ)的情况下，所述低失真区域中的y(θ)大于f×θ，并且不同于所述高失真区域中的投影特性。

11.根据权利要求10所述的图像处理系统，其中，所述低失真区域具有接近中心投影方法或等距投影方法的投影特性。

12.根据权利要求10所述的图像处理系统，其中，在θmax是所述光学系统的最大半视角并且A是预定常数的情况下，所述图像处理系统被配置为满足以下条件：

13.一种图像处理系统，包括：

至少一个处理器或电路，其被配置为用作：

多个图像获取单元，其被配置为获取各自均由用于拍摄具有低失真区域和高失真区域的光学图像的摄像单元所形成的图像信号；

特性信息获取单元，其被配置为获取与所述图像获取单元各自的光学图像的特性有关的特性信息；以及

显示信号生成单元，其被配置为通过基于所述特性信息获取单元所获取到的特性信息对来自各个图像获取单元的图像信号进行图像处理，来生成预定显示信号，

其中，所述多个图像获取单元中的至少两个图像获取单元的摄像范围被布置成彼此重叠。

14.根据权利要求13所述的图像处理系统，其中，所述图像获取单元包括用于形成所述光学图像的光学系统和用于拍摄由所述光学系统形成的光学图像的摄像元件。

15.根据权利要求14所述的图像处理系统，其中，在所述光学系统的焦距为f、半视角为θ、像面上的像高为y、并且表示像高y和半视角θ之间的关系的投影特性为y(θ)的情况下，所述低失真区域中的y(θ)大于f×θ，并且不同于所述高失真区域中的投影特性。

16.根据权利要求15所述的图像处理系统，其中，所述低失真区域具有接近中心投影方法或等距投影方法的投影特性。

17.根据权利要求15所述的图像处理系统，其中，在θmax是所述光学系统的最大半视角并且A是预定常数的情况下，所述图像处理系统被配置为满足以下条件：

18.根据权利要求13所述的图像处理系统，其中，至少两个图像获取单元的所述低失真区域的摄像范围被布置成彼此重叠。

19.根据权利要求13所述的图像处理系统，其中，所述显示信号生成单元对来自至少两个图像获取单元的图像信号进行合成以生成合成图像。

20.根据权利要求13所述的图像处理系统，其中，所述显示信号生成单元基于所述特性信息获取单元所获取到的特性信息来生成表示所述低失真区域和所述高失真区域之间的边界的信息。

21.根据权利要求20所述的图像处理系统，其中，所述显示信号生成单元生成用于将表示边界的信息叠加在从所述图像获取单元获取到的图像上的显示信号。

22.根据权利要求20所述的图像处理系统，其中，所述显示信号生成单元生成包括用于调整所述图像获取单元的姿势的引导信息的显示信号。

23.根据权利要求22所述的图像处理系统，其中，所述引导信息包括基准框，并且所述基准框与电子后视镜上所显示的图像区域相对应。

24.根据权利要求14所述的图像处理系统，其中，所述低失真区域和所述高失真区域分别与所述光学图像的高分辨率区域和低分辨率区域相对应。

25.一种图像处理方法，包括：

获取由用于拍摄具有低失真区域和高失真区域的光学图像的摄像装置所形成的图像信号；

获取与所述光学图像的特性有关的特性信息；以及

基于在所述特性信息的获取时获取到的特性信息来形成表示所述低失真区域和所述高失真区域之间的边界的信息，并且生成用于将表示边界的信息叠加在所述图像信号上的显示信号。

26.一种非暂时性计算机可读存储介质，其被配置为存储计算机程序，所述计算机程序包括用以控制图像处理系统执行以下处理的指令：

获取由用于拍摄具有低失真区域和高失真区域的光学图像的摄像装置所形成的图像信号；

获取与所述光学图像的特性有关的特性信息；以及

基于在所述特性信息的获取时获取到的特性信息来形成表示所述低失真区域和所述高失真区域之间的边界的信息，并且生成用于将表示边界的信息叠加在所述图像信号上的显示信号。

27.一种摄像设备，包括：

至少一个处理器或电路，其被配置为用作：

图像获取单元，其被配置为获取用于拍摄具有低失真区域和高失真区域的光学图像的摄像单元所形成的图像信号；

其中，所述图像获取单元包括光学系统，以及

其中，在所述光学系统的焦距为f、半视角为θ、像面上的像高为y、表示像高y和半视角θ之间的关系的投影特性为y(θ)、并且θmax是所述光学系统的最大半视角的情况下，所述光学系统被配置为满足以下条件：

0.2<2*f*tan(θmax/2)/y*(θmax)<0.92。

28.一种光学单元，包括：

光学系统，用于在像面上形成具有低失真区域和高失真区域的光学图像，

其中，在所述光学系统的焦距为f、半视角为θ、像面上的像高为y、表示像高y和半视角θ之间的关系的投影特性为y(θ)、并且θmax是所述光学系统的最大半视角的情况下，所述光学系统被配置为满足以下条件：

0.2<2*f*tan(θmax/2)/y*(θmax)<0.92。

Images