CN112956183B - 图像拍摄设备、控制方法和记录程序的介质 - Google Patents

Abstract

本技术涉及一种能够容易地提供适合于驾驶车辆的图像的成像设备、控制方法和程序。控制单元基于由车辆获取的车辆信息控制来自图像传感器的图像的读取，图像传感器拍摄将要显示在车辆的显示单元上的图像。本技术适用于，例如，显示示出车辆的后部的图像的观察系统。

Description

图像拍摄设备、控制方法和记录程序的介质

技术领域

本技术涉及图像拍摄设备、控制方法和程序。特别地，本技术涉及例如使得可以容易地提供适合于车辆的操作的图像的图像拍摄设备、控制方法和程序。

背景技术

例如，提出了一种观察系统，其中作为图像拍摄设备的相机被安装在诸如汽车的车辆的后部，并且显示使用相机拍摄的车辆后方区域的图像。

由观察系统提供的车辆后方区域的图像的示例包括位于比紧接在车辆后部之后的区域更靠后的区域的图像，以及紧接在车辆后部之后的区域的图像。

在此，位于比紧接在车辆后部之后的区域更靠后的区域的图像，例如是与在所谓的内后视镜即I类镜中看到的图像相对应的图像，并且在下文中，也被称为后视镜(BM)图像。此外，紧接在车辆后部之后的区域的图像是车辆后部及紧接在车辆后部之后的区域的图像，并且在下文中也被称为后视(RV)图像。

当车辆开始上坡或下坡或在不平坦的路面上行驶时，车辆会倾斜。此外，车辆还可能根据例如装载在车辆上的对象或车辆的乘员的状态而倾斜。

当车辆倾斜时，安装在车辆中的相机也倾斜，这导致BM图像中的天空、道路等的比率(比例)与车辆不倾斜时的比率相比有变化。

当车辆不倾斜并且调节观察系统使得显示适合于车辆操作的BM图像时，如果BM图像中的天空、道路等的比率由于车辆的倾斜而改变，则在一些情况下不会显示适合于车辆操作的BM图像。

例如，当车辆在平坦的路面上行驶时，显示BM图像，该BM图像使驾驶员能够充分地识别例如从后方靠近该车辆的另一车辆，或在车辆后方的障碍物。另一方面，当车辆倾斜时，BM图像可能包括较少的驾驶员识别其他车辆或障碍物所需的信息。

因此，例如，已经提出了一种技术，该技术将拍摄的图像在随后的阶段中存储在存储装置中，并且当车辆上坡或下坡行驶时从拍摄的图像中切出必要的图像。该拍摄的图像是使用相机拍摄的。该存储装置位于相机之后(例如，参照专利文献1)。

引文列表

专利文献

专利文献1：日本专利第6245274号

发明内容

技术问题

当从存储在存储装置中的拍摄图像中切出必要图像时，需要从相机读取其尺寸显著大于必要图像的尺寸(像素数)的拍摄图像。从相机读取的拍摄图像的大尺寸会导致帧率降低。

此外，除了从存储在位于相机之后的存储装置中的拍摄图像中切出必要图像的技术之外，还需要一种使得能够容易地提供适合于车辆操作的图像的技术的提议。

鉴于上述情况而做出了本技术，并且本技术旨在使得可以容易地提供适合于车辆操作的图像。

问题的解决方案

根据本技术的图像拍摄设备包括：图像传感器，其拍摄在车辆的显示部上显示的图像；以及控制器，其基于由车辆获取的车辆信息控制来自图像传感器的图像的读取。

根据本技术的控制方法或程序是这样的控制方法或程序：该控制方法包括基于由车辆获取的车辆信息来控制来自拍摄图像的图像传感器的图像的读取，该图像显示在车辆的显示部上；该程序使计算机操作为执行这样的控制的控制器。

在根据本技术的图像拍摄设备、控制方法和程序中，基于由车辆获取的车辆信息来控制来自拍摄图像的图像传感器的图像的读取，该图像显示在车辆的显示部上。

注意，图像拍摄设备可以是独立设备或单个设备中包括的内部块。

此外，可以通过经由传送介质传送或通过存储在记录介质中来提供程序。

附图说明

图1是示出包括根据本技术的观察系统的车辆10的外部构造示例的透视图。

图2是示出车辆10的内部的构造的示例的透视图。

图3是示出车辆10中包括的观察系统的构造的第一示例的框图。

图4是描述由控制器43进行的BM图像和RV图像(即从拍摄图像读取的图像)的读取的控制的示例的图。

图5是描述车辆10的状态与BM图像之间的关系的第一示例的图。

图6是描述由控制器43根据倾斜信息进行的读取图像的读取的控制的示例的图。

图7示出图像传感器32的构造的示例。

图8是描述在观察系统的构造的第一示例中进行的显示BM图像的显示处理的示例的流程图。

图9是示出车辆10中包括的观察系统的构造的第二示例的框图。

图10是描述车辆10的状态与BM图像之间的关系的第二示例的图。

图11是描述由控制器71根据倾斜信息进行的读取图像的读取的控制的示例的图。

图12是进一步描述由控制器71根据倾斜信息进行的读取图像的读取的控制的示例的图。

图13是描述在观察系统的构造的第二示例中进行的显示BM图像的显示处理的示例的流程图。

图14是示出车辆10中包括的观察系统的构造的第三示例的框图。

图15是描述由控制器71根据倾斜信息进行的读取图像的读取的控制的示例的图。

图16是描述在观察系统的构造的第三示例中进行的显示BM图像的显示处理的示例的流程图。

图17是示出车辆10中包括的观察系统的构造的第四示例的框图。

图18示出了可以由图像传感器32输出的图像的示例。

图19是描述可用于车辆10中的数据传送的车辆传送带宽的示例的图。

图20是描述由控制器136进行的调节BM图像和RV图像的数据量的控制的第一示例的图。

图21是描述由控制器136进行的调节BM图像和RV图像的数据量的控制的第二示例的图。

图22是描述在观察系统中进行的显示BM图像和RV图像的显示处理的示例的流程图。

图23是示出车辆10中包括的观察系统的构造的第五示例的框图。

图24是描述由控制器181进行的从拍摄图像中提取BM图像和RV图像的控制的示例的图。

图25是描述在观察系统中进行的显示BM图像和RV图像的显示处理的示例的流程图。

图26是示出应用本技术的计算机的实施例的构造的示例的框图。

具体实施方式

<包括观察系统的车辆的构造的示例>

图1是示出包括应用了本技术的观察系统的车辆10的外观的构造的示例的透视图。

例如，作为用于拍摄(四轮)车辆10后方区域图像的图像拍摄设备的相机单元11被安装在车辆10的后部。在图1中，相机单元11被安装在车辆10的后窗上方。

相机单元11是广角相机单元(例如，视角是120度或更大)，使得在所拍摄的图像中能出现对应于BM图像的范围和对应于RV图像的范围两者。此外，相机单元11是高分辨率相机单元(例如，4K或更高的分辨率)，使得在BM图像中远处的被摄体是明显的。因此，相机单元11能够拍摄广角的高分辨率图像。

注意，在相机单元11中，从由相机单元11拍摄的图像(在下文中也被称为拍摄图像)中提取BM图像和RV图像。稍后将对此进行描述。

相机单元11在已调节了光轴的定向的状态下安装，使得BM图像包括比紧接在车辆10的后部之后的区域更靠后的区域的状态的图像，并且使得RV图像包括车辆10的后部和紧接在车辆10的后部之后的区域的状态的图像，该比紧接在车辆10的后部之后的区域更靠后的区域的状态是当在车辆10中安装有内后视镜(联合国欧洲经济委员会UNECE定义的第46号条例中的I类镜)时可以使用内后视镜观察的状态。

因此，BM图像是位于比紧接在车辆10的后部之后的区域更靠后的区域的状态的图像，该状态是当在车辆10中安装了内后视镜时可以使用内后视镜观察的状态。此外，RV图像是车辆10的后部和紧接在车辆10的后部之后的区域的状态的图像。当车辆10向后行驶时，RV图像特别有用，因为在RV图像中会出现紧接在车辆10的后部之后的区域，这是内后视镜的盲点。此外，RV图像可以用于生成从上方观察车辆10时获得的车顶图像。

注意，相机单元11不限于安装在车辆10的后窗上方，只要可以拍摄可从中提取上述BM图像和RV图像的拍摄图像即可。例如，除了安装在车辆10的后窗上方之外，相机单元11还可以安装在例如位于车辆10的后部的车牌上方的位置P11处。

图2是示出图1的车辆10的内部构造的示例的透视图。

在车辆10中的安装有内后视镜的位置处设置有在其上显示BM图像的BM显示部21。BM显示部21是代替内后视镜的显示部。

在车辆10中的仪表板的中心位置处设置有在其上显示RV图像的RV显示部22。

注意，在车辆10中的仪表板的驾驶员座位侧上设置有用于拍摄驾驶员的图像的车载相机23。驾驶员的图像被拍摄并由车载相机23输出。在车辆10中，从驾驶员的图像中检测驾驶员的视线和头部的位置。

这里，用于拍摄驾驶员的图像的车载相机23可以设置在除了仪表板上的位置以外的任何位置处，例如在BM显示部21上方的位置P21处。

<观察系统的构造的第一示例>

图3是示出车辆10中包括的观察系统的构造的第一示例的框图。

观察系统包括参考图1和图2描述的相机单元11、BM显示部21和RV显示部22。

相机单元11包括光学系统31、图像传感器32、输出部33、获取部41、检测器42和控制器43。

光学系统31包括诸如聚光器和光圈的光学组件，并且将进入光学系统31的光收集到图像传感器32上。

图像传感器32从光学系统31接收光并且进行光电转换以拍摄包括作为BM图像和RV图像的图像的拍摄图像。然后，根据控制器43进行的控制，图像传感器32从拍摄图像中读取(作为)BM图像和RV图像(的图像)以输出读取的图像。在此，从拍摄图像读取并由图像传感器32输出的图像也被称为读取图像。由图像传感器32输出的读取图像提供给输出部33。

输出部33是输出接口(IF)，其将作为来自图像传感器32的读取图像的BM图像和RV图像传送到相机单元11的外部。输出部33将BM图像传送到BM显示部21，并将RV图像传送到RV显示部22。根据BM显示部21的规格将来自输出部33的BM图像显示在BM显示部21上，并根据RV显示部22的规格将来自输出部33的RV图像显示在RV显示部22上。如有必要，输出部33能够对BM图像和RV图像进行格式转换和其他图像处理。

获取部41通过车辆10中建立的网络(车辆信息网络)从车辆10获取(接收)由车辆10获取的车辆信息，并将获取的车辆信息提供给检测器42。

这里，车辆信息的示例包括车辆10可以获取的任何信息，诸如从车辆10的陀螺仪获得的陀螺仪信息、与车辆10的悬架相关的悬架信息、从用于拍摄车辆10前方区域的图像的前部相机获得的前部相机图像、从全球定位系统(GPS)获得的GPS信息、表示车辆10的行驶状态的诸如车速和行驶方向(向前或向后)的行驶信息、从使用车载相机23拍摄的图像中获得的车辆10的驾驶员的视线和头部的位置、用于车辆10的导航系统的三维(3D)地图以及用于高级驾驶辅助系统(ADAS)/自主驾驶系统的高清晰度地图。例如，当车辆10包括速度传感器时可以采用由速度传感器输出的速度信息作为车速。例如，可以采用表示变速器的状态的档位信息作为行驶方向。

获取部41根据需要获取至少一条车辆信息，并将至少一条车辆信息提供给检测器42。

在观察系统的构造的第一示例中，获取部41获取例如陀螺仪信息、或GPS信息和3D地图(高清晰度地图)作为车辆信息，并将所获取的车辆信息提供给检测器42。

检测器42使用来自获取部41的车辆信息检测(计算)表示车辆10的倾斜的倾斜信息，并将检测的倾斜信息提供给控制器43。

控制器43基于车辆信息控制来自图像传感器32的读取图像的读取。

例如，控制器43根据检测器42使用车辆信息检测的倾斜信息，控制来自图像传感器32的读取图像的读取。

换言之，根据从检测器42提供的倾斜信息，控制器43从由图像传感器32拍摄的拍摄图像中计算开始被读取为读取图像的图像的读取起始位置、设置读取图像的尺寸(像素数)、并将由读取起始位置和尺寸指定的读取位置提供给图像传感器32。因此，控制器43执行用于控制来自图像传感器32的读取图像的读取的读取控制。

图像传感器32读取从控制器43提供的读取位置的像素的像素信号，并输出展示与该像素信号相对应的像素值的读取图像。

注意，除了由读取起始位置和尺寸指定之外，读取位置还可以由例如读取起始位置和对读取图像的读取所终止处的读取终止位置指定。

这里，在观察系统的构造的第一示例中，由图像传感器32输出的读取图像与在BM显示部21上显示的BM图像或在RV显示部22上显示的RV图像相同。因此，在观察系统的构造的第一示例中，显示在BM显示部21上的BM图像的尺寸或显示在RV显示部22上的RV的图像的尺寸被设定为读取图像的尺寸。

<来自拍摄图像的读取图像的读取的控制>

图4是描述由控制器43进行的对作为从拍摄图像读取的图像的BM图像和RV图像的读取的控制的示例图。

关于光学系统31和由图像传感器32拍摄的拍摄图像之间的位置关系，拍摄图像(图像传感器32的光接收表面)包括光学系统31(中包括的透镜)的像圈，例如图4所示的。

在读取控制中，控制器43控制从图像传感器32读取像素信号，使得从拍摄图像中提取指定区域R11作为BM图像，指定区域R11是其中出现了比紧接在车辆10的后部之后的区域更靠后的区域的一个区域(如果在车辆10中安装了内后视镜，则为使用内后视镜观察到的区域)。换言之，控制器43根据显示设备或图像显示功能的类型(/应用)来控制从图像传感器32读取像素信号。

另外，在读取控制中，控制器43通过将读取图像的读取位置提供给图像传感器32来控制从图像传感器32读取像素信号，从而从拍摄图像(之中的在像圈中的图像)中提取指定区域R12作为RV图像，指定区域R12是其中出现了车辆10的后部和紧接在车辆10的后部之后的区域的一个区域。

根据控制器43进行的控制，图像传感器32从通过进行图像拍摄获得的拍摄图像中读取与BM图像(的像素值)相对应的区域R11的像素信号，并输出展示与像素信号相对应的像素值的读取图像。此外，图像传感器32从拍摄图像中读取与RV图像相对应的区域R12的像素信号，并输出展示与像素信号相对应的像素值的读取图像。

区域R11和R12分别由从控制器43提供给图像传感器32的读取图像的读取位置指定。

注意，在作为读取图像的BM图像的读取的控制中，控制器43还可以根据例如包括在车辆信息中的驾驶员的视线和头部的位置来计算读取位置，读取位置用于指定被提取为BM图像的区域R11。

换言之，如果在车辆10中安装了后视镜，则随着驾驶员移动他/她的视线或头部，驾驶员使用后视镜可以看到的图像中出现的范围将改变。在作为读取图像的BM图像的读取的控制中，控制器43还可以根据驾驶员的视线和头部的位置来计算读取位置，从而驾驶员可以看到这样的BM图像：该BM图像的范围与在将后视镜安装在车辆10中时能够观察到的图像中的范围相同，该读取位置用于指定被提取为BM图像的区域R11。

为了简化描述，下面省略RV图像的描述。

<车辆10的状态与BM图像之间的关系>

图5是描述车辆10的状态与BM图像之间的关系的第一示例的图。

图5(A1)示出了当车辆10在平坦路面上行驶时车辆10的状态。此外，图5(A2)示出了当车辆10在平坦路面上行驶时获得的BM图像的示例。

图5(B1)示出了当车辆10开始下坡行驶时的车辆10的状态。此外，图5(B2)示出了当车辆10开始下坡行驶时获得的BM图像的示例。

图5(C1)示出了当车辆10开始上坡行驶时车辆10的状态。此外，图5(C2)示出了当车辆10开始上坡行驶时获得的BM图像的示例。

这里，将BM图像中的三维空间的范围称为BM范围。此外，在下面的描述中，假定驾驶员的视线和头部的位置是固定的，以便简化描述。因此，假设从拍摄图像中提取区域R11(的位置)作为BM图像，因此BM范围不会由于驾驶员移动他/她的视线或他/她的头部的位置而改变。

此外，假定当车辆10在平坦路面上时(当车辆10不倾斜时)，控制器43进行读取控制，即，进行读取位置(读取起始位置和尺寸)的计算，以提取其中位于距车辆10指定距离后方的后方车辆基本上出现在BM图像视场中央的BM图像，如图5所示。

在这种情况下，当车辆10开始下坡行驶时，车辆10向前方倾斜，即沿俯仰方向倾斜，并且相机单元11的光轴安装在车辆10的后部，因此，与车辆10在平坦路面上时相比，BM范围向上倾斜(朝天空)(图5(B1)和图5(B2))。

因此，当对相机进行设置使得在车辆10处于平坦路面的状态下(车辆10在平坦路面上行驶)位于距车辆10指定距离后方的后方车辆基本上出现在BM图像视场中央时，则在车辆10开始下坡行驶的状态下获得的BM图像中位于距车辆10指定距离后方的后方车辆出现在BM图像视场下部。如图5中所示，与在车辆10处于平坦路面上的状态下获得的BM图像相比，在该BM图像中天空的比例(出现天空的区域)较大，道路的比例较小。

因此，与当车辆10处于平坦路面上时获得的BM图像相比，当车辆10开始下坡行驶时获得的BM图像中的信息量发生了变化。换言之，例如，与当车辆10在平坦路面上时获得的BM图像相比，在车辆10开始下坡行驶时获得的BM图像中减少了与道路相关的信息量。此外，根据车辆10相对于后方车辆的相对位置或下坡的倾斜状态，有可能在BM图像中不出现后方车辆的一部分或后方车辆本身。

另一方面，当车辆10开始上坡行驶时，车辆10向后倾斜，即在俯仰方向上倾斜，并且相机单元11的光轴安装在车辆10的后部，因此与车辆10处于平坦路面上时相比，BM范围向下(向道路)倾斜(图5(C1)和图5(C2))。

因此，当对相机进行设置使得在车辆10处于平坦路面的状态下位于距车辆10指定距离后方的后方车辆基本上出现在BM图像视场中央时，则在车辆10开始上坡行驶的状态下获得的BM图像中位于距车辆10指定距离后方的后方车辆出现在BM图像视场上部。如图5中所示，与在车辆10处于平坦路面上的状态下获得的BM图像相比，在该BM图像中天空的比例(出现天空的区域)较小，道路的比例较大。

因此，与当车辆10处于平坦路面上时获得的BM图像相比，当车辆10开始上坡行驶时获得的BM图像中的信息量发生了变化。换言之，例如，与当车辆10在平坦路面上时获得的BM图像相比，在车辆10开始上坡行驶时获得的BM图像中减少了与天空相关的信息量。此外，根据车辆10相对于后方车辆的相对位置或上坡的倾斜状态，有可能在BM图像中不出现后方车辆的一部分或后方车辆本身。

如上所述，从向车辆10的驾驶员提供适合于车辆10的操作的BM图像的角度来看，不利的是与车辆10在平坦路面上时获得的BM图像中的信息量相比，在车辆10开始下坡或上坡行驶时获得的BM图像中的信息量发生了改变。

因此，在读取BM图像的控制中，控制器43根据来自检测器42的倾斜信息来控制对与来自图像传感器32的读取图像相对应的BM图像的读取，以使得无论车辆10的状态如何，所获得的BM图像都具有与车辆10在平坦路面上时获得的BM图像相似的信息量。

<由控制器43根据倾斜信息进行的对读取图像的读取的控制>

图6是描述由控制器43根据倾斜信息进行的对读取图像的读取的控制的示例的图。

这里，假设当车辆10在平坦路面上时，由控制器43进行读取控制，使得从由图像传感器32(从图像传感器32的光接收表面)拍摄的拍摄图像中读取矩形区域R101(的像素的像素信号)。区域R101具有与作为读取图像的BM图像相同的尺寸。

例如，当车辆10开始上坡行驶并且向后倾斜时，控制器43进行读取控制，使得根据倾斜信息计算用于指定与区域R101具有相同尺寸的区域R102的读取位置，并且读取计算出的读取位置的像素信号。区域R102比区域R101向上移位与车辆10向后倾斜的角度对应的像素数。

此外，例如，当车辆10开始下坡行驶并且向前倾斜时，控制器43进行读取控制，使得根据倾斜信息计算用于指定与区域R101具有相同尺寸的区域R103的读取位置，并且读取计算出的读取位置的像素信号。区域R103比区域R101向下移位与车辆10向前倾斜的角度对应的像素数。

在根据倾斜信息的读取位置的计算中，计算读取位置以使得在所读取的读取图像中道路和天空出现的比例与车辆10处于平坦路面上时获得的BM图像中的比例相同，即，使得在读取图像中出现的道路和天空之间的比例与车辆10处于平坦路面上时获得的BM图像中的比例保持相同(/接近)。

通过由控制器43进行的上述读取控制，可以容易地获得适合于车辆10的操作的图像。换言之，可以容易地获得具有的信息量类似于车辆10在平坦路面上时获得的BM图像的信息量的BM图像，而与车辆10在俯仰方向上的倾斜无关。

在观察系统的构造的第一示例中，检测器42例如从作为由获取部41提供的车辆信息的陀螺仪信息、或GPS信息和3D地图中检测(陡峭的)斜坡，并在车辆10开始上坡或下坡时检测(计算)与车辆10相关的倾斜信息，即，主要表示车辆10向前和向后的(即在俯仰方向上)倾斜的(水平)的倾斜信息。然后，检测器42将倾斜信息提供给控制器43。

例如，检测器42可以使用陀螺仪信息来检测车辆10开始上坡或下坡，并且可以进一步检测表示车辆10在该时刻向前和向后(即，在俯仰方向上)的倾斜的倾斜信息。

此外，例如，检测器42从使用GPS信息获得的当前位置以及从3D地图检测(估计)车辆10开始上坡或下坡，并且当车辆10开始上坡或下坡行驶时可以使用通过3D地图获得的斜坡的倾斜来进一步检测(估计)表示车辆10向前和向后(即，在俯仰方向上)的倾斜的倾斜信息。

根据来自检测器42的倾斜信息，控制器43计算从图像传感器32作为读取图像而读取的图像的读取位置，并且将计算的读取位置提供给图像传感器32。因此，控制器43控制来自图像传感器32的读取图像的读取。

图像传感器32读取从控制器43提供的读取位置的像素的像素信号，并输出展示与该像素信号相对应的像素值的读取图像。

<图像传感器32的构造的示例>

图7示出了图3的图像传感器32的构造的示例。

图像传感器32包括像素阵列51、输入电路52、行选择电路53、列选择电路54、模数(AD)转换器55、线缓冲器56和输出电路57。

像素阵列51包括布置在二维平面中的多个像素61。像素阵列51中布置有像素61的区域是图像传感器32的光接收表面。

像素61将进入像素61的光转换为像素信号，该像素信号是与光量相对应的电信号。位于由行选择电路53选择的行且位于由列选择电路54选择的列中的像素61的像素信号通过列选择电路54从像素阵列51读取，并将读取的像素信号提供给AD转换器55。

由控制器43将由从拍摄图像读取的读取图像的读取起始位置和读取图像的尺寸(以下也称为读取尺寸)所指定的读取位置提供给输入电路52。

输入电路52使用作为来自控制器43的读取位置的读取起始位置和读取尺寸，计算像素阵列51的像素61之中的作为读取开始坐标(X_STA，Y_STA)的像素61的坐标，并计算像素阵列51的像素61之中的作为读取终止坐标(X_END，Y_END)的像素61的坐标，用于读取开始坐标(X_STA，Y_STA)的像素61为例如以光栅扫描顺序读取像素信号的开始之处的像素61，用于读取终止坐标(X_END，Y_END)的像素61为例如以光栅扫描顺序读取像素信号的终止之处的像素61。

输入电路52将读取开始坐标(X_STA，Y_STA)的y坐标Y_STA和读取终止坐标(X_END，Y_END)的y坐标Y_END提供给行选择电路53，并且输入电路52将读取开始坐标(X_STA，Y_STA)的x坐标X_STA和读取终止坐标(X_END，Y_END)的x坐标X_END提供给列选择电路54(处理PR1)。

行选择电路53从接收自输入电路52的y坐标Y_STA表示的像素61的行到接收自输入电路52的y坐标Y_END表示的像素61的行依次选择行(处理PR2)。

在像素阵列51中，从由行选择电路53选择的行中的像素61读取像素信号，并且将读取的像素信号提供给列选择电路54。

列选择电路54从读取自像素61的像素信号中，选择从接收自输入电路52的x坐标X_STA表示的像素61的列到接收自输入电路52的x坐标X_END表示的像素61的列的相应的列中的像素61的像素信号，并且列选择电路54将所选择的像素信号提供给AD转换器55(处理PR3)。

AD转换器55例如逐行对来自列选择电路54的像素信号进行AD转换，并且将已进行过AD转换的像素信号提供给线缓冲器56(处理PR4)。

线缓冲器56临时存储来自AD转换器55的像素信号。

输出电路57针对每个像素读取存储在线缓冲器56中的像素信号(处理PR5)，并且将读取的像素信号作为读取图像的像素值输出到图像传感器32的外部。

如上所述，在图像传感器32中，读取包括在读取区域中的像素61的像素信号，并且将展示与该像素信号相对应的像素值的图像读取为读取图像。该读取区域是矩形区域，其包括作为左上顶点的读取开始坐标(X_STA，Y_STA)的像素61和作为右下顶点的读取终止坐标(X_END，Y_END)的像素61。

<显示处理>

图8是描述在图3的观察系统的构造的第一示例中进行的显示BM图像的显示处理的示例的流程图。

在步骤S11中，获取部41获取陀螺仪信息、或GPS信息和3D地图作为车辆信息，并将车辆信息提供给检测器42。然后，处理进入步骤S12。

在步骤S12中，检测器42使用来自获取部41的车辆信息来检测斜坡。此外，检测器42使用来自获取部41的车辆信息来检测(计算)当车辆10开始上坡或下坡(主要是表示向前和向后的倾斜(即在俯仰方向上的倾斜)的倾斜信息)时与车辆10相关的倾斜信息，并将检测到的倾斜信息提供给控制器43。然后，该处理从步骤S12进入步骤S13。

在步骤S13中，控制器43根据来自检测器42的倾斜信息来计算来自图像传感器32的读取图像的读取起始位置，并将读取起始位置和BM图像的尺寸作为读取位置提供给图像传感器32。然后，处理进入步骤S14。

在步骤S14中，图像传感器32读取由控制器43提供的读取位置的像素的像素信号，并获取展示与该像素信号相对应的像素值的读取图像，以输出所获取的读取图像。由图像传感器32输出的读取图像被提供给输出部33，并且处理从步骤S14进入步骤S15。

在步骤S15中，输出部33将来自图像传感器32的读取图像作为BM图像传送到BM显示部21，并且使得在BM显示部21上显示该读取图像。结果，BM图像被显示在BM显示部21上，并且显示处理终止。

如上所述，在观察系统的构造的第一示例中，检测主要表示向前和向后(即在俯仰方向上)的倾斜的倾斜信息，并且根据倾斜信息控制从图像传感器32对读取图像的读取。因此，可以容易地提供适合于车辆10的操作的图像。换言之，当车辆10开始上坡或下坡时，可以容易地提供具有与当车辆10在平坦路面上时获得的BM图像的信息量相似的信息量的BM图像。

此外，在观察系统的构造的第一示例中，在读取控制中从图像传感器32读取具有与BM图像相同尺寸的读取图像。因此，与从图像传感器32读取尺寸大于BM图像的图像相比，可以减小BM图像的帧率降低的可能性。

在第一构造示例中，已经描述了陀螺仪信息以及GPS信息和3D地图作为车辆信息的示例。但是，如后述的第二构造示例或第三构造示例，在第一配置示例中也可以将悬架信息、前部相机图像等用作车辆信息。可以使用悬架信息、前部相机图像等来检测车辆的倾斜。

<观察系统的构造的第二示例>

图9是示出车辆10中包括的观察系统的构造的第二示例的框图。

注意，在该图中，与图3中的部分相对应的部分由与图3相同的附图标记表示，并且在下文中省略其描述。

在图9中，观察系统包括相机单元11、BM显示部21和RV显示部22。此外，图9中的相机单元11包括光学系统31、图像传感器32、输出部33、获取部41、检测器42、控制器71和处理部72。

因此，图9的观察系统的构造的第二示例在包括相机单元11、BM显示部21和RV显示部22的情况下类似于图3的观察系统的构造。

然而，图9的观察系统的构造的第二示例与图3的观察系统的构造的不同之处在于，相机单元11包括控制器71而不是控制器43，并且新包括处理部72。

与控制器43的情况一样，控制器71根据由检测器42提供的倾斜信息来控制来自图像传感器32的读取图像的读取。

然而，根据检测器42提供的倾斜信息，控制器71计算来自由图像传感器32拍摄的拍摄图像的读取图像的读取起始位置和读取尺寸，并且控制器71将由读取起始位置和读取尺寸指定的读取位置提供给图像传感器32。

换言之，在观察系统的构造的第一示例中，由于读取图像的尺寸与BM图像的尺寸相同，因此将读取尺寸设置为BM图像的尺寸。另一方面，在观察系统的构造的第二示例中，根据倾斜信息来计算读取尺寸。

这里，在观察系统的构造的第二示例中，获取部41获取例如悬架信息作为车辆信息，并将获取的车辆信息提供给检测器42。

在这种情况下，检测器42使用来自获取部41的悬架信息来检测向左和向右(即沿滚转方向)的倾斜，并且检测(计算)表示倾斜(的水平)的倾斜信息。然后，检测器42将倾斜信息提供给控制器71。

控制器71根据来自检测器42的倾斜信息，计算用于旋转由图像传感器32输出的读取图像的旋转角度，并将计算出的旋转角度提供给处理部72。控制器71将上述旋转角度提供给处理部72，以控制由处理部72进行的对读取图像的旋转，使得读取图像旋转该旋转角度。

由图像传感器32输出的读取图像被提供给处理部72。

处理部72根据来自控制器71的旋转角度来旋转读取图像。此外，处理部72从旋转后的读取图像中切出具有BM图像的尺寸(以下也称为BM尺寸)的图像，并将获得的图像作为BM图像提供给输出部33。

如上所述，在处理部72中，旋转读取图像并从旋转后的读取图像中切出具有BM尺寸的图像。因此，读取图像必须是具有如下尺寸的图像：能够从旋转后的读取图像中切出具有BM尺寸的图像。

因此，例如，控制器71根据倾斜信息计算读取图像的最小尺寸作为读取尺寸，使得可以从旋转之后的读取图像中切出具有BM尺寸的图像。

<车辆10的状态与BM图像之间的关系>

图10是描述车辆10的状态与BM图像之间的关系的第二示例的图。

图10(A1)示出了当车辆10在平坦路面上行驶时的车辆10的状态。此外，图10(A2)示出了当车辆10在平坦路面上行驶时获得的BM图像的示例。

图10(B1)示出了当车辆10处于具有高度差的路面上并且在车辆10的前侧所定向的方向上该路面的右侧比其左侧高时的车辆10的状态。此外，图10(B2)示出了当车辆10处于具有高度差的路面上并且在车辆10的前侧所定向的方向上该路面的右侧比其左侧高时获得的BM图像的示例。

图10(C1)示出了当车辆10处于具有高度差的路面上并且在车辆10的前侧所定向的方向上该路面的左侧比其右侧高时的车辆10的状态。此外，图10(C2)示出了当车辆10处于具有高度差的路面上并且在车辆10的前侧所定向的方向上该路面的左侧比其右侧高时获得的BM图像的示例。

假定在图10中，由于驾驶员移动他/她的视线或他/她的头部的位置，所以从拍摄图像中提取的作为BM图像的区域R11没有改变，如图5的情况。

在这种情况下，当车辆10处于具有高度差的路面上并且在车辆10的前侧所定向的方向上该路面的右侧比其左侧高时，车辆10向左倾斜，即，在滚转方向上倾斜，并且安装在车辆10的后部的相机单元11也在滚转方向上倾斜。

因此，当车辆10在平坦路面上时(图10(A))，在BM图像中出现水平延伸的水平线。当车辆10处于具有高度差且右侧较高的路面上时，获得的BM图像中水平线呈现为向右下对角倾斜(向左上对角倾斜)的状态(图10(B))。如图10中所示，与当车辆10在平坦路面上时获得的BM图像相比，在该BM图像中出现的天空和道路的范围有变化。换言之，与当车辆10处于平坦路面上时获得的BM图像相比，在车辆10处于具有高度差且右侧较高的路面上时获得的BM图像(图10(B))中，右侧道路的比例更小并且右侧天空的比例更大，且左侧道路的比例更大并且左侧天空的比例更小。

因此，与当车辆10在平坦路面上时获得的BM图像相比，当车辆10在具有高度差且右侧较高的路面上时获得的BM图像的内容发生改变。

另一方面，当车辆10处于具有高度差的路面上并且在车辆10的前侧所定向的方向上该路面的左侧比其右侧高时，车辆10向右倾斜，即，在滚转方向上倾斜，并且安装在车辆10的后部的相机单元11也在滚转方向上倾斜。

因此，当车辆10处于具有高度差且左侧较高的路面上时，获得的BM图像中水平线呈现为向右上对角倾斜(向左下对角倾斜)的状态(图10(C))。如图10中所示，与当车辆10在平坦路面上时获得的BM图像相比，在该BM图像中出现的天空和道路的范围有变化。换言之，与当车辆10处于平坦路面上时获得的BM图像相比，在车辆10处于具有高度差且左侧较高的路面上时获得的BM图像(图10(C))中，右侧道路的比例更大并且右侧天空的比例更小，且左侧道路的比例更小并且左侧天空的比例更大。

因此，与当车辆10在平坦路面上时获得的BM图像相比，当车辆10在具有高度差且左侧较高的路面上时获得的BM图像的内容发生改变。

如上所述，从向车辆10的驾驶员提供适合于车辆10的操作的BM图像的角度来看，与当车辆10在平坦路面上时获得的BM图像相比，在车辆10处于具有高度差且左侧或右侧较高的路面上时获得的BM图像发生的改变是不利的。

因此，在对BM图像的读取的控制中，控制器71根据来自检测器42的倾斜信息控制对与来自图像传感器32的读取图像相对应的BM图像的读取，以使得无论车辆10的状态如何，可以获得具有与车辆10在平坦路面上时获得的BM图像相似的信息量的BM图像。

<由控制器71根据倾斜信息进行的对读取图像的读取的控制>

图11是描述由控制器71根据倾斜信息进行的对读取图像的读取的控制的示例的图。

左侧的图11(A)示出了各相应情况下图像传感器32上的读取区域。右边的图11(B)示出了由处理部72切出的区域。

如参考图6所述的，假定当车辆10在平坦路面上时，由控制器71进行读取控制，使得具有与BM图像相同尺寸的矩形区域R101(的像素的像素信号)从由图像传感器32(从图像传感器32的光接收表面)拍摄的拍摄图像中读取。

例如，当车辆10处于具有高度差且在滚转方向上倾斜的路面上时，控制器71进行读取控制，使得根据倾斜信息计算用于指定区域R111的读取位置并读取计算出的读取位置的像素信号。区域R111的尺寸比区域R101大出与车辆10在滚转方向上的倾斜角度相对应的像素数。

这里，如图10所示，在车辆10处于平坦路面上时获得的BM图像中呈现为水平延伸的水平线在车辆10于滚转方向上倾斜时获得的BM图像中是倾斜的。

因此，由处理部72旋转由图像传感器32根据读取控制而输出的读取图像，使得出现在读取图像中的水平线水平延伸，并且从旋转后的读取图像中切出BM图像(所对应的图像)。

例如，在根据倾斜信息计算读取位置时，控制器71计算作为读取位置的读取起始位置和读取尺寸，并且将计算出的读取起始位置和读取尺寸提供给图像传感器32。读取位置用于指定以区域R101的中心(重心)为中心的区域R111，该区域R111具有使得可以在旋转后的读取图像中切出BM图像的最小的尺寸。

此外，例如，控制器71根据倾斜信息计算出用于旋转与图像传感器32输出的读取图像相对应的区域R111的旋转角度，使得出现在对应于读取图像的区域R111中的水平线呈现为水平延伸，并且控制器71将计算出的旋转角度提供给处理部72。

由作为来自控制器71的读取位置的读取起始位置和读取尺寸所指定的矩形区域R111被图像传感器32读取为读取图像，并且由图像传感器32提供给处理部72。

处理部72使作为来自图像传感器32的读取图像的区域R111旋转来自控制器71的旋转角度。然后，处理部72从区域R112切出作为BM图像的区域R113。区域R113具有与BM图像相同的尺寸且旋转角度为0度。区域R112是通过对区域R111进行旋转获得的(图11(B))。

相对于图11(A)的读取图像，车辆10向右倾斜，即在滚转方向上倾斜，因此，出现在读取图像中的水平线向右上方对角倾斜。因此，通过处理部72使作为读取图像的区域R111顺时针旋转，以使向右上方对角倾斜的水平线水平延伸，并且通过处理部72从区域R112中切出作为BM图像的区域R113。区域R112通过旋转获得。

因此，可以容易地获得适合于车辆10的操作的图像作为BM图像。换言之，可以容易地获得具有与车辆10在平坦路面上时获得的BM图像的信息量相似的信息量的BM图像，而与车辆10在滚转方向上的倾斜度无关。

图12是进一步描述由控制器71根据倾斜信息进行对读取图像的读取控制的示例的图。

图12(A)是描述当车辆10在滚转方向上倾斜时获得的读取图像的读取尺寸大于BM图像的尺寸的情况的图。图12(B)是描述由处理部72进行旋转的图。图12(C)是描述由处理部72对BM图像进行切出的图。

在图12(A)中，车辆10向右倾斜，即沿滚转方向倾斜，因此，出现在读取图像中的水平线向右上方对角倾斜。

在观察系统的构造的第二示例中，检测器42从由获取部41提供的作为车辆信息的悬架信息中检测到车辆10在滚转方向上倾斜，并且检测(计算)表示车辆10的倾斜的倾斜信息，即主要表示车辆10的向左和向右(即，在滚转方向上)的倾斜(的水平)的倾斜信息。然后，检测器42将倾斜信息提供给控制器71。

控制器71根据来自检测器42的倾斜信息，计算区域R111的由从图像传感器32读取的读取图像的读取位置表示的读取起始位置以及读取尺寸，并且控制器71将计算出的读取起始位置和读取尺寸提供给图像传感器32。当车辆10在滚转方向上倾斜时(当滚转方向上的倾斜角度不是0度时)，读取尺寸大于具有与BM图像相同尺寸的区域R101的尺寸。

此外，控制器71根据来自检测器42的倾斜信息，计算用于旋转作为读取图像的区域R111的旋转角度，并将计算出的旋转角度提供给处理部72。

图像传感器32从控制器71读取由读取位置(读取起始位置和读取尺寸)表示的区域R111作为读取图像，并输出读取图像。

作为由图像传感器32输出的读取图像的区域R111被提供给处理部72。

区域R111由处理部72以来自控制器71的旋转角度进行旋转，并且这导致生成区域R112。在该区域R112中，水平线呈现为水平延伸(图12(B))。此外，通过处理部72从区域R112中切出与区域R101相同尺寸的区域R113作为BM图像(图12(B)和图12(C))。

<显示处理>

图13是描述在图9的观察系统的构造的第二示例中进行的显示BM图像的显示处理的示例的流程图。

在步骤S21中，获取部41获取悬架信息作为车辆信息，并将车辆信息提供给检测器42。然后，处理进入步骤S22。

在步骤S22中，检测器42使用来自获取部41的车辆信息来检测车辆10在滚转方向上的倾斜度。此外，检测器42使用来自获取部41的车辆信息来检测(计算)当车辆10在滚转方向上倾斜时与车辆10相关的倾斜信息(主要是表示向左和向右，即，在滚转方向上的倾斜的倾斜信息)，并将检测到的倾斜信息提供给控制器71。然后，处理从步骤S22进入步骤S23。

在步骤S23中，控制器71根据来自检测器42的倾斜信息，计算来自图像传感器32的读取图像的读取起始位置和读取尺寸，并将读取起始位置和读取尺寸作为读取位置提供给图像传感器32。此外，控制器71根据来自检测器42的倾斜信息来计算用于旋转读取图像的旋转角度，并将所计算出的旋转角度提供给处理部72。然后，处理从步骤S23进入步骤S24。

在步骤S24中，图像传感器32读取由控制器71提供的读取位置的像素的像素信号，并获取展示与该像素信号相对应的像素值的读取图像，以输出所获取的读取图像。由图像传感器32输出的读取图像被提供给处理部72，并且处理从步骤S24进入步骤S25。

在步骤S25中，处理部72将来自图像传感器32的读取图像旋转来自控制器71的旋转角度。此外，处理部72从旋转后的读取图像中裁切BM图像，并将BM图像提供到输出部33。然后，处理从步骤S25进入步骤S26。

在步骤S26中，输出部33将来自处理部72的BM图像传送到BM显示部21，并使BM图像显示在BM显示部21上。这导致BM图像被显示在BM显示部21上，并且显示处理终止。

如上所述，在观察系统的构造的第二示例中，检测到倾斜信息，该倾斜信息主要表示向左和向右的倾斜，即，在滚转方向上的倾斜，以及根据倾斜信息控制来自图像传感器32的读取图像的读取。此外，在观察系统的构造的第二示例中，根据倾斜信息控制对读取图像的旋转，并且从旋转之后的读取图像中切出BM图像。因此，观察系统的构造的第二示例使得可以容易地提供适合于车辆10的操作的图像。换言之，当车辆10在左侧和右侧之间存在高度差的道路上时，可以容易地提供具有与车辆10在平坦道路上时获得的BM图像相似的信息量的BM图像。

此外，在观察系统的构造的第二示例中，在读取控制中从图像传感器32读取具有使得可以从旋转后的读取图像中切出BM图像的最小尺寸的读取图像。这使得可以减小BM图像的帧率降低的可能性。

已经在第二配置示例中描述了将悬架信息作为车辆信息的示例。但是，如在上述第一配置示例中或在稍后描述的第三配置示例中一样，可以使用陀螺仪信息、GPS信息和3D地图、前部相机图像等作为车辆信息。然后，可以使用陀螺仪信息、GPS信息和3D地图、前部相机图像等来检测车辆的倾斜。

<观察系统的构造的第三示例>

图14是示出车辆10中包括的观察系统的构造的第三示例的框图。

注意，在该图中，与图3或图9中相对应的部分由与图3或图9中相同的附图标记表示，并且在下文中省略其描述。

在图14中，观察系统包括相机单元11、BM显示部21和RV显示部22。此外，图14中的相机单元11包括光学系统31、图像传感器32、输出部33、获取部41、检测器42、控制器71和处理部72。

因此，图14的观察系统的构造的第三示例类似于图9的观察系统的构造的第二示例。

然而，在图14的观察系统的构造的第三示例中，获取部41获取例如悬架信息或前部相机图像作为车辆信息，并将获取的车辆信息提供给检测器42。

在这种情况下，检测器42使用来自获取部41的悬架信息或前部相机图像来检测路面的不平坦状态。此外，检测器42检测由于路面不平坦而引起的车辆10向前和向后的(即，在俯仰方向上)倾斜和车辆10向左和向右的(即，在滚转方向上)倾斜度，并且检测(计算)表示倾斜(的水平)的倾斜信息。然后，检测器42将倾斜信息提供给控制器71。

这里，在观察系统的构造的第一示例中，根据车辆10向前和向后的(即在俯仰方向上的)倾斜来控制从图像传感器32对读取图像的读取。在观察系统的构造的第二示例中，由处理部72根据车辆10向左和向右的(即，在滚转方向上)倾斜来控制从图像传感器32对读取图像的读取以及对读取图像的旋转。

另一方面，在观察系统的构造的第三示例中，由处理部72根据车辆10向前和向后的(即在俯仰方向上的)倾斜并根据车辆10向左和向右的(即，在滚转方向上)倾斜来控制从图像传感器32对读取图像的读取以及对读取图像的旋转。

因此，在观察系统的构造的第三示例中，将通过组合在观察系统的构造的第一示例和第二示例中分别进行的从图像传感器32对读取图像的读取控制而获得的控制作为从图像传感器32对读取图像的读取控制来进行。此外，在观察系统的构造的第三示例中，由处理部72进行与在观察系统的构造的第二示例中进行的对读取图像的旋转控制相同的控制作为对读取图像的旋转控制。

<由控制器71根据倾斜信息进行的对读取图像的读取的控制>

图15是描述由控制器71根据倾斜信息进行的对读取图像的读取控制的示例的图。

图15(A)示出了来自图像传感器32的尺寸大于BM图像的读取图像的读取。图15(B)示出了由处理部72进行对读取图像的旋转和切出。

如参考图6至图11所述的，假定当车辆10在平坦路面上时，由控制器71进行读取控制，以使得具有与作为读取图像的BM图像相同尺寸的矩形区域R101从图像传感器32(从图像传感器32的光接收表面)所拍摄的拍摄图像中读取(的像素的像素信号)。

例如，当车辆10在不平坦路面上并且在俯仰方向和滚转方向上倾斜时，控制器71控制图像传感器32进行的读取，使得根据倾斜信息计算用于指定区域R121的读取位置并读取计算出的读取位置的像素信号。区域R121的尺寸比区域R111大出与车辆10在滚转方向上的倾斜角度对应的像素数，且区域R121从区域R111向上或向下偏移了与车辆10在俯仰方向上的倾斜角度对应的像素数。

此外，例如，控制器71根据倾斜信息计算用于旋转与图像传感器32输出的读取图像相对应的区域R121的旋转角度，以使得出现在与读取图像的区域R121中的水平线呈现为水平延伸，并且控制器71将计算出的旋转角度提供给处理部72。

根据控制器71进行的读取控制，矩形区域R121由图像传感器32作为读取图像读取，并且由图像传感器32提供给处理部72。

处理部72将作为来自图像传感器32的读取图像的区域R121以来自控制器71的旋转角度进行旋转。然后，由处理部72从区域R122中切出具有与BM图像相同的尺寸并且旋转角度为0度的区域R123作为BM图像。区域R122通过旋转区域R121获得。

在图15中，车辆10向后倾斜，即在俯仰方向上倾斜，并且向右倾斜，即在滚转方向上倾斜。因此，从图像传感器32读取尺寸大于区域R101并且从区域R101向上偏移的区域R121作为读取图像。此外，车辆10向右倾斜，即沿滚转方向倾斜，因此出现在作为读取图像的区域R121中的水平线向右上方对角倾斜。因此，处理部72对作为读取图像的区域R121进行顺时针旋转，使得向右上方对角倾斜的水平线水平延伸。此外，由处理部72从区域R122中切出作为BM图像的区域R123，区域R122是通过旋转区域R121而获得的。

因此，可以容易地获得适合于车辆10的操作的图像作为BM图像。换言之，可以容易地获得展示与在车辆10处于平坦路面上时获得的BM图像类似的图像表示的BM图像，而无论车辆10在俯仰方向上的倾斜和车辆10在滚转方向上的倾斜如何。这使得可以显示水平线水平地延伸而与车辆10的倾斜无关的图像。因此，不存在由与后方车辆之间的倾斜的临时差异而引起的显示图像差异(水平线的位置没有差异)。这使得驾驶员能够掌握车辆后方的状态而不必担心在驾驶期间引起的显示图像的差异(水平线的位置差异)。

注意，在观察系统的构造的第三示例中，检测器42可以根据例如悬架信息来检测车辆10在俯仰方向和滚转方向上的倾斜。

此外，检测器42可以根据例如前部相机图像识别车辆10前方路面的不平坦，并且检测器42可以根据识别不平坦的结果来估计以检测当车辆10在具有所识别的不平坦路面上行驶时，车辆10在俯仰方向和滚转方向上的倾斜。

<显示处理>

图16是描述在图14的观察系统的构造的第三示例中进行的显示BM图像的显示处理的示例的流程图。

在步骤S31中，获取部41获取悬架信息或前部相机图像作为车辆信息，并将车辆信息提供给检测器42。然后，处理进入步骤S32。

在步骤S32中，检测器42使用来自获取部41的车辆信息来检测车辆10所在的路面的不平坦状态。另外，检测器42使用来自获取部41的车辆信息检测(计算)表示由于路面不平坦而导致的车辆10倾斜(向前和向后的倾斜，即在俯仰方向上的倾斜，以及向左和向右的倾斜，即在滚转方向上的倾斜)的倾斜信息，并且将检测到的倾斜信息提供给控制器71。然后，处理从步骤S32进入步骤S33。

在步骤S33中，控制器71根据来自检测器42的倾斜信息，计算来自图像传感器32的读取图像的读取起始位置和读取尺寸，并将读取起始位置和读取尺寸作为读取位置提供给图像传感器32。此外，控制器71根据来自检测器42的倾斜信息来计算用于旋转读取图像的旋转角度，并将所计算出的旋转角度提供给处理部72。然后，处理从步骤S33进入步骤S34。

在步骤S34中，图像传感器32读取由控制器71提供的读取位置的像素的像素信号，并获取展示与像素信号相对应的像素值的读取图像，以输出所获取的读取图像。由图像传感器32输出的读取图像被提供给处理部72，并且处理从步骤S34进入步骤S35。

在步骤S35中，处理部72将来自图像传感器32的读取图像旋转来自控制器71的旋转角度。此外，处理部72从旋转后的读取图像中裁切BM图像，并将BM图像提供到输出部33。然后，处理从步骤S35进入步骤S36。

在步骤S36中，输出部33将来自处理部72的BM图像传送到BM显示部21，并使BM图像显示在BM显示部21上。这导致BM图像被显示在BM显示部21上，并且显示处理终止。

如上所述，在观察系统的构造的第三示例中，检测到表示向前和向后的倾斜(即，在俯仰方向上的倾斜)以及向左和向右的倾斜(即，在滚转方向上的倾斜)的倾斜信息，并根据倾斜信息来控制从图像传感器32对读取图像的读取。此外，在观察系统的构造的第三示例中，根据倾斜信息控制读取图像的旋转，并且从旋转后的读取图像中切出BM图像。因此，观察系统的构造的第三示例使得可以容易地提供适合于车辆10的操作的图像。换言之，当车辆10在不平坦路面上时，可以容易地提供具有与车辆10在平坦路面上时获得的BM图像相似的信息量的BM图像。

此外，在观察系统的构造的第三示例中，在读取控制中从图像传感器32读取具有使得可以从旋转之后的读取图像中切出BM图像的最小尺寸的读取图像，如在观察系统的构造的第二示例中那样。这使得可以减小BM图像的帧率降低的可能性。

在第三配置示例中，已经描述了悬架信息和前部相机图像作为车辆信息的示例。但是，如在上述第一或第二配置示例中那样，可以将陀螺仪信息、GPS信息和3D地图等用作车辆信息。然后，可使用陀螺仪信息、GPS信息和3D地图等来检测车辆的倾斜。

注意，本技术不仅适用于根据车辆10所处的路面的状态而车辆10倾斜的情况，而且适用于根据例如装载在车辆10上的对象或车辆10的乘员的状态而车辆10倾斜的情况。换言之，本技术的适用与车辆10的倾斜原因无关。

<观察系统的构造的第四示例>

图17是示出车辆10中包括的观察系统的构造的第四示例的框图。

观察系统包括参照图1和图2描述的相机单元11、BM显示部21和RV显示部22。

相机单元11包括光学系统31、图像传感器32、数据量调节器133、输出部134、获取部135和控制器136。

光学系统31包括诸如聚光器和光圈的光学组件，并且将进入光学系统31的光收集到图像传感器32上。

图像传感器32从光学系统31接收光并且进行光电转换以拍摄到拍摄图像。然后，根据控制器136进行的控制，图像传感器32从拍摄图像提取BM图像和RV图像以输出提取的图像。由图像传感器32输出的BM图像和RV图像被提供给数据量调节器133。

根据控制器136进行的控制，数据量调节器133调节由图像传感器32输出的BM图像和RV图像的数据量，并将已经调节了各自的数据量的BM图像和RV图像提供给输出部134。

输出部134是将来自数据量调节器133的BM图像和RV图像传送到相机单元11外部的输出接口(IF)。输出部134将BM图像传送到BM显示部21，并且将RV图像传送到RV显示部22。根据BM显示部21的规格，在BM显示部21上显示来自输出部134的BM图像，并且根据RV显示部22的规格，在RV显示部22上显示来自输出部134的RV图像。输出部134能够根据需要对BM图像和RV图像进行格式转换和其他图像处理。

获取部135从车辆10获取车辆信息，并将获取的车辆信息提供给控制器136。

由获取部135获取的车辆信息的示例包括行驶信息、BM显示部21和RV显示部22的规格、车辆10的驾驶员的视线和头部的位置、和陀螺仪信息。

行驶信息是表示车辆10的行驶状态的信息，并且具体地表示车速和行驶方向(向前或向后)。例如，当车辆10包括速度传感器时，可以从速度传感器的输出获取车速。例如，可以从变速器的状态获取行驶方向。

例如，BM显示部21和RV显示部22的规格是BM显示部21的分辨率和RV显示部22的分辨率，并且可以从BM显示部21和RV显示部22获取。

车辆10的驾驶员的视线和头部的位置是从由车载相机23拍摄的图像获得的。

陀螺仪信息是表示车辆10的位姿(/车辆的倾斜的角度)的信息。当车辆10包括陀螺仪时，可以从陀螺仪的输出获得陀螺仪信息。陀螺仪信息的使用使得可以识别车辆10是否在斜坡上。

控制器136根据由获取部135提供的车辆信息来控制图像传感器32和数据量调节器133。

换言之，例如，控制器136根据车辆信息进行与控制器43进行的读取控制相似的读取控制。因此，控制器136进行用于控制从由图像传感器32拍摄的拍摄图像中提取BM图像和RV图像的提取控制。读取BM图像和RV图像的范围的示例包括图4中所示的范围。此外，根据车辆信息，控制器136进行调节控制，该调节控制用于控制由数据量调节器133进行的对BM图像和RV图像的数据量的调节。

因此，可以说图像传感器32根据车辆信息从拍摄图像提取BM图像和RV图像，并且数据量调节器133根据车辆信息来调节BM图像和RV图像的数据量。

<可以由图像传感器32输出的图像>

图18示出了可以由图像传感器32输出的图像的示例。

这里，可以由图像传感器32输出的最高分辨率的拍摄图像称为最高分辨率图像。假定例如图像传感器32具有以60fps(帧每秒)或以上(的帧率)输出分辨率(像素数)为Rmax的最高分辨率图像的能力。

这里，假设用于从最高分辨率图像提取的最高分辨率BM图像(最大像素数的BM图像)的分辨率RBM等于或小于最高分辨率图像的分辨率Rmax的1/2。还假设用于从最高分辨率图像提取的最高分辨率RV图像的分辨率RRV等于或小于BM图像的分辨率RBM。

在本实施例中，例如，假设用于BM图像的分辨率RBM与用于RV图像的分辨率RRV之和RBM+RRV等于或小于最高分辨率图像的分辨率Rmax的1/2。在这种情况下，使用能够输以60fps(或以上)输出分辨率为Rmax的最高分辨率图像的图像传感器32，使得可以以120fps输出分辨率为RBM的BM图像和分辨率为RRV的RV图像这两者，该BM图像和RV图像通过部分地读取该高分辨率图像而获得。

<可用于车辆10中的数据传送的车辆传送带宽的示例>

图19是描述可用于车辆10中的数据传送的车辆传送带宽的示例的图。

换言之，图19示出了在不由数据量调节器133调节数据量的情况下可由相机单元11输出的BM图像和RV图像的示例。

例如，相机单元11可以以YUV 4:2:2格式输出分辨率为RBM的彩色图像作为BM图像，其中每个像素的比特数为八(相对于亮度和颜色差异中的每个)。此外，例如，相机单元11可以以YUV 4:2:2格式输出分辨率为RRV的彩色图像作为RV图像，其中每个像素的比特数为八。

将每个像素的比特数为八的YUV 4:2:2格式的分辨率为RBM的BM图像称为最高质量BM图像，并将每个像素的比特数为八的YUV4:2:2格式的分辨率为RRV的RV图像称为最高质量RV图像。

在本实施例中，假设车辆传送带宽(是从相机单元11在其中传送数据的带宽)是例如可以(实时)传送60fps的最高质量BM图像的两个画面的传送带宽。在本实施例中，由于RBM≥RRV，可以传送60fps的最高质量BM图像的两个画面的传送带宽使得可以传送例如60fps的最高质量RV图像的两个画面。此外，该车辆传送带宽使得例如总共可以传送两个画面，即60fps的最高质量BM图像的单个画面和60fps的最高质量RV图像的单个画面。

如参考图18和图19所描述的，相机单元11能够输出最高120fps的最高质量BM图像和最高质量RV图像两者。

然而，在本实施例中，车辆传送带宽仅使得可以传送60fps的最高质量BM图像(或RV图像)的两个画面。

车辆传送带宽的增加使得可以传送可由相机单元11输出的120fps的最高质量BM图像和最高质量RV图像两者。但是，车辆传送带宽的增加会导致观察系统的成本增加。

在本技术中，相机单元11适当地调节BM图像和RV图像的数据量以在车辆传送带宽中传送BM图像和RV图像，从而抑制了观察系统成本的增加。

<当可以在车辆传送带宽中传送60fps的最高质量BM图像的两个画面时，对BM图像和RV图像的数据量的调节的控制>

图20是描述由控制器136进行的对BM图像和RV图像的数据量的调节的控制的第一示例的图。

图20的A示出了当车辆10以等于或大于速度的第一阈值的速度高速向前行驶或向后行驶时进行的调节控制。

在这种情况下，控制器136进行作为数据量调节器133的控制的调节控制，使得输出120fps的分辨率为RBM的BM图像，并且限制RV图像的输出。根据控制器136进行的调节控制，数据量调节器133调节来自图像传感器32的BM图像和RV图像的数据量，从而输出120fps的分辨率为RBM的BM图像并限制RV图像的输出。

因此，在这种情况下，从相机单元11输出120fps的分辨率为RBM的BM图像，并且不从相机单元11输出RV图像。因此，120fps的分辨率为RBM的BM图像在BM显示部21上显示，并且在RV显示部22上不显示RV图像。

如上所述，当车辆10以高速向前行驶或向后行驶时，驾驶员可以使用120fps的分辨率为RBM的BM图像(即，高帧率的高分辨率BM图像)确认比紧接在车辆10的后部之后的区域更靠后的区域。

注意，当车辆10以高速向前行驶或向后行驶时，不显示包括紧接在车辆10的后部之后的区域的图像的RV图像。

此外，可以在车辆传送带宽中传送由相机单元11输出的120fps的分辨率为RBM的BM图像，在该车辆传送带宽中能够传送60fps的(分辨率为RBM的)最高质量BM图像的两个画面。

这里，由数据量调节器133进行的用于调节图像的数据量的数据量调节方法的示例，除了包括如上所述的用于限制图像的输出(不输出图像)的方法之外，还包括用于降低分辨率(像素数量)的方法、用于降低灰度(每个像素的比特数)的方法、用于降低帧率的方法以及使用指定的压缩编码方式的压缩方法。

除了由数据量调节器133进行之外，还可以通过控制器136进行控制(诸如对由图像传感器32进行的提取的控制等)来使图像传感器32进行数据量调节方法中的限制图像输出、降低分辨率、降低灰度以及降低帧率。

换言之，可以通过控制器136控制从图像传感器32读取数据并且不从像素51读取与RV图像相对应的像素信号(图7)，来进行限制图像输出，例如限制RV图像的输出，从而限制从拍摄图像中提取RV图像。当车辆10以高速向前行驶或向后行驶时，控制器136可以根据车辆信息来控制由图像传感器32进行的提取，从而限制从拍摄图像中提取RV图像。当然，可以通过数据量调节器133而不是图像传感器32来限制RV图像的输出。

例如，可以通过控制器136控制图像传感器32来降低图像的分辨率，使得像素信号所读取自的像素51的数量减少，或者使得通过进行例如所谓的源跟随器(SF)加法或浮置扩散(FD)加法来进行用于将多个像素51的像素信号相加的合并(binning)。

例如，可以通过控制器136控制图像传感器32来降低灰度，从而减少由AD转换器55(图7)进行AD转换所需的比特数。

例如，可以通过控制器136控制图像传感器32来降低帧率，以使得从像素51读取像素信号的速率或者由AD转换器55进行AD转换的速率降低。

图20的B示出了当车辆10以小于第一阈值并且等于或大于小于第一阈值的第二阈值的速度的中速向后行驶时进行的调节控制。

在这种情况下，控制器136进行作为对数据量调节器133的控制的调节控制，使得输出120fps的分辨率为RBMM的BM图像并输出30fps的分辨率为RRVM的RV图像，其中分辨率RBMM小于分辨率RBM，分辨率RRVM小于分辨率RRV。根据控制器136进行的调节控制，数据量调节器133调节来自图像传感器32的BM图像和RV图像的数据量，以输出120fps的分辨率为RBMM的BM图像并输出30fps的分辨率为RRVM的RV图像。

因此，在这种情况下，相机单元11输出120fps的分辨率为RBMM的BM图像和30fps的分辨率为RRVM的RV图像。因此，在BM显示部21上显示120fps的分辨率为RBMM的BM图像，并且在RV显示部22上显示30fps的分辨率为RRVM的RV图像。

如上所述，当车辆10以中速向后行驶时，驾驶员可以使用120fps的分辨率为RBMM的BM图像(即高帧率的中分辨率BM图像)来确认比紧接在车辆10后部之后的区域更靠后的区域。此外，驾驶员可以使用30fps的分辨率为RRVM的RV图像(即低帧率的中分辨率RV图像)来确认紧接在车辆10后部之后的区域。

注意，假设传送30fps的分辨率为RRVM的RV图像所需的传送带宽等于或小于用于最大传送速率(此处为在不压缩BM图像的情况下传送120fps的分辨率为RBM的BM图像所需的传送速率)与传送120fps的分辨率为RBMM所需的传送速率(第一传送速率)之差的传送带宽。在这种情况下，由相机单元11输出的120fps的分辨率为RBMM的BM图像和30fps的分辨率为RRVM的RV图像两者可以在车辆传送带宽中被传送，该车辆传送带宽中可以传送60fps的高质量BM图像的两个画面。

在此，当传送30fps的分辨率为RRVM的RV图像所需的传送带宽不等于或小于用于最大传送速率与第一传送速率之差的传送带宽时，BM图像和RV图像之一或两者可以由数据量调节器133压缩(压缩编码)，使得传送30fps的分辨率为RRVM的RV图像所需的传送带宽等于或小于用于最大传送速率和第一传送速率之差的传送带宽(以便可以传送分辨率为RRVM的RV图像)。例如，对于120fps的分辨率为RRVM的BM图像，将BM图像的一部分或全部压缩(压缩编码)。这导致能够减少BM图像的数据量。对于30fps的分辨率为RRVM的RV图像，在保留彩色图像的状态下对RV图像进行压缩编码，或者将其转换为黑白图像以进行压缩编码。这导致能够降低RV图像的数据量。

图20的C示出了当车辆10以小于比第一阈值小的第二阈值的速度的低速向后行驶时进行的调节控制。

在这种情况下，控制器136进行作为对数据量调节器133的控制的调节控制，使得输出60fps的分辨率为RBM的BM图像和输出60fps的分辨率为RRV的RV图像。根据控制器136进行的调节控制，数据量调节器133调节来自图像传感器32的BM图像和RV图像的数据量，以输出60fps的分辨率为RBM的BM图像和输出60fps的分辨率为RRV的RV图像。

因此，在这种情况下，相机单元11输出60fps的分辨率为RBM的BM图像和60fps的分辨率为RRV的RV图像。因此，在BM显示部21上显示60fps的分辨率为RBM的BM图像，并且在RV显示部22上显示60fps的分辨率为RRV的RV图像。

如上所述，当车辆10以低速向后行驶时，驾驶员可以使用60fps的分辨率为RBM的BM图像(即中等帧率的高分辨率BM图像)来确认比紧接在车辆10的后部之后的区域更靠后的区域。另外，驾驶员可以使用60fps的分辨率为RRV的RV图像(即中等帧率的高分辨率RV图像)来确认紧接在车辆10的后部之后的区域。

车辆10以低速向后行驶的情况例如是驾驶员即将停泊车辆10的情况，并且重要的是确认紧接在车辆10后部之后的区域，这个区域从驾驶员的视角来看是盲点。因此，当车辆10以低速向后行驶时，与车辆10以高速或中速向后行驶时相比，以更高的分辨率和更高的帧率显示RV图像。这使得可以容易地确定盲点的区域并且可以根据盲点的状态容易地控制车辆。

注意，由相机单元11输出的60fps的分辨率为RBM的BM图像和60fps的分辨率为RRV的RV图像两者可以在能够传送60fps的最高质量BM图像的两个画面的车辆传送带宽中传送。

<当可以在车辆传送带宽中传送60fps的最高质量BM图像的单画面时，对BM图像和RV图像的数据量的调节的控制>

图21是描述由控制器136进行的对BM图像和RV图像的数据量的调节控制的第二示例的图。

这里，在对BM图像和RV图像的数据量的调节控制的第二示例中，假设车辆传送带宽是例如可以在其中传送60fps(或以上)的高质量BM图像(分辨率为RBM)的单画面的传送带宽。

图21的A示出了当车辆10以等于或大于速度的第一阈值的速度的高速向前行驶或向后行驶时进行的调节控制。

在这种情况下，控制器136进行作为对数据量调节器133的控制的调节控制，使得输出60fps(或以上)的分辨率为RBM的BM图像，并限制RV图像的输出。根据控制器136进行的调节控制，数据量调节器133调节来自图像传感器32的BM图像和RV图像的数据量，以输出60fps的分辨率为RBM的BM图像并限制RV图像的输出。

因此，在这种情况下，从相机单元11输出60fps的分辨率为RBM的BM图像，并且不从相机单元11输出RV图像。因此，在BM显示部21上显示60fps的分辨率为RBM的BM图像，并且在RV显示部22上不显示RV图像。

如上所述，当车辆10以高速向前行驶或向后行驶时，驾驶员可以使用60fps的分辨率为RBM的BM图像(即中等帧率的高分辨率BM图像)来确认比紧接在车辆10的后部之后的区域更靠后的区域。

注意，当车辆10以高速向前行驶或向后行驶时，如参考图20的A所描述的，不显示包括紧接在车辆10的后部之后的区域的图像的RV图像。

此外，可以在能够传送60fps的最高质量BM图像(分辨率为RBM)的单画面的车辆传送带宽中传送由相机单元11输出的60fps的分辨率为RBM的BM图像。

图21的B示出了当车辆10以小于第一阈值且等于或大于比第一阈值小的第二阈值的速度的中速向后行驶时进行的调节控制。

在这种情况下，控制器136进行作为对数据量调节器133的控制的调节控制，使得输出60fps的分辨率为RBMM的BM图像以及输出30fps的分辨率为RRVM的RV图像，其中分辨率RBMM小于分辨率RBM，分辨率RRVM小于分辨率RRV。根据控制器136进行的调节控制，数据量调节器133调节来自图像传感器32的BM图像和RV图像的数据量，以输出60fps的分辨率为RBMM的BM图像并输出30fps的分辨率为RRVM的RV图像。

因此，在这种情况下，相机单元11输出60fps的分辨率为RBMM的BM图像和30fps的分辨率为RRVM的RV图像。因此，在BM显示部21上显示60fps的分辨率为RBMM的BM图像，并且在RV显示部22上显示30fps的分辨率为RRVM的RV图像。

如上所述，当车辆10以中速向后行驶时，驾驶员可以使用60fps的分辨率为RBMM的BM图像(即中等帧率的中等分辨率BM图像)来确认比紧接在车辆10的后部之后的区域更靠后的区域。另外，驾驶员可以使用30fps的分辨率为RRVM的RV图像(即低帧率的中分辨率RV图像)来确认接近在车辆10的后部之后的区域。

注意，当要传送相机单元11输出的60fps的分辨率为RBMM的BM图像和30fps的分辨率为RRVM的RV图像两者所需的传送带宽(以下也称为必要传送带宽)不在能够传送60fps的最高质量BM图像的单画面的车辆传送带宽之内时，可以以用于中速的第一压缩率对BM图像进行压缩，并且可以在保持彩色图像的状态下以用于中速的第二压缩率(其比用于中速的第一压缩率提供更高的压缩)对RV图像进行压缩，或者可以将RV图像转换为黑白图像以用于中速的第二压缩率对RV图像进行压缩，使得必要传送带宽在车辆传送带宽之内。

图21的C示出了当车辆10以小于比第一阈值小的第二阈值的速度的低速向后行驶时进行的调节控制。

在这种情况下，控制器136进行作为对数据量调节器133的控制的调节控制，使得输出60fps的分辨率为RBML的BM图像和输出30fps的分辨率为RRVM的RV图像，其中分辨率RBML小于分辨率RBMM。根据控制器136进行的调节控制，数据量调节器133调节来自图像传感器32的BM图像和RV图像的数据量，以输出60fps的分辨率为RBML的BM图像并输出30fps的分辨率为RRVM的RV图像。

因此，在这种情况下，相机单元11输出60fps的分辨率为RBML的BM图像和30fps的分辨率为RRV的RV图像。因此，在BM显示部21上显示60fps的分辨率为RBML的BM图像，并且在RV显示部22上显示30fps的分辨率为RRVM的RV图像。

如上所述，当车辆10以低速向后行驶时，驾驶员可以使用60fps的分辨率为RBML的BM图像(即中等帧率的低分辨率BM图像)来确认比紧接在车辆10的后部之后的区域更靠后的区域。另外，驾驶员可以使用30fps的分辨率为RRVM的RV图像(即低帧率的中等分辨率RV图像)来确认紧接在车辆10的后部之后的区域。

注意，当要传送相机单元11输出的60fps的分辨率为RBMM的BM图像和30fps的分辨率为RRVM的RV图像两者所需的必要传送带宽不在能够传送60fps的最高质量BM图像的单画面的车辆传送带宽之内时，可以以用于低速的第一压缩率对BM图像进行压缩，并且可以(在保持彩色图像的状态下)以用于低速的第二压缩率(比用于低速的第一压缩率提供更高的压缩)对RV图像进行压缩，使得必要传送带宽在车辆传送带宽之内。

这里，可以采用提供比用于中速的第一压缩率更高的压缩的压缩率作为用于低速的第一压缩率。用于中速的第二压缩率和用于低速的第二压缩率可以采用相同的压缩率。在这种情况下，以下是用于低速的第一压缩率和第二压缩率与用于中速的第一压缩率和第二压缩率之间的关系：用于低速的第二压缩率＝用于中速的第二压缩率>用于低速的第一压缩率>用于中速的第一压缩率。但是，在此，假设数值越大的压缩率提供越高的压缩。以下是分别通过以用于低速的第一压缩率进行压缩、以用于低速的第二压缩率进行压缩、以用于中速的第一压缩率进行压缩以及以用于中速的第二压缩率进行压缩而分别获得的数据量之间的关系：以用于低速的第二压缩率压缩所获得的数据量＝以用于中速的第二压缩率压缩所获得的数据量<以用于低速的第一压缩率压缩所获得的数据量<以用于中速的第一压缩率压缩所获得的数据量。

上面已经描述了用于根据车辆10的车速和行驶方向(向前或向后)来调节BM图像和RV图像的数据量的调节控制。调节控制方法不限于参考图20和图21所描述的方法。换言之，调节控制方法可以根据例如车辆传送带宽、图像传感器32的能力、BM显示部21和RV显示部22的规格而适当地设定。数据量分别与显示的BM图像和显示的RV图像的质量相关。因此，可以说，BM图像的质量和RV图像的质量根据车辆10的车速和行驶方向(向前或向后)而改变。

此外，在调节控制中，BM图像的分辨率和RV图像的分辨率可以通过减少BM图像和RV图像中包含的像素数来降低，或者通过(不可逆地)压缩BM图像和RV图像而不改变像素数来降低。

当通过压缩BM图像和RV图像来降低BM图像的分辨率和RV图像的分辨率时，可以采用如下压缩率作为对BM图像和RV图像进行压缩的压缩率：该压缩率使得通过进行压缩和解压缩而获得的BM图像和RV图像丢失了一部分频率分量(例如高频分量)但各自仍具有足够高的分辨率(最高频率分量)，该分辨率等效于参考图20或21描述的分辨率(像素数)。

<显示处理>

图22是描述在图17的观察系统中进行的显示BM图像和RV图像的显示处理的示例的流程图。

在步骤S111中，图像传感器32拍摄到拍摄图像，并且处理进入步骤S112。

在步骤S112中，获取部135从车辆10获取车辆信息，并将该车辆信息提供给控制器136。然后，处理进入步骤S113。

在步骤S113中，控制器136根据来自获取部135的车辆信息，控制由图像传感器32进行的提取。图像传感器32根据由控制器136进行提取控制，从拍摄图像中提取BM图像和RV图像。然后，图像传感器32将BM图像和RV图像提供给数据量调节器133，并且处理从步骤S113进入步骤S114。

在步骤S114中，控制器136根据来自获取部135的车辆信息控制由数据量调节器133进行的调节。数据量调节器133根据控制器136进行的调节控制来调节来自图像传感器32的BM图像和RV图像的数据量。然后，数据量调节器133将已经调节了各自数据量的BM图像和RV图像提供给输出部134，并且处理从步骤S114进入步骤S115。

在步骤S115中，输出部134将从数据量调节器133提供的已经调节了各自数据量的BM图像和RV图像输出到相机单元11的外部，将BM图像传送到BM显示部21，并将RV图像传送到RV显示部22。然后，处理进入步骤S116。

在步骤S116中，BM显示部21根据BM显示部21的规格来在其上显示来自输出部134的BM图像，并且RV显示部22根据RV显示部22的规格来在其上显示来自输出部134的RV图像。

<观察系统的构造的第五示例>

图23是示出车辆10中包括的观察系统的构造的第五示例的框图。

注意，在该图中，与图17中的部分相对应的部分由与图17中相同的附图标记表示，并且以下省略其描述。

在图23中，观察系统包括相机单元11、BM显示部21、RV显示部22和提取部182，并且相机单元11包括光学系统31、图像传感器32、数据量调节器133、输出部134、获取部135和控制器181。

因此，图23的观察系统在包括相机单元11、BM显示部21和RV显示部22方面，以及在相机单元11中包括从光学系统31到获取部135的组件方面与图17的观察系统相似。

然而，图23的观察系统与图17的观察系统的不同之处在于，新包括了提取部182，并且在相机单元11中包括控制器181而不是控制器136。

注意，提取部182可以设置在相机单元11内，尽管在图23中提取部182设置在相机单元11的外部。

车辆信息由获取部135提供给控制器181。车辆信息的示例包括行驶信息、BM显示部21和RV显示部22的规格以及陀螺仪信息。然而，在该示例中，由获取部135提供的车辆信息不包括驾驶员的视线和头部的位置。注意，车辆10的驾驶员的视线和头部的位置作为车辆信息的一部分输入到提取部182。

与控制器136的情况相同，控制器181根据获取部135提供的车辆信息控制由图像传感器32进行的提取和由数据量调节器133进行的调节。

然而，在提取控制中，控制器181根据驾驶员的视线和头部的位置之一或根据这两者，使尺寸比区域R11大的区域被提取为BM图像，而不是控制被提取为BM图像的区域R11(的位置)。

因此，由图23中的输出部134输出的BM图像的尺寸大于由图17和图12中的输出部134输出的BM图像的尺寸。

在图23中，将尺寸大于由输出部134输出的区域R11的BM图像提供给提取部182。

除了尺寸比由输出部134提供给提取部182的区域R11大的BM图像以外，还将车辆信息中的驾驶员的视线和头部的位置提供给提取部182。

根据驾驶员的视线和头部的位置之一或根据这两者，提取部182将尺寸大于来自输出部134的区域R11(即，具有与区域R11相同的尺寸的区域)的BM图像的一部分提取为要在BM显示部21上显示的最终BM图像，并且提取部182将该BM图像提供给BM显示部21。

<来自拍摄图像的BM图像和RV图像的提取的控制>

图24是描述由控制器181进行的来自拍摄图像的BM图像和RV图像的提取的控制的示例的图。

与图4的情况相同，图24示出了光学系统31的像圈和由图像传感器32(图像传感器32的光接收表面)拍摄的拍摄图像。

在提取控制中，与控制器136的情况一样，控制器181控制从图像传感器32对数据的读取，使得区域R12被提取为RV图像。

此外，在提取控制中，控制器181控制从图像传感器32对数据的读取，使得不是将区域R11而是将尺寸大于区域R11的区域R31从拍摄图像中提取为BM图像。

如果内后视镜安装在车辆10中，则区域R31是包括驾驶员能够通过移动他的/她的视线或他的/她的头部而使用内后视镜看到的最大范围的区域。区域R11是可变区域，其位置根据驾驶员的视线和头部的位置而改变，而区域R31是固定的区域。

由提取部182从上述区域R31中提取在由驾驶员的视线和头部的位置之一或这两者的位置决定的位置处的与区域R11相同尺寸的区域作为最终BM图像以显示在BM显示部21上。换言之，如果内后视镜安装在车辆10中，则待由驾驶员使用内后视镜观察的区域R11由提取部182从区域R31提取以作为BM图像。

<显示处理>

图25是描述在图23的观察系统中进行的显示BM图像和RV图像的显示处理的示例的流程图。

在步骤S121中，图像传感器32拍摄到拍摄图像，并且处理进入步骤S122。

在步骤S122中，获取部135从车辆10获取车辆信息，并将车辆信息提供给控制器136。然后，处理进入步骤S123。

在步骤S123中，控制器136控制由图像传感器32进行的提取。如参考图24所述，根据控制器136进行的提取控制，图像传感器32从拍摄图像中提取区域R31和区域R12分别作为BM图像和RV图像。然后，图像传感器32将BM图像和RV图像提供给数据量调节器133，并且处理从步骤S123进入步骤S124。

在步骤S124中，控制器136根据来自获取部135的车辆信息控制由数据量调节器133进行的调节。数据量调节器133根据控制器136进行的调节控制来调节来自图像传感器32的BM图像和RV图像的数据量。然后，数据量调节器133将已经调节了各自数据量的BM图像和RV图像提供给输出部134，并且处理从步骤S124进入步骤S125。

在步骤S125中，输出部134将从数据量调节器133提供的并且已经调节了各自数据量的BM图像和RV图像输出到相机单元11的外部，并且处理进入步骤S126。因此，在图23中，BM图像被提供给提取部182，并且RV图像被传送给RV显示部22。

在步骤S126中，提取部182从车辆10获取车辆信息中包括的驾驶员的视线和头部的位置，然后处理进入步骤S127。

在步骤S127中，提取部182从来自输出部134的BM图像中提取位于由驾驶员的视线和头部的位置所决定的位置处且尺寸与区域R11相同的区域，该区域被提取为最终BM图像以显示在BM显示部21上。然后，提取部182将最终BM图像传送到BM显示部21，并且处理从步骤S127进入步骤S128。

在步骤S128中，BM显示部21根据BM显示部21的规格来在其上显示来自提取部182的BM图像，并且RV显示部22根据RV显示部22的规格来在其上显示来自输出部134的RV图像。

<应用本技术的计算机的描述>

接下来，可以使用硬件或软件来进行上述一系列处理。当使用软件进行该系列处理时，软件中包括的程序被安装在例如通用计算机上。

图26是示出其上安装有用于进行上述一系列处理的程序的计算机的实施例的配置示例的框图。

可以将程序预先记录在作为计算机中包括的记录介质的硬盘905或只读存储器(ROM)903中。

可替代地，可以将程序存储(记录)在由驱动909驱动的可移除记录介质911中。这种可移除记录介质911可以被提供为所谓的套装软件。在此，可移除记录介质911的示例包括软盘、只读式紧凑光盘存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘和半导体存储器。

注意，除了从上述可移除记录介质911安装到计算机上之外，程序还可以通过通信网络或广播网络下载到计算机上，以安装在计算机所包括的硬盘905上。换言之，例如，该程序可以通过用于数字卫星广播的卫星从下载站点无线地传送到计算机，或者可以通过诸如局域网(LAN)或互联网等网络有线地传送到计算机。

计算机包括中央处理单元(CPU)902，并且输入/输出接口910通过总线901连接到CPU 902。

当用户通过输入/输出接口910操作输入部907而输入命令时，CPU 902根据输入的命令执行存储在ROM 903中的程序。或者，CPU 902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904中并执行该程序。

这导致CPU 902执行根据上述流程图的处理或基于上述框图的配置执行的处理。然后，例如，根据需要，CPU 902使用输出部906输出处理结果或通过输入/输出接口910使用通信部908传送处理结果，并且CPU 902进一步将处理结果记录在硬盘905中。

注意，输入部907包括例如键盘、鼠标和麦克风。此外，输出部906包括例如液晶显示器(LCD)和扬声器。

在此，在说明书中，由计算机根据程序进行的处理不必一定按照流程图中的描述顺序按时间顺序执行。换言之，由计算机根据程序进行的处理包括并行或单独进行的处理(例如，使用对象执行的处理或并行处理)。

此外，该程序可以是由单个计算机(处理器)进行处理的程序，或者可以是由多个计算机进行分布式处理的程序。此外，程序可以被发送到远程计算机以由远程计算机执行。

此外，本文所使用的系统是指多个组件(例如，设备和模块(部件))的集合，并且所有组件是否都在单个壳体中并不重要。因此，容纳在分离的各壳体中并经由网络彼此连接的多个设备以及将多个模块容纳在单个壳体中的单个设备都可以是该系统。

注意，本技术的实施例不限于上述示例，并且在不脱离本技术的范围的情况下可以对其进行各种修改。

例如，本技术还可以具有云计算的配置，其中单个功能被共享以经由网络由多个设备共同处理。

此外，除了由单个设备进行之外，使用上述流程图描述的各个步骤可以被共享以由多个设备执行。

此外，当单个步骤包括多个过程时，除了由单个设备进行之外，单个步骤中包括的多个过程可以被共享以由多个设备执行。

注意，本文描述的效果不是限制性的，而仅仅是说明性的，并且可以提供其他效果。

注意，本技术可以采用以下配置。

<1>一种图像拍摄设备，包括：

图像传感器，拍摄显示在车辆的显示部上的图像；和

控制器，基于由所述车辆获取的车辆信息来控制来自所述图像传感器的图像的读取。

<2>根据<1>的图像拍摄设备，还包括：

检测器，使用所述车辆信息来检测与所述车辆相关的倾斜信息，其中，

所述控制器根据所述倾斜信息来控制来自所述图像传感器的图像的读取。

<3>根据<2>的图像拍摄设备，其中，

所述检测器检测表示向所述车辆的前侧和后侧倾斜的所述倾斜信息。

<4>根据<2>的图像拍摄设备，其中，

所述检测器检测表示向所述车辆的左侧和右侧倾斜的所述倾斜信息。

<5>根据<2>的图像拍摄设备，其中，

所述检测器检测表示向所述车辆的前侧和后侧倾斜以及向所述车辆的左侧和右侧倾斜的所述倾斜信息。

<6>根据<1>至<5>中任一种图像拍摄设备，其中，

所述控制器控制在所述图像传感器中图像被读取的读取位置。

<7>根据<6>的图像拍摄设备，其中，

所述读取位置由在所述图像传感器中读取的图像的尺寸和读取起始位置指定，所述读取起始位置是在所述图像传感器中开始读取图像的位置。

<8>根据<1>至<7>中任一种图像拍摄设备，其中，

所述控制器控制来自所述图像传感器的图像的读取，使得显示在所述显示部上的图像中出现的路面的比例保持在指定的比例。

<9>根据<1>至<8>中任一种图像拍摄设备，还包括：

处理部，旋转从所述图像传感器读取的图像，并从旋转后的图像中切出要在所述显示部上显示的图像。

<10>根据<9>的图像拍摄设备，其中，

所述控制器控制所述图像的旋转。

<11>根据<10>的图像拍摄设备，其中，

所述控制器根据与所述车辆相关的倾斜信息计算用于旋转所述图像的旋转角度，并且控制所述图像的旋转，以使所述图像旋转所述旋转角度。

<12>根据<1>至<11>中任一种图像拍摄设备，其中，

所述车辆信息是以下至少一种：从所述车辆具有的陀螺仪获得的陀螺仪信息、与所述车辆的悬架相关的悬架信息、从用于拍摄所述车辆的前方区域的图像的前部相机获得的前部相机图像、或从GPS获得的GPS信息。

<13>根据<1>至<12>中任一种图像拍摄设备，其中，

所述显示部是对I类镜的替代的显示部。

<14>一种控制方法，包括：

基于由车辆获取的车辆信息，控制来自拍摄图像的图像传感器的图像的读取，所述图像显示在所述车辆的显示部上。

<15>一种程序，使计算机操作为控制器，所述控制器基于由车辆获取的车辆信息，控制来自拍摄图像的图像传感器的图像的读取，所述图像显示在所述车辆的显示部上。

<16>根据<14>的控制方法，还包括：

使用所述车辆信息来检测与所述车辆相关的倾斜信息，其中，

根据所述倾斜信息来控制来自所述图像传感器的图像的读取。

<17>根据<15>的程序，还使所述计算机操作为检测器，所述检测器使用所述车辆信息来检测与所述车辆相关的倾斜信息，其中，

根据所述倾斜信息来控制来自所述图像传感器的图像的读取。

<18>根据<1>至<13>中任一种图像拍摄设备，其中，

所述车辆信息包括以下至少一种：与所述车辆相关的速度信息或与所述车辆相关的档位信息。

<19>根据<14>或<16>的控制方法，其中，

所述车辆信息包括以下至少一种：与所述车辆相关的速度信息或与所述车辆相关的档位信息。

<20>根据<15>或<17>的程序，其中，

所述车辆信息包括以下至少一种：与所述车辆相关的速度信息或与所述车辆相关的档位信息。

附图标记列表

10 车辆

11 相机单元

21 BM显示部

22 RV显示部

23 车载相机

31 光学系统

32 图像传感器

33 输出部

41 获取部

42 检测器

43 控制器

51 像素阵列

52 输入电路

53 行选择电路

54 列选择电路

55 AD转换器

56 线缓冲器

57 输出电路

61 像素

71 控制器

72 处理部

133 数据量调节器

134 输出部

135 获取部

136 控制器

181 控制器

182 提取部

901 总线

902 CPU

903 ROM

904 RAM

905 硬盘

906 输出部

907 输入部

908 通信部

909 驱动

910 输入/输出接口

911 可移除记录介质

Claims (12)

1.一种图像拍摄设备，包括：

图像传感器，拍摄车辆后方区域的图像，所拍摄的图像用于显示在车辆的显示部上；

控制器，基于由所述车辆获取的车辆信息来控制来自所述图像传感器的图像的读取，

检测器，使用所述车辆信息来检测关于所述车辆的倾斜信息，以及

处理部，旋转从所述图像传感器读取的图像，并从旋转后的图像中切出要在所述显示部上显示的图像，

其中，所述控制器根据所述倾斜信息来控制来自所述图像传感器的图像的读取，其中所述控制器控制在所述图像传感器中图像被读取的读取位置，所述读取位置由在所述图像传感器中读取的图像的读取尺寸和读取起始位置指定，所述读取起始位置是所述图像传感器中的开始从所述图像传感器读取图像的位置，

其中，控制器根据所述倾斜信息计算读取图像的最小尺寸作为读取尺寸，使得能够从旋转后的图像中切出要在所述显示部上显示的图像，

其中，所述控制器控制来自所述图像传感器的图像的读取，使得显示在所述显示部上的图像中出现的路面的比例被保持在指定的比例，以及

其中，所述图像拍摄设备是广角相机单元。

2.根据权利要求1所述的图像拍摄设备，其中，

所述检测器检测表示向所述车辆的前侧和后侧倾斜的所述倾斜信息。

3.根据权利要求1所述的图像拍摄设备，其中，

所述检测器检测表示向所述车辆的左侧和右侧倾斜的所述倾斜信息。

4.根据权利要求1所述的图像拍摄设备，其中，

所述检测器检测表示向所述车辆的前侧和后侧倾斜以及向所述车辆的左侧和右侧倾斜的所述倾斜信息。

5.根据权利要求1所述的图像拍摄设备，其中，

所述控制器控制所述图像的旋转。

6.根据权利要求5所述的图像拍摄设备，其中，

所述控制器

根据关于所述车辆的倾斜信息，计算用于旋转所述图像的旋转角度，并且

控制所述图像的旋转，使得所述图像旋转所述旋转角度。

7.根据权利要求1所述的图像拍摄设备，其中，

所述车辆信息是以下至少一种：从所述车辆的陀螺仪获得的陀螺仪信息、关于所述车辆的悬架的悬架信息、从用于拍摄所述车辆的前方区域的图像的前部相机获得的前部相机图像、或从GPS获得的GPS信息。

8.根据权利要求1所述的图像拍摄设备，其中，

所述显示部是作为对I类镜的替代的显示部。

9.根据权利要求1所述的图像拍摄设备，其中，

所述车辆信息包括以下至少一种：关于所述车辆的速度信息或关于所述车辆的档位信息。

10.一种控制方法，包括：

基于由车辆获取的车辆信息，控制来自拍摄图像的图像传感器的车辆后方区域的图像的读取，所述图像显示在所述车辆的显示部上，

使用所述车辆信息来检测关于所述车辆的倾斜信息，

旋转从所述图像传感器读取的图像，并从旋转后的图像中切出要在所述显示部上显示的图像，

根据所述倾斜信息来控制来自所述图像传感器的图像的读取，其中控制读取包括控制在所述图像传感器中图像被读取的读取位置，所述读取位置由在所述图像传感器中读取的图像的读取尺寸和读取起始位置指定，所述读取起始位置是所述图像传感器中的开始从所述图像传感器读取图像的位置，

其中，根据所述倾斜信息计算读取图像的最小尺寸作为读取尺寸，使得能够从旋转后的图像中切出要在所述显示部上显示的图像，

其中，来自所述图像传感器的图像的读取被控制为使得显示在所述显示部上的图像中出现的路面的比例被保持在指定的比例，以及

其中，所述图像是通过广角相机单元拍摄的。

11.根据权利要求10所述的控制方法，其中，

所述车辆信息包括以下至少一种：关于所述车辆的速度信息或关于所述车辆的档位信息。

12.一种记录程序的介质，所述程序使计算机操作为控制器，所述控制器控制来自拍摄图像的图像传感器的图像的读取，以执行根据权利要求10所述的方法。