CN113039778A - 图像捕获装置、图像处理方法和程序 - Google Patents

图像捕获装置、图像处理方法和程序 Download PDF

Info

Publication number
CN113039778A
CN113039778A CN201980070024.5A CN201980070024A CN113039778A CN 113039778 A CN113039778 A CN 113039778A CN 201980070024 A CN201980070024 A CN 201980070024A CN 113039778 A CN113039778 A CN 113039778A
Authority
CN
China
Prior art keywords
image
vehicle
data amount
resolution
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980070024.5A
Other languages
English (en)
Other versions
CN113039778B (zh
Inventor
山中刚
山口卓也
汤川泰宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113039778A publication Critical patent/CN113039778A/zh
Application granted granted Critical
Publication of CN113039778B publication Critical patent/CN113039778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技术涉及一种能够抑制成本增加的图像捕获装置、图像处理方法和程序。控制单元执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取由第一显示单元显示的第一图像和由第二显示单元显示的第二图像的提取控制。数据量调整单元根据从车辆获取的车辆信息来调整第一图像的数据量和第二图像的数据量。本技术可以应用于例如用于显示包括车辆后方的图像的观察系统。

Description

图像捕获装置、图像处理方法和程序
技术领域
本技术涉及图像捕获装置、图像处理方法和程序。具体地，本技术涉及例如使得可以抑制成本增加的图像捕获装置、图像处理方法和程序。
背景技术
例如，提出了一种观察系统，其中作为图像捕获装置的相机安装在诸如汽车的车辆的后部，并且显示使用相机捕获的车辆后方区域的图像。
由观察系统提供的车辆后方区域的图像的示例包括位于比车辆正后方的区域更后方的区域的图像，以及车辆正后方的区域的图像。
在此，位于比车辆正后方的区域更后方的区域的图像例如是与在所谓的内部后视镜的I级反射镜中看到的图像相对应的图像，并且在下文中也被称为后反射镜(BM)图像。此外，车辆正后方的区域的图像是车辆后方和车辆正后方的区域的图像，并且在下文中也被称为后视(RV)图像。
捕获BM图像和RV图像所需的规格(即视角和光轴方向)是不同的。因此，BM图像和RV图像分别使用不同的相机来捕获。因此，为了在观察系统中显示BM图像和RV图像，需要在车辆的后部设置两个相机，即用于捕获BM图像的相机和用于捕获RV图像的相机。
近年来，为了降低成本等，需要使用单个相机来捕获BM图像和RV图像。
例如，专利文献1公开了一种通过进行PTZ(摇摄、倾斜和变焦)操作来改变视角和光轴方向的相机。在专利文献1中公开的相机中，PTZ操作使得可以在捕获远离车辆的范围的远方图像和捕获靠近车辆的范围的附近图像之间切换。
引文列表
专利文献
专利文献1：日本专利申请公开号11-312300
发明内容
技术问题
专利文献1所公开的相机能够在与BM图像对应的远方图像的输出和与RV图像对应的附近图像的输出之间进行切换。然而，难以使用专利文献1中公开的相机同时输出远方图像和附近图像。
此外，对于可用于在车辆中传输数据的车辆传输带宽存在限制。因此，即使可以同时输出与BM图像相对应的远方图像和与RV图像相对应的附近图像，也难以同时传输远方图像和附近图像以显示这些图像。
尽管车辆传输带宽的增加使得可以同时传输远方图像和附近图像，但是车辆传输带宽的增加导致观察系统的成本增加。
本技术是鉴于上述情况而作出的，并且旨在使得可以抑制成本的增加。
问题的解决方案
根据本技术的图像捕获装置或程序是图像捕获装置或使计算机作为图像捕获装置发挥功能的程序，所述图像捕获装置包括图像传感器，其执行图像捕获；控制器，其执行用于从由图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上；以及数据量调整器，其根据从车辆获取的车辆信息来调整第一图像的数据量和第二图像的数据量。
根据本技术的图像处理方法包括执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上；以及根据从车辆获取的车辆信息调整第一图像的数据量和第二图像的数据量。
在根据本技术的图像捕获装置、图像处理方法和程序中，执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上。然后，根据从车辆获取的车辆信息调整第一图像的数据量和第二图像的数据量。
注意，图像捕获装置可以是独立的装置或包括在单个装置中的内部块。
此外，程序可以通过经由传输介质传输或通过存储在记录介质中来提供。
附图说明
图1是示出包括根据本技术的观察系统的车辆10的外部配置示例的透视图。
图2是示出车辆10的内部的配置的示例的透视图。
图3是示出车辆10中包括的观察系统的配置的第一示例的框图。
图4是描述由控制器36执行的从控制器36提取BM图像和RV图像的控制示例的图。
图5是描述根据陀螺仪信息执行的作为BM图像的(区域R11)的提取的控制的图。
图6示出图像传感器32的配置的示例。
图7示出可以由图像传感器32输出的图像的示例。
图8是描述可用于车辆10中的数据传输的车辆传输带宽的示例的图。
图9是描述由控制器36执行的调整BM图像和RV图像的数据量的控制的第一示例的图。
图10是描述由控制器36执行的调整BM图像和RV图像的数据量的控制的第二示例的图。
图11是描述在观察系统中执行的显示BM图像和RV图像的显示处理的示例的流程图。
图12是示出车辆10中包括的观察系统的配置的第二示例的框图。
图13是示出车辆10中包括的观察系统的配置的第三示例的框图。
图14是描述由控制器81执行的从捕获图像中提取BM图像和RV图像的控制的示例的图。
图15是描述在观察系统中执行的显示BM图像和RV图像的显示处理的示例的流程图。
图16是示出车辆10中包括的观察系统的配置的第四示例的框图。
图17是示出应用本技术的计算机的实施例的配置示例的框图。
具体实施方式
<包括观察系统的车辆的配置的示例>
图1是示出包括应用本技术的观察系统的车辆10的外观的配置的示例的透视图。
例如，作为用于捕获(四轮)车辆10后方区域的图像的图像捕获装置的相机单元11安装在车辆10的后部。在图1中，相机单元11安装在车辆10的后窗上方。
相机单元11是广角相机单元，使得可以捕获其中出现与BM图像(第一图像)对应的范围和与RV图像(第二图像)对应的范围两者的图像。此外，相机单元11是高分辨率相机单元，使得远方被摄体在BM图像中明显。因此，相机单元11能够捕获广角、高分辨率图像。
注意，在相机单元11中，从由相机单元11捕获的图像(下文中也称为捕获图像)中提取BM图像和RV图像。这将在后面描述。
相机单元11以光轴的朝向经调整的状态设置，使得BM图像包括位于比车辆10的正后方区域更后方的区域的状态的图像，并且使得RV图像包括车辆10的后方和车辆10的正后方区域的状态的图像，位于比车辆10的正后方区域更后方的区域的状态是在车辆10上安装内部后视镜(由欧盟经济委员会(United Nations Economic Commission for Europe<UNECE>)规定的I级反射镜46)时能够利用该内部后视镜观察到的状态。
因此，BM图像是在车辆10上设置内部后视镜时，能够利用内部后视镜观察到的、比车辆10的正后方区域更后方的区域的状态的图像。此外，RV图像是车辆10的后方的状态和车辆10的正后方区域的图像。RV图像在车辆10后退时特别有用，因为在RV图像中出现了作为内部后视镜的死角的车辆10的正后方区域。此外，RV图像可以用于生成当从上方观察车辆10时获得的俯瞰图像。
另外，相机单元11只要能够捕获能够提取上述BM图像和RV图像的捕获图像，则并不限定于安装在车辆10的后窗的上方。例如，除了安装在车辆10的后窗上方之外，相机单元11可以安装在例如位于车辆10后部的牌照上方的位置P11处。
图2是示出图1的车辆10的内部的配置的示例的透视图。
在车辆10中安装内部后视镜的位置处设置有显示BM图像的BM显示部21。BM显示部21是代替内部后视镜的显示部。
在车辆10的仪表盘的中央位置设置有显示RV图像的RV显示部22。
注意，在车辆10的仪表盘的驾驶席侧，设置用于捕获驾驶员的图像的车内相机23。通过车内相机23捕获驾驶员的图像并输出。在车辆10中，根据驾驶员的图像检测驾驶员的视线和头部的位置。
这里，用于捕获驾驶员的图像的车内相机23可以被设置在除了仪表盘上的位置之外的任何位置处，诸如BM显示部21上方的位置P21。
<观察系统的配置的第一示例>
图3是示出包括在车辆10中的观察系统的配置的第一示例的框图。
观察系统包括参考图1和2描述的相机单元11、BM显示部21和RV显示部22。
相机单元11包括光学系统31、图像传感器32、数据量调整器33、输出部34、获取部35和控制器36。
光学系统31包括诸如聚光器和光圈等的光学部件，并且将进入光学系统31的光收集到图像传感器32上。
图像传感器32接收来自光学系统31的光，并且执行光电转换以捕获的图像。然后，图像传感器32根据控制器36的控制，从图像捕获图像中提取BM图像和RV图像，并输出所读取的图像。将由图像传感器32输出的BM图像和RV图像提供给数据量调整器33。
数据量调整器33根据控制器36的控制，调整图像传感器32输出的BM图像和RV图像的数据量，并将各数据量经调整的BM图像和RV图像提供给输出部34。
输出部34是将BM图像和RV图像从数据量调整器33发送到相机单元11的外部的输出接口(IF)。输出部34将BM图像发送到BM显示部21，并将RV图像发送到RV显示部22。来自输出部34的BM图像根据BM显示部21的规格而显示在BM显示部21上，并且来自输出部34的RV图像根据RV显示部22的规格而显示在RV显示部22上。输出部34能够根据需要对BM图像和RV图像执行格式转换和其他图像处理。
获取部35从车辆10获取能够从车辆10获取的信息(以下也称为车辆信息)，并将所获取的车辆信息提供给控制器36。
这里，车辆信息的示例包括行驶信息、BM显示部21和RV显示部22的规格、车辆10的驾驶员的视线和头部的位置、陀螺仪信息。
行驶信息是表示车辆10的行驶状态的信息，并且具体而言，是表示车速和行驶方向(前进或后退)的信息。例如，当车辆10包括速度传感器时，可以从速度传感器的输出获取车辆速度。例如，可以从传动装置的状态获取行驶方向。
例如，BM显示部21和RV显示部22的规格是BM显示部21的分辨率和RV显示部22的分辨率，并且可以从BM显示部21和RV显示部22获取。
从由车内相机23捕获的图像获得车辆10的驾驶员的视线和头部的位置。
陀螺仪信息是指示车辆10的姿态(/车辆的倾斜角度)的信息。当车辆10包括陀螺仪时，可以从陀螺仪的输出获得陀螺仪信息。陀螺仪信息的使用使得可以识别车辆10是否在山坡上。
控制器36根据由获取部35提供的车辆信息控制图像传感器32和数据量调整器33。
换句话说，例如，控制器36根据车辆信息执行用于控制从由图像传感器32捕获的捕获图像中提取BM图像和RV图像的提取控制。此外，控制器36根据车辆信息执行用于控制调整由数据量调整器33执行的BM图像和RV图像的数据量的调整控制。
因此，可以说图像传感器32根据车辆信息从捕获图像中提取BM图像和RV图像，并且数据量调整器33根据车辆信息调整BM图像和RV图像的数据量。
<从捕获图像进行读取图像的读取的控制>
图4是描述由控制器36执行的从捕获图像中提取BM图像和RV图像的提取控制的示例的图。
关于光学系统31和由图像传感器32捕获的捕获图像之间的位置关系，捕获图像(图像传感器32的受光面)包括光学系统31(包括在其中的透镜)的图像圈，例如如图4所示。
在提取控制中，控制器36控制从图像传感器32读取数据(像素信号)，使得从捕获图像提取指定区域R11作为BM图像，指定区域R11是位于比在车辆10的正后方的区域更后方的区域出现的区域(如果内部后视镜安装在车辆10中，则使用内部后视镜观察的区域)。
此外，在提取控制中，控制器36控制从图像传感器32读取数据，使得从捕获图像(其中的图像圈中的图像)提取指定区域R12作为RV图像，指定区域R12是车辆10的后方和车辆10的正后方出现的区域。
图像传感器32根据控制器36的控制，从通过执行图像捕获而得到的图像捕获图像中读取与BM图像(的数据)对应的区域R11的数据(像素信号)，并且从捕获图像中读取与RV图像对应的区域R12的数据。
注意，区域R11和R12的大小可以根据BM显示部21和RV显示部22的规格来设置。
另外，在BM图像的提取控制中，控制器36根据驾驶员的视线的位置和头部的位置之一或两者，控制作为BM图像而提取的区域R11(的位置)。
换句话说，如果内部后视镜安装在车辆10中，则在使用内部后视镜驾驶员能够看到的图像中出现的范围将随着驾驶员移动他/她的视线或他/她的头部而改变。在BM图像的提取控制中，控制器36根据驾驶员的视线和头部的位置，改变作为BM图像而提取的区域R11的位置，使得驾驶员能够看到与当内部后视镜安装在车辆10中时能够观察到的图像中的范围类似的范围的BM图像。
另外，在BM图像的提取控制中，控制器36可以根据车辆信息中包括的陀螺仪信息，控制作为BM图像提取的区域R11。
图5是描述根据陀螺仪信息执行的提取BM图像(即区域R11)的控制的图。
这里，BM图像中的三维空间的范围被称为BM范围。此外，为了简化说明，假设驾驶员的视线和头部的位置是固定的。因此，假设从捕获图像中提取作为BM图像的区域R11(的位置)以及因此BM范围不会由于驾驶员移动他/她的视线或他/她的头部的位置而改变。
此外，假设当车辆10处于平坦道路上时，位于距车辆10指定距离后方的物体出现在BM图像中。
在这种情况下，当车辆10在上坡时，BM范围没有变化，但是与车辆10处于平坦道路时相比，安装在车辆10后部的相机单元11的光轴向下倾斜(朝向道路)。
因此，当车辆10处于平坦道路上时，位于距车辆10指定距离后方的、处于BM图像内并出现在BM图像中的物体不在BM范围内，并且当车辆10在上坡时，不出现在BM图像中。换句话说，当车辆10在平坦道路上时，位于车辆10后方指定距离的物体出现在BM图像中，而当车辆10在上坡时，该物体不出现在BM图像中。
在这种情况下，当车辆10在上坡上时，与车辆10在平坦道路上时相比，车辆10的驾驶员使用BM图像能够确认的道路上的后方范围更小。
因此，在BM图像的提取控制中，控制器36可以根据车辆信息中包括的陀螺仪信息，控制作为BM图像提取的区域R11。
换句话说，控制器36根据陀螺仪信息，在车辆10的前侧向上倾斜时，可以将作为BM图像提取的区域R11的位置变更为捕获图像中的上方位置。
因此，当车辆10处于平坦道路上时，位于车辆10后方指定距离处的物体出现在BM图像中。此外，当车辆10上坡时，可以防止BM图像中出现物体。注意，根据陀螺仪信息，在车辆10在下坡时，控制器36可以将作为BM图像提取的区域R11的位置改变为捕获图像中的较低位置。
<图像传感器32的配置的示例>
图6示出了图3的图像传感器32的配置的示例。
图像传感器32包括多个像素51、模数(AD)转换器和线存储器53。
多个像素51被布置在二维平面中。在图6中，多个像素51被以网格布置。垂直信号线(VSL)相对于以网格布置的像素51的每列布线，并且每列中的像素51连接到相对于该列布线的VSL。像素51将进入像素51的光转换为像素信号，该像素信号是与光量相对应的电信号。从像素51读取像素信号以输出到相对于该像素51的列布线的VSL。
例如，AD转换器52包括用于以网格布置的像素51的每列的AD转换器(ADC)(未示出)，该AD转换器负责对该列中的像素51的像素信号执行的AD转换。每列的ADC连接到相对于该列布线的VSL，并对从连接到VSL的像素51读取的像素信号执行AD转换。将已经由AD转换器52的ADC对其针对每列已执行AD转换的像素信号提供给线存储器53。
线存储器53在其中存储由AD转换器52提供的、包括在一行中的至多像素51的像素信号，并且在行方向上顺序地传送所存储的像素信号，以将像素信号输出到图像传感器32的外部。
这里，在图6中，从顶部起第y行中和从左侧起第x列中的像素51以及从像素51获得的像素信号在下文中也适当地分别由像素yx和像素信号yx表示。
捕获图像是由从图像传感器32的受光面的所有像素(有效像素)51获得的像素信号构成的图像。在图像传感器32中，当输出捕获图像时，从最上行A中的像素51开始，针对下行方向上的每行读取像素信号。
一行中的像素51的像素信号通过VSL被提供给AD转换器52。在AD转换器52中，同时对一行中的像素51的像素信号执行AD转换，并且提供已经执行AD转换的像素信号以存储在线存储器53中。
在线存储器53中，存储由AD转换器52提供的一行中的像素51的像素信号，并沿行方向顺序传送该信号，以将其读入图像传感器32的外部。
针对所有行的像素51执行上述处理，并且这导致将针对单个画面的捕获图像(的像素信号)读入图像传感器32的外部。
BM图像和RV图像对应于作为捕获图像的部分的区域(的图像)。因此，为了得到BM图像和RV图像，不需要从图像传感器32读取整个图像捕获图像，并且只要读取作为捕获图像的与BM图像和RV图像分别对应的部分的区域(的像素信号)即可。
这里，从图像传感器32读取整个捕获图像也称为完全读取，并且从图像传感器32读取作为捕获图像的部分的区域也称为部分读取。
在控制从图像传感器32读取数据以便从捕获图像中提取BM图像和RV图像的提取控制中，图像传感器32由控制器36控制以便执行部分读取。
例如，当对应于BM图像的区域R11由行d至h中的像素51中的列1至5中的像素51组成时，如图6所示，控制器36控制图像传感器32，使得读取行d至h中的像素51中的列1至5中的像素51的像素信号。
在这种情况下，在图像传感器32中，读取行d中的像素51的像素信号，通过AD转换器52对读取的像素信号执行AD转换，并且将已经执行AD转换的像素信号提供给线存储器53。然后，线存储器53在其中存储行d中的像素51的像素信号，该像素信号是已经执行AD转换的像素信号。然后，在线存储器53中，行d中的像素51中的行1至5中的像素51的像素信号d1、d2、d3、d4和d5被顺序传送以被读取到图像传感器32的外部。
在线存储器53中传送行d中的像素51中的行1至5的像素51的像素信号d1至d5时，通过AD转换器52针对下一行e中的像素51的像素信号执行AD转换。之后，同样地将行d至h中的像素51中的列1至5中的像素51的像素信号读取到图像传感器32的外部。
如上所述，在图像传感器32中，部分读取使得可以从捕获图像中提取BM图像和RV图像。
注意，在图6中，采用单个ADC负责对单列中的像素51的像素信号进行AD转换的基于列并行的AD转换方式，作为AD转换器52执行的AD转换方法。然后，AD转换器52执行的AD转换方法不限于基于列并行的AD转换方式。例如，可以采用基于区域的AD转换方法作为由AD转换器52执行的AD转换的方式，在基于区域的AD转换方法中，单个ADC负责对包括信号像素或多个像素的区域中的像素51的像素信号执行的AD转换。
<图像传感器32可以输出的图像>
图7示出可以由图像传感器32输出的图像的示例。
这里，可以由图像传感器32输出的最高分辨率捕获图像被称为最高分辨率图像。例如，假设图像传感器32具有以60fps(帧每秒)或更大的(帧速率)输出分辨率(像素数量)Rmax的最高分辨率图像的能力。
这里，假设从最高分辨率图像中提取的最高分辨率BM图像(最大像素数的BM图像)的分辨率RBM等于或小于最高分辨率图像的分辨率Rmax的1/2。还假设从最高分辨率图像中提取的最高分辨率RV图像的分辨率RRV等于或小于BM图像的分辨率RBM。
在本实施例中，假设例如BM图像的分辨率RBM和RV图像的分辨率RRV的和RBM+RRV等于或小于最高分辨率图像的分辨率Rmax的1/2。在这种情况下，通过使用能够以60fps(以上)的分辨率Rmax输出最高分辨率图像的图像传感器32，能够以120fps输出分辨率RBM的BM图像和分辨率RRV的RV图像，BM图像和RV图像是通过部分地读取高分辨率图像而得到的。
<可用于车辆10中的数据传输的车辆传输带宽的示例>
图8是描述可以用于车辆10中的数据传输的车辆传输带宽的示例的图。
换句话说，图8是示出在不通过数据量调整器33调整数据量的情况下，可以由相机单元11输出的BM图像和RV图像的示例的图。
例如，相机单元11可以输出其中每个像素的位数(相对于亮度和色差中的每一个)为八的YUV 4:2:2格式的分辨率RBM的彩色图像作为BM图像。此外，例如，相机单元11可以输出每像素的位数是八的YUV 4:2:2格式的分辨率RRV的彩色图像作为RV图像。
将每像素的比特数为八的YUV 4:2:2格式的分辨率RBM的BM图像称为最高画质BM图像，并将每像素的比特数为八的YUV 4:2:2格式的分辨率RRV的RV图像称为最高画质RV图像。
在本实施例中，假设作为从相机单元11发送数据的带宽的车辆传输带宽是例如可以(实时)传输60fps的最高画质BM图像的两个画面的传输带宽。在本实施例中，可以传输60fps的最高画质的BM图像的两个画面的车辆传输带宽使得可以传输例如60fps的最高画质的RV图像的两个画面，因为RBM≥RRV。另外，车辆传输带宽使得能够例如传输合计两个画面，所述两个画面为60fps的最高画质的BM图像的单个画面和60fps的最高画质的RV图像的单个画面。
如参照图7和8所述，相机单元11能够以高达120fps输出最高画质的BM图像和最高画质的RV图像。
然而，在本实施例中，车辆传输带宽仅使得可以以60fps传输两个最高画质的BM图像(或RV图像)的画面。
车辆传输带宽的增加使得可以以120fps传输由相机单元11输出的最高画质的BM图像和最高画质的RV图像。然而，车辆传输带宽的增加导致观察系统的成本增加。
在本技术中，为了抑制观察系统的成本增加，相机单元11适当地调整BM图像和RV图像的数据量，以在车辆传输带宽中传输BM图像和RV图像。
<在车辆的传输带宽中能够传输60fps的最高画质的BM图像的两个画面时的BM图像和RV图像的数据量的调整控制>
图9是描述由控制器36执行的BM图像和RV图像的数据量调整控制的第一示例的图。
图9的A示出了当车辆10正在前进时以及正以为等于或大于第一速度阈值的速度的高速后退时执行的调整控制。
在这种情况下，控制器36执行作为数据量调整器33的控制的调整控制，以输出分辨率RBM为120fps的BM图像，并限制RV图像的输出。数据量调整器33根据控制器36的调整控制，调整来自图像传感器32的BM图像和RV图像的数据量，以输出分辨率RBM为120fps的BM图像，并限制RV图像的输出。
因此，在这种情况下，从相机单元11输出分辨率RBM为120fps的BM图像，而不从相机单元11输出RV图像。结果，分辨率RBM为120fps的BM图像被显示在BM显示部21上，并且RV图像不显示在RV显示部22上。
如上所述，在车辆10正在前进以及高速后退时，驾驶员能够使用分辨率RBM为120fps的BM图像、即高帧率的高分辨率BM图像，来确认比车辆10的正后方的区域更后方的区域。
注意，当车辆10正在前进以及正在高速后退时，不显示包括车辆10的正后方的区域的图像的RV图像。
此外，由相机单元11输出的分辨率RBM为120fps的BM图像可以在可以传输两个60fps的最高画质的BM图像(分辨率RBM)的画面的车辆传输带宽中传输。
这里，由数据量调整器33执行的调节图像数据量的数据量调整方法的示例，除了上述限制图像输出(不输出图像)的方法之外，还包括降低分辨率(像素数)的方法、降低灰度(每像素的位数)的方法、降低帧速率的方法以及使用指定的压缩编码方式的压缩方法等。
除了由数据量调整器33执行之外，通过控制器36执行诸如由图像传感器32执行的提取控制的控制，可以由图像传感器32执行数据量调整方法中的图像输出的限制、分辨率的降低、灰度的降低和帧速率的降低。
换句话说，可以通过控制器36控制从图像传感器32读取数据而不从像素51(图6)读取与RV图像相对应的像素信号来执行对图像输出的限制，诸如对RV图像输出的限制，从而限制从捕获图像中提取RV图像。当车辆10正在前进以及正在高速后退时，控制器36可以根据车辆信息来控制由图像传感器32执行的提取，使得限制从捕获图像中提取RV图像。当然，RV图像的输出也可以不受图像传感器32的限制，而受数据量调整器33的限制。
例如，通过由控制器36控制图像传感器32以便减少读取像素信号的像素51的数量，或者使得通过执行所谓的源极跟随器(SF)加法或浮动扩散(FD)加法等，进行用于将多个像素51的像素信号相加的像素组合，从而能够降低图像的分辨率。
例如，通过由控制器36控制图像传感器32以便由AD转换部52(图6)进行的AD转换所需的位数减少，从而能够降低灰度。
例如，可以通过由控制器36控制图像传感器32以便从像素51读取像素信号的速率或者由AD转换器52执行AD转换的速率减小来减小帧速率。
图9的B示出了当车辆10以中速后退时执行的调整控制，该中速是小于第一阈值并且等于或大于比第一阈值小的第二阈值的速度。
在这种情况下，控制器36执行作为数据量生成器133的控制的调整控制，以便输出分辨率RBMM为120fps的BM图像，并输出分辨率RRVM为30fps的RV图像，分辨率RBMM小于分辨率RBM，分辨率RRVM小于分辨率RRV。根据控制器36执行的调整控制，数据量调整器33调整来自图像传感器32的BM图像和RV图像的数据量，以便输出分辨率RBMM为120fps的BM图像，并输出分辨率RRVM为30fps的RV图像。
因此，在这种情况下，由相机单元11输出分辨率RBMM为120fps的BM图像和分辨率RRVM为30fps的RV图像。结果，分辨率RBMM为120fps的BM图像被显示在BM显示部21上，并且分辨率RRVM为30fps的RV图像被显示在RV显示部22上。
如上所述，在车辆10中速后退时，驾驶员能够使用分辨率RBMM为120fps的BM图像、即高帧率的中分辨率BM图像，来确认比车辆10的正后方的区域更后方的区域。此外，驾驶员可以使用分辨率RRVM为30fps的RV图像、即低帧速率的中等分辨率RV图像，来确认车辆10的正后方的区域。
注意，假设传输分辨率RRVM为30fps的RV图像所需的传输带宽等于或小于最大传输速率(这里，在不压缩分辨率RBM为120fps的BM图像的情况下传输BM图像所需的传输速率)和传输分辨率RBMM为120fps所需的传输速率(第一传输速率)之间的差值的传输带宽。
这里，当传输分辨率RRVM为30fps的RV图像所需的传输带宽不等于或小于最大传输速率和第一传输速率之间的差值的传输带宽时，BM图像和RV图像之一或二者可以由数据量调整器33压缩(压缩编码)，以便传输分辨率RRVM为30fps的RV图像所需的传输带宽等于或小于最大传输速率和第一传输速率之间的差值的传输带宽(使得分辨率RRVM的RV图像可以被传输)。例如，对于分辨率RRVM为120fps的BM图像，压缩(压缩编码)BM图像的一部分或全部。这导致能够减少BM图像的数据量。对于分辨率RRVM为30fps的RV图像，RV图像在维持彩色图像的状态下被压缩编码，或者被转换为要被压缩编码的黑白图像。由此，能够减少RV图像的数据量。
图9的C示出了当车辆10低速后退时执行的调整控制，该低速是小于比第一阈值小的第二阈值的速度。
在这种情况下，控制器36进行作为数据量生成器133的控制的调整控制，以便输出分辨率RBM为60fps的BM图像，并且输出分辨率RRV为60fps的RV图像。根据控制器36执行的调整控制，数据量调整器33调整来自图像传感器32的BM图像和RV图像的数据量，以便输出分辨率RBM为60fps的BM图像，并输出分辨率RRV为60fps的RV图像。
因此，在这种情况下，相机单元11输出分辨率RBM为60fps的BM图像和分辨率RRV为60fps的RV图像。由此，分辨率RBM为60fps的BM图像被显示在BM显示部21上，并且分辨率RRV为60fps的RV图像被显示在RV显示部22上。
如上所述，当车辆10以低速后退时，驾驶员可以使用分辨率RBM为60fps的BM图像、即中等帧速率的高分辨率BM图像，来确认比车辆10的正后方的区域更后方的区域。此外，驾驶员可以使用分辨率RRV为60fps的RV图像、即中等帧速率的高分辨率RV图像，来确认车辆10的正后方的区域。
车辆10以低速后退的情况例如是驾驶员将要停放车辆10的情况，并且重要的是确认从驾驶员观察时作为盲点的车辆10的正后方的区域。因此，与车辆10以高速或中速后退时相比，当车辆10以低速后退时，RV图像以更高的分辨率和更高的帧速率显示。这使得可以容易地确认盲点的区域并且根据盲点的状态容易地控制车辆。
注意，由相机单元11输出的分辨率RBM为60fps的BM图像和分辨率RRV为60fps的RV图像都可以在车辆传输带宽中传输，在该带宽中可以传输两个60fps的最高画质的BM图像的画面。
<在车辆的传输带宽中能够传输60fps的最高画质的BM图像的单个画面时的BM图像和RV图像的数据量的调整控制>
图10是描述由控制器36执行的BM图像和RV图像的数据量调整控制的第二示例的图。
这里，在BM图像和RV图像的数据量的调整控制的第二示例中，假设车辆传输带宽是其中例如可以传输(分辨率RBM为)60fps(或更大)的最高画质的BM图像的单个画面的传输带宽。
图10的A示出了当车辆10正在前进时以及正以高速后退时执行的调整控制，该高速是等于或大于第一速度阈值的速度。
在这种情况下，控制器36执行作为数据量调整器33的控制的调整控制，以便输出分辨率RBM为60fps(以上)的BM图像，并限制RV图像的输出。数据量调整器33根据控制器36执行的调整控制，调整来自图像传感器32的BM图像和RV图像的数据量，以输出分辨率RBM为60fps的BM图像，并限制RV图像的输出。
因此，在这种情况下，从相机单元11输出分辨率RBM为60fps的BM图像，并且不从相机单元11输出RV图像。因此，在BM显示部21上显示分辨率RBM为60fps的BM图像，并且不在RV显示部22上显示RV图像。
如上所述，当车辆10正在前进时以及正在高速后退时，驾驶员可以使用分辨率RBM为60fps的BM图像、即中等帧速率的高分辨率BM图像，来确认位于比车辆10的正后方的区域更后方的区域。
注意，当车辆10正在前进时以及正在高速后退时，不显示包括车辆10的正后方的区域的图像的RV图像，如参照图9的A所述。
此外，由相机单元11输出的分辨率RBM为60fps的BM图像可以在车辆传输带宽中传输，在该车辆传输带宽中可以传输(分辨率RBM为)60fps的最高画质的BM图像的单个画面。
图10的B示出了当车辆10以中速后退时执行的调整控制，该中速是小于第一阈值并且等于或大于比第一阈值小的第二阈值的速度。
在这种情况下，控制器36执行作为数据量生成器133的控制的调整控制，以便输出分辨率RBMM为60fps的BM图像，并输出分辨率RRVM为30fps的RV图像，分辨率RBMM小于分辨率RBM，分辨率RRVM小于分辨率RRV。根据控制器36执行的调整控制，数据量调整器33调整来自图像传感器32的BM图像和RV图像的数据量，以便输出分辨率RBMM为60fps的BM图像，并输出分辨率RRVM为30fps的RV图像。
因此，在这种情况下，相机单元11输出分辨率RBMM为60fps的BM图像和分辨率RRVM为30fps的RV图像。结果，分辨率RBMM为60fps的BM图像显示在BM显示部21上，并且分辨率RRVM为30fps的RV图像显示在RV显示部22上。
如上所述，当车辆10以中速后退时，驾驶员可以使用分辨率RBMM为60fps的BM图像、即中等帧速率的中等分辨率BM图像，来确认比车辆10的正后方的区域更后方的区域。此外，驾驶员可以使用分辨率RRVM为30fps的RV图像、即低帧速率的中等分辨率RV图像，来确认车辆10的正后方的区域。
注意，在传输由相机单元11输出的分辨率RBMM为60fps的BM图像和分辨率RRVM为30fps的RV图像两者所需的传输带宽(以下，也称为必要传输带宽)不在能够传输60fps的最高画质的BM图像的单个画面的车辆传输带宽内的情况下，可以以中速用第一压缩率对BM图像进行压缩，并且以提供比中速用第一压缩率高的中速用第二压缩率维持彩色图像的状态下对RV图像进行压缩，或者将RV图像变换为黑白图像，以中速用第二压缩率进行压缩，以使必要传输带宽在车辆传输带宽内。
图10的C示出了当车辆10以低速后退时执行的调整控制，该低速是小于比第一阈值小的第二阈值的速度。
在这种情况下，控制器36执行作为数据量生成器133的控制的调整控制，以便输出分辨率RBML为60fps的BM图像，并且输出分辨率RRVM为30fps的RV图像，分辨率RBML小于分辨率RBMM。根据控制器36执行的调整控制，数据量调整器33调整来自图像传感器32的BM图像和RV图像的数据量，以输出分辨率RBML为60fps的BM图像，并输出分辨率RRVM为30fps的RV图像。
因此，在这种情况下，由相机单元11输出分辨率RBML为60fps的BM图像和分辨率RRV为30fps的RV图像。结果，分辨率RBML为60fps的BM图像被显示在BM显示部21上，并且分辨率RRVM为30fps的RV图像被显示在RV显示部22上。
如上所述，当车辆10低速后退时，驾驶员可以使用分辨率RBML为60fps的BM图像、即中等帧速率的低分辨率BM图像，来确认比车辆10的正后方的区域更后方的区域。此外，驾驶员可以使用分辨率RRVM为30fps的RV图像，即低帧速率的中等分辨率RV图像，来确认车辆10的正后方的区域。
注意，当传输由相机单元11输出的分辨率RBML为60fps的BM图像和分辨率RRVM为30fps的RV图像所需的必要传输带宽不在可以传输60fps的最高画质的BM图像的单个画面的车辆传输带宽内时，可以以低速用第一压缩率压缩BM图像，并且可以以提供比低速用第一压缩率更高的压缩率的低速用第二压缩率来压缩RV图像(在保留彩色图像的状态下)，从而使得必要传输带宽在车辆传输带宽内。
这里，可以采用比中速用第一压缩率提供更高的压缩的比率作为低速用第一压缩率。可以采用相同的压缩率作为中速用第二压缩率和低速用第二压缩率。在这种情况下，低速用第一压缩率和第二压缩率与中速用第一压缩率和第二压缩率之间的关系如下：低速用第二压缩率＝中速用第二压缩率>低速用第一压缩率>中速用第一压缩率。然而，这里，假设表现出较大值的压缩率提供较高的压缩。以下是分别通过以低速用第一压缩率进行压缩、通过以低速用第二压缩率进行压缩、通过以中速用第一压缩率进行压缩、以及通过以中速用第二压缩率进行压缩而获得的数据量之间的关系：通过以低速用第二压缩率进行压缩而获得的数据量＝通过以中速用第二压缩率进行压缩而获得的数据量<通过以低速用第一压缩率进行压缩而获得的数据量<通过以中速用第一压缩率进行压缩而获得的数据量。
以上，描述了根据车辆10的车速和行驶方向(前进或后退)来调整BM图像和RV图像的数据量的调整控制。调整控制方法不限于图9和图10中描述的方法。换句话说，可以根据例如车辆传输带宽、图像传感器32的能力、BM显示部21和RV显示部22的规格等适当地设置调整控制方法。数据量分别与显示的BM图像和RV图像的画质相关。因此，可以说BM图像的画质和RV图像的画质根据车辆10的车速和行驶方向(前进或后退)而变化。
另外，在调整控制中，通过减少BM图像和RV图像所包含的像素数，或者不改变像素数而(不可逆地)压缩BM图像和RV图像，从而能够降低BM图像的分辨率和RV图像的分辨率。
当通过压缩BM图像和RV图像来降低BM图像的分辨率和RV图像的分辨率时，作为压缩BM图像和RV图像的压缩比率，可以采用使通过进行压缩和解压缩而得到的、丢失了诸如高频分量的频率分量的一部分的BM图像和RV图像均具有与参照图9或图10描述的分辨率(像素数)相等的程度的分辨率(最高频率分量)的压缩率。
<显示处理>
图11是描述在图3的观察系统中执行的显示BM图像和RV图像的显示处理的示例的流程图。
在步骤S11中，图像传感器32对捕获图像进行捕获，并且处理移动到步骤S12。
在步骤S12中，获取部35从车辆10获取车辆信息，并将该车辆信息提供给控制器36。然后，处理进行到步骤S13。
在步骤S13中，控制器36根据来自获取部35的车辆信息控制图像传感器32进行的提取。图像传感器32根据控制器36进行的提取控制从捕获图像中提取BM图像和RV图像。然而，图像传感器32将BM图像和RV图像提供给数据量调整器33，并且处理从步骤S13进入步骤S14。
在步骤S14中，控制器36根据来自获取部35的车辆信息，控制数据量调整器33执行的调整。数据量调整器33根据由控制器36执行的调整控制，调整来自图像传感器32的BM图像和RV图像的数据量。然而，数据量调整器33将各数据量经调整的BM图像和RV图像输出到输出部34，并且处理从步骤S14进入步骤S15。
在步骤S15中，输出部34将从数据量调整器33提供的数据量经调整的BM图像和RV图像输出到相机单元11的外部，将BM图像传输到BM显示部21，并将RV图像传输到RV显示部22。然后，处理进入步骤S16。
在步骤S16中，BM显示部21根据BM显示部21的规格显示来自输出部34的BM图像，并且RV显示部22根据RV显示部22的规格显示来自输出部34的RV图像。
<观察系统的配置的第二示例>
图12是示出包括在车辆10中的观察系统的配置的第二示例的框图。
注意，在图中，与图3中的部分对应的部分由与图3相同的附图标记表示，并且下面省略其描述。
在图12中，观察系统包括相机单元11、BM显示部21和RV显示部22，并且相机单元11包括光学系统31、图像传感器32、数据量调整器33、输出部34、获取部35、控制器36和存储器71。
因此，图12的观察系统与图3的观察系统的相似之处在于包括相机单元11、BM显示部21和RV显示部22，并且在于相机单元11包括从光学系统31到控制器36的组件。
然而，图12的观察系统与图3的观察系统的不同之处在于相机单元11新包括存储器71。
在图12的观察系统中，图像传感器32将最高分辨率图像(最高分辨率捕获图像)提供给存储器71，并且存储器71在其中存储来自图像传感器32的最高分辨率图像。然后，控制器36执行从存储器71读取数据(像素信号)的控制作为提取控制，该控制是相对于存储器71而不是相对于图像传感器32。这导致从最高分辨率图像提取BM图像和RV图像，如图3的情况。
从最高分辨率图像中提取并存储在存储器71中的BM图像和RV图像被提供给数据量调整器33。
注意，关于在车辆10前进时以及高速后退时执行的RV图像的输出限制，如参照图9的A和图10的A所述，在图12的观察系统中，除了由限制RV图像的输出的数据量调整器33进行RV图像的输出限制以外，还可以在从存储器71的提取控制中，限制从最高分辨率图像中提取RV图像(不读取RV图像)，由此执行RV图像的输出限制。
此外，在图12的观察系统中显示BM图像和RV图像的显示处理类似于参考图11描述的显示处理，因此省略其描述。
然而，在图12的观察系统中，在步骤S11中，图像传感器32对捕获图像进行捕获，然后将捕获图像存储在存储器71中。另外，在步骤S13中，控制器36根据来自获取部35的车辆信息，控制从存储器71而不从图像传感器32进行提取。这导致从存储在存储器71中的捕获图像中提取BM图像和RV图像。
<观察系统的配置的第三示例>
图13是示出包括在车辆10中的观察系统的配置的第三示例的框图。
注意，在图中，与图3中的部分对应的部分由与图3相同的附图标记表示，并且下面省略其描述。
在图13中，观察系统包括相机单元11、BM显示部21、RV显示部22和提取部82，并且相机单元11包括光学系统31、图像传感器32、数据量调整器33、输出部34、获取部35和控制器81。
因此，图13的观察系统与图3的观察系统的相似之处在于包括相机单元11、BM显示部21和RV显示部22，并且在于相机单元11包括从光学系统31到获取部35的组件。
然而，图13的观察系统与图3的观察系统的不同之处在于新包括提取部82，并且相机单元11包括控制器81而不是控制器36。
注意，提取部82可以设置在相机单元11内，尽管在图13中提取部82被设置在相机单元11的外部。
车辆信息由获取部35提供给控制器81。车辆信息的示例包括行驶信息、BM显示部21和RV显示部22的规格、以及陀螺仪信息。然而，在该示例中，由获取部35提供的车辆信息不包括驾驶员的视线和头部的位置。注意，车辆10的驾驶员的视线和头部的位置作为车辆信息的一部分被输入到提取部82。
与控制器36的情况相同，控制器81根据由获取部35提供的车辆信息，控制图像传感器32执行的提取和数据量调整器33执行的调整。
但是，在提取控制中，控制器81不是根据驾驶员的视线位置和头部位置的其中之一或两者来控制作为BM图像而提取的区域R11(的位置)，而是根据驾驶员的视线位置和头部位置的其中之一或两者来使在尺寸上大于区域R11的区域作为BM图像被提取。
因此，由图13中的输出部34输出的BM图像在尺寸上大于由图3和12中的输出部34输出的BM图像。
在图13中，将尺寸大于输出部34输出的区域R11的BM图像提供给提取部82。
除了由输出部34将尺寸大于区域R11的BM图像提供给提取部82之外，还将车辆信息中的驾驶员的视线和头部的位置提供给提取部82。
提取部82根据驾驶员的视线位置和头部位置的其中之一或两者，提取作为来自输出部34的BM图像中的尺寸比区域R11大的部分的区域、即与区域R11相同尺寸的区域，作为要在BM显示部21上显示的最终BM图像，并将该BM图像提供给BM显示部21。
<从捕获图像提取BM图像和RV图像的控制>
图14是描述由控制器81进行的从图像捕获图像中提取BM图像和RV图像的控制的示例的图。
与图4的情况一样，图14示出光学系统31的图像圈和由图像传感器32(图像传感器32的受光面)捕获的捕获图像。
在提取控制中，控制器81控制从图像传感器32读取数据，使得区域R12被提取为RV图像，如在控制器36的情况下。
此外，在提取控制中，控制器81控制从图像传感器32读取数据，使得不是从捕获图像提取区域R11而是提取尺寸大于区域R11的区域R31作为BM图像。
如果内部后视镜安装在车辆10中，则区域R31是包括驾驶员通过移动他/她的视线或他/她的头部而使用内部后视镜能够看到的最大范围的区域。区域R11是位置根据驾驶员的视线和头部的位置而改变的可变区域，而区域R31是固定区域。
提取部82从上述区域R31中提取位于与驾驶员的视线和头部的位置之一或两者对应的位置且具有与区域R11相同大小的区域作为最终BM图像显示在BM显示部21上。换言之，提取部82从区域R31中提取在车辆10上设置了内部后视镜的情况下驾驶员使用内部后视镜观察到的区域R11作为BM图像。
<显示处理>
图15是描述在图13的观察系统中执行的显示BM图像和RV图像的显示处理的示例的流程图。
在步骤S21中，图像传感器32对捕获图像进行捕获，并且处理进行到步骤S22。
在步骤S22中，获取部35从车辆10获取车辆信息，并将该车辆信息提供给控制器36。然后，处理进行到步骤S23。
在步骤S23中，控制器36控制图像传感器32执行的提取。如参照图14所述，根据由控制器36执行的提取控制，图像传感器32从捕获图像中提取区域R31和R12分别作为BM图像和RV图像。然后，图像传感器32将BM图像和RV图像提供给数据量调整器33，并且处理从步骤S23继续进行到步骤S24。
在步骤S24中，控制器36根据来自获取部35的车辆信息，控制数据量调整器33进行的调整。数据量调整器33根据控制器36进行的调整控制，调整来自图像传感器32的BM图像和RV图像的数据量。然后，数据量调整器33将各数据量经调整的BM图像和RV图像输出到输出部34，并且处理从步骤S24进入步骤S25。
在步骤S25中，输出部34将从数据量调整器33提供的各数据量已被调整的BM图像和RV图像输出到相机单元11的外部，并且处理进入步骤S26。因此，在图13中，BM图像被提供给提取部82，并且RV图像被传输到RV显示部22。
在步骤S26中，提取部82从车辆10获取车辆信息中包括的驾驶员的视线和头部的位置，然后处理进行到步骤S27。
在步骤S27中，提取部82从来自输出部34的BM图像中提取位于与驾驶员的视线和头部的位置对应的位置且与区域R11具有相同大小的区域，作为要显示在BM显示部21上的最终BM图像.然后，提取部82将该最终BM图像传输到BM显示部21，并且处理从步骤S27进入步骤S28。
在步骤S28中，BM显示部21根据BM显示部21的规格显示来自提取部82的BM图像，并且RV显示部22根据RV显示部22的规格显示来自输出部34的RV图像。
<观察系统的配置的第四示例>
图16是示出包括在车辆10中的观察系统的配置的第四示例的框图。
注意，在图中，与图12或13中的部分对应的部分由与图12或13相同的附图标记表示，并且下面省略其描述。由获取部35取得的车辆信息的示例包括行驶信息、BM显示部21和RV显示部22的规格以及陀螺仪信息。注意，车辆10的驾驶员的视线和头部的位置作为车辆信息的一部分被输入到提取部82。
在图16中，观察系统包括相机单元11、BM显示部21、RV显示部22和提取部82，并且相机单元11包括光学系统31、图像传感器32、数据量调整器33、输出部34、获取部35、存储器和控制器81。
因此，图16的观察系统与图13的观察系统的相似之处在于包括相机单元11、BM显示部21、RV显示部22和提取部82，并且在于相机单元11包括从光学系统31到获取部35的组件以及控制器81。
然而，图16的观察系统与图13的观察系统的不同之处在于新包括图12的存储器71。
在图16的观察系统中，执行与在图13的观察系统中执行的处理类似的处理，除了存储器71在其中存储来自图像传感器32的最高分辨率图像(最高分辨率捕获图像)，并且与图12的观察系统的情况一样，相对于存储器71而不是相对于图像传感器32执行提取控制。
<应用了本技术的计算机的描述>
接着，可以使用硬件或软件来执行上述由控制器36和81、数据量调整器33以及提取部82执行的一系列处理。当使用软件执行一系列处理时，包括在软件中的程序被安装在例如通用计算机上。
图17是示出其上安装用于执行上述一系列处理的程序的计算机的实施例的配置的示例的框图。
该程序可以预先记录在作为计算机中所包括的记录介质的硬盘905或只读存储器(ROM)903中。
或者，程序可以存储(记录)在由驱动器909驱动的可移除记录介质911中。这种可移除记录介质911可以作为所谓的软件包来提供。这里，可移除记录介质911的示例包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘和半导体存储器。
注意，除了从上述可移除记录介质911安装到计算机上之外，程序还可以通过通信网络或广播网络下载到计算机，以安装在计算机中包括的硬盘905上。换句话说，例如，程序可以从下载站点通过用于数字卫星广播的卫星无线地传送到计算机，或者可以通过诸如局域网(LAN)或因特网的网络有线地传送到计算机。
计算机包括中央处理单元(CPU)902，并且输入/输出接口910通过总线901连接到CPU 902。
当用户通过输入/输出接口910操作输入部907而输入命令时，CPU 902根据输入命令执行存储在ROM 903中的程序。或者，CPU902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904中并执行该程序。
这导致CPU 902执行根据上述流程图的处理或者基于上述框图的配置执行的处理。然后，例如，根据需要，CPU 902使用输出部906输出处理结果，或者通过输入/输出接口910使用通信部908传输处理结果，并且CPU 902还将处理结果记录在硬盘905中。
注意，输入部907包括例如键盘、鼠标和麦克风。此外，输出部906包括例如液晶显示器(LCD)和扬声器。
这里，在本说明书中，由计算机根据程序执行的处理不必按照流程图中的描述的顺序按时间顺序执行。换句话说，由计算机根据程序执行的处理包括并行或单独执行的处理(例如，并行处理或使用对象执行的处理)。
此外，程序可以是由单个计算机(处理器)对其执行处理的程序，或者可以是由多个计算机对其执行分布式处理的程序。此外，程序可以被传送到远程计算机以由远程计算机执行。
此外，如本文所使用的系统是指多个组件(诸如装置和模块(部件))的集合，并且所有组件是否在单个壳体中并不重要。因此，容纳在单独的壳体中并经由网络彼此连接的多个装置以及其中多个模块容纳在单个壳体中的单个装置都是该系统。
注意，本技术的实施例不限于上述示例，并且在不脱离本技术的范围的情况下可以对其进行各种修改。
例如，本技术还可以具有云计算的配置，其中，单个功能被共享以由多个装置经由网络协作地处理。
此外，除了由单个装置执行之外，使用上述流程图描述的各个步骤可以由多个装置共享执行。
此外，当单个步骤包括多个处理时，除了由单个装置执行之外，包括在单个步骤中的多个处理可以被共享以由多个装置执行。
注意，这里描述的效果不是限制性的，而仅仅是说明性的，并且可以提供其他效果。
注意，本技术可以采用以下配置。
(1)一种图像捕获装置，包括：
图像传感器，其执行图像捕获；
控制器，其执行用于从由图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上；以及
数据量调整器，其根据从车辆获取的车辆信息来调整第一图像的数据量和第二图像的数据量。
(2)根据(1)所述的图像捕获装置，其中，
所述控制器执行从图像传感器读取数据的控制作为提取控制。
(3)根据(1)所述的图像捕获装置，其中，
所述控制器执行从存储部读取数据的控制作为提取控制，所述存储部存储由图像传感器输出的捕获图像。
(4)根据(1)至(3)中任一项所述的图像捕获装置，其中，
所述控制器根据车辆信息执行提取控制。
(5)根据(4)所述的图像捕获装置，其中，
所述车辆信息包括车辆的行驶方向，以及
当车辆的行驶方向是前进方向时，所述控制器限制从捕获图像提取第二图像。
(6)根据(4)所述的图像捕获装置，其中，
所述车辆信息包括车辆的驾驶员的视线的位置或头部的位置，以及
所述控制器根据车辆的驾驶员的视线的位置或头部的位置，控制从捕获图像中作为第一图像提取的区域。
(7)根据(1)至(6)中任一项所述的图像捕获装置，其中，
所述数据量调整器通过限制第二图像的输出来调整第二图像的数据量。
(8)根据(1)至(7)中任一项所述的图像捕获装置，其中，
所述数据量调整器通过压缩第一图像来调整第一图像的数据量，或者通过压缩第二图像来调整第二图像的数据量。
(9)根据(1)至(3)中任一项所述的图像捕获装置，还包括
提取部，其根据车辆的驾驶员的视线的位置或头部的位置，提取第一图像的部分的区域作为要在第一显示图像上显示的图像。
(10)根据(1)至(9)中任一项所述的图像捕获装置，其中，
所述车辆信息包括车辆的行驶方向或车辆速度。
(11)根据(1)至(10)中任一项所述的图像捕获装置，其中，
所述第一显示部是作为I类镜的替代的显示部。
(12)根据(1)至(11)中任一项所述的图像捕获装置，其中，
第一图像是位于比车辆的正后方的区域更后方的区域的图像。
(13)根据(1)至(12)中任一项所述的图像捕获装置，其中，
第二图像是车辆的正后方的区域的图像。
(14)一种图像处理方法，包括：
执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上；以及
根据从车辆获取的车辆信息调整第一图像的数据量和第二图像的数据量。
(15)一种使计算机作为控制器和数据量调整器发挥功能的程序，
所述控制器执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上，
所述数据量调整器根据从车辆获取的车辆信息调整第一图像的数据量和第二图像的数据量。
附图标记列表
10 车辆
11 相机单元
21 BM显示部
22 RV显示部
23 车内相机
31 光学系统
32 图像传感器
33 数据量调整器
34 输出部
35 获取部
36 控制器
51 像素
52 AD转换器
53 线存储器
71 存储器
81 控制器
82 提取部
901 总线
902 CPU
903 ROM
904 RAM
905 硬盘
906 输出部
907 输入部
908 通信部
909 驱动器
910 输入/输出接口
911 可移除记录介质。

Claims (15)

1.一种图像捕获装置，包括：
图像传感器，其执行图像捕获；
控制器，其执行用于从由图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上；以及
数据量调整器，其根据从车辆获取的车辆信息来调整第一图像的数据量和第二图像的数据量。
2.根据权利要求1所述的图像捕获装置，其中，
所述控制器执行从图像传感器读取数据的控制作为提取控制。
3.根据权利要求1所述的图像捕获装置，其中，
所述控制器执行从存储部读取数据的控制作为提取控制，所述存储部存储由图像传感器输出的捕获图像。
4.根据权利要求1所述的图像捕获装置，其中，
所述控制器根据车辆信息执行提取控制。
5.根据权利要求4所述的图像捕获装置，其中，
所述车辆信息包括车辆的行驶方向，以及
当车辆的行驶方向是前进方向时，所述控制器限制从捕获图像提取第二图像。
6.根据权利要求4所述的图像捕获装置，其中，
所述车辆信息包括车辆的驾驶员的视线的位置或头部的位置，以及
所述控制器根据车辆的驾驶员的视线的位置或头部的位置，控制从捕获图像中作为第一图像提取的区域。
7.根据权利要求1所述的图像捕获装置，其中，
所述数据量调整器通过限制第二图像的输出来调整第二图像的数据量。
8.根据权利要求1所述的图像捕获装置，其中，
所述数据量调整器通过压缩第一图像来调整第一图像的数据量，或者通过压缩第二图像来调整第二图像的数据量。
9.根据权利要求1所述的图像捕获装置，还包括
提取部，其根据车辆的驾驶员的视线的位置或头部的位置，提取第一图像的部分的区域作为要在第一显示图像上显示的图像。
10.根据权利要求1所述的图像捕获装置，其中，
所述车辆信息包括车辆的行驶方向或车辆速度。
11.根据权利要求1所述的图像捕获装置，其中，
所述第一显示部是作为I类镜的替代的显示部。
12.根据权利要求1所述的图像捕获装置，其中，
第一图像是位于比车辆的正后方的区域更后方的区域的图像。
13.根据权利要求1所述的图像捕获装置，其中，
第二图像是车辆的正后方的区域的图像。
14.一种图像处理方法，包括：
执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上；以及
根据从车辆获取的车辆信息调整第一图像的数据量和第二图像的数据量。
15.一种使计算机作为控制器和数据量调整器发挥功能的程序，
所述控制器执行用于从由执行图像捕获的图像传感器捕获的捕获图像中提取第一图像和第二图像的提取控制，第一图像被显示在第一显示部上，第二图像被显示在第二显示部上，
所述数据量调整器根据从车辆获取的车辆信息调整第一图像的数据量和第二图像的数据量。
CN201980070024.5A 2018-10-31 2019-10-18 图像捕获装置、图像处理方法和记录介质 Active CN113039778B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-204836 2018-10-31
JP2018204836 2018-10-31
PCT/JP2019/041036 WO2020090511A1 (ja) 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN113039778A true CN113039778A (zh) 2021-06-25
CN113039778B CN113039778B (zh) 2024-01-02

Family

ID=70461837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980070024.5A Active CN113039778B (zh) 2018-10-31 2019-10-18 图像捕获装置、图像处理方法和记录介质

Country Status (5)

Country Link
US (1) US11722645B2 (zh)
EP (1) EP3876516A4 (zh)
JP (1) JP7282798B2 (zh)
CN (1) CN113039778B (zh)
WO (1) WO2020090511A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722645B2 (en) 2018-10-31 2023-08-08 Sony Group Corporation Image-capturing apparatus, image processing method, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7434730B2 (ja) * 2019-06-14 2024-02-21 マツダ株式会社 車両用情報表示装置及び車両用制御装置
KR20210130330A (ko) * 2020-04-21 2021-11-01 삼성전자주식회사 호스트 차량을 제어하는 전자 장치 및 이의 동작 방법
WO2023006832A1 (en) * 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110193961A1 (en) * 2010-02-10 2011-08-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US20160137126A1 (en) * 2013-06-21 2016-05-19 Magna Electronics Inc. Vehicle vision system
US20160263997A1 (en) * 2013-12-03 2016-09-15 Fujitsu Limited Apparatus and method for controlling display
US20170249842A1 (en) * 2014-05-12 2017-08-31 Lg Electronics Inc. Vehicle and control method thereof
CN107848465A (zh) * 2015-05-06 2018-03-27 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US20180249066A1 (en) * 2016-04-27 2018-08-30 JVC Kenwood Corporation In-vehicle display control device, in-vehicle display system, in-vehicle display control method, and program
CN109076163A (zh) * 2016-04-27 2018-12-21 索尼公司 成像控制装置、成像控制方法以及成像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312300A (ja) 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JPH11312301A (ja) 1998-04-28 1999-11-09 Hitachi Ltd 磁気ディスクメモリ装置
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
JP2006254318A (ja) 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2008077119A2 (en) * 2006-12-19 2008-06-26 Ortiva Wireless Intelligent video signal encoding utilizing regions of interest information
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
KR102344171B1 (ko) 2016-07-13 2021-12-29 소니그룹주식회사 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP2018012439A (ja) * 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置
CN107666467B (zh) 2016-07-29 2020-11-06 华为技术有限公司 资源分配方法、设备和系统
WO2020090512A1 (ja) 2018-10-31 2020-05-07 ソニー株式会社 撮影装置、制御方法、及び、プログラム
CN113039778B (zh) 2018-10-31 2024-01-02 索尼集团公司 图像捕获装置、图像处理方法和记录介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110193961A1 (en) * 2010-02-10 2011-08-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US20160137126A1 (en) * 2013-06-21 2016-05-19 Magna Electronics Inc. Vehicle vision system
US20160263997A1 (en) * 2013-12-03 2016-09-15 Fujitsu Limited Apparatus and method for controlling display
US20170249842A1 (en) * 2014-05-12 2017-08-31 Lg Electronics Inc. Vehicle and control method thereof
CN107848465A (zh) * 2015-05-06 2018-03-27 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
US20180249066A1 (en) * 2016-04-27 2018-08-30 JVC Kenwood Corporation In-vehicle display control device, in-vehicle display system, in-vehicle display control method, and program
CN109076163A (zh) * 2016-04-27 2018-12-21 索尼公司 成像控制装置、成像控制方法以及成像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722645B2 (en) 2018-10-31 2023-08-08 Sony Group Corporation Image-capturing apparatus, image processing method, and program
CN113039778B (zh) * 2018-10-31 2024-01-02 索尼集团公司 图像捕获装置、图像处理方法和记录介质

Also Published As

Publication number Publication date
JPWO2020090511A1 (ja) 2021-10-14
EP3876516A4 (en) 2021-12-15
CN113039778B (zh) 2024-01-02
WO2020090511A1 (ja) 2020-05-07
EP3876516A1 (en) 2021-09-08
US11722645B2 (en) 2023-08-08
US20210400241A1 (en) 2021-12-23
JP7282798B2 (ja) 2023-05-29

Similar Documents

Publication Publication Date Title
CN113039778B (zh) 图像捕获装置、图像处理方法和记录介质
US7027616B2 (en) Monitoring system
US10462372B2 (en) Imaging device, imaging system, and imaging method
US5465119A (en) Pixel interlacing apparatus and method
KR101091217B1 (ko) 화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체
US7932934B2 (en) Image processing method and imaging apparatus using the same
KR20100103338A (ko) 데이터 처리 장치, 데이터 처리 방법 및 기억 매체
CN112956183B (zh) 图像拍摄设备、控制方法和记录程序的介质
EP1460837B1 (en) Digital still camera
EP2501134B1 (en) Image processor and image processing method
JP5872171B2 (ja) カメラシステム
KR101552070B1 (ko) 영상 신호 전송 방법 및 장치
KR102494123B1 (ko) 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
EP2495972A1 (en) Monitoring device and method for monitoring a location
JP6218494B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6557568B2 (ja) 撮像装置
JP2005109725A (ja) 映像監視システム
JPH10112866A (ja) 画像処理装置及び方法
JP2002199394A (ja) 動画処理システムおよび動画処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant