CN107135386A - 一种双目摄像机系统 - Google Patents

Abstract

本发明公开一种双目摄像机系统，以解决现有技术中双目摄像机在拍摄过程中无法适应不同拍摄环境从而导致拍摄得到的图像质量较差的问题。本发明双目摄像机系统包括：双目摄像机，用于采集图像；图像传输装置，用于将双目摄像机采集的双目图像传输至图像处理装置；图像处理装置，用于对接收到的双目图像进行图像处理；以及，根据所述双目图像确定拍摄环境，并根据拍摄环境调整所述双目摄像机的相机参数。本发明提供的双目摄像机系统能够在拍摄过程中不断调整相机参数以适应不同拍摄环境，从而使得在不同拍摄环境中均可拍摄得到质量佳的图像。

Description

一种双目摄像机系统

技术领域

本发明涉及图像处理领域，特别涉及一种双目摄像机系统。

背景技术

立体视觉是机器视觉应用中的重要组成部分，立体视觉使机器具有通过二维图像认知三维环境信息的能力，这种能力不仅使机器能够感知三维环境中的物体的几何信息(例如形状、位置、姿态、运动状态等)，而且还能够对物体进行描述、存储、识别与理解，以满足特定的需求。

目前，在自动驾驶领域，主要是通过在车辆上安装双目摄像机来实现立体视觉，双目摄像机的工作原理如图1所示：假设P为目标点，A、B为两个摄像机的镜头中心，E、F为摄像机A、B的成像点，则P点在A、B两个摄像机中的视差d＝EC+DF，根据公式z＝fq/d即可得到目标点与双目相机平面的距离，该公式中f为相机焦距、q为两个摄像机光轴的间距、z为目标点到两个摄像机的平面的距离，采用该双目摄像机即可计算出目标物体到两个摄像机的平面的距离，即实现了双目测距功能。

然而，在车载端设置双目摄像机进行视频拍摄的过程中，由于拍摄环境较为复杂，存在拍摄环境明暗差异较大情况(例如车辆进出隧道、桥洞等)，如果一直采用固定的相机参数进行拍摄，将可能会导致部分图像太亮或太暗，从而导致拍摄得到的图像质量较差。

发明内容

鉴于上述问题，本发明提供一种双目摄像机系统，使用该双目摄像机系统进行拍摄的过程中能够及时调整摄像机相机参数以适用于各种拍摄环境，以实现在各种拍摄环境下均能拍摄得到质量较佳的图像。

一种双目摄像机系统，包括：

双目摄像机，用于采集图像；

图像传输装置，用于将双目摄像机采集的双目图像传输至图像处理装置；

图像处理装置，用于对接收到的双目图像进行图像处理；以及，根据所述双目图像确定拍摄环境，并根据拍摄环境调整所述双目摄像机的相机参数。

本发明技术方案提供的双目摄像机系统中，图像处理装置不仅能够实现对双目图像进行图像处理，并且还能够根据双目图像确定当前拍摄环境，并根据当前拍摄环境调整双目摄像机的相机参数，以使得调整相机参数之后的双目摄像机适用于当前拍摄环境，从而实现在拍摄过程中不断调整相机参数以适应不同拍摄环境的目的。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为双目摄像机实现双目测距的原理图；

图2为本发明实施例中双目摄像机系统的结构示意图之一；

图3为本发明实施例中双目摄像机系统的结构示意图之二；

图4为本发明实施例中双目摄像机系统的结构示意图之三；

图5为本发明实施例中第一滤波电路的结构示意图；

图6为本发明实施例中第二滤波电路的结构示意图；

图7为本发明实施例中双目摄像机系统的结构示意图之四；

图8为本发明实施例中对双目图像进行处理得到不同图像数据格式的图像的示意图；

图9为本发明实施例中双目摄像机系统的一种具体实例；

图10为本发明实施例中配置MAX9271、MAX9286和图形信号处理器之间的链路的设置列表。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

为便于本领域技术人员对本发明技术方案的理解，下面结合附图对本方案进行详细的描述。

参见图2，为本发明实施例中提供的双目摄像机系统的结构示意图，该双目摄像机系统包括双目摄像机1、图像传输装置2和图像处理装置3，其中：

双目摄像机1，用于采集图像。

双目摄像机1包括左目摄像机和右目摄像机。

图像传输装置2，用于将双目摄像机采集的双目图像传输至图像处理装置。

图像处理装置3，用于对接收到的双目图像进行图像处理；以及，根据所述双目图像确定当前拍摄环境，并根据当前拍摄环境调整所述双目摄像机的相机参数。

目前局限于现有的视频传输方式(例如USB(Universal Serial Bus，通用串行总线)传输、MII(Media Independent Interface，介质无关接口)/GMII(Gigabit MediaIndependent Interface，超高速介质无关接口)网线连接等)无法实时、快速的远距离传输高清图像，因此市面上的双目摄像机的光轴距离普遍较短，大约为15厘米，因此，采用该双目摄像机进行双目测距的距离有限。基于该问题，本发明技术方案改进双目图像的传输方式，即在图像传输装置实现对双目摄像机采集得到的图像进行编解码，无需在摄像机和图像处理装置进行编解码，从而提高了视频图像传输实时性，因此，双目摄像机的光轴距离不受限制，可以将双目摄像机之间的光轴距离设置较大，进而实现远距离双目测距的目的。

如图3为本发明实施例中图像传输装置2的结构示意图，该图像传输装置2包括：

编码单元21，用于将双目摄像机采集的双目图像分别转换成数据信号，并将数据信号进行编码后通过同轴电缆传输给解码单元22；

解码单元22，用于对接收到的数据信号进行解码，并将解码后的数据信号发送给所述图像处理装置3。

由于双目摄像机需要供电，因此，为进一步简化布线设计，本发明技术方案可通过一条同轴电缆同时传输电源信号和数据信号，因此，前述图像传输装置2还可进一步包括滤波单元23，如图4所示，其中：

滤波单元23，用于获取电源信号，并将所述电源信号与所述数据信号进行隔离后，通过所述同轴电缆将所述电源信号传输给所述编码单元21。

优选地，在一个具体实例中，所述滤波单元23包括分别设置在所述同轴电缆的两端的第一滤波电路和第二滤波电路，其中：

第一滤波电路，用于获取电源信号，并将电源信号与数据信号进行隔离后将电源信号加载到所述同轴电缆上；

第二滤波电路，用于从所述同轴电缆上分离电源信号，并将分离出的电源信号传输给所述编码单元21。

优选地，本发明实施例中，编码单元21可通过具有编码功能的芯片或元器件实现，例如MAX9271芯片、MAX96705芯片等，本申请不做严格限定。

优选地，本发明实施例中，解码单元22可通过具有解码功能的芯片或元器件实现，例如MAX9286芯片、MAX9272芯片等，本申请不做严格限定。

优选地，本发明实施例中，前述第一滤波电路的结构可如图5所示，第二滤波电路可如图6所示，图5和图6仅仅是一个具体示例，本领域技术人员可以根据图5和图6所示的电路进行变形。

优选地，在前述实施例中，图像处理装置3包括图形信号处理器31和微处理器32，如图7所示，其中：

图形信号处理器31，用于从图像传输装置2接收双目图像，并对所述双目图像进行图像处理，将处理后的双目图像发送给微处理器32；

微处理器32，用于根据接收到的双目图像确定当前拍摄环境，并根据所述当前拍摄环境调整所述双目摄像机1的相机参数。

优选地，所述微处理器32具体可通过以下步骤A1～步骤A2实现，其中：

步骤A1、根据接收到的双目图像的亮度信息确定当前拍摄环境；

步骤A2、从预存的拍摄环境与参数调整策略的第一对应关系中，确定所述当前拍摄环境对应的参数调整策略，并根据确定的参数调整策略调整所述双目摄像机的相机参数。

在该步骤A2中，根据确定的参数调整策略调整所述双目摄像机的相机参数，可通过但不仅限于以下方式实现：微处理器32根据确定的参数调整策略确定所述双目摄像机的目标相机参数，并控制所述图形信号处理器31根据所述目标相机参数对所述双目摄像机1的相机参数进行调整。

本发明实施例中，相机参数可包括但不仅限于以下一种或多种：色度、饱和度、亮度、锐化、曝光强度、增益、白平衡、高动态范围等。

本发明实施例中，参数调整策略可以直接是相应拍摄环境对应的各相机参数的取值/取值范围，还可以是对各相机参数进行调整的操作信息，本申请不做严格的限定。不管调整参数策略是何种形式，均要使得调整后的相机参数符合当前拍摄环境。

以几个具体实例描述，当拍摄环境为黑暗环境时，则对应的参数调整策略为增大双目摄像机的曝光时间和曝光强度的取值；和/或，当拍摄环境为明暗相间时，则对应的参数调整策略为调高动态范围值；和/或，当拍摄环境为背对光线则对应的参数调整策略为进行背景补偿。

优选地，本发明实施例中，为满足用户对图形信号处理器31输出的图像数据格式的不同需求，本发明实施例中，图形信号处理器31可根据预先设置的图像数据格式(后续称为目标图像数据格式)选择不同的图像处理策略对接收到的双目图像进行处理，以使得处理后的双目图像的图像数据格式为用户预先设置的目标图像数据格式。图形信号处理器31具体可通过以下步骤B1～步骤B2实现：

步骤B1、根据预存的图像数据格式与图像处理策略的第二对应关系，确定出预置的目标图像数据格式对应的图像处理策略。

步骤B2、根据确定出的图像处理策略对接收到的双目图像进行处理，得到数据格式为所述目标图像数据格式的双目图像。

以目标图像数据格式分别为RAW12/16/20格式、RAW/Y12格式和YUV422格式为例，其各自对应的图像处理策略，如图8所示：

当目标图像数据格式为RAW12/16/20格式时，图形信号处理器31对接收到的双目图像依次进行镜头阴影校正(LENC)、自动白平衡处理(AWB)、缺陷像素校正(DPC)、去噪(DNS)、高动态光照渲染(HDR)、色彩插补(CIP)和色调映射(tone mapping)；

当目标图像数据格式为RAW/Y12格式时，图形信号处理器31对接收到的双目图像依次进行镜头阴影校正(Lens Shading Correction，即LENC)、自动白平衡处理(AutomaticWhite Balance，即AWB)、缺陷像素校正(Defect Pixel Correction，即DPC)、去噪(DNS)、高动态光照渲染(High-Dynamic Range，即HDR)、色彩插补(CIP)和分段线性处理(PiecewiseLinear，即PWL)；

当目标图像数据格式为YUV422格式时，图形信号处理器31对接收到的双目图像依次进行镜头阴影校正(LENC)、自动白平衡处理(AWB)、缺陷像素校正(DPC)、去噪(DNS)、线性延伸(linear stretch)、去噪(DNS)、色彩插补(CIP)、颜色矩阵处理(CMX)、伽马变换(Gamma)和RGB2YUV DNS。

优选地，本发明实施例中，所述图形信号处理器31可通过但不仅限于OV490芯片实现。

下面以一具体的实例，对本发明实施例提供的双目系统进行详细描述。在该实例中，如图9所示，双目摄像机1为两个OV10640芯片；图像传输装置2包括两个对两个OV10640芯片采集的图像进行编码的MAX9271芯片、以及对两个MAX9271芯片进行编码后的图像进行解码的MAX9286芯片，其中MAX9271芯片和MAX9286芯片通过同轴电缆连接；图像处理装置3包括OV490芯片和微处理器(后续用SOC(System-on-a-Chip)表示)。

在该实例中，OV10640芯片采集图像输出RAW RGB数据(即未经处理的原始图像格式数据)；MAX9271芯片对RAW RGB数据进行编码得到GMSL串行数据，并通过同轴电缆将该GMSL(高速千兆多媒体串行链路)串行数据发送给MAX9286芯片；MAX9286芯片对接收到的GMSL串行数据进行解码得到RAW RGB数据，并将该RAW RGB数据通过MIPI CSI-2接口发送给OV490芯片；OV490芯片对接收到的RAW RGB数据进行处理输出YUV格式的图像数据，并将该图像数据传输给SOC；SOC对接收到的图像数据做进一步的处理或者压缩存储。

本发明实施例中，OV490芯片可利用控制通道配置MAX9271芯片和MAX9286芯片的寄存器，控制通道包括以下两种工作模式：基本模式和旁路模式，其中基本模式采用I2C或GMSL UART(Universal Asynchronous Receiver/Transmitter，异步收发传输器)协议，旁路模式采用用户自定义的UART协议。当OV490芯片设置MAX9271芯片和MAX9286芯片的工作模式之后开启视频模式，即可实现从MAX9286芯片的MIPI CSI-2接口接收双目图像。配置OV490芯片设置MAX9271芯片和MAX9286芯片的链路过程如图10所示。

本发明实施例中，SOC可通过I2C总线对OV490芯片的参数进行设置，即通过I2C总线控制OV490芯片的工作状态，进而设置双目摄像机的相机参数。控制OV490芯片的SOC不需要直接访问OV490芯片的内部寄存器，可通过命令形式将确定的相机参数发送给OV490芯片，命令可包括但不仅限于以下一种或多种：色调调节、亮度调节、锐度调节、对比度调节、曝光/增益设置、白平衡设置、帧率设置、视频流开关控制、测试模式选择等。例如，输出命令CMD_HUE_SET即为色调调节命令，该命令的命令号为0xF5；输出命令CMD_BRIGHTNESS_SET即为亮度调节，该命令的命令号为0xF1。

本发明实施例提供的双目摄像机系统，一方面，能够实现在拍摄过程中不断调整相机参数以适应不同拍摄环境，以确保在不同拍摄环境中拍摄得到的图像质量；另一方面，还能够通过本发明实施例提供的图像传输装置解决现有技术中双目摄像机的光轴间距过短的问题，并且还能够实现通过一条同轴电缆实现电源信号的图像数据信号的传输，简化布线设计。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种双目摄像机系统，其特征在于，包括：

双目摄像机，用于采集图像；

图像传输装置，用于将双目摄像机采集的双目图像传输至图像处理装置；

图像处理装置，用于对接收到的双目图像进行图像处理；以及，根据所述双目图像确定当前拍摄环境，并根据当前拍摄环境调整所述双目摄像机的相机参数。

2.根据权利要求1所述的系统，其特征在于，所述图像处理装置包括：

图形信号处理器，用于从图像传输装置接收双目图像，并对所述双目图像进行图像处理，将处理后的双目图像发送给微处理器；

微处理器，用于根据接收到的双目图像确定当前拍摄环境，并根据所述当前拍摄环境调整所述双目摄像机的相机参数。

3.根据权利要求2所述的系统，其特征在于，所述微处理器具体用于：

根据接收到的双目图像的亮度信息确定当前拍摄环境；

从预存的拍摄环境与参数调整策略的第一对应关系中，确定所述当前拍摄环境对应的参数调整策略，并根据确定的参数调整策略调整所述双目摄像机的相机参数。

4.根据权利要求3所述的系统，其特征在于，所述微处理器根据确定的参数调整策略调整所述双目摄像机的相机参数，具体用于：

微处理器根据确定的参数调整策略确定所述双目摄像机的目标相机参数，并控制所述图形信号处理器根据所述目标相机参数对所述双目摄像机的相机参数进行调整。

5.根据权利要求2所述的系统，其特征在于，所述预存的拍摄环境与参数调整策略的第一对应关系，包括：

拍摄环境为黑暗环境则对应的参数调整策略为增大双目摄像机的曝光时间和曝光强度的取值；

和/或，拍摄环境为明暗相间则对应的参数调整策略为调高动态范围值；

和/或，拍摄环境为背对光线则对应的参数调整策略为背景补偿。

6.根据权利要求2所述的系统，其特征在于，所述图形信号处理器具体用于：

根据预存的图像数据格式与图像处理策略的第二对应关系，确定出预置的目标图像数据格式对应的图像处理策略；

根据确定出的图像处理策略对接收到的双目图像进行处理，得到数据格式为所述目标图像数据格式的双目图像。

7.根据权利要求6所述的系统，其特征在于，图形信号处理器根据确定出的图像处理策略对接收到的双目图像进行处理，具体用于：

当目标图像数据格式为RAW12/16/20格式时，图形信号处理器对接收到的双目图像依次进行镜头阴影校正、自动白平衡处理、缺陷像素校正、去噪、高动态光照渲染、色彩插补和色调映射；

和/或，当目标图像数据格式为RAW/Y12格式时，图形信号处理器对接收到的双目图像依次进行镜头阴影校正、自动白平衡处理、缺陷像素校正、去噪、高动态光照渲染、色彩插补和分段线性处理；

和/或，当目标图像数据格式为YUV422格式时，图形信号处理器对接收到的双目图像依次进行镜头阴影校正、自动白平衡处理、缺陷像素校正、去噪、线性延伸、去噪、色彩插补、颜色矩阵处理、伽马变换。

8.根据权利要求2～7任一项所述的系统，其特征在于，所述图形信号处理器为OV490芯片。

9.根据权利要求1～7任一项所述的系统，其特征在于，所述视频传输装置包括：

编码单元，用于将双目摄像机采集的双目图像分别转换成数据信号，并将数据信号进行编码后通过同轴电缆传输给解码单元；

解码单元，用于对接收到的数据信号进行解码，并将解码后的数据信号发送给所述图像处理装置；

滤波单元，用于获取电源信号，并将所述电源信号与所述数据信号进行隔离后，通过所述同轴电缆将所述电源信号传输给所述编码单元。

10.根据权利要求9所述的系统，其特征在于，所述滤波单元，包括：分别设置在所述同轴电缆的两端的第一滤波电路和第二滤波电路；

第一滤波电路，用于获取电源信号，并将电源信号与数据信号进行隔离后将电源信号加载到所述同轴电缆上；

第二滤波电路，用于从所述同轴电缆上分离电源信号，并将分离出的电源信号传输给所述编码单元。