CN116887058B - 图像采集方法、装置、采集设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像采集方法、装置、采集设备和存储介质；本申请实施例适用于采集设备，并可以将其应用于交通领域。采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线，通过该采集设备，本申请实施例可以稳定、准确地采用第一相机采集第一视野的图像；采用第二相机采集第二视野的图像；采用补盲相机采集补盲视野的图像；将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。由此，本方案可以提升采集的图像的准确度。

Description

图像采集方法、装置、采集设备和存储介质

技术领域

本申请涉及计算机领域，具体涉及一种图像采集方法、装置、采集设备和存储介质。

背景技术

交通检测相机可以应用于红绿灯违规检测、测速、车牌识别、智能交通等场景下，以实现车辆在全路段的精准定位与实时观测。

交通检测相机通常为杆装安装，如安装在红绿灯横杆上、安装在路牌杆上等。而在长时间运行或如大车经过，大风等导致的杆位整体抖动，可能会引起交通检测相机相对于杆位偏移，从而使得相机的视野改变，或者相机之间的视野出现重叠或盲区，进而导致多相机阵列，所采集的图像集出现丢车或者同一辆车在不同相机视角下识别为多辆车的问题。因此，通过目前的图像采集方法所采集的图像准确度低。

发明内容

本申请实施例提供一种图像采集方法、装置、采集设备和存储介质，可以提升采集的图像的准确度。

本申请实施例提供一种图像采集方法，适用于采集设备，采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线，其中该方法包括：

采用第一相机采集第一视野的图像；

采用第二相机采集第二视野的图像；

采用补盲相机采集补盲视野的图像；

将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

本申请实施例还提供一种图像采集装置，适用于采集设备，采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线，该装置包括：

第一单元，用于采用第一相机采集第一视野的图像；

第二单元，用于采用第二相机采集第二视野的图像；

补盲单元，用于采用补盲相机采集补盲视野的图像；

拼接单元，用于将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

在一些实施例中，采集设备安装在道路上方用于采集道路图像，角平分线垂直于道路，第一方向和角平分线所形成的夹角与第二方向和角平分线所形成的夹角的角度相等。

在一些实施例中，采集设备安装在路面上方高度h处，第一相机与第二相机具有水平视场角α以及垂直视场角β，第一相机与第二相机的盲区为长度d*宽度t的矩形，高度h、水平视场角α、垂直视场角β、盲区的长度d以及盲区的宽度t之间的关系为：

。

在一些实施例中，补盲相机包括补盲枪机，补盲枪机具有水平视场角α’以及垂直视场角β’，补盲相机所采集的补盲视野具有宽度t’，水平视场角α’、垂直视场角β’、垂直视场角β、补盲视野的宽度t’、以及高度h之间的关系为：

。

在一些实施例中，盲区的宽度t与补盲视野的宽度t’均不小于道路的路面宽度。

在一些实施例中，为了需要保证补盲视野能精确覆盖第一相机与第二相机的盲区，因此，可以控制盲区的宽度t与补盲视野的宽度t’相等。

在一些实施例中，当补盲相机包括补盲鱼眼相机，补盲鱼眼相机具有最大入射角θ，最大入射角θ与水平视场角α、垂直视场角β、盲区的长度d、盲区的宽度t、高度h之间的关系为：

。

在一些实施例中，底座包括硬同步模块，第一单元、第二单元和补盲单元还用于：

通过硬同步模块生成同步触发信号；

响应于第一相机接收到同步触发信号，采用第一相机采集第一视野的图像；

响应于第二相机接收到同步触发信号，采用第二相机采集第二视野的图像；

响应于补盲相机接收到同步触发信号，采用补盲相机采集补盲视野的图像。

在一些实施例中，底座包括硬同步模块，第一单元、第二单元和补盲单元还用于：

通过硬同步模块对第一相机、第二相机和补盲相机进行时间同步处理，以使第一相机、第二相机和补盲相机的内部时钟同步；

采用时间同步处理后的第一相机采集第一视野的图像；

采用时间同步处理后的第二相机采集第二视野的图像；

采用时间同步处理后的补盲相机采集补盲视野的图像。

在一些实施例中，底座包括姿态校正模块，图像采集装置还用于：

采用姿态校正模块获取底座的当前姿态；

当底座的当前姿态与初始姿态不同，则采用姿态校正模块将底座的当前姿态调整回初始姿态。

在一些实施例中，采集设备安装在道路上方用于采集道路图像，初始姿态包括角平分线垂直于道路。

在一些实施例中，底座包括定位模块，图像采集装置还用于：

采用定位模块获取采集设备的当前定位；

基于当前定位，得到多相机阵列的外参信息；

基于外参信息，以及多相机阵列的预设的内参信息，对拼接图像的图像内容进行坐标映射，得到图像内容的在世界坐标系中的位置信息。

在一些实施例中，底座包括图像处理模块，拼接单元用于：

采用图像处理模块对第一视野、第二视野与补盲视野的图像进行坐标系变换，得到世界坐标系下的第一视野、第二视野与补盲视野；

采用图像处理模块对世界坐标系下的第一视野、第二视野与补盲视野进行图像拼接，得到拼接图像，其中，补盲视野的图像位于第一视野与第二视野的图像之间。

本申请实施例还提供一种采集设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种图像采集方法中的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图像采集方法中的步骤。

本申请实施例提供了一种采集设备，该采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线。通过该采集设备中的第一相机可以采集第一视野的图像；采用第二相机采集第二视野的图像；采用补盲相机采集补盲视野的图像；将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

在本申请中，由于底座将多相机阵列中的每个相机固定住，保证了相机的位置与朝向不发生相对变化，因此，可以保证而在长时间运行或如大车经过，大风等导致的杆位抖动后，相机之间不产生位置与朝向的偏移，因此，相机之间的视野不会出现重叠或盲区，保证了所采集的图像精准无误，不会出现图像内容的重叠或丢失。由此，提升采集的图像的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的图像采集方法的公共交通检测场景示意图；

图1b是本申请实施例提供的图像采集方法的视场角示意图；

图1c是本申请实施例提供的图像采集方法的垂直角示意图；

图1d是本申请实施例提供的图像采集方法的补盲相机的视场角示意图；

图1e是本申请实施例提供的图像采集方法的流程示意图；

图1f是本申请实施例提供的图像采集方法的拼接图像示意图；

图2a是本申请实施例提供的图像采集方法应用在公共交通检测场景中的第一视野示意图；

图2b是本申请实施例提供的图像采集方法应用在公共交通检测场景中的补盲视野示意图；

图2c是本申请实施例提供的图像采集方法应用在公共交通检测场景中的第二视野示意图；

图2d是本申请实施例提供的图像采集方法应用在公共交通检测场景中的拼接图像示意图；

图3是本申请实施例提供的图像采集装置的结构示意图；

图4a是本申请实施例提供的采集设备的结构示意图。

图4b是本申请实施例提供的底座所搭载电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图像采集方法、装置、采集设备和存储介质。

其中，该采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线。底座中搭载有电子设备，该电子设备可以用于控制相机采集图像，并将采集得到的图像进行拼接、上传。

其中，该图像采集装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备，也可以为单板计算机等嵌入式硬件。其中，单板计算机是一种集成了所有核心计算机组件的完整计算机系统，这些组件通常都被集成在一块小型的电路板上。

在一些实施例中，该图像采集装置还可以集成在多个电子设备中，比如，图像采集装置可以集成在多个单板计算机中，由多个单板计算机来实现本申请的图像采集方法。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

人工智能（Artificial Intelligence，AI）是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术，该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

其中，计算机视觉（Computer Vision，CV）是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。比如，图像着色、图像描边提取等图像处理技术。

本申请实施例提出的图像采集方法可利用计算机视觉技术，以进一步的提高拼接图像的准确度，也可以通过利用计算机视觉技术，基于拼接图像进行进一步的处理，以便其用于智能交通系统或智能车路协同系统中。

其中，智能交通系统(Intelligent Traffic System，ITS)又称智能运输系统(Intelligent Transportation System)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。或者；

智能车路协同系统(Intelligent Vehicle Infrastructure CooperativeSystems，IVICS)，简称车路协同系统，是智能交通系统(ITS)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车-车、车-路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。

在本实施例中，提供了一种采集设备，参考图1a，该采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线，该采集设备可以安装在道路上方，用于采集交通图像、识别道路中车辆车牌、违规驾驶预警等，采用该采集设备的图像采集方法可以提升采集的图像的准确度。

其中，为了保证第一视野、第二视野与补盲视野的图像可以完美的拼接在一起，没有图像重叠、内容缺漏的问题，因此，第一相机、第二相机和补盲相机应具有预设好的相机参数与摆放位置。

例如，在一些实施例中，采集设备可以安装在道路上方用于采集道路图像，角平分线垂直于道路，第一方向和角平分线所形成的夹角与第二方向和角平分线所形成的夹角的角度相等，即补盲相机垂直拍摄地面，第一相机拍摄第一方向的道路，第二相机拍摄第二方向的道路。

参考图1b，图1b为第一相机或第二相机的视场角。其中，视场角（Field of View，FOV）指相机能够从特定位置看到的范围。视场角可以用角度来表示，用于描述从相机的位置朝不同方向看时，能够捕捉到的水平和垂直范围。

因此，视场角可以分为水平视场角、垂直视场角和对角线视场角：

水平视场角：从相机水平方向上可见的范围的角度；

垂直视场角：从相机垂直方向上可见的范围的角度；

对角线视场角：从相机对角线方向上可见的范围的角度。

根据图1b，该视场角的顶点为Q，以顶点Q作垂直投影线与视野相交，得到投影点R，以QR为中线对视场角进行水平与垂直切分，得到水平视场角和垂直视场角。

其中，水平视场角包含面QRN，垂直视场角包含面QRM。因此，当视场角的水平视场角为α，所述垂直视场角为β时，则∠RQN为β/2，∠RQM为α/2。

在一些实施例中，参考图1c，采集设备中第一或第二相机的垂直视场角的一边平行于道路，即该边垂直于杆位，以保证第一或第二相机能采集到地平线交界处道路的图像。

为了保证拼接图像无盲区、无重复内容，因此需要保证第一视野、第二视野与补盲视野恰好严丝合缝。因此，在一些实施例中，第一相机与所述第二相机的盲区应刚好与补盲相机所采集的补盲视野相同。

因此，在一些实施例中，为了计算第一相机与所述第二相机的盲区，根据图1b可得：

t=2RM

因此，代入图1c所示的垂直视场角，第一或第二相机安装在杆位顶点Q处，杆长h，第一或第二相机的一边与道路水平，因此可得第一相机与第二相机盲区的长度d为：

根据图1b可知，

第一相机与第二相机盲区的宽度t为：

在一些实施例中，第一相机与第二相机盲区的宽度t应大于道路的路面宽度，以保证第一相机与第二相机的视野能够覆盖整个道路。

例如，假设h为12米，道路宽度为15米，因此，根据上述公式可以在给定α后得到β的值。例如，假设α为60°，则β应设为55°。

对应的，在一些实施例中，为了计算补盲相机的补盲视野，设补盲相机具有水平视场角α’以及垂直视场角β’，根据图1d可得补盲视野具有宽度t’为：

因此，调试t’不小于t，即可保证补盲相机的补盲视野可以覆盖第一相机与第二相机的盲区。

在一些实施例中，补盲相机可以为枪机类型，也可以为鱼眼类型，其中：

枪机（Bullet Camera）是一外形类似一支枪管的摄像机，通常安装在墙壁或天花板上，以固定的角度检测特定区域。枪机通常具有较长的镜头，可以远距离检测，适用于需要精确检测的场景，如大门、走廊等。它们通常具有较强的防护性能，适应各种恶劣环境，如户外的天气条件。

鱼眼相机（Fisheye Camera）是一种特殊设计的广角摄像机，其镜头设计使其能够在一个广阔的区域内实现全景检测。鱼眼镜头捕捉到的图像呈圆形，可以提供无死角的全景视野。为了查看和记录图像，这些圆形图像通常会经过图像处理，被映射为矩形图像，称为“鱼眼校正”。鱼眼相机适用于需要检测广阔区域的场景，如大型仓库、开放式办公空间等。

例如，在一些实施例中，如果补盲相机为枪机类型，即补盲相机为补盲枪机时，则可以调试β’>180°-2β，以保证第一相机、第二相机和补盲相机能至少覆盖180°的视角。

在一些实施例中，若补盲相机为鱼眼类型，即补盲相机为补盲鱼眼相机时，可以调控补盲鱼眼相机的最大入射角θ为：

以保证最大入射角θ范围内的畸变尽量小，最大入射角θ范围外的畸变情况无需考虑。

在一些实施例中，底座中还可以包括姿态校正模块，姿态校正模块可以校正相机的姿态，其中，姿态指相对于空间坐标系的角度和/或位置，以便相机可以正确地捕捉所需的场景或对象。在一些实施例中，姿态校正模块用于实时调整相机的姿态至初始姿态。

例如，因杆位晃动等因素导致相机的姿态变化后，姿态校正模块可以将相机当前的姿态调整回初始姿态设置。

因此，在一些实施例中，采用姿态校正模块获取底座的当前姿态；当底座的当前姿态与初始姿态不同，则采用姿态校正模块将底座的当前姿态调整回初始姿态。

在一些实施例中，初始姿态包括所述角平分线垂直于道路，即补盲相机总是朝向道路路面。

在本实施例中，提供了一种使用该采集设备的图像采集方法，如图1e所示，该图像采集方法的具体流程可以如下：

101、采用第一相机采集第一视野的图像；

102、采用第二相机采集第二视野的图像；

103、采用补盲相机采集补盲视野的图像；

在一些实施例中，可以在底座中引入硬同步机制使得步骤101~103同时触发。其中，硬同步指通过硬件电路或信号触发来实现设备、进程或事件之间的精确同步，通过硬同步机制，可以确保多相机阵列中的所有设备在精确的时间点进行数据采集，避免数据不同步或失真。

以下提供几种方案以实现硬同步机制：

在一些实施例中，可以将多相机阵列其中的一个相机作为主控制器，该主控制器在拍摄时同时发出硬件触发信号，如电平触发或脉冲信号等，多相机阵列中的其他相机接收该信号，并在接收到触发信号时同时拍摄图像。

在一些实施例中，可以在底座中设置一外部同步信号源，如原子钟或其他高精度时钟源等，多相机阵列中的所有相机根据这个信号源的时间来触发拍摄图像，以确保所有相机之间的时间同步。

在一些实施例中，可以在底座中设置专用的外部同步模块，用于实现多相机的同步，这些该外部同步模块可以提供精密的时钟同步和触发信号生成，以确保相机阵列的硬同步。

因此，通过硬同步机制时间同步处理后的多相机阵列，可以采集到准确的图像：底座包括硬同步模块，步骤101~103包括：

通过硬同步模块对第一相机、第二相机和补盲相机进行时间同步处理，以使第一相机、第二相机和补盲相机的内部时钟同步；

采用时间同步处理后的第一相机采集第一视野的图像；

采用时间同步处理后的第二相机采集第二视野的图像；

采用时间同步处理后的补盲相机采集补盲视野的图像。

104、将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

参考图1f，第一视野、第二视野与补盲视野的图像可以完美的拼接在一起，图像之间不存在图像重叠、内容缺漏的问题。其中，图1f中的虚线部分表征的是拼接图像中所显示的车道。

在一些实施例中，需要先将采集得到的第一视野、第二视野与补盲视野的图像进行坐标系转换，将其转换到世界坐标系中，再对世界坐标系中的第一视野、第二视野与补盲视野进行图像拼接，得到拼接图像，因此，步骤103包括：

采用图像处理模块对第一视野、第二视野与补盲视野的图像进行坐标系变换，得到世界坐标系下的第一视野、第二视野与补盲视野；

采用图像处理模块对世界坐标系下的第一视野、第二视野与补盲视野进行图像拼接，得到拼接图像，其中，补盲视野的图像位于第一视野与第二视野的图像之间。

其中，将其转换到世界坐标系的一些实施例将在下文中进行介绍，此处不做赘述。

在一些实施例中，在交通场景的车辆识别场景下，可以根据相机的内参和外参，将拼接图像中的图像内容如车辆、行人等映射在世界做坐标系中，从而获得该车辆、行人等图像内容在真实世界中的位置信息。

因此，在一些实施例中，步骤104之后，还可以包括如下步骤：

采用所述定位模块获取所述采集设备的当前定位；

基于所述当前定位，得到所述多相机阵列的外参信息；

基于所述外参信息，以及所述多相机阵列的预设的内参信息，对所述拼接图像的图像内容进行坐标映射，得到所述图像内容的在世界坐标系中的位置信息。

其中，坐标映射的一些实施例将在下文中进行介绍，此处不做赘述。

由上可知，本申请实施例提供了一种采集设备，采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线。本申请实施例通过该采集设备可以采用第一相机采集第一视野的图像；采用第二相机采集第二视野的图像；采用补盲相机采集补盲视野的图像；将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

由此，本方案中的底座可以将多相机阵列中的每个相机固定住，保证了相机的位置与朝向不发生相对变化，因此，采集设备安装在红绿灯横杆上、路牌杆上等时，在长时间运行或如大车经过后，即使杆位整体抖动也不会引起底座上固定的多个相机之间位置相对偏移，也不会使其姿态改变。因此相机的视野固定不变，故相机之间的视野出现不会因为重叠或盲区进而导致出现丢车或者同一辆车在不同相机视角下识别为多辆车的问题。因此，本方案可以提升采集的图像的准确度。

根据上述实施例所描述的方法，以下将作进一步详细说明。

在本实施例中，将以坐标系转换为例，对本申请实施例的方法进行详细说明。

在计算机视觉和图像处理领域，存在多种坐标系，用于描述不同空间中的点或位置。以下是常见的四种坐标系：

世界坐标系（World Coordinate System）是一个全局的坐标系，用于描述物体在现实世界中的位置和方向。它是一个绝对的坐标系，与相机无关，物体的三维位置通常是相对于世界坐标系来描述的。

相机坐标系（Camera Coordinate System）是以相机光心为原点的坐标系，用于描述相机内部的坐标和方向。它的三个轴通常与相机镜头的光轴、图像平面的法线和图像平面的另一个轴对齐。相机坐标系用于将相机内部的物理属性和参数描述，例如相机内参、外参等。

感光器件坐标系（Sensor Coordinate System）也称为图像坐标系，是相机传感器上的坐标系，用于描述相机传感器上的点。它与相机坐标系之间的转换通常包括内参（例如焦距、主点等）和畸变参数，用于将相机坐标系中的点映射到感光器件上。

像素坐标系（Pixel Coordinate System）是图像中的坐标系，用于描述图像上的像素点。它是二维的，并与图像的宽度和高度相对应。在像素坐标系中，图像的左上角通常为原点，x轴向右延伸，y轴向下延伸。像素坐标可以与感光器件坐标通过像素尺寸和主点等参数进行转换。

坐标系转换是在不同坐标系之间进行点或位置的转换，以便在不同的空间中进行定位、分析或计算。

相机坐标系到世界坐标系： 当已获取相机的外参（偏移量和旋转矩阵）时，可以将相机坐标系中的点转换到世界坐标系中。假设有一个相机坐标系下的点 （XC,YC,ZC）转换到世界坐标系中的点为（XW,YW,ZW）：

其中 R 是旋转矩阵，T 是偏移量。

其中，相机坐标系下的点（XC,YC,ZC）和感光器件坐标系下点（x,y）的关系如下：

像素坐标系下坐标（u,v）和感光器件坐标系下坐标（x,y）之间的关系如下：

参考图2a、图2b和图2c，其中，图2a、图2b和图2c是采集设备K114+907在2023年4月29日星期六10点51分20秒所采集的图像，其中，图2a为第一相机（枪机2）采集的第一视野的图像，图2b为第二相机（枪机3）采集第二视野的图像，图2c为补盲相机（鱼眼相机11）采集补盲视野的图像。

通过上述坐标系转换与映射后，可以得到世界坐标系下的第一视野、第二视野与补盲视野，将世界坐标系下的第一视野、第二视野与补盲视野进行图像拼接，可以得到如图2d所示的拼接图像。

为了更好地实施以上方法，本申请实施例还提供一种图像采集装置，该图像采集装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

比如，在本实施例中，将以图像采集装置具体集成在采集设备中为例，对本申请实施例的方法进行详细说明。

例如，如图3所示，该图像采集装置适用于采集设备，采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线。可以包括第一单元301、第二单元302、补盲单元303以及拼接单元304，如下：

第一单元301用于采用所述第一相机采集第一视野的图像；

第二单元302用于采用所述第二相机采集第二视野的图像；

补盲单元303用于采用所述补盲相机采集补盲视野的图像；

拼接单元304用于将所述第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

在一些实施例中，采集设备安装在道路上方用于采集道路图像，角平分线垂直于道路，第一方向和角平分线所形成的夹角与第二方向和角平分线所形成的夹角的角度相等。

在一些实施例中，采集设备安装在路面上方高度h处，第一相机与第二相机具有水平视场角α以及垂直视场角β，第一相机与第二相机的盲区为长度d*宽度t的矩形，高度h、水平视场角α、垂直视场角β、盲区的长度d以及盲区的宽度t之间的关系为：

。

在一些实施例中，补盲相机包括补盲枪机，补盲枪机具有水平视场角α’以及垂直视场角β’，补盲相机所采集的补盲视野具有宽度t’，水平视场角α’、垂直视场角β’、垂直视场角β、补盲视野的宽度t’、以及高度h之间的关系为：

。

在一些实施例中，盲区的宽度t与补盲视野的宽度t’均不小于道路的路面宽度。

在一些实施例中，当补盲相机包括补盲鱼眼相机，补盲鱼眼相机具有最大入射角θ，最大入射角θ与水平视场角α、垂直视场角β、盲区的长度d、盲区的宽度t、高度h之间的关系为：

。

在一些实施例中，底座包括硬同步模块，第一单元、第二单元和补盲单元还用于：

通过硬同步模块生成同步触发信号；

响应于第一相机接收到同步触发信号，采用第一相机采集第一视野的图像；

响应于第二相机接收到同步触发信号，采用第二相机采集第二视野的图像；

响应于补盲相机接收到同步触发信号，采用补盲相机采集补盲视野的图像。

在一些实施例中，底座包括硬同步模块，第一单元、第二单元和补盲单元还用于：

通过硬同步模块对第一相机、第二相机和补盲相机进行时间同步处理，以使第一相机、第二相机和补盲相机的内部时钟同步；

采用时间同步处理后的第一相机采集第一视野的图像；

采用时间同步处理后的第二相机采集第二视野的图像；

采用时间同步处理后的补盲相机采集补盲视野的图像。

在一些实施例中，底座包括姿态校正模块，图像采集装置还用于：

采用姿态校正模块获取底座的当前姿态；

当底座的当前姿态与初始姿态不同，则采用姿态校正模块将底座的当前姿态调整回初始姿态。

在一些实施例中，采集设备安装在道路上方用于采集道路图像，初始姿态包括角平分线垂直于道路。

在一些实施例中，底座包括定位模块，图像采集装置还用于：

采用定位模块获取采集设备的当前定位；

基于当前定位，得到多相机阵列的外参信息；

基于外参信息，以及多相机阵列的预设的内参信息，对拼接图像的图像内容进行坐标映射，得到图像内容的在世界坐标系中的位置信息。

在一些实施例中，底座包括图像处理模块，拼接单元用于：

采用图像处理模块对第一视野、第二视野与补盲视野的图像进行坐标系变换，得到世界坐标系下的第一视野、第二视野与补盲视野；

采用图像处理模块对世界坐标系下的第一视野、第二视野与补盲视野进行图像拼接，得到拼接图像，其中，补盲视野的图像位于第一视野与第二视野的图像之间。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的图像采集装置由第一单元，用于采用所述第一相机采集第一视野的图像；由第二单元采用所述第二相机采集第二视野的图像；由补盲单元采用所述补盲相机采集补盲视野的图像；由拼接单元将所述第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

由此，本申请实施例可以提升采集的图像的准确度。

本申请实施例还提供一种采集设备，比如，如图4a所示，其示出了本申请实施例所涉及的采集设备的结构示意图，具体来讲：

采集设备包括底座以及固定在底座上的多相机阵列，多相机阵列包括第一相机、第二相机和补盲相机，第一相机朝向第一方向，第二相机朝向第二方向，补盲相机朝向第一方向和第二方向所形成夹角的角平分线。

其中，底座提供了稳定的支撑平台，每个相机固定在该底座上对应的位置，使得每个相机的位置以及朝向方向固定不变，从而避免因杆位摇晃所导致的相机相对杆位位移或朝向改变，防止相机晃动、摇晃或偏离目标区域，确保了相机的稳定性。

在一些实施例中，底座除了作为支撑平台，其中也含有搭载硬同步模块、姿态校正模块、定位模块和/或图像处理模块等，这些模块可以集成在底座所搭载的电子设备中。

其中，硬同步模块是用于协调多个摄像机在采集图像数据时保持同步的硬件模块，同时控制多个摄像机来捕捉不同角度或位置的图像，并确保这些图像在时间上保持同步。

在一些实施例中，硬同步模块可以包括同步信号发生器，用于负责生成一个统一的时钟信号，作为所有相机的时间基准。确保了所有相机的图像采集操作在相同的时间基准下进行。

在一些实施例中，硬同步模块可以包括触发信号分发组件，触发信号分发组件可以在采集系统中通过传递触发脉冲或信号的方式分发触发信号，以确保所有相机在相同的时机开始图像采集。

在一些实施例中，硬同步模块可以包括时序控制逻辑电路，时序控制逻辑电路用于确保多个相机的图像捕捉操作在准确的时序下依次进行，以避免图像之间的时间差。

在一些实施例中，硬同步模块可以包括时间戳生成组件，每个相机捕获的图像可以需要与时间戳相关联，以便在后续分析中准确地对其进行时间关联。时间戳生成组件可以为每个图像生成时间戳信息。

在一些实施例中，硬同步模块可以包括数据同步接口，用于将采集的图像数据传输到后续的处理单元或存储设备。

姿态校正模块是指用于实时校正多个相机之间的姿态差异，以便在数据融合、重建或分析过程中将它们对准的硬件或软件模块。

在一些实施例中，姿态校正模块可以用于相机标定和参数估计，例如对每个相机进行标定，以估计其内参（例如焦距、主点）和外参（例如旋转矩阵和偏移量）。

在一些实施例中，姿态校正模块可以基于相机的标定参数和外部参数，可以计算出相机之间的姿态变换关系，例如旋转和平移。姿态校正模块使用这些信息来调整图像的角度和位置，以将它们对准。从而实现相机当前姿态的估计与校正。

定位模块是用于确定摄像机自身位置的硬件或软件组件，例如，可以利用全球定位系统（GPS）、无线信号如蓝牙、Wi-Fi技术的辅助进行自身定位。

图像处理模块是指用于处理从多个相机采集的图像数据的软件或硬件组件。这些处理可以涵盖从图像增强到对象检测等一系列任务，旨在从多个视角捕获的图像中提取有用的信息。以下是图像处理模块可以执行的一些任务：

图像融合和拼接：将多个相机捕获的图像融合或拼接在一起，以创建更广阔的视角或全景图像。

立体视觉和深度感知：利用多个相机的视角，图像处理模块可以实现立体视觉，从而计算出场景中物体的深度信息。

目标检测和跟随：通过将来自多个相机的图像进行比对和分析，图像处理模块可以实现更准确的目标检测和跟随，特别是在涉及遮挡情况时。

图像校正和校准：对多个相机捕获的图像进行畸变校正、颜色校准等处理，以确保它们在几何和色彩上保持一致。

特征提取和匹配：从多个视角的图像中提取特征点、描述子等信息，并将其用于物体识别、场景匹配等任务。

背景建模和移动物体检测：通过对多个相机的图像进行背景建模，可以检测出场景中的移动物体，从而实现移动物体跟随和分析。

图像增强和去噪：可以对多个相机捕获的图像进行增强，以改善图像质量并去除噪声。

如图4b所示，其示出了本申请实施例所涉及的底座所搭载电子设备的结构示意图，具体来讲：

该采集设备的底座可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4b中示出的采集设备结构并不构成对采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该采集设备的控制中心，利用各种接口和线路连接整个采集设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行采集设备的各种功能和处理数据，从而对采集设备进行整体检测。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据采集设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

采集设备还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该采集设备还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该采集设备还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，采集设备可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，采集设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，采集设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

采用第一相机采集第一视野的图像；

采用第二相机采集第二视野的图像；

采用补盲相机采集补盲视野的图像；

将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像采集方法中的步骤。例如，该指令可以执行如下步骤：

采用第一相机采集第一视野的图像；

采用第二相机采集第二视野的图像；

采用补盲相机采集补盲视野的图像；

将第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的图像采集方面或者公共交通方面的各种可选实现方式中提供的方法。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像采集方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像采集方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像采集方法、装置、采集设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像采集方法，其特征在于，适用于采集设备，所述采集设备包括底座以及固定在所述底座上的多相机阵列，所述多相机阵列包括第一相机、第二相机和补盲相机，所述第一相机朝向第一方向，所述第二相机朝向第二方向，所述补盲相机朝向所述第一方向和所述第二方向所形成夹角的角平分线；

所述采集设备安装在路面上方高度h处，所述第一相机与所述第二相机具有水平视场角α以及垂直视场角β，所述第一相机与所述第二相机的盲区为长度d*宽度t的矩形，所述高度h、所述水平视场角α、所述垂直视场角β、所述盲区的长度d以及所述盲区的宽度t之间的关系为：

；

当所述补盲相机为补盲枪机时，所述补盲枪机具有水平视场角α’以及垂直视场角β’，所述补盲相机所采集的补盲视野具有宽度t’，所述水平视场角α’、所述垂直视场角β’、所述垂直视场角β、所述补盲视野的宽度t’、以及所述高度h之间的关系为：

；

当所述补盲相机为补盲鱼眼相机时，所述补盲鱼眼相机具有最大入射角θ，所述最大入射角θ与所述水平视场角α、所述垂直视场角β、所述盲区的长度d、所述盲区的宽度t、所述高度h之间的关系为：

；

所述方法包括：

采用所述第一相机采集第一视野的图像；

采用所述第二相机采集第二视野的图像；

采用所述补盲相机采集补盲视野的图像；

将所述第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

2.如权利要求1所述的图像采集方法，其特征在于，所述采集设备安装在道路上方用于采集道路图像，所述角平分线垂直于道路，所述第一方向和所述角平分线所形成的夹角与所述第二方向和所述角平分线所形成的夹角的角度相等。

3.如权利要求2所述的图像采集方法，其特征在于，所述盲区的宽度t与补盲视野的宽度t’均不小于所述道路的路面宽度。

4.如权利要求1所述的图像采集方法，其特征在于，所述底座包括硬同步模块，所述采用所述第一相机采集第一视野的图像；采用所述第二相机采集第二视野的图像；采用所述补盲相机采集补盲视野的图像，包括：

通过所述硬同步模块生成同步触发信号；

响应于所述第一相机接收到所述同步触发信号，采用所述第一相机采集第一视野的图像；

响应于所述第二相机接收到所述同步触发信号，采用所述第二相机采集第二视野的图像；

响应于所述补盲相机接收到所述同步触发信号，采用所述补盲相机采集补盲视野的图像。

5.如权利要求1所述的图像采集方法，其特征在于，所述底座包括硬同步模块，所述采用所述第一相机采集第一视野的图像；采用所述第二相机采集第二视野的图像；采用所述补盲相机采集补盲视野的图像，包括：

通过所述硬同步模块对所述第一相机、所述第二相机和所述补盲相机进行时间同步处理，以使所述第一相机、所述第二相机和所述补盲相机的内部时钟同步；

采用时间同步处理后的所述第一相机采集第一视野的图像；

采用时间同步处理后的所述第二相机采集第二视野的图像；

采用时间同步处理后的所述补盲相机采集补盲视野的图像。

6.如权利要求1所述的图像采集方法，其特征在于，所述底座包括姿态校正模块，所述方法还包括：

采用所述姿态校正模块获取所述底座的当前姿态；

当所述底座的当前姿态与初始姿态不同，则采用所述姿态校正模块将所述底座的当前姿态调整回所述初始姿态。

7.如权利要求6所述的图像采集方法，其特征在于，所述采集设备安装在道路上方用于采集道路图像，所述初始姿态包括所述角平分线垂直于道路。

8.如权利要求6所述的图像采集方法，其特征在于，所述底座包括定位模块，所述方法还包括：

采用所述定位模块获取所述采集设备的当前定位；

基于所述当前定位，得到所述多相机阵列的外参信息；

基于所述外参信息，以及所述多相机阵列的预设的内参信息，对所述拼接图像的图像内容进行坐标映射，得到所述图像内容的在世界坐标系中的位置信息。

9.如权利要求1所述的图像采集方法，其特征在于，所述底座包括图像处理模块，所述将所述第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像，包括：

采用所述图像处理模块对所述第一视野、第二视野与补盲视野的图像进行坐标系变换，得到世界坐标系下的第一视野、第二视野与补盲视野；

采用所述图像处理模块对所述世界坐标系下的第一视野、第二视野与补盲视野进行图像拼接，得到拼接图像，其中，所述补盲视野的图像位于所述第一视野与所述第二视野的图像之间。

10.一种图像采集装置，其特征在于，适用于采集设备，所述采集设备包括底座以及固定在所述底座上的多相机阵列，所述多相机阵列包括第一相机、第二相机和补盲相机，所述第一相机朝向第一方向，所述第二相机朝向第二方向，所述补盲相机朝向所述第一方向和所述第二方向所形成夹角的角平分线；

所述采集设备安装在路面上方高度h处，所述第一相机与所述第二相机具有水平视场角α以及垂直视场角β，所述第一相机与所述第二相机的盲区为长度d*宽度t的矩形，所述高度h、所述水平视场角α、所述垂直视场角β、所述盲区的长度d以及所述盲区的宽度t之间的关系为：

；

当所述补盲相机为补盲枪机时，所述补盲枪机具有水平视场角α’以及垂直视场角β’，所述补盲相机所采集的补盲视野具有宽度t’，所述水平视场角α’、所述垂直视场角β’、所述垂直视场角β、所述补盲视野的宽度t’、以及所述高度h之间的关系为：

；

当所述补盲相机为补盲鱼眼相机时，所述补盲鱼眼相机具有最大入射角θ，所述最大入射角θ与所述水平视场角α、所述垂直视场角β、所述盲区的长度d、所述盲区的宽度t、所述高度h之间的关系为：

；

所述装置包括：

第一单元，用于采用所述第一相机采集第一视野的图像；

第二单元，用于采用所述第二相机采集第二视野的图像；

补盲单元，用于采用所述补盲相机采集补盲视野的图像；

拼接单元，用于将所述第一视野、第二视野与补盲视野的图像进行图像拼接，得到拼接图像。

11.一种采集设备，其特征在于，所述采集设备包括处理器、存储器、底座以及固定在所述底座上的多相机阵列，所述多相机阵列包括第一相机、第二相机和补盲相机，所述第一相机朝向第一方向，所述第二相机朝向第二方向，所述补盲相机朝向所述第一方向和所述第二方向所形成夹角的角平分线，所述存储器存储有多条指令，所述处理器从所述存储器中加载指令，以执行如权利要求1~9任一项所述的图像采集方法中的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1~9任一项所述的图像采集方法中的步骤。