CN107235008A - 一种车载辅助驾驶全景图像系统及获取全景图像的方法 - Google Patents

一种车载辅助驾驶全景图像系统及获取全景图像的方法 Download PDF

Info

Publication number
CN107235008A
CN107235008A CN201710457268.1A CN201710457268A CN107235008A CN 107235008 A CN107235008 A CN 107235008A CN 201710457268 A CN201710457268 A CN 201710457268A CN 107235008 A CN107235008 A CN 107235008A
Authority
CN
China
Prior art keywords
collecting device
image
image collecting
roof
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710457268.1A
Other languages
English (en)
Other versions
CN107235008B (zh
Inventor
肖文平
程旭
石川
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Heqian Electronic Technology Co Ltd
Original Assignee
Shanghai Heqian Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Heqian Electronic Technology Co Ltd filed Critical Shanghai Heqian Electronic Technology Co Ltd
Priority to CN201710457268.1A priority Critical patent/CN107235008B/zh
Publication of CN107235008A publication Critical patent/CN107235008A/zh
Application granted granted Critical
Publication of CN107235008B publication Critical patent/CN107235008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种车载辅助驾驶全景图像系统，包括：车顶图像采集装置、环车图像采集装置以及车内图像处理装置，所述车顶图像采集装置和所述环车图像采集装置分别通过以太网物理接口收发组件经以太网与所述车内图像处理装置连接；其中，所述车顶图像采集装置，采集车辆上半球视场的图像数据信息；所述环车图像采集装置，用于同步采集车辆的左侧、右侧、前面和后面视场的图像数据信息；所述车内图像处理装置，控制所述车顶图像采集装置和环车图像采集装置同步进行图像数据的采集，并将接收到的图像数据信息进行图像融合。本发明还提供一种车载辅助驾驶全景图像系统的获取全景图像的方法，以能够保证多个摄像头同步工作，保证获取的画面同步。

Description

一种车载辅助驾驶全景图像系统及获取全景图像的方法
技术领域
本发明涉及一种汽车辅助驾驶领域，尤其涉及一种车载辅助驾驶全景图像系统以及全景图像获取方法。
背景技术
随着电子技术的高速发展，使得汽车辅助驾驶领域的进步日新月异，目前最普及的可视化辅助驾驶为车载360度环视，这种技术很方便的解决了驾驶员对车身周围环境几米范围内的死角无法观察的问题，该技术的具体实施方法采用在车前、车两侧以及车后安装广角摄像头的方式来获取车身四周的完整视场，通过MCU或者DSP配合前期标定好的摄像头安装位置参数及广角摄像头光路畸变参数进行各个摄像头的图像校正和图像融合来实现360度的环视影像的生成，并传输到显示屏进行实时显示。
目前的车载360度环视系统在极大程度上解决了驾驶员通过肉眼无法观察到车身周围几米的盲区，对基本驾驶如倒车、转弯、通过狭窄道路、观察高度较小的障碍物等得到了极好的解决，但是由于车辆型号的差异性及安装的局限性使得车身周围的摄像头只能安装在几个特定的位置如车头前挡、车侧后视镜下方、车尾车牌框上部等，这几个位置的局限性使得摄像头视场采集到的有效数据区域主要包含地面及高度在其安装位置以上1~2米左右的范围内，而无法完整获取车身周围的景物信息，对应更进一步的辅助驾驶感受和自媒体时代行车娱乐及更全面的行车周围环境信息记录还存在不足。同时各个摄像头安装相对独立，导致其独立工作时候的同步性无法保证，造成移动载体上多个摄像头采集的图像相关区域发生错位。
目前汽车辅助驾驶还处于发展阶段，无论是360度环视还是前置和后置行车记录仪都在尝试着完成某种特定的功能，如360环视的主旨在于解决驾驶员对于车辆周围近距离范围内的视线盲区，而前置和后置行车记录仪是为了记录行车时前后的环境信息，但正是因为各种产品的主旨差异性导致了其联动性和采集图像的同步性较差，对于车辆周围完整图像及辅助驾驶信息的获取即使搭配多个主旨不同的产品还不够。
发明内容
为克服上述技术问题，本发明提供一种车载辅助驾驶全景图像系统，包括：车顶图像采集装置、环车图像采集装置以及车内图像处理装置，所述车顶图像采集装置和所述环车图像采集装置分别通过以太网物理接口收发组件经以太网与所述车内图像处理装置连接；其中，所述车顶图像采集装置，用于采集车辆视场上半球图像数据信息，并将所述图像数据信息通过以太网传输到车内图像处理装置；所述环车图像采集装置，用于同步采集车辆的左侧、右侧、前面和后面视场的图像数据信息，并将所述图像数据信息通过以太网传输到车内图像处理装置；所述车内图像处理装置，控制所述车顶图像采集装置和环车图像采集装置同步进行图像数据的采集，并将接收到的图像数据信息进行图像融合。
优选地，所述车顶图像采集装置包括至少两个摄像头和车顶图像预处理组件，所述车顶图像预处理组件分别与所述至少两个摄像头和所述以太网物理接口收发组件分别电连接，其中：所述至少两个摄像头设置于车辆的车顶鲨鱼鳍立面上，用于对各自视场的图像进行同步拍摄；所述车顶图像预处理组件能够对所述至少两个摄像头拍摄到的图像数据信息进行缓存、预处理以及排序。
优选地，所述车顶图像采集装置包括两个摄像头，所述两个摄像头分别安装于所述鲨鱼鳍左侧和右侧立面上，所述左侧和右侧立面的夹角小于40度。
优选地，所述车顶图像采集装置包括两个摄像头，所述两个摄像头分别安装于所述鲨鱼鳍左侧、右侧立面与后侧立面的连接位置处。
优选地，所述车顶图像采集装置包括三个摄像头，所述三个摄像头分别安装于所述鲨鱼鳍的左侧、右侧和后侧立面上。
优选地，所述排序的方式为所述车顶图像采集装置的摄像头拍摄的图像数据按照所述摄像头的排列顺序和其各自分别获取的以太网数据包的时间顺序进行顺序轮循。
优选地，所述环车图像采集装置包括摄像头、环车图像预处理组件，所述环车图像预处理组件分别与所述摄像头和所述以太网物理接口收发组件电连接；其中：所述环车图像预处理组件能够对所述摄像头拍摄到的其视场范围内的图像数据信息进行缓存和预处理。
优选地，所述车内图像处理装置包括处理组件，所述处理组件与所述以太网物理接口收发组件电连接，能够产生控制所述环车图像采集装置和车顶图像采集装置的摄像头进行同步拍摄的控制指令，并对接收到的所述环车图像采集装置和车顶图像采集装置传输的图像数据信息进行图像融合处理。
优选地，所述控制指令包括系统全局时间，所述环车图像预处理组件和车顶图像预处理组件根据系统全局时间产生摄像头图像采集时序，使摄像头对其视场图像进行同步采集。
优选地，所述系统全局时间至少包括所述车内图像处理装置发送控制指令的时间以及其设定的所述车顶图像采集装置和所述环车图像采集装置的各摄像头图像采集时序的修正时间。
优选地，所述处理组件根据车顶图像采集装置传输的所述摄像头的图像数据信息的排序规则进行所述摄像头的图像数据信息的拆分，再进行图像融合处理。
优选地，所述车载辅助驾驶全景图像系统为基于FPGA的系统。
本发明还提供一种上述的车载辅助驾驶全景图像系统的获取全景图像的方法，包括以下步骤：控制指令的发送步骤，车内图像处理装置生成含有系统全局时间的控制指令，并将所述控制指令发送至车顶图像采集装置和环车图像采集装置；控制指令的解析步骤，所述车顶图像采集装置和环车图像采集装置分别对接收到的所述控制指令进行解析，解析出所述系统全局时间；摄像头的同步工作步骤，所述车顶图像采集装置和环车图像采集装置根据解析获取的系统全局时间产生各摄像头的图像采集时序，所述各摄像头同时对各自视场图像进行采集；图像数据预处理步骤，所述车顶图像采集装置和环车图像采集装置分别对各自摄像头获取的图像数据进行预处理，并分别发送至所述车内图像处理装置；图像数据融合步骤，所述车内图像处理装置对接收到的图像数据进行图像融合。
优选地，所述摄像头的同步工作步骤中还包括系统全局时间的校正步骤；所述系统全局时间至少包括所述车内图像处理装置发送控制指令的时间以及其设定的所述车顶图像采集装置和所述环车图像采集装置的各摄像头采集时序的修正时间；在所述系统全局时间的校正步骤中，所述车顶图像采集装置和环车图像采集装置分别校正其分别接收到的所述车内图像处理装置发送控制指令的时间。
优选地，在所述图像数据预处理步骤中，所述车顶图像采集装置包括至少两个摄像头，所述车顶图像采集装置对所述至少两个摄像头采集的图像数据按照其各自分别获取的以太网数据包的时间顺序进行排序。
本发明提供的车载辅助全景图像系统，实现了车辆行车可视辅助驾驶及信息记录功能一体化，具体的具有以下优势：
1、通过由车内图像处理装置提供统一的系统全局时间信息给车顶全景图像采集装置和环车图像采集装置，由这两个装置根据系统全局时间同步信息自主产生驱动高清摄像头CMOS的采集时序，可以从真正意义上实现各个摄像头采集图像帧的同步性，使得各个摄像头采集到的图像具有同时性，大大简化和避免了由于各个摄像头采集图像帧不同步带来的后继处理的麻烦，使得车辆在各种速度下多摄像头采集的图像融合误差大大减小，使得后继辅助驾驶的图像处理数据更真实有效。
2、在车顶全景图像采集装置和环车图像采集装置中明确提出避免使用图像压缩功能同时采用千兆PHY（以太网物理接口），使得图像传输的实时性大大提高，使图像数据从采集端到处理端的延时极大减小，同时也满足高清图像数据的传输带宽要求，这使得各个摄像头融合后的数据对于辅助驾驶更具备实时性，大大提高了辅助驾驶的准确和安全性。
3、车顶全景图像采集装置位于车辆鲨鱼鳍位置，大大减少了安装难度，同时位于鲨鱼鳍立面的各个高清广角摄像头可以毫无死角的覆盖车辆视场的上半球、后半球及前半球的中远距离区域。
附图说明
图1为本发明涉及的车载辅助驾驶全景图像系统结构示意图；
图2为本发明涉及的车顶图像采集装置采集图像的视场范围示意图；
图3为本发明涉及的车载辅助驾驶全景图像系统获取图像的流程图；
图4为本发明涉及的顺序轮循方法的示意图；
图5为本发明涉及的时间同步方法获取平均时延的方法示意图。
具体实施方式
下面根据附图所示实施方式阐述本发明。此次公开的实施方式可以认为在所有方面均为例示，不具限制性。本发明的范围不受以下实施方式的说明所限，仅由权利要求书的范围所示，而且包括与权利要求范围具有同样意思及权利要求范围内的所有变形。
如图1所示，本发明涉及的车载辅助驾驶全景图像系统1为基于FPGA（现场可编程门阵列）的系统，适合高速信号处理及多类型高速信号的传输，该系统包括车顶图像采集装置2、环车图像采集装置3以及车内图像处理装置4，其中车内图像处理装置4能够通过以太网分别与车顶图像采集装置2和环车图像采集装置3相连，车内图像处理装置4通过以太网与外围设备相连接。
如图1所示，车顶图像采集装置2负责采集车辆视场上半球图像的信息，并将获取的图像信息数据通过以太网传输到车内图像处理装置4。具体的，车顶图像采集装置2包括若干摄像头21、车顶图像预处理组件22以及以太网物理接口收发组件（PHY）23，其中摄像头21均为广角高清摄像头，并设置于车顶鲨鱼鳍位置上，能够减少安装难度，摄像头21至少设置2个，负责采集车辆视场上半球的图像信息，能够毫无死角的覆盖车辆视场的上半球、后半球及前半球的中远距离区域（如图2的示意图所示），例如当摄像头21设置2个时，优选每个摄像头的视角均大于200度，分别安装于车顶鲨鱼鳍的两个夹角小于40度的立面（左侧面和右侧面）上，此时两摄像头的镜头光轴的夹角不小于140度，以保证能获得完整的视野。或者，当鲨鱼鳍不满足左右立面夹角小于40度的要求时，或者鲨鱼鳍的形状会对摄像头的视野造成遮挡时，两摄像头可设置于两个对称的立面（左侧面和右侧面）的后侧位置处，即设置于两个对称的立面与第三立面（后侧面）的连接位置处；当摄像头21设置3个时，每个摄像头的视角选择大于120度即可，普通广角镜头都可以使用，且3个摄像头分别安装于鲨鱼鳍的左侧、右侧和后侧的立面上，用于完整采集车辆视场上半球的图像信息。车顶图像预处理组件22为FPGA处理装置。车顶图像采集装置2通过以太网物理接口收发组件（PHY）23接收车内图像处理装置4的控制命令，能够根据该控制命令解析出系统全局时间，并根据该系统的系统全局时间产生摄像头的图像采集时序送入摄像头21，使得各摄像头21可以与车辆上的其他摄像头同步工作，同时各摄像头21分别对其各自的视场图像进行采集。之后各摄像头21采集的各视场图像数据同时送入车顶图像预处理组件22，车顶图像预处理组件22对上述图像数据进行缓存，并对该图像数据进行预处理获取相应的图像统计参数，同时对上述图像数据进行排序；在该过程中，车顶图像预处理组件22不对上述的预处理图像数据进行压缩，而直接将未压缩的预处理后的图像数据和图像统计参数信息通过以太网物理接口收发组件（PHY）23传输到车内图像处理装置4。因为从车顶图像采集装置向外部装置传输的数据为未压缩的图像数据，传输图像数据量较大，所以以太网物理接口收发组件（PHY）23均配置为千兆级的物理接口，以满足图像数据的传输需求。
如图1所示，环车图像采集装置3负责采集车辆四周视场的图像信息，并将获取的图像数据信息通过以太网传输到车内图像处理装置4。具体的，环车图像采集装置3包括第一环车图像采集装置31、第二环车图像采集装置32、第三环车图像采集装置33以及第四环车图像采集装置34子装置，分别位于车辆前面、后面、左侧和右侧用于获取车辆四周视场的图像信息。环车图像采集装置3的各子装置的结构和功能分别相同，具体的第一至第四环车图像采集装置分别包括摄像头311～341、环车图像预处理组件312～342以及以太网物理接口收发组件（PHY）313～343；其中，摄像头311～341均为广角高清摄像头，环车图像预处理组件312～342均为FPGA处理组件。上述子装置根据车辆本身的结构进行安装，优选地，摄像头311设置在车前保险杠下方，摄像头321设置在车辆后保险杠下方或者车标下方，摄像头331和341分别设置在车辆侧面后视镜下方，且摄像头311～341视场均为向斜下方方向，以保证能拍摄到车底轮胎和车底盘边框，同时可以拍摄到车身侧面离车渐远的地面。下面以第一环车图像采集装置的结构和功能为例进行说明。
第一环车图像采集装置31通过以太网物理接口收发组件（PHY）313接收车内图像处理装置4的控制命令，能够根据该控制命令解析出系统全局时间，并根据该系统全局时间产生摄像头的图像采集时序送入摄像头311，使得摄像头311可以与车辆上的其他摄像头同步工作，同时摄像头311对其负责的车辆前面的视场图像进行采集。之后摄像头311采集的视场图像数据同时送入环车图像预处理组件312，环车图像预处理组件312对上述图像数据进行缓存，并对该图像数据进行预处理获取相应的图像统计参数；在该过程中，环车图像预处理组件312不对上述的预处理图像数据进行压缩，而直接将未压缩的预处理后的图像数据和图像统计参数信息通过以太网物理接口收发组件（PHY）313传输到车内图像处理装置4。因为从第一环车图像采集装置向外部装置传输的数据为未压缩的图像数据，传输图像数据量较大，所以以太网物理接口收发组件（PHY）313均配置为千兆级的物理接口，以满足图像数据的传输需求。
车顶图像采集装置2和环车图像采集装置3的摄像头均为高清广角摄像头，均由高清CMOS和广角光学镜头组成，且型号相同，通常高清CMOS的图像采集具有标准图像采集时序，例如720p@30（指高清720线逐行扫描，帧率是每秒30帧）、720p@60（指高清720线逐行扫描，帧率是每秒60帧），其像素分辨率为1280×720，由于高清CMOS的图像采集时序可以自己生成，也可以采用外部装置强制送入的方式获取，但是当高清CMOS自己生成图像采集时序时，由于各高清CMOS器件的差异会导致不同摄像头的图像采集时序不同步使得各个摄像头采集到的图像帧的不同步，从而使得安装在同一个移动载体（车辆）上的多个摄像头拍摄到的图像之间出现错位，所以本发明的高清CMOS的图像采集时序采用外部强制送入的方式使得摄像头采集到的图像帧实现同步。在后述说明书中会具体说明车顶图像采集装置2和环车图像采集装置3的各摄像头实现同步的方法。
如图1所示，车内图像处理装置4能够通过以太网接收其他的装置传输的数据并负责将车顶图像采集装置2和环车图像采集装置3的图像数据进行处理、显示以及存储，并能够控制其他装置（车顶图像采集装置2、环车图像采集装置3和其他外围设备）的工作。具体的，车内图像处理装置4包括处理组件41、存储组件42、显示组件43及若干以太网物理接口收发组件（PHY）44，其中，处理组件41为FPGA处理装置，能够生成系统全局时间及对车顶图像采集装置2、环车图像采集装置3的控制指令，通过以太网物理接口收发组件（PHY）44发送至车顶图像采集装置2和环车图像采集装置3，同时接收上述装置发送来的图像数据；处理组件41能够根据车顶图像采集装置2传输的各摄像头数据的排列规则进行各个摄像头数据的拆分，并将车顶图像采集装置2的图像数据进行融合、缓存处理；同时还能够根据环车图像采集装置3的各子装置的分布位置对其各自采集到的图像数据进行融合、缓存处理；此外，处理组件41还能够对上述图像数据进行特征识别等自动辅助驾驶的图像处理。上述处理组件41获取的融合的图像能够根据用户或者系统的显示需求在显示组件43上进行实时显示；同时，处理组件41将上述获取的融合图像进行压缩，压缩后的图像根据乒乓操作写入存储组件42中。另外，车内图像处理装置4还可以通过以太网与其他的外围设备5进行通信，根据与外围设备电连接的控制装置（未图示）的指令将指定的图像数据及处理结果发送到指定的外围设备，该外围设备根据该数据信息进行相应处理或操作。以太网物理接口收发组件（PHY）44的数量与车顶图像采集装置2、环车图像采集装置3中配制的以太网物理收发组件（PHY）的数量以及外围设备的数量相对应，或者更多，其也相应的配置为千兆级的物理接口，以满足图像数据的传输需求。
图3为本发明涉及的车载辅助驾驶全景图像系统获取全景图像的方法流程图，车辆在电源开启状态下，车内图像处理装置4生成对车顶、环车图像采集装置进行控制的、含有系统全局时间的控制指令，并通过以太网分别向车顶图像采集装置2和环车图像采集装置3发送该控制指令，该控制指令包括系统全局时间信息（步骤S1）。车顶图像采集装置2和环车图像采集装置3接收到控制指令后，分别进行解析，解析出系统全局时间，以使得车顶图像采集装置2和环车图像采集装置3都在由车内图像处理装置4定制的时间域下工作，该系统全局时间的传递可以采用IEEE公知以太网协议GPTP或者1588协议（步骤S2）。车顶图像采集装置2和环车图像采集装置3根据解析获取的全局时间产生高清CMOS图像采集时序并将该采集时序送入摄像头，使得各摄像头进行同步工作，分别同时对各自的视场图像进行采集（步骤S3）。车顶图像采集装置2的车顶图像预处理组件22对各摄像头21获取的图像数据进行缓存，并进行预处理以获取各自图像的统计参数，同时对各摄像头21获取的图像数据进行排序，排序的方式为各摄像头21的图像数据按照摄像头排列顺序以及各摄像头获取以太网数据包的时间顺序进行顺序轮循；环车图像采集装置3的各子装置的环车图像预处理组件对摄像头获取的图像数据分别进行缓存，并进行预处理以获取图像数据的统计参数（步骤S4）。在步骤S4中的顺序轮循方式以图4为例进行说明，图4中环车图像采集装置2包括至少三个摄像头21（分别标记为摄像头1、摄像头2和摄像头3），摄像头1、2和3获取的图像数据分别以多个数据包的形式进行缓存及标记，分别标记为数据包1、数据包2、数据包3等，最终以摄像头1数据包1、摄像头2数据包1、摄像头3数据包1、摄像头1数据包2……的规律进行排序，此种排序方法能够最大限度的减少内置缓存资源的占用。之后车顶图像采集装置2和环车图像采集装置3将步骤S4中未压缩的预处理后的图像数据和统计参数等信息通过以太网发送至车内图像处理装置4（步骤S5）。车内图像处理装置4根据车顶图像采集装置2传输的各摄像头数据的排列规则进行各个摄像头数据的拆分，并将车顶图像采集装置2的图像数据进行融合、缓存处理；车内图像处理装置4根据环车图像采集装置3的各子装置的分布位置对其各自采集到的图像数据进行融合、缓存处理（步骤S6），本申请采用的图像融合方式均为公知的图像数据融合方法，以此便实现环车图像采集装置3图像数据和车顶图像采集装置2图像数据的360度环视。融合处理后的图像数据根据需求显示于显示组件43上，并通过公知压缩技术和文件系统存入存储组件42，或者直接存储于外部存储设备上（步骤S7）。
此外，融合处理后的图像数据可以根据外部主控设备的显示需求按照车顶图像采集装置2对应的图像融合数据或者环车图像采集装置3对应的图像融合数据在显示器上显示。车内图像处理装置根据外围主控设备的指令也可以从存储组件42或者外部存储设备直接读取对应的数据并传递给外围设备。
在系统工作期间，车内图像处理装置4产生其内部主时钟（本地时钟）以及产生系统内各装置需要同步的主时间，车顶和环车图像预处理组件根据各自的本地时钟产生本地时间，由于各个装置的本地时钟必然存在不一致性，因此其各自的本地时间与主时间必然产生随真实时间增大而逐步增大的误差。因此系统设置每隔一段时间t，车内图像处理装置4就发送一次控制命令告知车顶和环车图像预处理组件需要同步的主时间。在步骤S3中，采用的时间同步的方法为时间粗同步方法，即车内图像处理装置4通过控制命令对车顶和环车图像预处理组件发送此时车内图像处理装置4的时间time1并告知车顶和环车图像预处理组件在时间time2开始进行各个摄像头采集时序的修正，车顶和环车图像预处理组件接收到控制命令后将本地时间更改为time1，并在time2对摄像头采集时序进行同步修正。本申请所涉及的系统全局时间至少包括车内图像处理装置发送控制指令的时间和车顶和环车图像预处理组件需要同步的时间。
由于车内图像处理装置是在发出控制命令时认为的时间为time1，而车顶和环车图像预处理组件接收到控制命令时认为的时间为time1’，该时间time1’与time1必存在一定的时间差（即后文所涉及的平均时延），这是由于各个装置之间存在由于传输链路的延时导致的时间差，这个时间差根据具体物理链路可能会在微秒甚至毫秒级，对各个摄像头采集图像的同步性会造成一定的影响，因此需要对time1进行精确校正获取时间time1’。获取平均时延的过程示意图如图5所示，车内图像处理装置4每隔一段时间（如1秒），对车顶和环车图像预处理组件发送pdelay_req数据包，其中记录了从车内图像处理装置发出此数据包的时间t 1；车顶和环车图像预处理组件接收到pdelay_req数据包后记录接收到的时间t 2，并对车内图像预处理组件发送pdelay_resp数据包，其中记录了接收到pdelay_req的时间t 2；接着再对车内图像预处理组件发送pdelay_resp_follow_up数据包，其中记录了pdelay_respq发送的时间t 3；车内图像处理装置接收到pdelay_resp数据包时记录接收到的时间t 4，则可根据如下的公式计算出物理链路在这几次通讯中产生的平均延时D，并通过D对本地时间time1进行微调修正，使得各个装置的时间同步达到极高的精度。上述平均时延D的计算公式如下：
t ir=t 2-t 1；
t ri=t 4-t 3；
D=(t ir+t ri)/2=((t 4-t 1)-(t 3-t 2))/2。
经过对时间time1微调修正后，使得车顶和环车图像预处理组件对各自的时钟分别进行同步调整，再由车顶和环车图像预处理组件根据车内图像处理装置4设定的同步时间time2开始各自在约定的工作时钟频率下产生的高清CMOS时序具有同步性，传输到其对应的摄像头CMOS中最多产生纳秒级的线延时，从而使得整个系统的摄像头采集的图像延时在纳秒级，这使得车辆在120km/h的情况下由线延时和各装置微秒级的同步差异导致的图像错位小于毫米级。以车辆运行速度为120km/h为例进行计算如下：设系统由公知授时协议导致的同步差异在20微秒，线延时在纳秒级忽略不计，车速120km/h换算为33333mm/s，两者相乘得出图像错位小于0.6mm。
在上述实施方案中车载辅助驾驶全景图像系统为基于FPGA的系统，其内部的处理装置或组件均为FPGA装置，以适应高速信号处理和传输，但不限于此。还可以选择现有的处理速度较快的DSP代替系统中的FPGA装置，但是采用DSP时需要通常需要搭配其他的外围设备如以太网交换芯片并配合多个DSP实现，造成系统整体成本较高，结构复杂，所以本申请优选的实施方式为基于FPGA的车载辅助驾驶全景图像系统。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种车载辅助驾驶全景图像系统，包括：车顶图像采集装置、环车图像采集装置以及车内图像处理装置，所述车顶图像采集装置和所述环车图像采集装置分别通过以太网物理接口收发组件经以太网与所述车内图像处理装置连接；其中，
所述车顶图像采集装置，用于采集车辆视场上半球图像数据信息，并将所述图像数据信息通过以太网传输到车内图像处理装置；
所述环车图像采集装置，用于同步采集车辆的左侧、右侧、前面和后面视场的图像数据信息，并将所述图像数据信息通过以太网传输到车内图像处理装置；
所述车内图像处理装置，控制所述车顶图像采集装置和环车图像采集装置同步进行图像数据的采集，并将接收到的图像数据信息进行图像融合。
2.根据权利要求1所述的车载辅助驾驶全景图像系统，其特征在于：
所述车顶图像采集装置包括至少两个摄像头和车顶图像预处理组件，所述车顶图像预处理组件分别与所述至少两个摄像头和所述以太网物理接口收发组件分别电连接，其中：
所述至少两个摄像头设置于车辆的车顶鲨鱼鳍立面上，用于对各自视场的图像进行同步拍摄；
所述车顶图像预处理组件能够对所述至少两个摄像头拍摄到的图像数据信息进行缓存、预处理以及排序。
3.根据权利要求2所述的车载辅助驾驶全景图像系统，其特征在于：
所述车顶图像采集装置包括两个摄像头，所述两个摄像头分别安装于所述鲨鱼鳍左侧和右侧立面上，所述左侧和右侧立面的夹角小于40度。
4.根据权利要求2所述的车载辅助驾驶全景图像系统，其特征在于：
所述车顶图像采集装置包括两个摄像头，所述两个摄像头分别安装于所述鲨鱼鳍左侧、右侧立面与后侧立面的连接位置处。
5.根据权利要求2所述的车载辅助驾驶全景图像系统，其特征在于：
所述车顶图像采集装置包括三个摄像头，所述三个摄像头分别安装于所述鲨鱼鳍的左侧、右侧和后侧立面上。
6.根据权利要求2～5中任一项所述的车载辅助驾驶全景图像系统，其特征在于：
所述排序的方式为所述车顶图像采集装置的摄像头拍摄的图像数据按照所述摄像头的排列顺序和其各自分别获取的以太网数据包的时间顺序进行顺序轮循。
7.根据权利要求6所述的车载辅助驾驶全景图像系统，其特征在于：
所述环车图像采集装置包括摄像头、环车图像预处理组件，所述环车图像预处理组件分别与所述摄像头和所述以太网物理接口收发组件电连接；其中：
所述环车图像预处理组件能够对所述摄像头拍摄到的其视场范围内的图像数据信息进行缓存和预处理。
8.根据权利要求7所述的车载辅助驾驶全景图像系统，其特征在于：
所述车内图像处理装置包括处理组件，所述处理组件与所述以太网物理接口收发组件电连接，能够产生控制所述环车图像采集装置和车顶图像采集装置的摄像头进行同步拍摄的控制指令，并对接收到的所述环车图像采集装置和车顶图像采集装置传输的图像数据信息进行图像融合处理。
9.根据权利要求8所述的车载辅助驾驶全景图像系统，其特征在于：
所述控制指令包括系统全局时间，所述环车图像预处理组件和车顶图像预处理组件根据系统全局时间产生摄像头图像采集时序，使摄像头对其视场图像进行同步采集。
10.根据权利要求9所述的车载辅助驾驶全景图像系统，其特征在于：
所述系统全局时间至少包括所述车内图像处理装置发送控制指令的时间以及其设定的所述车顶图像采集装置和所述环车图像采集装置的各摄像头图像采集时序的修正时间。
11.根据权利要求10所述的车载辅助驾驶全景图像系统，其特征在于：
所述处理组件根据车顶图像采集装置传输的所述摄像头的图像数据信息的排序规则进行所述摄像头的图像数据信息的拆分，再进行图像融合处理。
12.根据权利要求1～5中任一项所述的车载辅助驾驶全景图像系统，其特征在于：
所述车载辅助驾驶全景图像系统为基于FPGA的系统。
13.一种权利要求1～12中任一项所述的车载辅助驾驶全景图像系统的获取全景图像的方法，包括以下步骤：
控制指令的发送步骤，车内图像处理装置生成含有系统全局时间的控制指令，并将所述控制指令发送至车顶图像采集装置和环车图像采集装置；
控制指令的解析步骤，所述车顶图像采集装置和环车图像采集装置分别对接收到的所述控制指令进行解析，解析出所述系统全局时间；
摄像头的同步工作步骤，所述车顶图像采集装置和环车图像采集装置根据解析获取的系统全局时间产生各摄像头的图像采集时序，所述各摄像头同时对各自视场图像进行采集；
图像数据预处理步骤，所述车顶图像采集装置和环车图像采集装置分别对各自摄像头获取的图像数据进行预处理，并分别发送至所述车内图像处理装置；
图像数据融合步骤，所述车内图像处理装置对接收到的图像数据进行图像融合。
14.根据权利要求13所述的获取全景图像的方法，其特征在于：
所述摄像头的同步工作步骤中还包括系统全局时间的校正步骤；
所述系统全局时间至少包括所述车内图像处理装置发送控制指令的时间以及其设定的所述车顶图像采集装置和所述环车图像采集装置的各摄像头采集时序的修正时间；
在所述系统全局时间的校正步骤中，所述车顶图像采集装置和环车图像采集装置分别校正其分别接收到的所述车内图像处理装置发送控制指令的时间。
15.根据权利要求14所述的获取全景图像的方法，其特征在于：
在所述图像数据预处理步骤中，所述车顶图像采集装置包括至少两个摄像头，所述车顶图像采集装置对所述至少两个摄像头采集的图像数据按照其各自分别获取的以太网数据包的时间顺序进行排序。
CN201710457268.1A 2017-06-16 2017-06-16 一种车载辅助驾驶全景图像系统及获取全景图像的方法 Active CN107235008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710457268.1A CN107235008B (zh) 2017-06-16 2017-06-16 一种车载辅助驾驶全景图像系统及获取全景图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710457268.1A CN107235008B (zh) 2017-06-16 2017-06-16 一种车载辅助驾驶全景图像系统及获取全景图像的方法

Publications (2)

Publication Number Publication Date
CN107235008A true CN107235008A (zh) 2017-10-10
CN107235008B CN107235008B (zh) 2024-02-23

Family

ID=59987528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710457268.1A Active CN107235008B (zh) 2017-06-16 2017-06-16 一种车载辅助驾驶全景图像系统及获取全景图像的方法

Country Status (1)

Country Link
CN (1) CN107235008B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109927629A (zh) * 2017-12-18 2019-06-25 丰田自动车株式会社 用于控制投影设备的显示控制设备、显示控制方法及车辆
CN112738417A (zh) * 2020-12-24 2021-04-30 浙江赫千电子科技有限公司 一种车载视频的数据采集存储显示方法
CN112810553A (zh) * 2021-01-22 2021-05-18 中汽创智科技有限公司 基于自适应平台汽车开放系统架构的数据可视化系统及方法
CN113212305A (zh) * 2020-01-21 2021-08-06 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统的使用方法
CN113212304A (zh) * 2020-01-21 2021-08-06 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统
CN113259082A (zh) * 2021-06-08 2021-08-13 中汽创智科技有限公司 一种异类传感器同步方法、装置、车辆及存储介质
CN113212305B (zh) * 2020-01-21 2024-05-31 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统的使用方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128816A1 (en) * 2002-01-08 2003-07-10 Pascal Lumbroso Method and system for synchronizing a plurality of apparatus
CN200944633Y (zh) * 2006-08-15 2007-09-05 沈洪 多场景摄像装置
JP2010166196A (ja) * 2009-01-14 2010-07-29 Clarion Co Ltd 車両周辺監視装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
US8838846B1 (en) * 2013-06-27 2014-09-16 Crystal Instruments Corporation Autonomous, multi-channel USB data acquisition transducers
CN105067226A (zh) * 2015-07-31 2015-11-18 南京理工大学 一种脉冲激光器远场光轴稳定性检测方法
US20160212307A1 (en) * 2015-01-20 2016-07-21 Hyundai Motor Corporation Method and apparatus for controlling sychronization of camera shutters in in-vehicle ethernet communication network
CN105991992A (zh) * 2016-06-21 2016-10-05 浩云科技股份有限公司 全空间同步监控摄像系统
CN207140946U (zh) * 2017-06-16 2018-03-27 上海赫千电子科技有限公司 一种车载辅助驾驶全景图像系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128816A1 (en) * 2002-01-08 2003-07-10 Pascal Lumbroso Method and system for synchronizing a plurality of apparatus
CN200944633Y (zh) * 2006-08-15 2007-09-05 沈洪 多场景摄像装置
JP2010166196A (ja) * 2009-01-14 2010-07-29 Clarion Co Ltd 車両周辺監視装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
US8838846B1 (en) * 2013-06-27 2014-09-16 Crystal Instruments Corporation Autonomous, multi-channel USB data acquisition transducers
US20160212307A1 (en) * 2015-01-20 2016-07-21 Hyundai Motor Corporation Method and apparatus for controlling sychronization of camera shutters in in-vehicle ethernet communication network
CN106210503A (zh) * 2015-01-20 2016-12-07 现代自动车株式会社 车载以太网通信网络中相机快门同步的控制方法和设备
CN105067226A (zh) * 2015-07-31 2015-11-18 南京理工大学 一种脉冲激光器远场光轴稳定性检测方法
CN105991992A (zh) * 2016-06-21 2016-10-05 浩云科技股份有限公司 全空间同步监控摄像系统
CN207140946U (zh) * 2017-06-16 2018-03-27 上海赫千电子科技有限公司 一种车载辅助驾驶全景图像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许勇, 西安电子科技大学出版社, pages: 162 - 165 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109927629A (zh) * 2017-12-18 2019-06-25 丰田自动车株式会社 用于控制投影设备的显示控制设备、显示控制方法及车辆
CN109927629B (zh) * 2017-12-18 2022-07-08 丰田自动车株式会社 用于控制投影设备的显示控制设备、显示控制方法及车辆
CN113212305A (zh) * 2020-01-21 2021-08-06 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统的使用方法
CN113212304A (zh) * 2020-01-21 2021-08-06 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统
CN113212305B (zh) * 2020-01-21 2024-05-31 上海赫千电子科技有限公司 一种应用于自驾旅游的车顶摄像头系统的使用方法
CN112738417A (zh) * 2020-12-24 2021-04-30 浙江赫千电子科技有限公司 一种车载视频的数据采集存储显示方法
CN112810553A (zh) * 2021-01-22 2021-05-18 中汽创智科技有限公司 基于自适应平台汽车开放系统架构的数据可视化系统及方法
CN112810553B (zh) * 2021-01-22 2023-10-27 中汽创智科技有限公司 基于自适应平台汽车开放系统架构的数据可视化系统
CN113259082A (zh) * 2021-06-08 2021-08-13 中汽创智科技有限公司 一种异类传感器同步方法、装置、车辆及存储介质
CN113259082B (zh) * 2021-06-08 2021-11-30 中汽创智科技有限公司 一种异类传感器同步方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN107235008B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN207140946U (zh) 一种车载辅助驾驶全景图像系统
CN107235008A (zh) 一种车载辅助驾驶全景图像系统及获取全景图像的方法
CN105763854B (zh) 一种基于单目摄像头的全景成像系统及其成像方法
CN107124604B (zh) 一种利用双摄像头实现三维图像的方法及装置
CN106385530B (zh) 一种双光谱摄像机
CN101673473A (zh) 基于dsp的全景视觉泊车辅助装置及生成全景视觉图像的方法
CN105376530B (zh) 一种基于固定位置的全景视频图像生成装置
CN105991992A (zh) 全空间同步监控摄像系统
CN202818442U (zh) 全数字全景摄像机
CN106303179A (zh) 一种用于移动终端的全景镜头
CN106791288A (zh) 高速高清cmos成像系统
CN103905691B (zh) 透雨雪雾获取清晰图像的方法和摄像系统
US10672276B2 (en) Image display system and riding device
CN112040140A (zh) 一种基于光场的宽视场高分辨混合成像装置
CN105554592B (zh) 一种实现高帧率视频图像采集传输的方法及系统
CN109302567A (zh) 摄像头图像低延迟同步系统及图像低延迟同步方法
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
TWM348034U (en) Automobile monitoring device with long and short lens
CN212012915U (zh) 一种双目图像和imu数据高速采集装置
CN203872281U (zh) 一种宽视野前视系统
CN206649565U (zh) 全景摄像机和行车记录仪
CN115529450A (zh) 基于光场的密集摄像机实时采集设备及数据预处理方法
CN105857179A (zh) 一种遥控行驶装置用的转向辅助方法及装置
CN205883424U (zh) 一种车辆行进全景系统
CN212012914U (zh) 一种双目感知系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant