CN107277445A - 一种车载设备 - Google Patents

一种车载设备 Download PDF

Info

Publication number
CN107277445A
CN107277445A CN201710519098.5A CN201710519098A CN107277445A CN 107277445 A CN107277445 A CN 107277445A CN 201710519098 A CN201710519098 A CN 201710519098A CN 107277445 A CN107277445 A CN 107277445A
Authority
CN
China
Prior art keywords
data
image processing
binocular
image
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710519098.5A
Other languages
English (en)
Other versions
CN107277445B (zh
Inventor
刘均
郑亚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Launch Technology Co Ltd
Original Assignee
Shenzhen Launch Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Launch Technology Co Ltd filed Critical Shenzhen Launch Technology Co Ltd
Priority to CN201710519098.5A priority Critical patent/CN107277445B/zh
Publication of CN107277445A publication Critical patent/CN107277445A/zh
Application granted granted Critical
Publication of CN107277445B publication Critical patent/CN107277445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种车载设备,所述车载设备包括:采集转换装置,第一图像处理装置、第二图像处理装置、显示器;其中,采集转换装置,用于将获取到的初始环境数据处理为目标环境数据,并将目标环境数据发送给第一图像处理装置;第一图像处理装置,用于获得目标环境数据中的多个环视数据,并将多个环视数据封装为待处理数据包传输给第二图像处理装置;第二图像处理装置,用于在待处理数据包中提取多个环视数据,并对多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将全方位环视视频数据显示在显示器;第二图像处理装置具备图像处理功能和视频压缩功能。采用本发明,可丰富车载设备的数据处理功能,并降低硬件设计成本。

Description

一种车载设备
技术领域
本发明涉及计算机应用程序领域,尤其涉及一种车载设备。
背景技术
随着科学技术的飞速发展,人们的生活水平得以迅速提高,目前,已有越来越多的用户倾向于自驾出行,但自驾出行中的安全问题通常会成为人们关注的重点。于是,基于对汽车安全性的高需求,大多数的用户往往会在购车时就将主动紧急制动系统纳入安全需求范围。另外,根据瑞士公司的一项调查数据显示,对于前向碰撞,如果能够提前2秒察觉危险并提醒驾驶员,那么减少的事故发生概率在95%以上,而提前1.5秒进行预警,前车追尾以及转弯碰撞事故也能降低至10%。鉴于此,具备ADAS(Advanced Driver AssistantSystems,高级驾驶辅助系统)的汽车可以在实时前向防碰撞监控预警、车道检测预警、车道偏离预警、行人防碰撞预警等多方面提升驾驶安全。
但是,现有的基于现场可编程逻辑阵列FPGA的ADAS方案,仅仅具备ADAS前向防碰撞监控预警、车道检测预警、车道偏离预警和行人防碰撞预警功能,即通过双目摄像头实时采集高速行驶时的前向双目数据,并对其进行单一的图像数据处理。然而在行车的过程中往往还会存在突然出现在车辆周围的障碍物,此时,由于FPGA处理功能的限制,即不具备视频编解码功能,进而无法对环视数据进行保存,另外,该环视数据会占用大量的FPGA逻辑资源,进而会严重影响FPGA的硬件设计成本,并会严重影响ADAS系统的数据处理速度,以降低系统性能。
发明内容
本发明实施例所要解决的技术问题在于,提供一种车载设备,可丰富车载设备的数据处理功能,并降低硬件设计成本,进而可提升系统性能。
为了解决上述技术问题,本发明实施例提供了一种车载设备,所述车载设备包括:采集转换装置,第一图像处理装置、第二图像处理装置、显示器;
所述采集转换装置与所述第一图像处理装置相连,所述第一图像处理装置与所述第二图像处理装置相连,所述第二图像处理装置与所述显示器相连;
所述采集转换装置,用于获取初始环境数据,并将所述初始环境数据处理为目标环境数据,并将所述目标环境数据发送给所述第一图像处理装置;
所述第一图像处理装置,用于将所述目标环境数据进行数据划分,以获得所述目标环境数据中的多个环视数据,并将所述多个环视数据封装为待处理数据包,并将所述待处理数据包传输给所述第二图像处理装置;
所述第二图像处理装置,用于在所述待处理数据包中提取所述多个环视数据,并对所述多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将所述全方位环视视频数据显示在所述显示器;所述第二图像处理装置具备图像处理功能和视频压缩功能。
其中,所述采集转换装置包括:数据采集器、数据连接器以及数据转换器;
所述数据采集器和所述数据连接器相连,且所述数据连接器和所述数据转换器相连,且所述数据转换器和所述第一图像处理装置相连;
所述数据连接器,用于从所述数据采集器获取初始环境数据,并将所述初始环境数据通过模拟高清AHD接口转换成模拟高清数据,并将所述模拟高清数据发送给所述数据转换器;
所述数据转换器,用于对所述高清模拟数据转进行色彩编码,以形成目标环境数据,并通过BT656接口将所述目标环境数据发送给所述第一图像处理装置。
其中,所述第一图像处理装置包括现场可编程门阵列FPGA和指令集微处理器ARM;
所述FPGA和所述ARM相连,所述ARM和所述第二图像处理装置相连,所述ARM和所述采集转换装置相连;
所述ARM,用于将所述采集转换装置发送的所述目标环境数据进行数据划分,以将所述目标环境数据划分为多个环视数据和多个双目数据;
所述ARM,还用于在所述目标环境数据中提取所述多个环视数据,并将所述多个环视数据封装为待处理数据包,并通过BT656接口将所述待处理数据包传输给所述第二图像处理装置;
所述ARM,还用于在所述目标环境数据中提取所述多个双目数据,并将所述多个双目数据发送给所述FPGA;
所述FPGA,用于对所述多个双目数据进行图像拼接,并形成双目图像拼接结果,并将所述双目图像拼接结果返回给所述ARM。
其中,所述ARM,还用于根据双目图像拼接结果识别拼接后的双目图像数据中是否携带障碍物,若判断为是,则生成第一告警指令,并将所述第一告警指令通过通用异步收发UART接口传输给所述第二图像处理装置,若判断为否,则将所述双目图像数据通过通用串行总线USB接口传输给第二图像处理装置。
其中,所述第二图像处理装置包括:环视数据接口、数字信号处理器DSP和视频编解码器;
所述环视数据接口与所述第一图像处理装置相连,所述环视数据接口与所述DSP相连,所述DSP和所述视频编解码器相连,所述视频编解码器和所述显示器相连;
所述环视数据接口,用于接收所述第一图像处理装置发送的所述待处理数据包,并将所述待处理数据包传输给所述DSP;
所述DSP,用于在所述待处理数据包中提取所述多个环视数据,并利用数字信号处理技术对所述多个环视数据进行盲点检测和360度环视图像拼接,以形成全方位环视视频数据,并将所述全方位环视视频数据传输给所述视频编解码器;
所述视频编解码器,用于将所述全方位环视视频数据进行图像压缩,并将图像压缩后的全方位环视视频数据显示在所述显示器,并同步将将压缩处理后的环视视频图像存储在本地存储器。
其中,第二图像处理装置还包括告警信息接口;
所述告警信息接口与所述第一图像处理装置相连,所述告警信息接口和所述DSP相连;
所述告警信息接口,用于在未接收到所述第一图像处理装置通过UART接口传输的第一告警指令时,从所述DSP获取所述全方位环视视频数据,并检测所述全方位环视视频数据中是否携带障碍物,并在检测到所述障碍物时生成第二告警指令,并根据所述第二告警指令生成环视告警信息,并将所述环视告警信息通过电平转换器传输给告警器。
其中,所述告警信息接口,还用于在接收到所述第一图像处理装置通过UART接口传输的第一告警指令时,在预设的优先级规则中根据所述第一告警指令和所述第二告警指令确定目标告警指令,并根据所述目标告警指令生成目标告警信息,并将所述目标告警信息通过所述电平转换器发送给所述告警器;
其中,所述目标告警信息为双目告警信息或所述环视告警信息。
其中,第二图像处理装置还包括双目数据接口;
所述双目数据接口与所述第一图像处理装置相连,所述双目数据接口与所述显示器相连;
所述双目数据接口,用于接收所述第一图像处理装置通过USB接口传输的双目图像数据,并将所述双目图像数据传输给所述显示器进行显示。
可选的,所述第二图像处理装置,还用于将通过USB接口接收到的双目图像数据和所述全方位环视视频数据进行数据融合,并根据融合后的融合图像数据生成可行驶区域图像,并将所述可行驶区域图像通过高清晰度多媒体接口HDMI在所述显示器进行显示。
其中,所述数据采集器包括至少一组监测范围分别为至少第一角度的双目摄像头和至少4个监测范围分别为至少第二角度的环视摄像头;其中,所述双目摄像头为用于采集双目数据的摄像头,所述环视摄像头为用于采集环视数据的摄像头。
由上可见,实施本发明实施例,具有如下有益效果:所述采集转换装置,首先用于获取初始环境数据,并将所述初始环境数据处理为目标环境数据,并将所述目标环境数据发送给所述第一图像处理装置;然后,所述第一图像处理装置,用于将所述目标环境数据进行数据划分,以获得所述目标环境数据中的多个环视数据,并将所述多个环视数据封装为待处理数据包,并将所述待处理数据包传输给所述第二图像处理装置;最后,所述第二图像处理装置,用于在所述待处理数据包中提取所述多个环视数据,并对所述多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将所述全方位环视视频数据显示在所述显示器;所述第二图像处理装置具备图像处理功能和视频压缩功能。采用本发明,通过引入具有视频数据编码功能的第二图像处理装置,可缓解环视数据对FPGA的逻辑资源的占用率,以降低FPGA的硬件设计成本,并可丰富车载设备的数据处理功能,以提升系统性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车载设备的结构示意图;
图2是本发明实施例提供的另一种车载设备的结构示意图;
图3是本发明实施例提供的一种第一图像处理装置的结构示意图;
图4是本发明实施例提供的一种第二图像处理装置的结构示意图;
图5是本发明实施例提供的另一种第二图像处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
以下分别进行详细说明。
请参见图1,是本发明实施例提供的一种车载设备的结构示意图。如图1所示,所述车载设备1至少包括:采集转换装置10,第一图像处理装置20、第二图像处理装置30、显示器40;
其中,所述采集转换装置10与所述第一图像处理装置20相连,所述第一图像处理装置20与所述第二图像处理装置30相连,所述第二图像处理装置30与所述显示器40相连;
所述采集转换装置10,用于获取初始环境数据,并将所述初始环境数据处理为目标环境数据,并将所述目标环境数据发送给所述第一图像处理装置20;
所述第一图像处理装置20,用于将所述目标环境数据进行数据划分,以获得所述目标环境数据中的多个环视数据,并将所述多个环视数据封装为待处理数据包,并将所述待处理数据包传输给所述第二图像处理装置30;
所述第二图像处理装置30,用于在所述待处理数据包中提取所述多个环视数据,并对所述多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将所述全方位环视视频数据显示在所述显示器40;
其中,所述第二图像处理装置30具备图像处理功能和视频压缩功能。
可见,所述第一图像处理装置20仅仅对提取到的所述多个环视数据进行封装,并将封装后的待处理数据包发送给所述第二图像处理装置30,以缓解多个环视数据对所述第一图像处理装置的资源占用率;另外,通过引入所述第二图像处理装置30,可进一步提升系统性能,从而可提升车载设备1对所述多个环视数据的数据处理能力,另外,通过对图像拼接后的全方位环视视频数据进行图像压缩,可以在保证图片质量的同时,进一步降低对所述环视视频图像进行存储的空间占有量,从而可在实现对360度环视数据的记录与存储的同时,一并实现行人监测、车道偏离和可行驶区域监测等功能。
由上可见,所述采集转换装置10,首先用于获取初始环境数据,并将所述初始环境数据处理为目标环境数据,并将所述目标环境数据发送给所述第一图像处理装置20;然后,所述第一图像处理装置20,用于将所述目标环境数据进行数据划分,以获得所述目标环境数据中的多个环视数据,并将所述多个环视数据封装为待处理数据包,并将所述待处理数据包传输给所述第二图像处理装置30;最后,所述第二图像处理装置30,用于在所述待处理数据包中提取所述多个环视数据,并对所述多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将所述全方位环视视频数据显示在所述显示器40;所述第二图像处理装置30具备图像处理功能和视频编解码功能。采用本发明,通过引入具有视频数据编码功能的第二图像处理装置30,可缓解环视数据对可编程逻辑门阵列FPGA的逻辑资源的占用率,以降低FPGA的硬件设计成本,并可丰富车载设备的数据处理功能,以提升系统性能。
进一步地,请参见图2,是本发明实施例提供的另一种车载设备的结构示意图。如图2所示,所述车载设备1包含上述图1所对应实施例中的所述第一图像处理装置20、第二图像处理装置30、显示器40:进一步地,所述车载设备1还包括数据采集器101、数据连接器102以及数据转换器103,所述数据采集器101、数据连接器102以及数据转换器103可应用于上述图1所对应实施例中的所述采集转换装置10;
如图2所示,所述数据采集器101和所述数据连接器102相连,且所述数据连接器102和所述数据转换器103相连,且所述数据转换器103和所述第一图像处理装置20相连;
此外,如图2所示,所述第一图像处理装置20分别与数据转换器103、2×CAN(2路控制器局域网络)收发器、32位DDR3(第三代双倍速率同步动态随机存储器,由于处理的图像数据的带宽很大,所以采用外置DDR芯片扩展带宽)、调试UART(通用异步收发)接口、PHY(物理层)、调试TF Card(快闪存储卡)、6轴传感器(包含3轴陀螺仪和3轴加速度传感器,用于测量车身的加速度和方向角)、QSPI FLASH(四线制串行外设接口(SPI)闪存,可以作为第一图像处理装置20的BOOT启动芯片)相连;
进一步地,如图2所示,所述第二图像处理装置30分别与第一图像处理装置20、RTC(实时时钟,用于在断电情况下保存UTC时间)、1×DDR3(用于扩展内存)、本地存储器、显示器40、FLASH(闪存)、电平转换器、SPEAKER(喇叭)、WIFI&BT(无线连接&蓝牙,可用于人机交互)相连;
其中,所述数据采集器101包括至少一组监测范围分别为至少第一角度的双目摄像头和至少4个监测范围分别为至少第二角度的环视摄像头;
其中,所述双目摄像头中的每个摄像头的可视范围至少为40度(通常可视范围为40度到45度),且通过两个摄像头之间的间距可进一步实现双目测距功能,即通过双目测距可进一步确定障碍物距离当前行驶车辆的距离,从而可制定基于双目测距的可行驶区域图像,并同步进行语音提醒;其中所述环视摄像头由4个摄像头构成,每个摄像头的监控范围可为130度到180度,通常采用监控角度为170度(第二角度)的环视摄像头,进而可实现360度环视数据的监控与采集;
其中,所述双目摄像头为用于采集双目数据的摄像头,所述环视摄像头为用于采集环视数据的摄像头。
所述数据连接器102,用于从所述数据采集器获取初始环境数据,并将所述初始环境数据通过模拟高清AHD接口转换成模拟高清数据,并将所述模拟高清数据发送给所述数据转换器;
其中,所述数据连接器102为24针连接器(24pin连接器),可用于连接两个采集双目数据的摄像头和4个用于采集环视数据的摄像头;
其中,所述初始环境数据包括:多个环视数据和多个双目数据。
所述数据转换器103,用于对所述高清模拟数据转进行色彩编码,以形成目标环境数据,并通过BT656接口将所述目标环境数据发送给所述第一图像处理装置20;
其中,所述数据转换器103可为NVP6124B芯片,如图2所示,所述数据转换器103可通过AHD接口与所述数据连接器102相连,所述数据转换器103还可通过BT656接口与所述第一图像处理装置20相连;
其中,所述色彩编码是指对所述高清模拟数据进行明亮度和色度调整,进而生成能向后兼容老式黑白电视的YUV格式的彩色视频信号,即目标环境数据,其中,Y表示明亮度,即灰阶值;U和V则用于表示色度,作用是描述影像色彩及饱和度;
因此,以彩色电视为例,可采用YUV格式的彩色视频信号中的亮度信号Y解决彩色电视机与黑白电视机的兼容问题,进而可使黑白电视机也能接收彩色电视信号,在这个过程中,存在一个RGB格式信号到YUV格式信号的转换;
其中,常用的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等;常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等,各个转换数据之间均存在一个精确的转换公式。
进一步地,请参见图3,是本发明实施例提供的一种第一图像处理装置的结构示意图。如图3所示,所述第一图像处理装置20包括现场可编程门阵列FPGA201和指令集微处理器ARM202;
其中,所述FPGA201和所述ARM202相连,所述ARM202和所述第二图像处理装置30相连,所述ARM202和所述采集转换装置10相连;
所述ARM202,用于将所述采集转换装置10发送的所述目标环境数据进行数据划分,以将所述目标环境数据划分为多个环视数据和多个双目数据;
所述ARM202,还用于在所述目标环境数据中提取所述多个环视数据,并将所述多个环视数据封装为待处理数据包,并通过BT656接口将所述待处理数据包传输给所述第二图像处理装置30;
所述ARM202,还用于在所述目标环境数据中提取所述多个双目数据,并将所述多个双目数据发送给所述FPGA201;
所述FPGA201,用于对所述多个双目数据进行图像拼接,并形成双目图像拼接结果,并将所述双目图像拼接结果返回给所述ARM202。
可选地,所述ARM202,还用于根据双目图像拼接结果识别拼接后的双目图像数据中是否携带障碍物,若判断为是,则生成第一告警指令,并将所述第一告警指令通过通用异步收发UART接口传输给所述第二图像处理装置30,若判断为否,则将所述双目图像数据通过通用串行总线USB接口传输给第二图像处理装置30。
可见,当所述目标环境数据被划分为多个环视数据和多个双目数据时,所述第一图像处理装置20中所述FPGA201和所述ARM202可对多个双目数据进行图像拼接,以生成双目图像拼接结果;可选地,根据所述双目图像拼接结果,若识别出拼接后的双目图像数据中携带障碍物,则可生成第一告警指令,并将所述第一告警指令通过UART接口传输给所述第二图像处理装置30,;可选地,根据所述双目图像拼接结果,若识别出拼接后的双目图像数据中未携带障碍物,则将所述双目图像数据通过USB接口传输给第二图像处理装置30。鉴于此,通过所述FPGA201和所述ARM202的协同配合可实现ADAS算法,进而可初步实现行人检测、车道偏离和前向防碰撞监控预警等功能。
此外,所述第一图像处理装置20中所述ARM202还可将多个环视数据封装为待处理数据包,并通过BT656接口将所述待处理数据包传输给所述第二图像处理装置30。鉴于此,所述第一图像处理装置20通过将环视数据交给所述第二图像处理装置进行处理,可降低环视数据对可编程逻辑门阵列芯片的逻辑资源的占用率,进而提高系统系能,并降低该可编程逻辑门阵列芯片的硬件设计成本。
进一步地,由于所述第一图像处理装置20和所述第二图像处理装置30之间通过BT656接口,USB接口、UART接口相连,可进一步解决FPGA201和视频编解码器303之间的硬件通道的带宽问题,即UART接口仅用于在检测到障碍物时传输控制指令(即第一告警指令),属于一种带宽较小的慢速信号;而USB接口则用于传输带宽较大的双目图像数据,而BT656接口则专门用于传输打包后的携带环视数据的待处理数据包。
进一步地,请参见图4,是本发明实施例提供的一种第二图像处理装置的结构示意图。如图4所示,所述第二图像处理装置30包括:环视数据接口301、数字信号处理器DSP302和视频编解码器303;
所述环视数据接口301与所述第一图像处理装置20相连,所述环视数据接口301与所述DSP302相连,所述DSP302和所述视频编解码器303相连,所述视频编解码器303和所述显示器40相连,所述视频编解码器303和本地存储器相连;
所述环视数据接口301,用于接收所述第一图像处理装置20发送的所述待处理数据包,并将所述待处理数据包传输给所述DSP302;
所述DSP302,用于在所述待处理数据包中提取所述多个环视数据,并利用数字信号处理技术对所述多个环视数据进行盲点检测和360度环视图像拼接,以形成全方位环视视频数据,并将所述全方位环视视频数据传输给所述视频编解码器303;
所述视频编解码器303,用于将所述全方位环视视频数据进行图像压缩,并将图像压缩后的全方位环视视频数据显示在所述显示器40,并同步将压缩处理后的环视视频图像存储在所述本地存储器;
其中,所述显示器40可分为两个显示区域,例如,第一显示区域和第二显示区域,且所述第一显示区域和第二显示区域可为左右两个显示区域,也可为上下两个显示区域,从而可在显示器上同步显示双目图像数据和全方位环视视频数据;
其中,所述第二图像处理装置可为RV1108芯片,该RV1108芯片内部通过DSP302可实现360度环视相关算法,另外,利用该RV1108芯片内部的H.264硬核可在确保图片质量的同时,对其进行高度压缩(例如,压缩比可为100:1),从而可将环视视频保存在本地存储器,并降低该环视视频对本地存储器的空间占用量;
鉴于此,所述第二图像处理装置中的所述DSP可用于对多个环视数据进行盲点检测和和图像拼接,并将拼接后的全方位环视视频数据通过H.264技术进行压缩,并将压缩后的环视视频图像保存在本地存储器(即本地TF卡)中,以实现360度环视视频数据的压缩保存。
可选地,进一步地,请参见图5,是本发明实施例提供的另一种第二图像处理装置的结构示意图。如图5所示,所述第二图像处理装置30包含上述图4所述的环视数据接口301、数字信号处理器DSP302和视频编解码器303;进一步地,所述第二图像处理装置30还包括:告警信息接口304和双目数据接口305;
其中,所述告警信息接口304与所述第一图像处理装置20相连,所述告警信息接口304和所述DSP302相连;
所述告警信息接口304,用于在未接收到所述第一图像处理装置20通过UART接口传输的第一告警指令时,从所述DSP302获取所述全方位环视视频数据,并检测所述全方位环视视频数据中是否携带障碍物,并在检测到所述障碍物时生成第二告警指令,并根据所述第二告警指令生成环视告警信息,并将所述环视告警信息通过电平转换器传输给告警器;
其中,所述电平转换器为MAX3232芯片,用于将所述环视告警信息的逻辑电路TTL电平调整为232电平;
可见,所述电平转换器可将携带低电平的TTL电平转换成携带高电平的232电平,以使告该环视警信息的传输距离能传输的更远。
可选地,所述告警信息接口304,还用于在接收到所述第一图像处理装置20通过UART接口传输的第一告警指令时,在预设的优先级规则中根据所述第一告警指令和所述第二告警指令确定目标告警指令,并根据所述目标告警指令生成目标告警信息,并将所述目标告警信息通过所述电平转换器发送给所述告警器;
其中,所述目标告警信息为双目告警信息或所述环视告警信息。
可选地,所述双目数据接口305与所述第一图像处理装置20相连,所述双目数据接口305与所述显示器40相连;
所述双目数据接口305,用于接收所述第一图像处理装置20通过USB接口传输的双目图像数据,并将所述双目图像数据传输给所述显示器40进行显示。
可见,该RV1108芯片还可通过USB接口接收经由所述第一图像处理装置20处理完毕的双目图像数据,并通过高清晰度多媒体接口HDMI将所述双目图像数据显示在所述显示屏40上。
此外,所述第二图像处理装置30,还用于将通过USB接口接收到的双目图像数据和所述全方位环视视频数据进行数据融合,并根据融合后的融合图像数据生成可行驶区域图像(该可行驶区域图像对于该车载设备而言,是将双目图像数据和全方位环视视频数据进行结果融合后的图像数据),并将所述可行驶区域图像通过高清晰度多媒体接口HDMI在所述显示器进行显示(此时,对于该显示器而言,仍然是显示区域的一部分用于显示环视数据,而显示区域的另一部分用于显示环视数据),进而可实现视频的编解码功能。
鉴于此,例如,在高速行车的过程中,该车载设备1可以将采集到的双目数据作为主要处理数据,即在第一图像处理装置20将处理后的双目图像数据传输给所述第二图像处理装置30(RV1108芯片)后,可优先显示所述双目图像数据所对应的可行驶区域图像。
但是,比如,在泊车的过程中,由于车辆的行驶速度较慢,此时,该车载设备1可以将采集到的环视数据传输给所述第一图像处理装置20,以使该第一图像处理装置20将该环视数据封装成待处理数据包交给所述第二图像处理装置30,从而可将处理后的全方位环视视频数据进行显示,因为此时需要的是一个比较全方位的检测数据。
当然,又比如,当车辆处于慢速行驶的过程中(比如,接近红绿灯时),此时可以将第一图像处理装置20处理后的双目图像数据交给所述第二图像处理装置30,以使该第二图像处理装置30能将接收到的双目图像数据和所述全方位环视视频数据进行数据融合,以形成融合图像数据,进而可将此时的可行驶区域图像进行显示,以提供更为安全的行车保障。
由上可见,所述采集转换装置10,首先用于获取初始环境数据,并将所述初始环境数据处理为目标环境数据,并将所述目标环境数据发送给所述第一图像处理装置20;然后,所述第一图像处理装置20,用于将所述目标环境数据进行数据划分,以获得所述目标环境数据中的多个环视数据,并将所述多个环视数据封装为待处理数据包,并将所述待处理数据包传输给所述第二图像处理装置30;最后,所述第二图像处理装置30,用于在所述待处理数据包中提取所述多个环视数据,并对所述多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将所述全方位环视视频数据显示在所述显示器40;所述第二图像处理装置30具备图像处理功能和视频编解码功能。采用本发明,通过引入具有视频数据编码功能的第二图像处理装置30,可缓解环视数据对可编程逻辑门阵列芯片的逻辑资源的占用率,以降低该可编程逻辑门阵列芯片(FPGA)的硬件设计成本,另外,通过该第二图像处理装置30中所述DSP302可对环视数据进行有效地盲点检测和图像拼接,进而可丰富车载设备的数据处理功能,以提升系统性能,此外,通过该第二图像处理装置30中的视频编解码器303可对环视数据进行压缩处理,进而可将该环视数据进行保存,从而可在记录并保持全方位环视视频数据同时,进一步实现前向防碰撞监控预警、车道检测预警、车道偏离预警和行人防碰撞预警等功能,从而解决了360度全景记录视频不能保存的难点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种车载设备,其特征在于,包括:采集转换装置,第一图像处理装置、第二图像处理装置、显示器;
所述采集转换装置与所述第一图像处理装置相连,所述第一图像处理装置与所述第二图像处理装置相连,所述第二图像处理装置与所述显示器相连;
所述采集转换装置,用于获取初始环境数据,并将所述初始环境数据处理为目标环境数据,并将所述目标环境数据发送给所述第一图像处理装置;
所述第一图像处理装置,用于将所述目标环境数据进行数据划分,以获得所述目标环境数据中的多个环视数据,并将所述多个环视数据封装为待处理数据包,并将所述待处理数据包传输给所述第二图像处理装置;
所述第二图像处理装置,用于在所述待处理数据包中提取所述多个环视数据,并对所述多个环视数据进行图像拼接和图像压缩,以形成全方位环视视频数据,并将所述全方位环视视频数据显示在所述显示器;所述第二图像处理装置具备图像处理功能和视频编解码功能。
2.根据权利要求1所述的车载设备,其特征在于,所述采集转换装置包括:数据采集器、数据连接器以及数据转换器;
所述数据采集器和所述数据连接器相连,且所述数据连接器和所述数据转换器相连,且所述数据转换器和所述第一图像处理装置相连;
所述数据连接器,用于从所述数据采集器获取初始环境数据,并将所述初始环境数据通过模拟高清AHD接口转换成模拟高清数据,并将所述模拟高清数据发送给所述数据转换器;
所述数据转换器,用于对所述高清模拟数据转进行色彩编码,以形成目标环境数据,并通过BT656接口将所述目标环境数据发送给所述第一图像处理装置。
3.根据权利要求1所述的车载设备,其特征在于,所述第一图像处理装置包括现场可编程门阵列FPGA和指令集微处理器ARM;
所述FPGA和所述ARM相连,所述ARM和所述第二图像处理装置相连,所述ARM和所述采集转换装置相连;
所述ARM,用于将所述采集转换装置发送的所述目标环境数据进行数据划分,以将所述目标环境数据划分为多个环视数据和多个双目数据;
所述ARM,还用于在所述目标环境数据中提取所述多个环视数据,并将所述多个环视数据封装为待处理数据包,并通过BT656接口将所述待处理数据包传输给所述第二图像处理装置;
所述ARM,还用于在所述目标环境数据中提取所述多个双目数据,并将所述多个双目数据发送给所述FPGA;
所述FPGA,用于对所述多个双目数据进行图像拼接,并形成双目图像拼接结果,并将所述双目图像拼接结果返回给所述ARM。
4.根据权利要求3所述的车载设备,其特征在于,
所述ARM,还用于根据双目图像拼接结果识别拼接后的双目图像数据中是否携带障碍物,若判断为是,则生成第一告警指令,并将所述第一告警指令通过通用异步收发UART接口传输给所述第二图像处理装置,若判断为否,则将所述双目图像数据通过通用串行总线USB接口传输给第二图像处理装置。
5.根据权利要求1所述的车载设备,其特征在于,所述第二图像处理装置包括:环视数据接口、数字信号处理器DSP和视频编解码器;
所述环视数据接口与所述第一图像处理装置相连,所述环视数据接口与所述DSP相连,所述DSP和所述视频编解码器相连,所述视频编解码器和所述显示器相连;
所述环视数据接口,用于接收所述第一图像处理装置发送的所述待处理数据包,并将所述待处理数据包传输给所述DSP;
所述DSP,用于在所述待处理数据包中提取所述多个环视数据,并利用数字信号处理技术对所述多个环视数据进行盲点检测和360度环视图像拼接,以形成全方位环视视频数据,并将所述全方位环视视频数据传输给所述视频编解码器;
所述视频编解码器,用于将所述全方位环视视频数据进行图像压缩,并将图像压缩后的全方位环视视频数据显示在所述显示器,并同步将将压缩处理后的环视视频图像存储在本地存储器。
6.根据权利要求5所述的车载设备,其特征在于,第二图像处理装置还包括告警信息接口;
所述告警信息接口与所述第一图像处理装置相连,所述告警信息接口和所述DSP相连;
所述告警信息接口,用于在未接收到所述第一图像处理装置通过UART接口传输的第一告警指令时,从所述DSP获取所述全方位环视视频数据,并检测所述全方位环视视频数据中是否携带障碍物,并在检测到所述障碍物时生成第二告警指令,并根据所述第二告警指令生成环视告警信息,并将所述环视告警信息通过电平转换器传输给告警器。
7.根据权利要求6所述的车载设备,其特征在于,
所述告警信息接口,还用于在接收到所述第一图像处理装置通过UART接口传输的第一告警指令时,在预设的优先级规则中根据所述第一告警指令和所述第二告警指令确定目标告警指令,并根据所述目标告警指令生成目标告警信息,并将所述目标告警信息通过所述电平转换器发送给所述告警器;
其中,所述目标告警信息为双目告警信息或所述环视告警信息。
8.根据权利要求5所述的车载设备,其特征在于,第二图像处理装置还包括双目数据接口;
所述双目数据接口与所述第一图像处理装置相连,所述双目数据接口与所述显示器相连;
所述双目数据接口,用于接收所述第一图像处理装置通过USB接口传输的双目图像数据,并将所述双目图像数据传输给所述显示器进行显示。
9.根据权利要求5所述的车载设备,其特征在于,
所述第二图像处理装置,还用于将通过USB接口接收到的双目图像数据和所述全方位环视视频数据进行数据融合,并根据融合后的融合图像数据生成可行驶区域图像,并将所述可行驶区域图像通过高清晰度多媒体接口HDMI在所述显示器进行显示。
10.根据权利要求1所述的车载设备,其特征在于,所述数据采集器包括至少一组监测范围分别为至少第一角度的双目摄像头和至少4个监测范围分别为至少第二角度的环视摄像头;其中,所述双目摄像头为用于采集双目数据的摄像头,所述环视摄像头为用于采集环视数据的摄像头。
CN201710519098.5A 2017-06-29 2017-06-29 一种车载设备 Active CN107277445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710519098.5A CN107277445B (zh) 2017-06-29 2017-06-29 一种车载设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710519098.5A CN107277445B (zh) 2017-06-29 2017-06-29 一种车载设备

Publications (2)

Publication Number Publication Date
CN107277445A true CN107277445A (zh) 2017-10-20
CN107277445B CN107277445B (zh) 2020-05-12

Family

ID=60071475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710519098.5A Active CN107277445B (zh) 2017-06-29 2017-06-29 一种车载设备

Country Status (1)

Country Link
CN (1) CN107277445B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107933471A (zh) * 2017-12-04 2018-04-20 惠州市德赛西威汽车电子股份有限公司 事故主动呼叫救援的方法及车载自动求救系统
CN107992056A (zh) * 2017-12-29 2018-05-04 深圳市布谷鸟科技有限公司 一种基于分域集中计算单元的汽车智能驾驶计算平台终端
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助系统及控制方法
CN108594818A (zh) * 2018-04-27 2018-09-28 深圳市商汤科技有限公司 智能驾驶控制方法、智能车载设备和系统
CN109951678A (zh) * 2017-12-21 2019-06-28 德克萨斯仪器股份有限公司 经由发送的视频发送功能安全统计
CN110730304A (zh) * 2019-10-25 2020-01-24 北京凯视佳光电设备有限公司 一种加速图像采集和显示的智能相机
CN110944107A (zh) * 2019-12-29 2020-03-31 徐书诚 一种实现环视网络摄像机组单屏还原显示计算机系统
CN110949406A (zh) * 2019-12-25 2020-04-03 驭势科技(北京)有限公司 一种智能驾驶系统及方法
CN111193877A (zh) * 2019-08-29 2020-05-22 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
CN1984322A (zh) * 2005-12-18 2007-06-20 胡德斌 汽车全方位视觉系统
CN201457257U (zh) * 2009-05-27 2010-05-12 上海欣纳电子技术有限公司 一种车载安全监测装置
CN101900551A (zh) * 2009-05-27 2010-12-01 上海欣纳电子技术有限公司 一种车载全景安全监测系统
CN201780482U (zh) * 2010-04-29 2011-03-30 比亚迪股份有限公司 车辆环视及车道检测报警系统
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
CN202424782U (zh) * 2012-01-06 2012-09-05 中科院微电子研究所昆山分所 车载终端装置
CN104581075A (zh) * 2015-01-13 2015-04-29 中国电子科技集团公司第三十二研究所 基于异构平台的全景视频处理系统及方法
CN205395928U (zh) * 2016-01-19 2016-07-27 华晨汽车集团控股有限公司 车载立体全景监控系统
CN105946853A (zh) * 2016-04-28 2016-09-21 中山大学 基于多传感器融合的长距离自动泊车的系统及方法
CN105966312A (zh) * 2016-04-15 2016-09-28 山东省科学院自动化研究所 一种多功能车辆先进驾驶辅助系统与方法
CN106355553A (zh) * 2016-09-06 2017-01-25 深圳格兰泰克汽车电子有限公司 一种360环视拼接方法及装置
CN106412497A (zh) * 2016-08-30 2017-02-15 中国南方电网有限责任公司 一种基于全景拼接凝视技术的双目视觉立体匹配方法
CN106686341A (zh) * 2015-11-05 2017-05-17 深圳市祈飞科技有限公司 一种交互式车载智能终端系统及监控方法
CN106803878A (zh) * 2016-12-30 2017-06-06 智车优行科技(北京)有限公司 车载全景环视系统、用于实现全景环视的方法及装置
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技(北京)有限公司 街景采集方法和系统、车辆
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别系统及全方位视觉模块

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
CN1984322A (zh) * 2005-12-18 2007-06-20 胡德斌 汽车全方位视觉系统
CN201457257U (zh) * 2009-05-27 2010-05-12 上海欣纳电子技术有限公司 一种车载安全监测装置
CN101900551A (zh) * 2009-05-27 2010-12-01 上海欣纳电子技术有限公司 一种车载全景安全监测系统
CN201780482U (zh) * 2010-04-29 2011-03-30 比亚迪股份有限公司 车辆环视及车道检测报警系统
CN102045546A (zh) * 2010-12-15 2011-05-04 广州致远电子有限公司 一种全景泊车辅助系统
CN202424782U (zh) * 2012-01-06 2012-09-05 中科院微电子研究所昆山分所 车载终端装置
CN104581075A (zh) * 2015-01-13 2015-04-29 中国电子科技集团公司第三十二研究所 基于异构平台的全景视频处理系统及方法
CN106686341A (zh) * 2015-11-05 2017-05-17 深圳市祈飞科技有限公司 一种交互式车载智能终端系统及监控方法
CN205395928U (zh) * 2016-01-19 2016-07-27 华晨汽车集团控股有限公司 车载立体全景监控系统
CN105966312A (zh) * 2016-04-15 2016-09-28 山东省科学院自动化研究所 一种多功能车辆先进驾驶辅助系统与方法
CN105946853A (zh) * 2016-04-28 2016-09-21 中山大学 基于多传感器融合的长距离自动泊车的系统及方法
CN106412497A (zh) * 2016-08-30 2017-02-15 中国南方电网有限责任公司 一种基于全景拼接凝视技术的双目视觉立体匹配方法
CN106355553A (zh) * 2016-09-06 2017-01-25 深圳格兰泰克汽车电子有限公司 一种360环视拼接方法及装置
CN106803878A (zh) * 2016-12-30 2017-06-06 智车优行科技(北京)有限公司 车载全景环视系统、用于实现全景环视的方法及装置
CN106799993A (zh) * 2017-01-09 2017-06-06 智车优行科技(北京)有限公司 街景采集方法和系统、车辆
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别系统及全方位视觉模块

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶良波: "一种全景立体摄像装置的设计与实现", 《计算机测量与控制》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助系统及控制方法
CN107933471A (zh) * 2017-12-04 2018-04-20 惠州市德赛西威汽车电子股份有限公司 事故主动呼叫救援的方法及车载自动求救系统
CN107933471B (zh) * 2017-12-04 2019-12-20 惠州市德赛西威汽车电子股份有限公司 事故主动呼叫救援的方法及车载自动求救系统
CN109951678A (zh) * 2017-12-21 2019-06-28 德克萨斯仪器股份有限公司 经由发送的视频发送功能安全统计
US11962953B2 (en) 2017-12-21 2024-04-16 Texas Instruments Incorporated Transmitting functional safety statistics via transmitted video
CN109951678B (zh) * 2017-12-21 2022-06-14 德克萨斯仪器股份有限公司 经由发送的视频发送功能安全统计的系统和方法
CN107992056A (zh) * 2017-12-29 2018-05-04 深圳市布谷鸟科技有限公司 一种基于分域集中计算单元的汽车智能驾驶计算平台终端
CN108594818A (zh) * 2018-04-27 2018-09-28 深圳市商汤科技有限公司 智能驾驶控制方法、智能车载设备和系统
CN111193877A (zh) * 2019-08-29 2020-05-22 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备
CN111193877B (zh) * 2019-08-29 2021-11-30 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备
CN110730304A (zh) * 2019-10-25 2020-01-24 北京凯视佳光电设备有限公司 一种加速图像采集和显示的智能相机
CN110949406A (zh) * 2019-12-25 2020-04-03 驭势科技(北京)有限公司 一种智能驾驶系统及方法
CN110949406B (zh) * 2019-12-25 2022-04-29 驭势科技(北京)有限公司 一种智能驾驶系统及方法
CN110944107A (zh) * 2019-12-29 2020-03-31 徐书诚 一种实现环视网络摄像机组单屏还原显示计算机系统

Also Published As

Publication number Publication date
CN107277445B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN107277445A (zh) 一种车载设备
WO2021226776A1 (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
US10795024B2 (en) Imaging device and electronic device
CN112216049B (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN101458871B (zh) 一种智能交通分析系统及其应用系统
WO2020098004A1 (zh) 车道通行状态提醒方法及设备
US10005473B2 (en) Stereo camera, vehicle driving auxiliary device having same, and vehicle
CN108204822A (zh) 一种基于adas的车辆ar导航系统及方法
CN107220633A (zh) 一种智能移动执法系统及方法
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
IT201900011403A1 (it) Detecting illegal use of phone to prevent the driver from getting a fine
CN103679838A (zh) 车辆监控系统及方法
CN109572555A (zh) 一种应用于无人车的遮挡信息显示方法和系统
CN103247168A (zh) 使用视讯雷达的远距交通管理系统
US11586843B1 (en) Generating training data for speed bump detection
CN109429039A (zh) 一种多编组铰接车辆周界视频全景显示系统及方法
CN106961583A (zh) 双摄像头实景智能行车方法及系统
CN109733283A (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
EP4030338A1 (en) Obstacle detection method, apparatus and device, and medium
AU2018410435A1 (en) Port area monitoring method and system, and central control system
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
CN105059184A (zh) 客运车辆弯道侧翻早期预警与主动防控装置及其判断方法
US20230331235A1 (en) Systems and methods of collaborative enhanced sensing
CN114119955A (zh) 一种潜在危险目标检测方法及装置
CN107085964A (zh) 基于图像增强的车辆自动驾驶系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant