CN101739843B - 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 - Google Patents

多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 Download PDF

Info

Publication number
CN101739843B
CN101739843B CN200910232682A CN200910232682A CN101739843B CN 101739843 B CN101739843 B CN 101739843B CN 200910232682 A CN200910232682 A CN 200910232682A CN 200910232682 A CN200910232682 A CN 200910232682A CN 101739843 B CN101739843 B CN 101739843B
Authority
CN
China
Prior art keywords
vehicle
sdram
image
subsystem
dsp subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910232682A
Other languages
English (en)
Other versions
CN101739843A (zh
Inventor
张学武
张卓
梁瑞宇
奚吉
丁燕琼
段敦勤
林善明
李庆武
范新南
徐立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huachuang Technology Co ltd
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN200910232682A priority Critical patent/CN101739843B/zh
Publication of CN101739843A publication Critical patent/CN101739843A/zh
Application granted granted Critical
Publication of CN101739843B publication Critical patent/CN101739843B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种多视觉信息融合的车辆安全驾驶实时立体感知装置及方法，视频图像采集装置上具有6个摄像头，主处理器内包含一个DSP子系统和一个ARM子系统，SDRAM存储器单元与主处理器和FPGA控制器相连，FPGA控制器控制采集车辆周围图像并做好图像的预处理后存放在SDRAM存储器单元中；DSP子系统从SDRAM存储器单元中读取图像，对帧图像进行匹配、拼接和三维场景的重建；ARM子系统同时从CAN总线接口单元和车载雷达接口单元读取相关数据，DSP子系统将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器进行显示，驾驶员在行车或倒车时完全避免了普通倒车装置中常出现的盲区误报等现象。

Description

多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
技术领域
本发明涉及一种多视觉信息融合的车辆安全行驶实时立体感知装置及方法，属于智能图象处理领域。
背景技术
随着经济的发展，有车的人越来越多，车位也越来越多，与此同时，车子可转动的空间却越来越少，驾驶员倒车难的问题也就越来越突出，稍有不慎很容易碰触到其它车辆或建筑物。因此，市场上出现了多种行车和倒车安全辅助装置，如倒车雷达，倒车可视系统装置等等，但是这些装置提供的是语音提醒以及图像显示后视场景，有的仅仅可以显示车尾距离车辆后面障碍物距离信息，有的只是用摄像头把车尾的视频图像拍摄下来传送到显示器上，虽然可在一定程度上帮助驾驶员完成倒车，但是，由于摄像头监视范围所限，会出现监视盲区，不够直观，针对这一问题，有的采用车身周围前后左右设置4路摄像头，将各路摄像头获取的场景视频直接输出于驾驶室的显示装置，以平面展示监视车身周围环境，能够在显示器上4分屏实时显示车身周围前后左右场景，属于2D显示方式，让驾驶员实时掌握车身周围驾驶环境状况，其缺点是：需要驾驶员通过不停扫视显示器上4副场景图像来判断车身周围状况，但驾驶员在驾驶车辆、特别是倒车的关键时刻，没有更多时间和机会依据4路实时图象判断车身周围环境，况且人工判断会有误判和误差，精度不够，同时，由于4路摄像头分别设置在车身前、后、左、右四个方向，虽然可选广角摄像头，但是4路摄像头获取车身周围环境视频图像信息时，同样存在监视盲区，因此这种方式仍不够直观，使用效率低、精度不够且存在安全隐患。
发明内容
本发明的目的是要解决现有车载可视监视装置对4路车身周围摄像头获取的图像视频信息不加处理地以2D输出于显示器上、使用效率低、精确度不够、存在监视盲区、不直观等问题，提供了一种多视觉信息融合的车辆安全驾驶实时立体感知装置及方法，采用智能图象处理技术，对获取的多路车身周围环境图象视频信息实时三维重建，形成实时的车辆行驶环境三维立体环境。
本发明的车辆安全驾驶实时立体感知装置采用的技术方案是：包括与硬件处理器平台的输入相连接的视频图像采集装置、输出相连的液晶显示器，视频图像采集装置上具有6个摄像头，硬件处理器平台的主处理器内包含一个DSP子系统和一个ARM子系统，SDRAM存储器单元与主处理器和FPGA控制器相连，6个视频AD单元与FPGA控制器连接，主处理器分别连接DDR存储单元、Flash存储单元、JTAG调试单元、RS232接口单元、音频接口单元、CAN总线接口单元和车载雷达接口单元。
本发明的车辆安全驾驶实时立体感知方法采用的技术方案是：首先，硬件处理器平台的FPGA控制器控制视频图像采集装置采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元中；其次，主处理器的DSP子系统从SDRAM存储器单元中读取图像，对帧图像进行匹配、拼接和三维场景的重建；再次，主处理器的ARM子系统同时从CAN总线接口单元和车载雷达接口单元读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾距离后面障碍物的距离，送至DSP子系统；最后，DSP子系统将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器进行显示，
本发明的有益效果是：驾驶员在行车或倒车的时候不用费力地向后看，可以在车内的液晶显示器上直观地看到车身后方及车身周围各个方向的立体环境信息，同时显示器上还描绘出经过计算预测出来的倒车轨迹及车尾距离后面障碍物的距离，当车辆与障碍物距离小于安全距离的时候，就会语音报警，提示驾驶员注意。因此司机可以直观、准确的将车倒入车库或车位，具有身临其境之感觉，完全避免了普通倒车装置中常出现的盲区误报等现象，适用于各类汽车，如：货车、小车辆、特种车辆等。
附图说明
以下结合附图和具体实施方式对本发明装置及方法进一步详细说明。
图1是本发明装置组成示意图。
图2是图1中硬件处理器平台2的组成方框图。
图3是图1中视频图像采集装置1的结构示意图。
图4是图3中视频图像采集装置1中单个摄像头的结构及光源分布结构示意图。
图5是图1中视频图像采集装置1中底板上电路原理的示意图。
图6是图2中主处理器4中的ARM子系统6的控制流程图。
图7是图2中FPGA控制器7内的控制流程图。
图8是图2中DSP子系统5内的软件流程图。
图9是图2中SDRAM存储单元11的操作示意图。
图10是图1中液晶显示器3上菜单示意图。
图11是车辆正常行驶时液晶显示器3上显示图像布局示意图。
图12是车辆倒车行驶时液晶显示器3上显示图像布局示意图。
具体实施方式
如图1，本发明整个装置包括硬件处理器平台2、与硬件处理器平台2的输入相连接的视频图像采集装置1、以及与硬件处理器平台2的输出相连的液晶显示器3。硬件处理器平台2是本发明的最重要的部分，完成图像的处理、车辆倒车轨迹预测、车尾安全距离的计算和整个装置的控制等工作，此部分安装在车辆内部。视频图像采集装置1安装在车辆外面的车顶位置，视频图像采集装置1上具有6个摄像头，主要完成车辆周围环境的图像信息采集工作。液晶显示器3负责在倒车档位的时候将硬件处理器平台2发来的图像显示到车载液晶显示器上，让驾驶员能直观地看到行车途中或倒车时车辆周围各个方向的立体环境信息，可以使用车载导航的液晶显示器。
如图2，硬件处理器平台2主要由主处理器4、FPGA控制器7、电源单元8、6个视频AD单元9、视频DA单元10、SDRAM存储单元11、DDR存储单元12、Flash存储单元13、JTAG调试单元14、RS232接口单元15、音频接口单元16、网络接口单元17、蓝牙接口单元18、CAN总线接口单元19、USB接口单元20和车载雷达接口单元21组成，其中，主处理器4内包含一个DSP子系统5和一个ARM子系统6。电源单元8为整个硬件系统提供电源，6个视频AD单元9与FPGA控制器7连接，SDRAM存储器单元11与主处理器4和FPGA控制器7相连，DDR存储单元12与主处理器4相连，为主处理器4提供存储器，Flash存储单元13与主处理4相连，用于存储程序代码。JTAG调试单元14、RS232接口单元15、音频接口单元16、网络接口单元17、蓝牙接口单元18、CAN总线接口单元19、USB接口单元20、车载雷达接口单元21和视频DA单元10均与主处理器4连接，在这些与主处理器4相连的接口单元中，本发明主要用到了RS232接口单元15、CAN总线接口单元19、音频接口单元16和车载雷达接口单元21，其余接口单元主要是为了方便与车载GPS导航系统等其它车载电子设备进行扩展。
如图3，视频图像采集装置1内集成了6个高精度CCD摄像头。视频图像采集装置1下部为圆台状，顶部是一个与圆台侧面相切的半球形透明罩27。视频图像采集装置1放置于车辆外面的顶部，用来采集车辆外各个方向的图像。图3上的5个摄像头22、23、24、25、28均匀嵌在装置的圆台侧面上，每相邻两个摄像头中轴线的的夹角度数为72度，在装置顶部的半球形透明罩27下部设置第6个摄像头26，此摄像头是可控制的，能够进行前后左右的运动，控制电路在此装置的底板电路上。为了使摄像头与摄像头之间的死角区域更小以方便三维图像的拼接重建，且使装置美观大方，选取圆台侧面与水平面的夹角α为60度。
如图4所示，本发明的摄像头中单个摄像头由一个高精度CCD摄像头29和若干个红外发光二极管30组成。其中高精度CCD摄像头29在中间位置，若干个红外发光二极管30均匀嵌在CCD摄像头29的周围，本发明使用了21个红外发光二极管30，这样夜间的时候，红外发光二极管30发出红外光，可使CCD摄像头29在夜间依然能够采集到车辆周围清晰的图像。因此，本发明装置可以再全天候使用，无论是白天还是黑夜，是晴天还是下雨都可使用。
如图5所示，视频图像采集装置1中底板为圆形，面积与图3所示摄像头装置底面面积相当，其上具有5个孔31、32、33、34和35，其中孔32、33、34、35为4个螺丝孔，用于固定摄像头，孔31略大，用于通过信号线。U1、U2、U3为底板上电路单元，其中U1为RS232的电路，U2为一个简单的微处理器，U3为底板上的电源电路，为底板上各个单元和摄像头供电。J1、J2是底板上的两个接插件，连接本发明的视频图像采集装置1和硬件处理器平台2。J1的第1、12脚为接地脚，第2脚为12V的电源引脚，第3、4、5、6、7、8引脚分别为6个摄像头的信号线，与硬件处理器平台2上的6个视频AD单元9相连，第9、10、11引脚与视频图像采集装置中摄像头23的控制引脚相连。J2的第1脚为TXD引脚，与硬件处理器平台2的RS232接口单元15电路中的TXD信号线相连，第2脚接地，第3脚为RXD引脚，与硬件处理器平台2的RS232接口单元15电路中的RXD信号线相连。
本发明实时立体感知装置方法是：首先，硬件处理器平台2的FPGA控制器7控制视频图像采集装置1采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元11中；其次，主处理器4的DSP子系统5从SDRAM存储器单元11中读取图像，对帧图像进行匹配、拼接和三维场景的重建；再次，主处理器4的ARM子系统6同时从CAN总线接口单元19和车载雷达接口单元21读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾距离后面障碍物的距离，送至DSP子系统5；最后，DSP子系统5将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器3进行显示，其具体为：
如图6所示，硬件处理器平台2上电完成初始化之后，液晶显示器显示菜单S1，用手点击如图11、12的显示器上按扭Menu菜单41之后，显示如图10所示菜单36，选智能倒车按钮43，进入智能倒车参数设置菜单37，距离信息显示按钮46如果被按下，车身周围距离障碍物距离信息39将显示在显示器3的左下角，否则不显示这些数据；语音安全报警按钮47如果被按下，当车身距离障碍物距离很近的时候将进行语言报警提示，否则不进行语言报警提示，此外如果车辆是倒车档位，这个按钮将不会起作用，倒车时将一直开启语音报警提示。当驾驶员通过这些菜单设置好后，ARM子系统6判断是否为智能倒车模式S2，如果是，ARM子系统6读取显示器信息S4，若不是，进行其它工作S3，包括对网络接口单元17、USB接口单元20和蓝牙接口单元18等其它单元进行控制，然后通过CAN总线接口单元19读取车辆行驶时的实时参数S5，包括车辆的行驶速度，方向盘转过的角度，汽车档位等，然后发送消息通知DSP子系统5的S6，车辆当前是否为倒车档位S7，若是，ARM子系统6将利用这些参数和相关知识预测车辆的倒车轨迹S8，通过车载雷达接口21获取倒车雷达的数据，经过处理，计算出车辆车尾距车后障碍物的距离S9，判断距离是否小于预先设定车尾距障碍物的安全距离S10，如果小于，系统将通过音频接口单元16进行语音报警提示S11，然后ARM子系统6等待接收DSP子系统5消息S12，ARM子系统6将把刚才预测好的倒车轨迹和车尾距障碍物距离等数据发送给DSP子系统S13，若不是将直接结束。
如图7所示，装置上电初始化完成后，FPGA控制器7开始采集视频图像S1，为了降低主处理器4中DSP子系统5的计算量，图像采集完后，FPGA控制器7对采集的图像进行图像预处理操作S2，包括图像滤波、归一化等，然后等待接收DSP子系统5发送来的消息S3，检测此时的SDRAM存储单元11是否可以进行写入操作S4，如果不可以就继续接收DSP子系统5送来的消息S3，否则将预处理完毕的图像帧存入SDRAM存储单元11中去S5，这里对SDRAM的存取操作采用乒乓操作的方式，具体见图9。图像帧存储完后发送消息给DSP子系统5，通知SDRAM存储单元11中已经存有预处理完毕的图像，可以进行下一步图像处理工作了S6。
如图8所示，主处理器4上电初始化完成后，等待接收FPGA控制器7发来的消息S1，此消息通知DSP子系统5，SDRAM存储单元11中的图像是否已经可读了S2，如果消息表明SDRAM存储单元11不可读，则继续接收FPGA控制器7发来的消息S1，否则DSP子系统5从SDRAM存储单元11中读取已经预处理过的图像数据S3，并通知FPGA控制器7可以继续向SDRAM存储单元11中写入数据S4，然后对读取的图像进行立体匹配、拼接、三维重建等图像处理S5，接下来DSP子系统5接收ARM子系统6发送来的消息S6，判断车辆当前是否是倒车档S7，如果是倒车档位，DSP子系统5将发送消息通知ARM子系统6发送汽车倒车的预测轨迹等S8，当接收了预测的倒车轨迹和车尾距离障碍物距离等信息后S9，DSP子系统5将倒车预测的轨迹等数据叠加到已处理好的图像上S10，DSP子系统5通过读取驾驶员设置的参数，判断显示器上是否显示距离信息S11，如果驾驶员选择了显示距离信息，DSP子系统5将车身周围距离障碍物的距离也叠加到图像上S12，然后送液晶显示S16，显示效果如图12所示，如果驾驶员没有选择显示距离信息，DSP子系统5将直接把图像送液晶进行显示S12，显示效果如图12所示，但是距离信息39不能显示出来。如果不是倒车档位，而是正常前进行驶的时候，DSP子系统5将判断驾驶员是否选择了语音报警功能，如果选择了将判读车身距离周围障碍物的距离S14，如果车身距离周围障碍物距离小于预定安全距离，将进行语音报警S15，此系统中将警告等级分为三级，第一级的安全距离小于0.80m，第二级的安全距离小于0.50m，第三级的安全距离小于0.30m。报警的声音一级比一级急促，然后进入是否显示距离信息的判断S10，如果驾驶员没有选择语音报警功能，DSP子系统5将直接跳到步骤S10。
本发明的硬件系统中对SDRAM存储器11采用的是乒乓操作，如图9所示，首先在SDRAM存储器11中开辟2块存储区SDRAM A和SDRAM B，每块大小约为6MB，用来存储FPGA控制器7每次预处理的6帧图像。在第一个缓冲周期，将FPGA控制器7预处理后的图像缓存到SDRAM A中；在第2个缓冲周期，通过输入图像数据流选择单元的切换，将输入的图像流缓存到SDRAM B中，同时将SDRAM A缓存的第1个周期图像数据通过输出图像数据流选择单元的选择，送到DSP子系统5进行运算处理；在第3个缓冲周期通过输入图像数据流选择单元的再次切换，将输入的图像数据流缓存到SDRAM存储器11中，同时将SDRAM B缓存的第2个周期的数据通过输出图像数据流选择单元的切换，送到DSP子系统5进行运算处理，如此循环。这样操作可以实现数据的无缝缓冲与处理，提高系统的效率。
当驾驶员按下液晶显示器3上如图11或12中的Menu按钮41的时候，液晶显示器3上弹出如图10所示的菜单36，里边有三个按钮分别是智能倒车43、GPS导航44和DVD多媒体播放按钮45，当按下智能倒车按钮43的时候，液晶显示器3上会继续弹出本发明装置的一些参数设置菜单37，如距离信息显示46和语音安全报警按钮47。当距离信息显示按钮46被按下的时候，液晶显示器3左下角上将会显示车身周围距离障碍物的实时距离信息(见图11或12的39)，否则不显示；如果语音安全报警按钮47被按下，当车身周围距障碍物的距离小于预设的安全距离时将发出语音报警提示，若没有按下此按钮，车辆在正常前进行驶时，语音报警功能将被屏蔽，但是倒车时仍然会进行语言报警提示的，菜单36中按钮GPS导航44或DVD多媒体播放45被按下时，液晶显示器3上将会出现相应画面，而不会显示本发明装置中的相应图像。
图11所示的是车辆正常行驶的时候，如果驾驶员选择了菜单36中的智能倒车按钮43的时候，液晶显示器3上显示图像的布局示意图。液晶显示器3共分四个显示部分：包括按钮41Menu，距离信息显示区域39，语音报警状态显示区域40和三维重建图像显示区域38，其中当驾驶员在菜单37中如果没有按下距离信息显示按钮46，距离信息显示区域39将不进行显示。
图12所示的是车辆倒车的时候，液晶显示器3上显示图像的布局示意图。在倒车时，无论此时液晶显示器3上显示的是GPS导航地图还是DVD的多媒体画面，都将直接切换到智能倒车模式下进行显示，倒车结束后，返回原来的显示状态。倒车时显示器共分五个显示部分：包括按钮41Menu，距离信息显示区域39，语音报警状态显示区域40，三维重建图像显示区域38和倒车轨迹显示区域42，其中当驾驶员在菜单37中如果没有按下距离信息显示按钮46，距离信息显示区域39将不进行显示。

Claims (5)

1.一种多视觉信息融合的车辆安全驾驶实时立体感知装置，包括与硬件处理器平台(2)的输入相连接的视频图像采集装置(1)、输出相连的液晶显示器(3)，其特征是：
视频图像采集装置(1)装于车辆外面的车顶位置、其下部为圆台状，顶部是一个与圆台侧面相切的半球形透明罩(27)，圆台侧面与水平面的夹角α为60度，视频图像采集装置(1)上具有6个摄像头，其中的5个摄像头(22、23、24、25、28)嵌在视频图像采集装置(1)的圆台侧面上，每相邻两个摄像头中轴线的夹角度数为72度，在半球形透明罩(27)下部设置可前后左右的运动的第6个摄像头(26)，每个所述摄像头由一个CCD摄像头(29)和21个红外发光二极管(30)组成，所述21个红外发光二极管(30)均匀嵌于CCD摄像头(29)周围；
硬件处理器平台(2)装于车辆内部，硬件处理器平台(2)具有主处理器(4)，主处理器(4)内包含一个DSP子系统(5)和一个ARM子系统(6)，SDRAM存储器单元(11)分别与主处理器(4)和FPGA控制器(7)相连，6个视频AD单元(9)与FPGA控制器(7)连接，主处理器(4)分别连接DDR存储单元(12)、Flash存储单元(13)、JTAG调试单元(14)、RS232接口单元(15)、音频接口单元(16)、CAN总线接口单元(19)和车载雷达接口单元(21)；
视频图像采集装置(1)的底板上设有RS232的电路单元U1、微处理器U2、电源电路U3和两个接插件J1、J2；视频图像采集装置(1)和硬件处理器平台(2)由两个接插件J1、J2连接，J1的第1、12脚为接地脚、第2脚为12V的电源引脚、第3、4、5、6、7、8引脚分别为所述6个摄像头的信号线，与所述6个视频AD单元(9)相连；J2的第1脚为TXD引脚、与所述RS232接口单元(15)电路中的TXD信号线相连、第2脚接地、第3脚为RXD引脚，与所述RS232接口单元(15)电路中的RXD信号线相连。
2.一种多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征是采用如下步骤：
1)对硬件处理器平台(2)上电完成初始化，FPGA控制器(7)控制视频图像采集装置(1)采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元(11)中；
2)主处理器(4)的DSP子系统(5)从SDRAM存储器单元(11)中读取图像，对帧图像进行匹配、拼接和三维场景的重建；
3)主处理器(4)的ARM子系统(6)同时从CAN总线接口单元(19)和车载雷达接口单元(21)读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾距离后面障碍物的距离，送至DSP子系统(5)；
4)DSP子系统(5)将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器(3)进行显示；
步骤1)所述硬件处理器平台(2)上电完成初始化之后，点击液晶显示器(3)上的按扭Menu菜单(41)后显示菜单(36)，选智能倒车按钮(43)进入智能倒车参数设置菜单(37)，当按下距离信息显示按钮(46)时，液晶显示器(3)左下角上显示车身周围距离障碍物的实时距离信息，否则不显示；若按下语音安全报警按钮(47)，当车身周围距障碍物的距离小于预设的安全距离时将发出语音报警提示，若没有按下语音安全报警按钮(47)，车辆在正常前进行驶时，语音报警功能被屏蔽，倒车时仍进行语音报警提示；菜单(36)中按钮GPS导航(44)或DVD多媒体播放(45)被按下时，液晶显示器(3)上出现相应画面；当车辆正常行驶时，如果选择菜单(36)中的智能倒车按钮(43)，液晶显示器(3)上显示图像的布局示意图。
3.根据权利要求2所述的多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征是：FPGA控制器(7)采集视频图像并对图像预处理操作后等待接收DSP子系统(5)发送来的消息，检测SDRAM存储单元(11)是否可进行写入操作，将预处理完毕的图像帧存入SDRAM存储单元(11)中，图像帧存储完后发送消息给DSP子系统(5)，通知SDRAM存储单元(11)已经存有预处理完毕的图像。
4.根据权利要求2所述的多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征是：对SDRAM的存取操作是在SDRAM存储器(11)中设2块存储区SDRAM A和SDRAM B，将FPGA控制器(7)预处理后的图像缓存到SDRAM A中；将输入的图像流缓存到SDRAMB中，同时将SDRAM A缓存的第1个周期图像数据通过输出图像数据流选择单元的选择送到DSP子系统(5)进行运算处理；在第3个缓冲周期通过输入图像数据流选择单元的再次切换，将输入的图像数据流缓存到SDRAM存储器(11)中，同时将SDRAM B缓存的第2个周期的数据通过输出图像数据流选择单元的切换送到DSP子系统(5)运算处理。
5.根据权利要求2所述的多视觉信息融合的车辆安全驾驶实时立体感知方法，其特征是：DSP子系统(5)接收ARM子系统(6)发送来的消息判断车辆当前是否是倒车档，如果是倒车档位，DSP子系统(5)发送消息通知ARM子系统(6)发送汽车倒车的预测轨迹，DSP子系统(5)将倒车预测的轨迹数据叠加到已处理好的图像上，DSP子系统(5)通过读取已设置的参数判断液晶显示器(3)上是否显示距离信息。
CN200910232682A 2009-12-04 2009-12-04 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 Expired - Fee Related CN101739843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910232682A CN101739843B (zh) 2009-12-04 2009-12-04 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910232682A CN101739843B (zh) 2009-12-04 2009-12-04 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法

Publications (2)

Publication Number Publication Date
CN101739843A CN101739843A (zh) 2010-06-16
CN101739843B true CN101739843B (zh) 2012-08-29

Family

ID=42463270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910232682A Expired - Fee Related CN101739843B (zh) 2009-12-04 2009-12-04 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法

Country Status (1)

Country Link
CN (1) CN101739843B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298144A (zh) * 2010-06-25 2011-12-28 哈尔滨工业大学 基于ARM-Linux系统的倒车雷达
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
CN101996492A (zh) * 2010-09-20 2011-03-30 中兴通讯股份有限公司 一种车载车况或环境监测信息的通讯方法和系统
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
CN102259594A (zh) * 2011-05-18 2011-11-30 河海大学 基于arm的汽车综合信息显示系统
CN103167276A (zh) * 2011-12-19 2013-06-19 富泰华工业（深圳）有限公司 车辆监控系统和车辆监控方法
CN102795174A (zh) * 2012-08-29 2012-11-28 深圳市航盛电子股份有限公司 车载倒车模拟系统
CN103522949B (zh) * 2012-12-21 2016-04-13 Tcl康钛汽车信息服务（深圳）有限公司 一种快速显示倒车影像的方法及车机系统
DE102013002533A1 (de) 2013-02-13 2014-08-14 Audi Ag Verfahren und Vorrichtung zur Darstellung von Informationen eines Systems
CN103150748B (zh) * 2013-03-18 2017-03-22 大连慈航电子有限公司 倒车影像3d 场景重构方法和系统
CN103158620B (zh) * 2013-03-25 2015-09-16 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警系统
CN103204123B (zh) * 2013-03-25 2015-07-08 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
CN103241244B (zh) * 2013-04-16 2016-08-17 上海交通大学 基于环视的车辆无线遥控系统
CN103219030B (zh) * 2013-04-18 2017-02-08 重庆长安汽车股份有限公司 一种车载视频与总线数据同步采集及回放的方法
CN103558795A (zh) * 2013-11-20 2014-02-05 江南大学 一种车辆运行数据融合采集装置
CN103692974B (zh) * 2013-12-16 2015-11-25 广州中国科学院先进技术研究所 一种基于环境监测的车辆行驶安全预警方法及系统
CN103747167B (zh) * 2013-12-26 2018-03-09 惠州华阳通用电子有限公司 一种车用摄像头与处理单元自动匹配系统及方法
JP6428270B2 (ja) * 2014-02-10 2018-11-28 株式会社デンソー 軸ずれ検出装置
CN104392622B (zh) * 2014-11-07 2016-09-28 南京富士通南大软件技术有限公司 一种基于车联网的多功能辅助驾驶服务系统
CN104374391B (zh) * 2014-11-17 2018-12-28 深圳市中天安驰有限责任公司 一种车辆行驶轨迹计算系统与计算方法
CN104554010B (zh) * 2015-01-07 2016-12-07 苏州科技学院 倒车可视系统的信号处理方法
CN105197108B (zh) * 2015-01-14 2017-11-03 河海大学常州校区 一种基于汽车辅助驾驶系统的多目标测向系统及其方法
JP6754425B2 (ja) * 2015-05-30 2020-09-09 レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． 車両監視システム
US10565468B2 (en) * 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
CN105716617B (zh) * 2016-01-29 2019-03-15 大连楼兰科技股份有限公司 基于车辆数据绘制驾驶轨迹的系统及方法
CN105706145A (zh) * 2016-01-31 2016-06-22 冯旋宇 车辆图像测距方法及系统
CN106228754B (zh) * 2016-08-10 2019-01-08 集美大学 一种基于双目视觉的手检测设备
CN106816036A (zh) * 2017-04-01 2017-06-09 北京中鼎思宏科技有限公司 车辆碰撞风险的预警方法及系统
CN107122240B (zh) * 2017-06-01 2021-01-22 中科创达软件股份有限公司 一种图像显示的处理方法及处理装置
CN109318799B (zh) * 2017-07-31 2020-11-20 比亚迪股份有限公司 汽车、汽车adas系统及其控制方法
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助系统及控制方法
CN107748884A (zh) * 2017-11-30 2018-03-02 天津所托瑞安汽车科技有限公司 一种多功能的车辆主动安全硬件处理平台及运行方法
CN108597194B (zh) * 2018-04-16 2021-04-20 Oppo广东移动通信有限公司 报警方法、装置、终端设备及存储介质
CN109029731A (zh) * 2018-05-24 2018-12-18 河海大学常州校区 一种基于多目视觉的电力设备异常监测系统及方法
US11040729B2 (en) * 2018-05-31 2021-06-22 Nissan North America, Inc. Probabilistic object tracking and prediction framework
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
CN110356325B (zh) * 2019-09-04 2020-02-14 魔视智能科技(上海)有限公司 一种城市交通客运车辆盲区预警系统
CN110708691A (zh) * 2019-09-30 2020-01-17 联想(北京)有限公司 一种信息处理方法和电子设备
CN113965686A (zh) * 2021-11-25 2022-01-21 联创汽车电子有限公司 驾驶员视觉系统和采集显示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059351A (zh) * 2006-04-19 2007-10-24 财团法人车辆研究测试中心 车辆倒车轨迹辅助方法
CN101140703A (zh) * 2007-10-26 2008-03-12 电子科技大学 手持式车辆测速抓拍装置
CN101318491A (zh) * 2008-05-14 2008-12-10 合肥工业大学 嵌入式集成视觉辅助行车安全系统
CN101364346A (zh) * 2008-09-03 2009-02-11 华中科技大学 基于视频流的嵌入式实时智能交通监控系统
CN201200411Y (zh) * 2008-06-06 2009-03-04 华南理工大学 基于fpga的驾驶员实时疲劳检测系统
CN101402362A (zh) * 2008-11-14 2009-04-08 上海世科嘉车辆技术研发有限公司 一种全自动倒车辅助控制方法及其系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059351A (zh) * 2006-04-19 2007-10-24 财团法人车辆研究测试中心 车辆倒车轨迹辅助方法
CN101140703A (zh) * 2007-10-26 2008-03-12 电子科技大学 手持式车辆测速抓拍装置
CN101318491A (zh) * 2008-05-14 2008-12-10 合肥工业大学 嵌入式集成视觉辅助行车安全系统
CN201200411Y (zh) * 2008-06-06 2009-03-04 华南理工大学 基于fpga的驾驶员实时疲劳检测系统
CN101364346A (zh) * 2008-09-03 2009-02-11 华中科技大学 基于视频流的嵌入式实时智能交通监控系统
CN101402362A (zh) * 2008-11-14 2009-04-08 上海世科嘉车辆技术研发有限公司 一种全自动倒车辅助控制方法及其系统

Also Published As

Publication number Publication date
CN101739843A (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
CN101739843B (zh) 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN103802728B (zh) 基于头盔显示器进行自动选景显示的驾驶辅助系统及方法
CN101085608B (zh) 停车辅助装置和停车辅助画面
EP2804152A1 (en) Event detection and recording methods and systems
CN110293963A (zh) 狭窄垂直车位遥控泊车方法及计算机可读存储介质
EP3745377B1 (en) Parking management system and method
EP3502819A2 (en) Autonomous vehicle and method of controlling the same
CN201484287U (zh) 一种汽车防追尾安全预警装置
CN103802725B (zh) 一种新的车载驾驶辅助图像生成方法
CN104670323A (zh) 利用方向盘选择自动停车模式的方法
CN108749813A (zh) 一种自动泊车系统及泊车方法
US20150097954A1 (en) Method and apparatus for acquiring image for vehicle
CN104554010B (zh) 倒车可视系统的信号处理方法
CN101450646A (zh) 车辆避障告警系统及其相应的电路
CN112721921A (zh) 基于实时视频流监控的远程泊车方法及系统
CN104228683A (zh) 用于运行调车和/或泊车用的驾驶员辅助系统的方法
CN101513856A (zh) 车用侧视显像系统
JP2022538498A (ja) 電気ビークルに又は電気ビークルから電力を転送する装置、及びその制御方法
CN115742963A (zh) 一种引导车辆倒车入库的辅助系统
CN210867975U (zh) 一种智能显示系统
CN107979724A (zh) 具有多焦点相机的车辆
CN104057874B (zh) 一种基于红外线侦测距离的倒车警示装置及其警示方法
CN105922935A (zh) 一种带有消除盲区的系统的汽车
CN106143305A (zh) 一种汽车车载全景泊车系统
CN110562139A (zh) 一种用于半挂车的新型多功能智能化可视系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Zheng Min

Inventor before: Zhang Xuewu

Inventor before: Xu Lizhong

Inventor before: Zhang Zhuo

Inventor before: Liang Ruiyu

Inventor before: Xi Ji

Inventor before: Ding Yanqiong

Inventor before: Duan Dunqin

Inventor before: Lin Shanming

Inventor before: Li Qingwu

Inventor before: Fan Xinnan

COR Change of bibliographic data
TR01 Transfer of patent right

Effective date of registration: 20160204

Address after: 518100 Guangdong city of Shenzhen province Baoan District Shiyan Street paddy village fourth industrial zone wish Dragon Road No. 50 Sailian Industrial Park A, B building, B building four floor A

Patentee after: SHENZHEN CHENGDA HENGTAI TECHNOLOGY CO.,LTD.

Address before: 213022 Jiangsu city of Changzhou province Chang Cheng Road, No. 5

Patentee before: CHANGZHOU CAMPUS OF HOHAI University

TR01 Transfer of patent right

Effective date of registration: 20190705

Address after: 518101 Paddy Field Community, Shiyan Street, Baoan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Huachuang Technology Co.,Ltd.

Address before: 518100 Paddy Field Community, Shiyan Street, Baoan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN CHENGDA HENGTAI TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120829

Termination date: 20211204

CF01 Termination of patent right due to non-payment of annual fee