CN104035752A - 一种基于视觉物联网的Linux智能车载系统 - Google Patents

一种基于视觉物联网的Linux智能车载系统 Download PDF

Info

Publication number
CN104035752A
CN104035752A CN201310066253.4A CN201310066253A CN104035752A CN 104035752 A CN104035752 A CN 104035752A CN 201310066253 A CN201310066253 A CN 201310066253A CN 104035752 A CN104035752 A CN 104035752A
Authority
CN
China
Prior art keywords
sensor
things
vision
internet
intelligent vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310066253.4A
Other languages
English (en)
Inventor
张佳宇
赵博然
董国勇
李少军
彭力
冯伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201310066253.4A priority Critical patent/CN104035752A/zh
Publication of CN104035752A publication Critical patent/CN104035752A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明设计出了一种基于视觉物联网的Linux智能车载系统。一种基于视觉物联网中数据汇聚、融合与数据一致性技术,运用传感器图像融合算法以及多视觉传感器全局标定方法,能在恶劣环境下的图像去噪、对图像感兴趣区域分割、特征信息提取、多传感器同步及图像融合、构成物体三维结构及获取物体空间位置、支持多种音视频媒体格式并支持DVD媒体播放、硬盘媒体播放、GPS导航、车载蓝牙、车载收音机、倒车雷达功能的智能车载系统。

Description

一种基于视觉物联网的Linux智能车载系统
技术领域
一种基于视觉物联网中数据汇聚、融合与数据一致性技术,运用觉传感器图像融合算法以及多视觉传感器全局标定方法,能在劣环境下的图像去噪、对图像感兴趣区域分割、特征信息提取、多传感器同步及图像融合、构成物体三维结构及获取物体空间位置、支持多种音视频媒体格式并支持DVD媒体播放、硬盘媒体播放、GPS导航、车载蓝牙、车载收音机、倒车雷达功能的智能车载系统。
背景技术
视觉物联网是通过视觉传感标签、射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物体与互联网相连接,进行信息交换和通信,以实现对物体的智能化识别、定位、跟踪、监控和管理的一种网络。
全局标定是把各个视觉传感器的测量数据统一到一个总体世界坐标系中,也就是确定各个视觉传感器坐标系相对这一总体世界坐标系的位置与方向,即旋转矢量和平移矢量。常用的三种全局标定方法:同名坐标统一法;中介坐标统一法;世界坐标唯一法。世界坐标唯一法的基本思想是直接利用世界总体坐标系下的标点对处于测量状态的系统的各个视觉传感器单元进行局部标定,从而将局部标定和全局标定统一到一起。因而,该方法增强了现场标定的简便性,保证了标定状态和测量状态的一致性,降低了劳动强度,在一定程度上提高了全局标定的精度。基于上述优点,本课题拟采用世界坐标唯一法。同名坐标统一法需要经过两次坐标系转换,两次标定点采集;中介坐标统一法需要三次坐标系转换,两次标定点采集;而世界坐标唯一法只有一次坐标系转换,一次标定点采集。
视觉物联网中数据汇聚、融合与数据一致性技术,视觉物联网中感知多媒体信息的物理特征、同异类信息特征和不同应用场景的业务特征众多,如何将以上各种特征建立物联网信息汇聚模型,研究多媒体信息源及多源信息汇聚是关键技术。研究基于无线多媒体传感网的物联网数据融合机制、异类传感器数据融合机制,提出多媒体数据融合理论和多媒体信息同步解决方案,建立模拟实验平台进行理论与仿真实验,优化提出的各种模型及机制都是亟待解决的关键问题。
发明内容
本发明的目的在于提出一种基于视觉物联网的Linux智能车载系统,它成本低廉,安装布置简单,使用灵活方便。
为达此目的,本发明采用以下技术方案:
(1)多视觉传感器图像融合方法。该技术综合利用各种传感器获得的不同源图像在空间上的相关性及信息上的互补性,以获得对同一场景更为清晰、全面、精确的图像描述。图像融合的层次可分为:信号级、像素级、特征级、决策级。本课题拟采用的是像素级图像融合,对于像素级图像融合而言,已提出的融合方法主要有主成分分析、演化计算、人工神经网络、小波变换和模糊逻辑等。各算法都具有自己的优缺点。本课题将建立在实验室以往科研基础上,将多种方法应用于图像融合中,进行比较,分析各种算法的优点,从而改进其中一种算法,得到优于以往方法的一种新的图像融合方法。
(2)多视觉传感器全局标定方法。全局标定是把各个视觉传感器的测量数据统一到一个总体世界坐标系中,也就是确定各个视觉传感器坐标系相对这一总体世界坐标系的位置与方向,即旋转矢量和平移矢量。常用的三种全局标定方法:同名坐标统一法;中介坐标统一法;世界坐标唯一法。世界坐标唯一法的基本思想是直接利用世界总体坐标系下的标点对处于测量状态的系统的各个视觉传感器单元进行局部标定,从而将局部标定和全局标定统一到一起。因而,该方法增强了现场标定的简便性,保证了标定状态和测量状态的一致性,降低了劳动强度,在一定程度上提高了全局标定的精度。基于上述优点,本课题拟采用世界坐标唯一法。
(3)视觉物联网中数据汇聚、融合与数据一致性技术。视觉物联网中感知多媒体信息的物理特征、同异类信息特征和不同应用场景的业务特征众多,如何将以上各种特征建立物联网信息汇聚模型,研究多媒体信息源及多源信息汇聚是关键技术。研究基于无线多媒体传感网的物联网数据融合机制、异类传感器数据融合机制,提出多媒体数据融合理论和多媒体信息同步解决方案,建立模拟实验平台进行理论与仿真实验,优化提出的各种模型及机制都是亟待解决的关键问题。
附图说明
图1为系统整体设计框图。
具体实施方式
下面结合附图对本发明做进一步说明:
图1所示为该系统整体设计框图主要有两部分组成,一部分由TMS320DM6467CPU及其外围芯片和模块构成,主要实现以下功能:高清TFT6.2英寸液晶显示屏显示,800x480分辨率,高透光率触摸屏功能;内置硬盘多媒体播放功能;摄像头监控及录像功能;GPS导航定位功能;胎温胎压检测功能;蓝牙免提功能;CMMB数字电视功能;具有USB2.0和TF接口功能。
另一部分由MCU构成,MCU主要进行系统总体控制,如遥控和按键处理、收音机控制、音量芯片控制、音视频通道切换芯片控制、系统电源控制、待机低功耗等等。
另外,MCU与TMS320DM6467处理器通过串口进行通讯,MCU把相关的按键和遥控命令发送给TMS320DM6467处理器,同时接收TMS320DM6467处理器传来的消息,如系统当前的工作模式、音视频通道的切换状态、当前音量的大小等等。

Claims (5)

1.基于视觉物联网的Linux智能车载系统,其特征在于:
包括多个视频采集模块,分别负责监测车内的情况;
运用了多视觉物联网的图像处理体系结构;
运用了多视觉传感器图像融合算法以及多视觉传感器全局标定方法;
基于视觉物联网中数据汇聚、融合与数据一致性技术;
将包括视频监控、DVD媒体播放、硬盘媒体播放、GPS导航、车载蓝牙、车载收音机、倒车雷达、等在内的功能模块。
2.根据权利要求1所述的基于视觉物联网的Linux智能车载系统,其特征在于传感器模块采用高精度数字温湿度传感器与粉尘传感器;传感器模块运行专用的传感器驱动程序与传感网组网程序。
3.根据权利要求1所述的基于视觉物联网的Linux智能车载系统,其特征在于芯片S3C6410为核心处理器。
4.根据权利要求1所述的基于视觉物联网的Linux智能车载系统,采用Qt开发UI界面。
5.根据权利要求1所述的基于视觉物联网的Linux智能车载系统,其特征在于信号数据汇聚、融合与数据一致性技术,传感器图像融合算法以及多视觉传感器全局标定方法。
CN201310066253.4A 2013-03-04 2013-03-04 一种基于视觉物联网的Linux智能车载系统 Pending CN104035752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310066253.4A CN104035752A (zh) 2013-03-04 2013-03-04 一种基于视觉物联网的Linux智能车载系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310066253.4A CN104035752A (zh) 2013-03-04 2013-03-04 一种基于视觉物联网的Linux智能车载系统

Publications (1)

Publication Number Publication Date
CN104035752A true CN104035752A (zh) 2014-09-10

Family

ID=51466528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310066253.4A Pending CN104035752A (zh) 2013-03-04 2013-03-04 一种基于视觉物联网的Linux智能车载系统

Country Status (1)

Country Link
CN (1) CN104035752A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657745A (zh) * 2016-12-30 2017-05-10 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
US10235480B2 (en) 2016-06-15 2019-03-19 International Business Machines Corporation Simulation of internet of things environment
DE102021203976A1 (de) 2021-04-21 2022-10-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung von Signallaufzeiten und System zur Fusion von Sensordaten mindestens zweier Sensoren zur Objekterkennung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100125387A1 (en) * 2008-11-17 2010-05-20 Chung-Ang University Industry-Academy Cooperation Foundation System of integrated telematics service and method of controlling the system
KR20120033146A (ko) * 2010-09-29 2012-04-06 현대자동차주식회사 스마트폰을 이용한 주차 위치 확인 방법
CN102651173A (zh) * 2012-05-23 2012-08-29 成都亿盟恒信科技有限公司 基于3g网络的北斗卫星监控安全行车系统
CN102881016A (zh) * 2012-09-19 2013-01-16 中科院微电子研究所昆山分所 基于车联网的车辆周围360°环境重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100125387A1 (en) * 2008-11-17 2010-05-20 Chung-Ang University Industry-Academy Cooperation Foundation System of integrated telematics service and method of controlling the system
KR20120033146A (ko) * 2010-09-29 2012-04-06 현대자동차주식회사 스마트폰을 이용한 주차 위치 확인 방법
CN102651173A (zh) * 2012-05-23 2012-08-29 成都亿盟恒信科技有限公司 基于3g网络的北斗卫星监控安全行车系统
CN102881016A (zh) * 2012-09-19 2013-01-16 中科院微电子研究所昆山分所 基于车联网的车辆周围360°环境重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白景斐: "基于RFID的物联网车载终端系统", 《电子设计工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235480B2 (en) 2016-06-15 2019-03-19 International Business Machines Corporation Simulation of internet of things environment
CN106657745A (zh) * 2016-12-30 2017-05-10 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
CN106657745B (zh) * 2016-12-30 2019-07-23 北京航空航天大学 一种多源gps数据与单目图像的车载采集系统
DE102021203976A1 (de) 2021-04-21 2022-10-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung von Signallaufzeiten und System zur Fusion von Sensordaten mindestens zweier Sensoren zur Objekterkennung
US11831404B2 (en) 2021-04-21 2023-11-28 Robert Bosch Gmbh Method for ascertaining signal propagation times, and system for fusing sensor data from at least two sensors for an object detection

Similar Documents

Publication Publication Date Title
US20220309687A1 (en) Object Tracking By An Unmanned Aerial Vehicle Using Visual Sensors
WO2019179417A1 (zh) 数据融合方法以及相关设备
CN108419446B (zh) 用于激光深度图取样的系统及方法
US9189068B2 (en) Apparatus and a method for gesture recognition
KR101654174B1 (ko) 전력 효율적 깊이 센서 용법을 가진 실시간 3d 재구성
US9661470B1 (en) Methods and systems for locating an actor within an environment
CN103901895B (zh) 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人
JP2019086508A (ja) 仮想経路を表示する方法、装置及びディスプレイ装置
US8938558B2 (en) Modifying functionality based on distances between devices
CN110908504B (zh) 一种增强现实博物馆协作交互方法与系统
JP2017521292A (ja) モバイルプラットフォームの動作情報を提示する方法、デバイス、およびシステム
US11092690B1 (en) Predicting lidar data using machine learning
Jha et al. The multimodal driver monitoring database: A naturalistic corpus to study driver attention
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN104035752A (zh) 一种基于视觉物联网的Linux智能车载系统
JP2019198077A (ja) 監視
Pillai Traffic Surveillance Systems through Advanced Detection, Tracking, and Classification Technique
CN112733617B (zh) 一种基于多模态数据的目标定位方法及系统
US20220164611A1 (en) System and method for multi-sensor, multi-layer targeted labeling and user interfaces therefor
US20230215092A1 (en) Method and system for providing user interface for map target creation
CN111158549B (zh) 一种出行订单的处理方法及电子设备
Kundu A Single Camera based Localization and Navigation Assistance for The Visually Impaired in Indoor Environments
CN114715175A (zh) 目标对象的确定方法、装置、电子设备以及存储介质
KR20220078848A (ko) 컨텐츠와 증강현실 사이의 적합도를 판단하는 방법 및 그 시스템
CN118196825A (zh) 一种跌倒检测方法、电子设备及计算机介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140910

WD01 Invention patent application deemed withdrawn after publication