CN106878687A - 一种基于多传感器的车载环境识别系统及全方位视觉模块 - Google Patents
一种基于多传感器的车载环境识别系统及全方位视觉模块 Download PDFInfo
- Publication number
- CN106878687A CN106878687A CN201710235038.0A CN201710235038A CN106878687A CN 106878687 A CN106878687 A CN 106878687A CN 201710235038 A CN201710235038 A CN 201710235038A CN 106878687 A CN106878687 A CN 106878687A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- omni
- camera
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims abstract description 6
- 230000003028 elevating effect Effects 0.000 claims abstract description 5
- 230000001133 acceleration Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 9
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 210000000352 storage cell Anatomy 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004064 recycling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多传感器的车载环境识别系统，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块用于获取车辆周围360度范围内的环境三维信息，IMU模块用于获取车辆的加速度与角速度信息，GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息，雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点，数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。本发明同时公开了一种全方位视觉模块，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块实时采集并处理各组双目摄像头获取的场景图像。
Description
技术领域
本发明涉及一种多摄像头拼接的全方位视觉装置以及基于多传感器的车载环境识别系统，属于传感器技术领域。
背景技术
单目视觉可以进行简单的目标跟踪、目标识别，但是并不能提供环境的深度信息。双目视觉在单目视觉的基础上实现了对深度信息的获取，但是不能实时地进行全方位的信息获取。相对于传统视觉传感器在视场受限方面的不足，全方位视觉装置可以实时获取全方位的环境信息，在军事应用、公共安全、视频会议以及位置环境的探测等方面发挥着积极的作用。多部成像装置多角度同时拍摄是最容易想到的全方位图像获取的技术，相对于普通摄像机加旋转云台的方法存在延时、鱼眼技术和折反射技术存在高畸变，多摄像头拼接的全方位视觉装置更加简单可靠。目前多摄像头拼接的全方位视觉装置在多摄像头的精确安装、多幅图像的无缝拼接等方面均存在不足，此外该装置在垂直方向的视角受限也对全方位环境信息的获取存在一定的影响。
随着工作环境与任务的日益复杂，人们对智能系统的性能提出了更高的要求。单个传感器在某一采样时刻只能获取一组数据，经过处理得到的信息只能用来描述环境的局部特征，因此单靠一个传感器往往无法满足某些系统对鲁棒性的要求。采用多传感器融合可以对环境进行更加全面准确的描述，但是信息的冗余在提高系统鲁棒性的同时伴随着大量数据的产生，大量的数据计算处理无疑严重影响着系统的实时性，此外系统的功耗、资源占用率等都是需要考虑的问题。
发明内容
本发明提供了一种全方位视觉模块，其为多摄像头拼接的全方位视觉装置，解决了传统视觉传感器不能实时获取全方位环境信息的问题。
以上目的是通过以下技术方案实现的：
一种全方位视觉模块，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。
进一步地，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。
进一步地，所述图像拼接单元的工作过程包括：
摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。
进一步地，所述双目匹配单元的工作过程包括：
摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善弱纹理区域和深度不连续区域出现的匹配精度问题；构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数E(d)＝Edata(d)+λEsmooth(d)；多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价；视差选择：通过选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图。视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。
进一步地，所述目标识别单元的工作过程包括：
通过训练样本来训练分类器：对正样本和负样本进行特征选择和提取从而对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器；利用训练好的分类器进行目标检测：用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的特征，并且通过训练好的分类器对该特征进行筛选，最终得到所要的分类结果。
本发明同时提供一种基于多传感器的车载环境识别系统，能够获取多种传感数据信息，并通过硬件处理器并行计算处理数据信息，解决了单个传感器获取信息少、系统鲁棒性低、实时性差等问题。
以上目的是通过以下技术方案实现的：
一种基于多传感器的车载环境识别系统，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块、IMU模块、GPS模块、雷达模块分别与数据融合模块通讯连接；全方位视觉模块用于获取车辆周围360度范围内的环境三维信息；IMU模块用于获取车辆的加速度与角速度信息；GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息；雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。
进一步地，所述数据融合模块包括数据采集单元、数据存储单元、硬件处理器，数据采集单元采集上述各个传感器模块传输过来的数据并传输给数据存储单元；数据存储单元对数据进行存储并将数据实时传输给硬件处理器；硬件处理器以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。
本发明的有益效果是：
1本发明提供了一种多摄像头拼接的全方位视觉装置，通过电机控制水平均置的多组双目摄像头进行俯仰运动，能够获取环境的全方位信息；并且该装置提供了图像拼接、双目匹配以及目标识别多种图像处理单元。
2本发明提供了一种基于多传感器的车载环境识别系统，能够获取多种传感数据信息，经过融合处理能够对环境进行更加全面的描述，提高对环境特征描述的准确性，同时信息的冗余可以提高系统鲁棒性。
3本发明通过硬件处理器以并行的方式处理数据，满足了实时性的要求。
附图说明
图1是基于多传感器的车载环境识别系统结构框图
图2是全方位视觉模块的结构示意图
图3是图像处理模块的结构框图
图4是图像拼接单元的原理框图
图5是双目匹配单元的原理框图
图6是目标识别单元的原理框图
具体实施方式
以下结合附图详细介绍本发明的技术方案：
如图1所示，一种基于多传感器的车载环境识别系统，包括全方位视觉模块1、IMU模块2、GPS模块3、雷达模块4和数据融合模块5，全方位视觉模块1、IMU模块2、GPS模块3、雷达模块4分别与数据融合模块5通讯连接。全方位视觉模块1是一种多摄像头拼接的全方位视觉装置，能够获取车辆周围360度范围内的环境三维信息；IMU模块2包括加速度计和陀螺仪，能够获取车辆的加速度与角速度信息；GPS模块3与IMU模块2联合工作，能够获取车辆的位置和姿态信息；雷达模块4能够获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；上述各个传感器模块相互配合、联合工作，能够给系统提供外界环境的全景图、深度图、姿态、距离等多种信息，以保证系统的鲁棒性与准确性。
数据融合模块5包括数据采集单元51、数据存储单元52、硬件处理器53。首先通过数据采集单元51采集上述各个传感器模块传输过来的数据并传输给数据存储单元52；其次数据存储单元52对数据进行存储并将数据实时传输给硬件处理器53；最后硬件处理器53以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。
图2是全方位视觉模块的结构示意图。作为优选实施例之一：全方位视觉模块1包括五组双目摄像头11、五个摄像头支架12、五个步进电机13、五个俯仰电机支架14、基座15以及图像处理模块16。每组双目摄像头11固定安装在对应的摄像头支架12上；每个步进电机13固定安装在对应的俯仰电机支架14上；每个摄像头支架12与对应的步进电机13输出轴通过紧固螺钉连接；五个俯仰电机支架14及图像处理模块16均固定安装在基座15上。此外，五组双目摄像头11在水平方向均匀布置并且所选的摄像头的视场需要大于72度以保证所述全方位视觉模块1能够实时获取在水平方向上360度范围内的环境信息。其工作原理是：通过各个步进电机13控制对应的双目摄像头11进行俯仰运动获取所观测环境的全方位场景图像，然后图像处理模块16实时采集并处理各组摄像头11获取的场景图像。
图3是全方位视觉模块的图像处理模块16的结构框图。图像处理模块16包括图像采集单元161、图像拼接单元162、双目匹配单元163、目标识别单元164。其工作原理是：图像采集单元161实时采集各组摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元162、双目匹配单元163和目标识别单元164；图像拼接单元162将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元163计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元164通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。
图4是图像拼接单元的原理框图。图像拼接单元的工作过程包括：第一步，摄像头标定：由于安装设计及摄相头之间的差异，会造成视频图像之间有缩放(镜头焦距不一致造成)、倾斜(垂直旋转)、方位角差异(水平旋转)，需要通过摄像头标定预先校准这些物理差异，得到一致性好的图像，便于后续图像拼接。第二步，图像畸变校正：由于制造、安装、工艺等原因，镜头存在着各种畸变，径向畸变导致图像内直线成弯曲的像并且越靠近边缘这种现象越明显，是导致图像畸变的主要因素，因此为了提高摄像机拼接的精度，需要通过图像畸变校正对这种畸变进行校正操作。第三步，图像投影变换：由于每幅图像是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性，所以需要通过图像投影变换进行平面投影，即以序列图像中的一幅图像的坐标系为基准，将其图像都投影变换到这个基准坐标系中，使相邻图像的重叠区对齐，再进行拼接。第四步，匹配点选取：根据具有缩放不变性的SIFT特征点，在图像序列中找到有效的特征匹配点。第五步，图像拼接：根据几何运动模型，将图像注册到同一个坐标系中后再拼接为一幅全图图像。第六步，后处理：由于摄像头和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现明暗交替，不利于环境的识别。所以需要通过后处理对亮度与颜色的均衡处理，即通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
图5是双目匹配单元的原理框图。双目匹配单元的工作过程包括：第一步，摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数，其中内部参数是为了得到镜头的信息并消除畸变，使得到的图像更为准确；外部参数是为了得到摄像头相对于世界坐标的联系。第二步，代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善了弱纹理区域和深度不连续区域出现的匹配精度问题；第三步，构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数E(d)＝Edata(d)+λEsmooth(d)。第四步，多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价。第五步，视差选择：选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图。第六步，视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。
图6是目标识别单元的原理框图。目标识别单元的工作过程包括：第一步，通过训练样本来训练分类器，其主要原理是：训练样本包括正样本和负样本，其中正样本是指待检测目标样本，负样本是指其他不包含目标的任意图片，所有的样本图片都被归一化为同样的尺寸；由于图像或波形所获得的数据量是相当大的，为了有效地实现分类识别，需要通过特征选择和提取对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器。第二步，利用训练好的分类器进行目标检测，其主要原理是：首先用一个扫描子窗口在待检测的图像中不断的移位滑动，子窗口每到一个位置，就会计算出该区域的特征；其次用第二步得到的训练好的分类器对该特征进行筛选，判定该区域是否为目标；然后因为目标在图像的大小可能和训练分类器时使用的样本图片大小不一样，所以就需要对这个扫描的子窗口变大或者变小(或者将图像变小)，再在图像中滑动，再匹配一遍；最终得到分类结果。
Claims (7)
1.一种全方位视觉模块，其特征在于，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。
2.如权利要求1所述的一种全方位视觉模块，其特征在于，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。
3.如权利要求2所述的一种全方位视觉模块，其特征在于，所述图像拼接单元的工作过程包括：
摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；
图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；
图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；
匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；
图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；
后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。
4.如权利要求2所述的一种全方位视觉模块，其特征在于，所述双目匹配单元的工作过程包括：
摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；
代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善弱纹理区域和深度不连续区域出现的匹配精度问题；
构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数；
多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价；
视差选择：通过选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图；
视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。
5.如权利要求2所述的一种全方位视觉模块，其特征在于，所述目标识别单元的工作过程包括：
通过训练样本来训练分类器：对正样本和负样本进行特征选择和提取从而对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器；
利用训练好的分类器进行目标检测：用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的特征，并且通过训练好的分类器对该特征进行筛选，最终得到所要的分类结果。
6.一种基于多传感器的车载环境识别系统，其特征在于，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块、IMU模块、GPS模块、雷达模块分别与数据融合模块通讯连接；全方位视觉模块用于获取车辆周围360度范围内的环境三维信息；IMU模块用于获取车辆的加速度与角速度信息；GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息；雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。
7.如权利要求6所述的一种基于多传感器的车载环境识别系统，其特征在于，所述数据融合模块包括数据采集单元、数据存储单元、硬件处理器，数据采集单元采集上述各个传感器模块传输过来的数据并传输给数据存储单元；数据存储单元对数据进行存储并将数据实时传输给硬件处理器；硬件处理器以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710235038.0A CN106878687A (zh) | 2017-04-12 | 2017-04-12 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710235038.0A CN106878687A (zh) | 2017-04-12 | 2017-04-12 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106878687A true CN106878687A (zh) | 2017-06-20 |
Family
ID=59163164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710235038.0A Pending CN106878687A (zh) | 2017-04-12 | 2017-04-12 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106878687A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107153247A (zh) * | 2017-07-04 | 2017-09-12 | 深圳普思英察科技有限公司 | 无人设备的视觉传感装置以及具有其的无人设备 |
| CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN107818558A (zh) * | 2017-09-19 | 2018-03-20 | 歌尔科技有限公司 | 一种检测镜头瑕疵的方法和装置 |
| CN107862720A (zh) * | 2017-11-24 | 2018-03-30 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化系统 |
| CN108195378A (zh) * | 2017-12-25 | 2018-06-22 | 北京航天晨信科技有限责任公司 | 一种基于环视相机的智能视觉导航系统 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| CN108303972A (zh) * | 2017-10-31 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 移动机器人的交互方法及装置 |
| CN109002800A (zh) * | 2018-07-20 | 2018-12-14 | 苏州索亚机器人技术有限公司 | 基于多传感器融合的三维目标实时识别机构及识别方法 |
| CN109460076A (zh) * | 2018-11-09 | 2019-03-12 | 北京理工大学 | 一种应用于边防的无人值守控制系统及其控制方法 |
| CN109594797A (zh) * | 2019-01-23 | 2019-04-09 | 湖南科技大学 | 一种旅居空间装备舒适环境自动适应装置及控制方法 |
| CN109754415A (zh) * | 2017-11-02 | 2019-05-14 | 郭宇铮 | 一种基于多组双目视觉的车载全景立体感知系统 |
| CN109785370A (zh) * | 2018-12-12 | 2019-05-21 | 南京工程学院 | 一种基于空间时间序列模型的弱纹理图像配准方法 |
| CN109978987A (zh) * | 2017-12-28 | 2019-07-05 | 周秦娜 | 一种基于多个深度摄像头构建全景的控制方法、装置及系统 |
| CN110832850A (zh) * | 2017-07-05 | 2020-02-21 | 索尼公司 | 成像装置、配备相机的无人机以及模式控制方法和程序 |
| CN111242847A (zh) * | 2020-01-10 | 2020-06-05 | 上海西井信息科技有限公司 | 基于闸道的图像拼接方法、系统、设备及存储介质 |
| US10694103B2 (en) | 2018-04-24 | 2020-06-23 | Industrial Technology Research Institute | Building system and building method for panorama point cloud |
| CN111444891A (zh) * | 2020-04-30 | 2020-07-24 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
| CN111753629A (zh) * | 2019-03-27 | 2020-10-09 | 伊莱比特汽车有限责任公司 | 车辆环境的环境数据处理 |
| CN111915446A (zh) * | 2020-08-14 | 2020-11-10 | 南京三百云信息科技有限公司 | 事故车辆定损方法、装置及终端设备 |
| CN112074875A (zh) * | 2018-02-08 | 2020-12-11 | 华为技术有限公司 | 构造3d特征图的组优化深度信息方法和系统 |
| CN112528771A (zh) * | 2020-11-27 | 2021-03-19 | 深兰科技（上海）有限公司 | 障碍物检测方法、装置、电子设备及存储介质 |
| CN112880672A (zh) * | 2021-01-14 | 2021-06-01 | 武汉元生创新科技有限公司 | 基于ai的惯性传感器融合策略自适应方法及装置 |
| CN113096194A (zh) * | 2021-05-08 | 2021-07-09 | 北京字节跳动网络技术有限公司 | 确定时序的方法、装置、终端及非暂时性存储介质 |
| CN113103228A (zh) * | 2021-03-29 | 2021-07-13 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113291303A (zh) * | 2020-02-05 | 2021-08-24 | 马自达汽车株式会社 | 车辆用控制装置 |
| CN113715753A (zh) * | 2020-05-25 | 2021-11-30 | 华为技术有限公司 | 车辆传感器数据的处理方法和系统 |
| CN113743358A (zh) * | 2021-09-16 | 2021-12-03 | 华中农业大学 | 一种全方位采集和智能计算的景观视觉特征识别方法 |
| CN113841384A (zh) * | 2019-05-23 | 2021-12-24 | 索尼互动娱乐股份有限公司 | 校准装置，用于校准的图表和校准方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2799901A2 (de) * | 2013-04-30 | 2014-11-05 | JENOPTIK Robot GmbH | Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul |
| CN104318561A (zh) * | 2014-10-22 | 2015-01-28 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
| CN105046647A (zh) * | 2015-06-19 | 2015-11-11 | 江苏新通达电子科技股份有限公司 | 全液晶仪表360°全景车用监控系统及其工作方法 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| US20160189547A1 (en) * | 2014-12-25 | 2016-06-30 | Automotive Research & Testing Center | Driving Safety System and Barrier Screening Method Thereof |
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的系统及方法 |
| CN106559664A (zh) * | 2015-09-30 | 2017-04-05 | 成都理想境界科技有限公司 | 三维全景图像的拍摄装置及设备 |
| CN206611521U (zh) * | 2017-04-12 | 2017-11-03 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
-
2017
- 2017-04-12 CN CN201710235038.0A patent/CN106878687A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2799901A2 (de) * | 2013-04-30 | 2014-11-05 | JENOPTIK Robot GmbH | Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul |
| CN104318561A (zh) * | 2014-10-22 | 2015-01-28 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
| US20160189547A1 (en) * | 2014-12-25 | 2016-06-30 | Automotive Research & Testing Center | Driving Safety System and Barrier Screening Method Thereof |
| CN105046647A (zh) * | 2015-06-19 | 2015-11-11 | 江苏新通达电子科技股份有限公司 | 全液晶仪表360°全景车用监控系统及其工作方法 |
| CN106559664A (zh) * | 2015-09-30 | 2017-04-05 | 成都理想境界科技有限公司 | 三维全景图像的拍摄装置及设备 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的系统及方法 |
| CN206611521U (zh) * | 2017-04-12 | 2017-11-03 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN107277445B (zh) * | 2017-06-29 | 2020-05-12 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN107153247A (zh) * | 2017-07-04 | 2017-09-12 | 深圳普思英察科技有限公司 | 无人设备的视觉传感装置以及具有其的无人设备 |
| CN110832850A (zh) * | 2017-07-05 | 2020-02-21 | 索尼公司 | 成像装置、配备相机的无人机以及模式控制方法和程序 |
| CN107818558A (zh) * | 2017-09-19 | 2018-03-20 | 歌尔科技有限公司 | 一种检测镜头瑕疵的方法和装置 |
| US11142121B2 (en) | 2017-10-31 | 2021-10-12 | Tencent Technology (Shenzhen) Company Limited | Interaction method and apparatus of mobile robot, mobile robot, and storage medium |
| CN108303972A (zh) * | 2017-10-31 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 移动机器人的交互方法及装置 |
| CN109754415A (zh) * | 2017-11-02 | 2019-05-14 | 郭宇铮 | 一种基于多组双目视觉的车载全景立体感知系统 |
| CN107862720A (zh) * | 2017-11-24 | 2018-03-30 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化系统 |
| CN107862720B (zh) * | 2017-11-24 | 2020-05-22 | 北京华捷艾米科技有限公司 | 基于多地图融合的位姿优化方法及位姿优化系统 |
| CN108195378A (zh) * | 2017-12-25 | 2018-06-22 | 北京航天晨信科技有限责任公司 | 一种基于环视相机的智能视觉导航系统 |
| CN109978987A (zh) * | 2017-12-28 | 2019-07-05 | 周秦娜 | 一种基于多个深度摄像头构建全景的控制方法、装置及系统 |
| CN112074875A (zh) * | 2018-02-08 | 2020-12-11 | 华为技术有限公司 | 构造3d特征图的组优化深度信息方法和系统 |
| CN112074875B (zh) * | 2018-02-08 | 2024-05-03 | 华为技术有限公司 | 构造3d特征图的组优化深度信息方法和系统 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| US10694103B2 (en) | 2018-04-24 | 2020-06-23 | Industrial Technology Research Institute | Building system and building method for panorama point cloud |
| CN109002800A (zh) * | 2018-07-20 | 2018-12-14 | 苏州索亚机器人技术有限公司 | 基于多传感器融合的三维目标实时识别机构及识别方法 |
| CN109460076A (zh) * | 2018-11-09 | 2019-03-12 | 北京理工大学 | 一种应用于边防的无人值守控制系统及其控制方法 |
| CN109785370A (zh) * | 2018-12-12 | 2019-05-21 | 南京工程学院 | 一种基于空间时间序列模型的弱纹理图像配准方法 |
| CN109594797B (zh) * | 2019-01-23 | 2023-08-11 | 湖南科技大学 | 一种旅居空间装备舒适环境自动适应装置及控制方法 |
| CN109594797A (zh) * | 2019-01-23 | 2019-04-09 | 湖南科技大学 | 一种旅居空间装备舒适环境自动适应装置及控制方法 |
| CN111753629A (zh) * | 2019-03-27 | 2020-10-09 | 伊莱比特汽车有限责任公司 | 车辆环境的环境数据处理 |
| CN113841384A (zh) * | 2019-05-23 | 2021-12-24 | 索尼互动娱乐股份有限公司 | 校准装置，用于校准的图表和校准方法 |
| US11881001B2 (en) | 2019-05-23 | 2024-01-23 | Sony Interactive Entertainment Inc. | Calibration apparatus, chart for calibration, and calibration method |
| CN113841384B (zh) * | 2019-05-23 | 2023-07-25 | 索尼互动娱乐股份有限公司 | 校准装置，用于校准的图表和校准方法 |
| CN111242847B (zh) * | 2020-01-10 | 2021-03-30 | 上海西井信息科技有限公司 | 基于闸道的图像拼接方法、系统、设备及存储介质 |
| CN111242847A (zh) * | 2020-01-10 | 2020-06-05 | 上海西井信息科技有限公司 | 基于闸道的图像拼接方法、系统、设备及存储介质 |
| CN113291303A (zh) * | 2020-02-05 | 2021-08-24 | 马自达汽车株式会社 | 车辆用控制装置 |
| CN113291303B (zh) * | 2020-02-05 | 2023-06-09 | 马自达汽车株式会社 | 车辆用控制装置 |
| CN111444891A (zh) * | 2020-04-30 | 2020-07-24 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
| CN113715753A (zh) * | 2020-05-25 | 2021-11-30 | 华为技术有限公司 | 车辆传感器数据的处理方法和系统 |
| CN111915446A (zh) * | 2020-08-14 | 2020-11-10 | 南京三百云信息科技有限公司 | 事故车辆定损方法、装置及终端设备 |
| CN112528771A (zh) * | 2020-11-27 | 2021-03-19 | 深兰科技（上海）有限公司 | 障碍物检测方法、装置、电子设备及存储介质 |
| CN112880672A (zh) * | 2021-01-14 | 2021-06-01 | 武汉元生创新科技有限公司 | 基于ai的惯性传感器融合策略自适应方法及装置 |
| CN113103228A (zh) * | 2021-03-29 | 2021-07-13 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113103228B (zh) * | 2021-03-29 | 2023-08-15 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113096194A (zh) * | 2021-05-08 | 2021-07-09 | 北京字节跳动网络技术有限公司 | 确定时序的方法、装置、终端及非暂时性存储介质 |
| CN113096194B (zh) * | 2021-05-08 | 2024-03-26 | 北京字节跳动网络技术有限公司 | 确定时序的方法、装置、终端及非暂时性存储介质 |
| CN113743358A (zh) * | 2021-09-16 | 2021-12-03 | 华中农业大学 | 一种全方位采集和智能计算的景观视觉特征识别方法 |
| CN113743358B (zh) * | 2021-09-16 | 2023-12-05 | 华中农业大学 | 一种全方位采集和智能计算的景观视觉特征识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106878687A (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
| CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| US10033924B2 (en) | Panoramic view imaging system | |
| CN107665506B (zh) | 实现增强现实的方法及系统 | |
| CN103886107B (zh) | 基于天花板图像信息的机器人定位与地图构建系统 | |
| CN105516654B (zh) | 一种基于场景结构分析的城市监控视频融合方法 | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| CN115439424A (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CA2907047A1 (en) | Method for generating a panoramic image | |
| CN109520500A (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
| CN107509055A (zh) | 一种旋转式全景焦点识别光电跟踪仪及其实施方法 | |
| Zhu et al. | Monocular 3d vehicle detection using uncalibrated traffic cameras through homography | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
| CN108230242A (zh) | 一种从全景激光点云到视频流的转换方法 | |
| CN112801184A (zh) | 一种云跟踪方法、系统及装置 | |
| Pan et al. | Virtual-real fusion with dynamic scene from videos | |
| CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN113379848A (zh) | 基于双目ptz相机的目标定位方法 | |
| US11703820B2 (en) | Monitoring management and control system based on panoramic big data | |
| CN114663473A (zh) | 基于多视角信息融合的人员目标定位与追踪方法及系统 | |
| CN108564654A (zh) | 三维大场景的画面进入方式 | |
| CN207200874U (zh) | 一种旋转式全景焦点识别光电跟踪仪 | |
| CN114659499A (zh) | 一种基于无人机技术的智慧城市3d地图模型摄影建立方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170620 |