CN109598747A - 运动目标检测系统、运动目标检测方法和车辆 - Google Patents
运动目标检测系统、运动目标检测方法和车辆 Download PDFInfo
- Publication number
- CN109598747A CN109598747A CN201710923030.3A CN201710923030A CN109598747A CN 109598747 A CN109598747 A CN 109598747A CN 201710923030 A CN201710923030 A CN 201710923030A CN 109598747 A CN109598747 A CN 109598747A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- moving target
- module
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 75
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 230000033228 biological regulation Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G06T3/047—
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明公开了一种运动目标检测系统。运动目标检测系统包括:用于采集车辆外不同预定区域的多个图像的多个相机、用于根据多个图像形成全景图像的图像预处理模块、用于检测并跟踪全景图像的特征点的视觉特征处理模块、用于根据传感器信息获得车辆运动模型的车辆运动估计模块、用于根据特征点以及车辆运动模型分割全景图像的运动目标和背景的运动目标检测模块和用于在运动目标对车辆形成危险时发出警示信息的目标报警模块。此外,本发明还公开了一种运动目标检测方法和一种车辆。本发明的运动目标检测系统、运动目标检测方法和车辆根据多个相机形成的全景图像获得车辆各个方位上的运动目标,从而在运动目标对车辆形成危险时驾驶员能够察觉。
Description
技术领域
本发明涉及车辆领域,特别涉及一种运动目标检测系统、运动目标检测方法和车辆。
背景技术
在相关技术中,车辆上的运动目标检测系统一般只能检测车辆的某个方位上的运动目标,其视野范围较小,导致运动目标容易在视野盲区靠近车辆,在车辆运动过程中,存在安全隐患。
发明内容
本发明的实施方式提供了一种运动目标检测系统、运动目标检测方法和车辆。
本发明的实施方式的一种运动目标检测系统,用于车辆,所述运动目标检测系统包括:多个相机、图像预处理模块、视觉特征处理模块、车辆运动估计模块、运动目标检测模块和目标报警模块,
所述多个相机用于采集所述车辆外不同预定区域的多个图像;
所述图像预处理模块用于根据所述多个图像形成全景图像;
所述视觉特征处理模块用于检测所述全景图像的特征点并对所述特征点进行跟踪;
所述车辆运动估计模块用于根据所述车辆的传感器信息获得车辆运动模型;
所述运动目标检测模块用于根据所述全景图像的特征点以及所述车辆运动模型分割所述全景图像的运动目标和背景;
所述目标报警模块用于在所述运动目标对所述车辆形成危险时发出警示信息。
本发明实施方式的运动目标检测系统利用多个相机形成全景图像,根据全景图像可以获得车辆各个方位上的运动目标,从而在运动目标对车辆形成危险时发出警示信息,使驾驶员能够察觉到危险,进而减少事故的发生,提高了车辆行驶的安全性。
在某些实施方式中,所述多个相机包括所述车辆的前视相机、后视相机、左视相机和右视相机。
如此,可以通过多个相机较为全面地采集车辆外各个区域的多个图像。
在某些实施方式中,所述相机包括鱼眼相机,所述图像预处理模块用于处理多个所述鱼眼相机采集的多个图像以矫正所述多个图像的畸变,并根据矫正畸变后的所述多个图像形成所述全景图像。
如此,可以利用鱼眼相机的大视场角的特性来获得更宽的视野。
在某些实施方式中,所述目标报警模块用于在所述运动目标出现在所述车辆的规定报警区域内时,判断所述运动目标对所述车辆形成危险,或所述目标报警模块用于在所述运动目标以大于预设速度靠近所述车辆时,判断所述运动目标对所述车辆形成危险。
如此,可以在运动目标距离车辆太近时或在运动目标可能撞上车辆时判断运动目标对车辆形成危险,从而发出警示信息以提示驾驶员。
在某些实施方式中,所述运动目标检测系统包括相机标定模块,所述相机标定模块用于对所述多个相机进行标定以获得相机参数,所述相机参数包括每个所述相机的位置和角度,所述图像预处理模块用于根据所述相机参数和所述多个图像形成所述全景图像。
如此,通过对多个相机进行标定可以获得相机的位置和角度,从而确定相机采集的图像与实际场景的第一对应关系,进而可以根据第一对应关系处理多个图像以形成全景图像。
在某些实施方式中,所述运动目标检测系统包括传感器标定模块,所述传感器标定模块用于对所述车辆的传感器进行标定以获得车辆运动模型参数,所述车辆运动估计模块用于根据所述车辆运动模型参数和所述传感器信息获得所述车辆运动模型。
如此,通过对车辆的传感器进行标定可以获得车辆运动模型参数,根据车辆运动模型参数可以确定传感器信息和车辆运动状态的第二对应关系,进而可以根据第二对应关系处理车辆行驶过程中的传感器信息以获得车辆运动模型。
本发明的实施方式的一种运动目标检测方法,用于车辆,所述运动目标检测方法包括:
采集所述车辆外不同预定区域的多个图像;
根据所述多个图像形成全景图像;
检测所述全景图像的特征点并对所述特征点进行跟踪;
根据所述车辆的传感器信息获得车辆运动模型;
根据所述全景图像的特征点以及所述车辆运动模型分隔所述全景图像的运动目标和背景;
在所述运动目标对所述车辆形成危险时发出警示信息。
如此,运动目标检测方法可以利用多个相机形成全景图像,根据全景图像可以获得车辆各个方位上的运动目标,从而在运动目标对车辆形成危险时发出警示信息,使驾驶员能够察觉到危险,进而减少事故的发生,提高了车辆行驶的安全性。
在某些实施方式中,所述车辆包括用于采集所述多个图像的多个相机,所述运动目标检测方法包括:
对所述多个相机进行标定以获得相机参数,所述相机参数包括每个所述相机的位置和角度;
所述根据所述多个图像形成全景图像包括:
根据所述相机参数和所述多个图像形成所述全景图像。
如此,通过对多个相机进行标定可以获得相机的位置和角度,从而确定相机采集的图像与实际场景的第一对应关系,进而可以根据第一对应关系处理多个图像以形成全景图像。
在某些实施方式中,所述运动目标检测方法包括:
判断所述车辆倒车的速度是否不高于预定车速;
若所述车辆倒车的速度不高于所述预定车速,进入采集所述车辆外不同预定区域的多个图像的步骤;或
若所述车辆倒车的速度不高于所述预定车速,关闭所述车辆的泊车雷达并进入采集所述车辆外不同预定区域的多个图像的步骤。
如此,可以在驾驶员准备停车时,通过运动目标检测方法保证停车过程的安全性。
本发明的实施方式的一种车辆包括上述任一实施方式的运动目标检测系统。
如此,车辆可以利用多个相机形成全景图像,根据全景图像可以获得车辆各个方位上的运动目标,从而在运动目标对车辆形成危险时发出警示信息,使驾驶员能够察觉到危险,进而减少事故的发生,提高了车辆行驶的安全性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的运动目标检测系统的模块示意图;
图2是本发明实施方式的运动目标检测方法的流程示意图;
图3是本发明实施方式的运动目标检测系统合成的全景图像示意图;
图4是本发明实施方式的运动目标检测方法的另一个流程示意图;
图5是本发明实施方式的运动目标检测方法的再一个流程示意图;
图6是本发明实施方式的运动目标检测方法的又一个流程示意图;
图7是本发明实施方式的运动目标检测系统的另一个模块示意图;
图8是本发明实施方式的运动目标检测方法的又一个流程示意图;
图9是本发明实施方式的运动目标检测系统的再一个模块示意图;
图10是本发明实施方式的运动目标检测方法的又一个流程示意图;
图11是本发明实施方式的运动目标检测方法的又一个流程示意图;
图12是本发明实施方式的运动目标检测方法的又一个流程示意图。
主要元件符号说明:
运动目标检测系统100、相机110、图像预处理模块120、视觉特征处理模块130、车辆运动估计模块140、运动目标检测模块150、目标报警模块160、相机标定模块170、传感器标定模块180。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的实施方式在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请参阅图1,本发明实施方式的运动目标检测系统100可以用于车辆。运动目标检测系统100包括:多个相机110、图像预处理模块120、视觉特征处理模块130、车辆运动估计模块140、运动目标检测模块150和目标报警模块160。多个相机110用于采集车辆外不同预定区域的多个图像。图像预处理模块120用于根据多个图像形成全景图像。视觉特征处理模块130用于检测全景图像的特征点并对特征点进行跟踪。车辆运动估计模块140用于根据车辆的传感器信息获得车辆运动模型。运动目标检测模块150用于根据全景图像的特征点以及车辆运动模型分割全景图像的运动目标和背景。目标报警模块160用于在运动目标对车辆形成危险时发出警示信息。
请参阅图2,本发明实施方式的运动目标检测方法可以用于车辆。运动目标检测方法包括:
步骤S110:采集车辆外不同预定区域的多个图像;
步骤S120:根据多个图像形成全景图像;
步骤S130:检测全景图像的特征点并对特征点进行跟踪;
步骤S140:根据车辆的传感器信息获得车辆运动模型;
步骤S150:根据全景图像的特征点以及车辆运动模型分隔全景图像的运动目标和背景;
步骤S160:在运动目标对车辆形成危险时发出警示信息。
也即是说,本发明实施方式的运动目标检测方法可以由本发明实施方式的运动目标检测系统100实现,其中,步骤S110可以由相机110实现,步骤S120可以由图像预处理模块120实现,步骤S130可以由视觉特征处理模块130实现,步骤S140可以由车辆运动估计模块140实现,步骤S150可以由运动目标检测模块150实现,步骤S160可以由目标报警模块160实现。
本发明实施方式的运动目标检测系统100和运动目标检测方法利用多个相机110形成全景图像,根据全景图像可以获得车辆各个方位上的运动目标,从而在运动目标对车辆形成危险时发出警示信息,使驾驶员能够察觉到危险,进而减少事故的发生,提高了车辆行驶的安全性。
在某些实施方式中,运动目标检测系统100是指可以用于检测物体是否发生运动的系统,发生运动的物体可视作运动目标。
在某些实施方式中,全景图像是指能够展现预定视场角的场景的图像,例如,能够展现360度的场景的图像。在本发明实施方式中,全景图像由多个相机110所采集的多个图像组合获得并能够展现车辆周围的场景。
在某些实施方式中,图像预处理模块120可以对图像进行预处理以方便后续对图像的运用,例如图像预处理模块120拼接多个图像以形成全景图像。
在某些实施方式中,视觉特征处理模块130能够检测全景图像的特征点,特征点可以是指全局特征点,比如颜色特征、纹理特征、主要物体的形状等,也可以是局部特征点,比如斑点和角点。斑点可以是指与周围有着颜色和灰度差别的区域,如野草中的一朵野花或一只昆虫。角点可以是指图像中物体的拐角或者线条之间的交叉部分。特征点的检测算法可以包括但不限于:sift(尺度不变特征变化)算法,surf(加速健壮特征)算法等具有旋转不变性的特征算法。Sift算法是一种用来侦测图像中的局部特征的算法,通过在空间尺度中寻找图像的极值点,并提取出其位置、尺度、旋转不变量。Surf算法是一种高鲁棒性的局部特征点检测算法,由sift算法改进而来,可以应用于计算机视觉的物体识别。视觉特征处理模块130还可以对同个相机110采集的多帧图像进行跟踪,从而判断出同一特征点是否发生移动,进而确定运动目标。需要说明的是,视觉特征处理模块130可以在全景图像中对特征点进行检测和跟踪,也可以在各个相机采集的各个图像中对特征点进行检测和跟踪。
在某些实施方式中,车辆包括多种传感器,车辆运动估计模块140可以根据车辆的传感器信息获得车辆运动模型。例如,传感器可以包括进气压力传感器、发动机温度传感器、油门踏板位置传感器、发动机转速传感器、车轮转速传感器等传感器,通过传感器信息可以判断车辆的工作状态,比如通过车轮转速传感器可以判断出车辆的行驶速度。通过多种传感器的传感器信息的结合,可以得到车辆运动模型,车辆运动模型包括车辆运动的各种信息,比如车辆的移动速度大小、车辆的运动方向等。
在某些实施方式中,运动目标检测模块150用于分割全景图像的运动目标和背景。由于车辆可能处于运动状态而导致全景图像的特征点发生移动,因此,在确定全景图像的运动目标时,一般需要结合车辆运动模型和特征点的移动,即通过特征点和车辆的相对运动来确定运动目标,例如通过车辆运动模型确定车辆以20km/h向前移动,若通过特征点的跟踪确定特征点以20km/h向后移动,则确定特征点对应的物体没发生移动,即特征点对应的物体为背景或静止的物体,不作为运动目标,若通过特征点的跟踪确定特征点以30km/h向前移动,则可以确定特征点对应的物体在向车辆靠近,即特征点对应的物体作为运动目标。
在某些实施方式中,在运动目标对车辆形成危险时,目标报警模块160可以通过视觉、听觉、触觉中的其中一种或任一组合的信息来提示驾驶员。具体地,警示信息包括视觉、听觉、触觉中的其中一种或任一组合的信息,即警示信息包括视觉信息,或警示信息包括听觉信息,或警示信息包括触觉信息,或警示信息包括视觉信息和听觉信息,或警示信息包括视觉信息和触觉信息,或警示信息包括听觉信息和触觉信息,或警示信息包括视觉信息、听觉信息和触觉信息。可以理解,目标报警模块160可以包括显示屏,显示屏用于提供视觉信息;目标报警模块160可以包括喇叭、耳机,喇叭、耳机用于提供听觉信息;目标报警模块160可以包括振动电机,振动电机用于提供触觉信息。
请参阅图3,在某些实施方式中,多个相机110用于采集车辆外不同预定区域的多个图像。预定区域可以包括车辆的前方区域、后方区域、左方区域和右方区域等区域。
对应地,在某些实施方式中,多个相机110包括车辆的前视相机、后视相机、左视相机和右视相机。
如此,可以通过多个相机110较为全面地采集车辆外各个区域的多个图像。
具体地,前视相机可以是指用于采集车辆前方区域的图像的相机,一般设置在车辆的前方;后视相机可以是指用于采集车辆后方区域的图像的相机,一般设置在车辆的后方;左视相机可以是指用于采集车辆左方区域的图像的相机,一般设置在车辆左后视镜;右视相机可以是指用于采集车辆右方区域的图像的相机,一般设置在车辆的右后视镜。通过前视相机、后视相机、左视相机和右视相机采集各个方位上的图像,能够获取车辆前后左右四个方向的视野,从而可以获得全景图像以侦测车辆各个方向上的情况。
在某些实施方式中,运动目标检测系统100可将相机110采集到的图像显示在车载触摸屏上,运动目标检测系统100可将多个图像进行切换显示,或根据驾驶员选择显示驾驶员感兴趣的图像。运动目标检测系统100也可将全景图像显示在车载触摸屏上以供驾驶员参考。
请再次参阅图1,在某些实施方式中,相机110包括鱼眼相机,图像预处理模块120用于处理多个鱼眼相机采集的多个图像以矫正多个图像的畸变,并根据矫正畸变后的多个图像形成全景图像。
请参阅图4,在某些实施方式中,相机110包括鱼眼相机,步骤S120包括:
步骤S122:处理多个鱼眼相机采集的多个图像以矫正多个图像的畸变,并根据矫正畸变后的多个图像形成全景图像。
也即是说,步骤S122可以由图像预处理模块120实现。
如此,可以利用鱼眼相机的大视场角的特性来获得更宽的视野。
具体地,鱼眼相机可以是指带有鱼眼镜头的相机,鱼眼镜头可以是指视场角大于预设角度的镜头,例如视场角大于180度的镜头。由于鱼眼相机为了追求较大的视场角,鱼眼相机拍摄的图像容易存在畸变,因此在利用鱼眼相机获取图像时,一般需要处理图像以矫正图像的畸变,进而可以根据矫正后的图像形成全景图像。
在某些实施方式中,在相机110采用鱼眼相机时,可以采用一个前视鱼眼相机、一个后视鱼眼相机、一个左视鱼眼相机和一个右视鱼眼相机采集四个图像以形成全景图像。在其他实施方式中,可以采用多个前视相机、多个后视相机、多个左视相机和多个右视相机采集多个图像以形成全景图像。
请再次参阅图1,在某些实施方式中,目标报警模块160用于在运动目标出现在车辆的规定报警区域内时,判断运动目标对车辆形成危险。
请参阅图5,在某些实施方式中,运动目标检测方法包括:
步骤S192:在运动目标出现在车辆的规定报警区域内时,判断运动目标对车辆形成危险。
也即是说,步骤S192可以由目标报警模块160实现。
如此,可以在运动目标距离车辆太近时判断运动目标对车辆形成危险,从而发出警示信息以提示驾驶员。
具体地,车辆的规定报警区域可以是指与车辆的距离小于预定距离的区域,当运动目标出现在规定报警区域时,说明运动目标与车辆的距离小于预定距离,在车辆或者运动目标的运动过程中,车辆和运动目标容易撞到一起,因此可以判断运动目标对车辆形成危险,可以发出警示信息以提示驾驶员。在一个例子中,预定距离是1米,也即是说,车辆周围1米范围内为车辆的规定报警区域。当然,在其他例子中,预定距离可为其它值,在此不做具体限定。
请再次参阅图1,在某些实施方式中,目标报警模块160用于在运动目标以大于预设速度靠近车辆时,判断运动目标对车辆形成危险。
请参阅图6,在某些实施方式中,运动目标检测方法包括:
步骤S194:在运动目标以大于预设速度靠近车辆时,判断运动目标对车辆形成危险。
也即是说,步骤S194可以由目标报警模块160实现。
如此,可以在运动目标可能撞上车辆时判断运动目标对车辆形成危险,从而发出警示信息以提示驾驶员。
具体地,预设速度可以根据驾驶员需求确定,例如,在车辆低速行驶时,预设速度可以为30km/h,在车辆倒车时,预设速度可以为20km/h。当运动目标以大于预设速度靠近车辆时,说明运动目标难以在短时间内停止向车辆靠近,即车辆和运动目标容易发生碰撞,因此可以判断运动目标对车辆形成危险,可以发出警示信息以提示驾驶员。
请参阅图7,在某些实施方式中,运动目标检测系统100包括相机标定模块170,相机标定模块170用于对多个相机110进行标定以获得相机参数,相机参数包括每个相机110的位置和角度,图像预处理模块120用于根据相机参数和多个图像形成全景图像。
请参阅图8,在某些实施方式中,车辆包括用于采集多个图像的多个相机110,运动目标检测方法包括:
步骤S170:对多个相机110进行标定以获得相机参数,相机参数包括每个相机110的位置和角度;
步骤S120包括:
步骤S124:根据相机参数和多个图像形成全景图像。
也即是说,步骤S170可以由相机标定模块170实现,步骤S124可以由图像预处理模块120实现。
如此,通过对多个相机110进行标定可以获得相机110的位置和角度,从而确定相机110采集的图像与实际场景的第一对应关系,进而可以根据第一对应关系处理多个图像以形成全景图像。
具体地,由于相机110的设置位置和角度会对相机采集图像的范围造成影响,因此需要对相机110进行标定以预先确定相机110的位置和角度,从而确定相机110采集的图像与实际场景的第一对应关系,例如相机110设置在车辆的前方,则可以确定该相机110采集的图像为实际场景中车辆前方的场景。根据第一对应关系处理多个图像以形成全景图像,例如前视相机采集的图像形成在全景图像的上方,后视相机采集的图像形成在全景图像的下方,左视相机采集的图像形成在全景图像的左方,右视相机采集的图像形成在全景图像的右方。
请参阅图9,在某些实施方式中,运动目标检测系统100包括传感器标定模块180,传感器标定模块180用于对车辆的传感器进行标定以获得车辆运动模型参数,车辆运动估计模块140用于根据车辆运动模型参数和传感器信息获得车辆运动模型。
请参阅图10,在某些实施方式中,运动目标检测方法包括:
步骤S180:对车辆的传感器进行标定以获得车辆运动模型参数;
步骤S140包括:
步骤S142:根据车辆运动模型参数和传感器信息获得车辆运动模型。
也即是说,步骤S180可以由传感器标定模块180实现,步骤S142可以由车辆运动估计模块140实现。
如此,通过对车辆的传感器进行标定可以获得车辆运动模型参数,根据车辆运动模型参数可以确定传感器信息和车辆运动状态的第二对应关系,进而可以根据第二对应关系处理车辆行驶过程中的传感器信息以获得车辆运动模型。
具体地,由于传感器的生产厂商或误差存在等多种原因,车辆实际运动状态和传感器信息的关系可能具有较大的区别,因此若要通过传感器信息确定车辆运动模型(即车辆运动状态的各种信息),可以先通过对车辆的传感器进行标定以获得车辆运动模型参数,从而可以根据车辆运动模型参数确定传感器信息和车辆运动状态的第二对应关系,进而可以根据第二对应关系和传感器信息快速地获得车辆运动模型。在一个实施例中,可以通过左前、右前、左后、右后四个方向正常行驶车辆并回到起点,根据预设采样时刻(例如每隔10ms进行一次采样)记录车辆的传感器信息,从而可以对车辆的传感器进行标定以获得车辆运动模型参数。
请参阅图11,在某些实施方式中,运动目标检测方法包括:
步骤S210:判断车辆倒车的速度是否不高于预定车速;
步骤S220:若车辆倒车的速度不高于预定车速,进入步骤S110。
请参阅图12,在某些实施方式中,运动目标检测方法包括:
步骤S210:判断车辆倒车的速度是否不高于预定车速;
步骤S230:若车辆倒车的速度不高于预定车速,关闭车辆的泊车雷达并进入步骤S110。
如此,可以在驾驶员准备停车时,通过运动目标检测方法保证停车过程的安全性。
可以理解,在一个例子中,预定车速为10km/h。在倒车的速度不高于预定车速时,说明驾驶员应该是在停车,例如驾驶员在倒车入库,因此可以进入步骤S110。
此外,在车辆倒车的速度不高于预定车速时并且车辆包括泊车雷达时,可以关闭泊车雷达以避免泊车雷达对本发明实施方式的运动目标检测方法造成影响,例如避免泊车雷达的警报干扰本发明实施方式的警示信息。
本发明实施方式的车辆包括上述任一实施方式的运动目标检测系统100。
在本发明的实施方式的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的实施方式的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明的各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种运动目标检测系统,用于车辆,其特征在于,所述运动目标检测系统包括:多个相机、图像预处理模块、视觉特征处理模块、车辆运动估计模块、运动目标检测模块和目标报警模块,
所述多个相机用于采集所述车辆外不同预定区域的多个图像;
所述图像预处理模块用于根据所述多个图像形成全景图像;
所述视觉特征处理模块用于检测所述全景图像的特征点并对所述特征点进行跟踪;
所述车辆运动估计模块用于根据所述车辆的传感器信息获得车辆运动模型;
所述运动目标检测模块用于根据所述全景图像的特征点以及所述车辆运动模型分割所述全景图像的运动目标和背景;
所述目标报警模块用于在所述运动目标对所述车辆形成危险时发出警示信息。
2.如权利要求1所述的运动目标检测系统,其特征在于,所述多个相机包括所述车辆的前视相机、后视相机、左视相机和右视相机。
3.如权利要求1所述的运动目标检测系统,其特征在于,所述相机包括鱼眼相机,所述图像预处理模块用于处理多个所述鱼眼相机采集的多个图像以矫正所述多个图像的畸变,并根据矫正畸变后的所述多个图像形成所述全景图像。
4.如权利要求1所述的运动目标检测系统,其特征在于,所述目标报警模块用于在所述运动目标出现在所述车辆的规定报警区域内时,判断所述运动目标对所述车辆形成危险,或所述目标报警模块用于在所述运动目标以大于预设速度靠近所述车辆时,判断所述运动目标对所述车辆形成危险。
5.如权利要求1所述的运动目标检测系统,其特征在于,所述运动目标检测系统包括相机标定模块,所述相机标定模块用于对所述多个相机进行标定以获得相机参数,所述相机参数包括每个所述相机的位置和角度,所述图像预处理模块用于根据所述相机参数和所述多个图像形成所述全景图像。
6.如权利要求1所述的运动目标检测系统,其特征在于,所述运动目标检测系统包括传感器标定模块,所述传感器标定模块用于对所述车辆的传感器进行标定以获得车辆运动模型参数,所述车辆运动估计模块用于根据所述车辆运动模型参数和所述传感器信息获得所述车辆运动模型。
7.一种运动目标检测方法,用于车辆,其特征在于,所述运动目标检测方法包括:
采集所述车辆外不同预定区域的多个图像;
根据所述多个图像形成全景图像;
检测所述全景图像的特征点并对所述特征点进行跟踪;
根据所述车辆的传感器信息获得车辆运动模型;
根据所述全景图像的特征点以及所述车辆运动模型分隔所述全景图像的运动目标和背景;
在所述运动目标对所述车辆形成危险时发出警示信息。
8.如权利要求7所述的运动目标检测方法,其特征在于,所述车辆包括用于采集所述多个图像的多个相机,所述运动目标检测方法包括:
对所述多个相机进行标定以获得相机参数,所述相机参数包括每个所述相机的位置和角度;
所述根据所述多个图像形成全景图像包括:
根据所述相机参数和所述多个图像形成所述全景图像。
9.如权利要求7所述的运动目标检测方法,其特征在于,所述运动目标检测方法包括:
判断所述车辆倒车的速度是否不高于预定车速;
若所述车辆倒车的速度不高于所述预定车速,进入采集所述车辆外不同预定区域的多个图像的步骤;或
若所述车辆倒车的速度不高于所述预定车速,关闭所述车辆的泊车雷达并进入采集所述车辆外不同预定区域的多个图像的步骤。
10.一种车辆,其特征在于,包括权利要求1-6任意一项所述的运动目标检测系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710923030.3A CN109598747A (zh) | 2017-09-30 | 2017-09-30 | 运动目标检测系统、运动目标检测方法和车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710923030.3A CN109598747A (zh) | 2017-09-30 | 2017-09-30 | 运动目标检测系统、运动目标检测方法和车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109598747A true CN109598747A (zh) | 2019-04-09 |
Family
ID=65956760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710923030.3A Withdrawn CN109598747A (zh) | 2017-09-30 | 2017-09-30 | 运动目标检测系统、运动目标检测方法和车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598747A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020248910A1 (zh) * | 2019-06-10 | 2020-12-17 | 华为技术有限公司 | 目标检测方法和装置 |
CN113611143A (zh) * | 2021-07-29 | 2021-11-05 | 同致电子科技(厦门)有限公司 | 一种新型记忆泊车系统及其建图系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202309974U (zh) * | 2011-10-27 | 2012-07-04 | 上海德致伦电子科技有限公司 | 基于fpga的智能车载360°全景成像系统 |
CN103345765A (zh) * | 2013-07-19 | 2013-10-09 | 南京理工大学 | 基于dsp+fpga的移动平台下运动目标检测装置及其方法 |
CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
CN105303575A (zh) * | 2015-10-29 | 2016-02-03 | 上海铁路局科学技术研究所 | 用于识别轨道列车通过的视频检测方法 |
CN106791710A (zh) * | 2017-02-10 | 2017-05-31 | 北京地平线信息技术有限公司 | 目标检测方法、装置和电子设备 |
CN107089184A (zh) * | 2017-03-24 | 2017-08-25 | 北京长城华冠汽车科技股份有限公司 | 车外警示装置及方法 |
CN107215302A (zh) * | 2017-03-25 | 2017-09-29 | 南宁市广千信息技术有限公司 | 车辆事故预警监控系统 |
-
2017
- 2017-09-30 CN CN201710923030.3A patent/CN109598747A/zh not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202309974U (zh) * | 2011-10-27 | 2012-07-04 | 上海德致伦电子科技有限公司 | 基于fpga的智能车载360°全景成像系统 |
CN103345765A (zh) * | 2013-07-19 | 2013-10-09 | 南京理工大学 | 基于dsp+fpga的移动平台下运动目标检测装置及其方法 |
CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
CN105303575A (zh) * | 2015-10-29 | 2016-02-03 | 上海铁路局科学技术研究所 | 用于识别轨道列车通过的视频检测方法 |
CN106791710A (zh) * | 2017-02-10 | 2017-05-31 | 北京地平线信息技术有限公司 | 目标检测方法、装置和电子设备 |
CN107089184A (zh) * | 2017-03-24 | 2017-08-25 | 北京长城华冠汽车科技股份有限公司 | 车外警示装置及方法 |
CN107215302A (zh) * | 2017-03-25 | 2017-09-29 | 南宁市广千信息技术有限公司 | 车辆事故预警监控系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020248910A1 (zh) * | 2019-06-10 | 2020-12-17 | 华为技术有限公司 | 目标检测方法和装置 |
CN113611143A (zh) * | 2021-07-29 | 2021-11-05 | 同致电子科技(厦门)有限公司 | 一种新型记忆泊车系统及其建图系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5096836B2 (ja) | 車両の周囲を画像化する方法およびそのためのシステム | |
KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
CN107306338A (zh) | 用于对象检测和跟踪的全景摄像机系统 | |
US20100141476A1 (en) | Driver assistance system for traffic sign recognition | |
JP2016097896A (ja) | 画像表示制御装置 | |
CN109591698A (zh) | 盲区检测系统、盲区检测方法和车辆 | |
JP6337811B2 (ja) | 画像処理装置及び画像処理方法 | |
CN109415018B (zh) | 用于数字后视镜的方法和控制单元 | |
JP2020071537A (ja) | 運転支援装置 | |
US20200117918A1 (en) | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping | |
US20180162274A1 (en) | Vehicle side-rear warning device and method using the same | |
CN105793909B (zh) | 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备 | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
CN109598747A (zh) | 运动目标检测系统、运动目标检测方法和车辆 | |
JP2023521791A (ja) | 信頼性の高いスティッチング画像を作成するためのシステムおよび方法 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP6958381B2 (ja) | 車両制御システム | |
JP6958485B2 (ja) | 物体検知装置 | |
JP5957182B2 (ja) | 路面上パターン認識方法および車両用情報記録装置 | |
CN109591694B (zh) | 车道偏离预警系统、车道偏离预警方法和车辆 | |
JP7334572B2 (ja) | 物体検知装置および物体検知プログラム | |
JP2021051348A (ja) | 物体距離推定装置及び物体距離推定方法 | |
JP7236556B2 (ja) | 物体検知装置および物体検知プログラム | |
CN111043977B (zh) | 用于确定第一车辆相对于第二车辆的相对参数的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190409 |
|
WW01 | Invention patent application withdrawn after publication |