CN109583267B - 车辆用目标检测方法、车辆用目标检测装置和车辆 - Google Patents

车辆用目标检测方法、车辆用目标检测装置和车辆 Download PDF

Info

Publication number
CN109583267B
CN109583267B CN201710901001.7A CN201710901001A CN109583267B CN 109583267 B CN109583267 B CN 109583267B CN 201710901001 A CN201710901001 A CN 201710901001A CN 109583267 B CN109583267 B CN 109583267B
Authority
CN
China
Prior art keywords
image
sub
vehicle
distance
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710901001.7A
Other languages
English (en)
Other versions
CN109583267A (zh
Inventor
丁洪利
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710901001.7A priority Critical patent/CN109583267B/zh
Priority to PCT/CN2018/087971 priority patent/WO2019062163A1/en
Priority to US16/616,962 priority patent/US11482013B2/en
Publication of CN109583267A publication Critical patent/CN109583267A/zh
Application granted granted Critical
Publication of CN109583267B publication Critical patent/CN109583267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种车辆用目标检测方法，其中，所述车辆用目标检测方法包括：获取车辆前方的图像；将所述图像划分为多个子图像；判断所述子图像是否满足预定条件；将满足多个预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离；识别所述目标子图像中的目标。本发明还提供一种车辆用目标检测装置和一种车辆。利用所述车辆用目标检测方法可以快速地检测图像中是否包括目标。

Description

车辆用目标检测方法、车辆用目标检测装置和车辆
技术领域
本发明涉及辅助驾驶领域，具体地，涉及一种车辆用目标检测方法、一种车辆用目标检测装置和一种包括该车辆用目标检测装置的车辆。
背景技术
随着智能技术的发展，已经产生了很多行车辅助装置。例如，已经出现了辅助停车的装置、自动检测车辆前方物体并生成提醒信号的装置等等。
上述行车辅助装置可以通过红外技术检测车前或者车后的装置，也可以通过拍照的方法检测车前或者车后的装置。
为了提高智能化程度，目前多采用拍照的方法检测车前或车后的物体。但是，由于识别照片中的物体涉及大量计算，在检测时有时会出现延迟现象。
因此，如何避免检测时出现延迟现象成为本领域亟待解决的技术问题。
发明内容
本发明的目的在于提供一种车辆用目标检测方法、一种车辆用目标检测装置和一种包括该车辆用目标检测装置的车辆。利用所述车辆用目标检测方法可以快速地检测出车辆前方的目标。
为了实现上述目的，作为本发明的一个方面，提供一种车辆用目标检测方法，其中，所述车辆用目标检测方法包括：
获取车辆前方的图像；
将所述图像划分为多个子图像；
判断所述子图像是否满足预定条件；
将满足多个预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离；
识别所述目标子图像中的目标。
优选地，在获取车辆前方的图像的步骤中，采用设置在车辆顶部中间位置的单目摄像头获取所述图像。
优选地，按照如下公式计算子图像中物体在所述车辆前方的真实距离：
Figure BDA0001423128750000021
其中，
D为子图像中物体在车辆前方的距离；
fv为摄像头的焦距；
hc为摄像头与地面的高度；
cv为摄像头的光心位置；
vt2为待计算的子图像底边中点的纵坐标；
v0为所述图像的消失点的纵坐标。
优选地，按照以下方法确定所述图像的消失点的坐标：
利用预定检测算子检测所述图像中的边缘图像；
在所述边缘图像中获取车道线，所述车道线为所述边缘图像中相邻且延伸方向相交的直线段；
将所述车道线向所述图像上方延长获得的交点作为所述图像的消失点；
确定所述消失点在所述图像中的坐标。
优选地，按照如下公式计算子图像中的物体的真实高度：
Figure BDA0001423128750000022
其中，H为子图像中的物体的真实高度；
ht为子图像的高度；
hc为摄像头与地面之间的高度；
Figure BDA0001423128750000033
为摄像机俯仰角；
fv为摄像头的焦距；
cv为摄像头的光心位置；
vt为所述子图像的左上角的纵坐标。
优选地，按照如下公式计算子图像中的物体的真实宽度：
Figure BDA0001423128750000031
其中，W为子图像中的物体的真实宽度；
wt为子图像的宽度；
fu为摄像头的焦距；
hc为子图像的高度；
D为子图像中物体在车辆前方的距离；
Figure BDA0001423128750000034
为摄像机俯仰角。
优选地，按照如下公式计算子图像的中心点与车辆上与该子图像相邻的侧部之间的距离：
Figure BDA0001423128750000032
其中，X为子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离；
D为子图像中物体在车辆前方的距离；
Figure BDA0001423128750000035
为摄像机俯仰角；
ut2为子图像底边中点的横坐标；
cu为摄像头光心位置横坐标；
hc为子图像的高度。
优选地，识别所述目标子图像中的目标的步骤包括：
计算所述目标子图像的多个通道特征值；
对所述目标子图像的所有通道特征值进行图像特征金字塔的构建，并得到多个尺度的图像特征；
将所述目标子图像划分为多个滑框；
将各个所述通道特征值与强分类器的多个弱分类器的T个阈值节点进行比较，并获得T个得分；
将T个得分之和大于总阈值的滑框判定为目标。
优选地，所述目标包括人和/或车辆。
优选地，所述通道特征包括三个LUV图像通道、六个方向的方向梯度值通道和一个图像的梯度幅值通道。
优选地，所述车辆用目标检测方法包括在步骤S140之前进行的构建强分类器的步骤，该构建强分类器的步骤包括：
标出多张训练图片中的目标，分别获得多个目标训练区；
将多个所述目标训练区缩放到同一尺寸，以获得正样本图像，多个所述正样本图像形成训练正样本；
在多张所述训练图片中选取不含目标的区域，分别获得多个参照区；
将多个所述参照区缩放至与所述正样本图像形同的尺寸，以获得多个负样本图像，多个所述负样本图像形成训练负样本；
利用预定算法对所述正样本和所述负样本进行训练，得到所述强分类器，所述强分类器包括T个弱分类器，利用以下公式表示所述强分类器：
Figure BDA0001423128750000041
其中，HT为最终得到的强分类器；
αt为第t个弱分类器的权重；
ht为第t个弱分类器；
t为弱分类器的序号，t＝1,2，…，T；
T为弱分类器的个数。
作为本发明的第二个方面，提供一种车辆用目标检测装置，所述车辆用目标检测装置包括：
图像获取模块，所述图像获取模块用于获取车辆前方的图像；
图像划分模块，所述图像划分模块用于将所述图像划分为多个子图像；
测距模块，所述测距模块包括计算单元，所述计算单元用于计算各个子图像中的物体在所述车辆前方的真实距离、各个所述子图像中的物体的真实高度、各个所述子图像中的物体的真实宽度；
目标子图像判定模块，所述目标子图像判定模块用于将满足多个预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离；
目标识别模块，所述目标识别模块用于识别所述目标子图像中的目标。
优选地，所述图像获取模块包括单目摄像头，所述单目摄像头用于设置在所述车辆顶部中间位置。
优选地，所述计算单元能够按照如下公式计算子图像中物体在所述车辆前方的真实距离：
Figure BDA0001423128750000051
其中，
D为子图像中物体在车辆前方的距离；
fv为摄像头的焦距；
hc为摄像头与地面的高度；
cv为摄像头的光心位置；
vt2为待计算的子图像底边中点的纵坐标；
v0为所述图像的消失点的纵坐标。
优选地，所述测距模块还包括边缘检测单元、车道线确定单元和消失点确定单元，
所述边缘检测单元能够利用预定检测算子检测所述图像中的边缘图像；
所述车道线确定单元能够在所述边缘图像中获取车道线，所述车道线为所述边缘图像中相邻且延伸方向相交的直线；
所述消失点确定单元能够将所述车道线向所述图像上方延长获得的交点作为所述图像的消失点，并且所述消失点确定跟单元能够确定所述消失点在所述图像中的坐标。
优选地，所述计算单元能够按照如下公式计算子图像中的物体的真实高度：
Figure BDA0001423128750000061
其中，H为子图像中的物体的真实高度；
ht为子图像的高度；
hc为摄像头与地面之间的高度；
Figure BDA0001423128750000062
为摄像机俯仰角；
fv为摄像头的焦距；
cv为摄像头的光心位置；
vt为所述子图像的左上角的纵坐标。
优选地，所述计算单元能够按照如下公式计算子图像中的物体的真实宽度：
Figure BDA0001423128750000063
其中，W为子图像中的物体的真实宽度；
wt为子图像的宽度；
fu为摄像头的焦距；
hc为子图像的高度；
D为子图像中物体在车辆前方的距离；
Figure BDA0001423128750000064
为摄像机俯仰角。
优选地，所述计算单元能够按照如下公式计算子图像的中心点与车辆上与该子图像相邻的侧部之间的距离：
Figure BDA0001423128750000071
其中，X为子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离；
D为子图像中物体在车辆前方的距离；
Figure BDA0001423128750000072
为摄像机俯仰角；
ut2为子图像底边中点的横坐标；
cu为摄像头光心位置横坐标；
hc为子图像的高度。
优选地，所述目标识别模块包括通道特征计算单元、图像特征金字塔构建单元、滑框划分单元和目标判定单元：
所述通道特征计算单元用于计算所述目标子图像的多个通道特征值；
所述图像特征金字塔构建单元用于对所述目标子图像的所有通道特征值进行图像特征金字塔的构建，并得到多个尺度的图像特征；
所述滑框划分单元用于将所述目标子图像划分为多个滑框；
所述目标判定单元用于将各个所述滑框的所述通道特征值与强分类器的多个弱分类器的T个阈值节点进行比较，并获得T个得分，并且所述目标判定单元还用于将T个得分之和大于总阈值的滑框判定为目标。
优选地，所述车辆用目标检测装置还强分类器构建模块，所述强分类器构建模块包括：
目标标识单元，所述目标标识单元用于标出多张训练图片中的目标，分别获得多个目标训练区；
正样本训练单元，所述正样本训练单元用于将多个所述目标训练区缩放到同一尺寸，以获得正样本图像，多个所述正样本图像形成训练正样本；
参照区选取单元，所述参照区选取单元用于在多张所述训练图片中选取不含目标的区域，分别获得多个参照区；
负样本训练单元，所述负样本训练单元将多个所述参照区缩放至与所述正样本图像形同的尺寸，以获得多个负样本图像，多个所述负样本图像形成训练负样本；
强分类器计算单元，所述强分类器计算单元用于利用预定算法对所述正样本和所述负样本进行训练，得到所述强分类器，所述强分类器包括T个弱分类器，利用以下公式表示所述强分类器：
Figure BDA0001423128750000081
其中，HT为最终得到的强分类器；
αt为第t个弱分类器的权重；
ht为第t个弱分类器；
t为弱分类器的序号，t＝1,2，…，T；
T为弱分类器的个数。
优选地，所述通道特征包括三个LUV图像通道、六个方向的方向梯度值通道和一个图像的梯度幅值通道。
优选地，所述目标包括人和/或车辆。
作为本发明的第三个方面，提供一种车辆，所述车辆包括车辆用目标检测装置，其中，所述车辆用目标检测装置为本发明所提供的上述车辆用目标检测装置。
在本发明中，通过拍照的方式获取所述原始图像。容易理解的是，在对车辆前方进行拍照时，也会将距离车辆较远的位置拍摄进图片内。通常，距离车辆较远的位置的物体对车辆的行驶影响较小，因此，在本发明所提供的方法中，不会对这些位置的子图像进行目标检测，从而可以提高所述车辆用目标检测方法的运算速度。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明所提供的车辆用目标检测方法的流程图；
图2是利用单目摄像头测量物体的真实位置之前可以进行以下计算流程图；
图3是确定图像中的消失点的流程图；
图4为图像中车道线的示意图；
图5中是图像中消失点的位置示意图；
图6为目标子图像中滑框分布示意图；
图7为在图像中标出目标的示意图；
图8为本发明所提供的车辆用目标检测装置的模块示意图。
附图标记说明
510：图像获取模块 520：图像划分模块
530：测距模块 531：计算单元
532：边缘检测单元 533：车道线确定单元
534：消失点确定单元 540：目标子图像判定模块
550：目标识别模块
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
作为本发明的一个方面，提供一种车辆用目标检测方法，如图1所示，所述车辆用目标检测方法包括：
在步骤S110中，获取车辆前方的图像；
在步骤S120中，将所述图像划分为多个子图像；
在步骤S130中，将满足多个预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件至少包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离；
在步骤S140中，识别所述目标子图像中的目标。
在本发明中，通过拍照的方式获取所述原始图像。容易理解的是，在对车辆前方进行拍照时，也会将距离车辆较远的位置拍摄进图片内。通常，距离车辆较远的位置的物体对车辆的行驶影响较小，因此，在本发明所提供的方法中，不会对这些位置的子图像进行目标检测，从而可以提高所述车辆用目标检测方法的运算速度。
下面对本发明所述的“预定条件”进行详细的解释：
所述子图像中的物体在所述车辆前方的真实距离大于所述第一预定距离，这意味着该子图像中的物体的真实位置与车辆之间的真实距离较大。例如，可以将第一预定距离设定为50米。
在本发明中，所述预定高度范围可以指行人和车辆的高度所构成的高度范围。例如，普通的小轿车的高度大概为1.3米至1.5米，普通的卡车的高度大概在3米左右。而道路上的行人的身高可能在1.3米到2米之间，因此，所述预定高度范围可以为[1.3米,2米]。所述子图像中的至少物体的真实高度在预定高度范围内，这意味着该子图像中的至少一个物体为车辆或者行人。如果一个子图像中的所有物体的真实高度均超过不在所述预定高度范围内，说明所述子图像中不存在车辆或者行人或者其他驾驶员需要检测的目标。
在本发明中，所述预定宽度范围可以指行人和车辆的宽度构成的宽度范围。例如，普通的卡车的宽度在两米到三米之间。因此，所所述预定宽度范围可以为[2米,3米]。所述子图像中存在真实宽度在所述预定宽度范围内的物体，则表面所述子图像中存在车辆或者行人。如果一个子图像中所有的物体的真实宽度均不在所述预定宽度范围内，则说明所述子图像中不存在车辆或者行人或者其他驾驶员需要检测的目标。
“子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离”表明子图像所代表的真实位置距离车辆比较远(例如，不在同一个车道内)。例如，当车辆行驶在道路上时，位于车辆左侧的子图像的中心点在车辆左侧距离小于或等于第二预定距离，表明该子图像中的物体距离车辆较近(例如，在同一个车道内)，如不注意则可能会发生事故，反之，位于车辆左侧的子图像的中心点在车辆左侧距离大于第二预定距离，表明该子图像中的物体与车辆距离较远，基本上不会影响车辆的正常行驶。位于车辆右侧的子图像的情况与位于车辆的左侧的子图像情况相似，这里不再一一赘述。总之，对于中心点与该子图像相邻的车辆的侧部之间的距离超出第二预定距离的子图像，则表明该子图像所代表的真实地位位置对车辆行驶的影响较小，因此可以不对其进行目标识别检测。在本发明中，可以将第二预定距离设定为车道宽度。通常，一个车道的宽度为3米，因此，所述第二预定距离可以为3米。
当然，所述预定条件并不限于此，在实际应用中，还可以根据实际条件设置其他的预定条件。
基于此，在本发明中排除了对车辆行驶影响较小的子图像，只对对车辆行驶影响较大的目标子图像进行目标识别检测，从而减少执行所述车辆用目标识别检测方法的运算量，提高检测速度。
在本发明中，对如何获取车辆前方的原始图像的方法并不做特殊的要求。例如，在步骤S110中，采用设置在车辆顶部中间位置的单目摄像头获取所述图像。当然，本发明并不限于此，也可以利用双目摄像头获取所述图像。
为了快速地获取子图像中的物体的真实位置与车辆的相对位置关系，优选地，可以采用单目测距系统中的单目摄像头获取所述原始图像。并且可以利用单目测距系统确定子图像中物体的真实位置。
在利用单目测距系统拍摄所述图像时，可以将单目摄像头安装在车辆顶部中间位置。
图2中所示的是车载的单目摄像头在测量物体的真实位置时流程图。具体地，利用单目摄像头测量物体的真实位置之前可以进行以下计算：
在步骤S1中，对所述单目摄像头进行标定；
在步骤S2中，识别图像中车道上的平行车道线；
在步骤S3中，计算图像消失点；
在步骤S4中，计算摄像头俯仰角。
在本发明中，对单目摄像头进行标定是指获取单目摄像头的内部参数。具体地，可以按照如下方法对单目摄像头进行标定。
摄像头的内部数据如以下矩阵(i)所示：
Figure BDA0001423128750000121
其中，fu为单目摄像头在图像横坐标方向的毫米焦距，fv为单目摄像头在图像纵坐标方向的毫米焦距，cu为单目摄像头光心位置在所述图像中的横坐标、cv为单目摄像头光心位置在所述图像中的纵坐标。例如，可以使用张正友的棋盘格标定算法，将画有棋盘格的图像放置在摄像头前方，拍摄3幅不同角度和位置的图像，成为摄像头标定图像。再利用张正友标定算法对摄像头标定图形进行处理，自动计算出单目摄像头的内部参数(即，单目摄像头焦距fu、fv，单目摄像头光心位置坐标cu、cv)。
在车辆上安装单目摄像头后，使单目摄像头正对车辆前方，使单目摄像头偏航角约等于0。使用标尺测量出摄像头距离地面的高度hc。
将检测到的平行车道往图像的上方延伸，得到的交点即为车道在无穷远处的车道线消失点，将消失点的图像坐标标记为(u0，v0)。下面介绍如何计算车道线消失点：
如上文中所述，在计算消失点时，需要用到道路上的车道线。下面介绍如何检测图像中的车道线，如图3所示，步骤S3包括以下步骤：
在步骤S31中，利用预定检测算子(例如，Canny边缘检测算子)检测所述图像中的边缘图像；
在步骤S32中，在所述边缘图像中获取车道线，所述车道线为所述边缘图像中相邻且延伸方向相交的直线段；
在步骤S33中，将所述车道线在所述图像上方延长获得的交点作为所述图像的消失点(如图5所示，代表车道线的线段A与代表车道线的线段B的交点O为所述图像的消失点)；
在步骤S34中，确定所述消失点在所述图像中的坐标。
如图4所示，在车道线图像中检测出四条候选直线段，位于图像中间的直线段A和直线段B相邻，且延伸方向相交，作为输出的平行车道线。
在步骤S32中，可以使用HOUGH变换在所述车道线图像中检测直线，并且，利用HOUGH变换得到的方向相反的直线段为所述相邻且延伸方向不平行直线段，即，为车道线。
下面介绍如何计算摄像头俯仰角。
利用计算得到的消失点坐标，按照以下公式(ii)计算出摄像机的俯仰角
Figure BDA0001423128750000131
Figure BDA0001423128750000132
建模与公式推导过程如下：
记空间标记点坐标为(x，y，z)，对应图像点坐标为(u，v)，摄像机坐标变换公式(iii)如下：
Figure BDA0001423128750000133
其中，k为常数，k＞0。
对上述公式进行简化，可以获得如下公式(iv)：
Figure BDA0001423128750000134
将空间点坐标(x，y，z)设为(0,1,0)，计算车道线的消失点坐标：
Figure BDA0001423128750000135
即，u0＝cu，
Figure BDA0001423128750000136
求解，可以获得
Figure BDA0001423128750000141
当利用单目摄像头获取车辆前方的图像时，可以按照公式(1)计算子图像中物体在所述车辆前方的真实距离：
Figure BDA0001423128750000142
其中，D为子图像中物体在车辆前方的距离；
fv为摄像头的焦距；
hc为摄像头与地面的高度；
cv为摄像头的光心位置；
vt2为待计算的子图像底边中点的纵坐标；
v0为图像消失点的纵坐标。
进一步地，按照如下公式(2)计算子图像中的物体的真实高度：
Figure BDA0001423128750000143
其中，H为子图像中的物体的真实高度；
ht为子图像的高度；
hc为摄像头与地面的高度；
Figure BDA0001423128750000146
为摄像机俯仰角。
进一步地，按照如下公式计算子图像中的物体的真实宽度：
Figure BDA0001423128750000144
其中，W为子图像中的物体的真实宽度；
wt为子图像的宽度；
fu为摄像头的焦距。
进一步地，按照如下公式(4)计算子图像的中心点在车辆左侧或右侧的距离：
Figure BDA0001423128750000145
其中，X为子图像的中心点在车辆左侧或右侧的距离。
在本发明中，对如何识别目标子图像中的目标并没有特殊的规定，例如，在本发明所提供的实施方式中，步骤S140可以包括：
在步骤S141中，计算所述目标子图像的多个通道特征值；
在步骤S142中，对多个所述通道特征进行图像特征金字塔构建，并得到多个尺度的图像特征；
在步骤S143中，将所述目标子图像划分为多个滑框；
在步骤S144中，将各个滑框的所述通道特征值与强分类器的多个弱分类器的T个阈值节点进行比较，并获得得分；
在步骤S145中，将T个得分和大于总阈值的滑框判定为目标。
作为一种优选实施方式，T可以为5。当然，本发明并不限于此，T还可以为其他数值。在本发明中，每个得分都小于或等于1。可以通过人为设定的方式设置总阈值，也可以通过机器训练的方式获得所述总阈值。例如，所述总阈值可以为1。
图6中所示的是将一个目标子图像划分为多个滑框的示意图。在图6中，实线框为目标子图像的边界，虚线框为滑框。
在本发明中，优选地，采用adaboost算法构建了强分类器，因此，可以快速地检测出目标子图像中是否存在目标、目标的种类以及目标的数量。
优选地，所述目标子图像可以包括10个通道特征，分别为三个LUV图像通道、六个方向的方向梯度值通道和一个图像的梯度幅值通道。
如上文中所述，可以利用adaboost算法构建强分类器，相应地，所述车辆用目标检测方法包括在步骤S140之前进行的构建强分类器的步骤，该构建强分类器的步骤包括：
标出多张训练图片中的目标，分别获得多个目标训练区；
将多个所述目标训练区缩放到同一尺寸，以获得正样本图像，多个所述正样本图像形成训练正样本；
在多张所述训练图片中选取不含目标的区域，分别获得多个参照区；
将多个所述参照区缩放至与所述正样本图像形同的尺寸，以获得多个负样本图像，多个所述负样本图像形成训练负样本；
利用预定算法对所述正样本和所述负样本进行训练，得到所述强分类器，所述强分类器包括T个弱分类器，利用以下公式表示所述强分类器：
Figure BDA0001423128750000161
其中，HT为最终得到的强分类器；
αt为每个弱分类器的权重；
ht为弱分类器。
在本发明中，对识别出图像中的目标后进行如何处理并不做特殊的规定。
例如，可以利用显示器显示所述图像，并利用方框在所述图像中标出所述目标。或者，不对所述图像进行显示，而是采用语音播报的方式提醒驾驶员目标与车辆之间的距离。或者，可以在利用显示屏显示目标的同时利用语音播报。
例如，图7中所示的便是利用白色方框将图像中的目标圈出。白色方框的位置即为框住目标的滑框的位置。如果相邻两个滑框均为目标，则将相邻的滑框合并显示。这也是图7中两个白色方框大小不同的原因。
作为一种具体实施方式，所述目标可以包括人，也可以包括车辆。或者目标既包括车辆也包括人。当然，所述目标还可以包括其他物体，例如，可以是桥洞、路缘等。
在本发明中，车辆检测用到的图像和行人检测用到的图像是同一幅图像，因此，可以共用特征金字塔，从而可以节省程序计算的过程。
作为本发明的第二个方面，提供一种车辆用目标检测装置，如图8所示，所述车辆用目标检测装置包括图像获取模块510、图像划分模块520、测距模块530、目标子图像判定模块540和目标识别。所述车辆用目标检测装置利用本发明所提供的上述车辆用目标检测方法。
图像获取模块510用于执行步骤S110，即，图像获取模块510用于获取车辆前方的图像。
图像划分模块520用于执行步骤S120，即，图像划分模块520用于将所述图像划分为多个子图像。
测距模块530和目标子图像判定模块540用于共同执行步骤S130。具体地，测距模块530包括计算单元531，该计算单元531用于计算各个子图像中的物体在所述车辆前方的真实距离、各个所述子图像中的物体的真实高度、各个所述子图像中的物体的真实宽度，目标子图像判定模块540用于将满足多个所述预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离。
目标识别模块550用于执行步骤S140，即，目标识别模块550用于识别所述目标子图像中的目标。
如上文中所述，在利用所述车辆用目标检测装置识别图片中的目标时，可以先将图片中对车辆行驶影响不大的子图像排除，只对车辆行驶影响较大的目标子图像进行目标检测，从而可以减少目标识别模块550中执行的计算的数量，并提高了目标检测的速度，避免在识别车辆前方是否存在目标时出现延迟。
上文中已经对所述车辆用目标检测方法的工作原理以及有益效果进行了详细描述，这里不再赘述。
在本发明中，对如何获取车辆前方的图像并没有特殊的限制，作为一种优选实施方式，所述图像获取模块包括单目摄像头，所述单目摄像头用于设置在所述车辆顶部中间位置。
在本发明中，计算单元531能够按照如下公式(1)计算子图像中物体在所述车辆前方的真实距离D。如上文中所述，在利用公式(1)计算子图像中的物体在车辆前方的真实距离D时，需要用到图像消失点的位置坐标。
相应地，测距模块530还包括边缘检测单元532、车道线确定单元533和消失点确定单元534。
边缘检测单元532能够利用预定检测算子检测所述图像中的边缘图像。
车道线确定单元533能够在所述边缘图像中获取车道线，所述车道线为所述边缘图像中相邻且延伸方向相交的直线段。
消失点确定单元534能够将所述车道线向所述图像上方延长获得的交点作为所述图像的消失点，并且所述消失点确定跟单元能够确定所述消失点在所述图像中的坐标。
优选地，计算单元531能够按照公式(2)计算子图像中的物体的真实高度。
优选地，计算单元531能够按照公式(3)计算子图像中的物体的真实宽度。
优选地，计算单元531能够按照公式(4)计算子图像的中心点与车辆上与该子图像相邻的侧部之间的距离。
作为本发明的一种优选实施方式，目标识别模块550包括通道特征计算单元551、图像特征金字塔构建单元552、滑框划分单元553和目标判定单元554。
在本发明中，通道特征计算单元551用于执行步骤S141，即，通道特征计算单元551用于计算所述目标子图像的多个通道特征值。
图像特征金字塔构建单元552用于执行步骤S142，即，图像特征金字塔构建单元552用于对所述目标子图像的所有通道特征值进行图像特征金字塔的构建，并得到多个尺度的图像特征。
滑框划分单元553用于执行步骤S143，即，滑框划分单元553用于将所述目标子图像划分为多个滑框。
目标判定单元554用于执行步骤S144和步骤S145，即，目标判定单元554用于将各个滑框的所述通道特征值与强分类器的多个弱分类器的T个阈值节点进行比较，并获得得分。并且所述目标判定单元还用于将T个得分之和大于总阈值的滑框判定为目标。
作为本发明的一种优选实施方式，所述车辆用目标检测装置还强分类器构建模块560，该强分类器构建模块560包括目标标识单元561、正样本训练单元562、参照区选取单元563和负样本训练单元564和强分类器计算单元565。
目标识别单元561用于标出多张训练图片中的目标，分别获得多个目标训练区。正样本训练单元562用于将多个所述目标训练区缩放到同一尺寸，以获得正样本图像，多个所述正样本图像形成训练正样本。参照区选取单元563用于在多张所述训练图片中选取不含目标的区域，分别获得多个参照区。负样本训练单元564将多个所述参照区缩放至与所述正样本图像形同的尺寸，以获得多个负样本图像，多个所述负样本图像形成训练负样本。强分类器计算单元565用于利用预定算法对所述正样本和所述负样本进行训练，得到所述强分类器。如上文中所述，所述强分类器包括T个弱分类器，利用以下公式表示所述强分类器：
Figure BDA0001423128750000191
其中，HT为最终得到的强分类器；
αt为第t个弱分类器的权重；
ht为第t个弱分类器；
t为弱分类器的序号，t＝1,2，…，T；
T为弱分类器的个数。
如上文中所述，所述通道特征包括三个LUV图像通道、六个方向的方向梯度值通道和一个图像的梯度幅值通道。
优选地，所述目标包括人和/或车辆。
作为本发明的第三个方面，提供一种车辆，所述车辆包括车辆用目标检测装置，其中，所述车辆用目标检测装置为本发明所提供的上述车辆用目标检测装置。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (21)

1.一种车辆用目标检测方法，其特征在于，所述车辆用目标检测方法包括：
采用单目摄像头获取车辆前方的图像；
将所述图像划分为多个子图像；
判断所述子图像是否满足预定条件；
将满足多个预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件至少包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离；
识别所述目标子图像中的目标；
其中，将满足多个预定条件中的任意一个的子图像排除之前，还包括：计算所述子图像中的物体在所述车辆前方的真实距离；
所述计算所述子图像中的物体在所述车辆前方的真实距离包括：
利用预定检测算子检测所述子图像中的边缘图像；
在所述边缘图像中获取车道线，所述车道线为所述边缘图像中相邻且延伸方向相交的直线段；
将所述车道线向所述子图像上方延长获得的交点作为所述子图像的消失点；
确定所述消失点在所述子图像中的坐标；
根据所述消失点在所述子图像中的坐标，计算出子图像中物体在所述车辆前方的真实距离。
2.根据权利要求1所述的车辆用目标检测方法，其特征在于，按照如下公式计算子图像中物体在所述车辆前方的真实距离：
Figure FDA0003410117090000021
其中，
D为子图像中物体在车辆前方的距离；
fv为摄像头的焦距；
hc为摄像头与地面的高度；
cv为摄像头的光心位置；
vt2为待计算的子图像底边中点的纵坐标；
v0为所述子图像的消失点的纵坐标；
Figure FDA0003410117090000022
为摄像机俯仰角。
3.根据权利要求1所述的车辆用目标检测方法，其特征在于，按照如下公式计算子图像中的物体的真实高度：
Figure FDA0003410117090000023
其中，H为子图像中的物体的真实高度；
D为子图像中物体在车辆前方的距离；
ht为子图像的高度；
hc为摄像头与地面之间的高度；
Figure FDA0003410117090000024
为摄像机俯仰角；
fv为摄像头的焦距；
cv为摄像头的光心位置；
vt为所述子图像的左上角的纵坐标。
4.根据权利要求1所述的车辆用目标检测方法，其特征在于，按照如下公式计算子图像中的物体的真实宽度：
Figure FDA0003410117090000025
其中，W为子图像中的物体的真实宽度；
wt为子图像的宽度；
fu为摄像头的焦距；
hc为子图像的高度；
D为子图像中物体在车辆前方的距离；
Figure FDA0003410117090000031
为摄像机俯仰角。
5.根据权利要求1所述的车辆用目标检测方法，其特征在于，按照如下公式计算子图像的中心点与车辆上与该子图像相邻的侧部之间的距离：
Figure FDA0003410117090000032
其中，X为子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离；
D为子图像中物体在车辆前方的距离；
Figure FDA0003410117090000033
为摄像机俯仰角；
ut2为子图像底边中点的横坐标；
cu为摄像头光心位置横坐标；
hc为子图像的高度；
fu为摄像头的焦距。
6.根据权利要求1所述的车辆用目标检测方法，其特征在于，识别所述目标子图像中的目标的步骤包括：
计算所述目标子图像的多个通道特征值；
对所述目标子图像的所有通道特征值进行图像特征金字塔的构建，并得到多个尺度的图像特征；
将所述目标子图像划分为多个滑框；
将各个所述滑框的所述通道特征值与强分类器的多个弱分类器的T个阈值节点进行比较，并获得T个得分；
将T个得分之和大于总阈值的滑框判定为目标。
7.根据权利要求6所述的车辆用目标检测方法，其特征在于，所述目标包括人和/或车辆。
8.根据权利要求6所述的车辆用目标检测方法，其特征在于，所述通道特征包括三个LUV图像通道、六个方向的方向梯度值通道和一个图像的梯度幅值通道。
9.根据权利要求6所述的车辆用目标检测方法，其特征在于，所述车辆用目标检测方法包括在步骤S140之前进行的构建强分类器的步骤，该构建强分类器的步骤包括：
标出多张训练图片中的目标，分别获得多个目标训练区；
将多个所述目标训练区缩放到同一尺寸，以获得正样本图像，多个所述正样本图像形成训练正样本；
在多张所述训练图片中选取不含目标的区域，分别获得多个参照区；
将多个所述参照区缩放至与所述正样本图像形同的尺寸，以获得多个负样本图像，多个所述负样本图像形成训练负样本；
利用预定算法对所述正样本和所述负样本进行训练，得到所述强分类器，所述强分类器包括T个弱分类器，利用以下公式表示所述强分类器：
Figure FDA0003410117090000041
其中，HT为最终得到的强分类器；
αt为第t个弱分类器的权重；
ht为第t个弱分类器；
t为弱分类器的序号，t＝1,2，…，T；
T为弱分类器的个数。
10.一种车辆用目标检测装置，所述车辆用目标检测装置包括：
图像获取模块，所述图像获取模块用于获取车辆前方的图像；
图像划分模块，所述图像划分模块用于将所述图像划分为多个子图像；
测距模块，所述测距模块包括计算单元，所述计算单元用于计算各个子图像中的物体在所述车辆前方的真实距离、各个所述子图像中的物体的真实高度、各个所述子图像中的物体的真实宽度；
目标子图像判定模块，所述目标子图像判定模块用于将满足多个预定条件中的任意一个的子图像排除，并将其余子图像设定为目标子图像，其中，多个所述预定条件至少包括：子图像中的物体在所述车辆前方的真实距离大于第一预定距离、子图像中的物体的真实高度超出预定高度范围、子图像中的物体的真实宽度超出预定宽度范围、子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离大于第二预定距离；
目标识别模块，所述目标识别模块用于识别所述目标子图像中的目标。
11.根据权利要求10所述的车辆用目标检测装置，其特征在于，所述图像获取模块包括单目摄像头，所述单目摄像头用于设置在所述车辆顶部中间位置。
12.根据权利要求11所述的车辆用目标检测装置，其特征在于，所述计算单元能够按照如下公式计算子图像中物体在所述车辆前方的真实距离：
Figure FDA0003410117090000051
其中，
D为子图像中物体在车辆前方的距离；
fv为摄像头的焦距；
hc为摄像头与地面的高度；
cv为摄像头的光心位置；
vt2为待计算的子图像底边中点的纵坐标；
v0为所述图像的消失点的纵坐标；
Figure FDA0003410117090000061
为摄像机俯仰角。
13.根据权利要求12所述的车辆用目标检测装置，其特征在于，所述测距模块还包括边缘检测单元、车道线确定单元和消失点确定单元，
所述边缘检测单元能够利用预定检测算子检测所述图像中的边缘图像；
所述车道线确定单元能够在所述边缘图像中获取车道线，所述车道线为所述边缘图像中延伸方向相交的直线；
所述消失点确定单元能够将所述车道线向所述图像上方延长获得的交点作为所述图像的消失点，并且所述消失点确定跟单元能够确定所述消失点在所述图像中的坐标。
14.根据权利要求11所述的车辆用目标检测装置，其特征在于，所述计算单元能够按照如下公式计算子图像中的物体的真实高度：
Figure FDA0003410117090000062
其中，H为子图像中的物体的真实高度；
D为子图像中物体在车辆前方的距离；
ht为子图像的高度；
hc为摄像头与地面之间的高度；
Figure FDA0003410117090000063
为摄像机俯仰角；
fv为摄像头的焦距；
cv为摄像头的光心位置；
vt为所述子图像的左上角的纵坐标。
15.根据权利要求11所述的车辆用目标检测装置，其特征在于，所述计算单元能够按照如下公式计算子图像中的物体的真实宽度：
Figure FDA0003410117090000064
其中，W为子图像中的物体的真实宽度；
wt为子图像的宽度；
fu为摄像头的焦距；
hc为子图像的高度；
D为子图像中物体在车辆前方的距离；
Figure FDA0003410117090000071
为摄像机俯仰角。
16.根据权利要求11所述的车辆用目标检测装置，其特征在于，所述计算单元能够按照如下公式计算子图像的中心点与车辆上与该子图像相邻的侧部之间的距离：
Figure FDA0003410117090000072
其中，X为子图像的中心点与所述车辆上与该子图像相邻的侧部之间的距离；
D为子图像中物体在车辆前方的距离；
Figure FDA0003410117090000073
为摄像机俯仰角；
ut2为子图像底边中点的横坐标；
cu为摄像头光心位置横坐标；
hc为子图像的高度；
fu为摄像头的焦距。
17.根据权利要求10所述的车辆用目标检测装置，其特征在于，所述目标识别模块包括通道特征计算单元、图像特征金字塔构建单元、滑框划分单元和目标判定单元：
所述通道特征计算单元用于计算所述目标子图像的多个通道特征值；
所述图像特征金字塔构建单元用于对所述目标子图像的所有通道特征值进行图像特征金字塔的构建，并得到多个尺度的图像特征；
所述滑框划分单元用于将所述目标子图像划分为多个滑框；
所述目标判定单元用于将各个所述通道特征值与强分类器的多个弱分类器的T个阈值节点进行比较，并获得T个得分，并且所述目标判定单元还用于将T个得分之和大于总阈值的滑框判定为目标。
18.根据权利要求17所述的车辆用目标检测装置，其特征在于，所述车辆用目标检测装置还强分类器构建模块，所述强分类器构建模块包括：
目标标识单元，所述目标标识单元用于标出多张训练图片中的目标，分别获得多个目标训练区；
正样本训练单元，所述正样本训练单元用于将多个所述目标训练区缩放到同一尺寸，以获得正样本图像，多个所述正样本图像形成训练正样本；
参照区选取单元，所述参照区选取单元用于在多张所述训练图片中选取不含目标的区域，分别获得多个参照区；
负样本训练单元，所述负样本训练单元将多个所述参照区缩放至与所述正样本图像形同的尺寸，以获得多个负样本图像，多个所述负样本图像形成训练负样本；
强分类器计算单元，所述强分类器计算单元用于利用预定算法对所述正样本和所述负样本进行训练，得到所述强分类器，所述强分类器包括T个弱分类器，利用以下公式表示所述强分类器：
Figure FDA0003410117090000081
其中，HT为最终得到的强分类器；
αt为第t个弱分类器的权重；
ht为第t个弱分类器；
t为弱分类器的序号，t＝1,2，…，T；
T为弱分类器的个数。
19.根据权利要求17所述的车辆用目标检测装置，其特征在于，所述通道特征包括三个LUV图像通道、六个方向的方向梯度值通道和一个图像的梯度幅值通道。
20.根据权利要求10至19中任意一项所述的车辆用目标检测装置，其特征在于，所述目标包括人和/或车辆。
21.一种车辆，所述车辆包括车辆用目标检测装置，其特征在于，所述车辆用目标检测装置为权利要求10至20中任意一项所述的车辆用目标检测装置。
CN201710901001.7A 2017-09-28 2017-09-28 车辆用目标检测方法、车辆用目标检测装置和车辆 Active CN109583267B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710901001.7A CN109583267B (zh) 2017-09-28 2017-09-28 车辆用目标检测方法、车辆用目标检测装置和车辆
PCT/CN2018/087971 WO2019062163A1 (en) 2017-09-28 2018-05-23 OBJECT TRACKING METHOD, OBJECT TRACKING APPARATUS, VEHICLE BEING EQUIPPED, AND COMPUTER PROGRAM PRODUCT
US16/616,962 US11482013B2 (en) 2017-09-28 2018-05-23 Object tracking method, object tracking apparatus, vehicle having the same, and computer-program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710901001.7A CN109583267B (zh) 2017-09-28 2017-09-28 车辆用目标检测方法、车辆用目标检测装置和车辆

Publications (2)

Publication Number Publication Date
CN109583267A CN109583267A (zh) 2019-04-05
CN109583267B true CN109583267B (zh) 2022-04-08

Family

ID=65900720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710901001.7A Active CN109583267B (zh) 2017-09-28 2017-09-28 车辆用目标检测方法、车辆用目标检测装置和车辆

Country Status (3)

Country Link
US (1) US11482013B2 (zh)
CN (1) CN109583267B (zh)
WO (1) WO2019062163A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997740B2 (en) * 2019-07-15 2021-05-04 Here Global B.V. Method, apparatus, and system for providing real-world distance information from a monocular image
CN110986887B (zh) * 2019-12-31 2022-08-02 毫末智行科技有限公司 基于单目摄像头的测距方法、存储介质及单目摄像头
US11410334B2 (en) * 2020-02-03 2022-08-09 Magna Electronics Inc. Vehicular vision system with camera calibration using calibration target
CN111951328A (zh) * 2020-08-05 2020-11-17 清华大学苏州汽车研究院（吴江） 一种物体位置检测方法、装置、设备和存储介质
CN112417953B (zh) * 2020-10-12 2022-07-19 腾讯科技（深圳）有限公司 道路状况检测和地图数据更新方法、装置、系统及设备
CN112268538A (zh) * 2020-10-20 2021-01-26 中国人民解放军陆军工程大学 一种适用于小型无人车的几何光学测距方法
CN112525147B (zh) * 2020-12-08 2022-11-08 北京嘀嘀无限科技发展有限公司 自动驾驶设备测距方法及相关装置
CN113111707B (zh) * 2021-03-07 2024-05-17 上海赛可出行科技服务有限公司 一种基于卷积神经网络的前车检测与测距方法
JP7447850B2 (ja) * 2021-03-16 2024-03-12 トヨタ自動車株式会社 情報処理装置、方法、及びプログラム
KR20230060901A (ko) * 2021-10-28 2023-05-08 주식회사 슈프리마 영상 처리 장치 및 방법
CN114371805B (zh) * 2021-12-28 2023-08-01 易思维（杭州）科技有限公司 一种列车表面缺陷查看系统及方法
CN114370849A (zh) * 2022-03-21 2022-04-19 所托(杭州)汽车智能设备有限公司 一种目标车辆测距方法、装置、设备及介质
CN114973190B (zh) * 2022-05-07 2024-10-15 毫末智行科技有限公司 一种距离检测方法、装置及车辆
TWI831696B (zh) * 2023-05-23 2024-02-01 晶睿通訊股份有限公司 影像分析方法及其影像分析設備

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369315A (zh) * 2007-08-17 2009-02-18 上海银晨智能识别科技有限公司 人脸检测方法
CN102170558A (zh) * 2010-12-30 2011-08-31 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
CN102682455A (zh) * 2012-05-10 2012-09-19 天津工业大学 一种基于单目视觉的前方车辆检测方法
CN103204123A (zh) * 2013-03-25 2013-07-17 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
CN106682600A (zh) * 2016-12-15 2017-05-17 深圳市华尊科技股份有限公司 一种目标检测方法及终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
US8284997B2 (en) * 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
CN102288121B (zh) * 2011-05-12 2012-11-07 电子科技大学 一种基于单目视觉的车道偏离距离测量及预警方法
CN102722894B (zh) * 2012-05-23 2014-10-15 浙江捷尚视觉科技股份有限公司 一种基于摄像机自动标定的智能视频监控方法
CN104346928A (zh) * 2014-10-30 2015-02-11 无锡悟莘科技有限公司 一种闯红灯车辆监控拍照系统
CN104636724B (zh) 2015-02-02 2018-09-04 华中科技大学 一种基于目标一致性的车载相机快速行人车辆检测方法
KR102338554B1 (ko) * 2015-03-16 2021-12-15 주식회사 만도모빌리티솔루션즈 자동 긴급 제동장치 및 그 제어방법
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法
CN105488454B (zh) * 2015-11-17 2019-04-23 天津工业大学 基于单目视觉的前方车辆检测与测距
CN106778886A (zh) * 2016-12-26 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车牌的定位方法及定位装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369315A (zh) * 2007-08-17 2009-02-18 上海银晨智能识别科技有限公司 人脸检测方法
CN102170558A (zh) * 2010-12-30 2011-08-31 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
CN102682455A (zh) * 2012-05-10 2012-09-19 天津工业大学 一种基于单目视觉的前方车辆检测方法
CN103204123A (zh) * 2013-03-25 2013-07-17 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
CN106682600A (zh) * 2016-12-15 2017-05-17 深圳市华尊科技股份有限公司 一种目标检测方法及终端

Also Published As

Publication number Publication date
US11482013B2 (en) 2022-10-25
US20200167578A1 (en) 2020-05-28
CN109583267A (zh) 2019-04-05
WO2019062163A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN109583267B (zh) 车辆用目标检测方法、车辆用目标检测装置和车辆
CN109034047B (zh) 一种车道线检测方法及装置
CN106203398B (zh) 一种检测车道边界的方法、装置和设备
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
JP4930046B2 (ja) 路面判別方法および路面判別装置
KR101392850B1 (ko) 영상인식 기반의 차선 이탈 감지 방법 및 시스템
EP2237988B1 (en) Object detection and recognition system
CN110490936B (zh) 车辆摄像头的标定方法、装置、设备及可读存储介质
CN106650708A (zh) 一种自动驾驶障碍物视觉检测方法与系统
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
JP5180126B2 (ja) 道路認識装置
CN108416306B (zh) 连续型障碍物检测方法、装置、设备和存储介质
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
EP2642364A1 (en) Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle
US12030551B2 (en) Image processing device and image processing method
CN115240471B (zh) 一种基于图像采集的智慧厂区避撞预警方法和系统
US20160371549A1 (en) Method and Device for Detecting Objects from Depth-Resolved Image Data
CN106909929A (zh) 行人距离检测方法和装置
CN110088801A (zh) 可行驶区域检测装置以及行驶辅助系统
US20190213427A1 (en) Detection and Validation of Objects from Sequential Images of a Camera
CN113256739A (zh) 车载bsd摄像头的自标定方法、设备和存储介质
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant