CN108162858A - 车载监控装置及其方法 - Google Patents

车载监控装置及其方法 Download PDF

Info

Publication number
CN108162858A
CN108162858A CN201611115983.9A CN201611115983A CN108162858A CN 108162858 A CN108162858 A CN 108162858A CN 201611115983 A CN201611115983 A CN 201611115983A CN 108162858 A CN108162858 A CN 108162858A
Authority
CN
China
Prior art keywords
moving objects
vehicle
light stream
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611115983.9A
Other languages
English (en)
Other versions
CN108162858B (zh
Inventor
孙杰
邝宏武
张涛
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201611115983.9A priority Critical patent/CN108162858B/zh
Publication of CN108162858A publication Critical patent/CN108162858A/zh
Application granted granted Critical
Publication of CN108162858B publication Critical patent/CN108162858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种车载监控装置和方法。所述装置包括拍摄单元,用于拍摄车辆周围的图像;检测单元,用于根据拍摄单元拍摄的连续多帧图像,通过光流算法,检测图像中的运动对象;位置确定单元,用于确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置;距离确定单元,用于根据所述位置以及所述车载监控装置中拍摄单元的高度和倾斜角度,确定所述运动对象与车辆之间的距离。本发明通过对拍摄的图像进行分析,从而确定运动对象以及运动对象距离车辆的距离,这种方式形成的装置或设备安装简单、成本低,不存在盲区。

Description

车载监控装置及其方法
技术领域
本申请涉及车辆辅助驾驶领域,尤其涉及一种车载监控方法及其装置。
背景技术
驾驶员在驾驶车辆时,可通过辅助驾驶来提高驾驶员驾驶的舒适性和安全性,其中,辅助驾驶是指汽车在行驶过程中利用安装在车上的各种传感器设备来随时感测车辆周围的环境数据,并对感测到的环境数据进行计算与分析,从而让驾驶者提前察觉到可能发生的危险。
目前大部分车辆采用雷达探测器和后视摄像头辅助驾驶员观察车辆的后方,雷达探测器可探测在探测范围内的障碍物(例如,路边栏杆、奔跑的孩童)并随着车辆与障碍物越来越接近而发出不同级别的警报,后视摄像头可将采集的数据实时显示在车载显示器上,如此,驾驶员可在雷达探测器和后视摄像头的辅助下驾驶车辆。但是雷达探测器的探测范围有一定限制,安装多个雷达或者采用探测范围较大的雷达都会增加成本,而且安装复杂,而后视摄像头的广角大约是400度,很明显存在盲区。
由此看来,现有技术需要同时利用雷达探测器和后视摄像头,而这种方式不仅安装复杂、而且费用高。
发明内容
本发明的主要目的在于提供一种车载监控方法及其设备,旨在采用与现有技术完全不同的实施方式,简化安装过程、降低安装费用。
本申请实施例提供一种车载监控装置,所述装置包括:拍摄单元,用于拍摄车辆周围的图像;检测单元,用于根据拍摄单元拍摄的连续多帧图像,通过光流算法,检测图像中的运动对象;位置确定单元,用于确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置;距离确定单元,用于根据所述位置以及所述车载监控装置中拍摄单元的高度和倾斜角度,确定所述运动对象与车辆之间的距离。
本申请实施例还提供一种车载监控方法,包括:拍摄车辆周围的图像;根据拍摄的连续多帧图像,通过光流算法检测所述图像中的运动对象;确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置;根据所述位置以及所述拍摄图像处的高度和倾斜角度,确定所述运动对象与车辆之间的距离。
本申请实施例采用的上述至少一个技术方案采用与现有技术完全不同的实施方式,在不增加硬件的情况下,通过对拍摄单元拍摄的图像进行处理来确定运动对象以及运动对象与车辆之间的距离,进而依据运动对象与车辆的距离实现对车辆周围情况的监控,利用这种方式形成的装置或设备安装简单、成本低,不存在盲区。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本公开的实施例的车载监控方法的流程图;
图2是根据本公开的另一实施例的车载监控方法的流程图;
图3是根据本公开的实施例的确定运动障碍物与车辆之间的距离的示图;
图4是根据本公开的实施例的车载监控方法的流程图;
图5示出根据本公开的实施例的车载监控装置的应用场景;
图6示出根据本公开的实施例的车载监控装置的另一应用场景。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1是根据本公开的实施例的车载监控方法的流程图。如图1所示,在S110,可拍摄车辆周围的图像,这里所指的“车辆周围”可以是车辆所在区域的预定范围,该预定范围由拍摄单元(例如,摄像头)本身的性能决定,在实施过程中,用户可根据所需的监控精度高低、范围大小等确定拍摄单元。随后,在S120,基于连续获取的多个图像,确定所述图像中的运动对象以及运动对象与车辆之间的距离。这里的“运动对象”可以是以各种形式发生位移变化或不发生位移变化但原地做旋转运动的对象,比如,可以是一直持续运动的对象,也可以是一会停止、一会移动的对象,可以是快速度的运动对象,也可以是低速运动的对象,只要有可能对车辆(人员)安全造成影响的运动物体均可以涵盖在本申请讨论的范围内。而且,在现实实践中,运动对象可能最终对车辆或人员造成实质性危害,也可能没有实质性危害,在有较大可能性造成危害的情况下,可以将运动对象称为运动障碍物。
在可选实施例中,在步骤S120确定所述图像中存在运动对象以及运动对象与车辆之间的距离之后,还可显示拍摄的图像并根据所述距离不同而以不同的方式显示运动对象,即实现差别化的显示,从而起到很好的区分和提示作用。例如,可以方框的形式突出显示运动障碍物,并在运动障碍物与车辆之间的距离到达预设的阈值距离时,方框变红或变大来提醒驾驶员,或者可以以辅助线的形式来表明运动障碍物与车辆之间的距离,这样,驾驶员可清楚地获知运动障碍物距离车辆的距离,从而提高警惕。需要说明的是,这里的“不同方式”可以是同一种显示形式在运动对象与车辆不同距离下的不同显示状态,比如,上例中均为“方框”显示,但在距离达到预设阈值时“方框变红”,也可以是在运动对象与车辆不同距离下的不同显示形式,比如,刚开始以方框显示,在达到预设阈值时,以圆圈形式显示运动障碍物。
此外,基于类似的道理,在本申请的又一可选实施例中,还可以根据运动对象与车辆之间距离不同而有差别地发出警报。例如,所述报警单元可在运动障碍物与车辆离得近时,报警声变大,并在运动障碍物与车辆离得远时报警声变小,从而可以提醒驾驶员提高警惕,同时也提醒了运动障碍物(例如,行人)。也就是说,可以先进行运动对象与车辆之间距离远近的判断,当判断出运动对象与车辆的距离满足一个预设距离条件时(比如较远时),采取一种方式进行报警(比如,较小的报警声);当判断出运动对象与车辆的距离满足另一个预设距离条件时(比如较紧时),采取另一种有别于前一种方式的报警方式(比如,较大的报警声)。这里同样需要说明的是:根据不同的距离采取不同报警方式是为了提高报警的区分度,在用户对车载监控没有特别高的要求时,为节约电量、减少混乱和干扰等目的,仍然可以始终采取相同方式报警。此外,与前述显示运动对象类似,这里的报警方式既可以是同一种形式的不同状态(比如,均采用蜂鸣报警,但距离不同蜂鸣声大小不同),或者不同的形式(比如,距离较远时,采取文字提醒,距离较近时,采取警报声报警)。
在本申请的再一可选实施例中,所述车载监控方法还可在识别出图像中的运动障碍物的同时,将拍摄单元所拍摄的图像自动存储在存储单元中。这样,在需要取证时,可从存储单元中调用所需图像。
下面将结合图2来详细说明图1中步骤S120的具体操作,在此基础上,形成本发明的另一实施例。图2示出了该实施例的车载监控方法的流程图。
如图2所述,在接收到所述图像之后,在S210,基于图像特征,对图像中的障碍物(例如,行人、树木、栏杆等)进行分割,通过分割操作可以将注意力聚焦到重点关注的对象上,排除一些不必要的干扰,使得后续的运动对象检测过程得到优化。具体进行分割时,可基于图像的外观特征(例如,道路、灰度、纹理、颜色等)对图像进行预分割,从而确定路面和候选运动障碍物,例如,可基于直线来识别出道路,可基于肤色来检测出图像中的行人。随后,确定候选运动障碍物中的每个像素点的置信度归一化指,并将候选运动障碍物中置信度高的运动障碍物确定为运动障碍物。
在S220,基于光流算法,计算按照时间顺序连续获取的两帧图像之间的光流,从而获取场景中的相对运动信息,其中,所述光流算法可包括但不限于LK光流算法和HS光流算法。
在S230,通过与前述的时间顺序相反的反向光流来抑制错误的光流点和噪声干扰,从而确定正确的光流点,减少后续聚焦操作的工作量。具体来说,假设有A,B两连续帧,A帧为B帧上一帧,由A帧上的一点(a点)来计算出B帧上的光流点(b点),然后由b点在A帧上计算对应光流点,得到c点,若a点和c点在图像中的位置小于一定数量的像素,则认为a点和b点是正确像素点,否则为错误光流点。。
在S240,基于聚类算法对相似光流点聚集,并根据聚集结果检测出运动对象。具体来说,根据光流的幅度、角度、位置特征,将相似的光流点合并,使得场景中同一物体的光流点置于同一个集合中。例如,每个光流点均由向量来表示,可将相似的向量长度的光流点归为一类,或者将向量方向在一定范围内的光流点归为一类,并计算初步聚类后的光流点之间的距离,若距离大于预设阈值则该光流点不属于该类,若不大于预设阈值,则属于该类。在可替换实施例中,可通过对相似光流点进行聚集,进而依据聚集的情况来确定运动障碍物。这里对相似光流点进行聚集的聚类算法可包括但不限于MST最小生成树、K-MEANS算法、基于统计的方法、Ransac随机一致抽样。
以上详细地说明了如何通过光流法从拍摄的图像中检测出运动障碍物,以下将参照图3详细地说明确定运动障碍物与车辆之间的距离的步骤。图3为根据本公开的实施例的确定运动障碍物与车辆之间的距离的示意图。
在S250,可计算在步骤S240中聚集的光流点的光流统计值,举例来说,可计算聚集的光流点的角度,从而确定障碍物的运动方向,可计算聚集的光流点的幅度,从而确定障碍物的运动幅度,并可计算聚集的光流点的重心,从而确定障碍物的位置。具体来说,根据光流点中位于最下方的光流点的位置,并根据拍摄单元的安装高度和倾斜角度来确定该光流点与车辆之间的距离,从而确定运动障碍物与车辆之间的距离。随后,可计算每个障碍物的运动矢量,并将所述运动矢量保存到队列中。
如图3所示,αR是指拍摄单元(如图3中示出的倒车摄像机)的光轴与路面的夹角,其中,光轴是指从拍摄单元射出的光线所在的水平轴;αS是指拍摄单元与运动障碍物的最下方光流点(简称测距点)P的连线与拍摄单元的垂直面之间的夹角;αC是指拍摄单元与测距点的连线与光轴的夹角;Hc是拍摄单元的安装高度;Yc是光心坐标;y为测距点P在图像平面成像点的纵坐标,f为拍摄单元的焦距,Zt是运动障碍物与拍摄单元的水平距离,其中,Hc、Yc、αR和f可在拍摄单元的安装阶段通过标定而获取,计算公式如下:
αS=90°-(αRC) (2)
Zt=Hc×tan(αS)(3)
由公式(1)至(3)可获知y与Zt之间的映射关系,因此,y=g(Zt)。
至此,基于以上操作,可确定运动障碍物距离车辆的距离。在实际操作中,可能存在一些不会对车辆运行进行干扰的运动障碍物,例如,抖动的树叶、靠近路面的小物体,可不必向驾驶员提醒这些运动障碍物。因此,可对运动障碍物进行分类,基于特征过滤掉不会对车辆造成干扰的运动障碍物。
在步骤S260,提取在S250中生成的每个队列的特征。在步骤270中,对提取的队列特征通过分类器进行分类,从而区分运动障碍物,其中,分类算法包括但不限于决策树、基于规则的分类器、最近邻分类器、贝叶斯分类器、SVM、神经网络和CNN,此外,分类算法还可以是上述方式的一种或者组合。此外,若采用神经网络,SVM等分类器,则在步骤260对提取到的队列参数值进行预训练。
在步骤280中,可基于特征对运动障碍物进行过滤,从而过滤掉不会对车辆运行造成影响或影响较小的障碍物,例如,抖动的树叶、靠近路面的运动障碍物等。具体过滤时,可以预先设定过滤的条件,在满足过滤条件时,将其过滤掉,这里的预设过滤条件可以是运动对象相对于车辆的距离变化快慢、运动对象距离车辆的远近等。
由以上描述可知,根据本发明的车载监控方法采用了与现有技术完全不同的方式检测在车辆行驶过程中的运动障碍物,具体来说,通过对获取的图像进行分析,从而确定运动障碍物以及运动障碍物距离车辆的距离,进而依据运动对象与车辆的距离实现对车辆周围情况的监控,利用这种方式形成的装置或设备安装简单、成本低并且不存在盲区。
此外,虽然在现有技术中还存在利用软件处理拍摄单元获取的图像并从中检测出运动障碍物,但是根据本发明的车载监控方法在确定运动障碍物的同时确定运动障碍物与车辆的距离,从而为下一步区别化提醒驾驶员奠定了基础。进一步地,所述车载监控方法还可对检测出的运动障碍物进行过滤,即滤除掉不会对车辆造成影响的运动障碍物,从而更有效地给驾驶员提醒。在此基础上,所述车载监控方法可在听觉上或视觉上给驾驶员提醒,从而提高驾驶员的注意力。此外,所述车载监控方法还可应用在停车场景,当检测到运动障碍物正在不断接近时发出警报并同时触发存储单元,如此,可提醒不断接近的运动障碍物(例如,行人)并可存证以备不时之需。
图4是根据本公开的实施例的车载监控装置的框图。车载监控装置400是安装在车辆上的电子装置。该装置可通过拍摄车辆周围,检测出车辆周围的运动障碍物以及运动障碍物与车辆之间的距离,从而能够根据所述距离的远近而提供不同的警报,从而可以提高驾驶员的警觉性。本领域普通技术人员将理解:图4中的车载监控装置400仅示出了与本示例性实施例相关的组件,在车载监控装置400中还包括除了图4中示出的组件之外的通用组件。
如图4所示,车载监控装置400包括拍摄单元410和处理单元420。其中,拍摄单元410可被安装在车辆的后方,具体可以安装在车辆后端的后保险杠上的大致中心位置。应注意,拍摄单元一般可在机械制造过程中由厂商固定安装并且可在后续使用中用户根据个人需求进行调整。此外,车辆上可根据用户需求安装有多个拍摄单元。拍摄单元410可以是视角170度或者大于170度的鱼眼透镜。随后,拍摄单元将所拍摄的图像发送到处理单元420,处理单元420基于拍摄单元420基于连续获取的多个图像,确定所述图像中的正在移动的运动障碍物以及运动障碍物与车辆之间的距离,具体来说,处理单元420基于光流算法,从多个图像中确定存在正在移动的运动障碍物以及运动障碍物与车辆之间的距离。
在可替换实施方案中,处理单元420可以包括检测单元、位置确定单元、距离确定单元,其中:检测单元,用于根据拍摄单元拍摄的连续多帧图像,通过光流算法,检测图像中的运动对象;位置确定单元,用于确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置;距离确定单元,用于根据所述位置以及所述车载监控装置中拍摄单元的高度和倾斜角度,确定所述运动对象与车辆之间的距离。
上述实施例中的检测单元可以有多种实现方式,在本申请中,可以包括计算子单元和检测子单元,其中:所述计算子单元,用于通过光流算法计算连续多帧图像中按照时间顺序的两两帧图像之间的光流点;所述检测子单元,用于根据聚类算法对相似的所述光流点进行聚集,根据聚集结果检测运动对象。具体来说,根据光流的幅度、角度、位置特征,将相似的光流点合并,使得场景中同一物体的光流点置于同一个集合中。例如,每个光流点均由向量来表示,可将相似的向量长度的光流点归为一类,或者将向量方向在一定范围内的光流点归为一类,并计算初步聚类后的光流点之间的距离,若距离大于预设阈值则该光流点不属于该类,若不大于预设阈值,则属于该类。在可替换实施例中,可通过对相似光流点进行聚集,进而依据聚集的情况来确定运动障碍物。这里对相似光流点进行聚集的聚类算法可包括但不限于MST最小生成树、K-MEANS算法、基于统计的方法、Ransac随机一致抽样。
此外,基于实际需要,所述检测单元还可以包括抑制子单元,用于在计算出光流点之后,通过与所述时间顺序相反的反向光流来抑制错误光流点和噪声干扰,从而确定正确的光流点,减少后续聚焦操作的工作量。具体来说,假设有A,B两连续帧,A帧为B帧上一帧,由A帧上的一点(a点)来计算出B帧上的光流点(b点),然后由b点在A帧上计算对应光流点,得到c点,若a点和c点在图像中的位置小于一定数量的像素,则认为a点和b点是正确像素点,否则为错误光流点。这种情况下,所述检测子单元,具体用于根据聚类算法对相似的抑制子单元抑制后剩余的光流点进行聚集,根据聚集结果检测出运动对象。
在可替换实施方案中,所述车载监控装置400还可包括显示单元(未示出),所述显示单元在显示获取的图像的同时,可根据运动障碍物与车辆之间的距离而有差别地显示运动障碍物。例如,可以方框的形式突出显示运动障碍物,并在运动障碍物与车辆之间的距离到达预设的阈值距离时,方框变红或变大来提醒驾驶员,或者可以以辅助线的形式来表明运动障碍物与车辆之间的距离,这样,驾驶员可清楚地获知运动障碍物距离车辆的距离,从而提高警惕。
此外,所述车载监控装置400还可包括报警单元(未示出),所述报警单元可根据运动障碍物与车辆之间距离不同而有差别地发出警报,例如,所述报警单元可在运动障碍物与车辆离得近时,报警声变大,并在运动障碍物与车辆离得远时报警声变小。
本领域技术人员可清楚:根据本发明的车载监控装置可仅包括显示单元或报警单元,或者可同时包括显示单元和报警单元。在可替换实施例中,车载监控装置可在显示单元上突出显示运动障碍物的同时,由报警单元发出报警。
此外,根据本发明的车载监控装置还可包括存储单元,所述存储单元(未示出)可在识别出图像中的运动障碍物的同时自动存储拍摄单元所获取的图像。
此外,根据本发明的车载监控装置还可包括过滤单元,在处理单元确定所述图像中的正在移动的运动障碍物后对运动障碍物进行过滤,从而在运动障碍物中滤除不会对车辆运行造成影响的运动障碍物。
为了清楚地展示本发明的效果,以下将结合图5和图6进行详细说明。图5和图6示出了根据本公开的实施例的车载监控装置的应用场景。
根据示例性实施例,在显示单元上显示获取的图像的同时,可根据运动障碍物与车辆之间的距离而有差别地显示运动障碍物。如图5所示,在车辆行驶过程中,多个行人走向车辆,如此,驾驶员可通过显示单元看到这些人,并且车载监控装置可将根据处理单元确定的各个行人与车辆的距离显示在显示单元上,由此,驾驶员可通过显示在显示单元上的辅助线清楚地看到每个行人距离车辆的距离,从而提高警惕。此外,根据本发明的车载监控装置还可以在识别出正在接近的多个行人的同时,启动车载监控装置中的存储装置,存储装置自动存储从此刻起拍摄单元所获取的图像。本领域技术人员应理解,虽然图5中以辅助线的形式提示驾驶员,但任何可以使驾驶员察觉到正在接近的运动障碍物的方式都可适用。
除了以上应用场景,本发明的示例性实施例还包括图6中所示的场景。在该场景中,报警单元可根据运动障碍物与车辆之间的距离不同而有差别地发出警报。
具体来说,驾驶员在停车完毕后可选择开启停车记录模式,当在拍摄单元的范围内存在障碍物时,根据本公开的实施例的车载监控装置基于拍摄单元连续获取的多个图像,确定运动障碍物,在确定运动障碍物之后,触发报警单元,该报警单元根据运动障碍物与车辆之间距离不同而有差别地发出警报。并可同时触发存储单元,该存储单元自动存储拍摄单元所获取的图像。
例如,如图5所示,拍摄单元可实时拍摄车辆的后方,当处理单元基于拍摄单元拍摄的图像确定车后方存在障碍物时,可先分析所述障碍物是否为运动障碍物,确定正在向车辆接近的行人A或行人B,随后触发报警单元和存储单元。如图5所示,行人B对应的报警声比行人A对应的报警声大,从而有效提醒行人。
本发明的车载监控装置能够在不增加硬件投入的情况下采用了与现有技术完全不同的方式检测在车辆行驶过程中的运动障碍物,具体来说,通过对获取的图像进行分析,从而确定运动障碍物以及运动障碍物距离车辆的距离,这种方式安装简单、成本低并且不存在盲区。此外,虽然在现有技术中还存在利用软件处理拍摄单元获取的图像并从中检测出运动障碍物,但是根据本发明的车载监控方法在确定运动障碍物的同时确定运动障碍物与车辆的距离,从而为下一步区别化提醒驾驶员奠定了基础。进一步地,所述车载监控方法还可对检测出的运动障碍物进行过滤,即滤除掉不会对车辆造成影响的运动障碍物,从而更有效地给驾驶员提醒。在此基础上,所述车载监控方法可在听觉上或视觉上给驾驶员提醒,从而提高驾驶员的注意力。此外,所述车载监控装置还可应用在停车场景,当检测到运动障碍物正在不断接近时发出警报并同时触发存储单元,如此,可提醒不断接近的运动障碍物(例如,行人)并可存证以备不时之需。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种车载监控装置,其特征在于,包括:
拍摄单元,用于拍摄车辆周围的图像;
检测单元,用于根据拍摄单元拍摄的连续多帧图像,通过光流算法,检测图像中的运动对象;
位置确定单元,用于确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置;
距离确定单元,用于根据所述位置以及所述车载监控装置中拍摄单元的高度和倾斜角度,确定所述运动对象与车辆之间的距离。
2.如权利要求1所述的装置,其特征在于,所述检测单元包括计算子单元和检测子单元,其中:
所述计算子单元,用于通过光流算法计算连续多帧图像中按照时间顺序的两帧图像之间的光流点;
所述检测子单元,用于根据聚类算法对相似的所述光流点进行聚集,根据聚集结果检测运动对象。
3.如权利要求2所述的装置,其特征在于,所述检测单元还包括抑制子单元,其中:
所述抑制子单元,用于在计算出光流点之后,通过与所述时间顺序相反的反向光流来抑制错误光流点和噪声干扰;
则所述检测子单元,具体用于根据聚类算法对相似的抑制子单元抑制后剩余的光流点进行聚集,根据聚集结果检测出运动对象。
4.如权利要求1所述的装置,其特征在于,还包括:
预处理单元,用于根据图像特征,对拍摄单元拍摄的图像中的对象进行分割;
则所述检测单元,具体用于根据经预处理单元处理后的连续多帧图像,通过光流算法,检测图像中的运动对象。
5.如权利要求1所述的装置,其特征在于,还包括:
过滤单元,用于在检测单元检测出运动对象之后,按照预设过滤条件对运动对象进行过滤;
则所述位置确定单元,具体用于确定过滤后的运动对象所聚集的光流点中位于最下方的光流点的位置。
6.如权利要求1所述的装置,其特征在于,还包括:
显示单元,用于显示拍摄单元拍摄的图像,并根据距离确定单元确定的运动对象与车辆之间距离的不同,以不同的方式显示运动对象。
7.如权利要求1所述的装置,其特征在于,还包括:
判断单元,用于判断确定的运动对象与车辆之间的距离是否满足预设距离条件;
报警单元,用于在运动对象与车辆之间的距离满足第一预设距离条件时,以与第一预设条件对应的第一预设方式发出报警;在运动对象与车辆之间的距离满足第二预设条件时,以与第二预设条件对应的第二预设方式发出报警。
8.一种车载监控方法,其特征在于,包括:
拍摄车辆周围的图像;
根据拍摄的连续多帧图像,通过光流算法检测所述图像中的运动对象;
确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置;
根据所述位置以及所述拍摄图像处的高度和倾斜角度,确定所述运动对象与车辆之间的距离。
9.如权利要求8所述的方法,其特征在于,所述根据拍摄的连续多帧图像,通过光流算法检测所述图像中的运动对象包括:
通过光流算法,计算连续多帧图像中按照时间顺序的两帧图像之间的光流点;
根据聚类算法对相似光流点进行聚集,根据聚集结果检测运动对象。
10.如权利要求9所述的方法,其特征在于,在计算出光流之后,通过与所述时间顺序相反的反向光流来抑制错误光流和噪声干扰;
所述根据聚类算法对相似光流点进行聚集,根据聚集结果检测运动对象具体包括:
根据聚类算法对相似的抑制子单元抑制后剩余的光流点进行聚集,根据聚集结果检测出运动对象。
11.如权利要求8至10中任何一项所述的方法,其特征在于,还包括:
基于图像特征,对拍摄的图像中的对象进行分割;
所述根据拍摄的连续多帧图像,通过光流算法检测所述图像中的运动对象,具体包括:
根据经预处理单元处理后的连续多帧图像,通过光流算法,检测图像中的运动对象。
12.如权利要求8至10中任何一项所述的方法,其特征在于,还包括:
在检测出运动对象之后,按照预设过滤条件对运动对象进行过滤;
所述确定检测出的运动对象所聚集的光流点中位于最下方的光流点的位置,具体包括:
确定过滤后的运动对象所聚集的光流点中位于最下方的光流点的位置。
13.如权利要求8至10中任何一项所述的方法,其特征在于,还包括:
根据确定的运动对象与车辆之间距离的不同,以不同方式显示运动对象。
14.如权利要求8至10中任何一项所述的方法,其特征在于,还包括:
判断确定的运动对象与车辆之间的距离是否满足预设距离条件;
在运动对象与车辆之间的距离满足第一预设距离条件时,以与第一预设条件对应的第一预设方式发出报警;
在运动对象与车辆之间的距离满足第二预设距离条件时,以与第二预设条件对应的第二预设方式发出报警。
CN201611115983.9A 2016-12-07 2016-12-07 车载监控装置及其方法 Active CN108162858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611115983.9A CN108162858B (zh) 2016-12-07 2016-12-07 车载监控装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611115983.9A CN108162858B (zh) 2016-12-07 2016-12-07 车载监控装置及其方法

Publications (2)

Publication Number Publication Date
CN108162858A true CN108162858A (zh) 2018-06-15
CN108162858B CN108162858B (zh) 2020-05-29

Family

ID=62526186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611115983.9A Active CN108162858B (zh) 2016-12-07 2016-12-07 车载监控装置及其方法

Country Status (1)

Country Link
CN (1) CN108162858B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392239A (zh) * 2019-08-13 2019-10-29 北京积加科技有限公司 指定区域监控方法及装置
CN110659551A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 运动状态的识别方法、装置及车辆
CN110992683A (zh) * 2019-10-29 2020-04-10 山东科技大学 一种基于动态图像感知的交叉口盲区预警方法及系统
CN111383257A (zh) * 2018-12-29 2020-07-07 顺丰科技有限公司 一种车厢装卸率确定方法和装置
CN111401114A (zh) * 2019-02-12 2020-07-10 深圳市艾为智能有限公司 一种基于受限光流场的横穿物体检测装置及方法
CN111580131A (zh) * 2020-04-08 2020-08-25 西安邮电大学 三维激光雷达智能车在高速公路上识别车辆的方法
CN111762100A (zh) * 2019-04-02 2020-10-13 奇美车电股份有限公司 车用摄影系统与物件检测方法
CN112908032A (zh) * 2019-11-19 2021-06-04 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN113386706A (zh) * 2020-03-13 2021-09-14 本田技研工业株式会社 装置以及无侧后视镜车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345572A (ja) * 2003-05-23 2004-12-09 Ichikoh Ind Ltd 車両用ベンディングランプシステム
JP2007182214A (ja) * 2005-10-25 2007-07-19 Valeo Vision 道路を変調照明する方法、およびこの方法を実施するようにした自動車のヘッドライト
CN101923778A (zh) * 2009-09-11 2010-12-22 中山大学 一种基于视频的高速公路交通拥堵状态检测方法
CN102474598A (zh) * 2009-08-04 2012-05-23 爱信精机株式会社 车辆周边感知辅助装置
CN102800106A (zh) * 2012-06-29 2012-11-28 刘怡光 基于光流场估计的自适应均值漂移目标跟踪方法
CN102834309A (zh) * 2010-02-26 2012-12-19 金泰克斯公司 自动车辆设备监控、报警和控制系统
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
US20140267734A1 (en) * 2013-03-14 2014-09-18 John Felix Hart, JR. System and Method for Monitoring Vehicle Traffic and Controlling Traffic Signals
US20150134232A1 (en) * 2011-11-22 2015-05-14 Kurt B. Robinson Systems and methods involving features of adaptive and/or autonomous traffic control

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004345572A (ja) * 2003-05-23 2004-12-09 Ichikoh Ind Ltd 車両用ベンディングランプシステム
JP2007182214A (ja) * 2005-10-25 2007-07-19 Valeo Vision 道路を変調照明する方法、およびこの方法を実施するようにした自動車のヘッドライト
CN102474598A (zh) * 2009-08-04 2012-05-23 爱信精机株式会社 车辆周边感知辅助装置
CN101923778A (zh) * 2009-09-11 2010-12-22 中山大学 一种基于视频的高速公路交通拥堵状态检测方法
CN102834309A (zh) * 2010-02-26 2012-12-19 金泰克斯公司 自动车辆设备监控、报警和控制系统
US20150134232A1 (en) * 2011-11-22 2015-05-14 Kurt B. Robinson Systems and methods involving features of adaptive and/or autonomous traffic control
CN102800106A (zh) * 2012-06-29 2012-11-28 刘怡光 基于光流场估计的自适应均值漂移目标跟踪方法
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
CN102999759A (zh) * 2012-11-07 2013-03-27 东南大学 一种基于光流的车辆运动状态估计方法
US20140267734A1 (en) * 2013-03-14 2014-09-18 John Felix Hart, JR. System and Method for Monitoring Vehicle Traffic and Controlling Traffic Signals

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659551A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 运动状态的识别方法、装置及车辆
CN111383257A (zh) * 2018-12-29 2020-07-07 顺丰科技有限公司 一种车厢装卸率确定方法和装置
CN111383257B (zh) * 2018-12-29 2024-06-07 顺丰科技有限公司 一种车厢装卸率确定方法和装置
CN111401114A (zh) * 2019-02-12 2020-07-10 深圳市艾为智能有限公司 一种基于受限光流场的横穿物体检测装置及方法
CN111401114B (zh) * 2019-02-12 2023-09-19 深圳市艾为智能有限公司 一种基于受限光流场横穿物体检测装置的横穿物体检测方法
CN111762100B (zh) * 2019-04-02 2022-05-10 奇美车电股份有限公司 车用摄影系统与物件检测方法
CN111762100A (zh) * 2019-04-02 2020-10-13 奇美车电股份有限公司 车用摄影系统与物件检测方法
CN110392239B (zh) * 2019-08-13 2020-04-21 北京积加科技有限公司 指定区域监控方法及装置
CN110392239A (zh) * 2019-08-13 2019-10-29 北京积加科技有限公司 指定区域监控方法及装置
CN110992683A (zh) * 2019-10-29 2020-04-10 山东科技大学 一种基于动态图像感知的交叉口盲区预警方法及系统
CN112908032A (zh) * 2019-11-19 2021-06-04 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN112908032B (zh) * 2019-11-19 2023-08-29 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN113386706A (zh) * 2020-03-13 2021-09-14 本田技研工业株式会社 装置以及无侧后视镜车辆
CN113386706B (zh) * 2020-03-13 2024-05-10 本田技研工业株式会社 装置以及无侧后视镜车辆
CN111580131B (zh) * 2020-04-08 2023-07-07 西安邮电大学 三维激光雷达智能车在高速公路上识别车辆的方法
CN111580131A (zh) * 2020-04-08 2020-08-25 西安邮电大学 三维激光雷达智能车在高速公路上识别车辆的方法

Also Published As

Publication number Publication date
CN108162858B (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN108162858A (zh) 车载监控装置及其方法
CN112292711B (zh) 关联lidar数据和图像数据
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN106611512B (zh) 前车起步的处理方法、装置和系统
US11790699B2 (en) Systems and methods for traffic violation detection
KR101982298B1 (ko) 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
US20170301107A1 (en) Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
WO2004086301A2 (en) System and method for vehicle detection and tracking
CN110852177B (zh) 基于单目相机的障碍物检测方法及系统
CN112633255B (zh) 目标检测方法、装置及设备
CN111428644A (zh) 基于深度神经网络的斑马线区域监测方法、系统及介质
US20120155711A1 (en) Apparatus and method for analyzing video
CN113189610B (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
Su et al. A robust all-weather abandoned objects detection algorithm based on dual background and gradient operator
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
CN107757472A (zh) 开车门报警方法、开车门报警装置和车辆系统
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
CN107452230A (zh) 一种障碍物检测方法、装置、终端设备及存储介质
JP2021124633A (ja) 地図生成システム及び地図生成プログラム
Garcia et al. Mobile based pedestrian detection with accurate tracking
CN111797658A (zh) 车道线识别方法、装置、存储介质及电子设备
Morton Jr et al. Change-based threat detection in urban environments with a forward-looking camera
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant