CN106203272A - 确定可移动对象的移动的方法和装置 - Google Patents

确定可移动对象的移动的方法和装置 Download PDF

Info

Publication number
CN106203272A
CN106203272A CN201610496592.XA CN201610496592A CN106203272A CN 106203272 A CN106203272 A CN 106203272A CN 201610496592 A CN201610496592 A CN 201610496592A CN 106203272 A CN106203272 A CN 106203272A
Authority
CN
China
Prior art keywords
roi
view data
movable objects
brightness
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610496592.XA
Other languages
English (en)
Other versions
CN106203272B (zh
Inventor
丁大钧
赵丽丽
曹太强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qigan Electronic Information Technology Co.,Ltd.
Original Assignee
Shanghai Xiaoyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoyi Technology Co Ltd filed Critical Shanghai Xiaoyi Technology Co Ltd
Priority to CN201610496592.XA priority Critical patent/CN106203272B/zh
Priority to US15/205,396 priority patent/US10229505B2/en
Publication of CN106203272A publication Critical patent/CN106203272A/zh
Application granted granted Critical
Publication of CN106203272B publication Critical patent/CN106203272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

公开了用于确定可移动对象的移动的方法和装置。该方法包括:在该可移动对象外部的环境的视图中,识别与该环境的静态部分相对应的第一关注区域(ROI)。该方法还包括:在所述环境的视图中,识别与该环境的活动部分相对应的第二关注区域(ROI)。该方法还可包括接收分别表示所述第一和第二ROI的第一和第二图像数据。该方法还包括随着时间而分析所述第一图像数据。该方法还包括随着时间而分析所述第二图像数据。该方法可进一步包括基于对所述第一和第二图像数据的分析来确定所述可移动对象是否在运动。

Description

确定可移动对象的移动的方法和装置
技术领域
本公开总体上涉及计算机视觉技术,并具体涉及用于确定可移动对象的运动的系统和方法。
背景技术
高级驾驶辅助系统(ADAS,Advanced Driver Assistance System)提高了车辆安全性和道路安全性,并为实现自动驾驶车辆(autonomous vehicle)铺平了道路。ADAS通过使用将潜在的危险警告给驾驶员的技术或者通过实施防护措施并接管对车辆的控制而避免碰撞和事故。为了恰当地工作并提供好的用户体验,ADAS需要准确地了解车辆的实时操作状态,例如车辆是否在移动。例如,ADAS的许多特性,包括碰撞预警/躲避和车道偏离预警,只在车辆进入常规驾驶模式后才工作良好。当车辆停止或低速移动(例如,当驾驶员试着在拥挤的空间中泊车)时,需要关掉ADAS的这些特性。因此,期望实时确定车辆的移动信息,并基于该移动信息自动开启/关闭ADAS。
通常,ADAS可包括全球定位系统(GPS)模块,用于连接到外部的GPS接收器。GPS接收器将车辆的移动信息,例如车速,馈送给ADAS。然而,在被遮盖空间(例如隧道)中或者在由高层建筑包围的城市街道中,GPS接收器的接收较差。而且,当车辆停止或者处于低速时,GPS信息可能会不准确。此外,对于便携式GPS接收器,驾驶员可能得频繁地将GPS接收器连接到ADAS/与ADAS断开。例如,为了防窃,驾驶员需要在每次驾驶之后将GPS接收器与ADAS断开,并在下次驾驶开始时重接连接GPS接收器。这对于驾驶员来说很麻烦。
所公开的方法和系统解决了以上列出的一个以上的问题。
发明内容
与本发明的一个实施例一致,提供了一种用于确定可移动对象的移动的方法。该方法包括:在该可移动对象外部的环境的视图中,识别与该环境的静态部分相对应的第一关注区域(ROI)。该方法还包括:在所述环境的视图中,识别与该环境的活动部分相对应的第二关注区域(ROI)。该方法还可包括接收分别表示所述第一和第二ROI的第一和第二图像数据。该方法还包括随着时间而分析所述第一图像数据。该方法还包括随着时间而分析所述第二图像数据。该方法可进一步包括基于对所述第一和第二图像数据的分析来确定所述可移动对象是否在运动。
与本发明的另一个实施例一致,提供了一种用于确定可移动对象的移动的装置。该装置包括用于存储指令的存储器。该装置还可包括处理器,该处理器被配置为执行所述指令,以:在所述可移动对象外部环境的视图中,识别与该环境的静态部分相对应的第一关注区域(ROI);在该环境的视图中,识别与该环境的活动部分相对应的第二关注区域(ROI);接收分别表示所述第一和第二ROI的第一和第二图像数据;随着时间而分析所述第一图像数据;随着时间而分析所述第二图像数据;以及基于对所述第一和第二图像数据的分析来确定所述可移动对象是否在运动。
与本发明的又一个实施例一致,提供了一种用于确定可移动对象的移动的存储有指令的非暂时性计算机可读存储介质。所述指令致使所述处理器执行如下操作:在所述可移动对象外部环境的视图中,识别与该环境的静态部分相对应的第一关注区域(ROI);在该环境的视图中,识别与该环境的活动部分相对应的第二关注区域(ROI);接收分别表示所述第一和第二ROI的第一和第二图像数据;随着时间而分析所述第一图像数据;随着时间而分析所述第二图像数据;以及基于对所述第一和第二图像数据的分析来确定所述可移动对象是否在运动。
要了解的是前述的总体描述和以下详细描述均仅是示例性且说明性的,不对所要求保护的本发明构成限制。
附图说明
结合进并构成本说明书一部分的附图图示了与本发明一致的实施例并与描述一起用于解释本公开的原理。
图1为根据示例性实施例的图示了用于确定可移动对象的运动的实施环境的示意图。
图2为根据示例性实施例的图示了用于确定可移动对象的运动的运动检测器的框图。
图3为根据示例性实施例的用于减小图像大小的方法的流程图。
图4A-4C为根据示例性实施例的图示了图3的方法的实施的示意图。
图5A-5C为根据示例性实施例的图示了图3的方法的实施的图像。
图6为根据示例性实施例的图示了具有一个以上ROI的图像帧的示意图。
图7为根据示例性实施例的运动确定方法的流程图。
具体实施方式
现在将详细参照示例性实施例,其例子图示在附图中。以下参照附图进行描述,在附图中,不同图中的同样标号表示同样的或类似的元件,除非另有注明。以下对示例性实施例的描述中给出的实施方式不代表与本发明一致的全部实施方式。相反,它们仅为与在所附的权利要求中表述的本发明相关的各方面相一致的装置和方法的例子。
图1为根据示例性实施例的图示了用于确定可移动对象的运动的实施环境100的示意图。参照图1,实施环境100可包括可移动对象110和智能驾驶辅助装置120。
可移动对象110可以是能够移动和停止的任何物体、机器、装置或系统。可移动对象110可具有自己的电源。备选地,可移动对象110可以不具备电源而必须由另一对象来移动。可移动对象110可在任何合适的介质上或内移动,例如陆地、空气、水、轨道、空间、地下等。仅为了说明的目的,可移动对象110在此示出并描述为行驶在陆地上的有轮车辆。然而,应了解所公开的实施例能够应用于任何其他类型的可移动对象,例如列车、船舶、飞机等。为了描述方便起见,以下描述中的可移动对象110指的是车辆110。
智能驾驶辅助装置120可以是附至车辆110的仪表板的装置并且配置为监测车辆110的操作状态。智能驾驶辅助装置120可以包括仪表板相机122,用于捕获车辆110周围的外部环境,例如道路状况,地面交通等。仪表板相机122可以结合有适于仪表板记录的多种特性。在一个例子中,仪表板相机122可使用3MP(兆像素)光传感器,其能够在包括弱光(low-light)条件的条件下操作,例如夜间、隧道内或者在地下停车场。仪表板相机122还可使用适合弱光记录的F1.8孔径透镜。仪表板相机122还可具有宽视场,例如165°视角。仪表板相机122可进一步配置为以多种分辨率和帧率记录视频,例如30fps帧率下1296p的分辨率,以及30fps或60fps帧率下1080p的分辨率。仪表板相机122捕获的图像可存储在存储器或存储装置中以便进一步处理。
智能驾驶辅助装置120还可包括配置为提供多种类型的驾驶辅助的一个以上嵌入式ADAS模块(未图示)。例如,ADAS模块可从仪表板相机122生成的图像中提取距离信息并发出前方碰撞预警。即,当车辆110移动得过于接近车辆110前方的汽车时,该ADAS模块可警告驾驶员和/或自动进行制动。在另一例子中,ADAS模块可基于该图像来提供车道偏离预警。
计算机视觉技术可用于了解和分析由仪表板相机122生成的图像,以提供多种ADAS功能。计算机视觉还可用来分析该图像以确定车辆110的移动信息。基于该移动信息,智能驾驶辅助装置120可决定是打开还是关掉某些ADAS功能。
帧差法和光流法是能够确定车辆110的移动信息的两种计算机视觉方法。帧差法计算当前图像帧和之前图像帧(或多个之前图像帧的平均)之间的差,并确定图像中的对象的运动。光流法计算图像光流场,即,图像中对象的视速度分布,来确定该图像中对象的真实速度。在这两种方法中,在确定车辆110周围环境中的对象的运动之后,可基于相对运动来确定车辆110的运动。
然而,帧差法和光流法均要求较高的硬件能力,即,要求强大的计算能力。帧差法要求较大的存储空间来存储之前的图像帧,而光流法需要执行复杂的计算,这通常通过集群计算来执行。因此,这两种方法均不易于应用在车辆110的嵌入式系统环境中。
如下所述,所公开的实施例提供了一种基于计算机视觉的方法,用于可靠地实时确定可移动对象的运动。所公开的实施例对硬件的要求不高,因此适于实施在车辆的嵌入式系统中。具体而言,所公开的实施例从可移动对象周围环境的图像中选择多个关注区域(ROI)。所公开的实施例然后在仍然保持ROI的关键特征的同时减小ROI的图像大小。而且,所公开的实施例基于多个ROI的特征来实施工作流程以确定可移动对象的运动。
图2为根据示例性实施例的用于实施所公开的运动确定方法的运动检测器200的框图。例如,运动检测器200可用在车辆110中。参照图2,运动检测器200可包括成像装置210和图像分析器220。成像装置210和图像分析器220可通过总线230而相互连接。虽然图2中示出了一种总线结构,但任何合适的结构都是可以使用的,包括有线和/或无线网络的任意组合。此外,这种网络可以整合在任何局域网、广域网、和/或因特网中。
成像装置210可配置为生成车辆110周围环境的全部或一部分的光学数据。例如,成像装置210可以是光学装置,例如静物相机或视频相机。例如,成像装置210可以是仪表板相机122。在下文的描述中,假设成像装置210面向沿车辆110前向并因此捕获车辆110前方的环境和对象。然而,本公开对于成像装置210的成像方向并无限制。此外,可设置多个成像装置210从多个角度捕获车辆110周围的环境。
图像分析器220可配置为使用计算机视觉技术来基于由成像装置210生成的图像确定车辆110的运动。图像分析器220可包括输入/输出(I/O)接口222,处理部件224和存储器226。I/O接口222可配置为在图像分析器220和多种装置之间进行双向通信。例如,如图2所示,I/O接口222可接收由成像装置210生成的图像数据。在图像分析器220确定了车辆110的运动之后,I/O接口222也可将确定结果发送给车辆110的其他部件以便进一步处理。
I/O接口222可配置为将其从成像装置210接收的图像数据合并,并将图像数据转发给处理部件224。处理部件224可包括任何适当类型的通用处理器、微处理器和控制器。处理部件224还可包括专用微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)或现场可编程门阵列(FPGA)。处理部件224可配置为单独的处理器模块以专门执行所公开的方法来确定车辆110的运动。备选地,处理部件224可配置为共享处理器模块,用于执行车辆100的与运动确定的目的无关的其他功能。
存储器226可以是非暂时性计算机可读存储介质,其包括可由处理部件224执行的指令,用于执行所公开的方法。存储器226还可存储从成像装置210接收的图像数据,以支持处理部件224的操作。存储器226可以使用任意类型的易失性或非易失性存储装置或其组合,例如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。
上述帧差法通过确定由成像装置210生成的原始图像数据中的像素值的时间变化来确定车辆110的运动。由于原始图像数据的数据量较大,会需要很长时间来计算。此外,确定结果容易受到环境状况中的变化的影响。例如,少许像素的亮度的突然变化会显著地使确定结果失真。为了解决这些问题并适于嵌入式系统中的有限的硬件能力,可在对ROI执行帧差法之前减小ROI的图像大小。
图3为根据示例性实施例的用于减小图像大小的方法300的流程图。例如,方法300可通过图像分析器220(图2)来实施,以减小一个以上ROI的图像大小。参照图3,方法300可包括以下步骤302-306。
在步骤302中,图像分析器220接收由成像装置210生成的原始图像数据。原始图像数据可以是图像帧的一部分或全部。例如,原始图像数据可以表示一个以上选定的ROI。原始图像数据包括多个像素。每个像素具有表示该像素的某些属性的一个以上像素值,例如该像素的亮度和颜色。仅用于说明的目的,以下描述中假设像素值为灰度值,其最低可能的像素值为0(黑色),最大可能的像素值为255(白色)。灰度值表示像素的亮度。
在步骤304中,图像分析器220根据采样规则从原始图像数据中选择一组像素。例如,采样规则可以是“在列向和行向中均每隔一个像素进行选择”。
图4A-4C为根据示例性实施例的图示了方法300的实施的示意图。图4A示出原图像的一部分。参照图4A,每个小方格对应于像素。该部分原图像包括32个像素。每个像素都予以序号。在图示的例子中,图像分析器220从图像中每隔一个像素进行选择。因此,参照图4B,选择八个像素,即,像素1、3、5、7、17、19、21和23。这样,成比例地减小了原图像的大小。
在步骤306中,图像分析器220对每预定个数的所选像素的像素值进行平均。例如,预定个数可以是“4”。因此,图像分析器220可以将每四个所选像素分组在一起,并计算这四个所选像素的像素值的算术平均值。图像分析器220可使用该平均像素值来生成减小的图像。参照图4C,通过对原像素1、3、17和19的像素值进行平均、并对原像素5、7、21和23的像素值进行平均,图像分析器220将八个所选像素减少到两个像素。因此,有两个剩余像素。每个剩余像素具有平均像素值。这样,进一步减小了原图像的大小。从图4A-4C中可以看到,减小的图像的大小是由所选像素的个数确定的,而不是由原图像的大小确定。
图5A-5C是图示了方法300的实施的示例性图像。图5A示出了在步骤302中获得的原图像。图5B示出了在步骤304中生成的采样结果。参照图5B,采样结果的大小成比例地小于原图像。但是采样结果极大地保留了原图像的纹理。图5C示出了在步骤306中生成的取平均的结果,即减小的图像。参照图5C,取平均的结果的大小比原图像进一步减小了。取平均的结果的纹理也比原图像进一步简化了。然而,在取平均的结果中仍然可以辨别出原图像中的基本图案。
方法300通过选择性采样和对所选像素的像素值进行取平均减少了原图像中的像素个数。如此,方法300在仍然保留ROI中示出的区别图案的同时减小了ROI的大小。如下所述,方法300可用于在对ROI执行进一步分析(方法700)以确定可移动对象的运动之前从ROI中提取特征。因此,方法300可减小计算工作量,但仍能提供可靠的结果。
对ADAS的合适的启用和停用应当满足以下情况:
1、当车辆110在日间移动时,应当启用ADAS。
2、当车辆110停下并且有其他车辆和/或行人从车辆110旁边经过时,应当停用ADAS。
3、当车辆110停在复杂的环境中时,例如城市街道,应当停用ADAS。
4、当车辆110停在简单的环境中时,例如在车库中泊车,应当停用ADAS。
5、当车辆110在夜间移动时,应当启用ADAS。
为了完全地处理以上情况,图像分析器220可从成像装置210生成的图像中选择三个ROI。图6为根据示例性实施例的图示了具有多个ROI的图像帧600的示意图。例如,可由成像装置210生成图像帧600。参照图6,图像帧600可以是车辆110周围的环境的图像。图像帧600可具有分别位于图像帧600的左上角、右上角和中间的左ROI 610、右ROI 620和中ROI630。
左ROI 610、右ROI 620和中ROI 630具有与车辆110的移动相关的区别图像特征。一般地,左ROI 610和右ROI 620中的每个对应于车辆110周围环境的“静态部分”,而中ROI630对应于该环境的“活动部分”。一般地,活动部分中的视图比静态部分更加活动(即动态)。然而,这并不意味着活动部分中的视图总是活动的,或者静态部分中的视图总是静态的。相反,本公开中使用的“活动”和“静态”是相对术语,是基于统计平均值而评估的。换言之,在平均意义上,活动部分的变化比静态部分的变化更显著。
例如,左ROI 610和右ROI 620在地面上方。左ROI 610和右ROI 620的时间变化,即帧差,一般不与地面交通的变化(如其他车辆和行人的移动)相关。当车辆110不移动时,左ROI 610和右ROI 620中的像素值(即,灰度值)的时间变化一般较小。然而,当车辆110移动时,因为这些ROI中的周围物体的变化,左ROI 610和右ROI 620中的灰度值的时间变化会较大。例如,当车辆110行驶在城市中时,左ROI 610和右ROI 620会包含周围建筑的图像。左ROI 610和右ROI 620中的建筑图像的变化会引起这些ROI中较大的时间变化。因此,左ROI610和右ROI 620的时间变化是车辆110的运动的很好的指标。
另一方面,中ROI 630位于地面高度并显示地面交通的一部分。因此,中ROI 630的时间变化与地面交通的变化高度关联。当车辆110移动时,因为街道状况的变化,中ROI 630中的灰度值的时间变化会较大。当车辆110不移动时,中ROI 630中的灰度值的时间变化会容易受到地面交通的影响。例如,当行人或其他车辆从车辆110旁边经过,会引起中ROI 630中的较大的时间变化。因此,中ROI 630的时间变化不是车辆110的运动的很好的指标。
左ROI 610、右ROI 620和中ROI 630还具有与环境光条件相关的区别图像特征。在日间,这三个ROI都具有较大的灰度值。这三个ROI的由灰度值的均方根偏差来度量的空间复杂度(即纹理)也会较大。
另一方面,在夜间,特别是街道光照较差时,左ROI 610和右ROI 620会具有较小的灰度值和较小的空间复杂度。然而,由于车辆110的前灯的照明,中ROI 630仍具有较大的灰度值和空间复杂度。在一个实施例中,中ROI 630可形成在前灯的路径中从而达到更好的照明。
此外,当车辆110停在被遮盖空间中,例如在停车场中时,会关掉前灯。在这种情况下,三个ROI可能都具有较小的灰度值和空间复杂度。
虽然在示例性实施例中这样示出,但应理解的是三个ROI的位置不一定要分别在图像帧600的左上角、右上角和中间。相反,左ROI 610和右ROI 620可位于地面交通上方的任意位置;并且,中ROI可位于任意处,只要包括地面交通的一部分即可。
基于以上描述可以看出,车辆110的运动可以基于一个以上ROI的亮度(即灰度值)、时间变化(即帧差)和空间复杂度(即灰度值的均方根偏差)来确定。图7为根据示例性实施例的运动确定方法700的流程图。例如,方法700可用在图像分析器220中以确定车辆110的运动。
参照图7,方法700可包括以下步骤。
步骤702-706分别类似于步骤302-306。在步骤702-706中,图像分析器220减小左ROI 610和右ROI 620的图像大小。
在步骤708中,图像分析器220将左ROI 610和右ROI 620保存在存储器226中用于进一步处理。
在步骤710中,图像分析器220确定左ROI 610和右ROI 620的时间变化。时间变化可以是当前图像帧和之前图像帧或之前图像帧的平均之间的帧差。例如,为了确定左ROI610的时间变化,图像分析器220可首先对分别在不同时间点获取的数个(例如5个或10个)之前的左ROI 610的灰度值进行平均。图像分析器220然后可基于以下公式(1)来确定左ROI的时间变化:
在公式(1)中,Pprevious是之前的左ROI 610的平均灰度值,Pcurrent是当前的左ROI610的灰度值。
在步骤712中,图像分析器220确定左ROI 610或右ROI 620的时间变化是否超过了预定的时间变化。
在步骤714中,当左ROI 610或右ROI 620中的至少一个的时间变化超过预定的时间变化时,图像分析器220可确定车辆110在移动并且需要启用ADAS。
在步骤716中,当左ROI 610或右ROI 620的时间变化均未超过预定的时间变化时,图像分析器220可确定左ROI 610和右ROI 620的空间复杂度。
左ROI 610或右ROI 620的时间变化较小并不一定意味着车辆停止或在缓慢移动。例如,当车辆110行驶在城市边界之外的高速路上时,左ROI 610和右ROI 620可能仅包括天空的图像,并且因此,即使车辆110在快速移动,时间变化也较小。因此,为了确定车辆110是停止还是在移动,图像分析器220必须基于以下公式(2)来进一步确定左ROI 610和右ROI620的空间复杂度:
在公式(2)中,Paverage是左ROI 610和右ROI 620中的平均灰度值,N是各ROI中的像素个数。空间复杂度是各ROI中灰度值的均方根偏差。
在步骤718中,图像分析器220确定左ROI 610或右ROI 620的空间复杂度是否超过了预定的空间复杂度等级。
在步骤720中,当左ROI 610或右ROI 620中的至少一个的空间复杂度超过预定的空间复杂度等级时,图像分析器220可确定车辆110停止,并且应当停用ADAS。
当左ROI 610或右ROI 620的空间复杂度较大,这表明车辆在复杂环境中,例如城区。因此,各ROI中的时间变化较小表明车辆110停止。
在步骤722中,当左ROI 610和右ROI 620中的任一个的空间复杂度均未超过预定的空间复杂度等级时,图像分析器220可确定左ROI 610和右ROI 620的亮度是否超过第一预定亮度等级。
左ROI 610和右ROI 620的空间复杂度较小并不一定意味着车辆110在不太复杂的环境中,例如,城市边界之外。例如,当车辆110在夜间移动或停下时,左ROI 610和右ROI620也会具有较小的空间复杂度。因此,图像分析器220需要进一步确定左ROI 610和右ROI620的亮度。在一个实施例中,亮度可以定义为ROI的平均灰度值Paverage
在步骤724中,当左ROI 610或右ROI 610中的至少一个的亮度超过第一预定亮度等级时,图像分析器220可确定车辆110行驶在日间,并且应当启用ADAS。
在这种情况下,车辆110可能在不太复杂的环境中并且在日间。然而,不太清楚车辆是否在移动。不过,为了确保驾驶员的安全,图像分析器220可假设车辆110在移动并启用ADAS。
在步骤726中,当左ROI 610和右ROI 620中的任一个的亮度均未超过第一亮度等级时,图像分析器220获取中ROI 630,类似于在步骤702-706中获取左ROI 610和右ROI 620那样。
在这种情况下,车辆110可能在夜间或在较黑的空间中。图像分析器220需要进一步检查中ROI 630来确定车辆110的运动。
在步骤728中,图像分析器220确定中ROI 630的亮度是否超过了第二亮度等级。类似于步骤722,图像分析器220可通过计算中ROI 630的平均灰度值Paverage来确定中ROI 630的亮度。
在步骤730中,当中ROI 630的亮度超过第二亮度等级时,图像分析器220确定车辆110在夜间移动,并且应当启用ADAS。
在这种情况下,中ROI 630的高平均灰度值表明车辆110的前灯是打开的,车辆110行驶在夜间,并且可能是驾驶员在驾驶车辆110。因此,图像分析器220可确定车辆在移动,并且应当启用ADAS。
在步骤732中,当中ROI 630的亮度未超过第二亮度等级时,图像分析器220确定车辆110在夜间停下或在较黑的空间里停下,并且应当停用ADAS。
在这种情况下,中ROI 630的低平均灰度值表明车辆110的前灯熄灭,并且车辆110在夜间或在较黑的空间里。因此,车辆110可能未在移动。
虽然在此描述了图示的实施例,但本领域技术人员基于本公开将能够认识到具有等同元件、更改、省略、组合(例如多种实施例交叉的方案)、适应性改动和/或替换的任一或全部实施例的范围。权利要求中的限定要基于权利要求中使用的语言而宽泛地解释,而不限于本说明书中或本申请审查期间描述的例子。上述例子应解读为非排他的。此外,所公开的过程中的步骤可用任何方式修改,包括对步骤重新排序和/或插入或删除步骤。
例如,与本公开一致,智能驾驶辅助装置120可根据多种实际考虑来相应调整。在一个实施例中,除了仪表板相机122以外,智能驾驶辅助装置120可包括任意合适的辅助设备来提供关于车辆110的运动的附加的信息。在另一个实施例中,智能驾驶辅助装置120可仅包括仪表板相机122,从而减少成本并简化智能驾驶辅助装置120的安装和设置。
例如,可选地,智能驾驶辅助装置120可包括距离探测器124(图1),其配置为获取车辆110周围环境中的对象的深度信息。例如,距离探测器124可通过光探测和测距(LIDAR)装置、无线电探测和测距(RADAR)装置、声波导航和测距(SONAR)装置或本领域任何其他已知装置实施。在一个例子中,距离探测器124可包括发射探测束(例如,激光束)的发射器(例如激光器)和接收该探测束的反射的关联的接收器。基于反射束的特性,可确定从车辆110上的距离探测器124的实际感测位置到被感测物理对象(例如,另一车辆)的一部分的距离和方向。这样,距离探测器124可用于探测从车辆110到其他物体、车辆和行人的距离。
距离探测器获得的深度信息可由智能驾驶辅助装置120用来决定是启用还是停用ADAS。例如,如果距离探测器124探测到车辆110和一对象之间的距离保持低于预定距离(例如0.5米)长于预定时间段(例如,10分钟),驾驶辅助装置120可确定车辆110停在车库中或遇到交通堵塞,并因此可停用ADAS。
因此,说明书和例子旨在被视为说明性的,而真实范围和精神由随附的权利要求及其全部的等同范围来表示。

Claims (24)

1.一种确定可移动对象的移动的方法,包括:
在该可移动对象外部的环境的视图中,识别与该环境的静态部分相对应的第一关注区域ROI;
在所述环境的视图中,识别与该环境的活动部分相对应的第二关注区域ROI;
接收分别表示所述第一ROI和所述第二ROI的第一图像数据和第二图像数据;
随着时间而分析第一图像数据;
随着时间而分析第二图像数据;以及
基于对所述第一图像数据和所述第二图像数据的分析来确定所述可移动对象是否在运动。
2.根据权利要求1的方法,包括:通过所述可移动对象上的成像设备,生成所述第一图像数据和所述第二图像数据。
3.根据权利要求1的方法,其中所述确定包括:如果所述第一图像数据的随着时间的变化小于所述第二图像数据的随着时间的变化,则断定所述可移动对象未在运动。
4.根据权利要求1的方法,其中:
所述可移动对象为交通工具;
所述第二ROI至少覆盖能够观察到交通情况的区域;并且
所述第一ROI至少覆盖观察不到交通情况的区域。
5.根据权利要求4的方法,其中所述可移动对象为汽车,并且所述交通情况包括其他交通工具或行人中的至少一个。
6.根据权利要求1的方法,其中所述第一ROI对应于所述环境的第一静态部分,所述方法进一步包括:
在所述环境的视图中,识别与所述环境的第二静态部分相对应的第三ROI,所述第二静态部分不与所述第一静态部分重叠;
接收表示所述第三ROI的第三图像数据;
随着时间而分析第三图像数据;
比较对所述第一图像数据和所述第二图像数据的分析;以及
至少部分地基于比较结果而确定所述可移动对象是否在运动。
7.根据权利要求1的方法,其中,
分析所述第一图像数据包括:执行第一ROI的属性与第一阈值的第一比较;
分析所述第二图像数据包括:执行第二ROI的属性与第二阈值的第二比较;以及
确定所述可移动对象是否在运动包括:基于所述第一比较和第二比较中的至少一个来确定所述可移动对象是否在运动。
8.根据权利要求7的方法,其中ROI的属性包括以下各项中的至少一个:像素值随着时间的变化、像素值在空间上的复杂度或ROI中的亮度。
9.根据权利要求8的方法,其中将像素值随着时间的变化计算为平均像素值的随着时间的变化。
10.根据权利要求8的方法,其中将像素值的复杂度计算为像素值的均方根偏差。
11.根据权利要求8的方法,其中将ROI中的亮度计算为平均像素亮度值。
12.根据权利要求1的方法,其中接收所述第一图像数据和第二图像数据包括:
接收对应于所述第一ROI和所述第二ROI的原始数据;以及
对所述原始数据进行下采样以生成所述第一图像数据和所述第二图像数据。
13.根据权利要求12的方法,其中:
对应于所述第一ROI和所述第二ROI的原始数据包括多个像素值;以及
对所述原始图像进行下采样包括:
根据采样规则,从对应于所述第一ROI和所述第二ROI的原始数据中采样出像素值的子集;
将采样到的像素值划分为预定个组;并且
对组中的像素值取平均。
14.根据权利要求8的方法,进一步包括:
确定第一ROI中像素值随时间的变化是否超过了第一变化量;以及
当第一ROI中像素值随时间的变化超过了第一变化量时,断定所述可移动对象在运动。
15.根据权利要求14的方法,进一步包括:
当第一ROI中像素值随时间的变化未超过第一变化量时,确定第一ROI中像素值的复杂度是否超过了第一复杂度等级;并且
当第一ROI中像素值的复杂度超过了第一复杂度等级时,断定所述可移动对象未在运动。
16.根据权利要求15的方法,进一步包括:
当第一ROI中像素值的复杂度未超过第一复杂度等级时,确定第一ROI中的亮度是否超过了第一亮度等级;
当第一ROI中的亮度未超过第一亮度等级时,确定第二ROI中的亮度是否超过了第二亮度等级;并且
当第二ROI中的亮度超过了第二亮度等级时,确定所述可移动对象在运动。
17.根据权利要求16的方法,进一步包括:
当第二ROI中的亮度超过了第二亮度等级时,断定当前时间为夜间。
18.根据权利要求16的方法,进一步包括:
当第二ROI中的亮度未超过第二亮度等级时,断定所述可移动对象未在运动。
19.根据权利要求16的方法,进一步包括:
当第二ROI中的亮度未超过第二亮度等级时,断定所述可移动对象在夜间或在被遮盖空间中的至少一个。
20.根据权利要求16的方法,进一步包括:
当第一ROI中的亮度超过了第一亮度等级时,断定所述可移动对象在运动。
21.根据权利要求16的方法,进一步包括:
当第一ROI中的亮度超过了第一亮度等级时,断定所述可移动对象在日间。
22.根据权利要求1的方法,进一步包括:
确定所述可移动对象与所述可移动对象外部的第二对象之间的距离;
随着时间而分析所述距离;以及
基于对所述距离的分析而确定所述可移动对象的当前状态。
23.根据权利要求22的方法,进一步包括:
当所述距离保持低于第一阈值距离长于第一持续时间,断定所述可移动对象未在运动。
24.一种装置,包括:
存储器,存储指令;以及
处理器,被配置为执行所述指令,以:
在可移动对象外部的环境的视图中,识别与该环境的静态部分相对应的第一关注区域ROI;
在所述环境的视图中,识别与该环境的活动部分相对应的第二关注区域ROI;
接收分别表示所述第一ROI和所述第二ROI的第一图像数据和第二图像数据;
随着时间而分析第一图像数据;
随着时间而分析第二图像数据;以及
基于对所述第一图像数据和所述第二图像数据的分析来确定所述可移动对象是否在运动。
CN201610496592.XA 2016-06-29 2016-06-29 确定可移动对象的移动的方法和装置 Active CN106203272B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610496592.XA CN106203272B (zh) 2016-06-29 2016-06-29 确定可移动对象的移动的方法和装置
US15/205,396 US10229505B2 (en) 2016-06-29 2016-07-08 Motion determination system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610496592.XA CN106203272B (zh) 2016-06-29 2016-06-29 确定可移动对象的移动的方法和装置

Publications (2)

Publication Number Publication Date
CN106203272A true CN106203272A (zh) 2016-12-07
CN106203272B CN106203272B (zh) 2018-07-20

Family

ID=57462656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610496592.XA Active CN106203272B (zh) 2016-06-29 2016-06-29 确定可移动对象的移动的方法和装置

Country Status (2)

Country Link
US (1) US10229505B2 (zh)
CN (1) CN106203272B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108297691A (zh) * 2017-01-11 2018-07-20 通用汽车环球科技运作有限责任公司 用于在车辆的相机显示器上提供通知的方法和系统
CN109919067A (zh) * 2019-02-27 2019-06-21 智慧海派科技有限公司 一种影像辨识方法及安全的自动驾驶方法
CN110853389A (zh) * 2019-11-21 2020-02-28 白犀牛智达(北京)科技有限公司 一种适用于无人物流车的路测监控系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127292B (zh) * 2016-06-29 2019-05-07 上海小蚁科技有限公司 流量计数方法和设备
WO2019216393A1 (ja) * 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 路面状態推定方法、路面状態推定装置および路面状態推定システム
US11120277B2 (en) * 2018-10-10 2021-09-14 Denso Corporation Apparatus and method for recognizing road shapes
US11501452B2 (en) 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
CN112433529B (zh) * 2020-11-30 2024-02-27 东软睿驰汽车技术(沈阳)有限公司 运动物体确定方法、装置及设备
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102791557A (zh) * 2010-03-11 2012-11-21 戴姆勒股份公司 用于确定车辆车身运动的方法
CN103303205A (zh) * 2012-03-07 2013-09-18 歌乐株式会社 车辆周围监视装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973732A (en) * 1997-02-19 1999-10-26 Guthrie; Thomas C. Object tracking system for monitoring a controlled space
DE10244148A1 (de) * 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
DE10246067B4 (de) * 2002-10-02 2008-01-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
JP5834254B2 (ja) * 2014-04-11 2015-12-16 パナソニックIpマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
KR102339512B1 (ko) * 2014-10-17 2021-12-16 현대모비스 주식회사 영상 인식 장치 및 영상 인식 방법
US9791551B1 (en) * 2016-04-25 2017-10-17 Uhnder, Inc. Vehicular radar system with self-interference cancellation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102791557A (zh) * 2010-03-11 2012-11-21 戴姆勒股份公司 用于确定车辆车身运动的方法
CN103303205A (zh) * 2012-03-07 2013-09-18 歌乐株式会社 车辆周围监视装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108297691A (zh) * 2017-01-11 2018-07-20 通用汽车环球科技运作有限责任公司 用于在车辆的相机显示器上提供通知的方法和系统
CN109919067A (zh) * 2019-02-27 2019-06-21 智慧海派科技有限公司 一种影像辨识方法及安全的自动驾驶方法
CN110853389A (zh) * 2019-11-21 2020-02-28 白犀牛智达(北京)科技有限公司 一种适用于无人物流车的路测监控系统
CN110853389B (zh) * 2019-11-21 2022-03-18 白犀牛智达(北京)科技有限公司 一种适用于无人物流车的路测监控系统

Also Published As

Publication number Publication date
US20180005384A1 (en) 2018-01-04
US10229505B2 (en) 2019-03-12
CN106203272B (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN106203272A (zh) 确定可移动对象的移动的方法和装置
US11915491B2 (en) Controlling host vehicle based on detected door opening events
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
CN109033951B (zh) 用于基于图形处理来检测遮挡对象的系统及方法
JP5421072B2 (ja) 接近物体検知システム
US8289391B2 (en) Apparatus for vehicle surroundings monitoring
EP4220537A2 (en) Road profile along a predicted path
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN103455144A (zh) 车载人机交互系统及方法
EP3900997A1 (en) Method of and system for controlling operation of self-driving car
JP7024610B2 (ja) 検知装置及び検知システム
CN112498343A (zh) 车辆转向控制系统及方法
CN114781479A (zh) 交通事件检测方法及装置
CN105654031A (zh) 用于物体检测的系统和方法
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
US20210327113A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
JPH08306000A (ja) 交差点における危険度判定方法
JP2022006844A (ja) 物体検出方法及び物体検出装置
US10777077B2 (en) Vehicle control device, vehicle control method, and storage medium
CN115082524A (zh) 一种车辆追踪方法、系统和车辆
WO2020262095A1 (ja) ステレオ画像処理装置及びステレオ画像処理方法
JP2022129400A (ja) 運転支援装置
CN114119576A (zh) 图像处理方法、装置、电子设备及交通工具
JP2023087255A (ja) 車両用制御装置
CN117601848A (zh) 基于汽车全景的泊车控制方法、系统、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210105

Address after: Room 1607, 515 huanke Road, Pudong New Area, Shanghai 201203

Patentee after: Shanghai Qigan Electronic Information Technology Co.,Ltd.

Address before: 201203 Shanghai Pudong New Area Zhangjiang hi tech Park No. 88, No. 1, 303, 305, Chen Hui Road,

Patentee before: Shanghai Xiaoyi Technology Co.,Ltd.