CN109165629A - 多焦距视觉障碍物感知方法、装置、设备及存储介质 - Google Patents

多焦距视觉障碍物感知方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109165629A
CN109165629A CN201811068019.4A CN201811068019A CN109165629A CN 109165629 A CN109165629 A CN 109165629A CN 201811068019 A CN201811068019 A CN 201811068019A CN 109165629 A CN109165629 A CN 109165629A
Authority
CN
China
Prior art keywords
testing result
tracking sequence
focus camera
tracking
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811068019.4A
Other languages
English (en)
Other versions
CN109165629B (zh
Inventor
高涵
李郭
孙迅
夏添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811068019.4A priority Critical patent/CN109165629B/zh
Publication of CN109165629A publication Critical patent/CN109165629A/zh
Priority to EP19184448.9A priority patent/EP3623993A1/en
Priority to JP2019128121A priority patent/JP6811291B2/ja
Priority to US16/508,918 priority patent/US11126875B2/en
Application granted granted Critical
Publication of CN109165629B publication Critical patent/CN109165629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种多焦距视觉障碍物感知方法及装置，其中方法包括：采用长焦距相机和短焦距相机分别获取障碍物的检测结果；分别采用长焦距相机和短焦距相机获取的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果；采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列。本发明实施例能够将来自不同焦距相机的跟踪序列合并，从而实现多焦距视视觉障碍物感知，解决现有技术中存在的跟踪视野和视距之间的矛盾。

Description

多焦距视觉障碍物感知方法、装置、设备及存储介质
技术领域
本发明涉及无人车技术领域，尤其涉及多焦距视觉障碍物感知方法、装置、设备及计算机可读存储介质。
背景技术
对于无人车感知系统，有效感知距离是一项非常关键的指标。短焦距相机的视野宽，视野中障碍物不易截断，方便进行障碍物的关联和跟踪，但存在感知距离短的问题；长焦距相机的视野窄，但单个障碍物面积大，视觉观测量更准确，同时易于检测小障碍物，适用于中远距离障碍物检测。
现有的障碍物感知技术采用单独的短焦距相机或者长焦距相机来检测和跟踪障碍物，这种方式存在着视野和视距之间的矛盾。即，如果采用短焦距相机来检测和跟踪障碍物，则能够覆盖的范围大，但其视距过短；如果采用长焦距相机来检测和跟踪障碍物，其视距较长，但能够覆盖的范围小。
发明内容
本发明实施例提供一种多焦距视觉障碍物感知方法，以至少解决现有技术中的以上技术问题。
第一方面，本发明实施例提供了一种多焦距视觉障碍物感知方法，包括：
采用长焦距相机和短焦距相机分别获取障碍物的检测结果；
分别采用长焦距相机和短焦距相机获取的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果；
采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
结合第一方面，本发明在第一方面的第一实施方式中，采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，包括：
获取所述任意两个跟踪序列中包含的检测结果；
针对每一时刻，分别从所述任意两个跟踪序列中获取检测结果，当所述检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比；
对针对所有时刻计算得到的交并比求平均值，当所述平均值大于预先设定的阈值时，判定所述任意两个跟踪序列匹配成功。
结合第一方面，本发明在第一方面的第二实施方式中，所述将所述任意两个跟踪序列合并为一个跟踪序列，包括：
将所述任意两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
结合第一方面、第一方面的第一实施方式、第一方面的第二实施方式，本发明在第一方面的第三实施方式中，进一步包括：
当获取到新的检测结果时，将所述新的检测结果与合并后的跟踪序列分别进行关联检测；
当关联检测不成功时，创建新的跟踪序列，所述新的跟踪序列包含该新的检测结果；
当关联检测成功时，将所述新的检测结果加入到所述合并后的跟踪序列中。
第二方面，本发明实施例还提出一种多焦距视觉障碍物感知装置，包括：
初始处理模块，用于分别采用长焦距相机和短焦距相机获取的障碍物的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果；
合并模块，用于采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列；
结合第二方面，本发明在第二方面的第一实施方式中，所述合并模块用于：获取所述任意两个跟踪序列中包含的检测结果；针对每一时刻，分别从所述任意两个跟踪序列中获取检测结果，当所述检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比；对针对所有时刻计算得到的交并比求平均值，当所述平均值大于预先设定的阈值时，判定所述任意两个跟踪序列匹配成功。
结合第二方面，本发明在第二方面的第二实施方式中，合并模块用于：当匹配检测成功时，将所述任意两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
结合第二方面、第二方面的第一实施方式、第二方面的第二实施方式，本发明在第二方面的第三实施方式中，所述装置还包括：
关联模块，用于当获取到新的检测结果时，将所述新的检测结果与合并后的跟踪序列分别进行关联检测；当关联检测不成功时，创建新的跟踪序列，所述新的跟踪序列包含该新的检测结果；当关联检测成功时，将所述新的检测结果加入到所述合并后的跟踪序列中。
上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明实施例采用长焦距相机和短焦距相机分别获取障碍物的检测结果，并分别在各自相机内单独做目标跟踪，形成不同的跟踪序列；之后，当判断出跟踪序列匹配时，将来自不同相机的跟踪序列的合并，从而解决现有技术中存在的跟踪视野和视距之间的矛盾。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例一中长焦距相机和短焦距相机的设置方式及视野范围示意图；
图2a为长焦距相机摄取的图像示意图；
图2b为短焦距相机摄取的图像示意图；
图3为本发明实施例一的多焦距视觉障碍物感知方法示意图；
图4为本发明实施例一中步骤S130的实现流程图；
图5为本发明实施例的一种跟踪序列合并效果示意图；
图6为本发明实施例二的多焦距视觉障碍物感知方法示意图；
图7为本发明实施例三的多焦距视觉障碍物感知装置示意图；
图8为本发明实施例四的多焦距视觉障碍物感知装置示意图；
图9为本发明实施例五的多焦距视觉障碍物感知设备结构示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
本发明实施例主要提供了一种多焦距视觉障碍物感知方法和装置。下面分别通过以下实施例进行技术方案的展开描述。
实施例一
本实施例介绍一种多焦距视觉障碍物感知方法。
在本实施例中，在无人车感知系统中同时设置长焦距相机和短焦距相机，用于摄取图像。如图1为本发明实施例一中长焦距相机和短焦距相机的设置方式及视野范围示意图。在图1中，于无人车的车头同一位置设置长焦距相机和短焦距相机，例如，长焦距相机可以采用12mm焦距，短焦距相机可以采用6mm焦距。图1中灰度较深并且角度较小的扇形区域为长焦距相机的视野范围，灰度较浅并且角度较大的扇形区域为短焦距相机的视野范围。
需要说明的是，本实施例仅以长焦距相机和短焦距相机设置于车头位置进行举例；在本发明的其它实施例中，长焦距相机和短焦距相机可以设置于无人车的其他位置，并且可以在无人车的不同的位置设置多组长焦距相机和短焦距相机。
如图2a和图2b为设置于车头位置的长焦距相机和短焦距相机分别摄取的图像。
其中，图2a为长焦距相机摄取的图像示意图，相较图2b而言，图2a中远处的物体能够清晰辨认，但视野范围较小。图2b为短焦距相机摄取的图像示意图，相较图2a而言，图2b中的视野范围较大，但远处的物体无法清晰辨认。
可以看出，图2a的图像内容完全包含于图2b中，如果将图2a按照合适的比例缩小，缩小后的图像应该能够与图2b中的部分重合。
如图3为本发明实施例一的多焦距视觉障碍物感知方法示意图，该方法包括以下步骤：
S110：采用长焦距相机和短焦距相机分别获取障碍物的检测结果。
在本实施例及说明书的其它实施例中，“障碍物”可以做广义的理解，例如机动车周围的行人、自行车、电动车、其他非机动车或机动车相对于本车(机动车)来讲，都可以认为是障碍物。
获取障碍物的检测结果之后，在初始时，在各自相机内独立进行目标跟踪，即执行下述步骤S120。
S120：分别采用长焦距相机和短焦距相机获取的检测结果进行目标跟踪，得到至少两个跟踪序列(track)；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果。
在本步骤中，针对不同焦距的两个相机获取的检测结果分别进行目标跟踪；针对同一障碍物，如果长焦距相机和短焦距相机都获取到检测结果，则针对该障碍物可以形成两个跟踪序列，这两个跟踪序列分别来自长焦距相机和短焦距相机。
目标跟踪的具体步骤可以采用与现有技术相同的方式，即：对检测结果进行相似度计算，通过解算相似度矩阵求取匹配，完成检测结果的关联，从而得到跟踪序列。
S130：采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配检测成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
在本步骤中，如果匹配检测成功，则说明两个跟踪序列是针对同一障碍物、并且来自不同相机的跟踪序列，因此可以将二者合并为一个跟踪序列，实现跨相机的跟踪序列融合。
如图4为本发明实施例一中步骤S130的实现流程图，包括：
S131：获取任意两个跟踪序列中包含的检测结果；
例如，在已有的至少两个跟踪序列中，找到任意的两个跟踪序列：Ta和Tb，Ta和Tb中分别包含多个检测结果。
S132：针对每一时刻，分别从所述任意两个跟踪序列中获取检测结果，当所述检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比。
S133：对针对所有时刻计算得到的交并比求平均值，当所述平均值大于预先设定的阈值时，判定所述任意两个跟踪序列匹配成功。
S134：当匹配成功时，将所述任意两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
具体地，跟踪序列Ta和Tb中，每一时刻的检测结果可以找到如下di和dj：
di∈Ta，dj∈Tb，Timestamp(di)＝Timestamp(dj)
即，di是属于跟踪序列Ta的检测结果，dj是属于跟踪序列Tb的检测结果，di和dj来自同一时刻。
如果上述两个检测结果是来自不同相机的，则可以将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比(IOU,Intersection-over-Union)。可以采用纯旋转模型进行投影。
交并比的比值越接近1，表明两个检测结果重叠的部分越多，则两个检测结果越有可能是针对同一个障碍物进行的拍摄。
对于两个跟踪序列的所有相同时刻的检测结果，可以将上述交并比求平均值，当该平均值大于预先设定的阈值时，可以判定该任意两个跟踪序列匹配成功。
判定匹配成功之后，可以将匹配成功的两个跟踪序列进行合并，例如，合并后的跟踪序列为：track＝{d1,d2,d3,…dn}，其中，di(i＝1,2,…,n)可以为来自长焦距相机的检测结果，也可以为来自短焦距相机的检测结果。
如图5为本发明实施例的一种跟踪序列合并效果示意图。在图5中，在判定来自长焦距相机和短焦距相机的两个跟踪序列匹配后，将长焦距相机的跟踪序列中的各个检测结果(由图5中的三角形表示)和短焦距相机的跟踪序列中的各个检测结果(由图5中的圆形表示)合并为一个跟踪序列。
实施例二
本实施例介绍另一种多焦距视觉障碍物感知方法。如图6为本发明实施例二的多焦距视觉障碍物感知方法示意图，该方法包括以下步骤：
S110：采用长焦距相机和短焦距相机分别获取障碍物的检测结果。
S120：分别采用长焦距相机和短焦距相机获取的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果。
S130：采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配检测成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
前述步骤S110～S130与实施例一步骤S110～S130的具体方式相同，不再赘述。
步骤S110～S130完成了初始阶段跟踪序列的合并。在后续过程中，对于新来的检测结果，无论来自哪个相机，可以直接与合并后的跟踪序列进行关联，即执行下述步骤S140。
S140：当获取到新的检测结果时，将所述新的检测结果与合并后的跟踪序列分别进行关联检测；当关联检测不成功时，创建新的跟踪序列，所述新的跟踪序列包含该新的检测结果；当关联检测成功时，将所述新的检测结果加入到所述合并后的跟踪序列中。
通过上述过程，本实施例实现了将长焦距相机和短焦距相机跟踪序列的融合，从而实现多焦距视觉感知。
实施例三
本实施例提出一种多焦距视觉障碍物感知装置，如图7为本发明实施例三的多焦距视觉障碍物感知装置示意图，包括：
初始处理模块701，用于分别采用长焦距相机和短焦距相机获取的障碍物的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果。
合并模块702，用于采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
具体地，上述合并模块702可以用于：
获取任意两个跟踪序列中包含的检测结果；
针对每一时刻，分别从任意两个跟踪序列中获取检测结果，当检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比；
对针对所有时刻计算得到的交并比求平均值，当平均值大于预先设定的阈值时，判定这两个跟踪序列匹配成功。
当匹配检测成功时，可以将这两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
例如，在任意两个跟踪序列Ta和Tb中，每一时刻的检测结果可以找到如下di和dj：
di∈Ta，dj∈Tb，Timestamp(di)＝Timestamp(dj)
即，di是属于跟踪序列Ta的检测结果，dj是属于跟踪序列Tb的检测结果，di和dj的时间戳相同，即来自同一时刻。
如果上述两个检测结果是来自不同相机的，则可以将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比(IOU)。可以采用纯旋转模型进行投影。
交并比的比值越接近1，表明两个检测结果重叠的部分越多，则两个检测结果越有可能是针对同一个障碍物进行的拍摄。
对于两个跟踪序列的所有相同时刻的检测结果，可以将上述交并比求平均值，当该平均值大于预先设定的阈值时，可以判定该任意两个跟踪序列匹配成功。
判定匹配成功之后，可以将匹配成功的两个跟踪序列进行合并，即，将匹配成功的两个跟踪序列的检测结果合并，得到合并后的跟踪序列。
例如，合并后的跟踪序列为：track＝{d1,d2,d3,…dn}，其中，di(i＝1,2,…,n)可以为来自长焦距相机的检测结果，也可以为来自短焦距相机的检测结果。
可见，本发明实施例提出的多焦距视觉障碍物感知装置实现了长焦距相机和短焦距相机跟踪序列的融合，从而实现多焦距视觉感知。
实施例四
本实施例提出另一种多焦距视觉障碍物感知装置，如图8为本发明实施例四的多焦距视觉障碍物感知装置示意图，包括：
初始处理模块701，用于分别采用长焦距相机和短焦距相机获取的障碍物的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果。
合并模块702，用于采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
具体地，上述合并模块702可以用于：
获取任意两个跟踪序列中包含的检测结果；
针对每一时刻，分别从任意两个跟踪序列中获取检测结果，当检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比；
对针对所有时刻计算得到的交并比求平均值，当平均值大于预先设定的阈值时，判定这两个跟踪序列匹配成功。
当匹配检测成功时，可以将这两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
本实施例装置还可以包括：
关联模块803，用于当获取到新的检测结果时，将新的检测结果与合并后的跟踪序列分别进行关联检测；当关联检测不成功时，创建新的跟踪序列，所述新的跟踪序列包含该新的检测结果；当关联检测成功时，将所述新的检测结果加入到所述合并后的跟踪序列中。
可见，本发明实施例提出的多焦距视觉障碍物感知装置实现了长焦距相机和短焦距相机跟踪序列的融合，从而实现多焦距视觉感知。合并之后，对于新来一帧的检测结果，可以与合并后的跟踪序列完成计算相似度并完成关联，从而实现直接与两个相机的检测结果进行跟踪检测。
实施例五
本发明实施例五提供了一种多焦距视觉障碍物感知设备，如图9为本发明实施例五的多焦距视觉障碍物感知设备结构示意图，该设备包括：
长焦距相机910，用于获取障碍物的检测结果；
短焦距相机920，用于获取障碍物的检测结果；
控制器，所述控制器包括存储器930和处理器940，其中，所述存储器930存储有计算机程序，所述计算机程序被处理器940执行时能够实现上述实施例中的多焦距视觉障碍物感知方法。所述存储器930和处理器940的数量可以为一个或多个。
所述设备还可以包括：
通信接口950，用于与外界设备进行通信，进行数据交换传输。
存储器930可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器930、处理器940和通信接口950独立实现，则存储器930、处理器940和通信接口950可以通过总线相互连接并完成相互之间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线，外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器930、处理器940及通信接口950集成在一块芯片上，则存储器930、处理器940及通信接口950可以通过内部接口完成相互间的通信。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
综上所述，本发明实施例提出的多焦距视觉障碍物感知方法、装置、设备及计算机可读存储介质，采用长焦距相机和短焦距相机分别获取障碍物的检测结果，并分别在各自相机内单独做目标跟踪，形成不同的跟踪序列；之后，当判断出跟踪序列匹配时，将来自不同相机的跟踪序列合并，从而实现了多焦距视觉障碍物感知，解决现有技术中存在的跟踪视野和视距之间的矛盾。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种多焦距视觉障碍物感知方法，其特征在于，所述方法包括：
采用长焦距相机和短焦距相机分别获取障碍物的检测结果；
分别采用长焦距相机和短焦距相机获取的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果；
采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
2.根据权利要求的1所述的方法，其特征在于，所述采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，包括：
获取所述任意两个跟踪序列中包含的检测结果；
针对每一时刻，分别从所述任意两个跟踪序列中获取检测结果，当所述检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比；
对针对所有时刻计算得到的交并比求平均值，当所述平均值大于预先设定的阈值时，判定所述任意两个跟踪序列匹配成功。
3.根据权利要求的1所述的方法，其特征在于，所述将所述任意两个跟踪序列合并为一个跟踪序列，包括：
将所述任意两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
4.根据权利要求的1至3任一所述的方法，其特征在于，所述方法进一步包括：
当获取到新的检测结果时，将所述新的检测结果与合并后的跟踪序列分别进行关联检测；
当关联检测不成功时，创建新的跟踪序列，所述新的跟踪序列包含该新的检测结果；
当关联检测成功时，将所述新的检测结果加入到所述合并后的跟踪序列中。
5.一种多焦距视觉障碍物感知装置，其特征在于，所述装置包括：
初始处理模块，用于分别采用长焦距相机和短焦距相机获取的障碍物的检测结果进行目标跟踪，得到至少两个跟踪序列；其中，每个跟踪序列包含针对同一个障碍物在多个时刻的检测结果；
合并模块，用于采用所述至少两个跟踪序列中的任意两个跟踪序列进行匹配检测，当匹配成功时，将所述任意两个跟踪序列合并为一个跟踪序列。
6.根据权利要求的5所述的装置，其特征在于，所述合并模块用于：
获取所述任意两个跟踪序列中包含的检测结果；针对每一时刻，分别从所述任意两个跟踪序列中获取检测结果，当所述检测结果来自不同的相机时，将来自长焦距相机的检测结果投影到短焦距相机的成像平面上，计算投影后的检测结果与来自短焦距相机的检测结果的交并比；对针对所有时刻计算得到的交并比求平均值，当所述平均值大于预先设定的阈值时，判定所述任意两个跟踪序列匹配成功。
7.根据权利要求的5所述的装置，其特征在于，所述合并模块用于：
当匹配检测成功时，将所述任意两个跟踪序列中的检测结果合并，得到合并后的跟踪序列。
8.根据权利要求的5至7任一所述的装置，其特征在于，所述装置还包括：
关联模块，用于当获取到新的检测结果时，将所述新的检测结果与合并后的跟踪序列分别进行关联检测；当关联检测不成功时，创建新的跟踪序列，所述新的跟踪序列包含该新的检测结果；当关联检测成功时，将所述新的检测结果加入到所述合并后的跟踪序列中。
9.一种多焦距视觉障碍物感知设备，其特征在于，所述设备包括：
长焦距相机，用于获取障碍物的检测结果；
短焦距相机，用于获取障碍物的检测结果；以及
控制器，所述控制器包括存储器和处理器，其中，所述存储器存储有计算机程序，所述计算机程序被处理器执行时能够实现如权利要求1-4中任一所述的方法。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201811068019.4A 2018-09-13 2018-09-13 多焦距视觉障碍物感知方法、装置、设备及存储介质 Active CN109165629B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811068019.4A CN109165629B (zh) 2018-09-13 2018-09-13 多焦距视觉障碍物感知方法、装置、设备及存储介质
EP19184448.9A EP3623993A1 (en) 2018-09-13 2019-07-04 Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
JP2019128121A JP6811291B2 (ja) 2018-09-13 2019-07-10 多焦点距離視覚に基づく障害物感知方法、装置、設備、記憶媒体、及びプログラム
US16/508,918 US11126875B2 (en) 2018-09-13 2019-07-11 Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811068019.4A CN109165629B (zh) 2018-09-13 2018-09-13 多焦距视觉障碍物感知方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109165629A true CN109165629A (zh) 2019-01-08
CN109165629B CN109165629B (zh) 2019-08-23

Family

ID=64879132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811068019.4A Active CN109165629B (zh) 2018-09-13 2018-09-13 多焦距视觉障碍物感知方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US11126875B2 (zh)
EP (1) EP3623993A1 (zh)
JP (1) JP6811291B2 (zh)
CN (1) CN109165629B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109703460A (zh) * 2019-01-11 2019-05-03 合肥思艾汽车科技有限公司 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN111222579A (zh) * 2020-01-09 2020-06-02 北京百度网讯科技有限公司 跨相机的障碍物关联方法、装置、设备、电子系统及介质
CN111242986A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN111986512A (zh) * 2020-07-16 2020-11-24 华为技术有限公司 一种目标距离确定方法及装置
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN113869422A (zh) * 2021-09-29 2021-12-31 北京易航远智科技有限公司 多相机目标匹配方法、系统、电子设备及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950515B (zh) * 2020-08-26 2022-10-18 重庆邮电大学 一种基于语义特征金字塔网络的小人脸检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441076A (zh) * 2008-12-29 2009-05-27 东软集团股份有限公司 一种检测障碍物的方法和装置
JPWO2012001755A1 (ja) * 2010-07-02 2013-08-22 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
CN104331910A (zh) * 2014-11-24 2015-02-04 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
CN106204457A (zh) * 2016-07-19 2016-12-07 科盾科技股份有限公司 一种用于抓捕目标的方法和抓捕器
US20170261318A1 (en) * 2016-03-14 2017-09-14 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
CN107659774A (zh) * 2017-09-30 2018-02-02 深圳市未来媒体技术研究院 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108156419A (zh) * 2017-12-22 2018-06-12 湖南源信光电科技股份有限公司 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212330B2 (en) * 2004-03-22 2007-05-01 Angstrom, Inc. Three-dimensional imaging system for pattern recognition
US8249359B2 (en) * 2007-04-13 2012-08-21 Panasonic Corporation Detector for detecting a predetermined image in an input image, and detection method and integrated circuit for performing the same
US20090232388A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20110025548A1 (en) * 2009-07-31 2011-02-03 Gm Global Technology Operations, Inc. System and method for vehicle sensor fusion
EP2478464B1 (en) * 2009-09-14 2019-05-08 VIION Systems Inc. Saccadic dual-resolution video analytics camera
CN103258338A (zh) 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN102663196B (zh) 2012-04-17 2014-04-16 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法
US9082014B2 (en) 2013-03-14 2015-07-14 The Nielsen Company (Us), Llc Methods and apparatus to estimate demography based on aerial images
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN104376297B (zh) 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
JP5919243B2 (ja) 2013-10-18 2016-05-18 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CN103914830B (zh) 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
CN104899855A (zh) 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN104020674B (zh) 2014-04-21 2017-01-25 华南农业大学 车辆Bug避障算法的Matlab仿真可视化平台
CN104183014B (zh) 2014-08-13 2017-01-18 浙江大学 一种面向城市增强现实的高融合度信息标注方法
KR101687073B1 (ko) 2014-10-22 2016-12-15 주식회사 만도 터널 높이 추정 장치 및 터널 높이 추정 방법
CN104457569B (zh) 2014-11-27 2017-06-16 大连理工大学 一种大型复合板材几何参数视觉测量方法
US9443164B2 (en) * 2014-12-02 2016-09-13 Xerox Corporation System and method for product identification
CN104950883A (zh) 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法
TWI630132B (zh) 2015-06-04 2018-07-21 國立虎尾科技大學 3D animation car accident scene reconstruction method
CN104933708A (zh) 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
US20170092000A1 (en) 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
JP6464075B2 (ja) 2015-11-11 2019-02-06 日本電信電話株式会社 Ｗｈａｔ−ｉｆシミュレーション装置、方法、及びプログラム
CN108603758A (zh) 2015-11-30 2018-09-28 卢米诺技术公司 具有分布式激光器和多个传感器头的激光雷达系统和激光雷达系统的脉冲激光器
CN105761308B (zh) 2016-02-29 2018-09-07 武汉大学 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法
CN105844600B (zh) 2016-04-27 2018-03-16 北京航空航天大学 一种空间目标三维点云光顺去噪方法
CN105957145A (zh) 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置
CN107818293A (zh) 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
GB201616097D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
WO2018053833A1 (zh) 2016-09-26 2018-03-29 深圳市锐明技术股份有限公司 一种成对车道线的快速检测方法和装置
JP6548691B2 (ja) 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
RO132599A2 (ro) 2016-11-23 2018-05-30 Centrul It Pentru Ştiinţă Şi Tehnologie S.R.L. Echipament modular pentru inspecţia drumurilor rutiere, incluzând carosabilul şi zona adiacentă, destinat pentru a fi montat pe vehicule nespecializate
CN106599832A (zh) 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
CN106845412B (zh) 2017-01-20 2020-07-10 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN106919908B (zh) 2017-02-10 2020-07-28 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN108492356A (zh) 2017-02-13 2018-09-04 苏州宝时得电动工具有限公司 增强现实系统及其控制方法
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN106997049B (zh) 2017-03-14 2020-07-03 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置
CN107103627B (zh) 2017-04-27 2020-12-11 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
US10621779B1 (en) * 2017-05-25 2020-04-14 Fastvdo Llc Artificial intelligence based generation and analysis of 3D models
CN107657237B (zh) 2017-09-28 2020-03-31 东南大学 基于深度学习的汽车碰撞检测方法及系统
CN107678306B (zh) 2017-10-09 2021-04-16 驭势（上海）汽车科技有限公司 动态场景信息录制和仿真回放方法、装置、设备及介质
JP7039254B2 (ja) * 2017-10-31 2022-03-22 キヤノン株式会社 レンズ制御装置、該レンズ制御装置を備える撮像装置、及びレンズ制御方法
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
CN107832806A (zh) 2017-12-06 2018-03-23 四川知创空间孵化器管理有限公司 一种车牌类型判别方法和系统
WO2019113966A1 (zh) * 2017-12-15 2019-06-20 深圳市道通智能航空技术有限公司 一种避障方法、装置和无人机
CN107993512A (zh) 2018-01-03 2018-05-04 深圳市欣横纵技术股份有限公司 一种核安保Table Top Tool系统及使用方法
CN108256506B (zh) 2018-02-14 2020-11-24 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108583620B (zh) * 2018-04-02 2019-08-30 交控科技股份有限公司 列车辅助追踪预警的处理器和预警系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
CN101441076A (zh) * 2008-12-29 2009-05-27 东软集团股份有限公司 一种检测障碍物的方法和装置
JPWO2012001755A1 (ja) * 2010-07-02 2013-08-22 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
CN104331910A (zh) * 2014-11-24 2015-02-04 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
US20170261318A1 (en) * 2016-03-14 2017-09-14 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
CN106204457A (zh) * 2016-07-19 2016-12-07 科盾科技股份有限公司 一种用于抓捕目标的方法和抓捕器
CN107659774A (zh) * 2017-09-30 2018-02-02 深圳市未来媒体技术研究院 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN108156419A (zh) * 2017-12-22 2018-06-12 湖南源信光电科技股份有限公司 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109703460A (zh) * 2019-01-11 2019-05-03 合肥思艾汽车科技有限公司 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN111242986A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN111222579A (zh) * 2020-01-09 2020-06-02 北京百度网讯科技有限公司 跨相机的障碍物关联方法、装置、设备、电子系统及介质
CN111222579B (zh) * 2020-01-09 2023-10-03 北京百度网讯科技有限公司 跨相机的障碍物关联方法、装置、设备、电子系统及介质
CN111986512A (zh) * 2020-07-16 2020-11-24 华为技术有限公司 一种目标距离确定方法及装置
CN111986512B (zh) * 2020-07-16 2022-04-05 华为技术有限公司 一种目标距离确定方法及装置
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN113869422A (zh) * 2021-09-29 2021-12-31 北京易航远智科技有限公司 多相机目标匹配方法、系统、电子设备及可读存储介质
CN113869422B (zh) * 2021-09-29 2022-07-12 北京易航远智科技有限公司 多相机目标匹配方法、系统、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20200089976A1 (en) 2020-03-19
JP2020042781A (ja) 2020-03-19
CN109165629B (zh) 2019-08-23
EP3623993A1 (en) 2020-03-18
JP6811291B2 (ja) 2021-01-13
US11126875B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
CN109165629B (zh) 多焦距视觉障碍物感知方法、装置、设备及存储介质
JP4919036B2 (ja) 移動物体認識装置
US10290080B2 (en) Method for displaying a vehicle environment of a vehicle
EP2372642B1 (en) Method and system for detecting moving objects
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
JP4893212B2 (ja) 周辺監視装置
CN109697860A (zh) 车位检测和跟踪系统及方法及车辆
CN104723991A (zh) 用于车辆的停车支援系统及停车支援方法
JPH06281455A (ja) 車両周辺監視装置
JPH05296767A (ja) 車間距離検出装置
CN106030679A (zh) 车辆周围监视装置
CN103863192A (zh) 一种车载全景成像辅助方法及其系统
CN106327461B (zh) 一种用于监测的图像处理方法及装置
JPH04113213A (ja) 車間距離検出装置
CN105015418B (zh) 车载显示屏视频切换方法
JP3562250B2 (ja) 先行車両検出装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
CN113905176A (zh) 全景图像的拼接方法、辅助驾驶方法及装置和车辆
JP2020135866A (ja) オブジェクト検出方法、検出装置及び電子機器
CN109059780B (zh) 检测障碍物高度的方法、装置、设备及存储介质
CN108973858A (zh) 用于确保行驶路线安全的装置
JP4584405B2 (ja) ３次元物体検出装置と３次元物体検出方法及び記録媒体
JP6958485B2 (ja) 物体検知装置
JP2001101420A (ja) 障害物検出装置及びその方法
JP2003187228A (ja) 車両認識装置及び認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211011

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right