CN112005243A - 用于高级驾驶辅助系统的图像处理装置和方法 - Google Patents

用于高级驾驶辅助系统的图像处理装置和方法 Download PDF

Info

Publication number
CN112005243A
CN112005243A CN201880092690.4A CN201880092690A CN112005243A CN 112005243 A CN112005243 A CN 112005243A CN 201880092690 A CN201880092690 A CN 201880092690A CN 112005243 A CN112005243 A CN 112005243A
Authority
CN
China
Prior art keywords
image
feature points
image portion
processing apparatus
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880092690.4A
Other languages
English (en)
Inventor
奥纳伊·优厄法利欧格路
克劳迪乌·坎皮努
法赫德·布扎拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112005243A publication Critical patent/CN112005243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像处理装置(100)，用于基于场景的多个图像生成场景地图。所述图像处理装置(100)包括处理电路(101)，其用于通过以下方式处理所述多个图像来迭代地生成所述地图：(a)将所述多个图像的第一图像划分为多个图像部分；(b)从每个图像部分中提取多个特征点，并且在至少一个所述特征点与所述场景的静态背景相关联的情况下，将所述多个特征点的至少一个特征点归类为相应图像部分的至少一个成功特征点；(c)基于所述至少一个成功特征点，为所述第一图像的每个图像部分确定置信度值；以及(d)对所述多个图像的另一图像重复(a)至(c)，其中，在(b)中，从所述另一图像的相应图像部分中提取的多个特征点的数量取决于所述第一图像的相应图像部分的置信度值。本发明还公开了一种图像处理方法。

Description

用于高级驾驶辅助系统的图像处理装置和方法
技术领域
本发明涉及图像处理或计算机视觉领域。更具体地说，本发明涉及用于高级驾驶辅助系统的图像处理装置和方法。
背景技术
高级驾驶辅助系统(advanced driver assistance system，简称ADAS)可以在危险情况下提醒驾驶员和/或积极参与驾驶。
高级驾驶辅助系统(advanced driver assistance system，简称ADAS)面临的一个主要挑战在于车辆环境的构图。通常，构图涉及相机轨迹和环境结构(例如，3D点云)的估计，其将用于定位任务。构图依赖于视觉输入，通常采用来自一部或多部相机的视频输入形式，需要从场景中的静态背景中检测足够数量的特征点。
同步定位与地图构建(simultaneous localization and mapping，简称SLAM)是构建或更新未知环境的地图同时跟踪车辆在环境中的位置的计算问题。例如，CN105989586 A、US 9574883B2和US 9758305B2等发明中公开了用于结合SLAM与语义信息的技术(也称为语义地图构建和定位)。
在传统的构图技术中，移动物体会使构图结果失真并导致其失败。在某些情况下，交通场景包含许多移动物体(例如，汽车、行人等)。在一些其它情况下，由于缺乏独特的场景点、图像模糊、照明条件不佳等原因，未找到足够的特征点。传统技术主要依靠点或线或边缘来检测场景中的独特特征点。
因此，如果存在太多移动物体或没有足够多的较佳特征点，传统的构图或定位技术可能会失败。有时，即使构图技术可行，也未在地图中采集足够多的较佳特征点(离群点或没有对应的点)，以实现准确和稳健的定位。提取许多特征点通常是一项计算量非常大的工作。
鉴于上述情况，需要改进的图像处理设备和方法，以允许稳健且有效的构图和定位。
发明内容
本发明的实施例由独立权利要求的特征定义，且实施例的其它有利实施方式由从属权利要求的特征定义。
为详细描述本发明的实施例，将使用以下术语、缩写和符号：
场景：相对于参照物的周围环境。例如，相机的场景是相机可见环境的一部分。
ADAS：高级驾驶辅助系统。
2D图像：使用相机获取的正常二维图像或图片(RGB或色度-亮度)。
纹理：图像内的区域，其示出了具有(颜色)强度的显著变化的内容。
3D点云：3D空间中的点集合。
2D特征点：图像坐标中的位置，表示场景中的特征点。
3D特征点：3D场景中的特征点。
构图：在某些环境的全局坐标系中创建3D结构/3D点云，包括位置支持(例如，坐标……)。
定位：估计实体(例如，相机)相对于所提供地图的全局坐标系的当前位置。
语义分割：一种根据语义上下文将图像分割成不同区域的方法。例如，描绘汽车的像素均为红色，描绘道路的像素均为蓝色等等。
对象实例：同一类对象组中的单个对象。
实例级别的语义分割：一种根据语义归属将图像分割成不同区域和对象实例的方法。可以识别单个对象并且彼此分离。
标签：用于确定项目/实体的类类型的标识符(例如，整数)。
动态物体：场景中通常移动或改变其位置的物体。
静态背景：场景的所有部分都保持静止，例如建筑物、树木、道路等。
全局坐标系：相对于常见全局参照物的坐标系。
局部坐标系：相对于全局参照物中选定参照物的坐标系。
构图循环：通常，为要构图的环境选择特定的车辆路径。可以多次遍历该路径(多个循环)，以提高最终的地图准确性和一致性。
内点：相应的一对图像特征点(来自两个图像帧)，其中每个点指向场景中的相同静态背景3D点。
离群点：相应的一对图像特征点(来自两个图像帧)，它们指向场景中两个不同的3D点。
通常，本发明的实施例基于以下理念：通过增加成功提取且对应场景中静态背景的特征点(例如，内点特征点或短“内点”)数量来提供稳健且有效的构图和定位。
更具体地，根据第一方面，本发明涉及一种图像处理装置，其用于基于所述场景的多个图像生成场景地图，每个图像包括多个像素。其中，所述图像处理装置包括处理电路，其用于通过以下方式逐个处理所述多个图像来迭代地生成所述地图：
(a)将所述多个图像的第一图像划分为多个图像部分；
(b)从每个图像部分中提取多个特征点，并且在至少一个所述特征点与所述场景的静态背景相关联的情况下，将所述多个特征点的至少一个特征点归类为相应图像部分的至少一个目标特征点(例如，内点)；
(c)基于所述至少一个目标特征点，为所述第一图像的每个图像部分确定置信度值；以及
(d)对所述多个图像的另一图像重复(a)至(c)，其中，在(b)中，从所述另一图像的相应图像部分中提取的多个特征点的数量取决于所述第一图像的相应图像部分的置信度值。
根据本发明第一方面所述的图像处理装置允许增加以下机会：提取有用目标特征点(即，与场景的静态背景相关联的特征点)并用于构图和定位过程中。因此，提供一种生成场景地图的稳健且有效的装置。
在所述第一方面的另一种可能的实现方式中，所述处理电路用于将所述第一图像和所述多个图像的另一图像划分为多个矩形，尤其是正方形图像部分。
在所述第一方面的另一种可能的实现方式中，所述矩形图像部分具有相同的尺寸。
在所述第一方面的另一种可能的实现方式中，所述处理电路用于将每个图像部分的置信度值确定为目标特征点的数量与所述相应图像部分的特征点总数的比率。
在所述第一方面的另一种可能的实现方式中，所述处理电路用于将每个图像部分的置信度值确定为目标特征点的数量与所述相应图像部分的特征点总数的比率乘积，并用于确定先前处理的图像的相应图像部分的置信度值。
在所述第一方面的另一种可能的实现方式中，所述地图是所述场景的语义地图，包括多个特征点中的至少一些的语义信息。
在所述第一方面的另一种可能的实现方式中，所述处理电路还用于向多个特征点中的每一个分配语义类C，并且为每个图像部分确定具有大多数特征点的相应主语义类C。
在所述第一方面的另一种可能的实现方式中，所述处理电路用于将每个图像部分的置信度值确定为目标特征点的数量与所述相应图像部分的特征点总数的比率，所述比率根据第一加权因子进行加权计算得出，前提是所述图像的相应图像部分的主语义类C与先前处理的图像的相应图像部分的主语义类相同；或者所述比率根据第二加权因子进行加权计算得出，前提是所述图像的相应图像部分的主语义类C与先前处理的图像的相应图像部分的主语义类不同，其中第一加权因子大于第二加权因子。
在所述第一方面的另一种可能的实现方式中，所述处理电路用于基于同步定位与地图构建(simultaneous localization and mapping，简称SLAM)算法迭代地生成所述地图。
在所述第一方面的另一种可能的实现方式中，从所述另一图像的相应图像部分提取的多个特征点的数量与所述第一图像的相应图像部分的置信度值成比例。
在所述第一方面的另一种可能的实现方式中，所述图像处理装置还包括用于采集所述场景的多个图像的图像采集设备，尤其是相机。
根据第二方面，本发明涉及一种用于车辆的高级驾驶辅助系统，其中所述高级驾驶辅助系统包括根据本发明第一方面或其实现方式中任意一种所述的图像处理装置。
根据第三方面，本发明涉及一种用于基于所述场景的多个图像生成场景地图的图像处理方法，其中所述图像处理方法包括以下步骤：
(a)将所述多个图像的第一图像划分为多个图像部分；
(b)从每个图像部分中提取多个特征点，并且在至少一个所述特征点与所述场景的静态背景相关联的情况下，将所述多个特征点的至少一个特征点归类为相应图像部分的至少一个目标特征点(例如，内点特征点)；
(c)基于所述至少一个目标特征点，为所述第一图像的每个图像部分确定置信度值；以及
(d)对所述多个图像的另一图像重复步骤(a)至(c)，其中，在步骤(b)中，从所述另一图像的相应图像部分中提取的多个特征点的数量取决于所述第一图像的相应图像部分的置信度值。
因此，提供一种生成场景地图的稳健且有效的方法。
根据本发明第三方面所述的图像处理方法可以由根据本发明第一方面所述的图像处理装置执行。根据本发明第三方面所述的图像处理方法的其它特征直接源自根据所述第一方面及其在上下文中描述的不同实现方式所述的图像处理装置的功能。
根据第四方面，本发明涉及一种计算机程序产品，包括：程序代码，用于在计算机上运行时执行根据本发明第三方面所述的方法。
下述附图与说明将对一个或多个实施例进行详细阐释。根据所述说明、附图以及权利要求书，其它特征、目标及优势将显而易见。
附图说明
在下文中，将结合附图对本发明各实施例进行更详细的描述，在附图中：
图1是示出本发明实施例提供的图像处理装置示例的框图；
图2是示出由图1中所述图像处理装置进行处理的具有多个图像部分的图像示例的示意图；
图3是示出在图1所述图像处理装置中实现的处理步骤示例的流程图；以及
图4是示出在图1所述图像处理装置中实现的处理步骤另一示例的流程图。
在下文中，相同的附图标记指相同的或至少功能等同的特征。
具体实施方式
以下结合附图进行描述，所述附图通过图解说明的方式示出本发明实施例的具体方面或本发明实施例可能使用的具体方面。可以理解的是，本发明的实施例可以用于其它方面并且包括附图中未示出的结构或逻辑变化。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
例如，可以理解的是与所描述方法有关的披露对于用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述了一个或多个特定的方法步骤，则对应的设备可以包括用于执行所描述的一个或多个方法步骤的一个或多个单元(例如功能单元)(例如，执行一个或多个步骤的一个单元，或执行一个或多个步骤的多个单元)，即使此类一个或多个单元未在附图中明确描述或图示。另一方面，例如，如果基于一个或多个单元(例如功能单元)描述了特定的装置，则对应的方法可以包括用于执行所述一个或多个单元的功能的步骤(例如，执行所述一个或多个单元的功能的一个步骤，或执行所述一个或多个单元的功能的多个步骤)，即使此类一个或多个步骤未在附图中明确描述或图示。此外，可以理解的是，此处所述的各种示例性实施例和/或方面的特征可以互相结合，除非另有说明。
图1是示出本发明实施例提供的图像处理装置100的示例的框图。在一实施例中，所述图像处理装置100还包括用于采集场景的多个图像的图像采集设备103，尤其是相机。在一实施例中，所述图像处理装置100实现为车辆高级驾驶辅助系统(advanced driverassistance system，简称ADAS)的一部分或与其交互。
如下文更加详细的描述，所述图像处理装置100用于基于所述场景的多个图像生成场景地图。为此，所述图像处理装置100包括处理电路101，其用于通过以下方式逐个处理所述多个图像来迭代地生成所述地图：
(a)将所述多个图像的第一图像划分为多个图像部分；
(b)从每个图像部分中提取多个特征点，并且在至少一个所述特征点与所述场景的静态背景相关联的情况下，将所述多个特征点的至少一个特征点归类为相应图像部分的至少一个目标特征点(例如，内点)；
(c)基于所述至少一个目标特征点，为所述第一图像的每个图像部分确定置信度值P；以及
(d)对所述多个图像的另一图像重复(a)至(c)，其中，在(b)中，从所述另一图像的相应图像部分中提取的多个特征点的数量取决于所述第一图像的相应图像部分的置信度值。
图2是示出由图1中所述图像处理装置100进行处理的具有多个图像部分的图像200(通过一对指数(m，n)识别)的示例的示意图。从图2所示的示例性图像200中可以看出，在一实施例中，处理电路101用于将多个图像(如图像200)划分为多个矩形，尤其是正方形图像部分。在一实施例中，所述矩形图像部分具有相同的尺寸。
图3是示出在图1所述图像处理装置100中实现的多个处理步骤300的示例的流程图。所述多个处理步骤300包括以下步骤：
301：采集多个图像中的一个图像以进行进一步处理。
303：将多个图像中的所述图像划分为图像部分的NxM矩形网格。
305：假定K为整个图像中要检测的特征点总数。设置处理电路101，以检测或提取图像区域(m，n)中的P(m，n)*K个特征点。首先，将所有P(m，n)设置为1。假定S(m，n)为图像区域(m，n)中的目标特征点(内点)数量，T(m，n)为在图像区域(m，n)中检测到的特征点总数。因此，在一实施例中，从所述图像的相应图像部分提取的多个特征点的数量与先前处理的图像的相应图像部分的置信度值P(m，n)成正比。
307：语义分割为图像中的每个像素分配描述其语义类的类或标签C。所分配的类指示像素属于哪个语义类(例如，汽车、道路、建筑物等)。在无法对像素进行分类的情况下，可以假设它与动态特征相关联，因此可以将其定义为离群点。
309：每个特征点都有一个像素坐标的位置(最终为子像素精度)。因此，每个特征点都可以与其最近的像素相关联。如果最近的像素的语义类是动态物体(汽车、行人、卡车、自行车等)，则从该组检测到的特征点中移除该特征点，即，不是目标特征点。
311：每个像素部分(m，n)的置信度值P更新为：
Figure BDA0002739795980000051
Figure BDA0002739795980000061
因此，在一实施例中，图像处理装置100的处理电路101用于将每个图像部分的置信度值P(m，n)确定为目标特征点的数量S(m，n)与所述相应图像部分的特征点总数T(m，n)的比率。此外，在一实施例中，处理电路101用于将每个图像部分的置信度值P(m，n)确定为目标特征点的数量S(m，n)与所述相应图像部分的特征点总数T(m，n)的比率乘积，并用于确定先前处理的图像的相应图像部分的置信度值。
针对图2所示图像200的不同图像部分(m，n)示出了一些示例性的置信度值P(m，n)。可以理解的是，所述处理电路将提取图像部分(1，2)、(1，3)和(2，3)中的大多数特征点，因为它们具有最高置信度值P。图像的所有图像部分的置信度值P的总和应为1，即：
Figure BDA0002739795980000062
313：使用标记的特征点更新地图。在一实施例中，语义地图是同步定位与地图构建(simultaneous localization and mapping，简称SLAM)过程中的地图，其用于进行车辆定位。更新语义地图意味着根据SLAM算法更新地图，但是附加信息来自语义分割(步骤307)。在这种情况下，它还为每个特征点包含其对应的语义类C。因此，在一实施例中，图像处理装置100的处理电路101用于基于同步定位与地图构建(simultaneous localizationand mapping，简称SLAM)算法迭代地生成所述地图。
在构图过程中，地图包含图像特征点的3D点位置以及相机位置和方向。如上所述，可以在每个新图像处更新地图，即构图过程是迭代的。例如，可以添加新的点，或者可以添加当前相机位置和方向(例如，像图中的节点)。有时，可以进行一些更大的更新，例如，及时返回几个节点(这称为光束平差法过程)，其中，对相机位置和/或方向和/或3D点进行微调以进一步调整提高估计精确度。这是一个整体优化过程。
315：输出(更新的)语义地图。
图4是示出在图1所述图像处理装置100中实现的多个处理步骤300的另一示例的流程图。与图3所示的处理步骤300相比，所述多个处理步骤300还通过包括额外步骤310和修改的步骤311，将有关每个图像部分的语义信息纳入置信度值P的计算和更新中。
更具体地，图4中所示的多个处理步骤300考虑了所处理图像的相应图像部分的主语义类C。相应图像部分的主语义类定义为具有最大像素点数的语义类。在图3所示的处理步骤300的情况下，首先应对当前处理的图像的所有图像区域的置信度值进行归一化，即P(m，n)＝1。在图3所示的处理步骤300的情况下，S(m，n)表示图像区域(m，n)的目标特征点(即内点)的数量，T(m，n)表示在图像区域(m，n)中检测到的特征点总数。
310：确定每个图像区域的主语义类。C(m，n)表示图像区域(m，n)的主语义类。如上所述，这意味着大多数像素属于C类(m，n)。
311：每个图像区域(m，n)的置信度值P由处理电路101基于以下等式更新：
Figure BDA0002739795980000063
Figure BDA0002739795980000071
其中，
Figure BDA0002739795980000072
此处的权数D是每个图像区域的主语义类随时间变化的频率度量。更频繁的变化会降低图像区域包含有用目标特征点的可靠性。这通过在上述等式(1)中引入权数D来体现。因此，主语义类的变化频率越高，随着时间的推移平均权数D越小。
因此，在一实施例中，所述处理电路101用于向多个特征点中的每一个分配语义类C，并且为每个图像部分确定具有大多数特征点的相应主语义类C。此外，在一实施例中，所述处理电路101用于将每个图像部分的置信度值P(m，n)确定为目标特征点的数量S(m，n)与所述相应图像部分的特征点总数T(m，n)的比率，所述比率根据第一加权因子(例如，D＝1)进行加权计算得出，前提是所述图像的相应图像部分的主语义类C与先前处理的图像的相应图像部分的主语义类相同；或者所述比率根据第二加权因子(例如，D＝0.75)进行加权计算得出，前提是所述图像的相应图像部分的主语义类C与先前处理的图像的相应图像部分的主语义类不同。
在本申请提供的若干实施例中，应理解，所公开的系统、装置和方法可通过其它方式实现。例如，所描述的装置实施例仅仅是示例性的。例如，单元划分仅仅是逻辑功能划分且在实际实现中可以是其它划分。例如，可将多个单元或部件合并或集成到另一系统中，或可忽略或不执行部分特征。另外，可通过使用一些接口实现所显示或论述的互相耦合或直接耦合或通信连接。装置或单元之间的直接耦合或通信连接可通过电子、机械或其它形式实现。
作为单独部分描述的单元可或可不物理分离，作为单元描述的部分可为或可不为物理单元、可位于一个位置或可在多个网络单元上分布。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
本发明的实施例还包括一种装置，该装置包含用于执行本文所述的任何方法和/或过程的处理电路。

Claims (14)

1.一种图像处理装置(100)，用于基于场景的多个图像生成场景地图，其特征在于，所述图像处理装置(100)包括处理电路(101)，其用于通过以下方式处理所述多个图像来生成所述地图：
(a)将所述多个图像的第一图像划分为多个图像部分；
(b)从每个图像部分中提取多个特征点，并且在至少一个所述特征点与所述场景的静态背景相关联的情况下，将所述多个特征点的至少一个特征点归类为相应图像部分的至少一个目标特征点；
(c)基于所述至少一个目标特征点，为所述第一图像的每个图像部分确定置信度值；以及
(d)对所述多个图像的另一图像重复(a)至(c)，其中，在(b)中，从所述另一图像的相应图像部分中提取的多个特征点的数量取决于所述第一图像的相应图像部分的置信度值。
2.根据权利要求1所述的图像处理装置(100)，其特征在于，所述处理电路(101)用于将所述第一图像和所述多个图像的另一图像划分为多个矩形图像部分。
3.根据权利要求2所述的图像处理装置(100)，其特征在于，所述矩形图像部分具有相同的尺寸。
4.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述处理电路(101)用于将每个图像部分的置信度值确定为目标特征点的数量与所述相应图像部分的特征点数量的比率。
5.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述处理电路(101)用于将每个图像部分的置信度值确定为目标特征点的数量与所述相应图像部分的特征点数量的比率乘积，并用于确定先前处理的图像的相应图像部分的置信度值。
6.根据前述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述地图是所述场景的语义地图，所述地图包括至少一些特征点的语义信息。
7.根据权利要求6所述的图像处理装置(100)，其特征在于，所述处理电路(101)还用于向多个特征点中的每一个分配语义类C，并且为每个图像部分确定具有大多数特征点的相应主语义类C。
8.根据权利要求7所述的图像处理装置(100)，其特征在于，所述处理电路(101)用于将每个图像部分的置信度值确定为目标特征点的数量与所述相应图像部分的特征点数量的比率，所述比率根据第一加权因子进行加权计算得出，前提是所述图像的相应图像部分的主语义类C与先前处理的图像的相应图像部分的主语义类相同；或者所述比率根据第二加权因子进行加权计算得出，前提是所述图像的相应图像部分的主语义类C与先前处理的图像的相应图像部分的主语义类不同，其中第一加权因子大于第二加权因子。
9.根据权利要求6至8中任一项所述的图像处理装置(100)，其特征在于，所述处理电路(101)用于基于同步定位与地图构建(simultaneous localization and mapping，简称SLAM)算法生成所述地图。
10.根据上述权利要求中任一项所述的图像处理装置(100)，其特征在于，从所述另一图像的相应图像部分提取的多个特征点的数量与所述第一图像的相应图像部分的置信度值成比例。
11.根据上述权利要求中任一项所述的图像处理装置(100)，其特征在于，所述图像处理装置(100)还包括用于采集所述场景的多个图像的图像采集设备(103)，尤其是相机。
12.一种用于车辆的高级驾驶辅助系统，其特征在于，所述高级驾驶辅助系统包括根据上述权利要求中任一项所述的图像处理装置(100)。
13.一种用于基于所述场景的多个图像生成场景地图的图像处理方法，其特征在于，所述图像处理方法(200)包括以下步骤：
(a)将所述多个图像的第一图像划分为多个图像部分；
(b)从每个图像部分中提取多个特征点，并且在至少一个所述特征点与所述场景的静态背景相关联的情况下，将所述多个特征点的至少一个特征点归类为相应图像部分的至少一个目标特征点；
(c)基于所述至少一个目标特征点，为所述第一图像的每个图像部分确定置信度值；以及
(d)对所述多个图像的另一图像重复步骤(a)至(c)，其中，在步骤(b)中，从所述另一图像的相应图像部分中提取的多个特征点的数量取决于所述第一图像的相应图像部分的置信度值。
14.一种计算机程序产品，其特征在于，包括：程序代码，用于在计算机或处理器上运行时执行根据权利要求13所述的方法。
CN201880092690.4A 2018-05-04 2018-05-04 用于高级驾驶辅助系统的图像处理装置和方法 Pending CN112005243A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/061608 WO2019210978A1 (en) 2018-05-04 2018-05-04 Image processing apparatus and method for an advanced driver assistance system

Publications (1)

Publication Number Publication Date
CN112005243A true CN112005243A (zh) 2020-11-27

Family

ID=62152537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092690.4A Pending CN112005243A (zh) 2018-05-04 2018-05-04 用于高级驾驶辅助系统的图像处理装置和方法

Country Status (2)

Country Link
CN (1) CN112005243A (zh)
WO (1) WO2019210978A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112902966A (zh) * 2021-01-28 2021-06-04 开放智能机器（上海）有限公司 一种融合定位系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及位置测量系统
CN106778767A (zh) * 2016-11-15 2017-05-31 电子科技大学 基于orb和主动视觉的视觉图像特征提取及匹配方法
CN107437258A (zh) * 2016-05-27 2017-12-05 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
CN107689048A (zh) * 2017-09-04 2018-02-13 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群
US20180061078A1 (en) * 2016-08-31 2018-03-01 Fujitsu Limited Image processing device, image processing method, and non-transitory computer-readable recording medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012064131A (ja) * 2010-09-17 2012-03-29 Tokyo Institute Of Technology 地図生成装置、地図生成方法、移動体の移動方法、及びロボット装置
CN105989586A (zh) 2015-03-04 2016-10-05 北京雷动云合智能技术有限公司 一种基于语义光束平差法的slam方法
US9574883B2 (en) 2015-03-24 2017-02-21 X Development Llc Associating semantic location data with automated environment mapping
US9758305B2 (en) 2015-07-31 2017-09-12 Locus Robotics Corp. Robotic navigation utilizing semantic mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及位置测量系统
CN107437258A (zh) * 2016-05-27 2017-12-05 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
US20180061078A1 (en) * 2016-08-31 2018-03-01 Fujitsu Limited Image processing device, image processing method, and non-transitory computer-readable recording medium
CN106778767A (zh) * 2016-11-15 2017-05-31 电子科技大学 基于orb和主动视觉的视觉图像特征提取及匹配方法
CN107689048A (zh) * 2017-09-04 2018-02-13 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群

Also Published As

Publication number Publication date
WO2019210978A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
Acharya et al. BIM-PoseNet: Indoor camera localisation using a 3D indoor model and deep learning from synthetic images
CN108230437B (zh) 场景重建方法和装置、电子设备、程序和介质
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN109598794B (zh) 三维gis动态模型的构建方法
EP2858008B1 (en) Target detecting method and system
Strom et al. Graph-based segmentation for colored 3D laser point clouds
JP6144656B2 (ja) 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法
US9104919B2 (en) Multi-cue object association
US9129380B2 (en) Background understanding in video data
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
EP2575104A1 (en) Enhancing video using super-resolution
Kim et al. Rear obstacle detection system with fisheye stereo camera using HCT
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
Mroz et al. An empirical comparison of real-time dense stereo approaches for use in the automotive environment
CN111886600A (zh) 一种用于图像的实例级别分割的设备和方法
Huang et al. A hybrid moving object detection method for aerial images
Recky et al. Façade segmentation in a multi-view scenario
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
WO2014172875A1 (en) Moving object detection
López et al. Motion features to enhance scene segmentation in active visual attention
CN112005243A (zh) 用于高级驾驶辅助系统的图像处理装置和方法
Shi et al. A method for detecting pedestrian height and distance based on monocular vision technology
Hirata et al. Real-time dense depth estimation using semantically-guided LIDAR data propagation and motion stereo
He et al. Spatiotemporal visual odometry using ground plane in dynamic indoor environment
Chowdhury et al. A background subtraction method using color information in the frame averaging process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination