CN112530270A - 一种基于区域分配的建图方法及装置 - Google Patents

一种基于区域分配的建图方法及装置 Download PDF

Info

Publication number
CN112530270A
CN112530270A CN201910876173.2A CN201910876173A CN112530270A CN 112530270 A CN112530270 A CN 112530270A CN 201910876173 A CN201910876173 A CN 201910876173A CN 112530270 A CN112530270 A CN 112530270A
Authority
CN
China
Prior art keywords
sub
road
semantic features
area
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910876173.2A
Other languages
English (en)
Other versions
CN112530270B (zh
Inventor
王能文
唐志雄
刘瑀璋
齐航
单乐
穆北鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chusudu Technology Co ltd
Original Assignee
Beijing Chusudu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chusudu Technology Co ltd filed Critical Beijing Chusudu Technology Co ltd
Priority to CN201910876173.2A priority Critical patent/CN112530270B/zh
Publication of CN112530270A publication Critical patent/CN112530270A/zh
Application granted granted Critical
Publication of CN112530270B publication Critical patent/CN112530270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/005Map projections or methods associated specifically therewith
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于区域分配的建图方法及装置,该方法包括:获取待建图区域,根据所述待建图区域中的道路分布属性,对待建图区域进行划分,得到多个子建图区域;将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像;获取各个车载相机针对对应的子建图区域采集的多组道路图像;基于各个子建图区域对应的多组道路图像,对待建图区域进行建图;其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组。应用本发明实施例提供的方案,能够提高构建地图时的效率。

Description

一种基于区域分配的建图方法及装置
技术领域
本发明涉及智能驾驶技术领域,具体而言,涉及一种基于区域分配的建图方法及装置。
背景技术
在智能驾驶技术领域中,对车辆进行定位是智能驾驶中的重要环节。通常,当车辆行驶时,可以根据卫星定位系统确定车辆位姿。但是,当车辆行驶至卫星信号较弱或无信号的场景中时,为了精确地确定车辆的定位位姿,可以基于视觉定位的方式进行定位。
基于视觉的定位建立在预先构建的高精度地图的基础上。在构建高精度地图时,通常需要在车辆行驶过程中采集道路图像并基于惯性测量单元(Inertial MeasurementUnit,IMU)对车辆位姿进行推测,并直接根据车辆位姿以及从道路图像中检测出的语义特征,确定语义特征在世界坐标系中的位置。这种建图方式是基于车辆边行驶边建图的方式而进行的,面对大范围的待建图区域,这种建图方式的效率显然不够高。
发明内容
本发明提供了一种基于区域分配的建图方法及装置,以提高构建地图时的效率。具体的技术方案如下。
第一方面,本发明实施例公开了一种基于区域分配的建图方法,包括:
获取待建图区域,根据所述待建图区域中的道路分布属性,对所述待建图区域进行划分,得到多个子建图区域;
将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像;其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组;
获取各个车载相机针对对应的子建图区域采集的多组道路图像;
基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图。
可选的,所述基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图的步骤,包括:
基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息;对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息。
可选的,所述基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息的步骤,包括:
采用以下方式,确定目标子建图区域的地图信息,其中,所述目标子建图区域为各个子建图区域中的任意一个:
针对所述目标子建图区域的多组道路图像,获取每组道路图像中的每个道路图像对应的世界坐标系中的定位位姿;其中,所述世界坐标系为地图所在坐标系;
对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征;
根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在所述世界坐标系中的第一位置;
根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在所述世界坐标系中的第二位置;
将所述关联语义特征和所述第二位置作为所述目标子建图区域的地图信息添加至所述地图中。
可选的,所述根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在世界坐标系中的第一位置的步骤,包括:
针对每组道路图像,对该组道路图像中各个道路图像之间的语义特征进行匹配,得到该组道路图像中属于同一道路标志的匹配语义特征;
针对每组道路图像中的每个匹配语义特征,对该匹配语义特征进行三维重建和坐标系转换,得到该匹配语义特征在世界坐标系中的第三位置;
根据每组道路图像中的所述匹配语义特征,对各组道路图像之间的匹配语义特征进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征;
对各组道路图像中所述关联语义特征的第三位置进行融合,得到所述关联语义特征在世界坐标系中的第一位置。
可选的,所述对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征的步骤,包括:
对每个道路图像中的道路标志进行特征检测,得到各个语义区域;
从预先建立的各个语义模型中确定与各个语义区域对应的语义模型;
将每个道路图像中的语义区域采用对应的语义模型表示,得到每个道路图像中的每个语义特征;
其中,各个语义模型包括:直线模型、角点模型和样条曲线模型。
可选的,所述根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在世界坐标系中的第二位置的步骤,包括:
将所述第一位置作为所述关联语义特征在世界坐标系中的估计位置的初始值,将每个道路图像对应的定位位姿作为估计位姿的初始值;
根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵;
根据对应的转换矩阵和所述估计位置,将所述关联语义特征与每个道路图像中对应的语义特征映射至同一坐标系中,确定映射至同一坐标系中的所述关联语义特征和每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值;
当所述投影误差和值大于预设误差阈值时,对所述估计位姿和所述估计位置进行调整,返回执行所述根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵的步骤;
当所述投影误差和值不大于预设误差阈值时,根据所述估计位置的当前值,确定所述关联语义特征在所述世界坐标系中的第二位置。
可选的,所述对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息的步骤,包括:
确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征;
根据所述重叠区域中目标语义特征的世界坐标系位置差异,从各个子建图区域中确定待调整位置的子建图区域,对所述待调整位置的子建图区域内的所有语义特征的世界坐标系位置进行调整,得到所述待调整位置的子建图区域的调整后的地图信息;
将未调整和调整后的各个子建图区域的地图信息确定为所述待建图区域的地图信息。
可选的,所述确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征的步骤,包括:
根据各个子建图区域的坐标范围确定各个子建图区域之间的重叠区域;
当各个子建图区域的重叠区域中的语义特征的世界坐标系位置之间的接近程度满足预设距离条件时,将所述各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征;或者,获取各个子建图区域的重叠区域中的语义特征的属性信息,当各个属性信息之间的匹配程度满足预设相似条件时,将各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征。
可选的,所述将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时对应的车载相机采集多组道路图像的步骤,包括:
将每个子建图区域发送至对应的车载终端,以使各个车载终端控制对应的智能车辆在分配的子建图区域中多次行驶,智能车辆中配置的车载相机在所述智能车辆的多次行驶中采集多组道路图像。
第二方面,本发明实施例公开了一种基于区域分配的建图装置,包括:
划分模块,被配置为获取待建图区域,根据所述待建图区域中的道路分布属性,对所述待建图区域进行划分,得到多个子建图区域;
分配模块,被配置为将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像;其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组;
获取模块,被配置为获取各个车载相机针对对应的子建图区域采集的多组道路图像;
建图模块,被配置为基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图。
可选的,所述建图模块,具体被配置为:
基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息;
对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息。
可选的,所述建图模块,基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息时,包括:
采用以下操作,确定目标子建图区域的地图信息,其中,所述目标子建图区域为各个子建图区域中的任意一个:
针对所述目标子建图区域的多组道路图像,获取每组道路图像中的每个道路图像对应的世界坐标系中的定位位姿;其中,所述世界坐标系为地图所在坐标系;
对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征;
根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在所述世界坐标系中的第一位置;
根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在所述世界坐标系中的第二位置;
将所述关联语义特征和所述第二位置作为所述目标子建图区域的地图信息添加至所述地图中。
可选的,所述建图模块,根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在世界坐标系中的第一位置时,包括:
针对每组道路图像,对该组道路图像中各个道路图像之间的语义特征进行匹配,得到该组道路图像中属于同一道路标志的匹配语义特征;
针对每组道路图像中的每个匹配语义特征,对该匹配语义特征进行三维重建和坐标系转换,得到该匹配语义特征在世界坐标系中的第三位置;
根据每组道路图像中的所述匹配语义特征,对各组道路图像之间的匹配语义特征进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征;
对各组道路图像中所述关联语义特征的第三位置进行融合,得到所述关联语义特征在世界坐标系中的第一位置。
可选的,所述建图模块,对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征时,包括:
对每个道路图像中的道路标志进行特征检测,得到各个语义区域;
从预先建立的各个语义模型中确定与各个语义区域对应的语义模型;
将每个道路图像中的语义区域采用对应的语义模型表示,得到每个道路图像中的每个语义特征;
其中,各个语义模型包括:直线模型、角点模型和样条曲线模型。
可选的,所述建图模块,根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在世界坐标系中的第二位置时,包括:
将所述第一位置作为所述关联语义特征在世界坐标系中的估计位置的初始值,将每个道路图像对应的定位位姿作为估计位姿的初始值;
根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵;
根据对应的转换矩阵和所述估计位置,将所述关联语义特征与每个道路图像中对应的语义特征映射至同一坐标系中,确定映射至同一坐标系中的所述关联语义特征和每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值;
当所述投影误差和值大于预设误差阈值时,对所述估计位姿和所述估计位置进行调整,返回执行所述根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵的操作;
当所述投影误差和值不大于预设误差阈值时,根据所述估计位置的当前值,确定所述关联语义特征在所述世界坐标系中的第二位置。
可选的,所述建图模块,对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息时,包括:
确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征;
根据所述重叠区域中目标语义特征的世界坐标系位置差异,从各个子建图区域中确定待调整位置的子建图区域,对所述待调整位置的子建图区域内的所有语义特征的世界坐标系位置进行调整,得到所述待调整位置的子建图区域的调整后的地图信息;
将未调整和调整后的各个子建图区域的地图信息确定为所述待建图区域的地图信息。
可选的,所述建图模块,确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征时,包括:
根据各个子建图区域的坐标范围确定各个子建图区域之间的重叠区域;
当各个子建图区域的重叠区域中的语义特征的世界坐标系位置之间的接近程度满足预设距离条件时,将所述各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征;或者,获取各个子建图区域的重叠区域中的语义特征的属性信息,当各个属性信息之间的匹配程度满足预设相似条件时,将各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征。
可选的,所述分配模块,具体被配置为:
将每个子建图区域发送至对应的车载终端,以使各个车载终端控制对应的智能车辆在分配的子建图区域中多次行驶,智能车辆中配置的车载相机在所述智能车辆的多次行驶中采集多组道路图像。
由上述内容可知,本发明实施例提供的基于区域分配的建图方法及装置,可以对待建图区域进行划分,将各个子建图区域分配至对应的智能车辆,当智能车辆在分配的子建图区域中多次行驶时,车载相机可以采集多组道路图像,基于各个子建图区域对应的多组道路图像,对待建图区域进行建图。待建图区域通常范围比较大,通过车辆边行驶边建图的方式对待建图区域进行建图时,效率明显比较低下。而本发明实施例可以将待建图区域划分成各个子建图区域,多个智能车辆分别针对对应的子建图区域进行多次行驶,通过车载相机采集多组道路图像,这样能够快速地采集得到待建图区域的大量道路图像,因此能够提高构建地图时的效率。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括:
1、对待建图区域进行划分,分别将各个子建图区域分配至对应的智能车辆,这样每个智能车辆可以在所分配的子建图区域中多次行驶,得到多组道路图像;基于得到的大量图像数据,采用离线的建图方式,能够更加快速地对整个待建图区域进行建图。
2、针对每个子建图区域单独进行地图构建时,确定各组道路图像之间属于同一道路标志的关联语义特征,并根据关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,确定关联语义特征在世界坐标系中的位置,能够更准确地确定子建图区域的地图信息。
3、针对采集的大量道路图像,在进行语义特征的数据关联时,先在组内的帧图像之间匹配语义特征,然后组之间再进行语义特征的关联,能够更准确地确定关联语义特征。
4、采用预先建立的更加简化的语义模型表示语义特征,能够减少语义特征的数据量,使得构建的地图数据量更加精简,适合于大范围应用。
5、在根据第一位置和定位位姿,以及重投影误差,确定更准确的第二位置时,采用迭代的方式,根据重投影误差不断地修正估计位置,使得估计位置逐渐接近于真实值,提供了一种求解更准确的第二位置的实施方式。
6、当子建图区域建图之后,根据子建图区域之间重叠区域中属于同一道路标志的目标语义特征之间的位置差异,对子建图区域内的所有语义特征的位置进行调整,实现对子建图区域的整体优化,能够提高地图信息的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于区域分配的建图方法的一种流程示意图;
图2为本发明实施例中将待建图区域划分成子建图区域的一种示例图;
图3为图1中步骤S140的一种流程示意图;
图4为本发明实施例中提及的各组道路图像的一种示意图;
图5A为基于三角测量方法测量图像点的深度信息的原理示意图;
图5B为车体、相机和地面之间的一种相互关系原理图;
图6为本发明实施例提供的基于区域分配的建图装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种基于区域分配的建图方法及装置,能够提高构建地图时的效率。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于区域分配的建图方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等,也可以为车载电脑或车载工业控制计算机(Industrial Personal Computer,IPC)等车载终端。本实施例中,车载终端可以安装于车辆中,车辆是指智能车辆。该方法具体包括以下步骤。
S110:获取待建图区域,根据待建图区域中的道路分布属性,对待建图区域进行划分,得到多个子建图区域。
其中,待建图区域可以为几座城市区域,或者一座城市区域,或者一座城市中的部分区域,其面积可以非常大,也可以很小。当待建图区域为几座城市区域构成的区域时,各个子建图区域可以为其中的每个城市区域;当待建图区域为一座城市区域时,各个子建图区域可以为该城市区域中各个行政子区域对应的区域,也可以是两个路口之间的一个路段;当待建图区域为一座城市中的部分区域时,各个子建图区域可以为两个路口之间的路段。
根据待建图区域中的道路分布属性,对待建图区域进行划分时,可以将相连和相邻的道路划分在同一子建图区域。参见图2,该图2为将待建图区域划分成多个子建图区域的一种示意图。其中,待建图区域被划分成了5个子建图区域。
S120:将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像。
其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组。各个智能车辆在分配的子建图区域中多次行驶时,通过对应的车载相机采集多组道路图像,可以得到针对每个子建图区域的多组道路图像。
本步骤在实施时,具体可以将每个子建图区域发送至对应的车载终端,以使各个车载终端控制对应的智能车辆在分配的子建图区域中多次行驶,智能车辆中配置的车载相机在所述智能车辆的多次行驶中采集多组道路图像。
在另一种实施方式中,可以通过人工方式将针对各个子建图区域的图像采集任务分配至对应的智能车辆。或者,也可以是,通过其他设备将各个子建图区域发送至对应的智能车辆。
在另一种实施方式中,也可以是将各个子建图区域均发送至各个智能车辆中的车载终端;各个车载终端根据当前智能车辆所处的位置或者基于智能车辆的常走路线的位置,从各个子建图区域中认领与该位置最接近的子建图区域,并将认领的子建图区域发送至作为执行主体的电子设备。
S130:获取各个车载相机针对对应的子建图区域采集的多组道路图像。
作为执行主体的电子设备,可以直接从对应的车载终端中获取车载相机针对对应的子建图区域采集的多组道路图像;也可以是从其他设备中获取各个车载相机采集的多组道路图像。其他设备可以为服务器,各个车载相机预先将多组道路图像存储在服务器中。
S140:基于各个子建图区域对应的多组道路图像,对待建图区域进行建图。
对待建图区域进行建图,可以理解为将待建图区域的地图信息添加至地图对应的数据库中。
由上述内容可知,本实施例可以对待建图区域进行划分,将各个子建图区域分配至对应的智能车辆,当智能车辆在分配的子建图区域中多次行驶时,车载相机可以采集多组道路图像,基于各个子建图区域对应的多组道路图像,对待建图区域进行建图。待建图区域通常范围比较大,通过车辆边行驶边建图的方式对待建图区域进行建图时,效率明显比较低下。而本发实施例可以将待建图区域划分成各个子建图区域,多个智能车辆分别针对对应的子建图区域进行多次行驶,通过车载相机采集多组道路图像,这样能够快速地采集得到待建图区域的大量道路图像,因此能够提高构建地图时的效率。
在本发明的另一实施例中,基于图1所示实施例,步骤S140,基于各个子建图区域对应的多组道路图像,对待建图区域进行建图的步骤,可以按照图3所示流程示意图进行,具体包括以下步骤S141和S142。
步骤S141:基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息。
步骤S142:对各个子建图区域的地图信息进行融合,确定待建图区域的地图信息。
本实施例中,在对待建图区域进行建图时,可以针对每个子建图区域,分别单独地确定每个子建图区域的地图信息,将各个子建图区域的地图信息融合成待建图区域的地图信息,能够更高效地确定待建图区域的地图信息。
在本发明的另一实施例中,基于图3所示实施例,步骤S141,基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息的步骤,包括:
采用以下步骤1a~5a,确定目标子建图区域的地图信息,其中,目标子建图区域为各个子建图区域中的任意一个,每一个子建图区域均采用以下方式确定地图信息:
步骤1a:针对目标子建图区域的多组道路图像,获取每组道路图像中的每个道路图像对应的世界坐标系中的定位位姿。
其中,世界坐标系为地图所在坐标系。该多组道路图像为车辆在目标子建图区域中多次行驶时通过车载相机采集。目标子建图区域可以为包含多条道路的城市区域,也可以为一条道路区域。
当配置有车载相机以及惯性测量单元(Inertial Measurement Unit,IMU)、轮速计或者全球定位系统(Global Positioning System,GPS)等传感器的车辆,多次在同一位置区域中行驶时,车载相机可以采集道路图像。当车辆每次从该目标子建图区域的一端行驶至另一端的过程中,车载相机采集的多个道路图像构成一组道路图像。每组道路图像中包括多个道路图像。参见图4所示,当车辆N次在同一位置区域中行驶时,可以得到第一组道路图像、第二组道路图像……第N组道路图像,每组道路图像中包括多个道路图像。
车辆在同一位置区域中多次行驶时,每次行驶时所在的车道可以不同,这样能够使得每组道路图像之间的拍摄角度不同,提高数据的多样性。
车载相机可以按照预设的频率采集道路图像,道路图像可以包括道路标志或者车载相机的图像采集范围内的其他任何物体的图像数据。本实施例中,道路图像所在的场所可以是户外,也可以是停车场等。
在车载相机采集每个道路图像时,可以根据车辆中设置的GPS和/或IMU采集的数据进行定位,确定在采集该道路图像时的定位位姿。该定位位姿可以为GPS或者IMU的定位位姿,也可以为车辆的定位位姿。每个道路图像的定位位姿可以预先存储在指定空间中。在获取每组道路图像中的每个道路图像时,可以从该指定空间中获取。
步骤2a:对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征。
其中,道路标志可以包括车道线、路灯杆、交通牌、道路边缘线、停止线、地面标识和红绿灯等。
对每个道路图像中的道路标志进行特征检测,可以理解为,对每组道路图像中的每个道路图像中的道路标志进行特征检测,即所有组中的所有道路图像均进行特征检测。
每个道路图像中的语义特征,可以为一个或者多个。例如,一个道路图像中,可以包括一个交通牌的语义特征和一个车道线的语义特征等。
道路图像中可以包括地面的道路标志和地面以上的道路标志。相机设备在采集道路图像时,图像采集范围包括车辆周围的部分空间区域。
步骤3a:根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定关联语义特征在世界坐标系中的第一位置。
各组道路图像之间属于同一道路标志的关联语义特征的种类可以为一个或者多个。例如,针对同一路段的3组道路图像中均存在交通牌1、交通牌2、车道线1、车道线2、车道线3的语义特征,则交通牌1、交通牌2、车道线1、车道线2和车道线3,均可以确定为关联语义特征,即关联语义特征包括5个,并采用不同的ID(Identification)号码表示。
步骤4a:根据第一位置以及每个道路图像对应的定位位姿,确定关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据投影误差和值,确定关联语义特征在世界坐标系中的第二位置。
第一位置可以理解为关联语义特征的初始位置,该初始位置的准确性还不够高。为了确定关联语义特征更准确的第二位置,本步骤中可以确定关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,进而确定第二位置。
本步骤的每个道路图像包括所有组道路图像中的每个道路图像。其中,道路图像中对应的语义特征,可以理解为,道路图像中与关联语义特征对应的语义特征,即道路图像中与关联语义特征属于同一道路标志的语义特征。
例如,针对同一路段的3组道路图像中均存在交通牌1,该交通牌1即为关联语义特征。3组道路图像中,第一组道路图像中有30帧图像中存在交通牌1,第二组道路图像中有40帧图像中存在交通牌1,第三组道路图像中有35帧图像中存在交通牌1。则在确定该关联语义特征(交通牌1)的第二位置时,可以根据第一位置以及上述包括交通牌1的30帧图像、40帧图像和35帧图像对应的定位位姿,确定该关联语义特征分别与上述105帧图像(30帧图像+40帧图像+35帧图像)中的交通牌1的语义特征之间的重投影误差,并求和。
上述针对一个道路图像确定的重投影误差,可以理解为,关联语义特征与道路图像中对应的语义特征之间在同一坐标系中时的位置差异。
本步骤为确定每个关联语义特征的第二位置的方式,当该存在多个关联语义特征时,可以针对每个关联语义特征采用本步骤的方式确定每个第二位置。
步骤5a:将关联语义特征和第二位置作为目标子建图区域的地图信息添加至地图中。
本步骤中,具体可以是将关联语义特征和第二位置之间的对应关系作为目标子建图区域的地图信息添加至地图中。当关联语义特征为多个时,将所有关联语义特征和第二位置之间的对应关系均作为目标子建图区域的地图信息添加至地图中。
综上,本实施例中,针对每个子建图区域单独进行地图构建时,确定各组道路图像之间属于同一道路标志的关联语义特征,并根据关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,确定关联语义特征在世界坐标系中的位置。由于多组道路图像是车辆在同一位置区域中多次行驶时采集得到,并且车载相机能够从不同角度采集到同一道路标志,基于在大量道路图像中的重投影所得到的关联语义特征的位置,相比于基于一次行驶过程中获取的数据,能够提高确定的关联语义特征的位置准确性,进而提高构建的地图信息的准确性。
本实施例中,车辆中的车载相机可以为单目摄像头,其可以是全局快门(GlobalShutter)式相机,也可以是更廉价的卷帘快门(Rolling Shutter)式相机。对于定位传感器来说,不同级别的定位数据均可以应用于本实施例,例如定位数据既可以是高精定位数据(例如根据实时动态(Real-Time Kinematic,RTK)载波相位差分技术进行的定位),也可以是低精数据(例如根据单点GPS数据进行的定位)。
在本发明的另一实施例中,基于上述实施例,步骤3a,根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定关联语义特征在世界坐标系中的第一位置的步骤,包括:
步骤3a1:针对每组道路图像,对该组道路图像中各个道路图像之间的语义特征进行匹配,得到该组道路图像中属于同一道路标志的匹配语义特征。
本步骤中,在每组道路图像内针对语义特征进行帧间匹配,可以确定该组道路图像中属于同一道路标志的匹配语义特征。其中,每组道路图像中的各个道路图像为连续采集的图像帧,该匹配可以在相邻帧之间进行。所有的道路图像组均执行本步骤的操作。该组道路图像中确定的匹配语义特征可以为一个或者多个。
例如,经过语义特征的匹配后确定道路图像组1中第1-30帧存在交通牌1和车道线1,且交通牌1在第1-30帧中的图像位置可能不同,车道线1在第1-30帧中的图像位置可能不同。交通牌1和车道线1均可以确定为匹配语义特征。
针对每组道路图像,可以根据该组中各个道路图像之间语义特征的图像位置进行匹配,将图像位置之间的差异小于阈值的语义特征,确定为属于同一道路标志的匹配语义特征;也可以根据该组中各个道路图像之间语义特征的属性信息进行匹配,将属性信息的相似度大于阈值的语义特征,确定为匹配语义特征。属性信息可以为根据图像像素确定的特征。
步骤3a2:针对每组道路图像中的每个匹配语义特征,对该匹配语义特征进行三维重建和坐标系转换,得到该匹配语义特征在世界坐标系中的第三位置。
本步骤中,具体可以包括:针对每组道路图像中的每个匹配语义特征,对该匹配语义特征进行三维重建,确定该匹配语义特征在相机坐标系中的位置,根据坐标系转换,将该匹配语义特征在相机坐标系中的位置转换至世界坐标系中,得到第三位置。
当匹配语义特征为地面以上的道路标志的语义特征时,例如交通牌、交通灯、路灯杆等道路标志,对该匹配语义特征进行三维重建时,具体可以获取该匹配语义特征所对应的道路图像,根据连续的道路图像帧,基于三角测量方法,确定该匹配语义特征在相机坐标系中的位置。例如,道路图像组1中第1-30帧中存在该匹配语义特征,则可以从该第1-30帧中获取至少两帧图像,基于三角测量方法,确定匹配语义特征中点的深度信息。
参见图5A所示,为基于三角测量方法测量图像点的深度信息的原理示意图。从不同的角度观察同一个三维点P,该点P在两个道路图像I1和I2中的投影分别是p1和p2。O1和O2分别为相机坐标系的原点处于不同定位位姿下的位置,如果已知从O2到O1的过程中相机坐标系的位姿变化参量包括旋转矩阵R和平移矩阵t,设点P在O1和O2坐标系下的深度信息分别为s1和s2,即点O1和O2到点P的距离分别为s1和s2,以上参量满足以下关系:
s1*p1=s2*R*p2+t
Figure BDA0002204352530000161
其中,*为乘号,
Figure BDA0002204352530000162
为p1的反对称。根据上面的公式可以求得s1和s2,根据该深度信息能够求得点P在相机坐标系中的三维坐标。
根据道路图像对应的定位位姿,可以确定相机坐标系与世界坐标系之间的转换关系,根据该转换关系可以将匹配语义特征在相机坐标系中的位置转换至世界坐标系中,得到第三位置。相机坐标系为车载相机所在的坐标系。
当匹配语义特征为地面的道路标志的语义特征时,例如针对车道线、道路边缘线等道路标志,对该匹配语义特征进行三维重建时,具体可以根据以下投影原理确定匹配语义特征在相机坐标系中的深度信息,进而根据该深度信息确定匹配语义特征在世界坐标系中的第三位置。
参见图5B,为车体、相机和地面之间的一种相互关系原理图。其中,假设车体和地面是一个刚体,且车体附近的地面是一个平面,通过标定相机坐标系和车体坐标系之间的旋转矩阵Rcv以及相机到地面的高度H,可以确定地面点的三维信息。假设相机坐标系与车体坐标系之间不存在旋转,即Rcv是单位矩阵,且此时相机坐标系的X轴垂直纸面向外,Y轴垂直地面向下,Z轴平行于地面向前。地面上的三维点P在相机成像平面上的点是p。根据上述信息可知,已知的量包括:y(p点Y方向的坐标)、f(相机焦距)、H(相机到地面的高度),那么点P在相机坐标系下的深度d可以用下面的公式计算得到:
Figure BDA0002204352530000171
步骤3a3:根据每组道路图像中的匹配语义特征,对各组道路图像之间的匹配语义特征进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征。
本步骤中具体可以包括以下实施方式。
实施方式一,当各组道路图像中匹配语义特征的第三位置之间的接近程度满足预设距离条件时,将各组道路图像中的匹配语义特征确定为属于同一道路标志的关联语义特征。在高精度轨迹下,即根据GPS数据确定每个道路图像对应的定位位姿时,可以采用本实施方式。
实施方式二,获取各组道路图像中匹配语义特征的第一属性信息,当各个第一属性信息之间的匹配程度满足预设相似条件时,将各组道路图像中的匹配语义特征确定为属于同一道路标志的关联语义特征。
例如,当匹配语义特征为交通牌的语义特征时,其第一属性信息可以包括交通牌的文字信息等。当匹配语义特征为车道线的语义特征时,其第一属性信息可以包括车道线的虚实属性、车道线与道路边缘之间的距离等。
其中,交通牌的文字信息、车道线的虚实属性、车道线与道路边缘之间的距离等,均可以在步骤2a中对道路图像进行特征检测时进行检测。
步骤3a4:对各组道路图像中所述关联语义特征的第三位置进行融合,得到所述关联语义特征在世界坐标系中的第一位置。
例如,可以将各组道路图像中关联语义特征的第三位置得到平均值,确定为上述第一位置;也可以对上述各个第三位置作加权平均,将得到的加权平均值确定为第一位置。
综上,本实施例中,针对采集的大量道路图像,在进行语义特征的数据关联时,先在组内的帧图像之间匹配语义特征,然后组之间再进行语义特征的关联,能够更准确地确定关联语义特征。
在本发明的另一实施例中,基于上述实施例,步骤2a,对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征的步骤,可以包括。
对每个道路图像中的道路标志进行特征检测,得到各个语义区域;从预先建立的各个语义模型中确定与各个语义区域对应的语义模型;将每个道路图像中的语义区域采用对应的语义模型表示,得到每个道路图像中的每个语义特征。
其中,各个语义模型包括:直线模型、角点模型和样条曲线模型。直线模型可以包括采用两个点表示的模型,例如,路灯杆可以采用两个点表示。角点模型可以包括采用平面表示的模型,例如,矩形交通牌可以采用四个角点表示。样条曲线可以包括采用曲线方程表示的模型,例如车道线可以采用曲线方程表示。
从预先建立的各个语义模型中确定与各个语义区域对应的语义模型时,可以根据语义区域对应的标志物类型,以及标志物类型与各个语义模型之间的对应关系,确定与各个语义区域对应的语义模型。其中,标志物类型可以包括交通牌、车道线和路灯杆等,并且交通牌与角点模型对应,车道线与样条曲线模型对应,路灯杆与直线模型对应。
综上,本实施例中,采用预先建立的更加简化的语义模型表示语义特征,能够减少语义特征的数据量,使得构建的地图数据量更加精简,适合于大范围应用。
在本发明的另一实施例中,基于上述实施例,步骤4a,根据第一位置以及每个道路图像对应的定位位姿,确定关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据投影误差和值,确定关联语义特征在世界坐标系中的第二位置的步骤,包括以下步骤4a1~4a5。
步骤4a1:将第一位置作为关联语义特征在世界坐标系中的估计位置的初始值,将每个道路图像对应的定位位姿作为估计位姿的初始值。
本实施例中,上述定位位姿可以为世界坐标系中的定位位姿。
步骤4a2:根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵。
步骤4a3:根据对应的转换矩阵和估计位置,将关联语义特征与每个道路图像中对应的语义特征映射至同一坐标系中,确定映射至同一坐标系中的关联语义特征和每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值。
估计位置为世界坐标系中的位置,每个道路图像中的语义特征为图像坐标系中的位置,两者不在同一坐标系中。根据对应的转换矩阵,可以将两者转换至同一坐标系中,进而确定重投影误差。
本步骤中,确定映射至同一坐标系中的关联语义特征和每个道路图像中对应的语义特征之间的重投影误差时,可以采用以下两种方式中的一种。
方式一,针对每个道路图像,根据与该道路图像对应的转换矩阵,以及对应的相机坐标系与图像坐标系之间的投影关系,将估计位置映射至该图像坐标系中,得到第一映射位置,计算第一映射位置与该道路图像中的对应语义特征的图像位置之间的重投影误差。
本实施方式中,将世界坐标系中的估计位置一一映射至各个图像坐标系中,计算得到的重投影误差为图像坐标系中的位置差。这种方式更简单易实施。
方式二,针对每个道路图像,根据与该道路图像对应的转换矩阵,以及对应的相机坐标系与图像坐标系之间的投影关系,将该道路图像中与所述关联语义特征对应的语义特征映射至所述世界坐标系中,得到该对应的语义特征的第二映射位置,计算所述第二映射位置与所述估计位置之间的重投影误差。
本实施方式中,将每个道路图像中的语义特征均映射至世界坐标系中,计算得到的重投影误差为世界坐标系中的位置差。
步骤4a4:当该投影误差和值大于预设误差阈值时,对估计位姿和估计位置进行调整,返回执行步骤4a2,以及步骤4a2之后的各个步骤,进入下一次迭代。
当投影误差和值大于预设误差阈值时,认为上述估计位置与真实值相差比较大,可以继续迭代,以便使得估计位置逐渐接近于真实值。
对上述估计位姿和估计位置进行调整时,具体可以根据预设算法,以及上述投影误差和值,确定针对上述估计位姿和估计位置的调整值。
步骤4a5:当投影误差和值不大于预设误差阈值时,根据估计位置的当前值,确定关联语义特征在世界坐标系中的第二位置。
当投影误差和值不大于预设误差阈值时,认为上述估计位置与真实值相差非常小,此时可以根据估计位置的当前值确定第二位置。具体的,可以直接将估计位置的当前值确定为上述第二位置,也可以将对估计位置的当前值作预设修改后的值确定为第二位置。
综上,本实施例中,在根据第一位置和定位位姿,以及重投影误差,确定更准确的第二位置时,采用迭代的方式,根据重投影误差不断地修正估计位置,使得估计位置逐渐接近于真实值,提供了一种求解更准确的第二位置的实施方式。
在本发明的另一实施例中,基于上述实施例,步骤S142,对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息的步骤,包括以下步骤1b~3b。
步骤1b:确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征。
在划分子建图区域时,各个子建图区域之间可以存在重叠区域。例如,连接两个子建图区域之间的同一条道路,可以是这两个子建图区域之间的重叠区域。
本步骤具体可以包括以下实施方式:
根据各个子建图区域的坐标范围确定各个子建图区域之间的重叠区域;当各个子建图区域的重叠区域中的语义特征的世界坐标系位置之间的接近程度满足预设距离条件时,将所述各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征;
或者,根据各个子建图区域的坐标范围确定各个子建图区域之间的重叠区域;获取各个子建图区域的重叠区域中的语义特征的属性信息,当各个属性信息之间的匹配程度满足预设相似条件时,将各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征。
步骤2b:根据重叠区域中目标语义特征的世界坐标系位置差异,从各个子建图区域中确定待调整位置的子建图区域,对待调整位置的子建图区域内的所有语义特征的世界坐标系位置进行调整,得到待调整位置的子建图区域的调整后的地图信息。
步骤3b:将未调整和调整后的各个子建图区域的地图信息确定为待建图区域的地图信息。
本实施例至少可以包括以下两种具体实施方式。
一种是,先将各个子建图区域的地图信息添加至地图中,再根据步骤1b和2b调整子建图区域的地图信息,并将调整后的地图信息更新至地图中。
另一种是,根据步骤1b和2b调整子建图区域的地图信息,将调整后的地图信息和未调整的地图信息均添加至地图中。
综上,本实施例中,当子建图区域建图之后,根据子建图区域之间重叠区域中属于同一道路标志的目标语义特征之间的位置差异,对子建图区域内的所有语义特征的位置进行调整,实现对子建图区域的整体优化,能够提高地图信息的准确性。
图6为本发明实施例提供的基于区域分配的建图装置的一种结构示意图。该装置实施例与图1所示方法实施例相对应。该装置实施例应用于电子设备。该装置包括:
划分模块610,被配置为获取待建图区域,根据所述待建图区域中的道路分布属性,对所述待建图区域进行划分,得到多个子建图区域;
分配模块620,被配置为将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像;其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组;
获取模块630,被配置为获取各个车载相机针对对应的子建图区域采集的多组道路图像;
建图模块640,被配置为基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图。
在本发明的另一实施例中,基于图6所示实施例,建图模块640具体被配置为:
基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息;
对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息。
在本发明的另一实施例中,基于图6所示实施例,建图模块640,基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息时,包括:
采用以下操作,确定目标子建图区域的地图信息,其中,所述目标子建图区域为各个子建图区域中的任意一个:
针对所述目标子建图区域的多组道路图像,获取每组道路图像中的每个道路图像对应的世界坐标系中的定位位姿;其中,所述世界坐标系为地图所在坐标系;
对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征;
根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在所述世界坐标系中的第一位置;
根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在所述世界坐标系中的第二位置;
将所述关联语义特征和所述第二位置作为所述目标子建图区域的地图信息添加至所述地图中。
在本发明的另一实施例中,基于图6所示实施例,建图模块640,根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在世界坐标系中的第一位置时,包括:
针对每组道路图像,对该组道路图像中各个道路图像之间的语义特征进行匹配,得到该组道路图像中属于同一道路标志的匹配语义特征;
针对每组道路图像中的每个匹配语义特征,对该匹配语义特征进行三维重建和坐标系转换,得到该匹配语义特征在世界坐标系中的第三位置;
根据每组道路图像中的所述匹配语义特征,对各组道路图像之间的匹配语义特征进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征;
对各组道路图像中所述关联语义特征的第三位置进行融合,得到所述关联语义特征在世界坐标系中的第一位置。
在本发明的另一实施例中,基于图6所示实施例,建图模块640,对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征时,包括:
对每个道路图像中的道路标志进行特征检测,得到各个语义区域;
从预先建立的各个语义模型中确定与各个语义区域对应的语义模型;
将每个道路图像中的语义区域采用对应的语义模型表示,得到每个道路图像中的每个语义特征;
其中,各个语义模型包括:直线模型、角点模型和样条曲线模型。
在本发明的另一实施例中,基于图6所示实施例,建图模块640,根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在世界坐标系中的第二位置时,包括:
将所述第一位置作为所述关联语义特征在世界坐标系中的估计位置的初始值,将每个道路图像对应的定位位姿作为估计位姿的初始值;
根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵;
根据对应的转换矩阵和所述估计位置,将所述关联语义特征与每个道路图像中对应的语义特征映射至同一坐标系中,确定映射至同一坐标系中的所述关联语义特征和每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值;
当所述投影误差和值大于预设误差阈值时,对所述估计位姿和所述估计位置进行调整,返回执行所述根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵的操作;
当所述投影误差和值不大于预设误差阈值时,根据所述估计位置的当前值,确定所述关联语义特征在所述世界坐标系中的第二位置。
在本发明的另一实施例中,基于图6所示实施例,建图模块640,对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息时,包括:
确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征;
根据所述重叠区域中目标语义特征的世界坐标系位置差异,从各个子建图区域中确定待调整位置的子建图区域,对所述待调整位置的子建图区域内的所有语义特征的世界坐标系位置进行调整,得到所述待调整位置的子建图区域的调整后的地图信息;
将未调整和调整后的各个子建图区域的地图信息确定为所述待建图区域的地图信息。
在本发明的另一实施例中,基于图6所示实施例,建图模块640,确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征时,包括:
根据各个子建图区域的坐标范围确定各个子建图区域之间的重叠区域;
当各个子建图区域的重叠区域中的语义特征的世界坐标系位置之间的接近程度满足预设距离条件时,将所述各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征;或者,获取各个子建图区域的重叠区域中的语义特征的属性信息,当各个属性信息之间的匹配程度满足预设相似条件时,将各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征。
在本发明的另一实施例中,基于图6所示实施例,分配模块620具体被配置为:
将每个子建图区域发送至对应的车载终端,以使各个车载终端控制对应的智能车辆在分配的子建图区域中多次行驶,智能车辆中配置的车载相机在所述智能车辆的多次行驶中采集多组道路图像。
上述装置实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于区域分配的建图方法,其特征在于,包括:
获取待建图区域,根据所述待建图区域中的道路分布属性,对所述待建图区域进行划分,得到多个子建图区域;
将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像;其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组;
获取各个车载相机针对对应的子建图区域采集的多组道路图像;
基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图。
2.如权利要求1所述的方法,其特征在于,所述基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图的步骤,包括:
基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息;
对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息。
3.如权利要求2所述的方法,其特征在于,所述基于每个子建图区域的多组道路图像,确定对应的子建图区域的地图信息的步骤,包括:
采用以下方式,确定目标子建图区域的地图信息,其中,所述目标子建图区域为各个子建图区域中的任意一个:
针对所述目标子建图区域的多组道路图像,获取每组道路图像中的每个道路图像对应的世界坐标系中的定位位姿;其中,所述世界坐标系为地图所在坐标系;
对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征;
根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在所述世界坐标系中的第一位置;
根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在所述世界坐标系中的第二位置;
将所述关联语义特征和所述第二位置作为所述目标子建图区域的地图信息添加至所述地图中。
4.如权利要求3所述的方法,其特征在于,所述根据每个道路图像中的语义特征,对各组道路图像之间进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征,并确定所述关联语义特征在世界坐标系中的第一位置的步骤,包括:
针对每组道路图像,对该组道路图像中各个道路图像之间的语义特征进行匹配,得到该组道路图像中属于同一道路标志的匹配语义特征;
针对每组道路图像中的每个匹配语义特征,对该匹配语义特征进行三维重建和坐标系转换,得到该匹配语义特征在世界坐标系中的第三位置;
根据每组道路图像中的所述匹配语义特征,对各组道路图像之间的匹配语义特征进行数据关联,得到各组道路图像之间属于同一道路标志的关联语义特征;
对各组道路图像中所述关联语义特征的第三位置进行融合,得到所述关联语义特征在世界坐标系中的第一位置。
5.如权利要求3所述的方法,其特征在于,所述对每个道路图像中的道路标志进行特征检测,得到每个道路图像中的语义特征的步骤,包括:
对每个道路图像中的道路标志进行特征检测,得到各个语义区域;
从预先建立的各个语义模型中确定与各个语义区域对应的语义模型;
将每个道路图像中的语义区域采用对应的语义模型表示,得到每个道路图像中的每个语义特征;
其中,各个语义模型包括:直线模型、角点模型和样条曲线模型。
6.如权利要求3所述的方法,其特征在于,所述根据所述第一位置以及每个道路图像对应的定位位姿,确定所述关联语义特征与每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值,根据所述投影误差和值,确定所述关联语义特征在世界坐标系中的第二位置的步骤,包括:
将所述第一位置作为所述关联语义特征在世界坐标系中的估计位置的初始值,将每个道路图像对应的定位位姿作为估计位姿的初始值;
根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵;
根据对应的转换矩阵和所述估计位置,将所述关联语义特征与每个道路图像中对应的语义特征映射至同一坐标系中,确定映射至同一坐标系中的所述关联语义特征和每个道路图像中对应的语义特征之间的重投影误差,并确定各个重投影误差之间的投影误差和值;
当所述投影误差和值大于预设误差阈值时,对所述估计位姿和所述估计位置进行调整,返回执行所述根据每个道路图像对应的估计位姿,确定每个道路图像对应的相机坐标系与世界坐标系之间的转换矩阵的步骤;
当所述投影误差和值不大于预设误差阈值时,根据所述估计位置的当前值,确定所述关联语义特征在所述世界坐标系中的第二位置。
7.如权利要求3所述的方法,其特征在于,所述对各个子建图区域的地图信息进行融合,确定所述待建图区域的地图信息的步骤,包括:
确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征;
根据所述重叠区域中目标语义特征的世界坐标系位置差异,从各个子建图区域中确定待调整位置的子建图区域,对所述待调整位置的子建图区域内的所有语义特征的世界坐标系位置进行调整,得到所述待调整位置的子建图区域的调整后的地图信息;
将未调整和调整后的各个子建图区域的地图信息确定为所述待建图区域的地图信息。
8.如权利要求7所述的方法,其特征在于,所述确定各个子建图区域之间的重叠区域中属于同一道路标志的目标语义特征的步骤,包括:
根据各个子建图区域的坐标范围确定各个子建图区域之间的重叠区域;
当各个子建图区域的重叠区域中的语义特征的世界坐标系位置之间的接近程度满足预设距离条件时,将所述各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征;或者,获取各个子建图区域的重叠区域中的语义特征的属性信息,当各个属性信息之间的匹配程度满足预设相似条件时,将各个子建图区域的重叠区域中的语义特征确定为属于同一道路标志的目标语义特征。
9.如权利要1~8任一项所述的方法,其特征在于,所述将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时对应的车载相机采集多组道路图像的步骤,包括:
将每个子建图区域发送至对应的车载终端,以使各个车载终端控制对应的智能车辆在分配的子建图区域中多次行驶,智能车辆中配置的车载相机在所述智能车辆的多次行驶中采集多组道路图像。
10.一种基于区域分配的建图装置,其特征在于,包括:
划分模块,被配置为获取待建图区域,根据所述待建图区域中的道路分布属性,对所述待建图区域进行划分,得到多个子建图区域;
分配模块,被配置为将每个子建图区域分配至对应的配置有车载相机的智能车辆,以使各个智能车辆在分配的子建图区域中多次行驶时通过对应的车载相机采集多组道路图像;其中,智能车辆在对应的子建图区域中的不同次行驶过程对应不同的道路图像组;
获取模块,被配置为获取各个车载相机针对对应的子建图区域采集的多组道路图像;
建图模块,被配置为基于各个子建图区域对应的多组道路图像,对所述待建图区域进行建图。
CN201910876173.2A 2019-09-17 2019-09-17 一种基于区域分配的建图方法及装置 Active CN112530270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910876173.2A CN112530270B (zh) 2019-09-17 2019-09-17 一种基于区域分配的建图方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910876173.2A CN112530270B (zh) 2019-09-17 2019-09-17 一种基于区域分配的建图方法及装置

Publications (2)

Publication Number Publication Date
CN112530270A true CN112530270A (zh) 2021-03-19
CN112530270B CN112530270B (zh) 2023-03-14

Family

ID=74974853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876173.2A Active CN112530270B (zh) 2019-09-17 2019-09-17 一种基于区域分配的建图方法及装置

Country Status (1)

Country Link
CN (1) CN112530270B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820751A (zh) * 2022-03-10 2022-07-29 中国海洋大学 用于场景三维重建的方法及装置、三维重建系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
CN104838281A (zh) * 2013-01-10 2015-08-12 英特尔公司 基于虚拟地标的定位和建图
US20170177933A1 (en) * 2015-12-22 2017-06-22 Here Global B.V. Method and apparatus for updating road map geometry based on received probe data
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
US20180024565A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Navigating a vehicle using a crowdsourced sparse map
CN108537848A (zh) * 2018-04-19 2018-09-14 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108827249A (zh) * 2018-06-06 2018-11-16 歌尔股份有限公司 一种地图构建方法和装置
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN108981701A (zh) * 2018-06-14 2018-12-11 广东易凌科技股份有限公司 一种基于激光slam的室内定位和导航方法
CN109584302A (zh) * 2018-11-27 2019-04-05 北京旷视科技有限公司 相机位姿优化方法、装置、电子设备和计算机可读介质
CN109579856A (zh) * 2018-10-31 2019-04-05 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置、设备及计算机可读存储介质
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN109887087A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
CN110146097A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN110147705A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 一种基于视觉感知的车辆定位方法及电子设备
WO2019161134A1 (en) * 2018-02-14 2019-08-22 TuSimple Lane marking localization
US20190271550A1 (en) * 2016-07-21 2019-09-05 Intelligent Technologies International, Inc. System and Method for Creating, Updating, and Using Maps Generated by Probe Vehicles

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838281A (zh) * 2013-01-10 2015-08-12 英特尔公司 基于虚拟地标的定位和建图
CN103645480A (zh) * 2013-12-04 2014-03-19 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
US20170177933A1 (en) * 2015-12-22 2017-06-22 Here Global B.V. Method and apparatus for updating road map geometry based on received probe data
US20190271550A1 (en) * 2016-07-21 2019-09-05 Intelligent Technologies International, Inc. System and Method for Creating, Updating, and Using Maps Generated by Probe Vehicles
US20180024565A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Navigating a vehicle using a crowdsourced sparse map
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
WO2019161134A1 (en) * 2018-02-14 2019-08-22 TuSimple Lane marking localization
CN108537848A (zh) * 2018-04-19 2018-09-14 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108827249A (zh) * 2018-06-06 2018-11-16 歌尔股份有限公司 一种地图构建方法和装置
CN108981726A (zh) * 2018-06-09 2018-12-11 安徽宇锋智能科技有限公司 基于感知定位监测的无人车语义地图建模及构建应用方法
CN108981701A (zh) * 2018-06-14 2018-12-11 广东易凌科技股份有限公司 一种基于激光slam的室内定位和导航方法
CN110146097A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN110147705A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 一种基于视觉感知的车辆定位方法及电子设备
CN109579856A (zh) * 2018-10-31 2019-04-05 百度在线网络技术(北京)有限公司 高精度地图生成方法、装置、设备及计算机可读存储介质
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN109584302A (zh) * 2018-11-27 2019-04-05 北京旷视科技有限公司 相机位姿优化方法、装置、电子设备和计算机可读介质
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN109887087A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张恒润: "基于车载多摄像头的道路正射影像地图创建方法研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》 *
张正,王喆,陈超: "自动引导车辆(AGV)地图生成方法研究", 《兰州交通大学学报(自然科学版)》 *
王光庭,曹凯,刘豪: "基于激光雷达与视觉信息融合的SLAM方法", 《山东理工大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820751A (zh) * 2022-03-10 2022-07-29 中国海洋大学 用于场景三维重建的方法及装置、三维重建系统

Also Published As

Publication number Publication date
CN112530270B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN109099901B (zh) 基于多源数据融合的全自动压路机定位方法
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
EP3290952B1 (en) Automatic localization geometry detection
US10127461B2 (en) Visual odometry for low illumination conditions using fixed light sources
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
JP6694395B2 (ja) デジタル地図に対する位置を決定する方法およびシステム
JP2022166185A (ja) 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
CN102208035B (zh) 图像处理系统及位置测量系统
JP5057184B2 (ja) 画像処理システム及び車両制御システム
CN108802785A (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
US10291898B2 (en) Method and apparatus for updating navigation map
CN105676253A (zh) 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
JP2018533721A (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
CN106980657A (zh) 一种基于信息融合的车道级电子地图构建方法
CN111582079A (zh) 基于计算机视觉的车道定位方法及装置
WO2017161588A1 (zh) 一种定位方法及装置
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
JP2008065087A (ja) 静止物地図生成装置
CN112446915B (zh) 一种基于图像组的建图方法及装置
JP2020518917A (ja) デジタルマップモデルを生成するための方法および装置
CN113252022A (zh) 一种地图数据处理方法及装置
CN115564865A (zh) 一种众包高精地图的构建方法、系统、电子设备及车辆
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
CN113673386A (zh) 一种交通信号灯在先验地图中的标注方法
CN112530270B (zh) 一种基于区域分配的建图方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant