CN114322939A - 定位制图方法及移动装置 - Google Patents
定位制图方法及移动装置 Download PDFInfo
- Publication number
- CN114322939A CN114322939A CN202011065416.3A CN202011065416A CN114322939A CN 114322939 A CN114322939 A CN 114322939A CN 202011065416 A CN202011065416 A CN 202011065416A CN 114322939 A CN114322939 A CN 114322939A
- Authority
- CN
- China
- Prior art keywords
- base map
- image frame
- flag
- map
- flag object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 101
- 238000002372 labelling Methods 0.000 claims description 12
- 230000004807 localization Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000003068 static effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种定位制图方法及移动装置,定位制图方法用于移动装置于移动过程中定位及制图,定位制图方法包含影像撷取步骤、特征点萃取步骤、旗标物件辨识步骤及定位及制图步骤。影像撷取步骤是透过相机单元于移动过程的多个时间点中一时间点撷取一影像图框。特征点萃取步骤是从影像图框萃取多个特征点。旗标物件辨识步骤是依据旗标数据库从特征点辨识影像图框是否包含旗标物件,旗标数据库包含多个动态物件,旗标物件对应所述多个动态物件中一者。定位及制图步骤是依据移动过程中所撷取的多个影像图框及其旗标物件执行定位及制图。借此,有效降低定位误差及制图误判。
Description
技术领域
本发明是有关于一种定位制图方法及移动装置,且特别是有关于基于视觉的定位制图方法及使用所述定位制图方法的移动装置。
背景技术
近年来随着自动驾驶车、无人机、机器人等移动装置市场的蓬勃发展,VSLAM(Visual Simultaneous Localization and Mapping,基于视觉的即时定位与地图建构)技术亦受到日益重视及广泛应用。VSLAM是利用影像感测器(即摄影机、相机)撷取周遭画面,取得周遭的地形环境并加以辨识,进一步判断身在何处,从而为移动装置同时地进行定位与地图建构。
然而,建构的地图为当时刻的环境,即包含动态物件或可移动物件,当不同时间点回到相同位置时,可能因为动态物件的新增或消失而造成定位不稳定。因此,市场上极需一种基于视觉的定位制图方法及使用所述定位制图方法的移动装置,其可降低前述问题造成的制图误判,并减少定位误差。
发明内容
本发明提供一种定位制图方法及使用所述定位制图方法的移动装置,透过依据旗标数据库从特征点辨识影像图框是否包含旗标物件,其中旗标数据库包含多个动态物件,旗标物件对应所述多个动态物件中一者,从而有效降低定位误差及制图误判。
依据本发明一实施方式提供一种定位制图方法,用于移动装置于移动过程中定位及制图,定位制图方法包含影像撷取步骤、特征点萃取步骤、旗标物件辨识步骤及定位及制图步骤。影像撷取步骤是透过相机单元于移动过程的多个时间点中一时间点撷取一影像图框。特征点萃取步骤是从影像图框萃取多个特征点。旗标物件辨识步骤是依据旗标数据库从特征点辨识影像图框是否包含旗标物件,旗标数据库包含多个动态物件,旗标物件对应所述多个动态物件中一者。定位及制图步骤是依据移动过程中所撷取的多个影像图框及其旗标物件执行定位及制图。借此,有效降低定位误差及制图误判。
依据本发明的定位制图方法的实施例中,移动装置可为车辆,动态物件可包含行人及车辆中至少一者。
依据本发明的定位制图方法的实施例中,定位制图方法可还包含旗标物件标注步骤,是当影像图框包含旗标物件时,于影像图框增加旗标物件的标注。
依据本发明的定位制图方法的实施例中,定位制图方法可还包含底图查找步骤,是查找底图列表,确认影像图框是否对应底图列表中一底图。
依据本发明的定位制图方法的实施例中,在底图查找步骤中,当底图列表中底图包含另一旗标物件的标注时,可将所述另一旗标物件嵌入影像图框,并确认嵌入所述另一旗标物件的影像图框是否对应所述底图。当影像图框包含旗标物件的标注时,可将旗标物件嵌入底图,并确认影像图框是否对应嵌入旗标物件的底图。
依据本发明的定位制图方法的实施例中,定位制图方法可还包含底图建立步骤,是当影像图框不对应底图列表中任一底图时,依据影像图框建立及增加为底图列表中底图。
依据本发明的定位制图方法的实施例中,定位制图方法可还包含影像与底图比对步骤及底图更新步骤。影像与底图比对步骤是当影像图框对应底图列表中底图时,比对影像图框与对应的底图。底图更新步骤是对应的底图依据下列方程式更新,其中i表示时间点,i-1表示基于对应的底图的前一时间点,MAPi表示所述时间点更新的对应的底图,Pi表示所述时间点包含旗标物件的标注的影像图框:MAPi=MAPi-1+[Pi-(Pi∩MAPi-1)]。
依据本发明的定位制图方法的实施例中,定位制图方法可还包含影像与底图比对步骤及底图更新步骤。影像与底图比对步骤是当影像图框对应底图列表中底图时,比对影像图框与对应的底图。底图更新步骤是当对应的底图包含另一旗标物件的标注,且影像图框不包含所述另一旗标物件的标注时,对应的底图于移除所述另一旗标物件之后更新。
通过前述实施方式的定位制图方法,有助建立更准确的底图。
依据本发明另一实施方式提供一种移动装置,包含相机单元、处理器及记忆体。处理器耦接相机单元。记忆体耦接处理器并提供定位制图模块及旗标数据库,旗标数据库包含多个动态物件。处理器基于定位制图模块用以透过相机单元于移动装置的移动过程的多个时间点中一时间点撷取一影像图框,从影像图框萃取多个特征点,依据旗标数据库从特征点辨识影像图框是否包含旗标物件,旗标物件对应所述多个动态物件中一者,依据移动过程中所撷取的多个影像图框及其旗标物件执行定位及制图。借此,有助提升定位的稳定性。
依据本发明的移动装置的实施例中,移动装置可为车辆,动态物件可包含行人及车辆中至少一者。
依据本发明的移动装置的实施例中,处理器基于定位制图模块可还用以当影像图框包含旗标物件时,于影像图框增加旗标物件的标注。
依据本发明的移动装置的实施例中,记忆体可还提供底图列表,处理器基于定位制图模块可还用以查找底图列表,确认影像图框是否对应底图列表中底图。
依据本发明的移动装置的实施例中,处理器基于定位制图模块可还用以当查找底图列表且底图列表中底图包含另一旗标物件的标注时,将所述另一旗标物件嵌入影像图框,并确认嵌入所述另一旗标物件的影像图框是否对应底图。当查找底图列表且影像图框包含旗标物件的标注时,将旗标物件嵌入底图,并确认影像图框是否对应嵌入旗标物件的底图。
依据本发明的移动装置的实施例中,处理器基于定位制图模块可还用以当影像图框不对应底图列表中任一底图时,依据影像图框建立及增加为底图列表中底图。
依据本发明的移动装置的实施例中,处理器基于定位制图模块可还用以当影像图框对应底图列表中底图时,比对影像图框与对应的底图。对应的底图依据下列方程式更新,其中i表示时间点,i-1表示基于对应的底图的前一时间点,MAPi表示所述时间点更新的对应的底图,Pi表示所述时间点包含旗标物件的标注的影像图框:MAPi=MAPi-1+[Pi-(Pi∩MAPi-1)]。
依据本发明的移动装置的实施例中,处理器基于定位制图模块可还用以当影像图框对应底图列表中底图时,比对影像图框与对应的底图。当对应的底图包含另一旗标物件的标注,且影像图框不包含所述另一旗标物件的标注时,对应的底图于移除所述另一旗标物件之后更新。
通过前述实施方式的移动装置,有助于提升定位及制图的稳定性及精确性。
附图说明
图1A绘示本发明第一实施例的定位制图方法的流程图;
图1B绘示第一实施例中执行影像撷取步骤之后的影像图框的示意图;
图1C绘示第一实施例中执行旗标物件辨识步骤之后的影像图框的示意图;
图2绘示本发明第二实施例的移动装置的方块图;
图3A绘示本发明第三实施例的定位制图方法的流程图;
图3B绘示第三实施例中执行旗标物件标注步骤之后的影像图框的示意图;
图3C绘示第三实施例中底图列表的示意图;
图3D绘示第三实施例中执行底图查找步骤中的影像图框的示意图;
图3E绘示第三实施例中执行底图查找步骤中的底图列表的示意图;
图3F绘示第三实施例中执行底图建立步骤之后的底图的示意图;
图3G绘示第三实施例中执行底图更新步骤之后的底图的示意图;
图3H绘示第三实施例中执行底图更新步骤之后的底图的另一示意图;
图3I绘示第三实施例中执行底图更新步骤之后的底图的再一示意图;
图4A绘示本发明第四实施例的移动装置的方块图;以及
图4B绘示第四实施例的移动装置的示意图。
【符号说明】
100,300:定位制图方法
110,310:影像撷取步骤
115,315:特征点萃取步骤
120,320:旗标物件辨识步骤
330:旗标物件标注步骤
340:底图查找步骤
350:底图建立步骤
360:影像与底图比对步骤
370:底图更新步骤
180,380:闭环检测步骤
190,390:定位及制图步骤
200,400:移动装置
210,410:处理器
220,420:相机单元
240,440:记忆体
250,450:定位制图模块
260,460:旗标数据库
266,466:动态物件
270,470b,470d:底图列表
280,480b,480d,480f,480g,480h,480i:底图
488:旗标物件
290,490,490b,490d:影像图框
295,495:特征点
299,499:旗标物件
具体实施方式
以下将参照附图说明本发明的多个实施例。为明确说明起见,许多实务上的细节将在以下叙述中一并说明。然而,应了解到,这些实务上的细节不应用以限制本发明。也就是说,在本发明部分实施例中,这些实务上的细节是非必要的。此外,为简化附图起见,一些已知惯用的结构与元件在附图中将以简单示意的方式绘示;并且重复的元件将可能使用相同的编号表示。
图1A绘示本发明第一实施例的定位制图方法100的流程图,图2绘示本发明第二实施例的移动装置200的方块图。请参照图1A及图2,以依据本发明的第二实施例的移动装置200辅助说明依据本发明的第一实施例的定位制图方法100,定位制图方法100用于移动装置200于移动过程中定位(Localization)及制图(Mapping,即制作地图、建构地图),定位制图方法100包含影像撷取步骤110、特征点萃取步骤115、旗标物件辨识步骤120及定位及制图步骤190。再者,定位制图方法100供移动装置200于移动过程中或移动路径上定位及制图,移动路径可于移动之前预先决定或即时控制而决定。移动装置200可为自主移动装置(Autonomous Moving Apparatus),或可为全自移动(Self-Moving)、半自移动、辅助移动的装置,例如自动驾驶车(Autonomous Car)、无人搬运车(AGV)、无人机、扫地机器人等,且定位制图方法100可为用于自主移动装置的VSLAM方法或是VSLAM方法中一部分。
图1B绘示第一实施例中执行影像撷取步骤110之后的影像图框(Image Frame)290的示意图,请参照图1A及图1B,影像撷取步骤110是透过相机单元220于移动过程的多个时间点i中一时间点i撷取一影像图框290。
图1C绘示第一实施例中执行旗标物件辨识步骤120之后的影像图框290的示意图,请参照图1A及图1C,特征点萃取步骤115是从影像图框290萃取多个特征点(亦即点云,Point Cloud)295。旗标物件辨识步骤120是依据旗标数据库260从特征点295辨识影像图框290是否包含旗标物件,旗标数据库260包含多个动态物件266,动态物件266为依据移动装置200于移动过程中周遭环境预设的非静态物件或非固定设置的物件,旗标数据库260是预设的或可更新的一组包含物件、特征的数据结构,各旗标物件对应所述多个动态物件266中一者。例如,影像图框290被辨识出包含旗标物件299,旗标物件299对应所述多个动态物件266中一者,并如图1C所示。再者,特征点萃取步骤115及旗标物件辨识步骤120中可使用卷积神经网络(Convolutional Neural Networks,CNN)进行旗标物件辨识,即是可使用卷积神经网络进行旗标数据库260中多个动态物件266的学习及训练。
定位及制图步骤190是依据移动过程中所撷取的多个影像图框(其中之一为影像图框290)及其旗标物件(例如旗标物件299)执行定位及制图。借此,本发明的定位制图方法100使用相机单元220,即影像感测器撷取周遭画面,在VSLAM的流程中加入旗标物件辨识步骤120,可用以过滤视为动态物件266的旗标物件的不需要信息,即过滤周遭环境中暂时出现的物件,以有效降低VSLAM的定位误差及制图误判。第一实施例中,旗标物件辨识步骤120是依据旗标数据库260从特征点295辨识影像图框290是否包含旗标物件(例如旗标物件299),且可针对影像图框290中所辨识出的旗标物件再进行标注、删除、比对底图280等步骤或程序(不以此为限),以执行定位及制图。具体而言,定位制图方法100还包含闭环检测(Loop Closing)步骤180,闭环检测步骤180中亦包含底图优化的进行,以执行后续的定位及制图步骤190。
请参照图2,以依据本发明的第一实施例的定位制图方法100辅助说明依据本发明的第二实施例的移动装置200,移动装置200包含相机单元220、处理器210及记忆体240。处理器210耦接(即电性耦接或通信耦接)相机单元220,记忆体240耦接处理器210并提供定位制图模块250及旗标数据库260,旗标数据库260包含多个动态物件266。具体而言,相机单元220为影像感测器,可撷取可见光影像、红外光影像及深度影像中至少一者,且不以此为限。记忆体240为非暂时性计算机可读记忆体,定位制图模块250为软件程序码,且不以此为限。记忆体240还提供底图列表(即底图数据库)270,底图列表270包含多个底图280。此外,移动装置200可为自主移动装置,且图2中省略了移动装置200中用以移动的动力相关单元。
请参照图1A、图1B及图2,处理器210基于定位制图模块250用以透过相机单元220于移动装置200的移动过程的多个时间点i中一时间点i撷取一影像图框290,即执行定位制图方法100中的影像撷取步骤110。
请参照图1A、图1C及图2,处理器210基于定位制图模块250用以从影像图框290萃取多个特征点295,依据旗标数据库260从特征点295辨识影像图框290是否包含旗标物件,旗标物件对应所述多个动态物件266中一者,即执行定位制图方法100中的特征点萃取步骤115及旗标物件辨识步骤120。例如,影像图框290被辨识出包含旗标物件299,旗标物件299对应所述多个动态物件266中一者,并如图1C所示。处理器210基于定位制图模块250亦用以依据移动过程中所撷取的多个影像图框(其中之一为影像图框290)及其旗标物件(例如旗标物件299)执行定位及制图,即执行定位制图方法100中的定位及制图步骤190。借此,移动装置200可降低移动过程中或移动路径上动态物件266对VSLAM的影响,有助提升定位的稳定性。
图3A绘示本发明第三实施例的定位制图方法300的流程图,图4A绘示本发明第四实施例的移动装置400的方块图。请参照图3A及图4A,以依据本发明的第四实施例的移动装置400辅助说明依据本发明的第三实施例的定位制图方法300,定位制图方法300用于移动装置400于移动过程中定位及制图,定位制图方法300包含影像撷取步骤310、特征点萃取步骤315、旗标物件辨识步骤320及定位及制图步骤390。
图3B绘示第三实施例中执行旗标物件标注步骤330之后的影像图框490b的示意图,图4B绘示第四实施例的移动装置400的示意图。请参照图3A、图3B、图4A及图4B,影像撷取步骤310是透过相机单元420于移动过程的多个时间点i中一时间点i撷取一影像图框490。特征点萃取步骤315是从影像图框490萃取多个特征点495。旗标物件辨识步骤320是依据旗标数据库460从特征点495辨识影像图框490是否包含旗标物件(例如旗标物件499),旗标数据库460包含多个动态物件466,旗标物件对应所述多个动态物件466中一者。具体而言,旗标数据库460的动态物件466为依据移动装置400于移动过程中周遭环境预设的非静态物件或非固定设置的物件,旗标数据库460是预设的或可更新的一组包含物件、特征的数据结构,在于利用物件识别与特征数据整合并建立旗标数据结构附加于地图数据库(即包含旗标物件的标注的底图列表470b),以提升VSLAM特征的萃取,其中各动态物件466的结构包含物件的数量、种类及位置等,且各动态物件466可包含预设的或可更新的重叠筛选、滤波大小、权重调配等参数化结构。
定位及制图步骤390是依据移动过程中所撷取的多个影像图框(其中之一为影像图框490)及其旗标物件(例如旗标物件499)执行定位及制图。具体而言,定位制图方法300还包含闭环检测步骤380,以执行后续的定位及制图步骤390。
详细而言,请参照图3A、图4A及图4B,移动装置400为车辆。旗标数据库460的动态物件466包含行人及车辆中至少一者,动态物件466为依据移动装置400于移动过程中周遭环境预设的非静态物件或非固定设置的物件。借此,定位制图方法300有利于在大场域移动的移动装置400的地位及制图。具体而言,定位制图方法300供移动装置400于移动过程中定位及制图,移动装置400可为自动驾驶车,且定位制图方法300可为用于自动驾驶车的VSLAM方法或是VSLAM方法中一部分。定位制图方法300亦可搭配其他定位方法,例如全球定位系统(Global Positioning System,GPS)、行动通讯基地台定位技术,以为移动装置400定位及制图。举例而言,影像图框490被辨识出包含旗标物件499,旗标物件499对应旗标数据库460的动态物件466中的车辆。
请参照图3A及图3B,其中图3B绘示第三实施例中执行旗标物件标注步骤330之后的影像图框490b的示意图。定位制图方法300还包含旗标物件标注步骤330,旗标物件标注步骤330是当影像图框490包含旗标物件时,例如包含旗标物件499,于影像图框490增加旗标物件499的标注而成为影像图框490b。借此,可有效应用旗标物件的技术于定位及制图。再者,应可理解图3B所示的影像图框490b是用以便于说明及解释本发明,影像图框490b实际上是数据形式,且未必可透过显示器显示如图3B,本发明所绘示的图1B、图1C及图3C至图3I亦同。影像图框490b增加旗标物件499的标注是指影像图框490b的数据的处理及储存,而未必指标注的旗标物件499以特定方式显示于显示器。
图3C绘示第三实施例中底图列表470b的示意图,请参照图3A至图3C及图4B,定位制图方法300还包含底图查找步骤340,底图查找步骤340是查找或检索底图列表470b,底图列表470b随移动装置400于移动过程中建立(即增加)及更新。当影像图框490包含旗标物件(例如旗标物件499)时,在旗标物件标注步骤330之后,确认影像图框490b是否对应底图列表470b中一底图,即确认底图列表470b中是否存在一底图,其对应(即匹配)影像图框490b(本实施例中,影像图框490b对应底图列表470b中底图480b)。底图480b可视为移动装置400于移动过程中较早的时间点经过产生影像图框490b的位置所建立,且建立底图480b的位置与产生影像图框490b的位置视为相同位置。当影像图框490不包含旗标物件499或其他任何旗标物件时,可直接确认影像图框490是否对应底图列表470b中一底图,即直接确认底图列表470b中是否存在一底图,其对应影像图框490。借此,于底图查找步骤340中进行底图匹配处理有助增加定位准确性及构图成功率。此外,当移动装置400于开始其移动过程时,底图列表470b可包含零个底图。底图查找步骤340可为逐一查找底图列表470b中全部底图,或是透过底图列表470b的索引查找部分较相关底图,且底图查找步骤340可为比对一底图中全部的特征点及旗标物件的标注,或是比对一底图中部分较相关的特征点及旗标物件的标注,以查找出对应影像图框490b的底图。
图3D绘示第三实施例中执行底图查找步骤340中的影像图框490d的示意图,请参照图3A至图3D,在底图查找步骤340中,查找底图列表470b中全部底图或部分底图,当底图列表470b中一底图包含另一旗标物件的标注时,可将所述另一旗标物件嵌入影像图框490b中对应位置,并确认嵌入所述另一旗标物件的影像图框490d是否对应底图列表470b中所述底图。举例而言,如图3C所示,当底图列表470b中底图480b包含旗标物件488的标注时,可将旗标物件488嵌入影像图框490b以成为影像图框490d(如图3D所示),并确认嵌入旗标物件488的影像图框490d是否对应底图480b。再者,旗标物件488对应旗标数据库460的动态物件466中的行人。
图3E绘示第三实施例中执行底图查找步骤340中的底图列表470d的示意图,请参照图3A至图3C及图3E,在底图查找步骤340中,查找底图列表470b中全部底图或部分底图,当影像图框490b包含旗标物件499的标注时(如图3B所示),可将旗标物件499嵌入所查找的各个底图中对应位置而成为底图列表470d,并确认影像图框490b是否对应嵌入旗标物件499的底图列表470d中一底图,如图3E所示。举例而言,可将旗标物件499嵌入底图480b以成为底图480d,并确认影像图框490b是否对应嵌入旗标物件499的底图480d。借此,实务上的影像图框及底图可能皆包含数十个、数百个甚至更多的旗标物件的注记,且影像图框及底图的旗标物件的注记可能部分相同,依据本发明的定位制图方法300有利于透过庞大数量的旗标物件信息的交叉比对,有效地查找出对应的底图480b,并进行后续的底图建立或底图更新。
图3F绘示第三实施例中执行底图建立步骤350之后的底图480f的示意图,请参照图3A及图3F,定位制图方法300还包含底图建立步骤350,底图建立步骤350是当影像图框490b不对应底图列表470b中任一底图时,依据影像图框490b建立及增加为底图列表470b中的底图480f,且底图480f包含旗标物件499的标注。借此,建立的底图480f可包含旗标物件499的数量、种类、位置等信息。
图3G绘示第三实施例中执行底图更新步骤370之后的底图480g的示意图,请参照图3A至图3C、图3F、图3G以及下列式(1)至式(3),在执行影像撷取步骤310、特征点萃取步骤315之后,P0表示从影像图框490萃取的多个特征点495。当执行旗标物件辨识步骤320时,F为依据旗标数据库460的滤波(Filter)模块,所述滤波模块可为定位制图模块450中执行旗标物件辨识步骤320及旗标物件标注步骤330的部分,透过滤波模块对特征点495进行滤波、过滤或筛选,以辨识影像图框490的特征点495是否包含对应旗标数据库460中所述多个动态物件466中一者的旗标物件。在旗标物件标注步骤330之后,Pi表示包含旗标物件的标注(例如图4B中旗标物件499的标注)的影像图框490b,亦即经过滤波模块滤波的影像图框490b,并如以下式(1)所示。
在底图建立步骤350之后,当影像图框490b不对应底图列表470b中任一底图时,i表示时间点且数值定义为0,MAPi表示所述时间点i依据影像图框490b建立及增加为底图列表470b中的底图480f,并如以下式(2)所示。
定位制图方法300还包含影像与底图比对步骤360及底图更新步骤370。影像与底图比对步骤360是当影像图框490b对应底图列表470b中底图480b时,比对影像图框490b与对应的底图480b。底图更新步骤370是对应的底图480b可依据下列式(3)更新为底图480g,其中i表示时间点且数值定义为大于0,i-1表示基于对应的底图480b的前一时间点,MAPi表示所述时间点i更新的对应的底图480g,MAPi-1表示所述前一时间点i-1的对应的底图480b,Pi表示所述时间点i包含旗标物件的标注(例如图4B中旗标物件499的标注)的影像图框490b(亦即经过滤波模块滤波的影像图框490b),并如以下式(3)所示,且式(3)中的(Pi∩MAPi-1)可视为底图480b中的静态物件或固定设置的物件的集合,例如建筑物等。前述的式(1)至式(3)请参照如下:
Pi=F(P0) 式(1);
MAPi=Pi,若i=0 式(2);以及
MAPi=MAPi-1+[Pi-(Pi∩MAPi-1)],若i>0 式(3)。
借此,当对应的底图480b包含旗标物件488的标注,且影像图框490b不包含旗标物件488的标注时,对应的底图480b可于保留旗标物件488并增加旗标物件499之后更新为底图480g,亦如图3G所示。
图3H绘示第三实施例中执行底图更新步骤370之后的底图480h的示意图,请参照图3A至图3C及图3H,底图更新步骤370是当对应的底图480b包含旗标物件488的标注,且影像图框490b不包含旗标物件488的标注时,对应的底图480b可于移除旗标物件488之后更新为底图480h。借此,当对应的底图480b包含旗标物件488的标注,且影像图框490b不包含旗标物件488的标注时,对应的底图480b可于移除旗标物件488,但增加旗标物件499之后更新为底图480h,亦如图3H所示。
图3I绘示第三实施例中执行底图更新步骤370之后的底图480i的示意图,请参照图3A及图3I,底图更新步骤370是当对应的底图480b包含旗标物件488的标注,且影像图框490b不包含旗标物件488的标注时,对应的底图480b可于移除旗标物件488,且不增加旗标物件499之后更新为底图480i,亦如图3I所示。
进一步而言,底图更新步骤370即是遮蔽优化步骤,即利用影像图框490b及其所注记的旗标物件(例如旗标物件499)与既有地图信息的底图480b比对,以时间与空间交叉比对适时地更新底图480b,减少地图的重构动作,同时亦有利于线上更新图资。举例而言,依据本发明的底图中旗标物件的标注可包含权重,移动过程中重复出现的旗标物件可具有较高的保留权重(即较低的移除权重),重复出现的旗标物件实际上可能是静态物件,例如与行人极相似的建筑物上广告图案,以于底图更新步骤370中保留重复出现的旗标物件,即使用图3G所示保留旗标物件488的底图更新方式,而不移除重复出现的旗标物件,即不使用图3H、图3I所示移除旗标物件488的底图更新方式。具体而言,移动装置400于移动过程中一位置第一次储存的底图480b可能包含数十个、数百个甚至更多的旗标物件,随着移动装置400行经所述位置的次数增加,依据本发明的定位制图方法300有助较准确地移除更多的旗标物件,从而建立更准确的底图。
请参照图4A及图4B,以依据本发明的第三实施例的定位制图方法300辅助说明依据本发明的第四实施例的移动装置400,移动装置400包含相机单元420、处理器410及记忆体440。处理器410耦接相机单元420。记忆体440耦接处理器410并提供定位制图模块450及旗标数据库460,旗标数据库460包含多个动态物件466。具体而言,移动装置400可为自动驾驶车,移动装置400中用以负责及执行VSLAM方法的控制单元(Control Unit)包含处理器410及记忆体440,且图4A中省略了移动装置400中用以移动的动力相关单元。
请参照图3A、图4A及图4B,处理器410基于定位制图模块450用以透过相机单元420于移动装置400的移动过程的多个时间点i中一时间点i撷取一影像图框490,即执行定位制图方法300中的影像撷取步骤310。
请参照图3A、图3B、图4A及图4B,处理器410基于定位制图模块450用以从影像图框490萃取多个特征点495,依据旗标数据库460从特征点495辨识影像图框490是否包含旗标物件(例如旗标物件499),旗标数据库460包含多个动态物件466,旗标物件对应所述多个动态物件466中一者,并依据移动过程中所撷取的多个影像图框(其中之一为影像图框490)及其旗标物件(例如旗标物件499)执行定位及制图,即执行定位制图方法300中的特征点萃取步骤315、旗标物件辨识步骤320及定位及制图步骤390。
请参照图3A、图3B、图4A及图4B,处理器410基于定位制图模块450还用以当影像图框490包含旗标物件时,例如包含旗标物件499,于影像图框490增加旗标物件499的标注而成为影像图框490b,即执行定位制图方法300中的旗标物件标注步骤330。
请参照图3A、图3B、图3C及图4A,记忆体440还提供底图列表470b,处理器410基于定位制图模块450还用以查找底图列表470b,是确认影像图框490b是否对应底图列表470b中一底图,即确认底图列表470b中是否存在一底图,其对应影像图框490b(本实施例中,影像图框490b对应底图列表470b中底图480b),即执行定位制图方法300中的底图查找步骤340。再者,图4A仅绘示记忆体440提供的底图列表470b及其底图480b,而处理器410基于定位制图模块450的执行过程中暂时储存、建立或更新的底图列表470d及底图480d、480f、480g、480h、480i于图4A中省略。
请参照图3A、图3B、图3F、图4A及图4B,处理器410基于定位制图模块450还用以当影像图框490b不对应底图列表470b中任一底图时,依据影像图框490b建立及增加为底图列表470b中的底图480f,且底图480f包含旗标物件499的标注,即执行定位制图方法300中的底图建立步骤350。
处理器410基于定位制图模块450还用以当影像图框490b对应底图列表470b中底图480b时,比对影像图框490b与对应的底图480b,即执行定位制图方法300中的影像与底图比对步骤360。
请参照图3A、图3B、图3G、图3H、图3I及图4A,当对应的底图480b包含旗标物件488的标注,且影像图框490b不包含旗标物件488的标注时,可依据旗标物件488、499分别的权重或其他标注内容,对应的底图480b可于保留旗标物件499并增加旗标物件499之后更新为底图480g,如图3G所示;或是,对应的底图480b可于移除旗标物件488,但增加旗标物件499之后更新为底图480h,如图3H所示;或是,对应的底图480b可于移除旗标物件488,且不增加旗标物件499之后更新为底图480i,如图3I所示;以上即执行定位制图方法300中的底图更新步骤370。
关于第四实施例的移动装置400的其他细节,可参照前述第三实施例的定位制图方法300的内容,在此不再详述。
虽然本发明已以实施方式揭露如上,然其并非用以限定本发明,任何熟悉此技艺者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视所附的权利要求书所界定的范围为准。
Claims (16)
1.一种定位制图方法,其特征在于,用于一移动装置于一移动过程中定位及制图,该定位制图方法包含:
一影像撷取步骤,透过一相机单元于该移动过程的多个时间点中一时间点撷取一影像图框;
一特征点萃取步骤,从该影像图框萃取多个特征点;
一旗标物件辨识步骤,依据一旗标数据库从该些特征点辨识该影像图框是否包含一旗标物件,该旗标数据库包含多个动态物件,该旗标物件对应该些动态物件中一者;以及
一定位及制图步骤,依据该移动过程中所撷取的该些影像图框及其该旗标物件执行定位及制图。
2.根据权利要求1所述的定位制图方法,其特征在于,该移动装置为一车辆,该些动态物件包含一行人及一车辆中至少一者。
3.根据权利要求1所述的定位制图方法,其特征在于,还包含:
一旗标物件标注步骤,当该影像图框包含该旗标物件时,于该影像图框增加该旗标物件的标注。
4.根据权利要求3所述的定位制图方法,其特征在于,还包含:
一底图查找步骤,查找一底图列表,确认该影像图框是否对应该底图列表中一底图。
5.根据权利要求4所述的定位制图方法,其特征在于,在该底图查找步骤中:
当该底图列表中一底图包含另一旗标物件的标注时,将该另一旗标物件嵌入该影像图框,并确认嵌入该另一旗标物件的该影像图框是否对应该底图;
当该影像图框包含该旗标物件的标注时,将该旗标物件嵌入一底图,并确认该影像图框是否对应嵌入该旗标物件的该底图。
6.根据权利要求4所述的定位制图方法,其特征在于,还包含:
一底图建立步骤,当该影像图框不对应该底图列表中任一该底图时,依据该影像图框建立及增加为该底图列表中一底图。
7.根据权利要求4所述的定位制图方法,其特征在于,还包含:
一影像与底图比对步骤,当该影像图框对应该底图列表中该底图时,比对该影像图框与对应的该底图;以及
一底图更新步骤,对应的该底图依据下列方程式更新,其中i表示该时间点,i-1表示基于对应的该底图的前一时间点,MAPi表示该时间点更新的对应的该底图,Pi表示该时间点包含该旗标物件的标注的该影像图框:
MAPi=MAPi-1+[Pi-(Pi∩MAPi-1)]。
8.根据权利要求4所述的定位制图方法,其特征在于,包含:
一影像与底图比对步骤,当该影像图框对应该底图列表中该底图时,比对该影像图框与对应的该底图;以及
一底图更新步骤,当对应的该底图包含另一旗标物件的标注,且该影像图框不包含该另一旗标物件的标注时,对应的该底图于移除该另一旗标物件之后更新。
9.一种移动装置,其特征在于,包含:
一相机单元;
一处理器,耦接该相机单元;以及
一记忆体,耦接该处理器并提供一定位制图模块及一旗标数据库,该旗标数据库包含多个动态物件;
其中,该处理器基于该定位制图模块用以:
透过该相机单元于该移动装置的一移动过程的多个时间点中一时间点撷取一影像图框;
从该影像图框萃取多个特征点;
依据该旗标数据库从该些特征点辨识该影像图框是否包含一旗标物件,该旗标物件对应该些动态物件中一者;以及
依据该移动过程中所撷取的该些影像图框及其该旗标物件执行定位及制图。
10.根据权利要求9所述的移动装置,其特征在于,该移动装置为一车辆,该些动态物件包含一行人及一车辆中至少一者。
11.根据权利要求9所述的移动装置,其特征在于,该处理器基于该定位制图模块还用以:
当该影像图框包含该旗标物件时,于该影像图框增加该旗标物件的标注。
12.根据权利要求11所述的移动装置,其特征在于,该记忆体还提供一底图列表,该处理器基于该定位制图模块还用以:
查找该底图列表,确认该影像图框是否对应该底图列表中一底图。
13.根据权利要求12所述的移动装置,其特征在于,该处理器基于该定位制图模块还用以:
当查找该底图列表且该底图列表中一底图包含另一旗标物件的标注时,将该另一旗标物件嵌入该影像图框,并确认嵌入该另一旗标物件的该影像图框是否对应该底图;
当查找该底图列表且该影像图框包含该旗标物件的标注时,将该旗标物件嵌入一底图,并确认该影像图框是否对应嵌入该旗标物件的该底图。
14.根据权利要求12所述的移动装置,其特征在于,该处理器基于该定位制图模块还用以:
当该影像图框不对应该底图列表中任一该底图时,依据该影像图框建立及增加为该底图列表中一底图。
15.根据权利要求12所述的移动装置,其特征在于,该处理器基于该定位制图模块还用以:
当该影像图框对应该底图列表中该底图时,比对该影像图框与对应的该底图;以及
对应的该底图依据下列方程式更新,其中i表示该时间点,i-1表示基于对应的该底图的前一时间点,MAPi表示该时间点更新的对应的该底图,Pi表示该时间点包含该旗标物件的标注的该影像图框:
MAPi=MAPi-1+[Pi-(Pi∩MAPi-1)]。
16.根据权利要求12所述的移动装置,其特征在于,该处理器基于该定位制图模块还用以:
当该影像图框对应该底图列表中该底图时,比对该影像图框与对应的该底图;以及
当对应的该底图包含另一旗标物件的标注,且该影像图框不包含该另一旗标物件的标注时,对应的该底图于移除该另一旗标物件之后更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011065416.3A CN114322939A (zh) | 2020-09-30 | 2020-09-30 | 定位制图方法及移动装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011065416.3A CN114322939A (zh) | 2020-09-30 | 2020-09-30 | 定位制图方法及移动装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114322939A true CN114322939A (zh) | 2022-04-12 |
Family
ID=81031801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011065416.3A Pending CN114322939A (zh) | 2020-09-30 | 2020-09-30 | 定位制图方法及移动装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114322939A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1673000A (zh) * | 2004-03-24 | 2005-09-28 | 三商电脑股份有限公司 | 列车资讯编辑器 |
CN101629829A (zh) * | 2008-07-15 | 2010-01-20 | 纬创资通股份有限公司 | 用于一导航系统中的图资更新装置及相关导航系统 |
CN101847319A (zh) * | 2010-05-11 | 2010-09-29 | 北京世纪高通科技有限公司 | 提供图形化实时交通信息的方法及系统 |
CN102538800A (zh) * | 2010-12-14 | 2012-07-04 | 蔡显强 | 一种gps导航中自动更新地图的系统 |
KR20180059723A (ko) * | 2016-11-26 | 2018-06-05 | 팅크웨어(주) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
CN109074085A (zh) * | 2018-07-26 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 一种自主定位和地图建立方法、装置和机器人 |
CN110555901A (zh) * | 2019-09-05 | 2019-12-10 | 亮风台(上海)信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
CN110717007A (zh) * | 2019-10-15 | 2020-01-21 | 财团法人车辆研究测试中心 | 应用路侧特征辨识的图资定位系统及方法 |
CN110763244A (zh) * | 2019-10-17 | 2020-02-07 | 浙江吉利汽车研究院有限公司 | 一种电子地图生成系统和方法 |
TWI690816B (zh) * | 2018-11-28 | 2020-04-11 | 台達電子工業股份有限公司 | 地圖建置設備及其地圖建置方法 |
CN111238465A (zh) * | 2018-11-28 | 2020-06-05 | 台达电子工业股份有限公司 | 地图建置设备及其地图建置方法 |
CN111295570A (zh) * | 2017-11-08 | 2020-06-16 | 索尼公司 | 信息处理装置、车辆、移动物体、信息处理方法和程序 |
-
2020
- 2020-09-30 CN CN202011065416.3A patent/CN114322939A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1673000A (zh) * | 2004-03-24 | 2005-09-28 | 三商电脑股份有限公司 | 列车资讯编辑器 |
CN101629829A (zh) * | 2008-07-15 | 2010-01-20 | 纬创资通股份有限公司 | 用于一导航系统中的图资更新装置及相关导航系统 |
CN101847319A (zh) * | 2010-05-11 | 2010-09-29 | 北京世纪高通科技有限公司 | 提供图形化实时交通信息的方法及系统 |
CN102538800A (zh) * | 2010-12-14 | 2012-07-04 | 蔡显强 | 一种gps导航中自动更新地图的系统 |
KR20180059723A (ko) * | 2016-11-26 | 2018-06-05 | 팅크웨어(주) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
CN111295570A (zh) * | 2017-11-08 | 2020-06-16 | 索尼公司 | 信息处理装置、车辆、移动物体、信息处理方法和程序 |
CN109074085A (zh) * | 2018-07-26 | 2018-12-21 | 深圳前海达闼云端智能科技有限公司 | 一种自主定位和地图建立方法、装置和机器人 |
TWI690816B (zh) * | 2018-11-28 | 2020-04-11 | 台達電子工業股份有限公司 | 地圖建置設備及其地圖建置方法 |
CN111238465A (zh) * | 2018-11-28 | 2020-06-05 | 台达电子工业股份有限公司 | 地图建置设备及其地图建置方法 |
CN110555901A (zh) * | 2019-09-05 | 2019-12-10 | 亮风台(上海)信息科技有限公司 | 动静态场景的定位和建图方法、装置、设备和存储介质 |
CN110717007A (zh) * | 2019-10-15 | 2020-01-21 | 财团法人车辆研究测试中心 | 应用路侧特征辨识的图资定位系统及方法 |
CN110763244A (zh) * | 2019-10-17 | 2020-02-07 | 浙江吉利汽车研究院有限公司 | 一种电子地图生成系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
CN109074085B (zh) | 一种自主定位和地图建立方法、装置和机器人 | |
CN108388641B (zh) | 一种基于深度学习的交通设施地图生成方法与系统 | |
Šegvić et al. | A computer vision assisted geoinformation inventory for traffic infrastructure | |
EP3992922A1 (en) | Incorporation of semantic information in simultaneous localization and mapping | |
CN112949366B (zh) | 障碍物识别方法和装置 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN111461209A (zh) | 一种模型训练装置和方法 | |
CN115265545A (zh) | 基于决策分析的地图匹配导航方法、装置、设备及存储介质 | |
US11580666B2 (en) | Localization and mapping method and moving apparatus | |
CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN106996785A (zh) | 一种对导航数据进行更新的方法及装置 | |
CN114332435A (zh) | 一种基于三维重建的图像标注方法及装置 | |
CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
CN114322939A (zh) | 定位制图方法及移动装置 | |
TWI735336B (zh) | 定位製圖方法及移動裝置 | |
Herold et al. | Automatically georeferenced maps as a source for high resolution urban growth analyses | |
CN115565072A (zh) | 一种道路垃圾识别和定位方法、装置、电子设备及介质 | |
CN113569940B (zh) | 一种基于知识迁移和概率校正的少样本目标检测方法 | |
CN112232272B (zh) | 一种激光与视觉图像传感器融合的行人识别方法 | |
CN112509041B (zh) | 一种基于停车场的车辆定位方法、系统和存储介质 | |
CN114332814A (zh) | 一种停车框识别方法、装置、电子设备及存储介质 | |
CN112818866A (zh) | 车辆定位的方法、装置及电子设备 | |
CN110298287A (zh) | 一种基于深度学习的电力设备自动识别方法 | |
CN111738088B (zh) | 一种基于单目摄像头的行人距离预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |