CN111238465A - 地图建置设备及其地图建置方法 - Google Patents

地图建置设备及其地图建置方法 Download PDF

Info

Publication number
CN111238465A
CN111238465A CN201811435117.7A CN201811435117A CN111238465A CN 111238465 A CN111238465 A CN 111238465A CN 201811435117 A CN201811435117 A CN 201811435117A CN 111238465 A CN111238465 A CN 111238465A
Authority
CN
China
Prior art keywords
depth
map
algorithm
information
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811435117.7A
Other languages
English (en)
Other versions
CN111238465B (zh
Inventor
陈昱达
黄翊庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Original Assignee
Delta Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Electronics Inc filed Critical Delta Electronics Inc
Priority to CN201811435117.7A priority Critical patent/CN111238465B/zh
Priority to JP2019048471A priority patent/JP6854840B2/ja
Priority to SG10201902452WA priority patent/SG10201902452WA/en
Priority to US16/554,287 priority patent/US11227434B2/en
Publication of CN111238465A publication Critical patent/CN111238465A/zh
Application granted granted Critical
Publication of CN111238465B publication Critical patent/CN111238465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/383Indoor data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Abstract

一种地图建置方法,运用于具有影像感测器及深度感测器的地图建置设备,以及一种地图建置设备。上述地图建置方法包括下列步骤:于地图建置设备开始移动时通过影像感测器及深度感测器持续取得彩色影像及深度影像信息;对彩色影像进行影像识别以判断是否存在动态物件;当动态物件存在时,于彩色影像中标记物件区域;将物件区域对应至深度影像信息的深度影像坐标;于深度影像信息中搜索并过滤物件区域,并产生修正后深度影像信息;将修正后深度影像信息输入地图建置演算法中以产生地图数据。本发明可于地图建置过程中分割前景与背景,使得所建置的地图更为精确。

Description

地图建置设备及其地图建置方法
技术领域
本发明涉及一种地图建置设备及其地图建置方法,尤其是涉及一种具备RGB-D装置的地图建置设备,以及通过此类地图建置设备实现的地图建置方法。
背景技术
于现行市场中,许多移动式机器人(例如自动搬运车)会直接内嵌有地图建置设备。通过地图建置设备的使用,此类移动式机器人可以自行建置所在区域的地图,并且依据所建置的地图来进行移动以及相关作业。
一般来说,目前市场上的移动式机器人多是以2D雷达同步定位与地图建置技术(Lidar Simultaneous Localization and Mapping)或是2D视觉影像同步定位与地图建置技术(Visual Simultaneous Localization and Mapping)做为主要的地图建置手段。然而,此类地图建置技术实有着许多的限制与缺点,因此现行的移动式机器人所建置的地图通常有着不够精确的问题。
具体而言,若使用2D雷达同步定位与地图建置技术,则因为2D光学雷达仅能取得固定高度下的一维距离信息,无法掌握真实环境状况,因而难以建置精确的地图。若使用2D视觉影像同步定位与地图建置技术,则因为目前视觉辅助技术仅停留在避障与测距等功能,无法适用于地图建置阶段,因此难以从地图中排除暂时性物体。
承上所述,若采用上述技术,则地图必须在完全没有任何动态物体存在于空间中的情况下才能够被建置。若地图建置设备所在的空间中存在着动态物体(例如人、推车等)或任何非经常性存在于空间中的物体,则这些物体都将会被建置到地图中。这样一来,将会使得所建置的地图不够精确,进而影响了移动式机器人于后续的定位使用。
有鉴于此,现阶段在建置地图时,为求地图的精确,通常需要先清空整个空间后,才可令移动式机器人于空间中移动,并且进行地图的建置。然而,这样的作法实会提高地图的建置难度,并且增加了建置成本。
发明内容
本发明的主要目的,在于提供一种地图建置设备及其地图建置方法,可改善传统的地图建置设备及方法对于周围环境感知不足的缺点,强化了设备在物件影像检测以及环境影像识别的能力,借此可在地图的建置过程中有效过滤属于前景部分的动态物件并且保留属于背景部分的环境影像。
为了实现上述的目的,本发明的地图建置方法主要运用于具有一影像感测器及一深度感测器的一地图建置设备,并且包括下列步骤:于该地图建置设备开始移动时通过该影像感测器及该深度感测器持续取得彩色影像及深度影像信息;对该彩色影像进行影像识别以判断是否存在一动态物件;当该动态物件存在时,于该彩色影像中标记一物件区域;将该物件区域对应至深度影像信息的一深度影像坐标;于该深度影像信息中搜索并过滤该物件区域,并产生修正后深度影像信息;将该修正后深度影像信息输入一地图建置演算法中以产生一地图数据。
本发明相对于相关技术所能达到的技术效果至少包括:
(1)于地图建置设备上设置RGB-D装置(包括影像感测器及深度感测器),以加强地图建置设备对于环境影像的认知能力;
(2)通过加强后的认知能力,可在彩色影像中检测并标记出动态物件以及非经常性存在于空间中的物件;
(3)通过检测并标记动态物件,在建置地图时可以实时分割背景部分(即,静态的空间信息)以及前景部分(即,所述动态物件以及非经常性存在于空间中的物件),并且加以保存;
(4)在建置地图时主动修改或删除动态物件的信息(如深度信息)并保留背景部分,借此强化地图数据中的空间信息;及
(5)当地图建置设备依据已建置的地图进行移动,并且发现环境已经改变时(例如机台的设置地点更换、场域局部变动等),能够主动对已建置的地图进行更新。
附图说明
图1为本发明的地图建置示意图的第一具体实施例。
图2为本发明的地图建置设备的方框图的第一具体实施例。
图3A为本发明的地图建置流程图第一部分的第一具体实施例。
图3B为本发明的地图建置流程图第二部分的第一具体实施例。
图4为本发明的标记框示意图的第一具体实施例。
图5A为本发明的深度影像信息的示意图的第一具体实施例。
图5B为本发明的深度影像信息的示意图的第二具体实施例。
图6为本发明的修正后深度影像信息的示意图的第一具体实施例。
图7A为本发明的地图影像的示意图的第一具体实施例。
图7B为本发明的地图影像的示意图的第二具体实施例。
图8A为本发明的过滤后地图影像的示意图的第一具体实施例。
图8B为本发明的过滤后地图影像的示意图的第二具体实施例。
图9为本发明的地图更新流程图的第一具体实施例。
附图标记说明:
1…地图建置设备
10…处理器
11…影像感测器
12…深度感测器
13…存储单元
131…地图数据
132…物件特征数据
14…移动构件
15…动作构件
16…人机界面
2…空间
3…彩色影像
31…背景
32…动态物件
33…标记框
4…深度影像信息
41…物件深度信息
5…修正后深度影像信息
6…地图影像
7…过滤后地图影像
S10~S32…建置步骤
S40~S56…更新步骤
具体实施方式
兹就本发明的一优选实施例,配合附图,详细说明如后。
首请参阅图1,其为本发明的地图建置示意图的第一具体实施例。如图 1所示,本发明公开了一种地图建置设备1,所述地图建置设备1可以设置于一个移动式机器人上(例如自动搬运车,图未标示),以协助移动式机器人进行地图的建置作业。
当所述搭载有(可为内嵌或外接)地图建置设备1的移动式机器人被放置于一个未知的空间2中时,可通过地图建置设备1来建置空间2的地图。具体而言,当移动式机器人在空间2中移动时,可以通过地图建置设备1 来检测周围环境的影像,借此自动建立所在空间2的地图。经过一或多次的移动,地图建置设备1即可建立描绘了所在空间2的平面空间信息(例如深度信息)的地图数据。如此一来,未来当移动式机器人在空间2中移动并执行任务时,可以依据预先建置完成的地图数据来进行移动,以排除移动时可能会发生的问题(例如碰撞机台、进入死角等)。
续请参阅图2,其为本发明的地图建置设备的方框图的第一具体实施例。如图2所示,所述地图建置设备1至少包括处理器10,以及与处理器10电性连接的影像感测器11、深度感测器12及存储单元13。本实施例中,所述处理器10通过内部汇流排与影像感测器11、深度感测器12以及存储单元13电性连接,并且主要用以执行内嵌或由外部输入的演算法,以实现地图建置设备1的各项需求与功能(容后详述)。
本发明的地图建置设备1主要是经由内建或外接的RGB-D(即RGB深度图像,RGB-Depth Map)设备来实现地图的建置与更新。于一实施例中,所述RGB-D设备可为分开的两个设备,包括用以获取周围环境的彩色影像 (即,RGB影像)的第一设备及用以感测周围环境的深度信息(即,Depth信息)的第二设备。于另一实施例中,所述RGB-D设备可为能够同时取得周围环境的彩色影像以及深度信息的整合式影像获取装置,于此实施例中,所述地图建置设备1不需要设置分开的影像感测器11及深度感测器12。于又一实施例中,所述RGB-D设备可为分开设置的影像感测器11及深度感测器12,其中影像感测器11可例如为彩色摄影机(RGB camera),深度感测器可例如为光学雷达。
上述说明仅为本发明的具体实施范例,不以此为限。为便于理解,下面将于说明书中以分开设置的所述影像感测器11及深度感测器12为例,来进行说明。
本实施例中,使用者可以直接启动地图建置设备1,或是启动所述移动式机器人,并由移动式机器人主动启动所连接的地图建置设备1。当地图建置设备1被启动后,处理器10即可驱动影像感测器11持续取得周围环境的彩色影像,并且驱动深度感测器12持续取得周围环境的深度影像信息。
于一实施例中,处理器10可通过所述彩色影像从周围环境中识别出需要在地图中排除的动态物件(例如人、推车、或动物等等),并且通过所述深度影像信息来建置用以描绘周围环境的二维地图。于另一实施例中,处理器10可同时参考所述彩色影像及所述深度影像信息,借此建置用以描绘周围环境的三维地图。为便于理解,下面将于说明书中以建置二维地图为例,进行说明。
于地图建置设备1被启动后,所述处理器10可持续由所述影像感测器 11取得所述彩色影像。本实施例中,处理器10可执行内嵌或外部输入的检测演算法,以对所接收的彩色影像进行影像识别。具体而言,处理器10将所取得的彩色影像做为检测演算法的输入参数,并且检测演算法于执行完成后回复一个识别结果给处理器10,所述识别结果指出彩色影像中是否存在着可识别的动态物件(即,地图建置设备1的周围环境中是否存在动态物件)。
本发明的其中一项技术特征在于,地图建置设备1可在地图的建置过程中检测前景部分(即,动态物件)以及背景部分(即,静态空间),并且将前景部分与背景部分进行分割,使得前景部分不会出现在建置完成的地图中。若处理器10由检测演算法的识别结果中判断彩色影像中存在至少一个动态物件,则处理器10会进一步对所述动态物件进行标记,并产生对应的标记框(Bounding box)。如此一来,当处理器10通过其他演算法执行地图的建置程序时,所述演算法可搜索并识别所述标记框,并且将所述标记框的相关信息排除在所建置的地图外(容后详述)。
如前文所述,处理器10主要是依据所述深度影像信息来执行二维影像的建置作业,因此当所述标记框被产生后,处理器10会将标记框视为一个感兴趣区域(Region ofInterest,ROI),并且进一步将标记框对应(mapping)至所述深度影像信息所采用的深度影像坐标。于一实施例中,处理器10可以通过一个转换演算法来执行转换作业,以将所述彩色影像中的标记框的位置对应至深度影像信息的深度影像坐标。值得一提的是,此实施例中所指的彩色影像及深度影像信息,优选为相同时间点所取得的彩色影像及深度影像信息(即,两者的取得时间相同,或是时间差小于一个误差容忍值)。
于上述的转换作业执行完成后,处理器10可进一步于所述深度影像信息中搜索所述标记框(例如搜索标记框的对应坐标),并且于深度影像信息中过滤所述标记框的相关信息,借此产生修正后深度影像信息。于一实施例中,处理器10可执行内建或外部输入的一个过滤演算法,以从深度影像信息中过滤所述标记框的相关信息并产生所述修正后深度影像信息。本发明中,所述修正后深度影像信息仅描述了背景部分的静态空间信息,因此可视为是所在空间2下的平面空间深度信息。
最后,处理器10还可执行内建或外部输入的一个地图建置演算法,以依据所述修正后深度影像信息来生成能够描绘所在空间2的地图数据131。并且,处理器10可将所生成的地图数据131存储于存储单元13。当移动式机器人正式启动并执行任务时,即可依据所预先建置的地图数据131来进行移动。
如图2所示,于本发明的一个具体实施例中,地图建置设备1可与所述移动式机器人整合为单一个体,所述处理器10可同时电性连接移动式机器人的各项元件,例如移动构件14、动作构件15、人机界面16等,不加以限定。于一实施例中,所述移动构件14可例如为齿轮、轮胎、传动轴、输送带等可带动地图建置设备1移动的构件,所述动作构件15可例如为马达、机器手臂等可协助地图建置设备1执行机器人相关任务的构件,所述人机界面16可例如为屏幕、键盘、鼠标、触控屏幕或语音控制单元等可对地图建置设备1下达命令并显示所建置的地图数据131的构件。而,上述说明仅为本发明的部分具体实例,不应用以限制本发明的实际专利范围。
于本发明的一实施例中,所述处理器10可记录一或多种检测演算法(图未标示),例如是方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取演算法、支援向量机(Support Vector Machine,SVM)演算法、卷积神经网络(Convolutional NeuralNetwork,CNN)演算法、YOLO(You Only Look Once)演算法、SSD(Single Shot multiboxDetector)演算法或其他采用神经网络训练的物件检测演算法等其中一种或其组合,在此并不加以限定。
在地图建置设备1被使用之前,所述处理器10可通过上述检测演算法的其中之一或其组合来进行机器学习。具体而言,地图建置设备1的制造者可将大量的识别素材(如记录有动态物件的照片或影片)汇入所述检测演算法,以对检测演算法进行训练。所述检测演算法可以通过机器学习得出各种物件类型(例如人、推车、动物等)的物件特征数据132,并且存储于存储单元13中。
在地图的建置过程中,处理器10可持续将影像感测器11取得的彩色影像与存储单元13中存储的复数物件特征数据132进行比对,当彩色影像中具有比对符合的一或多个影像时,处理器10将这些影像视为所述动态物件,并且对动能物件进行标记。如此一来,处理器10可以在后续的建置程序中滤除所述动态物件。
续请参阅图3A及图3B,分别为本发明的地图建置流程图第一部分以及地图建置流程图第二部分的第一具体实施例。首先,使用者于要建置地图时启动地图建置设备1(步骤S10)。具体而言,使用者可以直接启动地图建置设备1,或是启动搭载有地图建置设备1的移动式机器人,并由移动式机器人主动启动地图建置设备1。
地图建置设备1可在被启动后开始移动(步骤S12),例如通过所述移动构件14进行移动,或是由移动式机器人带动地图建置设备1移动。于进行移动时,地图建置设备1通过所述影像感测器11及深度感测器12来检测周围环境(步骤S14)。于一实施例中,影像感测器11可例如为一彩色摄影机,地图建置设备1通过影像感测器11持续检测周围环境并取得彩色影像;深度感测器12为一光学雷达,地图建置设备1通过深度感测器12持续检测周围环境并取得深度影像信息(步骤S16)。
接着,地图建置设备1通过所述处理器10执行检测演算法,以对彩色影像进行影像识别(步骤S18),并且判断彩色影像中是否存在动态物件(步骤 S20)。
如前文所述,所述地图建置设备1可通过如方向梯度直方图特征提取演算法、支援向量机演算法、卷积神经网络演算法、YOLO演算法、SSD 演算法或其他采用神经网络训练的物件检测演算法等其中一种或其组合来进行机器学习,以产生并存储属于不同物件类型的复数物件特征数据132。于上述步骤S18中,处理器10将所取得的彩色影像与这些物件特征数据132 进行比对,并且将比对符合的一或多个影像视为所述动态物件。
若处理器10于步骤S20中判断没有动态物件存在,则可直接依据目前取得的深度影像信息来建置地图数据131,即,直接依据当前的深度影像信息执行步骤S28。
若处理器10于步骤S20中判断有动态物件存在,则进一步对动态物件进行标记,并且产生对应的一个标记框(步骤S22)。于一实施例中,处理器 10将所述标记框视为一个感兴趣区域(ROI)。于另一实施例中,处理器10 进一步将所述感兴趣区域转换为一个易于识别的遮罩(MASK)。处理器10 可以存储所述标记框所在位置(即感兴趣区域或遮罩)的坐标、像素信息等等,借此将标记框所在位置记录为彩色影像中的前景部分,并将标记框以外的位置记录为彩色影像中的背景部分。如此一来,处理器10可以有效分割彩色影像中的前景部分及背景部分,并且在所产生的地图数据131中过滤掉所述前景部分(容后详述)。
于步骤S22后,处理器10进一步将所述标记框对应(mapping)至所述深度影像信息的深度影像坐标(步骤S24),借此,当处理器10依据深度影像信息进行地图数据131的建置动作时,可轻印地在地图数据131中过滤所述标记框的对应位置(即,感兴趣区域或遮罩)的深度信息。
请同时参阅图4,为本发明的标记框示意图的第一具体实施例。图4公开了由影像感测器11所获取的一张彩色影像3,如图4所示,彩色影像3 主要记录了地图建置设备1的周围环境的背景31,当处理器10通过检测演算法于彩色影像3中识别出一个动态物件32(图4中以人为例)时,处理器10会产生一个能够涵盖全部或部分动态物件32的标记框33。
于一实施例中,处理器10在识别出所述动态物件32后,分别取得动态物件32在彩色影像3中的X轴起点坐标位置(Xstart)、X轴终点坐标位置 (Xend)、Y轴起点坐标位置(Ystart)及Y轴终点坐标位置(Yend),并且依据这些坐标位置(Xstart、Ystart、Xend、Yend)建立所述标记框33(换句话说,通过这些坐标位置构成一个感兴趣区域ROI)。
承上,在将标记框33对应至所述深度影像信息的深度影像坐标时(即,执行图3B的步骤S24时),处理器10是将所述标记框33的位置对应至所述深度影像坐标上,并且将标记框33内的所有像素的像素信息设定为一个像素极值,并产生一个自定义像素信息(即,将感兴趣区域转换成遮罩)。如此一来,处理器10所采用的演算法将可以在深度影像信息中识别出所述标记框33(即,所述遮罩)的对应位置。于一实施例中,所述像素极值可设定为0。于另一实施例中,所述像素极值可设定为255。于又一实施例中,所述像素极值可设定为演算法可以直接识别的特定数值,但不加以限定。
举例来说,处理器10可依据如下所示的程序码来产生遮罩:
Figure BDA0001883613100000091
而,上述仅为本发明的其中一个具体实施范例,但不应以此为限。
回到图3B。于步骤S24之后,所述处理器10即可在所述深度影像信息中搜索所述标记框33的对应位置(例如搜索所述像素极值所在的位置),于深度影像信息中过滤所述标记框33的相关信息,并且产生一个修正后深度影像信息(步骤S26)。本实施例中,所述修正后深度影像信息中将不包含所述动态物件32所在位置的深度信息。
请同时参阅图5A及图5B,分别为本发明的深度影像信息的示意图的第一具体实施例及第二具体实施例。
如图5A及图5B所示,若处理器10没有从深度影像信息中过滤动态物件32的对应位置的深度信息,则当所述彩色影像3中出现动态物件32(例如人)时,在深度影像信息的对应位置上将会出现对应的物件深度信息41。若处理器10依据这个深度影像信息直接建置地图数据131,就会将这个物件深度信息41视为平面空间的一部分,进而导致地图的精确度下降。
请同时参阅图6,为本发明的修正后深度影像信息的示意图的第一具体实施例。
根据本发明的技术方案,处理器10可以在识别出动态物件32后对动态物件32进行标记并产生标记框33,将标记框33的位置对应至深度影像坐标上,并且将标记框33内的像素信息设定为所述像素极值。如此一来,处理器10可以依据所述像素极值在深度影像信息中搜索标记框33的对应位置,并且于深度影像信息中过滤掉这些位置上的深度信息。
如图6所示,虽然在彩色影像3中可以看到动态物件32存在,但在深度影像信息中已过滤了动态物件32的对应位置上的深度信息(即,生成了修正后深度影像信息5),也就是说,修正后深度影像信息5中将不会出现上述的物件深度信息41。若处理器10依据修正后深度影像信息5来建置地图数据131,将可有效排除动态物件,进而提高地图的精确度。
于一实施例中,处理器10是在判断动态物件32存在于彩色影像3中时,通过指令(例如Get Depth Raw Data)获得对应的深度影像信息的扫描范围,接着取得动态物件32(或标记框33)在深度影像信息上的物件边界始点 (DXstart)及物件边界终点(DXend),并且将物件边界始点及物件边界终点所构成的范围的深度信息设定为0,借此产生修正后深度影像信息5。具体而言,处理器10是在该深度影像信息中搜索所述自定义像素信息所在的范围,并将这个范围内的深度信息设定为0,以产生所述修正后深度影像信息5。
具体而言,上述的物件边界始点及物件边界终点为处理器10将所述标记框33的位置对应至深度影像坐标上所得到的结果,并且处理器10可通过搜索所述像素极值(即,所述自定义像素信息,或称为遮罩)来确认物件边界始点及物件边界终点所构成的范围。
于一实施例中,处理器10可依据如下所示的程序码来进行物件深度信息的搜索与过滤:
Figure BDA0001883613100000101
Figure BDA0001883613100000111
于上述程序码中,DYlayer为深度影像信息的扫描范围,而Filter Value 可设定为0(即,可令物件深度信息41于深度影像信息中消失的数值),但不加以限定。于其他实施例中,处理器10亦可将Filter Value设定为一个预设的特别数值,当演算法读到这个特别数值后,会自动将这个位置的深度信息从地图数据131中滤除。
回到图3B。于步骤S26后,处理器10即可依据修正后深度影像信息5 来执行地图建置演算法(步骤S28),以产生地图数据131并将地图数据131 存储于存储单元13中(步骤S30)。于一实施例中,所述处理器10是以便携式网络图形(Portable Network Graphics,png)、点阵图(BitMap,bmp)或便携式灰阶图(Portable Gray Map,pgm)等文件格式将所建置的地图数据131存储于存储单元13,但不加以限定。
具体而言,处理器10是将修正后深度影像信息5做为地图建置演算法的输入参数,借此,处理器10在执行了地图建置演算法后,可以建立与修正后深度影像信息5的内容相对应的地图数据131。
于一实施例中,本发明的地图建置演算法可为视觉影像同步定位与地图建构(Visual Simultaneous Localization and Mapping,SLAM)演算法,并且所述地图建置演算法可通过三角定位法、卡尔曼滤波器(Kalman Filter)、粒子滤波器(Particle Filter)、蒙特卡罗定位法(Monte Carlo Localization,MCL)、混合型蒙特卡罗定位法(MixtureMCL)或基于网格的马可夫定位法 (Grid-Based Markov)等技术的其中之一或其组合来实现。
请同时参阅图7A及图7B,分别为本发明的地图影像的示意图的第一具体实施例及第二具体实施例。若处理器10不执移动态物件的搜索及过滤程序(即,不产生所述修正后深度影像信息5),则如图7A及图7B所示,当处理器10于彩色影像3中识别到动态物件32时,地图建置演算法依据深度影像信息所产生的地图影像6中,就会在动态物件32的位置上显示对应的物件深度信息41。如此一来,当地图建置设备1或移动式机器人依据这个地图影像6(即,地图数据131)进行移动时,将会依据指令避开物件深度信息41所指的位置,进而造成移动上的不便。
请同时参阅图8A及图8B,分别为本发明的过滤后地图影像的示意图的第一具体实施例及第二具体实施例。若处理器10采用了本发明的技术方案,于深度影像信息中过滤动态物件32的对应位置上的物件深度信息41 并且产生修正后深度影像信息5,则如图8A及图8B所示,当处理器10于彩色影像3中识别到动态物件32时,由于地图建置演算法是依据修正后深度影像信息5来产生的过滤后地图影像7,因此过滤后地图影像7中将不会显示所述物件深度信息41。当地图建置设备1或移动式机器人依据过滤后地图影像7(即,地图数据131)进行移动时,将不会受到动态物件32的影响。
回到图3B。于步骤S30后,处理器10进一步判断地图的建置程序是否结束(步骤S32),并且于建置程序尚未结束前重复步骤S12至步骤S30。借此,地图建置设备1可以持续移动,并且依据检测所得的复数彩色影像及深度影像信息来持续建立周围环境的地图数据131,以供日后移动时使用。
值得一提的是,除了上述动态物件外,环境中的静态物件的位置亦有可能会改变(例如机台的摆放位置改变、空间的装潢改变等)。因此,本发明的其中一项技术特征在于,令地图建置设备1(或搭载地图建置设备1的移动式机器人)在正常使用时,仍可通过上述技术方案来进行地图数据131的更新,借此克服传统机器人仅能依据固定不变的地图进行移动所可能遭遇的不便。
参阅图9,为本发明的地图更新流程图的第一具体实施例。图9公开了一种地图的更新方法,应用于具备有移动能力的地图建置设备1(例如具有图2所示的移动构件14与动作构件15),或是搭载有所述地图建置设备1 的移动式机器人。为便于理解,下面将于说明书中以搭载有地图建置设备1 的移动式机器人来举例说明,但不以此为限。
所述移动式机器人中存储有预先建置完成的地图数据131。本实施例中,使用者可以先启动所述移动式机器人(步骤S40),并且移动式机器人于启动后自动载入地图数据131(步骤S42)。于一实施例中,移动式机器人可于如图2所示的存储单元13中载入地图数据131。于另一实施例中,移动式机器人由可内建的存储器、外接的硬盘或无线连接的数据库中载入预先建置完成的地图数据131,不加以限定。
当移动式机器人载入地图数据131完成后,即可依据地图数据131的指示开始于空间中移动(步骤S44)。本实施例中,所述地图数据131记载了移动式机器人所在空间的平面空间信息。
于移动过程中,移动式机器人通过地图建置设备1判断是否需要更新当前的地图数据131(步骤S46)。具体而言,地图建置设备1可在移动式机器人的移动过程中持续通过影像感测器11取得彩色影像,持续通过深度感测器12取得深度影像信息,并且依据彩色影像以及深度影像信息的内容来判断所述地图数据131是否需要更新。
于一实施例中,地图建置设备1可以在于彩色影像中识别出动态物件时,判断所述地图数据131需要更新。于另一实施例中,地图建置设备1 可以在判断所得到的深度影像信息与地图数据131的内容不相符时,判断所述地图数据131需要更新。于又一实施例中,地图建置设备1可以不执行步骤S46的判断程序,并且在移动式机器人的移动过程中自动且持续地更新地图数据131。而,上述说明皆仅为本发明的具体实施范例,并非用来限定本发明的专利范围。
若地图建置设备1需执行步骤S46的判断程序,并且判断所述地图数据131不需更新,则地图建置设备1不执行任何动作。
若地图建置设备1于步骤S46中判断所述地图数据131需要更新,则地图建置设备1依据本发明的技术手段来执行所述检测演算法以对彩色影像进行影像识别,于彩色影像中标记动态物件并且产生对应的标记框(步骤 S48)。接着,地图建置设备1将所述标记框对应至深度影像信息的深度影像坐标(步骤S50),并且将标记框33内的所有像素的像素信息设定为一个像素极值以产生一个自定义像素信息。
步骤S50后,地图建置设备1于深度影像信息中搜索所述自定义像素信息(即,标记框),并从深度影像信息中过滤所述标记框的对应位置上的深度信息,以产生修正后深度影像信息(步骤S52)。并且,地图建置设备1再依据修正后深度影像信息执行所述地图建置演算法,借此更新当前使用的地图数据131(步骤S54)。
值得一提的是,于步骤S54中,地图建置演算法可以依据修正后深度影像信息按序产生一或多张的局部地图影像,并且依据一或多张的局部地图影像来更新地图数据131。如此一来,地图建置设备1可以依据实际需求修改一部分的地图数据131,而不需要更新整份地图数据131,这使得本发明的地图更新程序更为弹性。
步骤54后,移动式机器人判断其作动程序是否结束(步骤S56),例如判断使用者经由人机界面16所指派的任务是否执行完毕、移动式机器人是否关机、地图建置设备1是否关机、移动式机器人是否停止移动等。并且,移动式机器人于所述作动程序尚未结束前返回步骤S44,以持续进行移动以及地图数据131的更新动作。
通过本发明的技术方案,可以加强地图建置设备1对于周围环境的认知能力,检测出非经常性存在于空间中的物件,并且于所建置的地图中滤此物件的深度信息,借此提高所建置的地图的精确性。再者,通过在地图已建置完成后持续执行本发明的技术方案,可令地图建置设备1在发现周围环境改变时主动对已建置的地图进行更新,借此维持地图与实际环境的一致性。
以上所述仅为本发明的优选具体实例,非因此即局限本发明的专利范围,故举凡运用本发明内容所为的等效变化,均同理皆包含于本发明的范围内,合予陈明。

Claims (18)

1.一种地图建置方法,运用于一地图建置设备,并且上述地图建置方法包括下列步骤:
a)于该地图建置设备启动后,通过一影像感测器持续取得周围环境的一彩色影像,并且通过一深度感测器持续取得周围环境的一深度影像信息;
b)由一处理器执行一检测演算法以对该彩色影像进行影像识别,并且判断该彩色影像中是否存在一动态物件;
c)于该动态物件存在时对该动态物件进行标记并产生一标记框;
d)将该标记框对应至该深度影像信息的一深度影像坐标;
e)于该深度影像信息中搜索并过滤该标记框以产生一修正后深度影像信息,其中该修正后深度影像信息中滤除了该标记框的对应位置上的深度信息;
f)由该处理器依据该修正后深度影像信息执行一地图建置演算法;及
g)由该地图建置演算法产生一地图数据并存储于一存储单元中。
2.如权利要求1所述的地图建置方法,其中影像感测器为一彩色摄影机,该深度感测器为一光学雷达。
3.如权利要求1所述的地图建置方法,其中该存储单元存储有对应至不同物件类别的复数物件特征数据,该步骤b)是由该检测演算法将该彩色影像与该复数物件特征数据进行比对,并且将比对符合的影像视为该动态物件。
4.如权利要求3所述的地图建置方法,其中该检测演算法为方向梯度直方图特征提取演算法、支援向量机演算法、卷积神经网络演算法、YOLO演算法、SSD演算法或其他采用神经网络训练的物件检测演算法的其中一种或其组合。
5.如权利要求3所述的地图建置方法,其中该步骤c)是取得该动态物件于该彩色影像中的一X轴起点坐标位置(Xstart)、一X轴终点坐标位置(Xend)、一Y轴起点坐标位置(Ystart)及一Y轴终点坐标位置(Yend),并依据该些坐标位置(Xstart、Ystart、Xend、Yend)建立该标记框,该步骤d)是将该标记框的坐标位置对应至该深度影像坐标上,并将该标记框内的所有像素的一像素信息设定为一像素极值以产生一自定义像素信息。
6.如权利要求5所述的地图建置方法,其中该像素极值为0或255。
7.如权利要求5所述的地图建置方法,其中该步骤e)是于该深度影像信息中搜索该自定义像素信息所在的一范围,并将该范围的一深度信息设定为0,以产生该修正后深度影像信息。
8.如权利要求1所述的地图建置方法,其中该地图建置演算法为视觉影像同步定位与地图建构演算法,并且通过三角定位法、卡尔曼滤波器、粒子滤波器、蒙特卡罗定位法、混合型蒙特卡罗定位法或基于网格的马可夫定位法来实现。
9.如权利要求1所述的地图建置方法,其中该地图数据以便携式网络图形、点阵图或便携式灰阶图的文件格式存储于该存储单元。
10.如权利要求1所述的地图建置方法,其中该地图建置设备搭载于一移动式机器人,并且该地图建置方法还包括下列步骤:
h)该移动式机器人由该存储单元载入该地图数据并且开始移动;
i)通过该影像感测器持续取得该彩色影像,并且通过该深度感测器持续取得该深度影像信息;
j)判断是否需要更新该地图数据;
k)于判断需更新该地图数据时,执行该检测演算法以对该彩色影像进行影像识别;
l)于该彩色影像中对一第二动态物件进行标记并产生一第二标记框;
m)将该第二标记框对应至该深度影像信息的该深度影像坐标;
n)于该深度影像信息中搜索并过滤该第二标记框以产生该修正后深度影像信息;
o)依据该修正后深度影像信息执行该地图建置演算法;及
p)由该地图建置演算法产生一局部地图影像,并依据该局部地图影像更新该地图数据。
11.一种地图建置设备,包括:
一影像感测器,于该地图建置设备启动后持续取得周围环境的一彩色影像;
一深度感测器,于该地图建置设备启动后持续取得周围环境的一深度影像信息;
一处理器,电性连接该影像感测器及该深度感测器,该处理器执行一检测演算法以对该彩色影像进行影像识别并判断该彩色影像中是否存在一动态物件,当该动态物件存在时于该彩色影像中对该动态物件进行标记并产生一标记框,其中,该处理器将该标记框对应至该深度影像信息的一深度影像坐标,并且于该深度影像信息中搜索并过滤该标记框以产生一修正后深度影像信息,并且该处理器依据该修正后深度影像信息执行一地图建置演算法以产生一地图数据,其中该修正后深度影像信息中滤除了该标记框的对应位置上的深度信息;及
一存储单元,电性连接该处理器,存储该地图数据。
12.如权利要求11所述的地图建置设备,其中影像感测器为一彩色摄影机,该深度感测器为一光学雷达。
13.如权利要求11所述的地图建置设备,其中该存储单元存储有对应至不同物件类别的复数物件特征数据,该检测演算法将该彩色影像与该复数物件特征数据进行比对,并且将比对符合的影像视为该动态物件。
14.如权利要求13所述的地图建置设备,其中该检测演算法为方向梯度直方图特征提取演算法、支援向量机演算法、卷积神经网络演算法、YOLO演算法或SSD演算法。
15.如权利要求13所述的地图建置设备,其中该检测演算法取得该动态物件于该彩色影像中的一X轴起点坐标位置、一X轴终点坐标位置、一Y轴起点坐标位置及一Y轴终点坐标位置,并依据该些坐标位置建立该标记框,该处理器将该标记框的坐标位置对应至该深度影像坐标上,并将该标记框内的所有像素的一像素信息设定为一像素极值以产生一自定义像素信息,并且该处理器于该深度影像信息中搜索该自定义像素信息所在的一范围,再将该范围的一深度信息设定为0以产生该修正后深度影像信息。
16.如权利要求15所述的地图建置设备,其中该像素极值为0或255。
17.如权利要求11所述的地图建置设备,其中该地图建置演算法为视觉影像同步定位与地图建构演算法,并且通过三角定位法、卡尔曼滤波器、粒子滤波器、蒙特卡罗定位法、混合型蒙特卡罗定位法或基于网格的马可夫定位法来实现。
18.如权利要求11所述的地图建置设备,其中该地图数据为便携式网络图形、点阵图或便携式灰阶图的文件格式。
CN201811435117.7A 2018-11-28 2018-11-28 地图建置设备及其地图建置方法 Active CN111238465B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811435117.7A CN111238465B (zh) 2018-11-28 2018-11-28 地图建置设备及其地图建置方法
JP2019048471A JP6854840B2 (ja) 2018-11-28 2019-03-15 地図構築装置及びその地図構築方法
SG10201902452WA SG10201902452WA (en) 2018-11-28 2019-03-19 Map constructing apparatus and map constructing method
US16/554,287 US11227434B2 (en) 2018-11-28 2019-08-28 Map constructing apparatus and map constructing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811435117.7A CN111238465B (zh) 2018-11-28 2018-11-28 地图建置设备及其地图建置方法

Publications (2)

Publication Number Publication Date
CN111238465A true CN111238465A (zh) 2020-06-05
CN111238465B CN111238465B (zh) 2022-02-18

Family

ID=70771203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811435117.7A Active CN111238465B (zh) 2018-11-28 2018-11-28 地图建置设备及其地图建置方法

Country Status (4)

Country Link
US (1) US11227434B2 (zh)
JP (1) JP6854840B2 (zh)
CN (1) CN111238465B (zh)
SG (1) SG10201902452WA (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114322939A (zh) * 2020-09-30 2022-04-12 财团法人车辆研究测试中心 定位制图方法及移动装置
CN116993886A (zh) * 2023-09-26 2023-11-03 腾讯科技(深圳)有限公司 一种渲染中区域轮廓图的生成方法及相关装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306063B (zh) * 2020-11-02 2024-05-07 珠海格力智能装备有限公司 控制自动导引装置的方法及装置、电子装置
KR20220066690A (ko) * 2020-11-16 2022-05-24 삼성전자주식회사 로봇 및 그 제어 방법
CN112597258B (zh) * 2020-11-20 2022-03-04 上海莉莉丝网络科技有限公司 游戏地图内动态区域边界的拆分方法、拆分系统及计算机可读存储介质
US11580666B2 (en) * 2020-11-26 2023-02-14 Automotive Research & Testing Center Localization and mapping method and moving apparatus
CN112434711B (zh) * 2020-11-27 2023-10-13 杭州海康威视数字技术股份有限公司 一种数据管理方法、装置及电子设备
US11885638B2 (en) * 2020-12-28 2024-01-30 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for generating a map for a robot
CN112923927A (zh) * 2021-01-28 2021-06-08 上海有个机器人有限公司 机器人扫描地图处理方法、装置、终端及存储介质
KR102521280B1 (ko) * 2021-05-07 2023-04-17 휴림네트웍스 주식회사 Slam 기반 이동로봇의 자연사물을 이용한 로봇의 위치추종 방법 및 장치, 컴퓨터 판독가능 기록 매체 및 컴퓨터 프로그램
CN113885495A (zh) * 2021-09-29 2022-01-04 邦鼓思电子科技(上海)有限公司 一种基于机器视觉的室外自动工作控制系统、方法及设备
CN114602323B (zh) * 2022-02-18 2023-05-09 中国科学院水生生物研究所 用于环境dna采样的夹取式滤膜更换方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201227614A (en) * 2010-12-31 2012-07-01 Ind Tech Res Inst Depth map generation module for foreground object and the method thereof
CN103901884A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 信息处理方法和信息处理设备
JP2014203429A (ja) * 2013-04-10 2014-10-27 トヨタ自動車株式会社 地図生成装置、地図生成方法及び制御プログラム
US9639943B1 (en) * 2015-12-21 2017-05-02 Intel Corporation Scanning of a handheld object for 3-dimensional reconstruction
JP2017091298A (ja) * 2015-11-12 2017-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN106780735A (zh) * 2016-12-29 2017-05-31 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
CN108151728A (zh) * 2017-12-06 2018-06-12 华南理工大学 一种用于双目slam的半稠密认知地图创建方法
US20180202814A1 (en) * 2015-08-03 2018-07-19 Tomtom Global Content B.V. Methods and Systems for Generating and Using Localization Reference Data
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
WO2018179649A1 (ja) * 2017-03-28 2018-10-04 株式会社日立産機システム 地図作成システム及びロボットシステム
CN108780615A (zh) * 2016-03-31 2018-11-09 索尼公司 信息处理设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05334434A (ja) * 1992-05-29 1993-12-17 Dainippon Screen Mfg Co Ltd 画像集版装置
EP2194504A1 (en) 2008-12-02 2010-06-09 Koninklijke Philips Electronics N.V. Generation of a depth map
US8401225B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
US10366304B2 (en) 2015-01-27 2019-07-30 Nokia Technologies Oy Localization and mapping method
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
JP2018119833A (ja) * 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
US10242294B2 (en) 2017-05-01 2019-03-26 Intel Corporation Target object classification using three-dimensional geometric filtering
US10949798B2 (en) * 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
KR102326077B1 (ko) 2017-06-15 2021-11-12 엘지전자 주식회사 3차원 공간의 이동 객체를 식별하는 방법 및 이를 구현하는 로봇
US10169680B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201227614A (en) * 2010-12-31 2012-07-01 Ind Tech Res Inst Depth map generation module for foreground object and the method thereof
CN103901884A (zh) * 2012-12-25 2014-07-02 联想(北京)有限公司 信息处理方法和信息处理设备
JP2014203429A (ja) * 2013-04-10 2014-10-27 トヨタ自動車株式会社 地図生成装置、地図生成方法及び制御プログラム
US20180202814A1 (en) * 2015-08-03 2018-07-19 Tomtom Global Content B.V. Methods and Systems for Generating and Using Localization Reference Data
JP2017091298A (ja) * 2015-11-12 2017-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9639943B1 (en) * 2015-12-21 2017-05-02 Intel Corporation Scanning of a handheld object for 3-dimensional reconstruction
CN108780615A (zh) * 2016-03-31 2018-11-09 索尼公司 信息处理设备
CN106780735A (zh) * 2016-12-29 2017-05-31 深圳先进技术研究院 一种语义地图构建方法、装置及一种机器人
WO2018179649A1 (ja) * 2017-03-28 2018-10-04 株式会社日立産機システム 地図作成システム及びロボットシステム
CN108151728A (zh) * 2017-12-06 2018-06-12 华南理工大学 一种用于双目slam的半稠密认知地图创建方法
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114322939A (zh) * 2020-09-30 2022-04-12 财团法人车辆研究测试中心 定位制图方法及移动装置
CN116993886A (zh) * 2023-09-26 2023-11-03 腾讯科技(深圳)有限公司 一种渲染中区域轮廓图的生成方法及相关装置
CN116993886B (zh) * 2023-09-26 2024-01-09 腾讯科技(深圳)有限公司 一种渲染中区域轮廓图的生成方法及相关装置

Also Published As

Publication number Publication date
JP2020087407A (ja) 2020-06-04
US11227434B2 (en) 2022-01-18
CN111238465B (zh) 2022-02-18
JP6854840B2 (ja) 2021-04-07
SG10201902452WA (en) 2020-06-29
US20200167993A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111238465B (zh) 地图建置设备及其地图建置方法
JP5172010B2 (ja) Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9757862B2 (en) Tactile sensor
TWI690816B (zh) 地圖建置設備及其地圖建置方法
JP5122887B2 (ja) 実写基盤移動機器の制御方法、装置および媒体
JP2019515407A (ja) ロボットが学習した経路を自律的に走行するように初期化するためのシステムおよび方法
JP7438320B2 (ja) クロスモーダルセンサデータの位置合わせ
CN111695402A (zh) 用于标注3d点云数据中人体姿态的工具和方法
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
CN114127806A (zh) 增强来自机器人设备的视觉输出的系统和方法
JP2017120551A (ja) 自律走行装置
JP2003178303A (ja) 物体認識装置
CN114756020A (zh) 生成机器人用地图的方法、系统及计算机可读记录介质
JP2015219868A (ja) 情報処理装置、情報処理方法、プログラム
WO2023273389A1 (zh) 人体躺姿检测方法及使用该方法的移动机器
KR20120019661A (ko) 객체 추적 로봇 및 그 방법
CN111105461B (zh) 定位装置、基于空间模型的定位方法和可读存储介质
JP2019015681A (ja) 位置推定システム及び位置推定方法
CN110686687A (zh) 视觉机器人构建地图的方法、机器人和芯片
JP6719925B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6899986B1 (ja) オブジェクト領域特定装置、オブジェクト領域特定方法、及びオブジェクト領域特定プログラム
CN117011457A (zh) 一种三维建图方法、装置、电子设备及存储介质
JP2014164641A (ja) 画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法
CN115668293A (zh) 地毯检测方法、运动控制方法以及使用该些方法的移动机器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant