CN116710869A - 自主移动机器人 - Google Patents

自主移动机器人 Download PDF

Info

Publication number
CN116710869A
CN116710869A CN202180086873.7A CN202180086873A CN116710869A CN 116710869 A CN116710869 A CN 116710869A CN 202180086873 A CN202180086873 A CN 202180086873A CN 116710869 A CN116710869 A CN 116710869A
Authority
CN
China
Prior art keywords
mobile robot
autonomous mobile
signboard
range
search mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086873.7A
Other languages
English (en)
Inventor
北野齐
臼井翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THK Co Ltd
Original Assignee
THK Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by THK Co Ltd filed Critical THK Co Ltd
Publication of CN116710869A publication Critical patent/CN116710869A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/244—Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means
    • G05D1/2446—Arrangements for determining position or orientation using passive navigation aids external to the vehicle, e.g. markers, reflectors or magnetic means the passive navigation aids having encoded information, e.g. QR codes or ground control points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G05D2111/14—Non-visible signals, e.g. IR or UV signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

该自主移动机器人利用所搭载的拍摄部读取沿着移动路径配置的标识，并被所述标识引导而移动，其中，所述自主移动机器人具备算出部，所述算出部具有限定范围探索模式，该限定范围探索模式基于所述标识的登记位置，在所述拍摄部拍摄到的拍摄图像的一部分设定第一扫描范围，并从所述第一扫描范围之中探索所述标识。

Description

自主移动机器人
技术领域
本发明涉及自主移动机器人。
本申请基于2020年12月25日在日本申请的特愿2020—216979号而主张优先权，并将其内容援引于此。
背景技术
在下述专利文献1中公开了自动调配系统。该自动调配系统具有：多个标识，它们配置于车辆的能够行驶的路径上，被供给指示行驶动作的行驶动作指示信息并显示该行驶动作指示信息；以及自主行驶车，其从所述多个标识之中提取对置的标识的行驶动作指示信息，并基于提取出的标识的行驶动作指示信息控制本车的行驶并且能够在所述路径上行驶。
自主行驶车具备对到位于行进方向前方的标识的距离进行测定的测距机构以及根据从所述测距机构供给的距离取得大致恒定的大小的标识的图像的拍摄机构，并从由所述拍摄机构取得的图像提取所述标识的行驶动作指示信息。具体而言，自主行驶车对由拍摄机构取得的图像实施以标识的外框为模板的浓淡模板匹配处理，并计算标识的中心位置而进行标识的提取处理。
现有技术文献
专利文献
专利文献1：日本特开平11—184521号公报
发明内容
发明要解决的课题
以往，上述那样的自主移动机器人在利用所搭载的相机等检测标识的情况下，进行从相机拍摄到的拍摄图像的整体探索标识的图像处理。然而，当相机的视角广时，存在在拍摄图像中与标识相似的干扰增加且标识的检测准确度降低的问题。另外，当拍摄图像的信息量多时，也存在图像处理时间增加的问题。
本发明的目的在于提供能够提高标识的检测准确度另外能够减少标识的检测所耗费的图像处理时间的自主移动机器人。
用于解决课题的方案
为了解决上述问题，本发明的一方案的自主移动机器人利用所搭载的拍摄部读取沿着移动路径配置的标识，并被所述标识引导而移动，其中，所述自主移动机器人具备算出部，所述算出部具有限定范围探索模式，该限定范围探索模式基于所述标识的登记位置，在所述拍摄部拍摄到的拍摄图像的一部分设定第一扫描范围，并从所述第一扫描范围之中探索所述标识。
发明效果
根据本发明的一方案，在自主移动机器人中能够提高标识的检测准确度，另外能够减少图像处理时间。
附图说明
图1是从上方观察本发明的第一实施方式的自主移动机器人移动的情形而得到的示意图。
图2是示出本发明的第一实施方式的自主移动机器人的结构的框图。
图3是示出本发明的第一实施方式的标志牌检测部所读取的标志牌的被检测部的一例的主视图。
图4是说明本发明的第一实施方式的限定范围探索模式的说明图。
图5是示出本发明的第一实施方式的包含用户输入的自主移动机器人的路径制作以及运用的流程图。
图6是示出本发明的第一实施方式的自主移动机器人的内部的图像处理的流程图。
图7是示出本发明的第二实施方式的包含用户输入的自主移动机器人的路径制作以及运用的流程图。
图8是示出本发明的第二实施方式的自主移动机器人的内部的图像处理的流程图。
图9是示出本发明的第二实施方式的自主移动机器人的内部的图像处理的流程图。
图10是示出本发明的第三实施方式的自主移动机器人的内部的图像处理的流程图。
图11是示出本发明的第三实施方式的自主移动机器人的内部的图像处理的流程图。
图12是从上方观察本发明的第三实施方式的自主移动机器人移动的情形而得到的示意图。
图13是从上方观察本发明的第三实施方式的自主移动机器人移动的情形而得到的示意图。
图14是从上方观察本发明的第三实施方式的自主移动机器人移动的情形而得到的示意图。
图15是从上方观察本发明的第三实施方式的自主移动机器人移动的情形而得到的示意图。
图16是从上方观察本发明的第三实施方式的自主移动机器人移动的情形而得到的示意图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
(第一实施方式)
图1是从上方观察本发明的第一实施方式的自主移动机器人1移动的情形而得到的示意图。
如图1所示那样，自主移动机器人1在利用搭载于机器人主体20的拍摄部26依次读取沿着移动路径10配置的多个标志牌SP的同时移动。即，自主移动机器人1被多个标志牌SP引导而在移动路径10移动。
在此“标志牌”是指具有标志(标识)并放置于移动路径10或者移动路径10附近的规定的场所的构造体。标志包含其构造体的识别信息(目标ID)。本实施方式的标志如后述的图3所示那样，是能够反射光的第一单元(C11、C13…)以及不能反射光的第二单元(C12、C21…)配置于二维平面上而成的被检测部C。需要说明的是，标志也可以是一维码(条形码)、其他二维码等。
图2是示出本发明的第一实施方式的自主移动机器人1的结构的框图。
如图2所示那样，自主移动机器人1具备标志牌检测部21、驱动部22、控制部23以及通信部24。
标志牌检测部21具有照射部25、两个拍摄部26以及算出部27。另外，驱动部22具有马达控制部28、两个马达29以及左右的驱动轮20L、20R。需要说明的是，标志牌检测部21以及驱动部22的结构只不过是一例，也可以是其他结构。
照射部25安装于自主移动机器人1的行进方向的前表面的中央位置，例如向前方照射红外LED光。红外LED光适合于工厂内等黑暗场所、可见光较强的场所等。需要说明的是，照射部25也可以是照射红外LED光以外的检测光的结构。
两个拍摄部26配置于标志牌检测部21的左右。两个拍摄部26例如使用将红外线过滤器组合而成的相机，并拍摄由标志牌SP反射了的反射光(红外LED光)。
算出部27基于从两个拍摄部26发送的拍摄图像，进行二值化处理从而形成由黑白构成的二值化图像数据，并进一步使用二值化了的图像数据进行基于三角测量(使用两个拍摄部26的拍摄图像的差量的三角测量)的运算，从而算出标志牌SP相对于自主移动机器人1位于何种距离(距离Z)和方向(角度θ)。
需要说明的是，算出部27在拍摄图像中包含多个标志牌SP的情况下，检测标志牌SP的识别信息(目标ID)而选择作为目标的标志牌SP，并算出到作为目标的标志牌SP的距离Z和角度θ。
驱动轮20L相对于自主移动机器人1的行进方向设置于左侧。驱动轮20R相对于自主移动机器人1的行进方向设置于右侧。需要说明的是，自主移动机器人1也可以为了使自主移动机器人1的姿态稳定，而具有驱动轮20L、20R以外的车轮。
马达29根据马达控制部28的控制，而使左右的驱动轮20L、20R旋转。
马达控制部28基于从控制部23输入的角速度指令值，对左右的马达29供给电力。通过左右的马达29以与从马达控制部28供给的电力相应的角速度旋转，从而自主移动机器人1前进或后退。另外，通过使左右的马达29的角速度产生差，从而自主移动机器人1的行进方向变更。
控制部23基于由标志牌检测部21从标志牌SP读取到的信息，来控制驱动部22。
在图1所示的移动例中，自主移动机器人1保持距移动路径10的左侧恒定的距离而移动。自主移动机器人1为了保持距移动路径10的左侧恒定的距离，而决定相对于标志牌SP的距离Xref，并且取得到检测出的标志牌SP的距离Z和角度θ，算出距离Z和角度θ满足预先设定的条件的行进方向。
角度θ是自主移动机器人1的行进方向与检测出的标志牌SP的方向所成的角。自主移动机器人1以使标志牌SP与目标路径的距离成为Xref的方式行进。自主移动机器人1当到进行引导的标志牌SP(例如标志牌SP1)的距离Z比预先设定的阈值近时，将目标切换为下一标志牌SP(例如标志牌SP2)而移动。
图3是示出本发明的第一实施方式的标志牌检测部21所读取的标志牌SP的被检测部C的一例的主视图。
如图3所示那样，标志牌SP具备能够反射红外LED光的第一单元(C11、C13…)与不能反射红外LED光的第二单元(C12、C21…)配置于二维平面上而成的被检测部C。
本实施方式的被检测部C由3行×3列的行列状的图案构成。具体而言，被检测部C具备第一行第一列的第一单元C11、第一行第二列的第二单元C12、第一行第三列的第一单元C13、第二行第一列的第二单元C21、第二行第二列的第一单元C22、第二行第三列的第二单元C23、第三行第一列的第一单元C31、第三行第二列的第二单元C32以及第三行第三列的第一单元C33。
第一单元C11、C13、C22、C31、C33例如由铝箔、氧化钛的薄膜等红外LED光的反射率较高的材料形成。第二单元C12、C21、C23、C32例如由红外截止膜、偏振膜、红外线吸收材料、黑色毛毡等红外LED光的反射率较低的材料形成。
算出部27通过对被检测部C进行第一扫描SC1以及第二扫描SC2，而检测标志牌SP。在第一扫描SC1中，例如，检测以第一行的“白、黑、白”配置的第一单元C11、第二单元C12以及第一单元C13。在第二扫描SC2中，例如，检测以第一列的“白、黑、白”配置的第一单元C11、第二单元C21以及第一单元C31。
当以将白设为“1”并将黑设为“0(零)”的二进制代码表现时，“白、黑、白”能够表示为“1、0、1”，算出部27在基于第一扫描SC1的“1、0、1”以及基于第二扫描SC2的“1、0、1”的读取成功时，检测出标志牌SP。
算出部27从被检测部C的剩余的单元(第二行第二列的第一单元C22、第二行第三列的第二单元C23、第三行第二列的第二单元C32以及第三行第三列的第一单元C33)读取标志牌SP的识别信息(目标ID)。在图3所示的例子中，能够以4位的信息使算出部27读取标志牌SP的识别信息。
返回图2，通信部24与未图示的上位系统进行通信。上位系统具有用于从拍摄部26拍摄到的拍摄图像100(参照图1)设定探索标志牌SP的扫描范围101的标志牌SP的登记位置信息。如图1所示那样，标志牌SP的登记位置(x1～x3，y1～y3)按照标志牌SP1～SP3而设定。
在上位系统中，例如优选具有能够通过用户输入而按照标志牌SP登记拍摄图像100上的标志牌SP的登记位置(x，y)的路径制作软件。需要说明的是，也可以设为能够对自主移动机器人1直接按照标志牌SP登记拍摄图像上的标志牌SP的登记位置(x，y)的结构。在本实施方式中，上位系统向自主移动机器人1提供标志牌SP的登记位置信息。
控制部23经由通信部24而从上位系统接收标志牌SP的登记位置信息。并且，算出部27基于通过控制部23得到的该标志牌SP的登记位置信息，在拍摄部26拍摄到的拍摄图像100的一部分设定扫描范围101(第一扫描范围)，并从该扫描范围101之中探索标志牌SP。以下，参照图4对该算出部27的限定范围探索模式进行说明。
图4是说明本发明的第一实施方式的限定范围探索模式的说明图。
如图4所示那样，在限定范围探索模式中，不是在拍摄图像100的整体设定扫描范围101，而是在拍摄图像100的一部分设定扫描范围101(第一扫描范围)，并在该受限的范围之中探索标志牌SP。由此，拍摄图像100的扫描范围101以外的部分(在图4中由点图案表示的部分)中的与标志牌SP相似的干扰被排除，另外，不需要扫描范围101以外的部分的标志牌SP的探索以及图像处理。
扫描范围101设定为以标志牌SP的登记位置(x，y)为中心由坐标(x±α，y±β)规定的范围。需要说明的是，在拍摄图像100中，拍摄图像100的左上角设为坐标(0，0)，拍摄图像100的横向设为X坐标且右侧设为+，拍摄图像100的纵向设为Y坐标且下侧设为+。α与β的绝对值可以相同也可以不同。在如本实施方式那样拍摄图像100(即拍摄部26的视角)的左右方向比上下方向大的情况下，优选设定为|α|>|β|。
扫描范围101是比拍摄图像100的整体小的范围。例如，扫描范围101在将拍摄图像100的整体设为1时也可以为1/2以下的范围。另外，扫描范围101优选的是在将拍摄图像100的整体设为1时也可以为1/4以下的范围。另外，扫描范围101更优选的是在将拍摄图像100的整体设为1时也可以为1/8以下的范围。需要说明的是，扫描范围101的下限也可以是自主移动机器人1将目标切换为下一标志牌SP紧前的标志牌SP的大小(与当前进行引导的标志牌SP最近时的拍摄图像100上的该标志牌SP的大小)，但并没有该限制。
在限定范围探索模式中，从坐标(x-α，y-β)朝向坐标(x+α，y-β)进行第一扫描SC1，逐渐将第一扫描SCl的线向下侧偏移，而探索标志牌SP。在基于第一扫描SC1的标志牌SP“1、0、1”的读取成功后，接着，在该读取成功的最初的“1”的X坐标的中间位置，从Y坐标的(y-β)到(y+β)沿纵向进行第二扫描SC2。
在基于第一扫描SC1的标志牌SP“1、0、1”的读取成功且基于第二扫描SC2的标志牌SP“1、0、1”的读取成功时，检测出标志牌SP。算出部27根据该检测出的标志牌SP的外框取得作为该标志牌SP的中心位置的检测位置(Sx，Sy)。该标志牌SP的检测位置(Sx，Sy)被用于后述的跟踪处理等。
算出部27除了上述的限定范围探索模式以外，还具有在拍摄图像100的整体设定扫描范围101(第二扫描范围)并探索标志牌SP的整体范围探索模式。并且，算出部27在利用限定范围探索模式无法检测出标志牌SP的情况下，切换为整体范围探索模式来探索标志牌SP。
以下，参照图5以及图6，对上述的自主移动机器人1的运用以及内部的图像处理的流程进行具体说明。
图5是示出本发明的第一实施方式的包含用户输入的自主移动机器人1的路径制作以及运用的流程图。图6是示出本发明的第-实施方式的自主移动机器人1的内部的图像处理的流程图。
在运用自主移动机器人1时，首先，设置标志牌SP。在设置有标志牌SP的情况、或者标志牌SP已设且变更了其设置位置的情况(图5所示的步骤S1为“是”的情况)下，使用上位系统的路径制作软件，按照标志牌SP对拍摄图像100上的标志牌SP的登记位置(x，y)进行用户输入(步骤S2)。
在步骤S1中为“否”的情况下、或者在上述的步骤S2的随后开始自主移动机器人1的运转(行驶)(步骤S3)。自主移动机揩人1如后述的图6所示那样，基于标志牌SP的登记位置(x，y)设定扫描范围101，并进行标志牌SP的探索等(步骤S4)。
之后，在自主移动机器人1抵达目标地等而自主移动机器人1的运转(行驶)结束后(步骤S5)，判断是否对自主移动机器人1的移动路径10进行再调整(步骤S6)。在不对自主移动机器人1的移动路径10进行再调整的情况下，返回步骤S3，再次开始自主移动机器人1的运转(行驶)(步骤S3)。需要说明的是，在停止自主移动机器人1的运转(行驶)的情况下，结束流程。
另一方面，在对自主移动机器人1的移动路径10进行再调整的情况下，返回步骤S1，在步骤S2中，再次使用上位系统的路径制作软件，按照标志牌SP对拍摄图像100上的标志牌SP的登记位置(x，y)进行用户输入。以后的流程相同因此省略。
接着，参照图6对步骤S4中的自主移动机器人1的内部的图像处理进行说明。以下说明的自主移动机器人1的内部的图像处理按照拍摄部26拍摄的拍摄图像100的一帧(一张)而执行。需要说明的是，在以下的说明中，只要没有特别限定，则控制部23进行与自主移动机器人1的行驶控制相关的计算，算出部27进行与自主移动机器人1的图像处理相关的计算。
首先，算出部27经由通信部24以及控制部23而从上位系统接收标志牌SP的扫描指令(目标ID等)以及该标志牌SP的登记位置(x，y)(步骤S21)。
接着，算出部27判断受到扫描指令的包含目标ID的标志牌SP在上一帧中是否检测过(步骤S22)。在该标志牌SP在上一帧中未检测过的情况(步骤S22为“否”的情况)下，基于标志牌SP的登记位置(x，y)对扫描范围(x±α，y±β)进行设定(步骤S23)。然后，利用上述的图4所示的限定范围探索模式，探索标志牌SP(步骤S24)。
在利用限定范围探索模式而受到扫描指令的包含目标ID的标志牌SP的检测失败了的情况(步骤S25为“否”的情况)下，利用在拍摄图像100的整体设定扫描范围101并从扫描范围101之中探索标志牌SP的整体范围探索模式来探索标志牌SP(步骤S26)。
在利用上述的限定范围探索模式或者整体范围探索模式而受到扫描指令的包含目标ID的标志牌SP的检测成功了的情况下(步骤S25为“是”的情况下、或者在步骤S26的随后)，在下一帧中，步骤S22成为“是”，并向步骤S27～S28的跟踪处理(跟踪模式)转移。
在该跟踪处理中，基于在上一帧中检测过的标志牌SP的检测位置(Sx，Sy)以及跟踪参数(相当于上述的α或者β的参数)，设定扫描范围101(步骤S27)。然后，从该扫描范围101之中执行探索标志牌SP的探索处理(步骤S28)。需要说明的是，在跟踪处理中，也可以对设定为比上述的限定范围探索模式的扫描范围101小的扫描范围101(第三扫描范围)的跟踪参数进行设定。另外，跟踪参数不是一个值，根据上次检测出的标志牌SP的起始图标(“1、0、1”)的长度进行设定等而设为可变，从而成为即使是接近而拍得较大的标志牌SP也能够检测的扫描范围。
跟踪处理反复进行，直到从自主移动机器人1到成为目标的标志牌SP的距离Z接近预先设定的阈值并将目标切换为下一标志牌SP。当成为将目标切换为下一标志牌SP的时机时，在步骤S21中，从上位系统发送下一标志牌SP的扫描指令(目标ID等)以及标志牌SP的登记位置(x，y)，自主移动机器人1在此利用限定范围探索模式或者整体范围探索模式，探索受到扫描指令的包含目标ID的标志牌SP。以后的流程相同因此省略。
这样，根据上述的第一实施方式，为一种自主移动机器人1，其利用所搭载的拍摄部26读取沿着移动路径10配置的标志牌SP的同时被标志牌SP引导而移动，其中，具备算出部27，该算出部27具有基于标志牌SP的登记位置在拍摄部26拍摄到的拍摄图像100的一部分设定扫描范围101(第一扫描范围)并从扫描范围101之中探索标志牌SP的限定范围探索模式。根据该结构，如图4所示那样，拍摄图像100的扫描范围101以外的部分(由点图案表示的部分)中的与标志牌SP相似的干扰被排除，另外，不需要扫描范围101以外的部分的标志牌SP的探索以及图像处理。因此，在自主移动机器人1中能够提高标志牌SP的检测准确度，另外能够减少图像处理时间。
另外，根据第一实施方式，在算出部27利用限定范围探索模式无法检测出标志牌SP的情况下，切换为在拍摄图像100的整体设定扫描范围101(第二扫描范围)并从扫描范围101之中探索标志牌SP的整体范围探索模式来探索标志牌SP。根据该结构，即使在标志牌SP的登记位置因错配而利用限定范围探索模式无法检测出标志牌SP的情况下，也能够利用整体范围探索模式检测标志牌SP。
另外，根据第一实施方式，标志牌SP的登记位置与多个标志牌SP分别对应地设定，算出部27每当切换引导自主移动机器人1的标志牌SP时，将标志牌SP的登记位置切换为与该标志牌SP对应的登记位置，并进行基于限定范围探索模式的标志牌SP的探索。根据该结构，如图1所示那样，例如即使在标志牌SP相对于移动路径10的设置位置存在偏差的情况下，也能够利用限定范围探索模式单个地设定最佳的扫描范围101，并准确且短时间检测成为目标的标志牌SP。
(第二实施方式)
接着，对本发明的第二实施方式进行说明。在以下的说明中，对与上述的实施方式相同或同等的结构标注相同的附图标记，并简略或者省略其说明。
图7是示出本发明的第二实施方式的包含用户输入的自主移动机器人1的路径制作以及运用的流程图。图8以及图9是示出本发明的第二实施方式的自主移动机器人1的内部的图像处理的流程图。需要说明的是，图8以及图9所示的圈中数字的1～3表示图8以及图9所示的两流程的连接。
如这些图所示那样，第二实施方式的自主移动机器人1具有学习功能，将上次检测出的标志牌SP的检测位置更新为下次探索的标志牌SP的登记位置，使标志牌SP的探索以及图像处理最佳化。
在第二实施方式中，首先，如图7所示那样，使用上位系统的路径制作软件，按照标志牌SP对拍摄图像100上的标志牌SP的登记位置(x，y)进行用户输入(步骤S31)。在此用户输入的标志牌SP的登记位置(x，y)是初始值，并通过后述的学习而更新。
接着，开始自主移动机器人1的运转(行驶)(步骤S32)。自主移动机器人1基于标志牌SP的登记位置(x，y)设定扫描范围101，并探索标志牌SP(步骤S33)。该处理仅初次进行，以后，基于标志牌SP的检测位置(Sx，Sy)，自动地更新登记位置(x，y)，并探索标志牌SP。
在自主移动机器人1抵达目标地等后，自主移动机器人1的运转(行驶)结束(步骤S34)。之后，在标志牌SP的设置位置变更一些等而对移动路径10进行再调整的情况下(步骤S35)，在第二实施方式中与上述的第一实施方式不同，不返回步骤S31的用户输入。作为代替返回步骤S32，再次开始自主移动机器人1的运转(行驶)，自动地使标志牌SP的登记位置(x，y)更新(步骤S33)。
接着，参照图8以及图9对步骤S33中的自主移动机器人1的内部的图像处理进行说明。以下说明的自主移动机器人1的内部的图像处理按照拍摄部26拍摄的拍摄图像100的一帧(一张)而执行。需要说明的是，在以下的说明中，也是只要没有特别限定，则控制部23进行与自主移动机器人1的行驶控制相关的计算，算出部27进行与自主移动机器人1的图像处理相关的计算。
如图8所示那样，首先，算出部27经由通信部24以及控制部23而从上位系统接收标志牌SP的扫描指令(目标ID等)以及该标志牌SP的登记位置(x，y)(步骤S41)。
接着，算出部27判断受到扫描指令的包含目标ID的标志牌SP在上一帧中是否检测过(步骤S42)。在该标志牌SP在上一帧中未检测过的情况(步骤S42为“否”的情况)下，如图9所示那样，判断是否存在基于过去行驶的学习位置数据(Sx0，Sy0)(步骤S47)。
在不存在基于过去行驶的学习位置数据(Sx0，Sy0)的情况(步骤S47为“否”的情况)下，与上述的第一实施方式同样地，基于标志牌SP的登记位置(x，y)设定扫描范围(x±α，y±β)(步骤S49)，利用限定范围探索模式探索标志牌SP(步骤S50)。
另一方面，在存在基于过去行驶的学习位置数据(Sx0，Sy0)的情况(步骤S47为“是”的情况)下，基于所存储的学习位置数据(Sxo，Syo)来设定扫描范围(Sx0±α，Sy0±β)(步骤S48)，并利用限定范围探索模式探索标志牌SP(步骤S50)。
在利用上述任一限定范围探索模式而受到扫描指令的包含目标ID的标志牌SP的检测成功了的情况(步骤S51为“是”的情况)下，向图8的步骤S46转移，将标志牌SP的检测位置(Sx，Sy)保存为学习位置数据(Sx0，Sy0)，并更新在下次探索中使用的标志牌SP的登记位置(x，y)。
另一方面，在利用限定范围探索模式而受到扫描指令的包含目标ID的标志牌SP的检测失败了的情况(图9所示的步骤S51为“否”的情况)下，在拍摄图像100的整体设定扫描范围101，并利用整体范围探索模式探索标志牌SP(步骤S52)。
在利用整体范围探索模式探索到标志牌SP的情况下，向图8的步骤S45转移，判断受到扫描指令的包含目标ID的标志牌SP的检测是否成功。在受到扫描指令的包含目标ID的标志牌SP的检测成功了的情况(图8所示的步骤S45为“是”的情况)下，将标志牌SP的检测位置(Sx，Sy)保存为学习位置数据(Sx0，Sy0)，并更新在下次探索中使用的标志牌SP的登记位置(x，y)(步骤S46)。
另一方面，在利用整体范围探索模式而受到扫描指令的包含目标ID的标志牌SP的检测失败了的情况(图9所示的步骤S45为“否”的情况)下，不将标志牌SP的检测位置(Sx，Sy)保存为学习位置数据(Sx0，Sy0)而结束。以后的流程相同因此省略。
这样，根据上述的第二实施方式，算出部27在检测出标志牌SP的情况下，将该标志牌SP的检测位置(Sx，Sy)更新为下次探索的标志牌SP的登记位置(x，y)。根据该结构，无需每当调整标志牌SP的设置位置时对标志牌SP的登记位置(x，y)进行用户输入，能够自动地使标志牌SP的探索以及图像处理最佳化。
另外，在上述的第二实施方式中，算出部27在限定范围探索模式中基于更新后的标志牌SP的登记位置(学习位置数据(Sx0，Sy0))探索标志牌SP的情况下，也可以将扫描范围101设定得比基于上次的限定范围探索模式的扫描范围101小。通过利用学习功能使标志牌SP的扫描范围101相比于上次最佳化，从而即使减小扫描范围101(例如将α以及β减小一成)，能够检测出标志牌SP的概率也提高。因此，能够相比于上次探索减小限定范围探索模式的扫描范围101，由此能够使图像处理时间减少。需要说明的是，在减小扫描范围101的结果是标志牌SP的检测失败了的情况下，也可以使扫描范围101返回上次探索时的大小(例如将α以及β设为原来的值)。
(第三实施方式)
接着，对本发明的第三实施方式进行说明。在以下的说明中，对与上述的实施方式相同或同等的结构标注相同的附图标记，并简略或者省略其说明。
图10以及图11是示出本发明的第三实施方式的自主移动机器人1的内部的图像处理的流程图。需要说明的是，图10以及图11所示的圈中数字的4表示图10以及图11所示的两流程的连接。图12～图16是从上方观察本发明的第三实施方式的自主移动机器人1移动的情形而得到的示意图。
第三实施方式的自主移动机器人1被编程为，在上述的步骤S27～S28的跟踪处理中(以下，称为跟踪模式)，例如即使在如图14所示那样标志牌SP被通行人200等遮挡了的情况下，也能够不中止处理地继续跟踪模式。
以下说明的自主移动机器人1的内部的图像处理按照拍摄部26拍摄的拍摄图像100的一帧(一张)而执行。需要说明的是，在以下的说明中，也是只要没有特别限定，则控制部23进行与自主移动机器人1的行驶控制相关的计算，算出部27进行与自主移动机器人1的图像处理相关的计算。
如图10所示那样，首先，算出部27经由通信部24以及控制部23从上位系统接收标志牌SP的扫描指令(目标ID等)以及该标志牌SP的登记位置(x，y)(步骤S60)。
接着，算出部27判断受到扫描指令的包含目标ID的标志牌SP直到上一帧为止是否检测过一次(步骤S61)。即，算出部27判断利用上述的限定范围探索模式或整体范围探索模式是否能够检测出受到扫描指令的包含目标ID的标志牌SP。
在该标志牌SP直到上一帧为止一次也未检测过的情况(步骤S61为“否”的情况)下，基于标志牌SP的登记位置(x，y)，如图12所示那样，设定第一扫描范围101A(步骤S62)。第一扫描范围101A是上述的限定范围探索模式的扫描范围。即，算出部27首先利用限定范围探索模式探索标志牌SP，若失败则切换为整体范围探索模式来探索标志牌SP。
另一方面，在该标志牌SP直到上一帧为止检测过一次的情况(步骤S61为“是”的情况)下，判断在上一帧中该标志牌SP的检测是否成功(步骤S63)。在上一帧中该标志牌SP的检测成功了的情况(步骤S63为“是”的情况)下，基于标志牌SP的上次检测位置(Sx，Sy)以及跟踪参数(上次检测出的标志牌SP的大小等)，如图13所示那样设定第三扫描范围101C(步骤S64)。
第三扫描范围101C是上述的跟踪模式的扫描范围。即，算出部27在利用限定范围探索模式或整体范围探索模式能够检测出标志牌SP的情况下，切换为设定追踪标志牌SP的第三扫描范围101C并从第三扫描范围101C之中探索标志牌SP的跟踪模式来探索标志牌SP。需要说明的是，此前的流程与上述的实施方式相同。
另一方面，在上一帧中该标志牌SP的检测失败了的情况(步骤S63为“否”的情况)下，即在如图14所示那样成为标志牌SP被通行人200等遮挡而在跟踪模式中标志牌SP无法检测的状况的情况下，向步骤S65转移。在步骤S65中，算出部27判断后述的第四扫描范围101D中的再探索次数的计数是否超过阈值a。
在第四扫描范围101D中的再探索次数的计数未超过阈值a的情况(步骤S63为“否”的情况)下，向步骤S67转移，如图15所示那样，设定第四扫描范围101D。即，算出部27在利用跟踪模式无法检测出标志牌SP的情况下，不结束程序，切换为设定与能够检测出标志牌SP的最后的第三扫描范围101C相同范围的第四扫描范围101D并从第四扫描范围101D之中进行标志牌SP的再探索的再探索模式来探索标志牌SP。
需要说明的是，在再探索模式时(即，在利用跟踪模式无法检测出标志牌SP时)，如图15所示那样，停止自主移动机器人1的移动。由此，自主移动机器人1能够安全地再探索标志牌SP。
如图11所示那样，在第四扫描范围101D中的目标ID探索处理(步骤S68)的结果是受到扫描指令的包含目标ID的标志牌SP的检测成功了的情况(步骤S69为“是”的情况)下，重置再探索次数的计数(步骤S70)。当再探索次数的计数被重置时，在下一帧中，上述的图10所示的步骤S63成为“是”(上一帧检测成功)，返回跟踪模式(步骤S64)并再次开始自主移动机器人1的移动以及该标志牌SP的追踪。
另一方面，如图11所示那样，在第四扫描范围101D中的该标志牌SP的检测失败了的情况(步骤S69为“否”的情况)下，将再探索次数累加(+1)(步骤S71)。该再探索次数的累加数在下一帧中在上述的步骤S65中使用。需要说明的是，步骤S65的再探索次数的计数未超过阈值a的情况(步骤S63为“否”的情况)例如是图14所示的通行人200尚未通过标志牌SP前的状况。
阈值a例如设定为10帧。阈值a优选调整为通常的步行速度的通行人200通过标志牌SP的平均时间以上的帧数。在不超过该阈值a的范围内该标志牌SP的检测成功了的情况下，重置再探索次数的计数(步骤S70)，返回上述的跟踪模式(步骤S64)并再次开始自主移动机器人1的移动以及该标志牌SP的追踪。
另一方面，在再探索次数的计数超过了阈值a的情况(步骤S63为“是”的情况)下，向步骤S66转移，如图16所示那样，设定第二扫描范围101B，并且重置再探索次数的计数。第二扫描范围101B是上述的整体范围探索模式的扫描范围。即，算出部27利用再探索模式再探索标志牌SP，若失败则切换为整体范围探索模式再探索标志牌SP。
在该第二扫描范围101B中标志牌SP的检测成功了的情况下，在下一帧中，上述的步骤S63成为“是”(上一帧为检测成功)，返回跟踪模式(步骤S64)并再次开始自主移动机器人1的移动以及该标志牌SP的追踪。
这样，根据上述的第三实施方式，算出部27在利用限定范围探索模式或整体范围探索模式检测出标志牌SP(初次观察时的标志牌SP)的情况下，切换为设定追踪标志牌SP的第三扫描范围101C并从第三扫描范围101C之中探索标志牌SP的跟踪模式来探索标志牌SP。
第一以及第二实施方式的限定范围探索模式(若检测失败则为整体范围探索模式)仅适用于标志牌SP的初次观察时。其理由是因为，在从标志牌SP的初次观察起检测出标志牌SP且自主移动机器人1行驶了后，标志牌SP在拍摄图像100内的位置变化，自主移动机器人1随着接近标志牌SP而大小也变化得更大。即，基于预先登记的登记位置的限定范围探索模式的第一扫描范围101A无法继续使用。因此，在初次观察时在基于登记位置的第一扫描范围101A中进行探索，若标志牌SP的检测成功，则以后切换为跟踪模式，追踪标志牌SP，从而直到自主移动机器人1的行驶结束，终始能够进行限定的范围中的标志牌SP的检测处理。
另外，在上述的第三实施方式中，算出部27在利用跟踪模式无法检测出标志牌SP的情况下，切换为设定与能够检测出标志牌SP的最后的第三扫描范围101C相同范围的第四扫描范围101D并从第四扫描范围101D之中多次进行标志牌SP的再探索的再探索模式来探索标志牌SP。根据该结构，在实际运用时的例外、例如标志牌SP被通行人200等遮挡而标志牌SP无法检测时，反复进行再探索直到通行人200等移动而再次成为能观察到标志牌SP的状况时，从而能够继续跟踪模式。即，通过在与标志牌SP被遮挡而检测失败的紧前的第三扫描范围101C相同的第四扫描范围101D中进行再探索，从而不限于标志牌SP的初次观察时，终始能够实现限定范围中的探索。
另外，在上述的第三实施方式中，在再探索模式时，停止移动。根据该结构，即使在观察不到标志牌SP时自主移动机器人1也能够安全地再探索标志牌SP。
另外，在上述的第三实施方式中，算出部27在利用再探索模式无法检测出标志牌SP的情况下，切换为整体范围探索模式来探索标志牌SP。根据该结构，在再次成为能观察到标志牌SP的状况时，即使是利用再探索模式无法检测出标志牌SP的情况，也能够利用整体范围探索模式检测标志牌SP，并再次开始跟踪模式。
以上，参照附图对本发明的优选的实施方式进行了说明，但本发明并不限定于上述实施方式。在上述的实施方式中示出的各构成构件的各形状、组合等是一例，能够在不脱离本发明的主旨的范围内基于设计要求等进行各种变更。
例如，在上述实施方式中，对自主移动机器人1为车辆的结构进行了说明，但自主移动机器人1也可以是被称为通称无人机的飞行体等。
另外，例如，在上述实施方式中，对沿着移动路径10配置多个标志牌SP的结构进行了说明，但也可以是仅配置一个标志牌SP的结构。
工业实用性
根据上述的自主移动机器人，能够提高标识的检测准确度，另外能够减少图像处理时间。
附图标记说明
1：自主移动机器人，10：移动路径，20：机器人主体，20L：驱动轮，20R：驱动轮，21：标志牌检测部，22：驱动部，23：控制部，24：通信部，25：照射部，26：拍摄部，27：算出部，28：马达控制部，29：马达，100：拍摄图像，101：扫描范围，C：被检测部，SP：标志牌(标识)。

Claims (9)

1.一种自主移动机器人，其利用所搭载的拍摄部读取沿着移动路径配置的标识，并被所述标识引导而移动，其中，
所述自主移动机器人具备算出部，所述算出部具有限定范围探索模式，该限定范围探索模式基于所述标识的登记位置，在所述拍摄部拍摄到的拍摄图像的一部分设定第一扫描范围，并从所述第一扫描范围之中探索所述标识。
2.根据权利要求1所述的自主移动机器人，其中，
所述算出部在利用所述限定范围探索模式无法检测出所述标识的情况下，切换为整体范围探索模式来探索所述标识，该整体范围探索模式在所述拍摄图像的整体设定第二扫描范围，并从所述第二扫描范围之中探索所述标识。
3.根据权利要求2所述的自主移动机器人，其中，
所述算出部在利用所述限定范围探索模式或所述整体范围探索模式能够检测出所述标识的情况下，切换为跟踪模式来探索所述标识，该跟踪模式设定追踪所述标识的第三扫描范围，并从所述第三扫描范围之中探索所述标识。
4.根据权利要求3所述的自主移动机器人，其中，
所述算出部在利用所述跟踪模式无法检测出所述标识的情况下，切换为再探索模式来探索所述标识，该再探索模式设定与能够检测出所述标识的最后的所述第三扫描范围相同范围的第四扫描范围，并从所述第四扫描范围之中多次进行所述标识的再探索。
5.根据权利要求4所述的自主移动机器人，其中，
在所述再探索模式时，停止移动。
6.根据权利要求4或5所述的自主移动机器人，其中，
所述算出部在利用所述再探索模式无法检测出所述标识的情况下，切换为所述整体范围探索模式来探索所述标识。
7.根据权利要求1～6中任一项所述的自主移动机器人，其中，
所述标识沿着所述移动路径配置有多个，
所述标识的登记位置与多个所述标识分别对应地设定，
所述算出部每当切换引导所述自主移动机器人的所述标识时，将所述标识的登记位置切换为与该标识对应的登记位置，进行基于所述限定范围探索模式的所述标识的探索。
8.根据权利要求1～7中任一项所述的自主移动机器人，其中，
所述算出部在检测出所述标识的情况下，将该标识的检测位置更新为下次探索的所述标识的登记位置。
9.根据权利要求8所述的自主移动机器人，其中，
所述算出部在所述限定范围探索模式中基于更新后的所述标识的登记位置来探索所述标识的情况下，将所述第一扫描范围设定得比基于上次的所述限定范围探索模式的第一扫描范围小。
CN202180086873.7A 2020-12-25 2021-12-21 自主移动机器人 Pending CN116710869A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-216979 2020-12-25
JP2020216979 2020-12-25
PCT/JP2021/047260 WO2022138624A1 (ja) 2020-12-25 2021-12-21 自律移動ロボット

Publications (1)

Publication Number Publication Date
CN116710869A true CN116710869A (zh) 2023-09-05

Family

ID=82159362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086873.7A Pending CN116710869A (zh) 2020-12-25 2021-12-21 自主移动机器人

Country Status (6)

Country Link
US (1) US20240069559A1 (zh)
JP (1) JPWO2022138624A1 (zh)
CN (1) CN116710869A (zh)
DE (1) DE112021006694T5 (zh)
TW (1) TW202244654A (zh)
WO (1) WO2022138624A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184521A (ja) 1997-12-24 1999-07-09 Mitsubishi Electric Corp 自動配車システム
JP6464783B2 (ja) * 2015-02-04 2019-02-06 株式会社デンソー 物体検出装置
JP6922821B2 (ja) * 2018-04-13 2021-08-18 オムロン株式会社 画像解析装置、方法およびプログラム

Also Published As

Publication number Publication date
US20240069559A1 (en) 2024-02-29
DE112021006694T5 (de) 2023-11-09
TW202244654A (zh) 2022-11-16
JPWO2022138624A1 (zh) 2022-06-30
WO2022138624A1 (ja) 2022-06-30

Similar Documents

Publication Publication Date Title
US7706572B2 (en) Obstacle detection system and method therefor
JP3898709B2 (ja) 車両用走行区分線認識装置
JP4798450B2 (ja) ナビゲーション装置とその制御方法
JP3722487B1 (ja) 車両用走行区分線認識装置
US20090010482A1 (en) Diagrammatizing Apparatus
WO2010100791A1 (ja) 駐車支援装置
US20040057599A1 (en) Image processing apparatus and method
US20050232466A1 (en) Method of recognizing and/or tracking objects
GB2415252A (en) Vehicle guidance method based on image analysis
JP4755227B2 (ja) 物体を認識するための方法
EP3943880A1 (en) Item detection device, item detection method, and industrial vehicle
JPWO2013186903A1 (ja) 車線区分標示検出装置、運転支援システム
JP2019154379A (ja) 作業車両および作物列認識プログラム
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
JP6467310B2 (ja) 駐車誘導装置
JP2005332106A (ja) 車両用走行区分線認識装置
CN111931547A (zh) 行车车线识别装置、行车车线识别方法以及程序
JP2000293693A (ja) 障害物検出方法および装置
JP2006012191A (ja) 車両用走行区分線認識装置
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
JP4062145B2 (ja) 撮像装置
CN116710869A (zh) 自主移动机器人
JP3722485B1 (ja) 車両用走行区分線認識装置
JP2000046546A (ja) 標識の認識及び測位装置
JP2022119270A (ja) 画像処理装置、自律移動ロボット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination