CN113496146A - 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 - Google Patents

自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 Download PDF

Info

Publication number
CN113496146A
CN113496146A CN202010197055.1A CN202010197055A CN113496146A CN 113496146 A CN113496146 A CN 113496146A CN 202010197055 A CN202010197055 A CN 202010197055A CN 113496146 A CN113496146 A CN 113496146A
Authority
CN
China
Prior art keywords
image
control method
automatic walking
boundary
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010197055.1A
Other languages
English (en)
Other versions
CN113496146B (zh
Inventor
朱绍明
任雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Cleva Electric Appliance Co Ltd
Suzhou Cleva Precision Machinery and Technology Co Ltd
Original Assignee
Suzhou Cleva Precision Machinery and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Cleva Precision Machinery and Technology Co Ltd filed Critical Suzhou Cleva Precision Machinery and Technology Co Ltd
Priority to CN202010197055.1A priority Critical patent/CN113496146B/zh
Priority to PCT/CN2020/109268 priority patent/WO2021184663A1/zh
Priority to US17/768,011 priority patent/US20240099186A1/en
Priority to EP20925168.5A priority patent/EP4123500A4/en
Publication of CN113496146A publication Critical patent/CN113496146A/zh
Application granted granted Critical
Publication of CN113496146B publication Critical patent/CN113496146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D2101/00—Lawn-mowers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种自动工作系统、自动行走设备及其控制方法及计算机可读存储介质，所述控制方法包括：获取拍摄图像；对拍摄图像进行处理获取处理图像；将处理图像分割为至少一个子区域；分别获取每一个子区域的代表像素点PLn；统计处理图像中代表像素点PLn位于比较像素点PC下方的子区域的数量，并记为特殊子区域的数量Nb，其中PC为预设比较像素点；若Nb≤1，则判断该拍摄图像中远处具有边界或障碍物；若Nb＞1，则判断该拍摄图像中近处具有边界或障碍物。本发明中，通过机器视觉直接判断自动行走设备后续的工作，更加方便，也使得控制更加灵敏有效。并且，可以有效避免了在斜坡上识别到边界或障碍物引起的误判，使得控制更加精确。

Description

自动工作系统、自动行走设备及其控制方法及计算机可读存 储介质
技术领域
本发明涉及智能控制领域，特别是涉及一种自动工作系统、自动行走设备及其控制方法及计算机可读存储介质。
背景技术
随着计算机技术和人工智能技术的不断进步，智能机器人的自动行走设备、自动工作系统已经慢慢进入人们的生活，例如智能扫地机器人、智能割草机器人等。通常的，此类智能机器人体积较小，且集成有传感装置、驱动装置、电池等，无需人工操控，并可在规定的区域内行进并工作。并且，在电池电量不够时，可自动返回充电站，与充电站对接并充电，充电完成后继续行进和工作。
针对现有的智能割草机器人来说，现有的自动工作系统的工作区域均为较大的草坪，并且边界大多是为埋设在地面下的可通电设备，从而可使得智能割草机器人感应到。但是，若在地面下埋设边界线，需要花费较多的人力和物力。并且埋设边界线需要一定的要求，例如拐角的角度不能小于90度等，因而也在一定程度上限制了供智能割草机器人工作的草坪的形状。因而，改进的方式为在草坪上设置边界，通过机器视觉的方式来判断边界或障碍物。
但是，由于割草机器人的摄像头按照是固定位置，割草机器人不在平面上行走时，可能会拍到距离较远的边界或大型障碍物，导致机器人误判已经到达了边界或障碍物，影响机器人的后续工作。
因此，必须设计一种可更精确判断边界或障碍物的自动工作系统，及相应的自动行走设备及其控制方法及计算机可读存储介质。
发明内容
为解决上述问题之一，本发明提供了一种自动行走设备的控制方法，所述控制方法包括：获取拍摄图像；对拍摄图像进行处理获取处理图像；将处理图像分割为至少一个子区域；分别获取每一个子区域的代表像素点PLn；统计处理图像中代表像素点PLn位于比较像素点PC下方的子区域的数量，并记为特殊子区域的数量Nb，其中PC为预设比较像素点；若Nb≤1，则判断该拍摄图像中远处具有边界或障碍物；若Nb＞1，则判断该拍摄图像中近处具有边界或障碍物。
作为本发明的进一步改进，步骤“分别获取每一个子区域的代表像素点PLn”包括：分别获取每一个子区域在竖直方向上的最低像素点，并记为代表像素点PLn。
作为本发明的进一步改进，步骤“预设比较像素点PC”包括：预设一条沿水平方向延伸的比较线，所述比较像素点PC位于该比较线上。
作为本发明的进一步改进，步骤“对拍摄图像进行处理获取处理图像”包括：对拍摄图像进行双边滤波处理，生成滤波图像；对滤波图像进行归一化处理，生成标准模式图像；对标准模式图像进行图像分割，生成分割图像；对分割图像进行漫水填充处理，获得填充图像并记为处理图像。
作为本发明的进一步改进，步骤“对标准模式图像进行图像分割”中，采用金字塔均值漂移算法进行图像分割。
作为本发明的进一步改进，步骤“将处理图像分割为至少一个子区域”包括：将处理图像按照颜色分割为至少一个子区域。
作为本发明的进一步改进，步骤“获取拍摄图像”之前包括：获取自动行走设备的工作区域内最大斜坡的倾斜角度Am；步骤“预设比较像素点PC”具体为：根据Am调整比较像素点PC的位置，其中，Am越大，PC的位置越靠近拍摄图像的底部。
作为本发明的进一步改进，所述比较像素点PC位于处理图像在竖直方向上的中部位置。
为解决上述问题之一，本发明提供了一种自动工作系统，包括：自动行走设备，可按照如上述所述的控制方法工作；边界，围设呈环状并形成用以限定自动行走设备的工作区域，所述边界自地面向上延伸。
为解决上述问题之一，本发明还提供了一种自动工作系统，包括:自动行走设备，可按照如上述所述的控制方法工作；工作区域，所述工作区域边沿外侧设置有非工作区域，所述工作区域和非工作区域的地质不同且形成边界。
为解决上述问题之一，本发明提供了一种自动行走设备，包括本体、行走模块、电源模块及设置于本体内的存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述自动行走设备还包括设置于本体上的摄像头，所述摄像头的拍摄方向朝向该自动行走设备沿行进方向的前侧；所述处理器执行所述计算机程序时可实现如上述所述的自动行走设备的控制方法的步骤。
为解决上述问题之一，本发明提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现如上述所述的自动行走设备的控制方法中的步骤。
与现有技术相比，若该特殊子区域的数量Nb超过一个，则说明该特殊子区域的数量较多，可判断拍摄图像中除了有草坪外，近处还具有边界或大型障碍物，从而需要自动行走设备进行后退、转弯等操作以进行避让；反之，则为拍摄图像中远处具有边界或障碍物，自动行走设备还可以继续行进及工作。从而，通过分析拍摄图像即可获得自动行走设备和边界及障碍物之间的距离，以进行后续的判断和控制。通过机器视觉直接判断自动行走设备后续的工作，更加方便，也使得控制更加灵敏有效。并且，结合通过机器视觉识别边界的方法，还可以有效避免了在斜坡上识别到边界或障碍物引起的误判，使得控制更加精确。
附图说明
图1为本发明自动工作系统的结构示意图；
图2为本发明自动行走设备的控制方法的流程示意图；
图3为本发明自动行走设备的控制方法中的处理图像的示意图。
具体实施例
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在本申请的各个图示中，为了便于图示，结构或部分的某些尺寸会相对于其它结构或部分夸大，因此，仅用于图示本申请的主题的基本结构。
本发明的自动行走设备可以是自动割草机，或者自动吸尘器等，其自动行走于工作区域以进行割草、吸尘工作，本发明具体示例中，以自动行走设备为割草机为例做具体说明，相应的，所述工作区域可为草坪。当然，自动行走设备不限于割草机和吸尘器，也可以为其它设备，如喷洒设备、除雪设备、监视设备等等适合无人值守的设备。
如图1至图3所示，提供了一种自动行走设备1的控制方法，所述控制方法包括：
获取拍摄图像；
对拍摄图像进行处理获取处理图像；
将处理图像分割为至少一个子区域；
分别获取每一个子区域的代表像素点PLn；
统计处理图像中代表像素点PLn位于比较像素点PC下方的子区域的数量，并记为特殊子区域的数量Nb，其中PC为预设比较像素点；
若Nb≤1，则判断该拍摄图像中远处具有边界2或障碍物；
若Nb＞1，则判断该拍摄图像中近处具有边界2或障碍物。
因此，本发明中，通过对拍摄图像进行处理和分割，可以形成至少一个子区域，由于自动行走设备1所拍摄的照片中，草坪区域必定靠下设置，因而，若子区域的代表像素点PLn位于比较像素点PC下方，则该子区域必定为草坪区域或是较近处的边界2或障碍物。
因此，若该特殊子区域的数量Nb超过一个，则说明该特殊子区域的数量较多，可判断拍摄图像中除了有草坪外，近处还具有边界2或大型障碍物，从而需要自动行走设备1进行后退、转弯等操作以进行避让；反之，则为拍摄图像中远处具有边界2或障碍物，自动行走设备1还可以继续行进及工作。从而，通过分析拍摄图像即可获得自动行走设备1和边界2及障碍物之间的距离，以进行后续的判断和控制。通过机器视觉直接判断自动行走设备1后续的工作，更加方便，也使得控制更加灵敏有效。
具体的，若特殊子区域的数量Nb不超过一个，则说明对自动行走设备1来说近处只有草坪。自动行走设备1在水平地面行进时，若特殊子区域的数量Nb还是不超过1，则说明边界2或障碍物还较远，自动行走设备1还是可以继续行进并工作，直至行走到边界2或障碍物距离较近且该边界2或障碍物的特殊子区域延伸至比较像素点PC下方后，才说明自动行走设备1已经靠近边界2或障碍物。
例如，如图3中所示，比较像素点为Pc，该处理图像中明显分割为三个子区域，其中，PL1、PL2、PL3分别为对应子区域的代表像素点。其中，仅有PL1位于PC的下方，因而，Nb＝1，判断该拍摄图像中远处具有边界2或障碍物，自动行走设备还可以自由行进。
特别的，自动行进设备在斜坡上行进时，例如自动行走设备1行进于上坡地段，则虽然远处的边界2或障碍物距离较远，但是仍然会被自动行走设备1的摄像头所拍到。但是，由于该边界2或障碍物对应的特殊子区域毕竟处于比较像素点PC上方，因而自动行走设备1还是会认定该边界2或障碍物距离较远，不会影响到自动行走设备1的持续工作。因此，通过本发明的上述技术方案，结合通过机器视觉识别边界2的方法，可以有效避免了在斜坡上识别到边界2或障碍物引起的误判，使得控制更加精确。
并且，由于摄像头的拍摄，虽然边界2等本身呈规则图案，但是在拍摄图像中还是会呈现一定的失真，因而在本发明中，步骤“分别获取每一个子区域的代表像素点PLn”包括：分别获取每一个子区域在竖直方向上的最低像素点，并记为代表像素点PLn。
例如，如图3中所示，PL1、PL2、PL3分别为子区域在竖直方向上的最低像素点，即为代表像素点。
因此，采用子区域在竖直方向上位于最低处的代表像素点PLn与比较像素点PC进行判断，更加合理、计算也更加方便。当然若该代表像素点PLn采用其他方式进行判定，也可达到本发明的目的。
另外，在本发明中，步骤“预设比较像素点PC”包括：预设一条沿水平方向延伸的比较线LC，所述比较像素点PC位于该比较线LC上。即，该比较像素点PC可设置于预先设置的比较线LC上，则在对比时，可以代表像素点PLn位于比较线LC的上方还是下方进行比较。或者，比较线LC将处理图像划分为上半区域和下半区域，判断代表像素点PLn位于上半区域或下半区域也可以判断出代表像素点PLn和比较像素点PC的位置关系。
如图3所示，比较线LC为水平线，且比较像素点PC位于该比较线LC上。
在本发明中，需要对拍摄图像进行处理分析后获得处理图像，再将处理图像分割为至少一个子区域。其中，显然的，处理图像中可包括至少一块子区域。
本发明中提供了一种具体实施例，可将拍摄图像处理形成如上述所述的处理图像。具体的，步骤“对拍摄图像进行处理获取处理图像”包括：
对拍摄图像进行双边滤波处理，生成滤波图像filterImage；
对滤波图像filterImage进行归一化处理，生成标准模式图像norImage；
对标准模式图像norImage进行图像分割，生成分割图像meanImage；
对分割图像meanImage进行漫水填充处理，获得填充图像fillImage并记为处理图像。
其中，双边滤波处理是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。
而，归一化处理是指对图像进行一系列标准的处理变换、将图像变换为一固定标准形式的过程。
图像分割是图像识别和计算机视觉中至关重要的预处理。图像分割的依据为图像中像素的亮度及颜色，并通过引入人工智能的方法来纠正分割中由于光照不均匀、阴影、图像不清晰、或存在噪声等造成的错误。通过图像分割，可大致将图像处理成由若干个不同区域色块组成的图像。在本发明中从而将标准图像转换为类似于处理图像的图像。并且，图像分割可采用多种方式，例如基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。在本发明中，具体的，步骤“对标准模式图像norImage进行图像分割”中，采用金字塔均值漂移算法进行图像分割。
进一步的，由于本发明中的自动行走设备1通常在草地上行走，因而需要识别大型障碍物或边界2、草地即可，因而为了使得最终的处理图像更容易分析，本发明中还对分割图像进行了漫水填充处理。漫水填充处理是指通过同种颜色填充连通的区域，通过设置可连通像素的上下限来达到漫水填充的目的，并可通过同种颜色将较为类似的像素区域连通为一体。
通过上述方法，可将拍摄图像处理形成处理图像，以方便进行后续的分析。并且，由上述可知，经过处理，处理图像中可包括有至少一个子区域，并且相邻子区域之间的颜色不相同。
因此，步骤“将处理图像分割为至少一个子区域”包括：将处理图像按照颜色分割为至少一个子区域。子区域由于属于不同的物体，例如草地、石块、落叶、边界2等，因而之间的颜色也不相同，从而可以颜色作为分割依据。当然，按照颜色分割也可以采用不同的方式，例如通过计算每个像素点的像素值等。
当然，若采用其他的方式对拍摄图像进行处理并以颜色作为子区域的分割依据、或者采用其他的方式对拍摄图像进行处理并以其他方式对处理图像进行分割、或者采用上述方式对拍摄图像进行处理并以其他方式对处理图像进行分割，均在本发明的保护范围之内。
另外，由于如上述所述，本发明中的上述实施方式可在拍摄到边界2或障碍物的时候对边界2或障碍物的距离进行判断。特别的，在斜坡特别是上坡的区域行走时，自动行走设备1上的摄像头很容易拍摄到远处的边界2及大型障碍物，因此，本发明通过处理图像中子区域的代表像素点PLn和比较像素点PC进行对比，即可判断边界2及大型障碍物与自动行走设备1之间的距离。在PLn位于PC上侧时，即判断距离较远。当然，该比较像素点PC的位置会影响到自动行走设备1和边界2或大型障碍物之间的距离判定结果。并且，该比较像素点PC的位置与自动行走设备1的工作区域的最大斜坡相关。
因此，步骤“获取拍摄图像”之前包括：
获取自动行走设备1的工作区域内最大斜坡的倾斜角度Am；
步骤“预设比较像素点PC”具体为：
根据Am调整比较像素点PC的位置，其中，Am越大，PC的位置越靠近拍摄图像的底部。
这是由于，斜坡的倾斜角度越大，则若自动行走设备1在上坡的过程中，会更容易拍摄到远处的边界2及障碍物，并且在拍摄图像中，远处的边界2及障碍物会自上而下占据更多的画面，则相当于位于上方的子区域会更延伸至下方，因而，比较像素点PC的位置也越要靠近拍摄图像的底部。
而通常的，所述比较像素点PC位于处理图像在竖直方向上的中部位置。当然，这可根据上述最大斜坡的倾斜角度Am计算获得，也可以根据通常的大部分情况通过经验获得。
本发明中还提供了一种自动工作系统，其包括：
自动行走设备1，可按照如上述所述的控制方法工作；
边界2，围设呈环状并用以限定自动行走设备1的工作区域，所述边界2自地面向上延伸。
由于本发明中，所述自动行走设备1通过获取拍摄图像，再对拍摄图像进行处理分析后获得自动行走设备1行进的区域，因而，本发明自动工作系统的边界2必须自地面向上延伸，从而才可以被自动行走设备1拍摄并识别到。
另外，本发明中还提供了一种自动工作系统，包括:
自动行走设备1，可按照如上述所述的控制方法工作；
工作区域，所述工作区域边沿外侧设置有非工作区域，所述工作区域和非工作区域的地质不同且形成边界2。
由于本发明中的自动行走设备1应用于割草机中，则草地即为工作区域，显然的，非工作区域中可为裸露土壤、地板、水泥板等等，其地质均和草地有较大的不同，其颜色也和草地有较大的不同。因而，由于地质的明显差距会自然的在工作区域和非工作区域之间形成边界2，该边界2不是通过人为进行设置而是自然形成的。但是，由于工作区域和非工作区域之间明显的颜色差别及边界2的形成，也还是可以应用本发明中的控制方法。
本发明中还提供了一种自动行走设备1，包括本体、行走模块、电源模块及设置于本体内的存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述自动行走设备1还包括设置于本体上的摄像头，所述摄像头的拍摄方向朝向该自动行走设备1沿行进方向的前侧；所述处理器执行所述计算机程序时可实现如上述所述的自动行走设备1的控制方法的步骤。也就是说，所述处理器执行所述计算机程序时可实现如上述所述的自动行走设备1的任何一种实施例的控制方法的步骤。
如上述所述，本发明中的自动行走设备1的本体上设置有摄像头，从而可以拍摄并获取拍摄图像。并且，摄像头的拍摄方向朝向自动行走设备1沿行进方向的前侧，从而所述摄像头拍摄获得的是自动行走设备1前侧的景象。因而，可以根据自动行走设备1所拍摄获得的拍摄图像来分析自动行走设备1接下来的运动轨迹：若判断拍摄图像中远处具有边界2或障碍物，则控制自动行走设备1进一步行走及工作；若判断拍摄图像中近处具有边界2或障碍物，则控制自动行走设备1进行停止或转向或后退等操作。
同样的，本发明中还提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现如上述所述的自动行走设备1的控制方法中的步骤。也就是说，所述处理器执行所述计算机程序时可实现如上述所述的自动行走设备1的任何一种实施例的控制方法的步骤。
综上所述，本发明中，若该特殊子区域的数量Nb超过一个，则说明该特殊子区域的数量较多，可判断拍摄图像中近处具有边界2或大型障碍物，从而需要自动行走设备1进行后退、转弯等操作以进行避让；反之，则为拍摄图像中远处具有边界2或障碍物，自动行走设备1还可以继续行进及工作。从而，通过分析拍摄图像即可分析出自动行走设备1和边界2及障碍物之间的距离，以进行后续的判断和控制。通过机器视觉直接判断自动行走设备1后续的工作，更加方便，也使得控制更加灵敏有效。并且，通过本发明的上述技术方案，结合通过机器视觉识别边界2的方法，可以有效避免了在斜坡上识别到边界2或障碍物引起的误判，使得控制更加精确。
进一步的，本发明中还提出了一种处理拍摄图像的具体实施例，其主要是通过对拍摄图像进行双边滤波处理、归一化处理、图像分割及漫水填充处理，从而将处理图像处理为包括至少一块子区域。并特别的采用金字塔均值漂移算法进行图像分割，使得拍摄图像处理结果更加能够满足本发明的目的。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (12)

1.一种自动行走设备的控制方法，其特征在于，所述控制方法包括：
获取拍摄图像；
对拍摄图像进行处理获取处理图像；
将处理图像分割为至少一个子区域；
分别获取每一个子区域的代表像素点PLn；
统计处理图像中代表像素点PLn位于比较像素点PC下方的子区域的数量，并记为特殊子区域的数量Nb，其中PC为预设比较像素点；
若Nb≤1，则判断该拍摄图像中远处具有边界或障碍物；
若Nb＞1，则判断该拍摄图像中近处具有边界或障碍物。
2.根据权利要求1所述的控制方法，其特征在于，步骤“分别获取每一个子区域的代表像素点PLn”包括：分别获取每一个子区域在竖直方向上的最低像素点，并记为代表像素点PLn。
3.根据权利要求1所述的控制方法，其特征在于，步骤“预设比较像素点PC”包括：预设一条沿水平方向延伸的比较线，所述比较像素点PC位于该比较线上。
4.根据权利要求1所述的控制方法，其特征在于，步骤“对拍摄图像进行处理获取处理图像”包括：
对拍摄图像进行双边滤波处理，生成滤波图像；
对滤波图像进行归一化处理，生成标准模式图像；
对标准模式图像进行图像分割，生成分割图像；
对分割图像进行漫水填充处理，获得填充图像并记为处理图像。
5.根据权利要求4所述的控制方法，其特征在于，步骤“对标准模式图像进行图像分割”中，采用金字塔均值漂移算法进行图像分割。
6.根据权利要求1或4所述的控制方法，其特征在于，步骤“将处理图像分割为至少一个子区域”包括：将处理图像按照颜色分割为至少一个子区域。
7.根据权利要求1所述的控制方法，其特征在于，步骤“获取拍摄图像”之前包括：
获取自动行走设备的工作区域内最大斜坡的倾斜角度Am；
步骤“预设比较像素点PC”具体为：
根据Am调整比较像素点PC的位置，其中，Am越大，PC的位置越靠近拍摄图像的底部。
8.根据权利要求1或7所述的控制方法，其特征在于，所述比较像素点PC位于处理图像在竖直方向上的中部位置。
9.一种自动工作系统，其特征在于，包括：
自动行走设备，可按照如权利要求1至8中的任意一项所述的控制方法工作；边界，围设呈环状并形成用以限定自动行走设备的工作区域，所述边界自地面向上延伸。
10.一种自动工作系统，其特征在于，包括:
自动行走设备，可按照如权利要求1至8中的任意一项所述的控制方法工作；工作区域，所述工作区域边沿外侧设置有非工作区域，所述工作区域和非工作区域的地质不同且形成边界。
11.一种自动行走设备，包括本体、行走模块、电源模块及设置于本体内的存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述自动行走设备还包括设置于本体上的摄像头，所述摄像头的拍摄方向朝向该自动行走设备沿行进方向的前侧；所述处理器执行所述计算机程序时可实现权利要求1至8中任意一项所述的自动行走设备的控制方法的步骤。
12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该计算机程序被处理器执行时可实现权利要求1至8中任意一项所述的自动行走设备的控制方法中的步骤。
CN202010197055.1A 2020-03-19 2020-03-19 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质 Active CN113496146B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010197055.1A CN113496146B (zh) 2020-03-19 2020-03-19 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
PCT/CN2020/109268 WO2021184663A1 (zh) 2020-03-19 2020-08-14 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
US17/768,011 US20240099186A1 (en) 2020-03-19 2020-08-14 Automatic Working System, Automatic Walking Device and Control Method Therefor, and Computer-Readable Storage Medium
EP20925168.5A EP4123500A4 (en) 2020-03-19 2020-08-14 AUTOMATIC WORKING SYSTEM, AUTOMATIC WALKING DEVICE AND CONTROL METHOD THEREOF AND A COMPUTER-READABLE STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197055.1A CN113496146B (zh) 2020-03-19 2020-03-19 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113496146A true CN113496146A (zh) 2021-10-12
CN113496146B CN113496146B (zh) 2024-08-13

Family

ID=77767979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197055.1A Active CN113496146B (zh) 2020-03-19 2020-03-19 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质

Country Status (4)

Country Link
US (1) US20240099186A1 (zh)
EP (1) EP4123500A4 (zh)
CN (1) CN113496146B (zh)
WO (1) WO2021184663A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111460A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其障碍检测方法
CN104111653A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其工作区域判断方法
CN105785986A (zh) * 2014-12-23 2016-07-20 苏州宝时得电动工具有限公司 自动工作设备
CN106155053A (zh) * 2016-06-24 2016-11-23 桑斌修 一种割草方法、装置以及系统
US20170084038A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN108596012A (zh) * 2018-01-19 2018-09-28 海信集团有限公司 一种障碍物框合并方法、装置及终端
CN109063575A (zh) * 2018-07-05 2018-12-21 中国计量大学 一种基于单目视觉的智能割草机自主有序割草方法
CN109584258A (zh) * 2018-12-06 2019-04-05 南京苏美达智能技术有限公司 草地边界识别方法及应用其的智能割草装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105467985B (zh) * 2014-09-05 2018-07-06 科沃斯机器人股份有限公司 自移动表面行走机器人及其图像处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111460A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其障碍检测方法
CN104111653A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其工作区域判断方法
CN105785986A (zh) * 2014-12-23 2016-07-20 苏州宝时得电动工具有限公司 自动工作设备
US20170084038A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN106155053A (zh) * 2016-06-24 2016-11-23 桑斌修 一种割草方法、装置以及系统
CN108596012A (zh) * 2018-01-19 2018-09-28 海信集团有限公司 一种障碍物框合并方法、装置及终端
CN109063575A (zh) * 2018-07-05 2018-12-21 中国计量大学 一种基于单目视觉的智能割草机自主有序割草方法
CN109584258A (zh) * 2018-12-06 2019-04-05 南京苏美达智能技术有限公司 草地边界识别方法及应用其的智能割草装置

Also Published As

Publication number Publication date
US20240099186A1 (en) 2024-03-28
WO2021184663A1 (zh) 2021-09-23
EP4123500A1 (en) 2023-01-25
EP4123500A4 (en) 2024-03-13
CN113496146B (zh) 2024-08-13

Similar Documents

Publication Publication Date Title
CN111353431B (zh) 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN111324122B (zh) 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN104111653A (zh) 自动行走设备及其工作区域判断方法
EP3043289B1 (en) Control system for an autonomous vehicle and a method for generating a control signal and autonomous vehicle equipped with such control system
WO2022021630A1 (zh) 自动行走设备及其控制方法和系统及可读存储介质
CN111104933A (zh) 地图处理方法、移动机器人及计算机可读存储介质
JP2017535279A (ja) 自動移動ロボット
WO2021169192A1 (zh) 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
US20240071094A1 (en) Obstacle recongnition method applied to automatic traveling device and automatic traveling device
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN107463167B (zh) 自动行走设备及目标区域识别方法
WO2021243894A1 (zh) 基于图像识别工作位置的方法、系统，机器人及存储介质
CN113696180A (zh) 机器人自动回充方法、装置、存储介质及机器人系统
EP4044114A1 (en) Systems and methods for determining residue length within a field
CN112034837A (zh) 确定移动机器人工作环境的方法、控制系统及存储介质
EP4123406A1 (en) Automatic working system, automatic walking device and method for controlling same, and computer-readable storage medium
CN112526989B (zh) 一种农业无人车导航方法、装置、农业无人车及存储介质
CN113496146B (zh) 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN113156924A (zh) 自移动设备的控制方法
CN113495552A (zh) 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN113848872B (zh) 自动行走设备及其控制方法及可读存储介质
CN106303453A (zh) 一种基于高速球机的主动式跟踪方法
JP3585948B2 (ja) 自律走行作業車の走行制御方法
CN112558595A (zh) 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
WO2017206950A1 (zh) 自动行走设备及其控制行走方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230531

Address after: 215000 No. 8 Ting Rong Street, Suzhou Industrial Park, Jiangsu, China

Applicant after: Suzhou Cleva Precision Machinery & Technology Co.,Ltd.

Applicant after: SKYBEST ELECTRIC APPLIANCE (SUZHOU) Co.,Ltd.

Address before: 215000 Huahong street, Suzhou Industrial Park, Jiangsu 18

Applicant before: Suzhou Cleva Precision Machinery & Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant