KR102301759B1

KR102301759B1 - Environment Learning Device and Method in Charging Time for Autonomous Mobile Robot

Info

Publication number: KR102301759B1
Application number: KR1020190121799A
Authority: KR
Inventors: 신경철; 박성주; 박기연; 권지욱; 신강호; 이규범
Original assignee: 주식회사 유진로봇
Priority date: 2019-07-17
Filing date: 2019-10-01
Publication date: 2021-09-14
Also published as: KR102315483B1; KR20210010274A; KR20210010276A

Abstract

본 발명에 따르면, 자율 주행 이동 로봇이 충전 중에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용 가능한 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법이 개시된다.According to the present invention, the autonomous driving mobile robot performs a deep learning algorithm that recognizes the environment by reloading the environment information obtained during map preparation and autonomous driving by the robot while charging, and Disclosed are an environment learning apparatus and an environment learning method of an autonomous driving mobile robot that can be used for an application that finally recognizes objects such as furniture and finds a location by using a method of checking a location and marking it on a map.

Description

{Environment Learning Device and Method in Charging Time for Autonomous Mobile Robot}

본 발명은 로봇의 환경 학습 장치에 관한 것으로서, 특히 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법에 관한 것이다.The present invention relates to an environment learning apparatus for a robot, and more particularly, to an environment learning apparatus and an environment learning method for an autonomous mobile robot.

가정용 로봇의 대표적인 일 예로, 청소 로봇을 들 수 있는데, 이 때 청소 로봇이란 청소 하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입함으로써, 청소하고자 하는 영역을 자동으로 청소하는 장치를 의미한다. 이러한 청소 로봇은 각종 센서 등을 통해 청소 영역 내에 위치하는 장애물 등을 감지하고, 감지 결과를 이용하여, 청소 로봇의 주행 경로 및 청소 동작을 제어하게 된다.A typical example of a household robot is a cleaning robot. In this case, the cleaning robot means a device that automatically cleans the area to be cleaned by sucking foreign substances such as dust from the floor while driving in the area to be cleaned. do. The cleaning robot detects obstacles located in the cleaning area through various sensors and the like, and uses the detection result to control the cleaning robot's traveling path and cleaning operation.

종래의 경우, 자율 주행 중에 각 물체들을 인지하여 위치를 추정하였으나, 자율 주행 중에 수행되는 알고리즘의 경우 자율 주행을 위한 처리 능력(processing power)에 딥 러닝(deep learning)을 수행하기 위한 추가적인 프로세서가 필요하다.In the conventional case, each object was recognized and the location was estimated during autonomous driving. However, in the case of an algorithm performed during autonomous driving, an additional processor for deep learning is required for processing power for autonomous driving. do.

이에 따라, 낮은 시스템 사양으로는 시스템 구현이 어려우며, 로봇의 구동 중에는 원하는 위치로 로봇을 부르거나 보내는 것에 어려움이 있다.Accordingly, it is difficult to implement the system with a low system specification, and it is difficult to call or send the robot to a desired position while the robot is being driven.

본 발명은 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법으로 자율 주행 이동 로봇이 충전 중에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용하는데 그 목적이 있다.The present invention is an environment learning apparatus and environment learning method for an autonomous driving mobile robot, and deep learning (deep learning) that recognizes the environment by reloading the environment information obtained when the robot creates a map and autonomously drives while the autonomous driving mobile robot is charging learning) algorithm, check the location of the recognized objects, and use the method of marking on the map to finally recognize objects such as furniture and use it in an application that finds the location.

이에 따라, 충전시간에 딥 러닝(deep learning) 알고리즘을 수행하기 때문에 프로세서를 충분히 사용할 수 있으며, 충전을 하는 시간이 보장되어 있기 때문에 충분한 시간적 여유가 있도록 하는데 또 다른 목적이 있다.Accordingly, since the deep learning algorithm is performed during the charging time, the processor can be used sufficiently, and since the charging time is guaranteed, there is another purpose of providing sufficient time.

또한, 주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보내도록 하는데 또 다른 목적이 있다.In addition, since a separate processor is not required to run deep learning while driving, the system can be implemented even with low system specifications. (deep learning) Another purpose is to call or send a robot to a desired location even if the algorithm does not run.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치는, 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리, 상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 환경 정보 획득부, 상기 선별된 환경 정보를 이용하여 상기 객체를 인식하는 주행 환경 인식부 및 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 하는 업데이트부를 포함한다.In order to solve the above problems, the environment learning apparatus of the autonomous driving mobile robot according to an embodiment of the present invention includes the environmental information already acquired while the autonomous driving mobile robot in a state in which power management is possible above a predetermined standard, and the Recognizing an object located in the driving area using a memory for storing driving map information generated in relation to a driving area in which the autonomous driving mobile robot has traveled, and at least some of the environment information and the driving map information stored in the memory an environment information acquisition unit that determines characteristic points for determining the characteristic points and loads the selected environment information according to the determined characteristic points from the memory, a driving environment recognition unit that recognizes the object using the selected environment information, and the recognized object and an update unit for updating the driving map by using the object information according to the .

여기서, 상기 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.Here, the driving map information includes a plurality of nodes and links constituting a driving map related to the driving region, and the environment information includes image information on the driving region acquired during driving and external LiDAR (LiDAR). It includes distance information and reflected light information extracted from 3D-based point cloud data obtained from

여기서, 상기 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 방향이 변경되는 지점 및 상기 객체를 인식하기 위하여 미리 결정된 지점 중 적어도 하나이다.Here, the characteristic point is at least one of a point each time the autonomous mobile robot moves a predetermined path, a point at which the direction of the autonomous mobile robot changes, and a predetermined point for recognizing the object.

여기서, 상기 환경 정보 획득부는, 상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정하는 특징 지점 결정부 및 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 로딩부를 포함한다.Here, the environment information acquisition unit may include a characteristic point determiner configured to determine a characteristic point for recognizing an object located in the driving area using at least a portion of the environment information stored in the memory and the driving map information, and the determined characteristic and a loading unit for loading selected environment information according to a point from the memory.

여기서, 상기 특징 지점 결정부는, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여하되, 상기 로딩부는, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.Here, the feature point determining unit designates the feature point as a feature node among the nodes constituting the driving map, and assigns a number to each node according to the order in which the feature nodes are designated, and the loading unit includes: The environment learning apparatus of the autonomous driving mobile robot, characterized in that according to the order of the feature nodes, the stored environment information is loaded when the autonomous mobile robot is located in the feature node.

여기서, 상기 로딩부는, 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 포인트 클라우드(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩하는 라이더 데이터 로딩부 및 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩하는 영상 데이터 로딩부를 포함한다.Here, when the autonomous driving mobile robot is located in the feature node while driving, the lidar loads distance information and reflected light information extracted from point cloud data obtained from the LiDAR. and a data loading unit and an image data loading unit for loading image information on the driving area obtained from an image information obtaining unit when the autonomous driving mobile robot is positioned at the feature node while driving.

여기서, 상기 주행 환경 인식부는, CNN(Convolutional Neural Network) 방법을 이용하여 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.Here, the driving environment recognition unit recognizes an object included in the surrounding environment of the feature points using a convolutional neural network (CNN) method.

여기서, 상기 주행 환경 인식부는, 상기 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 라이더 데이터 인식부 및 상기 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 영상 데이터 인식부를 포함한다.Here, the driving environment recognition unit, based on the distance information and reflected light information loaded from the lidar data loading unit, from the lidar data recognition unit and the image data loading unit for recognizing objects included in the surrounding environment of the feature points and an image data recognition unit for recognizing an object included in the surrounding environment of the feature points based on the loaded image information.

여기서, 상기 라이더 데이터 인식부는, 상기 라이더 데이터 로딩부로부터 획득한 상기 거리 정보와 반사광 정보를 입력 받는 제1 입력부, 상기 거리 정보와 반사광 정보에 기초하여, 상기 포인트 클라우드(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출하는 제1 형상 추출부, 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식하는 제1 객체 인식부를 포함한다.Here, the lidar data recognition unit, based on the first input unit receiving the distance information and reflected light information obtained from the lidar data loading unit, the distance information and the reflected light information, each of the point cloud data A first shape extractor for synthesizing or filtering the cross-sections of candidate objects at a point to extract shapes of objects included in the surrounding environment of the feature points, and classifying shapes of the objects according to attributes from the extracted shapes of the objects and a first object recognition unit for recognizing an object.

여기서, 상기 영상 데이터 인식부는, 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는 제2 입력부, 상기 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출하는 제2 형상 추출부, 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식하는 제2 객체 인식부를 포함한다.Here, the image data recognition unit may include a second input unit for receiving the image information obtained from the image data loading unit, and synthesize cross sections of candidate objects at each point of the image information on the driving area included in the image information, or A second shape extraction unit for filtering and extracting shapes of objects included in the surrounding environment of the feature points, a second object recognition for recognizing objects by classifying shapes of the objects according to attributes from the extracted shapes of the objects includes wealth.

여기서, 상기 주행 환경 인식부는, 상기 라이더 데이터 인식부에서 인식한 객체에 따른 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체에 따른 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류하는 객체 정보 매칭부를 더 포함한다.Here, the driving environment recognition unit compares the object information according to the object recognized by the lidar data recognition unit and the object information according to the object recognized by the image data recognition unit for each coordinate of the feature node to classify the object information in detail It further includes an object information matching unit.

여기서, 상기 업데이트부는, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 상기 주행 지도를 업데이트 한다.Here, the update unit updates the driving map by matching the coordinates of the corresponding feature node of the recognized object information with the coordinates of the driving map for the driving area.

본 발명의 또 다른 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은, 환경 정보 획득부가 메모리에 저장된 환경 정보와 주행 지도 정보 중 적어도 일부를 이용하여, 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계, 주행 환경 인식부가 상기 선별된 환경 정보를 이용하여 상기 객체를 인식하는 단계 및 업데이트부가 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 하는 단계를 포함한다.In an environment learning method of an autonomous driving mobile robot according to another embodiment of the present invention, a feature point for recognizing an object located in a driving area by an environment information acquisition unit using at least some of environmental information and driving map information stored in a memory determining , loading selected environment information according to the determined feature point from the memory, recognizing the object using the selected environment information by a driving environment recognition unit, and an update unit according to the recognized object and updating the driving map using the information.

여기서, 상기 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 객체에 의해 반사된 반사 광 신호에 따른 3차원 기반의 포인트 클라우드(point cloud) 데이터를 포함한다.Here, the driving map information includes a plurality of nodes and links constituting a driving map related to the driving region, and the environment information includes image information on the driving region acquired during driving and external LiDAR (LiDAR). Includes 3D-based point cloud data according to the reflected light signal reflected by the object obtained from

여기서, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계는, 특징 지점 결정부가 상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정하는 단계 및 로딩부가 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계를 포함하며, 상기 특징 지점을 결정하는 단계는, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여하되, 상기 메모리로부터 로딩하는 단계는, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.Here, the step of loading the selected environment information according to the determined characteristic point from the memory may include using at least a part of the environment information and the driving map information stored in the memory by the characteristic point determining unit, and the object located in the driving area. Determining a feature point for recognizing , and loading, by a loading unit, selected environment information according to the determined feature point from the memory, wherein the determining of the feature point comprises: a node constituting the driving map Among them, the feature point is designated as a feature node, and a number is assigned to each node according to an order in which the feature node is specified, and the step of loading from the memory includes: according to the order of the designated feature node, the autonomous driving movement When the robot is located in the feature node, the stored environment information is loaded.

여기서, 상기 메모리로부터 로딩하는 단계는, 라이더 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 3차원 기반의 포인트 클라우드(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩하는 단계 및 영상 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩하는 단계를 포함한다.Here, the loading from the memory includes three-dimensional point cloud data obtained from the lidar (LiDAR) when the lidar data loading unit is located in the feature node when the autonomous driving mobile robot is driving. loading distance information and reflected light information extracted from , and loading image information on the driving area obtained from an image information acquiring unit when an image data loading unit is located at the feature node when the autonomous driving mobile robot is driving includes

여기서, 상기 객체를 인식하는 단계는, 라이더 데이터 인식부가 상기 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 단계, 영상 데이터 인식부가 상기 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 단계 및 객체 정보 매칭부가 상기 라이더 데이터 인식부에서 인식한 객체에 따른 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체에 따른 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류하는 단계를 더 포함한다.Here, the step of recognizing the object is a step of recognizing an object included in the surrounding environment of the feature points based on the distance information and the reflected light information loaded by the lidar data recognition unit from the lidar data loading unit, image data recognition Based on the image information loaded from the additional image data loading unit, the step of recognizing an object included in the surrounding environment of the feature points and object information matching unit object information according to the object recognized by the lidar data recognition unit, The method further includes classifying object information in detail by comparing object information according to the object recognized by the image data recognition unit for each coordinate of the feature node.

여기서, 상기 주행 지도를 업데이트 하는 단계는, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 상기 주행 지도를 업데이트 한다.Here, in the updating of the driving map, the driving map is updated by matching the coordinates of the corresponding feature node of the recognized object information with the coordinates of the driving map for the driving area.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 자율 주행 이동 로봇이 충전 중에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용할 수 있다.As described above, according to the embodiments of the present invention, the self-driving mobile robot recognizes the environment by reloading the environment information obtained when the robot creates a map and autonomously drives while the autonomous driving mobile robot is charging. It can be used for an application that finally recognizes objects such as furniture and finds the location by performing an algorithm, checking the location of the recognized objects, and marking the map on the map.

이에 따라, 충전시간에 딥 러닝(deep learning) 알고리즘을 수행하기 때문에 프로세서를 충분히 사용할 수 있으며, 충전을 하는 시간이 보장되어 있기 때문에 충분한 시간적 여유가 있도록 할 수 있다.Accordingly, since a deep learning algorithm is performed during the charging time, the processor can be used sufficiently, and since the charging time is guaranteed, sufficient time can be provided.

또한, 주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보내도록 할 수 있다.In addition, since a separate processor is not required to run deep learning while driving, the system can be implemented even with low system specifications. (deep learning) It is possible to call or send a robot to a desired location even if the algorithm does not run.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and their potential effects are treated as if they were described in the specification of the present invention.

도 1은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 환경 정보 획득부를 나타낸 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 환경 인식부를 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 라이더 데이터 인식부를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 영상 데이터 인식부를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 객체 정보 매칭부를 설명하기 위한 도면이다.
도 11 내지 도 14는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법을 나타낸 흐름도이다.1 is a diagram schematically showing a system of an autonomous mobile robot according to an embodiment of the present invention.
2 is a block diagram illustrating an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
3 is a block diagram illustrating an environment information acquisition unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.
4 to 6 are diagrams for explaining driving map information of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.
7 is a block diagram illustrating a driving environment recognition unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.
8 is a view for explaining a lidar data recognition unit of the environment learning apparatus of the autonomous driving mobile robot according to an embodiment of the present invention.
9 is a view for explaining an image data recognition unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.
10 is a diagram for explaining an object information matching unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.
11 to 14 are flowcharts illustrating an environment learning method of an autonomous driving mobile robot according to an embodiment of the present invention.

이하, 본 발명에 관련된 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, an environment learning apparatus and an environment learning method of an autonomous mobile robot according to the present invention will be described in more detail with reference to the drawings. However, the present invention may be embodied in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be

이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes “module” and “part” for components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 발명은 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법에 관한 것이다.The present invention relates to an environment learning apparatus and an environment learning method for an autonomous mobile robot.

도 1은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 시스템을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing a system of an autonomous mobile robot according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 시스템은 자율 주행 이동 로봇(1), 이동 로봇의 충전을 위한 도킹 스테이션(docking station)(2)을 포함할 수 있다.As shown in FIG. 1 , the system of an autonomous mobile robot according to an embodiment of the present invention may include an autonomous mobile robot 1 and a docking station 2 for charging the mobile robot. have.

자율 주행 이동 로봇(1)은 이동이 가능한 청소 로봇을 말하고, 예컨대, 소정 공간 예컨대, 가정집, 공공기관, 회사 등에서 이동하면서 자동으로 청소를 수행할 수 있다.The autonomous driving mobile robot 1 refers to a cleaning robot capable of moving, and for example, may automatically perform cleaning while moving in a predetermined space, for example, a house, a public institution, a company, or the like.

자율 주행 이동 로봇(1)은 내부 또는 외부에 장착된 라이다(LiDAR)(11)와 영상 정보 획득부(12)를 포함한다.The autonomous driving mobile robot 1 includes an internal or externally mounted LiDAR 11 and an image information acquisition unit 12 .

3차원 라이다(11)는 멀리 있는 객체들을 감지할 수 있는 거리범위, 방위각과 고각 등의 시야각 범위, 그리고 공간 분해능의 성능이 우수한 라이다(Laser Radar)로 구현될 수 있다. 라이다는 레이저 신호를 쏘고 반사되어 돌아오는 시간을 측정하고, 빛의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 레이저 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다.The three-dimensional lidar 11 may be implemented as a laser radar having excellent performance in a distance range capable of detecting distant objects, a viewing angle range such as azimuth and elevation, and spatial resolution. LiDAR is a device that emits a laser signal, measures the time it takes to be reflected and returns, and measures the distance of the reflector using the speed of light. The laser signal is converted into an electrical signal through a photodiode. The laser signal may have a preset wavelength band.

본 발명의 3차원 라이다(11)는 한 쌍의 광원 및 광 다이오드를 이용하여 광 신호를 송수신하며, 이동성 거울 및 회전체를 이용하여 주변을 3차원 스캐닝한다. 3차원 라이다(11)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상과 거리 측정 장치 사이의 거리를 측정한다. The 3D lidar 11 of the present invention transmits and receives optical signals using a pair of light sources and photodiodes, and 3D scans the surroundings using a movable mirror and a rotating body. The three-dimensional lidar 11 may operate in a time of flight (TOF) method. In the time-of-flight method, a laser emits a pulse or a square wave signal and the reflected pulse or square wave signals from objects within the measurement range measure the time it takes to arrive at the receiver, thereby measuring the distance between the measurement target and the distance measuring device.

본 발명에서 3차원 라이다(11)가 조사하는 레이저 신호는 상하 좌우로 이동하면서 매우 촘촘한 간격으로 조사되기 때문에, 객체들에 의해 반사된 레이저 신호에 따른 거리 정보들을 모으면 3차원 라이다 주변의 환경의 3차원 정보를 획득할 수 있다.Since the laser signal irradiated by the three-dimensional lidar 11 in the present invention is irradiated at very tight intervals while moving up, down, left and right, if distance information according to the laser signal reflected by the objects is collected, the environment around the three-dimensional lidar 3D information can be obtained.

일 실시예에 따르면, 본 발명의 3차원 라이다(11)는 청소 로봇의 상단면에 설치되어 자체적으로 회전하며 360도 각도범위에 있는 주변 환경에 기 설정된 주기 간격으로 레이저 신호를 송수신함으로써 상기 객체에 대한 정보를 포함하는 포인트 클라우드(point cloud)를 획득할 수도 있고, 청소 로봇이 객체를 인식하고자 하는 위치에 고정되거나, 또는 인식하고자 하는 타이밍에 이동 주행하면서 레이저 신호를 송수신할 수도 있다.According to one embodiment, the three-dimensional lidar 11 of the present invention is installed on the top surface of the cleaning robot, rotates on its own, and transmits and receives laser signals at preset periodic intervals to the surrounding environment in the 360 degree angular range to the object. It is possible to obtain a point cloud including information on , or transmit and receive a laser signal while the cleaning robot is fixed at a position to recognize an object or moves and travels at a timing to be recognized.

영상 정보 획득부(12)는 각종 센서 예컨대, 카메라, 레이저 스캐너, 초음파 센서 등을 포함할 수 있으며, 획득한 데이터를 기반으로 소정 공간 예컨대, 가정집, 공공기관, 회사 등에서 이동하면서 청소하게 될 전체 영역에 대한 지도를 생성하고, 기 생성된 지도를 기반으로 사용자의 조작 없이도 청소하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 청소하고자 하는 구역을 자동으로 청소할 수 있다.The image information acquisition unit 12 may include various sensors, for example, a camera, a laser scanner, an ultrasonic sensor, and the like, and based on the acquired data, the entire area to be cleaned while moving in a predetermined space, for example, a house, a public institution, a company, etc. It is possible to automatically clean the area to be cleaned by generating a map for the .

본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치(10)는 자율 주행 이동 로봇(1)에서 프로세서로 구현되며, 라이다(11)와 영상 정보 획득부(12)가 획득한 환경 정보를 이용하게 되고, 주행 중에 이미 획득한 환경 정보와 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리를 포함할 수 있다.The environment learning apparatus 10 of the autonomous driving mobile robot according to an embodiment of the present invention is implemented as a processor in the autonomous driving mobile robot 1, and the environment acquired by the lidar 11 and the image information acquisition unit 12 The information is used and may include a memory for storing environment information already acquired during driving and driving map information generated in relation to a driving area in which the autonomous driving mobile robot has driven.

여기서, 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.Here, the driving map information includes a plurality of nodes and links constituting the driving map related to the driving area, and the environment information is obtained from image information on the driving area acquired during driving and from an external LiDAR. It includes distance information and reflected light information extracted from the acquired 3D-based point cloud data.

이때, 자율 주행 이동 로봇(1)은 예컨대, 슬램(Simultaneous Localization And Mapping: SLAM) 기술을 이용하여 지도를 생성할 수 있다. 여기서 슬램 기술이란 기존의 지도를 가지고 위치 인식을 하거나 위치를 알고 지도를 만드는 기술에서 더 나아가 동시에 위치 파악과 지도 구축을 수행하여 상호보완 시키는 기술을 말한다.In this case, the autonomous mobile robot 1 may generate a map using, for example, a Simultaneous Localization And Mapping (SLAM) technology. Here, the slam technology refers to a technology that complements each other by performing location identification and map construction at the same time, going further than the existing technology for recognizing a location with a map or making a map by knowing the location.

자율 주행 이동 로봇(1)은 청소하고자 하는 구역을 자율적으로 이동하며 자동 청소를 수행하다가 충전 및 로봇 청소기 내에 저장된 먼지를 비우기 위해 도킹 스테이션(2)으로 이동한다.The autonomous driving mobile robot 1 autonomously moves the area to be cleaned, performs automatic cleaning, and then moves to the docking station 2 to charge and empty the dust stored in the robot cleaner.

신호 처리부(미도시)는 영상 정보 획득부(12)에서 획득된 환경 정보를 이용하여 상기 자율 주행 이동 로봇의 주행 모드 또는 주행 경로를 결정하며, 주행 영역과 관련된 동작과 사용자 명령을 처리한다.A signal processing unit (not shown) determines a driving mode or a driving route of the autonomous driving mobile robot by using the environment information acquired by the image information acquiring unit 12 , and processes motions related to a driving area and user commands.

도킹 스테이션(2)은 전방에 도킹 유도 신호를 발신하여 발신된 도킹 유도 신호에 따라 자율 주행 이동 로봇(1)이 도킹하면, 도킹된 자율 주행 이동 로봇(1)을 충전시킬 수 있다.The docking station 2 transmits a docking guidance signal to the front, and when the autonomous driving mobile robot 1 docks according to the transmitted docking guidance signal, the docked autonomous driving mobile robot 1 may be charged.

이때, 도킹 스테이션(2)은 이동 로봇이 도킹 스테이션에서 충전을 시작하면, 이동 로봇을 유도하기 위한 도킹 유도 신호의 송출을 중단 또는 차단할 수 있다.At this time, when the mobile robot starts charging at the docking station, the docking station 2 may stop or block transmission of a docking guide signal for guiding the mobile robot.

이러한 도킹 스테이션(2)은 평소에는 이동 로봇이 원활히 도킹 스테이션으로 유도되도록 하는 신호를 송출하는 기능뿐 아니라, 이동 로봇이 연결된 경우 외부 전원을 이동 로봇으로 연결하여 전원을 공급하는 기능, 사용자에 의해 전원이 들어와 있는지, 충전 중인지, 충전 완료 상태인지 등에 대한 상태를 표시하는 기능, 전원 공급기의 전원을 이용하여 유도 신호, 상태 표시, 외부 전원 공급 등의 기능, 외부 AC 입력에서 전원을 공급 받고 도킹 스테이션 동작을 위한 전원으로 변환하는 기능 등을 수행한다.The docking station 2 normally has a function of transmitting a signal to allow the mobile robot to be smoothly guided to the docking station, as well as a function of supplying power by connecting an external power source to the mobile robot when the mobile robot is connected, and power by the user A function to display the status of whether the device is on, charging, or fully charged, an induction signal using the power of the power supply, a function to display the status, an external power supply, etc., to operate the docking station by receiving power from an external AC input It performs the function of converting to power for

또한, 도킹 스테이션(2)은 자율 주행 이동 로봇(1)이 도킹 스테이션에서 충전을 시작하면 상태 표시부에서의 충전 상태 표시를 차단할 수 있고, 이후 충전을 완료하더라도 도킹되어 있으면 상태 표시부에서의 충전 상태 표시를 차단할 수 있다.In addition, the docking station 2 can block the display of the charging state in the status display unit when the autonomous mobile robot 1 starts charging at the docking station, and displays the charging state in the status display unit when docked even after charging is completed. can block

도 2는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치를 나타낸 블록도이다.2 is a block diagram illustrating an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치(10)는 환경 정보 획득부(100), 주행 환경 인식부(200), 업데이트부(300)를 포함한다.Referring to FIG. 2 , the environment learning apparatus 10 of the autonomous mobile robot according to an embodiment of the present invention includes an environment information acquisition unit 100 , a driving environment recognition unit 200 , and an update unit 300 . .

자율 주행 이동 로봇의 환경 학습 장치(10)는 자율 주행 및 충전을 해야하는 자율 주행 이동 로봇에 물체와 환경을 인식하는 기능을 적용하기 위한 장치이다.The environment learning device 10 of the autonomous driving mobile robot is a device for applying the function of recognizing objects and environments to the autonomous driving mobile robot that needs to autonomously drive and charge.

자율 주행 이동 로봇은 환경 학습 장치를 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용 가능하다.The autonomous driving mobile robot can be used for an application that finally recognizes objects such as furniture and locates them using an environment learning device.

여기서, 자율 주행 이동 로봇은 청소로봇, 물류로봇, 서비스로봇 등 자율 주행 이동 로봇 및 충전이 필요한 자율 주행 이동 로봇을 포함한다.Here, the autonomous driving mobile robot includes an autonomous driving mobile robot such as a cleaning robot, a logistics robot, and a service robot, and an autonomous driving mobile robot requiring charging.

본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치(10)는, 자율 주행을 마친 상태에서, 로봇이 충전한 후에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용한다.The environment learning apparatus 10 of the autonomous driving mobile robot according to an embodiment of the present invention, after the robot is charged, in a state where autonomous driving is completed, the robot creates a map and reloads the environment information acquired during autonomous driving (loading) ) to perform a deep learning algorithm to recognize the environment, and to check the positions of the recognized objects and mark them on the map.

이에 따라, 충전시간에 딥 러닝(deep learning) 알고리즘을 수행하기 때문에 프로세서를 충분히 사용할 수 있으며, 충전을 하는 시간이 보장되어 있기 때문에 충분한 시간적 여유가 있다.Accordingly, since the deep learning algorithm is performed during the charging time, the processor can be used sufficiently, and since the charging time is guaranteed, there is sufficient time leeway.

또한, 주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보내는 것이 가능해진다.In addition, since a separate processor is not required to run deep learning while driving, the system can be implemented even with low system specifications. (deep learning) It becomes possible to call or send a robot to a desired location without the algorithm running.

환경 정보 획득부(100)는 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리(101)에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.The environment information acquisition unit 100 includes the environment information already acquired while the autonomous driving mobile robot in a state in which power management is possible beyond a predetermined standard and driving map information generated in relation to the driving area in which the autonomous driving mobile robot has driven. By using at least a part of the environment information and the driving map information stored in the memory 101 for storing is loaded from the memory.

일정 기준은 예를 들어, 도킹 스테이션에서 충전중인 경우, 또는 배터리의 충전량이 일정 기준 이상 높은 경우, 주행중인 이동로봇의 잔여 이동 경로를 고려할 때, 기준값 이상의 전력량이 남아있는 경우 등이 있다. The predetermined criterion may be, for example, when the docking station is charging, when the amount of charge of the battery is higher than the predetermined criterion, when the remaining movement path of the mobile robot being driven is taken into consideration, and when the amount of power equal to or greater than the reference value remains.

본 발명의 일 실시예에서는 충전 모드 명령이 입력되면 환경 정보를 학습하기 위한 상태로 판단할 수 있으며, 충전 모드 명령은, 자율 주행 이동 로봇이 충전 스테이션에 도킹이 되는 경우, 주행 프로세스는 중단하고, 충전 프로세스를 시작하도록 하며 충전 프로세스 중에 환경 학습 장치의 알고리즘이 수행된다. 제어부(미도시)로부터 충전 모드 명령을 전달 받으면, 충전을 시작하며 주행 모드 명령을 전달 받을 경우 충전을 중단하고 자율 주행을 시작하게 된다.In an embodiment of the present invention, when a charging mode command is input, it can be determined as a state for learning environmental information, and the charging mode command stops the driving process when the autonomous driving mobile robot is docked at the charging station, Let the charging process start and the algorithm of the environmental learning device is performed during the charging process. When a charging mode command is received from the control unit (not shown), charging is started, and when a driving mode command is received, charging is stopped and autonomous driving is started.

충전 모드 명령이 입력되는 상태 이외에도, 일정 기준 이상으로 전력 관리가 가능한 상태로 당업자가 실시할 수 있는 경우에는 환경 학습 장치의 프로세스를 수행할 수 있다.In addition to the state in which the charging mode command is input, the process of the environment learning apparatus may be performed when a person skilled in the art can perform power management in a state in which power management is possible beyond a predetermined standard.

또한, 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 방향이 변경되는 지점 및 상기 객체를 인식하기 위하여 미리 결정된 지점 중 적어도 하나이다.In addition, the feature point is at least one of a point each time the autonomous mobile robot moves a predetermined path, a point at which the direction of the autonomous mobile robot changes, and a predetermined point for recognizing the object.

여기서, 객체를 인식하기 위하여 미리 결정된 지점은 상기 객체를 가장 잘 인식할 수 있는 위치에 해당하는 지점, 예를 들어 객체의 중앙을 인식할 수 있는 지점, 또는 객체의 특징적인 외관이 잘 보이는 지점, 또는 객체로부터 에지 특징점 추출이 용이한(가장 많은) 지점을 의미하여, 에지 추출은 소벨 필터등을 이용하여 에지 영역을 검출하는 방법을 이용하여 수행할 수 있다. )Here, the predetermined point for recognizing the object is a point corresponding to a position at which the object can be best recognized, for example, a point at which the center of the object can be recognized, or a point where the characteristic appearance of the object is well seen; Alternatively, it means a point at which edge feature point extraction is easy (most) from an object, and edge extraction may be performed using a method of detecting an edge region using a Sobel filter or the like. )

환경 정보는 물체 감지(object detection), 인식(recognition)을 수행하기 위한 각 지점의 위치별 데이터이며, 환경 정보 획득부(100)는 미리 만들어진 지도와 라이다(LiDAR) 영상 등의 정보와 지도로부터 가상의 로봇이 돌아다니면서 순간 순간 데이터를 획득하도록 한다.The environment information is data for each location of each point for performing object detection and recognition, and the environment information acquisition unit 100 obtains information such as a pre-made map and LiDAR image from information and the map. The virtual robot moves around and acquires data from moment to moment.

환경 정보와 주행 지도 정보를 포함하는 정보들은 각각의 메모리(101, 102, 103)에 저장될 수 있으며, 메모리는 장치에 포함될 수도 있으며, 각각의 메모리는 통합될 수도 있다.Information including environment information and driving map information may be stored in each memory 101 , 102 , 103 , the memory may be included in the device, and each memory may be integrated.

주행 환경 인식부(200)는 선별된 환경 정보를 이용하여 상기 객체를 인식한다.The driving environment recognition unit 200 recognizes the object by using the selected environment information.

여기서, 선별된 환경 정보는 환경 정보 중에서 객체를 인식하기 위해 결정된 특징 지점에서 획득되는 각각의 환경 정보를 의미하며, 획득된 환경 정보를 이용하여 물체 감지(object detection), 인식(recognition)을 수행한다.Here, the selected environment information means each environment information obtained at a feature point determined to recognize an object among the environment information, and object detection and recognition are performed using the obtained environment information. .

업데이트부(300)는 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 한다.The update unit 300 updates the driving map by using object information according to the recognized object.

여기에서 객체 정보는, 예를들어 인식된 객체가 고정용 식탁인 경우, 해당 객체가 "식탁"이라는 "객체 인식 정보", 식탁의 위치에 관한 "위치 정보", 식탁이 주로 고정되어 사용된다는 "이동성 정보"를 포함할 수 있다. Here, the object information is, for example, when the recognized object is a fixed dining table, "object recognition information" that the object is "table", "location information" about the location of the dining table, "that the dining table is mainly used fixedly" mobility information".

업데이트부(300)는 인지된 물체를 지도 정보와 매칭하여 지도에서의 위치를 추정한다. 구체적으로, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 인지된 물체의 지도 상에서 인지된 물체의 위치에 물체의 카테고리 및 정보를 마킹하여 상기 주행 지도를 업데이트 한다.The update unit 300 estimates a location on the map by matching the recognized object with map information. Specifically, by matching the coordinates of the corresponding feature node of the recognized object information with the coordinates of the driving map for the driving area, the category and information of the object are marked at the position of the recognized object on the map of the recognized object, and the driving map update

전체 지도에 대하여 물체 인식 및 지도에 마킹 과정이 끝나면 프로세스가 종료된다.When the object recognition and map marking process for the entire map is completed, the process is terminated.

주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보낼 수 있다.Because a separate processor is not required to run deep learning while driving, the system can be implemented even with low system specifications. learning) You can call or send a robot to a desired location without the algorithm running.

도 3은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 환경 정보 획득부를 나타낸 블록도이다.3 is a block diagram illustrating an environment information acquisition unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 정보 획득부(100)는 특징 지점 결정부(110), 로딩부(120)를 포함한다.Referring to FIG. 3 , the environment information obtaining unit 100 of the autonomous mobile robot according to an embodiment of the present invention includes a feature point determining unit 110 and a loading unit 120 .

환경 정보 획득부(100)는 자율 주행 이동 로봇이 주행 중에 획득한 데이터들 중에서 로봇이 그 위치를 지나는 순간 획득하는 데이터를 생성하고, 저장된 데이터를 리플레이 하면서 로봇의 위치와 그때 생성된 데이터를 모두 획득하고 물체 감지(object detection), 인식(recognition)을 할 수 있는 형태로 변환한다.The environment information acquisition unit 100 generates data acquired at the moment the robot passes the position among data acquired by the autonomous driving mobile robot while driving, and acquires both the position of the robot and the data generated at that time while replaying the stored data. and transform it into a form that can perform object detection and recognition.

환경 정보 획득부(100)는 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.The environment information acquisition unit 100 includes the environment information already acquired while the autonomous driving mobile robot in a state in which power management is possible beyond a predetermined standard and driving map information generated in relation to the driving area in which the autonomous driving mobile robot has driven. By using at least a portion of the environment information and the driving map information stored in a memory storing load from

환경 정보 획득부(100)는 자율 주행 이동로봇이 충전을 위하여 충전 스테이션에 도킹 후 충전을 시작하면, 로봇의 자율주행을 위한 프로세스를 끄고, 물체 감지(object detection), 인식(recognition) 프로세스를 켠다.The environment information acquisition unit 100 turns off the process for autonomous driving of the robot and turns on the object detection and recognition processes when the autonomous driving mobile robot docks to the charging station for charging and starts charging. .

여기서, 주행 지도는 3차원, 2차원 지도 사용이 가능하고, 주행 영역 상의 영상 정보는 영상 데이터, 라이다(LiDAR)로부터 획득한 데이터는 3차원, 2차원 라이더(LiDAR) 데이터인 것이 바람직하다.Here, it is preferable that 3D and 2D maps can be used as the driving map, image information on the driving area is image data, and data obtained from LiDAR is 3D or 2D LiDAR data.

특징 지점 결정부(110)는 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정한다.The characteristic point determining unit 110 determines a characteristic point for recognizing an object located in the driving area by using at least a part of the environment information and the driving map information stored in the memory.

구체적으로, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여한다.Specifically, among the nodes constituting the driving map, the feature point is designated as a feature node, and a number is assigned to each node according to the order in which the feature nodes are designated.

로딩부(120)는 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하며, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.The loading unit 120 loads the selected environment information according to the determined characteristic point from the memory, and loads the stored environment information when the autonomous mobile robot is located in the characteristic node according to the specified order of the characteristic node. .

구체적으로, 로딩되는 환경 정보는 지도, 점군(point cloud) 정보, 영상 또는 이미지 정보를 포함하며, 지도는 3차원 또는 2차원 지도이며, 점군(point cloud) 정보는 거리(range) 정보와 반사광(intensity) 정보이고, 영상 또는 이미지 정보는 로봇이 주행하면서 찍은 영상 또는 이미지들이다.Specifically, the loaded environment information includes a map, point cloud information, image or image information, the map is a 3D or 2D map, and the point cloud information includes range information and reflected light ( intensity) information, and the image or image information is an image or image taken while the robot is driving.

로딩부(120)는 라이더 데이터 로딩부(121), 영상 데이터 로딩부(123)를 포함한다.The loading unit 120 includes a rider data loading unit 121 and an image data loading unit 123 .

라이더 데이터 로딩부(121)는 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩한다.The lidar data loading unit 121 includes distance information and reflected light extracted from 3D-based point cloud data obtained from the LiDAR when the autonomous driving mobile robot is positioned at the feature node while driving. load information.

영상 데이터 로딩부(123)는 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로(12)부터 획득한 상기 주행 영역 상의 영상 정보를 로딩한다.The image data loading unit 123 is configured to obtain the image data obtained from the image information obtaining unit 12 when the autonomous mobile robot is positioned at the feature node while driving, when the autonomous mobile robot is positioned at the feature node when driving. Load image information on the driving area.

또한, 로딩한 환경 정보를 물체 감지(object detection), 인식(recognition)을 할 수 있는 형태로 변환하는 데이터 변환부를 더 포함할 수 있다.In addition, it may further include a data conversion unit for converting the loaded environment information into a form capable of object detection and recognition.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도를 설명하기 위한 도면이다.4 to 6 are diagrams for explaining a driving map of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도를 나타낸 것이다.4 is a view showing a driving map of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

자율 주행 이동 로봇은 지도 생성 중에 특징이 되는 지점들을 저장하고 그 지점에서의 환경 정보를 함께 저장한다.The autonomous mobile robot stores the points that are characterized during map creation and also stores environmental information at the points.

자율 주행 이동 로봇이 지도 생성을 위하여 graph SLAM을 사용하는 경우 graph의 노드(node)가 특징이 되는 지점으로 사용 가능하다.When an autonomous mobile robot uses graph SLAM for map generation, a node in the graph can be used as a feature point.

여기서, SLAM(Simultaneous Localization And Map-Building 또는 Simultaneous Localization and Mapping)은 로봇이 미지의 환경을 돌아다니면서 로봇에 부착되어 있는 센서만으로 외부의 도움 없이 환경에 대한 정확한 지도를 작성하는 작업을 의미한다.Here, SLAM (Simultaneous Localization And Map-Building or Simultaneous Localization and Mapping) refers to the task of creating an accurate map of the environment without external help only with sensors attached to the robot while walking around an unknown environment.

도 4는 Graph SLAM을 통해 생성되는 지도에서 특징 지점들로 사용 가능한 노드(node) 정보를 나타낸 것이며, 도 4를 참조하면, 주행 지도(400)는 다수의 노드(401, 410) 및 링크(420)로 구성된다.FIG. 4 shows node information usable as feature points in a map generated through Graph SLAM. Referring to FIG. 4 , the driving map 400 includes a plurality of nodes 401 and 410 and links 420 ) is composed of

주행 지도에서 각 점은 노드를 나타내고, 점선은 엣지(edge)를 나타낸 것이다.In the driving map, each point represents a node, and the dotted line represents an edge.

여기서, 노드들(401)은 자율 주행 로봇이 이동한 일 지점을 의미하며, 링크(420)는 각 노드 사이를 연결하는 자율 주행 로봇의 이동 경로를 나타낸다.Here, the nodes 401 denote a point where the autonomous driving robot moves, and the link 420 denotes a movement path of the autonomous driving robot connecting the nodes.

주행 지도 내에 존재하는 장애물(3)들 사이를 자율 주행 이동 로봇이 이동하며 생성되는 경로 상에서, 특징 지점 결정부(110)는 상기 주행 지도를 구성하는 노드들(401) 중에서, 상기 특징 지점을 특징 노드(410)로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여한다.On the path generated by the autonomous driving mobile robot moving between the obstacles 3 existing in the driving map, the feature point determining unit 110 determines the feature point among the nodes 401 constituting the driving map. It is designated as a node 410, and a number is assigned to each node according to the order in which the feature nodes are designated.

여기서, 특징 지점은, 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 경로가 급변하는 지점 및 상기 자율 주행 이동 로봇의 영상 정보 획득부가 중앙을 바라볼 때의 지점 중 적어도 하나이다.Here, the characteristic points are a point each time the autonomous mobile robot moves a predetermined path, a point at which the path of the autonomous mobile robot changes rapidly, and a point when the image information acquisition unit of the autonomous mobile robot looks toward the center. at least one of

또한, 각 노드에 위치한 자율 주행 이동 로봇은 경로 상에서 제1 방향(D1) 또는 제2 방향(D2)으로 이동한다.In addition, the autonomous mobile robot located in each node moves in the first direction D1 or the second direction D2 on the path.

한편, Graph SLAM을 사용하지 않는 경우에는 일정 거리를 이동했을 때 마다 특징 지점을 저장할 수 있으며, 또는 공간의 중앙이나 특징점들이 급변하는 지점 등을 특징 지점으로 저장하는 것도 가능하다.On the other hand, when graph SLAM is not used, the feature point can be stored whenever a certain distance is moved, or the center of space or a point at which the feature points change rapidly can be stored as the feature point.

자율 주행 이동 로봇이 3D 라이다(LiDAR)를 사용하여 물체인식을 하는 경우에는 각 특징 지점(410)에서의 라이다(LiDAR)를 통해 획득한 거리(range) 정보, 반사광(intensity) 정보와, 로봇의 위치 정보를 함께 저장한다.When the autonomous mobile robot recognizes an object using 3D LiDAR (LiDAR), range information obtained through LiDAR at each feature point 410, reflected light (intensity) information, It stores the robot's position information together.

자율 주행 이동 로봇이 이미지 카메라를 사용하여 물체 인식을 하는 경우에는 각 특징 지점에서 획득한 영상과 로봇의 위치 정보를 저장한다.When an autonomous mobile robot recognizes an object using an image camera, it stores images acquired at each feature point and location information of the robot.

로딩부(120)는 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.The loading unit 120 loads the environment information stored when the autonomous driving mobile robot is located in the feature node according to the specified order of the feature nodes.

데이터는 노드의 번호 대로 로딩하며, 3D 라이다(LiDAR)를 사용하여 물체 인식을 하는 경우 점군(point cloud)의 위치 정보, (point cloud)의 반사광 정보를 로딩하며, 인식기를 구성하게 된다.Data is loaded according to the number of nodes, and when an object is recognized using 3D LiDAR, the location information of the point cloud and the reflected light information of the point cloud are loaded, and the recognizer is configured.

도 5는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도를 구체적으로 나타낸 것이다.5 is a detailed view of a driving map of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

도 5를 참조하여, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 노드를 지정하고, 데이터를 로딩하는 방법을 설명하면 주행 지도 내에 존재하는 장애물(3)들 사이를 자율 주행 이동 로봇이 이동하며 생성되는 경로 상에서, 자율 주행 로봇이 이동한 특징 지점들을 각각 제1 특징 노드(411), 제2 특징 노드(412), 제3 특징 노드(413), 제4 특징 노드(414)로 지정하며, 노드가 지정되는 순서에 따라 각각 #1, #2, #3, #4의 번호를 부여한다.Referring to FIG. 5 , a method of designating a node and loading data of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention will be described. On the path generated by the movement of the mobile robot, the first feature node 411 , the second feature node 412 , the third feature node 413 , and the fourth feature node 414 represent feature points moved by the autonomous driving robot, respectively. ), and numbered #1, #2, #3, and #4, respectively, according to the order in which the nodes are designated.

제1 특징 노드(411)는 제1 링크(421)와 제2 링크(422) 사이에 위치하며, 물체의 모서리 부분에서 제1 링크의 방향(L1)에서 제2 링크의 방향(L2)이 급변하는 것을 확인할 수 있다.The first feature node 411 is located between the first link 421 and the second link 422 , and the direction L2 of the second link changes rapidly from the direction L1 of the first link at the edge of the object. can confirm that

제2 특징 노드(412)는 제2 링크(422)와 제3 링크(423) 사이에 위치하며, 물체의 중앙부분(M)에 위치하는 상태이고, 제2 링크의 방향(L3)과 제3 링크의 방향(L4)은 일치하는 경로인 것을 확인할 수 있다.The second feature node 412 is located between the second link 422 and the third link 423 , is located in the central portion M of the object, and is located in the direction L3 of the second link and the third link 423 . It can be confirmed that the direction L4 of the link is a matching path.

제3 특징 노드(413)는 제3 링크(423)와 제4 링크(424) 사이에 위치하며, 물체의 모서리 부분에서 제3 링크의 방향(L5)에서 제4 링크의 방향(L6)이 급변하는 것을 확인할 수 있다.The third feature node 413 is located between the third link 423 and the fourth link 424 , and the direction L6 of the fourth link changes rapidly from the direction L5 of the third link at the edge of the object. can confirm that

로딩부(120)는 지정된 상기 특징 노드의 순서(#1, #2, #3, #4)에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.The loading unit 120 loads the environment information stored when the autonomous driving mobile robot is located in the feature node according to the designated order (#1, #2, #3, #4) of the feature node.

환경 정보는 노드의 번호 대로 로딩하며, 3D 라이다(LiDAR)를 사용하여 물체 인식을 하는 경우 점군(point cloud)의 위치 정보, (point cloud)의 반사광 정보를 로딩하며, 인식기를 구성하게 된다.Environment information is loaded according to the number of nodes, and when object recognition is performed using 3D LiDAR, the location information of the point cloud and the reflected light information of the point cloud are loaded, and the recognizer is configured.

도 6은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도에서 자율 주행 이동 로봇의 영상 정보 획득 과정을 나타낸 것이다.6 is a diagram illustrating a process of acquiring image information of an autonomous mobile robot from a driving map of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.

주행 지도 내에 존재하는 장애물(3)들 사이를 자율 주행 이동 로봇이 이동하며 생성되는 경로(425, 426) 상에서, 자율 주행 로봇의 영상 정보 획득부는 각각 특징 노드(1a, 1b, 1c) 상에서 장애물의 정면(T1)과 측면(T2, T3)을 촬영할 수 있다.On the paths 425 and 426 generated by the autonomous driving mobile robot moving between the obstacles 3 existing in the driving map, the image information obtaining unit of the autonomous driving robot determines the obstacles on the feature nodes 1a, 1b, and 1c, respectively. Front (T1) and side (T2, T3) can be photographed.

특징 노드(1a)에서 장애물의 정면을 바라볼 때, 카메라의 회전 각도에 따른 영역(S)을 촬영할 수 있으며, 추후 데이터 복기 시 정면과 측면에서 바라본 장애물을 각각 비교하여 장애물을 구체적으로 판별할 수 있으며, 라이더 데이터와 비교하여 정지한 장애물과 이동하는 장애물을 비교할 수도 있다.When looking at the front of the obstacle from the feature node 1a, the area S according to the rotation angle of the camera can be photographed, and the obstacle can be specifically identified by comparing the obstacles viewed from the front and the side during data recovery later. It is also possible to compare stationary and moving obstacles by comparing the rider data.

도 7은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 환경 인식부를 나타낸 블록도이다.7 is a block diagram illustrating a driving environment recognition unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 주행 환경 인식부(200)는 라이더 데이터 인식부(210), 영상 데이터 인식부(220), 객체 정보 매칭부(230)를 포함한다.Referring to FIG. 7 , the driving environment recognition unit 200 of the autonomous mobile robot according to an embodiment of the present invention includes a lidar data recognition unit 210 , an image data recognition unit 220 , and an object information matching unit 230 . includes

주행 환경 인식부(200)는 딥 러닝(deep learning) 엔진에 변환된 정보를 넣고 물체 감지(object detection), 인식(recognition)을 수행한다.The driving environment recognition unit 200 puts the converted information into a deep learning engine and performs object detection and recognition.

구체적으로, 주행 환경 인식부(200)는 CNN(Convolutional Neural Network) 방법을 이용하여 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식한다.Specifically, the driving environment recognition unit 200 recognizes object information included in the surrounding environment of the feature points by using a convolutional neural network (CNN) method.

CNN(Convolutional Neural Network)은 기존의 신경망(Neural Network)에서 이미지의 특성을 뽑을 수 있도록 레이어(Layer)가 구성되어 있어 새로운 이미지에서도 분류를 할 수 있도록 설계된 형태이다.Convolutional Neural Network (CNN) is designed to classify new images as layers are configured to extract image characteristics from existing neural networks.

그러나 주행 환경 인식부의 모델이 합성곱 신경망 기법으로 학습된 모델로 반드시 한정되는 것은 아니며, 다른 종류의 딥 러닝 기법에 의해 학습된 모델이 사용될 수도 있다.However, the model of the driving environment recognition unit is not necessarily limited to a model trained by a convolutional neural network technique, and a model trained by other types of deep learning techniques may be used.

본 발명의 또 다른 일 실시예에 따르면, 상기 주행 환경 인식부는, 기 분류된 트레이닝 데이터로 부터 추출된 특징점을 입력으로 하여, 컨볼루션 신경망의 필터 계수를 결정하기 위한 학습을 미리 수행한 것으로서, 필터 계수를 결정하기 위한 딥러닝 학습부를 포함하여 구성될 수도 있다. 또한 필터 계수를 결정하기 위한 학습은 충전 중에 이루어지는 것이 바람직하다.According to another embodiment of the present invention, the driving environment recognizing unit has previously performed learning to determine the filter coefficients of the convolutional neural network by inputting the feature points extracted from the pre-classified training data as an input. It may be configured to include a deep learning learning unit for determining the coefficients. It is also preferable that learning to determine the filter coefficients takes place during charging.

라이더 데이터 인식부(210)는 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.The lidar data recognition unit 210 recognizes an object included in the surrounding environment of the feature points based on the distance information and the reflected light information loaded from the lidar data loading unit.

영상 데이터 인식부(220)는 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.The image data recognition unit 220 recognizes an object included in the surrounding environment of the feature points based on the image information loaded from the image data loading unit.

객체 정보 매칭부(230)는 상기 라이더 데이터 인식부에서 인식한 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류한다.The object information matching unit 230 compares the object information recognized by the lidar data recognition unit with the object information recognized by the image data recognition unit for each coordinate of the feature node to classify the object information in detail.

객체 정보 매칭부는 영상 데이터 인식부에서의 판단결과와, 라이더 데이터 인식부에서의 판단 결과를 고려하여 객체를 분류한다. 만약, 영상 데이터 인식부에서의 판단결과와, 라이더 데이터 인식부에서의 판단 결과를 다를 경우, 상황에 따라 가중치를 달리하여 합산한 결과에 따라 객체를 분류할 수 있다. 예를 들여, 조명이 어두운 경우라면, 객체 정보 매칭부는 라이더 데이터 인식부의 판단 결과에 더 높은 가중치를 부여하여, 객체를 분류할 수 있다.The object information matching unit classifies the object in consideration of the determination result of the image data recognition unit and the determination result of the lidar data recognition unit. If the determination result in the image data recognition unit is different from the determination result in the lidar data recognition unit, the object may be classified according to the summation result by varying the weight depending on the situation. For example, if the lighting is dark, the object information matching unit may classify the object by giving a higher weight to the determination result of the rider data recognition unit.

또한, 최종적으로 인식된 물체의 위치 획득 방법에 있어서, 3D 라이다(LiDAR) 기반 물체 인식의 경우 인식된 물체가 있는 점군(point cloud)의 위치 정보를 입력 데이터에서 바로 얻을 수 있다.In addition, in the method of obtaining the position of the finally recognized object, in the case of 3D LiDAR-based object recognition, position information of a point cloud in which the recognized object is located can be obtained directly from the input data.

이미지 기반의 물체 인식의 경우 라이다(LiDAR)가 적용된 경우와 아닌 경우로 구분이 가능하며, 구체적으로, 3D 라이다(LiDAR)가 같이 장착되어 있는 경우, 3D 라이다(LiDAR)와 이미지를 매칭하여 이미지에 투영된 3차원 위치정보를 획득할 수 있으며, 2D 라이다(LiDAR)가 같이 장착되어 있는 경우 2D 라이다(LiDAR)에서 획득된 지도상의 벽의 정보와 이미지 정보를 매칭하여 이미지에서 인식된 물체와 위치 정보를 매칭한다.In the case of image-based object recognition, it is possible to distinguish between a case where LiDAR is applied and a case where LiDAR is not applied. Specifically, when 3D LiDAR is installed together, the image is matched with 3D LiDAR. 3D location information projected on the image can be obtained by doing this, and when 2D LiDAR is installed, it is recognized from the image by matching the wall information and image information on the map obtained from 2D LiDAR. Matches the object and location information.

라이다(LiDAR)가 적용되지 않은 경우 자율 주행 이동 로봇이 이동하면서 만든 지도와 로봇의 위치 및 시야(FOV)를 매칭하여 인식된 물체의 위치를 추정한다.In the case where LiDAR is not applied, the position of the recognized object is estimated by matching the map created by the autonomous driving mobile robot and the position and field of view (FOV) of the robot.

도 8은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 라이더 데이터 인식부를 설명하기 위한 도면이다.8 is a view for explaining a lidar data recognition unit of the environment learning apparatus of the autonomous driving mobile robot according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 라이더 데이터 인식부(210)는 제1 입력부(211), 제1 형상 추출부(212), 제1 객체 인식부(213)를 포함한다.Referring to FIG. 8 , the lidar data recognition unit 210 of the autonomous mobile robot according to an embodiment of the present invention includes a first input unit 211 , a first shape extraction unit 212 , and a first object recognition unit 213 . ) is included.

제1 입력부(211)는 라이더 데이터 로딩부로부터 획득한 상기 거리 정보와 반사광 정보를 입력 받는다.The first input unit 211 receives the distance information and reflected light information obtained from the lidar data loading unit.

제1 형상 추출부(212)는 상기 거리 정보와 반사광 정보에 기초하여, 상기 점군(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.The first shape extracting unit 212 synthesizes or filters the cross sections of candidate objects at each point of the point cloud data based on the distance information and the reflected light information, and includes in the surrounding environment of the feature points. Extract the shapes of objects.

점군(point cloud) 데이터는, 라이더 데이터 인식부(210)가 사용할 수 있는 형태의 포맷으로서, 로딩이 가능한 도면 설계/제작 프로 그램을 이용하여 xyz, las 등의 형태로 스캔 정보로부터 추출될 수 있다. 예를 들어, 점군(point cloud) 데이터는, 물체로 판단되는 후보 객체의 윤곽, 형체, 구조 등을 나타내는 형체를 나타내는 이미지를 포함할 수 있다.The point cloud data is a format that the rider data recognition unit 210 can use, and can be extracted from the scan information in the form of xyz, las, etc. using a drawing design/production program that can be loaded. . For example, the point cloud data may include an image representing a shape representing an outline, shape, structure, etc. of a candidate object determined as an object.

제1 형상 추출부(212)는 미리 지정된 복수개의 기준 높이에서의 단면을 잘라내어 합성하거나 필터링할수 있다. 예를 들어, 기준 높이는 30cm, 50cm, 1m 등과 같이 다양한 높이 별로 기 지정될 수 있으며, 필터링을 통해 물체의 중간 높이에 돌출부가 있거나, 상단의 높이에 돌출부가 있거나, 하단의 높이에 특정 물건 등이 있음을 확인할 수 있다.The first shape extracting unit 212 may cut and synthesize or filter cross-sections at a plurality of predetermined reference heights. For example, the reference height can be preset for various heights such as 30cm, 50cm, 1m, etc., and through filtering, there is a protrusion in the middle height of the object, there is a protrusion in the upper height, or a specific object is in the lower height. It can be confirmed that there is

제1 객체 인식부(213)는 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식한다.The first object recognition unit 213 classifies the shapes of the objects from the extracted shapes according to attributes to recognize the objects.

예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(214)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체에 따른 객체 정보를 마킹한다.For example, in the shape of the extracted objects, when recognizing that a specific object is a sofa or a doll, the type of the recognized object is output from the output unit 214, and object information according to the object output from the pre-stored driving map is marked. .

도 9는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 영상 데이터 인식부를 설명하기 위한 도면이다.9 is a view for explaining an image data recognition unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 영상 데이터 인식부(220)는 제2 입력부(221), 제2 형상 추출부(222), 제2 객체 인식부(223)를 포함한다.Referring to FIG. 9 , the image data recognition unit 220 of the autonomous mobile robot according to an embodiment of the present invention includes a second input unit 221 , a second shape extraction unit 222 , and a second object recognition unit 223 . ) is included.

제2 입력부(221)는 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는다.The second input unit 221 receives the image information obtained from the image data loading unit.

제2 형상 추출부(222)는 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.The second shape extraction unit 222 extracts shapes of objects included in the surrounding environment of the feature points by synthesizing or filtering the cross sections of candidate objects at each point of the image information on the driving area included in the image information. .

미리 지정된 복수개의 기준 높이에서의 단면을 잘라내어 합성하거나 필터링할수 있다. 예를 들어, 기준 높이는 30cm, 50cm, 1m 등과 같이 다양한 높이 별로 기 지정될 수 있으며, 필터링을 통해 물체의 중간 높이에 돌출부가 있거나, 상단의 높이에 돌출부가 있거나, 하단의 높이에 특정 물건 등이 있음을 확인할 수 있다.Cross-sections at a plurality of predetermined reference heights can be cut and synthesized or filtered. For example, the reference height can be preset for various heights such as 30cm, 50cm, 1m, etc., and through filtering, there is a protrusion in the middle height of the object, there is a protrusion in the upper height, or a specific object is in the lower height. It can be confirmed that there is

제2 객체 인식부(223)는 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식한다.The second object recognition unit 223 recognizes the object by classifying the shapes of the objects according to attributes from the extracted shapes of the objects.

예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(224)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체에 따른 객체 정보를 마킹한다.For example, in the shape of the extracted objects, when recognizing that a specific object is a sofa or a doll, the type of the recognized object is output from the output unit 224, and object information according to the object output from the pre-stored driving map is marked. .

본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치는 3D 라이다(LiDAR)와 이미지 기반 물체 인식 시스템을 사용할 수 있으며, 이에 따라 두 시스템을 각각 사용할 때의 차이점을 보완할 수 있다.The environment learning apparatus for the autonomous driving mobile robot according to an embodiment of the present invention may use 3D LiDAR (LiDAR) and an image-based object recognition system, thereby compensating for differences between using the two systems.

예를 들어, 3D 라이다(LiDAR)의 경우 입력 데이터가 많고 차수가 높으며, 물체의 종류를 출력하고, 인식된 물체의 위치를 획득하는 후처리가 쉽지만, 이미지 기반 물체 인식 시스템의 경우 입력데이터의 수가 적고 차수가 낮으며, 물체의 종류를 출력하고, 인식된 물체의 위치를 획득하는 후처리에 많은 연산이 소요된다.For example, in the case of 3D LiDAR (LiDAR), the input data is large and the order is high, and the post-processing of outputting the type of object and obtaining the position of the recognized object is easy, but in the case of an image-based object recognition system, the input data The number is small and the order is low, and a lot of computation is required for post-processing to output the type of object and obtain the position of the recognized object.

도 10은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 객체 정보 매칭부를 설명하기 위한 도면이다.10 is a diagram for explaining an object information matching unit of an environment learning apparatus of an autonomous driving mobile robot according to an embodiment of the present invention.

도 10의 (a)는 TV와 나무로 된 TV장식장을 나타낸 것이고, 도 10의 (b)는 유리로 이루어진 장식장을 나타낸 것이다.Fig. 10 (a) shows a TV and a wooden TV cabinet, and Fig. 10 (b) shows a glass cabinet.

도 10의 (a)와 (b)는 각각 제10 특징 노드에 해당하는 #10 순서의 노드에서 획득하는 경우를 예로 들어 나타낸 것이다.10 (a) and (b) illustrate a case in which acquisition is obtained from a node of order #10, which corresponds to a tenth feature node, respectively.

도 10의 (a)에서, 라이더 데이터 인식부가 TV장식장(241)과 TV장식장 사이의 공간(242)을 인식하여, 틈이 있는 가구임을 판별하게 된다. In Figure 10 (a), the lidar data recognition unit recognizes the space 242 between the TV cabinet 241 and the TV cabinet, and discriminates that the furniture has a gap.

또한, 영상 데이터 인식부가 틈이 있는 가구이며, 장식장의 내부가 비치지 않는 나무 재질로 이루어진 것을 확인할 수 있으며, 상단에 TV(243)가 놓여짐을 확인할 수 있다.In addition, it can be confirmed that the image data recognition unit is a piece of furniture with a gap and is made of a wood material that does not reflect the inside of the decorative cabinet, and it can be confirmed that the TV 243 is placed on the top.

객체 정보 매칭부는 라이더 데이터 인식부에서 인식된 틈이 있는 가구 정보에 해당하는 장식장임을 판단한 결과와, 영상 데이터 인식부에서 판단한 나무 재질의 가구임을 판단한 결과를 매칭하여 기존의 장애물로 인식된 객체가 구체적으로는 나무 재질로 이루어진 TV 장식장임을 판별할 수 있다.The object information matching unit matches the result of determining that it is a decorative cabinet corresponding to the furniture information with gaps recognized by the rider data recognition unit and the result of determining that the furniture is made of wood material determined by the image data recognition unit, so that the object recognized as an existing obstacle is specific. It can be discriminated that it is a TV cabinet made of wood.

도 10의 (b)에서, 라이더 데이터 인식부가 장식장(245)이 존재함을 판단하고, 장식장이 바닥과 틈이 없이 놓여진 것을 확인할 수 있다.In (b) of FIG. 10 , the rider data recognition unit determines that the decoration 245 exists, and it can be confirmed that the decoration is placed without a gap between the floor and the floor.

또한, 영상 데이터 인식부가 장식장의 내부가 비치는 것을 확인할 수 있고, 이에 따라 유리문(244) 또는 내부가 비어있는 것으로 판별할 수 있다.In addition, the image data recognition unit may confirm that the interior of the decoration is reflected, and accordingly, the glass door 244 or the interior may be determined to be empty.

객체 정보 매칭부는 라이더 데이터 인식부에서 바닥과 틈이 없이 놓여진 장식장임을 판단한 결과와, 영상 데이터 인식부에서 판단한 유리 재질의 가구임을 판단한 결과를 매칭하여 기존의 장애물로 인식된 객체가 구체적으로는 유리 재질로 이루어진 장식장임을 판별할 수 있다.The object information matching unit matches the result of determining that it is a decorative cabinet placed without floor and gap in the lidar data recognition unit and the result of determining that the furniture is made of glass material determined by the image data recognition unit, so that the object recognized as an existing obstacle is specifically glass material It can be identified as a decorative cabinet made of

도 10의 (a)와 (b)에 나타난 바와 같이, #10 순서의 노드에서 장식장에 해당하는 장애물을 1차적으로 판별하였더라도, 본원 발명의 객체 정보 매칭부를 이용하여 객체 정보를 더욱 상세히 분류할 수 있다. 또한, 이에 따라 틈이 있는 가구의 경우 틈의 높이에 따라, 자율 주행 이동 로봇이 가구의 내부까지 청소하는 것이 가능하며, 유리 재질로 이루어진 장식장임을 판별할 경우, 부딪힘을 방지하기 위해 장애물과의 이격 거리를 조절하여 운행하도록 제어할 수 있다.As shown in (a) and (b) of Figure 10, even if the obstacle corresponding to the decoration is primarily determined in the node #10, the object information can be classified in more detail using the object information matching unit of the present invention. have. In addition, in the case of furniture with gaps according to the height of the gap, the autonomous driving mobile robot can clean even the inside of the furniture. It can be controlled to drive by adjusting the distance.

또한, 본 발명의 또 다른 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치에서 라이더 데이터 인식부와 영상 데이터 인식부가 배경과 실제 강아지 또는 강아지 인형을 인식하는 경우, 객체 정보 매칭부는 라이더 데이터 인식부에서 인식한 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체 정보를 비교할 수 있다.In addition, when the lidar data recognition unit and the image data recognition unit recognize the background and the real puppy or puppy doll in the environment learning apparatus of the autonomous driving mobile robot according to another embodiment of the present invention, the object information matching unit is the lidar data recognition unit. The recognized object information may be compared with the object information recognized by the image data recognition unit.

예를 들어, 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류할 수 있다. 도 10에 나타난 #10 순서의 객체 정보 이외에, #9 순서와 #11 순서의 노드를 비교하며, 또한 각 노드에서는 이미지의 특징 지점에 따라 비교할 수도 있다.For example, object information may be classified in detail by comparing for each coordinate of a feature node. In addition to the object information of order #10 shown in FIG. 10 , nodes of order #9 and order of #11 are compared, and each node may also be compared according to feature points of the image.

#9 순서와 #11 순서의 노드에서도 강아지가 자체로 인식되었다면, 실제 움직이는 강아지임을 판별하고, 영상 데이터 인식부에서 정지하는 강아지 인형의 측면이 인식될 경우 강아지 인형으로 판별하며 이에 따라, 자율 주행 이동 로봇의 주행을 제어할 수 있다.If the puppy is recognized as itself in the nodes of #9 and #11, it is determined that it is a real moving puppy, and if the side of the puppy doll that is stopped by the image data recognition unit is recognized, it is determined as a puppy doll. You can control the movement of the robot.

또한, 객체 정보 매칭부는 라이더 데이터 인식부의 객체 정보와 영상 데이터 인식부에서 인식한 객체 정보의 가중치를 상황에 따라 다르게 두어 분류할 수 있다.In addition, the object information matching unit may classify by placing different weights of the object information of the lidar data recognition unit and the object information recognized by the image data recognition unit according to the situation.

예를 들어 높이에 따라 상단의 높이에서 장애물을 판단하였을 때는 정지한 물체에 가중치를 더하며, 바닥에서 인식되었을 경우에는 이동하는 물체에 가중치를 더하게 된다. 또한, 물체와 연관된 장애물과 같이 강아지와 함께 개 집이 인식되었을 경우에는 강아지에 가중치를 더하게 된다. For example, when an obstacle is determined from the height of the top according to the height, a weight is added to a stationary object, and when it is recognized from the floor, a weight is added to a moving object. In addition, when a dog house is recognized together with a dog, such as an obstacle related to an object, a weight is added to the dog.

이에 따라, 실제 강아지가 있음을 판별하는 경우, 주행 경로상에 위치하는 강아지의 배설물을 함께 탐지하는 배설물 탐지 모드를 작동하여, 주행 시 배설물을 자율 주행 이동 로봇이 지나가는 상황을 방지할 수 있다.Accordingly, when it is determined that there is an actual dog, the excrement detection mode for detecting the excrement of the dog located on the driving path is operated to prevent the autonomous driving mobile robot from passing the excrement during driving.

도 11 내지 도 14는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법을 나타낸 흐름도이다.11 to 14 are flowcharts illustrating an environment learning method of an autonomous driving mobile robot according to an embodiment of the present invention.

도 11은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법을 나타낸 흐름도이다.11 is a flowchart illustrating an environment learning method of an autonomous mobile robot according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은 자율 주행 로봇이 충전을 하기 위해 도킹하는 단계(S11)에서 시작한다.Referring to FIG. 11 , the method for learning the environment of the autonomous driving mobile robot according to an embodiment of the present invention starts in step S11 in which the autonomous driving robot docks for charging.

단계 S11에서 로봇 도킹 후 프로세서가 시작되며, 로봇이 충전을 위하여 충전 스테이션에 도킹 후 충전을 시작하면, 로봇의 자율주행을 위한 프로세스를 끄고, 물체 감지(object detection), 인식(recognition)프로세스를 켠다.In step S11, the processor starts after docking the robot, and when the robot starts charging after docking at the charging station for charging, turn off the process for autonomous driving of the robot and turn on the object detection and recognition processes .

단계 S12에서 프로세서가 로봇의 자율 주행 또는 지도 생성 과정에서 획득한 데이터들을 로딩한다.In step S12, the processor loads data acquired during the autonomous driving of the robot or the map generation process.

단계 S12에서 자율 주행 또는 지도 생성 과정에서 획득한 데이터를 로딩하며, 이 경우 3차원, 2차원 지도 사용이 가능하고, 3차원, 2차원 LiDAR 데이터 또는 영상 데이터 사용이 가능하다.In step S12, data acquired in the process of autonomous driving or map generation is loaded. In this case, 3D or 2D maps can be used, and 3D or 2D LiDAR data or image data can be used.

구체적으로, 로딩되는 데이터 종류는 지도의 경우 3차원 또는 2차원 지도, 점군(point cloud) 정보의 경우 거리(range) 정보, 반사광(intensity) 정보, 영상 또는 이미지 정보의 경우 로봇이 주행하면서 찍은 영상 또는 이미지들을 포함한다.Specifically, the type of data to be loaded is a 3D or 2D map in the case of a map, range information in the case of point cloud information, intensity information in the case of an image or image information, and an image taken while the robot is driving in the case of image or image information. or images.

단계 S13에서 로딩된 데이터들 중에서 상기 로봇이 일 지점을 지나는 순간의 위치별 데이터를 생성한다.Among the data loaded in step S13, data for each position at the moment the robot passes a point is generated.

단계 S13에서 물체 감지(object detection), 인식(recognition)을 수행하기 위한 각 위치별 데이터를 획득하며, 미리 만들어진 지도와 LiDAR 영상 등의 정보와 지도로부터 가상의 로봇이 돌아다니면서 순간 순간 데이터를 획득하도록 한다.In step S13, data for each location is acquired for performing object detection and recognition, and the virtual robot moves around and acquires instantaneous data from information such as pre-made maps and LiDAR images and maps. do.

구체적으로, 로봇이 주행 중에 획득한 데이터들 중에서 로봇이 그 위치를 지나는 순간 획득하는 데이터를 생성하며, 저장된 데이터를 리플레이 하면서 로봇의 위치와 그때 생성된 데이터를 모두 획득하고 물체 감지(object detection), 인식(recognition)을 할 수 있는 형태로 변환한다.Specifically, from among the data acquired by the robot while driving, data acquired at the moment the robot passes the position is generated, and while the stored data is replayed, both the position of the robot and the data generated at that time are acquired and object detection, Convert it into a form that can be recognized.

단계 S14에서 상기 위치별 데이터에서 상기 일 지점에 위치한 물체를 감지하고 인식한다.In step S14, an object located at the one point is sensed and recognized in the data for each location.

단계 S14에서 획득된 데이터를 이용하여 물체 감지(object detection), 인식(recognition)을 수행한다.Object detection and recognition are performed using the data obtained in step S14.

여기서, 딥러닝(deep learning) 엔진에 변환된 정보를 넣고 물체 감지(object detection)와 인식(recognition)을 수행한다.Here, the converted information is put into a deep learning engine and object detection and recognition are performed.

단계 S15에서 상기 감지된 물체의 위치를 지도에 마킹하고, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은 종료된다.In step S15, the detected position of the object is marked on the map, and the method for learning the environment of the autonomous mobile robot according to an embodiment of the present invention is terminated.

단계 S15에서 인지된 물체를 지도 정보와 매칭하여 지도에서의 위치를 추정하고, 지도 상에서 인지된 물체의 위치에 물체의 카테고리 및 정보를 마킹하게 된다. 이후 전체 지도에 대하여 물체 인식 및 지도에 마킹 과정이 끝나면 프로세스가 종료된다.The object recognized in step S15 is matched with the map information to estimate the location on the map, and the category and information of the object are marked on the location of the object recognized on the map. Then, when the object recognition and map marking process for the entire map is completed, the process is terminated.

도 12를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은 환경 정보 획득부가 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계(S100)에서 시작한다.Referring to FIG. 12 , the environment learning method of the autonomous driving mobile robot according to an embodiment of the present invention starts in step S100 in which the environment information acquisition unit loads selected environment information according to a characteristic point from the memory.

단계 S100에서 환경 정보 획득부가 메모리에 저장된 환경 정보와 주행 지도 정보 중 적어도 일부를 이용하여, 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.In step S100, the environment information acquisition unit determines characteristic points for recognizing an object located in the driving area using at least a part of the environment information and driving map information stored in the memory, and generates the selected environment information according to the determined characteristic point. load from memory.

구체적으로, 환경 정보 획득부(100)는 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리(101)에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.Specifically, the environmental information acquisition unit 100 generates environmental information that has already been acquired while the autonomous driving mobile robot in a state in which power management is possible over a certain standard and is generated in relation to the driving area in which the autonomous driving mobile robot has driven. By using at least a part of the driving map information and the environment information stored in the memory 101 for storing driving map information, characteristic points for recognizing an object located in the driving area are determined, and selection according to the determined characteristic point loaded environment information is loaded from the memory.

또한, 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 경로가 급변하는 지점 및 상기 자율 주행 이동 로봇의 영상 정보 획득부가 중앙을 바라볼 때의 지점 중 적어도 하나이다.In addition, the characteristic points are a point each time the autonomous driving mobile robot moves a predetermined path, a point at which the path of the autonomous driving mobile robot changes rapidly, and a point when the image information obtaining unit of the autonomous driving mobile robot looks to the center. at least one of the points.

위치 데이터는 물체 감지(object detection), 인식(recognition)을 수행하기 위한 각 위치별 데이터이며, 환경 정보 획득부(100)는 미리 만들어진 지도와 라이다(LiDAR) 영상 등의 정보와 지도로부터 가상의 로봇이 돌아다니면서 순간 순간 데이터를 획득하도록 한다.The location data is data for each location for performing object detection and recognition, and the environment information acquisition unit 100 obtains virtual information from maps and information such as pre-made maps and LiDAR images. Let the robot move around and acquire data from moment to moment.

단계 S200에서 주행 환경 인식부가 상기 선별된 환경 정보를 이용하여 상기 객체를 인식한다.In step S200, the driving environment recognition unit recognizes the object using the selected environment information.

단계 S300에서 업데이트부가 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 한다.In step S300, the update unit updates the driving map by using object information according to the recognized object.

구체적으로, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 상기 주행 지도를 업데이트 한다.Specifically, the driving map is updated by matching the coordinates of the corresponding feature node of the recognized object information with the coordinates of the driving map for the driving area.

도 13을 참조하면, 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계(S100)는, Referring to Figure 13, the step of loading the selected environment information according to the feature point from the memory (S100),

단계 S110에서 특징 지점 결정부가 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여한다.In step S110, the feature point determining unit designates the feature point as a feature node among the nodes constituting the driving map, and assigns a number to each node according to the order in which the feature nodes are designated.

이후, 로딩부가 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.Thereafter, the loading unit loads the stored environment information when the autonomous driving mobile robot is located in the feature node according to the specified order of the feature nodes.

구체적으로, 단계 S121에서 라이더 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩한다.Specifically, when the lidar data loading unit is located at the feature node when the autonomous driving mobile robot is driving in step S121, distance information extracted from the 3D-based point cloud data obtained from the LiDAR and loading the reflected light information.

단계 S123에서 영상 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩한다.In step S123, when the image data loading unit is positioned at the feature node when the autonomous driving mobile robot is driving, image information on the driving area acquired from the image information acquisition unit is loaded.

도 14를 참조하면, 주변 환경에 포함된 객체 정보를 인식하는 단계(S200)는, CNN(Convolutional Neural Network) 방법을 이용하여 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식하는 것을 특징으로 하되,14, the step of recognizing object information included in the surrounding environment (S200) is characterized in that the object information included in the surrounding environment of the feature points is recognized using a CNN (Convolutional Neural Network) method. ,

단계 S211 내지 S213에서 라이더 데이터 인식부가 상기 라이더 데이터 로딩부로부터 획득한 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식한다.In steps S211 to S213, the lidar data recognition unit recognizes object information included in the surrounding environment of the feature points based on the distance information and the reflected light information obtained from the lidar data loading unit.

구체적으로, 단계 S211에서 제1 입력부(211)는 상기 라이더 데이터 로딩부로부터 획득한 거리 정보와 반사광 정보를 입력 받는다.Specifically, in step S211, the first input unit 211 receives the distance information and reflected light information obtained from the lidar data loading unit.

단계 S212에서 제1 형상 추출부(212)는 거리 정보와 반사광 정보에 기초하여, 상기 점군(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.In step S212, the first shape extraction unit 212 synthesizes or filters the cross-sections of candidate objects at each point of the point cloud data based on the distance information and the reflected light information, so as to obtain information about the surrounding environment of the feature points. Extracts the shapes of included objects.

단계 S213에서 제1 객체 인식부(213)는 추출된 상기 객체들의 형상에서, 상기 객체들을 속성에 따라 분류하여 상기 자율 주행 이동 로봇이 인식한 객체들의 종류를 결정하여, 객체 정보로 인식한다.In step S213 , the first object recognition unit 213 classifies the objects according to attributes from the extracted shapes of the objects, determines the types of objects recognized by the autonomous driving mobile robot, and recognizes the objects as object information.

예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(214)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체의 종류를 마킹한다.For example, in the shape of the extracted objects, when recognizing that a specific object is a sofa or a doll, the type of the recognized object is output from the output unit 214, and the type of the object output from the pre-stored driving map is marked.

단계 S221 내지 S223에서 영상 데이터 인식부가 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식한다.In steps S221 to S223, the image data recognition unit recognizes object information included in the surrounding environment of the feature points based on the image information obtained from the image data loading unit.

단계 S221에서 제2 입력부(221)는 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는다.In step S221 , the second input unit 221 receives the image information obtained from the image data loading unit.

단계 S222에서 제2 형상 추출부(222)는 상기 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.In step S222, the second shape extraction unit 222 synthesizes or filters the cross sections of candidate objects at each point of the image information on the driving area included in the image information, extract the shape.

단계 S223에서 제2 객체 인식부(223)는 추출된 상기 객체들의 형상에서, 상기 객체들을 속성에 따라 분류하여 상기 자율 주행 이동 로봇이 인식한 객체들의 종류를 결정하여, 객체 정보로 인식한다.In step S223 , the second object recognition unit 223 classifies the objects according to attributes from the extracted shapes of the objects, determines the types of objects recognized by the autonomous driving mobile robot, and recognizes the objects as object information.

예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(224)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체의 종류를 마킹한다.For example, in the shape of the extracted objects, when recognizing that a specific object is a sofa or a doll, the type of the recognized object is output from the output unit 224, and the type of the object output from the pre-stored driving map is marked.

단계 S230에서 객체 정보 매칭부가 상기 라이더 데이터 인식부에서 인식한 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류한다.In step S230, the object information matching unit compares the object information recognized by the lidar data recognition unit with the object information recognized by the image data recognition unit for each coordinate of the feature node to classify the object information in detail.

또한, 자율 주행 이동 로봇의 환경 학습 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In addition, there is provided a computer-readable recording medium in which a program for executing an environment learning method of an autonomous driving mobile robot is recorded on a computer.

이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Such computer-readable media may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is only one embodiment of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to implement in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, and should be construed to include various embodiments within the scope equivalent to the content described in the claims.

Claims

An environment learning apparatus for an autonomous driving mobile robot, comprising:
a memory for storing environmental information already acquired while driving by the autonomous mobile robot in a state in which power management is possible beyond a predetermined standard and driving map information generated in relation to a driving region in which the autonomous mobile robot has traveled;
For recognizing an object located in the driving area by using at least a portion of the environment information and the driving map information stored in the memory while charging in a state in which the autonomous driving mobile robot is docked at a charging station according to a charging mode command an environment information obtaining unit that determines characteristic points and loads selected environment information according to the determined characteristic points from the memory;
a driving environment recognition unit for recognizing the object using the selected environment information while charging in a state in which the autonomous driving mobile robot is docked at the charging station according to the charging mode command; and
and an update unit configured to update the driving map using object information according to the recognized object while charging in a state in which the autonomous driving mobile robot is docked at the charging station according to the charging mode command. Environment learning device for autonomous mobile robot.

According to claim 1,
The driving map information includes a plurality of nodes and links constituting a driving map related to the driving area,
The environment information may include image information on the driving area acquired during driving; and
An environment learning apparatus for an autonomous driving mobile robot, comprising: 3D-based point cloud data according to a reflected light signal reflected by an object obtained from an external LiDAR.

3. The method of claim 2,
The characteristic point is
The autonomous driving mobile robot, characterized in that it is at least one of a point each time the autonomous driving mobile robot moves a predetermined path, a point at which the direction of the autonomous driving mobile robot is changed, and a predetermined point for recognizing the object. Environmental Learning Device.

3. The method of claim 2,
The environment information acquisition unit,
a feature point determiner configured to determine a feature point for recognizing an object located in the driving area using at least a portion of the environment information and the driving map information stored in the memory; and
and a loading unit for loading the selected environment information according to the determined feature point from the memory.

5. The method of claim 4,
The feature point determining unit is configured to designate the feature point as a feature node among the nodes constituting the driving map, and assign a number to each node according to the order in which the feature nodes are designated,
and the loading unit loads the environment information stored when the autonomous mobile robot is located in the feature node according to the specified order of the feature nodes.

6. The method of claim 5,
The loading unit,
a lidar data loading unit that loads distance information and reflected light information extracted from point cloud data obtained from the LiDAR when the autonomous mobile robot is located in the feature node while driving; and
and an image data loading unit for loading image information on the traveling area obtained from the image information obtaining unit when the autonomous moving mobile robot is positioned at the feature node while driving; learning device.

7. The method of claim 6,
The driving environment recognition unit,
a lidar data recognition unit for recognizing objects included in the surrounding environment of the feature points based on the distance information and reflected light information loaded from the lidar data loading unit; and
and an image data recognition unit for recognizing an object included in the surrounding environment of the feature points based on the image information loaded from the image data loading unit.

8. The method of claim 7,
The rider data recognition unit,
a first input unit receiving the distance information and reflected light information obtained from the lidar data loading unit;
A first for extracting shapes of objects included in the surrounding environment of the feature points by synthesizing or filtering cross sections of candidate objects at each point of the point cloud data based on the distance information and the reflected light information shape extraction unit;
and a first object recognition unit for recognizing an object by classifying the shapes of the objects according to attributes from the extracted shapes of the objects.

8. The method of claim 7,
The image data recognition unit,
a second input unit receiving the image information obtained from the image data loading unit;
a second shape extracting unit for synthesizing or filtering cross sections of candidate objects at each point of the image information on the driving area included in the image information, and extracting shapes of objects included in the surrounding environment of the feature points;
and a second object recognition unit for recognizing an object by classifying the shapes of the objects according to properties from the extracted shapes of the objects.

8. The method of claim 7,
The driving environment recognition unit,
Object information matching unit for classifying object information in detail by comparing the object information according to the object recognized by the lidar data recognition unit and the object information according to the object recognized by the image data recognition unit for each coordinate of the feature node; Environment learning apparatus for autonomous driving mobile robot, characterized in that it comprises.

In the environment learning method of the autonomous driving mobile robot,
During charging in a state in which the autonomous driving mobile robot is docked at a charging station according to a charging mode command, the environment information acquisition unit uses at least some of the environment information and driving map information stored in the memory to recognize an object located in the driving area. determining characteristic points and loading selected environment information according to the determined characteristic points from the memory;
recognizing, by a driving environment recognizing unit, the object using the selected environment information while charging in a state in which the autonomous driving mobile robot is docked at the charging station according to the charging mode command; and
and updating, by an updater, the driving map using object information according to the recognized object while the autonomous driving mobile robot is docked in the charging station according to the charging mode command. environment learning method of autonomous driving mobile robot.

12. The method of claim 11,
The driving map information includes a plurality of nodes and links constituting a driving map related to the driving area,
The environment information may include image information on the driving area acquired during driving; and
3D-based point cloud data according to a reflected light signal reflected by an object obtained from an external LiDAR.

12. The method of claim 11,
The step of loading the selected environment information according to the determined feature point from the memory comprises:
determining, by a feature point determining unit, a feature point for recognizing an object located in the driving area, using at least a part of the environment information and the driving map information stored in the memory; and
Including; loading the selected environment information according to the determined feature point from the memory by a loading unit;
The determining of the feature point includes designating the feature point as a feature node among the nodes constituting the driving map, and assigning a number to each node according to the order in which the feature nodes are designated,
The loading from the memory includes loading environment information stored when the autonomous driving mobile robot is located in the feature node according to the specified order of the feature nodes.

14. The method of claim 13,
The step of loading from the memory comprises:
When the lidar data loading unit is located in the feature node when the autonomous driving mobile robot is driving, it loads distance information and reflected light information extracted from 3D-based point cloud data obtained from LiDAR. step; and
and loading, by an image data loading unit, image information on the driving area acquired from an image information acquisition unit when the autonomous driving mobile robot is located at the feature node while driving; environmental learning methods.

15. The method of claim 14,
Recognizing the object comprises:
Recognizing an object included in the surrounding environment of the feature points based on the distance information and the reflected light information loaded by the lidar data recognition unit from the lidar data loading unit;
recognizing, by an image data recognition unit, an object included in the surrounding environment of the feature points based on the image information loaded from the image data loading unit; and
Classifying object information in detail by comparing the object information matching unit with the object information according to the object recognized by the lidar data recognition unit and the object information according to the object recognized by the image data recognition unit for each coordinate of the feature node; The environment learning method of the autonomous driving mobile robot, characterized in that it further comprises.

A computer-readable recording medium in which a program for executing the method of any one of claims 11 to 15 in a computer is recorded.