WO2023055152A1 - Method and device for tracking user using infrared light - Google Patents

Method and device for tracking user using infrared light Download PDF

Info

Publication number
WO2023055152A1
WO2023055152A1 PCT/KR2022/014706 KR2022014706W WO2023055152A1 WO 2023055152 A1 WO2023055152 A1 WO 2023055152A1 KR 2022014706 W KR2022014706 W KR 2022014706W WO 2023055152 A1 WO2023055152 A1 WO 2023055152A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared
point
driving device
angle
infrared light
Prior art date
Application number
PCT/KR2022/014706
Other languages
French (fr)
Korean (ko)
Inventor
이일섭
Original Assignee
이일섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이일섭 filed Critical 이일섭
Publication of WO2023055152A1 publication Critical patent/WO2023055152A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves

Definitions

  • the present invention relates to a technology for following a user based on infrared signal detection, and more particularly, to a method and apparatus for predicting a movement path of an infrared transmitter based on a quadrant in which an infrared sensing point is located in a pixel of an infrared camera. will be.
  • the most widely used methods for indoor location tracking include a method using signal strength (RSSI) of a wireless communication module such as Zigbee, a method using multiple ultrasonic sensor modules, a method using RFID, and a tracking method through image processing. etc.
  • RSSI signal strength
  • Patent Document 1 Korean Patent Registration No. 10-0740008 discloses a charging station having one infrared transmitter installed inside a transmission guide to transmit infrared rays of a single code in order to limit the irradiated angle within a certain range, and a plurality of infrared transmitters.
  • a charging station location recognition system including a mobile robot having two infrared receivers is proposed. According to Patent Document 1, when the infrared receiver installed on the front of the mobile robot detects an infrared beam of a predetermined single code, it moves the mobile robot to the charging station while tracking the detection area that gradually narrows in the direction of the charging station. can
  • Non-Patent Document 1 Soon-Tae Kwon, Sang-Hong Park, Kap Moon, "User-Following Mobile Robot Using Infrared Rays", Journal of the Korean Embedded Engineering Society Vol. 7, No. 1, Thesis 2012-07-04, February 2012
  • a user using infrared rays composed of a command transmitter for sending out a command signal through an infrared light emitting sensor and a mobile robot for recognizing the sent command signal and tracing the path of the signal to move to the command transmitter.
  • a following mobile robot we propose a following mobile robot.
  • the mobile robot of Non-Patent Document 1 designs a BPF (Band Pass Filter) in the receiving part to block disturbances such as external infrared rays and lighting, and determines whether or not a signal is input from a plurality of infrared light receiving sensors attached to the periphery of the robot. It drives by tracing the transmission path to the command transmitter by controlling the direction.
  • BPF Band Pass Filter
  • Patent Document 1 and Non-Patent Document 1 transmits an infrared beam of a single code or designs a BPF (Band Pass Filter) in the receiver to specify a tracking target using infrared rays, such as lighting or external infrared rays. It blocks out disturbances.
  • the prior art predicts the direction of an object to be estimated by installing a plurality of infrared light receiving sensors for receiving infrared rays.
  • the infrared estimation technology has a problem in that the configuration of the system or the algorithm for analyzing the path or direction becomes complicated.
  • a first technical problem of the present invention is to propose a technology capable of specifying an estimation target using only one infrared emitting means and one infrared receiving means corresponding thereto.
  • a second technical task of the present invention is to propose a very simple and accurate algorithm capable of predicting the path or direction of an estimation target using only one infrared emitting means and one infrared receiving means corresponding thereto.
  • an autonomous driving device autonomously following the movement of a user carrying an infrared light emitting sensor based on an infrared signal is provided with an infrared command signal from the infrared light emitting sensor and a different infrared ray a memory for storing a synchronization pattern for discriminating disturbance signals; a driving unit including a plurality of wheels for moving the autonomous driving device forward, backward, left, and right, and a motor for driving the wheels; a single infrared light receiving sensor for receiving infrared signals such as the infrared command signal and the infrared disturbance signal; and synchronizing the infrared light-receiving sensor with the infrared light emitting sensor so as to receive only the infrared command signal having the synchronization pattern, and discriminating the position and angle of a point of the infrared command signal displayed on a pixel of the infrared light-receiving sensor.
  • the driving control unit of the autonomous driving device of the first aspect includes a synchronization setting module for synchronizing the infrared light receiving sensor with the infrared light emitting sensor based on the synchronization pattern;
  • a path determination module for driving and controlling the traveling unit by determining the location and angle of the point within the pixel is included.
  • Another third aspect of the present invention in the autonomous driving device of the second aspect, is characterized in that the location of the point is any one of the left side, right side and y-axis of a pixel.
  • Another fourth aspect of the present invention in the autonomous driving device of the third aspect, is characterized in that the angle of the point is an angle formed by the point with the y-axis.
  • the synchronization pattern continuously emits a predetermined number of infrared pulses in a first time period (time t 1 ), It is characterized in that it is a periodic pattern that does not emit infrared pulses in the following second time period (time t 2 ).
  • the driving controller controls the autonomous driving It is characterized in that the driving unit is driven and controlled to move the traveling device to the left at an angle of ⁇ 2 from the current position.
  • the driving controller controls the autonomous driving It is characterized in that the driving unit is driven and controlled to move the traveling device from the current position to the right at an angle of ⁇ 1 .
  • the driving control unit drives the driving unit to move the autonomous driving device straight from the current position characterized by control.
  • Another ninth aspect of the present invention in the self-driving device of the fifth aspect, is characterized in that the self-driving device is a mobile robot capable of following a user and moving autonomously.
  • Another tenth aspect of the present invention is a mobile robot equipped with a single infrared light-receiving sensor for autonomously following the movement of a user carrying an infrared light-emitting sensor based on an infrared signal, wherein the infrared light-emitting sensor detecting an infrared disturbance signal different from an infrared command signal having a synchronization pattern from the external infrared disturbance signal;
  • the infrared light receiving sensor is tuned to detect only the infrared command signal having the synchronization pattern, thereby synchronizing the infrared light receiving sensor with the infrared light emitting device.
  • step receiving, by the infrared light receiving sensor, an infrared command signal having the synchronization pattern, and displaying the received infrared command signal as an infrared point on a pixel; determining the position and angle of the infrared point in a pixel; and driving and controlling the mobile robot based on the position and angle.
  • Another eleventh aspect of the present invention in the method of the tenth aspect, is characterized in that the position of the infrared point is any one of the left side, the right side and the y-axis of the pixel.
  • Another twelfth aspect of the present invention in the method of the eleventh aspect, is characterized in that the angle of the infrared point is an angle formed by the infrared point and the y-axis.
  • the synchronization pattern continuously emits a predetermined number of infrared pulses in a first time period (time t 1 ), and in a second time period (time t 2 ) ) characterized in that it is a periodic pattern that does not emit infrared pulses.
  • the mobile robot in the method of the 13th aspect, when the infrared point is located in the second quadrant or the third quadrant of the pixel at an angle of ⁇ 2 from the y-axis, the mobile robot is moved from the current position. It is characterized in that driving is controlled to move to the left at an angle of ⁇ 2 .
  • Another 15th aspect of the present invention in the method of the 14th aspect, when the infrared point is located in the first quadrant or the fourth quadrant of the pixel at an angle of ⁇ 1 from the y-axis, the mobile robot is moved from the current position. It is characterized in that driving is controlled to move to the right at an angle of ⁇ 1 .
  • Another 16th aspect of the present invention in the method of the 15th aspect, is characterized in that when the infrared point is located on the y-axis, the mobile robot is driven and controlled to move straight from the current position.
  • infrared signals distal signals
  • command signals generated from external lighting or natural light are distinguished. It does not require a band pass filter (BPF) or frequency modulation means.
  • BPF band pass filter
  • the present invention can easily track in which direction a user carrying an infrared light emitting sensor is moving from a current position using only one infrared camera without installing multiple infrared light receiving sensors at various angles and directions in an autonomous driving device. there is.
  • FIG. 1 is a diagram showing a path following autonomous driving device following a user according to a preferred embodiment of the present invention.
  • FIG. 2 is a functional block diagram illustrating a path-following autonomous driving device according to a preferred embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a state in which infrared points are displayed on pixels of an infrared camera.
  • FIG. 4 is a flowchart illustrating an algorithm for the autonomous driving device of the present invention to follow a user carrying an infrared light emitting device.
  • FIG. 1 is a diagram showing a path following autonomous driving device following a user according to a preferred embodiment of the present invention.
  • the user tracking system of the present invention recognizes the infrared light emitting device 200 that transmits a command signal through an infrared light emitting sensor and the transmitted command signal and traces the path of the signal to track the user carrying the infrared light emitting device 200. It consists of a path following autonomous driving device 100 that moves by following the movement. That is, the infrared light emitting device 200 and the autonomous driving device 100 track the user's path by exchanging commands with infrared signals.
  • the path-following autonomous driving device 100 is a 'robot for (specific function)', 'mobile robot', 'cart mobile robot', 'cart robot', 'self-driving cart', 'smart cart' capable of autonomous driving. etc. is preferable.
  • the infrared light emitting device 200 is a command transmitter that sends a command signal to the autonomous driving device 100, and is equipped with an infrared light emitting sensor that emits electromagnetic waves in a predetermined IR frequency band. Infrared is light outside the red spectrum of visible light and does not reach very far, but it carries information relatively simply and without crosstalk.
  • FIG. 2 is a functional block diagram illustrating a path-following autonomous driving device according to a preferred embodiment of the present invention.
  • a path following autonomous driving device 100 includes a power supply unit 120, an input unit 130, a communication unit 140, an infrared sensor 150, an output unit 160, and a memory 180. , At least one of the driving unit 190 and the driving control unit 110 that controls the driving operation of the driving unit 190 from information detected by the infrared sensor 150, or a combination thereof.
  • FIG. 1 the components shown in FIG. 1 are not essential, so it goes without saying that an autonomous driving device having more or fewer components can be implemented.
  • the power supply unit 120 includes a battery that can be charged by an external commercial power source and supplies power to the autonomous driving device 100 .
  • the power supply unit 120 may supply driving power to each component included in the autonomous driving device 100 to supply operating power required for the autonomous driving device 100 to drive or perform a specific function.
  • the driving controller 110 detects the remaining power of the battery.
  • the driving controller 110 controls the autonomous driving device 100 to move to a charging station connected to an external commercial power source, and receives charging current from the charging station to charge the battery.
  • the battery is connected to the battery detector so that the battery remaining amount and charging state can be transmitted to the driving control unit 110 .
  • the output unit 160 may display the remaining battery capacity on the output unit 160 .
  • the driving control unit 110 serves to process information based on artificial intelligence technology, and includes one or more modules that perform at least one of information learning, information inference, information perception, and natural language processing. can do.
  • the driving control unit 110 is learning, reasoning, and processing a vast amount of information (big data, big data) such as information stored in an autonomous driving device and information stored in a communicable external storage using machine running technology. At least one can be done. Then, the driving control unit 110 predicts (or infers) at least one executable action using the information learned using the machine learning technology, and selects the most feasible action among the at least one predicted action.
  • the self-driving device 100 may be controlled so that this is executed.
  • Machine learning technology is a technology that collects and learns large-scale information based on at least one algorithm, and determines and predicts information based on the learned information. Learning of information is an operation of identifying characteristics, rules, criteria, etc. of information, quantifying the relationship between information and predicting new data using quantified patterns.
  • the algorithm used by machine learning technology can be an algorithm based on statistics, for example, a decision tree using a tree structure as a predictive model, and an artificial neural network that mimics the structure and function of a neural network in a living organism.
  • neural network neural network
  • genetic programming based on the evolutionary algorithm of organisms
  • clustering that distributes observed examples into subsets called clusters
  • Monte Carlo method that calculates function values as probabilities through randomly extracted random numbers
  • Deep learning technology is a technology that performs at least one of learning, judgment, and processing of information using a Deep Neuron Network (DNN) algorithm.
  • An artificial neural network (DNN) may have a structure that connects layers and transfers data between layers.
  • Such deep learning technology can learn a vast amount of information through an artificial neural network (DNN) using a graphic processing unit (GPU) optimized for parallel computation.
  • GPU graphic processing unit
  • the driving control unit 110 uses training data stored in an external server or memory, and may be equipped with a learning engine that detects a feature for recognizing a predetermined object.
  • the characteristics for recognizing the object may include the size, shape, and shade of the object.
  • the above learning engine may be installed in the driving control unit 110 or may be installed in an external server. When the learning engine is mounted on an external server, the driving control unit 110 may control the communication unit 140 to transmit at least one image that is an analysis target to the external server.
  • the driving control unit 110 may include a synchronization setting module 112 and a path determination module 114 as functional modules that follow a user by detecting an infrared signal as well as the above-described machine learning technology.
  • the synchronization setting module 112 detects infrared rays transmitted from the infrared light emitting device 200 among various infrared rays received through the infrared sensor 150, and sets the infrared sensor 150 to the infrared light emitting device 200. It is a function module that synchronizes with The infrared light emitting device 200 emits infrared rays in a pattern (synchronization pattern) agreed with the autonomous driving device 100 in advance.
  • the predetermined pattern that is, the synchronization pattern, continuously emits a predetermined number (eg, 3) of infrared pulses in a first time period (eg, t 1 time), and in a second time period (eg, For example, a periodic pattern that does not emit infrared pulses at t 2 hours). Therefore, the synchronization setting module 112 distinguishes the infrared command signal from the infrared light emitting device 200 from disturbance signals such as infrared rays such as other external lighting or natural light, and the infrared detector 150 detects the It is synchronized to be tuned to the infrared light emitting device 200.
  • a predetermined number eg, 3
  • a first time period eg, t 1 time
  • a second time period eg, For example, a periodic pattern that does not emit infrared pulses at t 2 hours. Therefore, the synchronization setting module 112 distinguishes the infrared command signal from the infrared light
  • the path determining module 114 displays an infrared command signal (hereinafter referred to as an infrared point) received by an infrared camera as an infrared sensor 150 synchronized with the infrared light emitting device 200 on a pixel as shown in FIG. 3 Then, by discriminating the direction and angle at which the infrared point deviates from the center of the pixel to the left or right, the driving unit 190 is instructed the direction and angle to be followed.
  • an infrared command signal hereinafter referred to as an infrared point
  • the driving unit 190 may include a plurality of wheels rolling along the floor and a motor rotating the wheels. By driving the motor, the main body can be rotated or moved by rotating a plurality of wheels in various directions. At this time, the plurality of wheels can move independently.
  • the driving unit 190 may move the body of the autonomous driving device 100 forward and backward, left and right, drive in a curve, or rotate in place.
  • the input unit 130 receives various control commands for the autonomous driving device 100 from the user.
  • the input unit 130 may include one or more buttons, and may include, for example, a confirmation button and a setting button.
  • the confirmation button is a button for receiving a command for confirming detection information, obstacle information, location information, and map information from the user
  • the setting button is a button for receiving a command for setting the information from the user.
  • the input unit 130 may be installed above the autonomous driving device 100 as a hard key, a soft key, or a touch pad.
  • the input unit 130 may have the form of a touch screen together with the output unit 160 .
  • the output unit 130 may display a battery state, an operating state, a driving method, an executable menu, and the like on a screen.
  • the output unit 160 may output internal state information of the autonomous driving device 100, for example, the current state of each component included in the autonomous driving device 100.
  • the output unit 160 may display external state information, obstacle information, location information, map information, article information, etc. detected by other sensors on the screen.
  • the output unit 160 may be any one of a light emitting diode (LED), a liquid crystal display (LCD), a plasma display panel, and an organic light emitting diode (OLED). It can be formed as an element of.
  • the output unit 160 may further include a sound output means for aurally outputting the operation process or operation result of the autonomous driving device 100 performed by the driving control unit 110 .
  • the output unit 160 may output a warning sound to the outside according to a warning signal generated by the driving control unit 110 .
  • the sound output unit (not shown) may be a unit for outputting sound such as a beeper or a speaker, and the output unit 160 may include audio data or message data having a predetermined pattern stored in the memory 180. It can be output to the outside through the sound output means by using.
  • the memory 180 stores a control program for controlling or driving the autonomous driving device 100 and corresponding data.
  • the memory 180 may store audio information, image information, obstacle information, location information, map information, product information, and the like. Also, the memory 180 may store information related to the synchronization pattern.
  • the memory 180 mainly uses a non-volatile memory.
  • the non-volatile memory (NVM, NVRAM) is a storage device capable of continuously maintaining stored information even when power is not supplied, for example, a ROM, a flash memory, a magnetic computer It may be a storage device (eg, hard disk, diskette drive, magnetic tape), optical disk drive, magnetic RAM, PRAM, and the like.
  • the other sensors may include at least one of an external signal detection sensor, a front detection sensor, a cliff detection sensor, a 2D camera sensor, and a 3D camera sensor.
  • the external signal detection sensor may detect an external signal of the autonomous driving device.
  • the external signal detection sensor may be, for example, an ultrasonic sensor (UltraSonic Sensor), an RF sensor (Radio Frequency Sensor), a UWB sensor, an NFC sensor, and the like.
  • the communication unit 140 is connected to another device located within a specific area through one of wired, wireless, and satellite communication methods to transmit and receive signals and data.
  • the communication unit 140 may transmit/receive data with other devices located within a specific area.
  • the other device may be any device that can transmit and receive data by connecting to a network, and may be, for example, an air conditioning device, a heating device, an air purifying device, a light, a TV, a vehicle, and the like.
  • the other device may be a device that controls a door, a window, a water valve, a gas valve, and the like.
  • the other device may be a sensor that detects temperature, humidity, air pressure, gas, and the like.
  • the communication unit 140 may communicate with other autonomous driving devices located in a specific area or within a predetermined range.
  • the infrared sensor 150 is an infrared camera for detecting infrared rays incident from an area to be driven. As shown in FIG. 3 , the infrared camera 150 displays the detected infrared signal on a pixel in a point form and outputs it through the output unit 160 . At this time, the infrared signal detected through the infrared camera 150 is an infrared signal having the agreed synchronization pattern.
  • the driving control unit 110 receives the detection information of the infrared sensor 150 and processes it according to the algorithm of FIG. 4 to operate the driving unit 190 - more specifically, driving a plurality of wheels. It may include an arithmetic unit (eg, CPU, MPU, SW module running on a general-purpose CPU that controls the entire operation of the autonomous driving device) that controls the motor.
  • an arithmetic unit eg, CPU, MPU, SW module running on a general-purpose CPU that controls the entire operation of the autonomous driving device
  • the communication unit 140 may be a communication module that performs one or more of various wireless data communications such as Wi-Fi communication, Bluetooth communication, ZigBee communication, and cellular communication.
  • the infrared light emitting device 200 is attached to or carried by an object (eg, a user) that the autonomous driving device 100 follows, and may be an infrared lamp emitting electromagnetic waves in a predetermined IR frequency band.
  • the infrared light emitting device 200 is a lamp that emits infrared rays in a pattern (synchronized pattern) agreed with the autonomous driving device 100 in advance.
  • the predetermined pattern that is, the synchronization pattern, continuously emits a predetermined number (eg, 3) of infrared pulses in a first time period (eg, t 1 time), and in a subsequent second time period (eg, t 1 time)
  • t 2 time means a periodic pattern that does not emit infrared pulses.
  • the synchronization pattern is a periodic pattern having a first time period and a second time period as one cycle, in which a predetermined number of infrared pulses are emitted during the first time period and no infrared pulses are emitted during the following second time period.
  • FIG. 3 is a diagram showing a state in which infrared points are displayed on pixels of an infrared camera
  • FIG. 4 is a flowchart for explaining an algorithm for the autonomous driving device of the present invention to follow a user carrying an infrared emitting device.
  • the infrared emitting device 200 possessed by the user transmits an infrared signal having a synchronization pattern. Accordingly, the autonomous driving device 100 according to the present invention uses the infrared signal having the synchronization pattern to follow the user's movement according to the following algorithm.
  • the infrared sensor 150 i.e., infrared camera of the path-following autonomous driving device 110 according to the present invention, in which the promised synchronization pattern is stored in the memory 180, captures all detected infrared signals and detects the driving control unit 110 ) to (S110).
  • the synchronization setting module 112 of the driving control unit 110 determines whether an infrared signal identical to the synchronization pattern stored in the memory 180 exists among the detected infrared signals (S112). That is, a predetermined number (eg, 3) of infrared pulses are continuously emitted in a first time period (eg, time t 1 ) among the infrared signals, and a second time period (eg, time t 2 ) It is determined whether an infrared signal having a periodic pattern that does not emit infrared pulses exists.
  • a predetermined number eg, 3
  • the process returns to S110 to continuously perform infrared detection.
  • the synchronization setting module 112 The infrared sensor 150 is synchronized with the infrared emitting device 200 possessed by the user by tuning the infrared camera to detect only the infrared signal having the synchronization pattern (eg, frequency synchronization) (S114). .
  • the infrared sensor 150 synchronized with the infrared light emitting device 200 captures an image of the infrared signal emitted by the infrared light emitting device 200 and displays it as an infrared point 55 on the pixel 50 of the camera as shown in FIG. . That is, the location of the user carrying the infrared light emitting device 200 is displayed as a single point (infrared point) on a pixel of the infrared camera.
  • the pixels 50 on which the infrared points 55 are displayed are transferred to the path determination module 114 of the driving control unit 110 . Accordingly, the path determination module 114 determines the location of the infrared point 55 within the pixel 50 (S116).
  • the path determination module 114 is the driving unit ( 190) is instructed to move the autonomous driving device 100 from the current position to the right at an angle of ⁇ 1 (S119).
  • the path determination module 114 is the driving unit ( 190) is instructed to move the autonomous driving device 100 to the left at an angle of ⁇ 2 from the current position (S121).
  • the path determination module 114 determines whether the infrared signal received from the infrared sensor 150 exists on a pixel of the camera, and accordingly, the driving control unit 110 determines whether the driving unit 190 By driving and controlling the motor of the self-driving device 100 to go left or right or straight, the user's movement is autonomously followed.
  • the present invention synchronizes one infrared emitting sensor and one infrared light receiving sensor using a preset pattern, thereby distinguishing between an infrared signal (disturbing signal) and a command signal generated from external lighting or natural light, thereby providing a separate band. It does not require a pass filter (BPF) or frequency modulation means.
  • BPF pass filter
  • the present invention can easily track in which direction a user carrying an infrared light emitting sensor is moving from a current position using only one infrared camera without installing multiple infrared light receiving sensors at various angles and directions in an autonomous driving device. there is.
  • the method and device for following a user using infrared rays of the present invention can be used in various robotic fields such as autonomous mobile robots.

Abstract

The present invention relates to a method wherein one infrared light-emitting sensor and one infrared light-receiving sensor are synchronized using a preset pattern, and the direction in which a user carrying the infrared light-emitting sensor is moving from the current position is easily tracked on the basis of the position where an infrared point of a command signal is present on a pixel of the infrared light-receiving sensor.

Description

적외선을 이용하여 사용자를 추종하는 방법 및 장치Method and device for following user using infrared rays
본 출원은 2021년 10월 1일에 출원된 한국 특허출원 제 10-2021-0131240 호 및 2022년 3월 16일에 출원된 한국 특허출원 제 10-2022-0032687 호에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다. This application claims priority based on Korean Patent Application No. 10-2021-0131240 filed on October 1, 2021 and Korean Patent Application No. 10-2022-0032687 filed on March 16, 2022, All contents disclosed in the specification and drawings of the application are incorporated into this application.
본 발명은 적외선 신호 감지에 기반하여 사용자를 추종하는 기술에 관한 것으로서, 보다 상세하게는 적외선 카메라의 픽셀에서 적외선 감지 포인트가 위치하는 분면에 근거하여 적외선 송신기의 이동 경로를 예측하는 방법 및 장치에 관한 것이다.The present invention relates to a technology for following a user based on infrared signal detection, and more particularly, to a method and apparatus for predicting a movement path of an infrared transmitter based on a quadrant in which an infrared sensing point is located in a pixel of an infrared camera. will be.
최근 정보통신 기술의 급격한 발전으로 인해 네트워크 인프라가 광범위하게 보급되고 있고, 첨단 디지털장비가 일상생활에 보편화됨에 따라, 이를 바탕으로 한 유비쿼터스(Ubiquitous)시대가 도래하고 있다. 그중 객체의 인식과 위치추적에 관련된 연구는 정보통신 서비스를 끊임없이 효과적으로 제공하기 위하여 필요한 기술 중의 하나이다. Due to the recent rapid development of information and communication technology, network infrastructure is widely distributed, and as high-tech digital equipment is common in everyday life, an era of ubiquitous based on this is coming. Among them, research related to object recognition and location tracking is one of the technologies necessary to continuously and effectively provide information communication services.
위치 인식 시스템에는 적외선, 초음파, RFID, 영상처리, 신호세기(RSSI) 등을 이용한 다양한 시스템이 있다. 실외의 위치추적 서비스는 GPS를 활용한 방법을 중심으로 많은 성공사례가 발표되었지만, 실내 환경의 위치추적의 기법은 발표된 논문들에 비해 성공사례가 적은 현실이다. There are various systems using infrared rays, ultrasonic waves, RFID, image processing, signal strength (RSSI), and the like as location recognition systems. Although many success cases have been announced for outdoor location tracking services, mainly using GPS, the reality is that the indoor location tracking method has fewer success cases than published papers.
실내 위치추적의 방법으로 가장 널리 사용되는 방법에는 Zigbee와 같은 무선통신 모듈의 신호세기(RSSI)를 이용한 방법과, 다수의 초음파 센서모듈을 이용한 방법, RFID를 이용한 방법, 그리고 영상처리를 통한 추적 방법 등이 있다.The most widely used methods for indoor location tracking include a method using signal strength (RSSI) of a wireless communication module such as Zigbee, a method using multiple ultrasonic sensor modules, a method using RFID, and a tracking method through image processing. etc.
그러나 무선통신 모듈의 신호세기를 이용한 추적의 경우 고정된 환경에서도 신호세기가 일정하지 못하다는 문제점이 발생하며, 초음파 센서모듈을 사용한 위치 추적의 경우 매질과 온도, 장애물과 같은 환경에 따라 간섭이 심한 문제를 가지고 있다. 또한, RFID 태깅 시스템은 여러 개의 태그가 존재할 때 리더가 태그를 제대로 식별할 수 없으므로 충돌을 방지하기 위한 효율적인 anti-collision 알고리즘이보장되어야 하며, 영상처리의 경우 조도, 명도 등에 따라 처리의 결과가 달라지며, 방대한 연산과정이 포함되므로 고성능의 프로세서를 요구하는 단점이 있다. However, in the case of tracking using the signal strength of the wireless communication module, there is a problem that the signal strength is not constant even in a fixed environment. have a problem In addition, in the RFID tagging system, since the reader cannot properly identify the tag when multiple tags exist, an efficient anti-collision algorithm must be ensured to prevent collision. It has a disadvantage in that it requires a high-performance processor because it involves a large number of calculation processes.
이러한 문제점들로 인해 수많은 연구가 이어지고 있음에도 불구하고 상용화되는 제품에는 제대로 적용되지 못하고 있다.Due to these problems, it is not properly applied to commercialized products despite numerous studies being conducted.
특허문헌 1(한국 등록특허공보 제 10-0740008 호)은 조사되는 각도를 일정한 범위내로 제한하기 위하여 발신 가이드 내부에 설치되어 단일코드의 적외선을 발신하는 하나의 적외선 발신부를 구비하는 충전스테이션과, 다수개의 적외선 수신부를 구비하는 이동로봇을 포함하는 충전스테이션 위치 인식시스템을 제안한다. 특허문헌 1에 따르면, 이동로봇의 전면부에 설치된 적외선수신부가 미리 정해진 단일코드의 적외선 빔을 감지하게 되면 충전스테이션의 방향으로 갈수록 점점 좁아지는 감지 영역을 추적해 가면서 이동로봇을 충전스테이션으로 이동시킬 수 있다.Patent Document 1 (Korean Patent Registration No. 10-0740008) discloses a charging station having one infrared transmitter installed inside a transmission guide to transmit infrared rays of a single code in order to limit the irradiated angle within a certain range, and a plurality of infrared transmitters. A charging station location recognition system including a mobile robot having two infrared receivers is proposed. According to Patent Document 1, when the infrared receiver installed on the front of the mobile robot detects an infrared beam of a predetermined single code, it moves the mobile robot to the charging station while tracking the detection area that gradually narrows in the direction of the charging station. can
한편, 비특허문헌 1(권순태,박상홍,주문갑, "적외선을 사용한 사용자 추종 이동로봇", 대한임베디드공학회논문지 제 7 권, 제 1 호, 논문 2012-07-04, 2012년 2월.)은 이동로봇이 적외선 센서를 사용하여 사용자를 추종하는 방법을 제안한다. 즉, 비특허문헌 1에 따르면, 적외선 발광 센서를 통하여 명령신호를 송출하는 명령 송신기와 송출된 명령신호를 인식하고 신호의 경로를 추적하여 명령 송신기까지 이동하기 위한 이동로봇으로 구성되는 적외선을 사용한 사용자 추종 이동로봇을 제안한다. 특히, 비특허문헌 1의 이동로봇은 수신부에 BPF(대역통과필터)를 설계하여 외부적외선, 조명 등의 외란을 차단하고, 둘레에 부착된 복수개의 적외선 수광 센서로부터 신호 입력 유무를 판단하여 로봇의 방향을 제어하여 명령 송신기까지 전송 경로를 추적하여 주행을 한다.On the other hand, Non-Patent Document 1 (Soon-Tae Kwon, Sang-Hong Park, Kap Moon, "User-Following Mobile Robot Using Infrared Rays", Journal of the Korean Embedded Engineering Society Vol. 7, No. 1, Thesis 2012-07-04, February 2012) is We propose a method for a robot to follow a user using an infrared sensor. That is, according to Non-Patent Document 1, a user using infrared rays composed of a command transmitter for sending out a command signal through an infrared light emitting sensor and a mobile robot for recognizing the sent command signal and tracing the path of the signal to move to the command transmitter. We propose a following mobile robot. In particular, the mobile robot of Non-Patent Document 1 designs a BPF (Band Pass Filter) in the receiving part to block disturbances such as external infrared rays and lighting, and determines whether or not a signal is input from a plurality of infrared light receiving sensors attached to the periphery of the robot. It drives by tracing the transmission path to the command transmitter by controlling the direction.
상기 특허문헌 1 및 상기 비특허문헌 1에 따른 선행기술들은 적외선을 이용하여 추종대상을 특정하기 위하여 단일코드의 적외선 빔을 발신하거나 수신부에 BPF(대역통과필터)를 설계하여 조명이나 외부적외선과 같은 외란을 차단하고 있다. 또한, 선행기술들은 적외선을 수신하는 적외선 수광센서를 복수개 설치하는 것에 의해 추정해야할 대상의 방향을 예측하고 있다. The prior art according to Patent Document 1 and Non-Patent Document 1 transmits an infrared beam of a single code or designs a BPF (Band Pass Filter) in the receiver to specify a tracking target using infrared rays, such as lighting or external infrared rays. It blocks out disturbances. In addition, the prior art predicts the direction of an object to be estimated by installing a plurality of infrared light receiving sensors for receiving infrared rays.
따라서, 기존의 선행기술들에 따른 적외선 추정기술은 시스템의 구성이나 경로나 방향을 분석하는 알고리즘이 복잡해지는 문제점이 있다. Therefore, the infrared estimation technology according to the existing prior art has a problem in that the configuration of the system or the algorithm for analyzing the path or direction becomes complicated.
본 발명은 하나의 적외선 발광수단과 이에 대응하는 하나의 적외선 수신수단만으로 추정대상을 특정할 수 있는 기술을 제안하는 것을 제 1의 기술적 과제로 한다. A first technical problem of the present invention is to propose a technology capable of specifying an estimation target using only one infrared emitting means and one infrared receiving means corresponding thereto.
또한, 본 발명은 하나의 적외선 발광수단과 이에 대응하는 하나의 적외선 수신수단만으로 추정대상의 경로나 방향을 예측할 수 있는 매우 간단하고, 정확한 알고리즘을 제안하는 것을 제 2의 기술적 과제로 한다.In addition, a second technical task of the present invention is to propose a very simple and accurate algorithm capable of predicting the path or direction of an estimation target using only one infrared emitting means and one infrared receiving means corresponding thereto.
상술한 목적을 달성하기 위한 본 발명의 제 1 양태로서의 적외선 발광센서를 휴대하는 사용자의 움직임을 적외선 신호에 기반하여 자율적으로 추종하는 자율 주행 장치는, 상기 적외선 발광센서로부터의 적외선 명령신호와 다른 적외선 외란신호를 구분하기 위한 동기화 패턴을 저장하고 있는 메모리와; 상기 자율 주행 장치를 전,후,좌,우로 이동시키기 위한 복수 개의 바퀴와 상기 바퀴를 구동시키는 모터를 포함하는 주행부와; 상기 적외선 명령신호와 상기 적외선 외란신호와 같은 적외선 신호들을 수신하기 위한 단일(單一)한 적외선 수광센서; 및 상기 동기화 패턴을 갖는 적외선 명령신호만 수신할 수도 있도록 상기 적외선 수광센서를 상기 적외선 발광센서와 동기화시키고, 상기 적외선 수광센서의 픽셀에 표시되는 상기 적외선 명령신호의 포인트의 위치와 각도를 판별하여 상기 주행부를 구동 제어하는 주행 제어부를 포함하는 것을 특징으로 한다. In order to achieve the above object, as a first aspect of the present invention, an autonomous driving device autonomously following the movement of a user carrying an infrared light emitting sensor based on an infrared signal is provided with an infrared command signal from the infrared light emitting sensor and a different infrared ray a memory for storing a synchronization pattern for discriminating disturbance signals; a driving unit including a plurality of wheels for moving the autonomous driving device forward, backward, left, and right, and a motor for driving the wheels; a single infrared light receiving sensor for receiving infrared signals such as the infrared command signal and the infrared disturbance signal; and synchronizing the infrared light-receiving sensor with the infrared light emitting sensor so as to receive only the infrared command signal having the synchronization pattern, and discriminating the position and angle of a point of the infrared command signal displayed on a pixel of the infrared light-receiving sensor. It is characterized in that it includes a driving control unit for driving and controlling the driving unit.
본 발명의 다른 제 2 양태는, 상기 제 1 양태의 자율 주행 장치의 상기 주행 제어부가, 상기 동기화 패턴에 기반하여 상기 적외선 수광센서를 상기 적외선 발광센서에 동기화시키는 동기화 설정 모듈과; 동기화된 적외선 명령신호가 상기 적외선 수광센서의 픽셀에 포인트로 표시되는 경우, 상기 포인트의 픽셀내 위치와 각도를 판별하여 상기 주행부를 구동 제어하는 경로 판정 모듈을 포함하는 것을 특징으로 한다. In another second aspect of the present invention, the driving control unit of the autonomous driving device of the first aspect includes a synchronization setting module for synchronizing the infrared light receiving sensor with the infrared light emitting sensor based on the synchronization pattern; When a synchronized infrared command signal is displayed as a point on a pixel of the infrared light-receiving sensor, a path determination module for driving and controlling the traveling unit by determining the location and angle of the point within the pixel is included.
본 발명의 다른 제 3 양태는, 상기 제 2 양태의 자율 주행 장치에 있어서, 상기 포인트의 위치는 픽셀의 좌측면, 우측면 및 y축중 어느 하나인 것을 특징으로 한다. Another third aspect of the present invention, in the autonomous driving device of the second aspect, is characterized in that the location of the point is any one of the left side, right side and y-axis of a pixel.
본 발명의 다른 제 4 양태는, 상기 제 3 양태의 자율 주행 장치에 있어서, 상기 포인트의 각도는 상기 포인트가 y축과 이루는 각도인 것을 특징으로 한다. Another fourth aspect of the present invention, in the autonomous driving device of the third aspect, is characterized in that the angle of the point is an angle formed by the point with the y-axis.
본 발명의 다른 제 5 양태는, 상기 제 1 양태 내지 제 4 양태중 어느 하나의 자율 주행 장치에 있어서, 상기 동기화 패턴은 제 1 시간대(t1시간)에 연속적으로 정해진 갯수의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴인 것을 특징으로 한다. Another fifth aspect of the present invention, in the autonomous driving device according to any one of the first to fourth aspects, the synchronization pattern continuously emits a predetermined number of infrared pulses in a first time period (time t 1 ), It is characterized in that it is a periodic pattern that does not emit infrared pulses in the following second time period (time t 2 ).
본 발명의 다른 제 6 양태는, 상기 제 5 양태의 자율 주행 장치에 있어서, 상기 포인트가 y축으로부터 θ2의 각도로 상기 픽셀의 2사분면 또는 3사분면에 위치하는 경우, 상기 주행 제어부는 상기 자율 주행 장치를 현재 위치로부터 좌로 θ2의 각도로 이동하도록 상기 주행부를 구동 제어하는 것을 특징으로 한다. In another sixth aspect of the present invention, in the autonomous driving device of the fifth aspect, when the point is located in the second quadrant or the third quadrant of the pixel at an angle of θ 2 from the y-axis, the driving controller controls the autonomous driving It is characterized in that the driving unit is driven and controlled to move the traveling device to the left at an angle of θ 2 from the current position.
본 발명의 다른 제 7 양태는, 상기 제 5 양태의 자율 주행 장치에 있어서, 상기 포인트가 y축으로부터 θ1의 각도로 상기 픽셀의 1사분면 또는 4사분면에 위치하는 경우, 상기 주행 제어부는 상기 자율 주행 장치를 현재 위치로부터 우로 θ1의 각도로 이동하도록 상기 주행부를 구동 제어하는 것을 특징으로 한다. In another seventh aspect of the present invention, in the autonomous driving device of the fifth aspect, when the point is located in the first quadrant or the fourth quadrant of the pixel at an angle of θ 1 from the y-axis, the driving controller controls the autonomous driving It is characterized in that the driving unit is driven and controlled to move the traveling device from the current position to the right at an angle of θ 1 .
본 발명의 다른 제 8 양태는, 상기 제 5 양태의 자율 주행 장치에 있어서, 상기 포인트가 y축상에 위치하는 경우, 상기 주행 제어부는 상기 자율 주행 장치를 현재 위치에서 직진으로 이동하도록 상기 주행부를 구동 제어하는 것을 특징으로 한다. Another eighth aspect of the present invention, in the autonomous driving device of the fifth aspect, when the point is located on the y-axis, the driving control unit drives the driving unit to move the autonomous driving device straight from the current position characterized by control.
본 발명의 다른 제 9 양태는, 상기 제 5 양태의 자율 주행 장치에 있어서, 상기 자율 주행 장치가 사용자를 추종하여 자율적으로 움직일 수 있는 이동 로봇인 것을 특징으로 한다. Another ninth aspect of the present invention, in the self-driving device of the fifth aspect, is characterized in that the self-driving device is a mobile robot capable of following a user and moving autonomously.
본 발명의 또 다른 제 10 양태는, 적외선 발광센서를 휴대하는 사용자의 움직임을 적외선 신호에 기반하여 자율적으로 추종하기 위하여 단일(單一)한 적외선 수광센서를 구비하는 이동 로봇에서 있어서, 상기 적외선 발광센서로부터 동기화 패턴을 갖는 적외선 명령신호와 다른 외부의 적외선 외란신호를 감지하는 단계; 상기 감지된 적외선 신호들중에 동기화 패턴을 갖는 적외선 신호가 존재하는 경우, 상기 동기화 패턴을 갖는 적외선 명령신호만을 감지하도록 상기 적외선 수광센서를 튜닝하는 것에 의해 상기 적외선 수광센서를 상기 적외선 발광장치와 동기화시키는 단계; 상기 적외선 수광센서가 상기 동기화 패턴을 갖는 적외선 명령신호를 수신하고, 이를 픽셀상에 적외선 포인트로 표시하는 단계; 상기 적외선 포인트의 픽셀내 위치와 각도를 판별하는 단계; 및 상기 위치와 각도에 근거하여 상기 이동 로봇을 구동 제어하는 단계를 포함하는 적외선을 이용하여 사용자를 추종하는 방법에 관한 것이다. Another tenth aspect of the present invention is a mobile robot equipped with a single infrared light-receiving sensor for autonomously following the movement of a user carrying an infrared light-emitting sensor based on an infrared signal, wherein the infrared light-emitting sensor detecting an infrared disturbance signal different from an infrared command signal having a synchronization pattern from the external infrared disturbance signal; When an infrared signal having a synchronization pattern exists among the detected infrared signals, the infrared light receiving sensor is tuned to detect only the infrared command signal having the synchronization pattern, thereby synchronizing the infrared light receiving sensor with the infrared light emitting device. step; receiving, by the infrared light receiving sensor, an infrared command signal having the synchronization pattern, and displaying the received infrared command signal as an infrared point on a pixel; determining the position and angle of the infrared point in a pixel; and driving and controlling the mobile robot based on the position and angle.
본 발명의 다른 제 11 양태는, 상기 제 10 양태의 방법에 있어서, 상기 적외선 포인트의 위치는 픽셀의 좌측면, 우측면 및 y축중 어느 하나인 것을 특징으로 한다. Another eleventh aspect of the present invention, in the method of the tenth aspect, is characterized in that the position of the infrared point is any one of the left side, the right side and the y-axis of the pixel.
본 발명의 다른 제 12 양태는, 상기 제 11 양태의 방법에 있어서, 상기 적외선 포인트의 각도는 상기 적외선 포인트가 y축과 이루는 각도인 것을 특징으로 한다. Another twelfth aspect of the present invention, in the method of the eleventh aspect, is characterized in that the angle of the infrared point is an angle formed by the infrared point and the y-axis.
본 발명의 다른 제 13 양태는, 상기 제 12 양태의 방법에 있어서, 상기 동기화 패턴은 제 1 시간대(t1시간)에 연속적으로 정해진 갯수의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴인 것을 특징으로 한다. In another thirteenth aspect of the present invention, in the method of the twelfth aspect, the synchronization pattern continuously emits a predetermined number of infrared pulses in a first time period (time t 1 ), and in a second time period (time t 2 ) ) characterized in that it is a periodic pattern that does not emit infrared pulses.
본 발명의 다른 제 14 양태는, 상기 제 13 양태의 방법에 있어서, 상기 적외선 포인트가 y축으로부터 θ2의 각도로 상기 픽셀의 2사분면 또는 3사분면에 위치하는 경우, 상기 이동 로봇을 현재 위치로부터 좌로 θ2의 각도로 이동하도록 구동 제어하는 것을 특징으로 한다. In another 14th aspect of the present invention, in the method of the 13th aspect, when the infrared point is located in the second quadrant or the third quadrant of the pixel at an angle of θ 2 from the y-axis, the mobile robot is moved from the current position. It is characterized in that driving is controlled to move to the left at an angle of θ 2 .
본 발명의 다른 제 15 양태는, 상기 제 14 양태의 방법에 있어서, 상기 적외선 포인트가 y축으로부터 θ1의 각도로 상기 픽셀의 1사분면 또는 4사분면에 위치하는 경우, 상기 이동 로봇을 현재 위치로부터 우로 θ1의 각도로 이동하도록 구동 제어하는 것을 특징으로 한다. Another 15th aspect of the present invention, in the method of the 14th aspect, when the infrared point is located in the first quadrant or the fourth quadrant of the pixel at an angle of θ 1 from the y-axis, the mobile robot is moved from the current position. It is characterized in that driving is controlled to move to the right at an angle of θ 1 .
본 발명의 다른 제 16 양태는, 상기 제 15 양태의 방법에 있어서, 상기 적외선 포인트가 y축상에 위치하는 경우, 상기 이동 로봇을 현재 위치에서 직진으로 이동하도록 구동 제어하는 것을 특징으로 한다. Another 16th aspect of the present invention, in the method of the 15th aspect, is characterized in that when the infrared point is located on the y-axis, the mobile robot is driven and controlled to move straight from the current position.
본 발명에 따르면, 하나의 적외선 발광센서와 하나의 적외선 수광센서를 미리 설정된 패턴을 이용하여 동기화시키는 것에 의해 외부 조명이나 자연적인 빛 등으로부터 발생하는 적외선 신호(외란 신호)와 명령신호를 구분함으로써 별도의 대역통과필터(BPF)나 주파수 변조수단을 필요로 하지 않는다. According to the present invention, by synchronizing one infrared light emitting sensor and one infrared light receiving sensor using a preset pattern, separate infrared signals (disturbing signals) and command signals generated from external lighting or natural light are distinguished. It does not require a band pass filter (BPF) or frequency modulation means.
또한, 본 발명은 자율 주행 장치에 다양한 각도와 방향으로 여러개의 적외선 수광센서를 설치하지 않더라도 하나의 적외선 카메라만을 이용하여 적외선 발광센서를 소지한 사용자가 현재 위치로부터 어느 방향으로 이동하는지를 손쉽게 추적 할 수 있다. In addition, the present invention can easily track in which direction a user carrying an infrared light emitting sensor is moving from a current position using only one infrared camera without installing multiple infrared light receiving sensors at various angles and directions in an autonomous driving device. there is.
또한, 본 발명은 움직이는 사용자를 자율적으로 추종하기 위한 복잡한 추종 알고리즘이나 인공지능 메카니즘의 도움 없이도 간단하고, 손쉬운 위치 분석 알고리즘을 이용하여 사용자를 추종하는 것이 가능하다.In addition, according to the present invention, it is possible to follow a user by using a simple and easy location analysis algorithm without the aid of a complex following algorithm or an artificial intelligence mechanism for autonomously following a moving user.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.The following drawings attached to this specification illustrate preferred embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical idea of the present invention, the present invention is the details described in such drawings should not be construed as limited to
도 1은 본 발명의 바람직한 일 실시예에 따른 경로 추종 자율 주행 장치가 사용자를 추종하는 모습을 보인 도면이다. 1 is a diagram showing a path following autonomous driving device following a user according to a preferred embodiment of the present invention.
도 2는 본 발명의 바람직한 일 실시예에 따른 경로 추종 자율 주행 장치를 도시한 기능 블록도이다. 2 is a functional block diagram illustrating a path-following autonomous driving device according to a preferred embodiment of the present invention.
도 3은 적외선 카메라의 픽셀상에 적외선 포인트가 표시된 상태를 도시한 도면이다. 3 is a diagram illustrating a state in which infrared points are displayed on pixels of an infrared camera.
도 4는 본 발명의 자율 주행 장치가 적외선 발광장치를 휴대하고 있는 사용자를 추종하는 알고리즘을 설명하기 위한 순서도이다. 4 is a flowchart illustrating an algorithm for the autonomous driving device of the present invention to follow a user carrying an infrared light emitting device.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, process, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, processes, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related art, and unless explicitly defined in this application, they should not be interpreted in ideal or excessively formal meanings. don't
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.The terms or words used in this specification and claims should not be construed as being limited to conventional or dictionary meanings, and the inventors may appropriately define the concept of terms in order to best explain their invention. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical spirit of the present invention. In addition, unless there is another definition in the technical terms and scientific terms used, they have meanings commonly understood by those of ordinary skill in the art to which this invention belongs, and the gist of the present invention is described in the following description and accompanying drawings. Descriptions of well-known functions and configurations that may be unnecessarily obscure are omitted. The drawings introduced below are provided as examples to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention may be embodied in other forms without being limited to the drawings presented below. Also, like reference numerals denote like elements throughout the specification. It should be noted that like elements in the drawings are indicated by like numerals wherever possible.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The accompanying drawings are not drawn to scale, and like reference numbers in each drawing indicate like elements.
도 1은 본 발명의 바람직한 일 실시예에 따른 경로 추종 자율 주행 장치가 사용자를 추종하는 모습을 보인 도면이다. 1 is a diagram showing a path following autonomous driving device following a user according to a preferred embodiment of the present invention.
본 발명의 사용자 추종 시스템은 적외선 발광센서를 통하여 명령신호를 송출하는 적외선 발광장치(200)와 송출된 명령신호를 인식하고 신호의 경로를 추적하여 상기 적외선 발광장치(200)를 휴대하고 있는 사용자의 움직임을 추종하여 이동하는 경로 추종 자율 주행 장치(100)로 이루어진다. 즉, 상기 적외선 발광장치(200)와 상기 자율 주행 장치(100)는 적외선 신호로 명령을 주고 받는 것에 의해 사용자의 경로를 추적한다. The user tracking system of the present invention recognizes the infrared light emitting device 200 that transmits a command signal through an infrared light emitting sensor and the transmitted command signal and traces the path of the signal to track the user carrying the infrared light emitting device 200. It consists of a path following autonomous driving device 100 that moves by following the movement. That is, the infrared light emitting device 200 and the autonomous driving device 100 track the user's path by exchanging commands with infrared signals.
상기 경로 추종 자율 주행 장치(100)는 자율주행이 가능한 '(특정기능)용 로봇', '이동 로봇', '카트용 이동로봇', "카트 로봇", '자율주행 카트', '스마트 카트' 등 인 것이 바람직하다. The path-following autonomous driving device 100 is a 'robot for (specific function)', 'mobile robot', 'cart mobile robot', 'cart robot', 'self-driving cart', 'smart cart' capable of autonomous driving. etc. is preferable.
상기 적외선 발광장치(200)는 상기 자율 주행 장치(100)에 명령신호를 보내는 명령 송신기로서 소정 IR 주파수 대역의 전자기파를 방출하는 적외선 발광센서를 탑재하고 있다. 적외선은 가시광선의 붉은색 밖에 있는 빛으로 멀리 도달하진 못하지만 비교적 간단하고 혼선 없이 정보를 전달한다. The infrared light emitting device 200 is a command transmitter that sends a command signal to the autonomous driving device 100, and is equipped with an infrared light emitting sensor that emits electromagnetic waves in a predetermined IR frequency band. Infrared is light outside the red spectrum of visible light and does not reach very far, but it carries information relatively simply and without crosstalk.
도 2는 본 발명의 바람직한 일 실시예에 따른 경로 추종 자율 주행 장치를 도시한 기능 블록도이다. 2 is a functional block diagram illustrating a path-following autonomous driving device according to a preferred embodiment of the present invention.
본 발명의 일 실시예에 따른 경로 추종 자율 주행 장치(100)는, 전원부(120), 입력부(130), 통신부(140), 적외선 감지부(150), 출력부(160), 메모리(180), 주행부(190) 및 상기 적외선 감지부(150)에서 감지한 정보로부터 상기 주행부(190)의 주행 동작을 제어하는 주행 제어부(110) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. A path following autonomous driving device 100 according to an embodiment of the present invention includes a power supply unit 120, an input unit 130, a communication unit 140, an infrared sensor 150, an output unit 160, and a memory 180. , At least one of the driving unit 190 and the driving control unit 110 that controls the driving operation of the driving unit 190 from information detected by the infrared sensor 150, or a combination thereof.
이때, 도 1에 도시한 구성요소들이 필수적인 것은 아니어서, 그 보다 많은 구성요소들을 갖거나 그 보다 적은 구성요소들을 갖는 자율 주행 장치가 구현될 수 있음은 물론이다. At this time, the components shown in FIG. 1 are not essential, so it goes without saying that an autonomous driving device having more or fewer components can be implemented.
이하, 각 구성요소들에 대해 살펴보기로 한다.Hereinafter, each component will be reviewed.
우선, 전원부(120)는 외부 상용 전원에 의해 충전 가능한 배터리를 구비하여 자율 주행 장치(100)내로 전원을 공급한다. 전원부(120)는 자율 주행 장치(100)에 포함된 각 구성들에 구동 전원을 공급하여, 자율 주행 장치(100)가 주행하거나 특정 기능을 수행하는데 요구되는 동작 전원을 공급할 수 있다. First, the power supply unit 120 includes a battery that can be charged by an external commercial power source and supplies power to the autonomous driving device 100 . The power supply unit 120 may supply driving power to each component included in the autonomous driving device 100 to supply operating power required for the autonomous driving device 100 to drive or perform a specific function.
이를 위해, 주행 제어부(110)는 배터리의 전원 잔량을 감지한다. 주행 제어부(110)는 전원 잔량이 부족하면, 외부 상용 전원과 연결된 충전대로 이동하도록 자율 주행 장치(100)를 제어하여, 충전대로부터 충전 전류를 공급받아 배터리를 충전하게끔 한다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 주행 제어부(110)에 전달될 수 있도록 한다. To this end, the driving controller 110 detects the remaining power of the battery. When the remaining amount of power is insufficient, the driving controller 110 controls the autonomous driving device 100 to move to a charging station connected to an external commercial power source, and receives charging current from the charging station to charge the battery. The battery is connected to the battery detector so that the battery remaining amount and charging state can be transmitted to the driving control unit 110 .
상기 출력부(160)는 배터리 잔량을 출력부(160)에 표시할 수 있다. 주행 제어부(110)는, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다. The output unit 160 may display the remaining battery capacity on the output unit 160 . The driving control unit 110 serves to process information based on artificial intelligence technology, and includes one or more modules that perform at least one of information learning, information inference, information perception, and natural language processing. can do.
주행 제어부(110)는 머신 러닝(machine running) 기술을 이용하여, 자율 주행 장치내에 저장된 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다. 그리고, 주행 제어부(110)는 상기 머신 러닝 기술을 이용하여 학습된 정보들을 이용하여, 실행 가능한 적어도 하나의 동작을 예측(또는 추론)하고, 상기 적어도 하나의 예측된 동작들 중 실현성이 가장 높은 동작이 실행되도록 자율 주행 장치(100)를 제어할 수 있다. The driving control unit 110 is learning, reasoning, and processing a vast amount of information (big data, big data) such as information stored in an autonomous driving device and information stored in a communicable external storage using machine running technology. At least one can be done. Then, the driving control unit 110 predicts (or infers) at least one executable action using the information learned using the machine learning technology, and selects the most feasible action among the at least one predicted action. The self-driving device 100 may be controlled so that this is executed.
머신 러닝 기술은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이다. 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 동작이다. Machine learning technology is a technology that collects and learns large-scale information based on at least one algorithm, and determines and predicts information based on the learned information. Learning of information is an operation of identifying characteristics, rules, criteria, etc. of information, quantifying the relationship between information and predicting new data using quantified patterns.
머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다. The algorithm used by machine learning technology can be an algorithm based on statistics, for example, a decision tree using a tree structure as a predictive model, and an artificial neural network that mimics the structure and function of a neural network in a living organism. (neural network), genetic programming based on the evolutionary algorithm of organisms, clustering that distributes observed examples into subsets called clusters, and Monte Carlo method that calculates function values as probabilities through randomly extracted random numbers (Monter Carlo method) and the like.
머신 러닝 기술의 한 분야로써, 딥러닝 기술은 인공 신경망(Deap Neuron Network, DNN) 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망(DNN)은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망(DNN)을 통하여 방대한 양의 정보를 학습할 수 있다.As a field of machine learning technology, deep learning technology is a technology that performs at least one of learning, judgment, and processing of information using a Deep Neuron Network (DNN) algorithm. An artificial neural network (DNN) may have a structure that connects layers and transfers data between layers. Such deep learning technology can learn a vast amount of information through an artificial neural network (DNN) using a graphic processing unit (GPU) optimized for parallel computation.
주행 제어부(110)는 외부의 서버 또는 메모리에 저장된 트레이닝 데이터를 이용하며, 소정의 물체를 인식하기 위한 특징을 검출하는 학습 엔진을 탑재할 수 있다. 이때, 물체를 인식하기 위한 특징에는 물체의 크기, 형태 및 음영 등을 포함할 수 있다. 위와 같은 학습 엔진은 주행 제어부(110)에 탑재될 수도 있고, 외부 서버에 탑재될 수도 있다. 학습 엔진이 외부 서버에 탑재된 경우, 주행 제어부(110)는 분석의 대상인 적어도 하나의 영상을 상기 외부 서버로 전송하도록 통신부(140)를 제어할 수 있다.The driving control unit 110 uses training data stored in an external server or memory, and may be equipped with a learning engine that detects a feature for recognizing a predetermined object. In this case, the characteristics for recognizing the object may include the size, shape, and shade of the object. The above learning engine may be installed in the driving control unit 110 or may be installed in an external server. When the learning engine is mounted on an external server, the driving control unit 110 may control the communication unit 140 to transmit at least one image that is an analysis target to the external server.
본 발명에 따른 주행 제어부(110)는 상술한 머신 러닝 기술 뿐만 아니라 적외선 신호를 감지하여 사용자를 추종하는 기능 모듈로서 동기화 설정 모듈(112)과 경로 판정 모듈(114)를 포함할 수 있다. The driving control unit 110 according to the present invention may include a synchronization setting module 112 and a path determination module 114 as functional modules that follow a user by detecting an infrared signal as well as the above-described machine learning technology.
상기 동기화 설정 모듈(112)은 적외선 감지부(150)를 통해 수신되는 여러가지 적외선중 상기 적외선 발광장치(200)로부터 발신된 적외선을 감지하고, 적외선 감지부(150)를 상기 적외선 발광장치(200)에 동기화시키는 기능 모듈이다. 상기 적외선 발광장치(200)는 상기 자율 주행 장치(100)와 미리 약속된 패턴(동기화 패턴)의 적외선을 방출한다. 상기 미리 약속된 패턴, 즉, 동기화 패턴은 제 1 시간대(예를 들어, t1시간)에 연속적으로 정해진 갯수(예를 들어, 3개)의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(예를 들어, t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴을 의미한다. 따라서, 상기 동기화 설정모듈(112)은 상기 적외선 발광장치(200)로부터의 적외선 명령신호를 다른 외부 조명이나 자연적인 빛 등의 적외선과 같은 외란 신호와 구분하고, 상기 적외선 감지부(150)가 상기 적외선 발광장치(200)에 튜닝(tunning)되도록 동기화시킨다. The synchronization setting module 112 detects infrared rays transmitted from the infrared light emitting device 200 among various infrared rays received through the infrared sensor 150, and sets the infrared sensor 150 to the infrared light emitting device 200. It is a function module that synchronizes with The infrared light emitting device 200 emits infrared rays in a pattern (synchronization pattern) agreed with the autonomous driving device 100 in advance. The predetermined pattern, that is, the synchronization pattern, continuously emits a predetermined number (eg, 3) of infrared pulses in a first time period (eg, t 1 time), and in a second time period (eg, For example, a periodic pattern that does not emit infrared pulses at t 2 hours). Therefore, the synchronization setting module 112 distinguishes the infrared command signal from the infrared light emitting device 200 from disturbance signals such as infrared rays such as other external lighting or natural light, and the infrared detector 150 detects the It is synchronized to be tuned to the infrared light emitting device 200.
상기 경로 판정 모듈(114)은 적외선 발광장치(200)에 동기화된 적외선 감지부(150)로서의 적외선 카메라가 수신하는 적외선 명령신호(이하, 적외선 포인트)를 도 3과 같이 픽셀상에 그 위치를 표시하고, 적외선 포인트가 픽셀의 중심에서 좌나 우로 벗어나는 방향과 각도를 판별하여 주행부(190)에 추종해야할 방향과 각도를 지시한다. The path determining module 114 displays an infrared command signal (hereinafter referred to as an infrared point) received by an infrared camera as an infrared sensor 150 synchronized with the infrared light emitting device 200 on a pixel as shown in FIG. 3 Then, by discriminating the direction and angle at which the infrared point deviates from the center of the pixel to the left or right, the driving unit 190 is instructed the direction and angle to be followed.
상기 주행부(190)는 바닥을 따라 구름 운동하는 복수 개의 바퀴 및 상기 바퀴를 회전시키는 모터를 포함할 수 있다. 상기 모터를 구동함으로써, 복수 개의 바퀴를 여러 방향으로 회전시켜 본체를 회전 또는 이동시킬 수 있다. 이때, 상기 복수 개의 바퀴는 독립적으로 움직일 수 있다. 주행부(190)는 자율 주행 장치(100)의 본체를 전후좌우로 진행시키거나, 곡선주행시키거나, 제자리 회전시킬 수 있다.The driving unit 190 may include a plurality of wheels rolling along the floor and a motor rotating the wheels. By driving the motor, the main body can be rotated or moved by rotating a plurality of wheels in various directions. At this time, the plurality of wheels can move independently. The driving unit 190 may move the body of the autonomous driving device 100 forward and backward, left and right, drive in a curve, or rotate in place.
한편, 입력부(130)는 사용자로부터 자율 주행 장치(100)에 대한 각종 제어 명령을 입력받는다. 입력부(130)는 하나 이상의 버튼을 포함할 수 있고, 예를 들어, 확인버튼, 설정버튼 등을 포함할 수 있다. 확인버튼은 감지 정보, 장애물 정보, 위치 정보, 맵 정보를 확인하는 명령을 사용자로부터 입력받기 위한 버튼이고, 설정버튼은 상기 정보들을 설정하는 명령을 사용자로부터 입력받기 위한 버튼이다. 또, 입력부(130)는 하드 키나 소프트 키, 터치패드 등으로 자율 주행 장치(100)의 상부에 설치될 수 있다. 또, 입력부(130)는 출력부(160)와 함께 터치 스크린의 형태를 가질 수 있다. Meanwhile, the input unit 130 receives various control commands for the autonomous driving device 100 from the user. The input unit 130 may include one or more buttons, and may include, for example, a confirmation button and a setting button. The confirmation button is a button for receiving a command for confirming detection information, obstacle information, location information, and map information from the user, and the setting button is a button for receiving a command for setting the information from the user. In addition, the input unit 130 may be installed above the autonomous driving device 100 as a hard key, a soft key, or a touch pad. Also, the input unit 130 may have the form of a touch screen together with the output unit 160 .
출력부(130)는, 배터리 상태, 동작 상태, 주행 방식, 실행가능한 메뉴 등을 화면에 표시할 수 있다. 또한, 출력부(160)는, 자유 주행 장치(100) 내부의 상태 정보, 예를 들어 자율 주행 장치(100)에 포함된 각 구성들의 현재 상태를 출력할 수 있다. 또, 출력부(160)는 기타의 센서로부터 검출한 외부의 상태 정보, 장애물 정보, 위치 정보, 지도 정보, 물품 정보 등을 화면에 디스플레이할 수 있다. 출력부(160)는 발광 다이오드(Light Emitting Diode; LED), 액정 표시 장치(Liquid Crystal Display; LCD), 플라즈마 표시 패널(Plasma Display Panel), 유기 발광 다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.The output unit 130 may display a battery state, an operating state, a driving method, an executable menu, and the like on a screen. In addition, the output unit 160 may output internal state information of the autonomous driving device 100, for example, the current state of each component included in the autonomous driving device 100. In addition, the output unit 160 may display external state information, obstacle information, location information, map information, article information, etc. detected by other sensors on the screen. The output unit 160 may be any one of a light emitting diode (LED), a liquid crystal display (LCD), a plasma display panel, and an organic light emitting diode (OLED). It can be formed as an element of.
출력부(160)는, 주행 제어부(110)에 의해 수행되는 자율 주행 장치(100)의 동작 과정 또는 동작 결과를 청각적으로 출력하는 음향 출력 수단을 더 포함할 수도 있다. 예를 들어, 출력부(160)는 주행 제어부(110)에 의해 생성된 경고 신호에 따라 외부에 경고음을 출력할 수 있다. 이때, 음향 출력 수단(미도시)은 비퍼(beeper), 스피커 등의 음향을 출력하는 수단일 수 있고, 출력부(160)는 메모리(180)에 저장된 소정의 패턴을 가진 오디오 데이터 또는 메시지 데이터 등을 이용하여 음향 출력 수단을 통해 외부로 출력할 수 있다.The output unit 160 may further include a sound output means for aurally outputting the operation process or operation result of the autonomous driving device 100 performed by the driving control unit 110 . For example, the output unit 160 may output a warning sound to the outside according to a warning signal generated by the driving control unit 110 . In this case, the sound output unit (not shown) may be a unit for outputting sound such as a beeper or a speaker, and the output unit 160 may include audio data or message data having a predetermined pattern stored in the memory 180. It can be output to the outside through the sound output means by using.
메모리(180)는 자율 주행 장치(100)를 제어 또는 구동하는 제어 프로그램 및 그에 따른 데이터를 저장한다. 메모리(180)는 오디오 정보, 영상 정보, 장애물 정보, 위치 정보, 지도 정보, 물품 정보 등을 저장할 수 있다. 또, 메모리(180)는 상기 동기화 패턴과 관련된 정보를 저장할 수 있다. 상기 메모리(180)는 비휘발성 메모리를 주로 사용한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지할 수 있는 저장 장치로서, 일 예로, 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등일 수 있다. The memory 180 stores a control program for controlling or driving the autonomous driving device 100 and corresponding data. The memory 180 may store audio information, image information, obstacle information, location information, map information, product information, and the like. Also, the memory 180 may store information related to the synchronization pattern. The memory 180 mainly uses a non-volatile memory. Here, the non-volatile memory (NVM, NVRAM) is a storage device capable of continuously maintaining stored information even when power is not supplied, for example, a ROM, a flash memory, a magnetic computer It may be a storage device (eg, hard disk, diskette drive, magnetic tape), optical disk drive, magnetic RAM, PRAM, and the like.
한편, 상기 기타 센서로서는, 외부 신호 감지 센서, 전방 감지 센서, 낭떠러지 감지 센서, 2차원 카메라 센서 및 3차원 카메라 센서 중 적어도 하나를 포함할 수 있다. 여기에서, 상기 외부 신호 감지 센서는 자율 주행 장치의 외부 신호를 감지할 수 있다. 외부 신호 감지 센서는, 일 예로, 초음파 센서(UltraSonic Sensor), RF 센서(Radio Frequency Sensor), UWB 센서, NFC 센서 등일 수 있다. Meanwhile, the other sensors may include at least one of an external signal detection sensor, a front detection sensor, a cliff detection sensor, a 2D camera sensor, and a 3D camera sensor. Here, the external signal detection sensor may detect an external signal of the autonomous driving device. The external signal detection sensor may be, for example, an ultrasonic sensor (UltraSonic Sensor), an RF sensor (Radio Frequency Sensor), a UWB sensor, an NFC sensor, and the like.
한편, 통신부(140)는 특정 영역 내 위치한 타 기기와 유선, 무선, 위성 통신 방식들 중 하나의 통신 방식으로 연결되어 신호와 데이터를 송수신한다. 통신부(140)는 특정 영역 내에 위치한 타 기기와 데이터를 송수신할 수 있다. 이때, 타 기기는 네트워크에 연결하여 데이터를 송수신할 수 있는 장치이면 어느 것이어도 무방하며, 일예로, 공기 조화 장치, 난방 장치, 공기 정화 장치, 전등, TV, 자동차 등과 같은 장치일 수 있다. 또한, 상기 타 기기는, 문, 창문, 수도 밸브, 가스 밸브 등을 제어하는 장치 등일 수 있다. 또한, 상기 타 기기는, 온도, 습도, 기압, 가스 등을 감지하는 센서 등일 수 있다. 또한, 통신부(140)는 특정 영역 또는 일정 범위 내에 위치한 다른 자율 주행 장치와 통신할 수 있다. Meanwhile, the communication unit 140 is connected to another device located within a specific area through one of wired, wireless, and satellite communication methods to transmit and receive signals and data. The communication unit 140 may transmit/receive data with other devices located within a specific area. In this case, the other device may be any device that can transmit and receive data by connecting to a network, and may be, for example, an air conditioning device, a heating device, an air purifying device, a light, a TV, a vehicle, and the like. Also, the other device may be a device that controls a door, a window, a water valve, a gas valve, and the like. In addition, the other device may be a sensor that detects temperature, humidity, air pressure, gas, and the like. Also, the communication unit 140 may communicate with other autonomous driving devices located in a specific area or within a predetermined range.
상기 적외선 감지부(150)는, 주행하려는 영역으로부터 입사되는 적외선을 감지하기 위한 적외선 카메라이다. 이 적외선 카메라(150)는 도 3과 같이 픽셀 상에 감지된 적외선 신호를 포인트 형태로 표시하여 상기 출력부(160)를 통해 출력한다. 이때, 적외선 카메라(150)를 통해 감지되는 적외선 신호는 약속된 상기 동기화 패턴을 가진 적외선 신호이다. The infrared sensor 150 is an infrared camera for detecting infrared rays incident from an area to be driven. As shown in FIG. 3 , the infrared camera 150 displays the detected infrared signal on a pixel in a point form and outputs it through the output unit 160 . At this time, the infrared signal detected through the infrared camera 150 is an infrared signal having the agreed synchronization pattern.
상기 주행 제어부(110)는, 상기 적외선 감지부(150)의 감지 정보를 입력받아, 도 4의 알고리즘에 따라 처리한 결과에 따라, 상기 주행부(190) - 보다 구체적으로 복수개의 바퀴를 구동하는 모터 -를 제어하는 연산 장치(예: CPU, MPU, 자율 주행 장치의 전체 동작을 제어하는 범용 CPU에서 실행되는 SW 모듈)를 포함할 수 있다. The driving control unit 110 receives the detection information of the infrared sensor 150 and processes it according to the algorithm of FIG. 4 to operate the driving unit 190 - more specifically, driving a plurality of wheels. It may include an arithmetic unit (eg, CPU, MPU, SW module running on a general-purpose CPU that controls the entire operation of the autonomous driving device) that controls the motor.
상기 통신부(140)는 와이파이 통신, 블루투스 통신, 지그비 통신, 셀룰러 통신 등 다양한 방식의 무선 데이터 통신들 중 하나 이상을 수행하는 통신 모듈일 수 있다.The communication unit 140 may be a communication module that performs one or more of various wireless data communications such as Wi-Fi communication, Bluetooth communication, ZigBee communication, and cellular communication.
상기 적외선 발광장치(200)는 상기 자율 주행 장치(100)가 추종하는 대상(예를 들어, 사용자)에 부착되거나 휴대되는 것으로서, 소정 IR 주파수 대역의 전자기파를 방출하는 적외선 램프일 수 있다. 이 적외선 발광장치(200)는 상기 자율 주행 장치(100)와 미리 약속된 패턴(동기화 패턴)의 적외선을 방출하는 램프인 것이 바람직하다. The infrared light emitting device 200 is attached to or carried by an object (eg, a user) that the autonomous driving device 100 follows, and may be an infrared lamp emitting electromagnetic waves in a predetermined IR frequency band. Preferably, the infrared light emitting device 200 is a lamp that emits infrared rays in a pattern (synchronized pattern) agreed with the autonomous driving device 100 in advance.
상기 미리 약속된 패턴, 즉, 상기 동기화 패턴은 제 1 시간대(예를 들어, t1시간)에 연속적으로 정해진 갯수(예를 들어, 3개)의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(예를 들어, t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴을 의미한다. 따라서, 상기 동기화 패턴은 제 1 시간대와 제 2 시간대를 하나의 주기로 하는 주기적인 패턴으로서 제 1 시간대에는 정해진 갯수의 적외선 펄스를 방출하고, 이어지는 제 2 시간대에는 적외선 펄스를 방출하지 않는다. The predetermined pattern, that is, the synchronization pattern, continuously emits a predetermined number (eg, 3) of infrared pulses in a first time period (eg, t 1 time), and in a subsequent second time period (eg, t 1 time) For example, t 2 time) means a periodic pattern that does not emit infrared pulses. Accordingly, the synchronization pattern is a periodic pattern having a first time period and a second time period as one cycle, in which a predetermined number of infrared pulses are emitted during the first time period and no infrared pulses are emitted during the following second time period.
이하, 도 3 및 도 4를 참조하여 본 발명에 따른 바람직한 일 실시예의 적외선을 이용하여 사용자를 추종하는 절차를 상세히 설명한다. 도 3은 적외선 카메라의 픽셀상에 적외선 포인트가 표시된 상태를 도시한 도면이고, 도 4는 본 발명의 자율 주행 장치가 적외선 발광장치를 휴대하고 있는 사용자를 추종하는 알고리즘을 설명하기 위한 순서도이다. Hereinafter, with reference to FIGS. 3 and 4, a procedure for following a user using infrared rays according to a preferred embodiment according to the present invention will be described in detail. 3 is a diagram showing a state in which infrared points are displayed on pixels of an infrared camera, and FIG. 4 is a flowchart for explaining an algorithm for the autonomous driving device of the present invention to follow a user carrying an infrared emitting device.
사용자가 소지한 적외선 발광장치(200)는 동기화 패턴을 갖는 적외선 신호를 발신한다. 이에 따라, 본 발명에 따른 자율 주행 장치(100)는 이 동기화 패턴을 갖는 적외선 신호를 이용하여 사용자의 움직임을 아래의 알고리즘에 따라 추종한다.The infrared emitting device 200 possessed by the user transmits an infrared signal having a synchronization pattern. Accordingly, the autonomous driving device 100 according to the present invention uses the infrared signal having the synchronization pattern to follow the user's movement according to the following algorithm.
메모리(180)에 상기 약속된 동기화 패턴이 저장된 본 발명에 따른 경로 추종 자율 주행 장치(110)의 적외선 감지부(150)(즉, 적외선 카메라)는 감지되는 모든 적외선 신호를 촬상하여 주행 제어부(110)에 전달한다(S110).The infrared sensor 150 (i.e., infrared camera) of the path-following autonomous driving device 110 according to the present invention, in which the promised synchronization pattern is stored in the memory 180, captures all detected infrared signals and detects the driving control unit 110 ) to (S110).
주행 제어부(110)의 동기화 설정모듈(112)은 감지된 적외선 신호중 메모리(180)에 저장된 상기 동기화 패턴과 동일한 적외선 신호가 존재하는지 여부를 판단한다(S112). 즉, 상기 적외선 신호중 제 1 시간대(예를 들어, t1시간)에 연속적으로 정해진 갯수(예를 들어, 3개)의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(예를 들어, t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴을 갖는 적외선 신호가 존재하는지 여부를 판단한다. The synchronization setting module 112 of the driving control unit 110 determines whether an infrared signal identical to the synchronization pattern stored in the memory 180 exists among the detected infrared signals (S112). That is, a predetermined number (eg, 3) of infrared pulses are continuously emitted in a first time period (eg, time t 1 ) among the infrared signals, and a second time period (eg, time t 2 ) It is determined whether an infrared signal having a periodic pattern that does not emit infrared pulses exists.
이때, 상기 감지된 적외선 신호중에 동기화 패턴이 존재하지 않는 경우에는 S110으로 복귀하여 적외선 감지를 지속적으로 수행하고, 상기 감지된 적외선 신호중에 동기화 패턴이 존재하는 경우, 상기 동기화 설정모듈(112)은 상기 적외선 카메라가 상기 동기화 패턴을 갖는 적외선 신호만을 감지하도록 튜닝(예를 들어, 주파수 동기)하는 것에 의해 상기 적외선 감지부(150)와 사용자가 소지하고 있는 적외선 발광장치(200)를 동기화시킨다(S114).At this time, when there is no synchronization pattern among the detected infrared signals, the process returns to S110 to continuously perform infrared detection. When there is a synchronization pattern among the detected infrared signals, the synchronization setting module 112 The infrared sensor 150 is synchronized with the infrared emitting device 200 possessed by the user by tuning the infrared camera to detect only the infrared signal having the synchronization pattern (eg, frequency synchronization) (S114). .
적외선 발광장치(200)와 동기화된 적외선 감지부(150)는 적외선 발광장치(200)가 방출하는 적외선 신호를 촬상하여 도 3과 같이 카메라의 픽셀(50)상에 적외선 포인트(55)로 표시한다. 즉, 상기 적외선 발광장치(200)를 소지한 사용자의 위치가 적외선 카메라의 픽셀상에 하나의 점(적외선 포인트)으로 표시된다. 이렇게 적외선 포인트(55)가 표시된 픽셀(50)은 주행 제어부(110)의 경로 판정 모듈(114)에 전달된다. 이에 따라, 경로 판정 모듈(114)은 상기 적외선 포인트(55)의 픽셀(50)내 위치를 판단한다(S116).The infrared sensor 150 synchronized with the infrared light emitting device 200 captures an image of the infrared signal emitted by the infrared light emitting device 200 and displays it as an infrared point 55 on the pixel 50 of the camera as shown in FIG. . That is, the location of the user carrying the infrared light emitting device 200 is displayed as a single point (infrared point) on a pixel of the infrared camera. The pixels 50 on which the infrared points 55 are displayed are transferred to the path determination module 114 of the driving control unit 110 . Accordingly, the path determination module 114 determines the location of the infrared point 55 within the pixel 50 (S116).
즉, 상기 적외선 포인트(55)가 도 3의 (a)와 같이 픽셀(50)의 y축을 기준으로 우측면(1사분면과 4사분면)에 위치하는지 여부를 판단한다(S118). 이때, 적외선 포인트(55)가 도 3의 (a)와 같이 픽셀(50)의 중심(52)에서 우측으로 y축으로부터 θ1의 각도 지점에 위치하고 있다면 상기 경로 판정 모듈(114)은 주행부(190)에 자율 주행 장치(100)를 현재 위치로부터 우로 θ1의 각도로 이동하도록 지시한다(S119). That is, it is determined whether the infrared point 55 is located on the right side (quadrant 1 and quadrant 4) with respect to the y-axis of the pixel 50 as shown in (a) of FIG. 3 (S118). At this time, if the infrared point 55 is located at an angle point of θ 1 from the y-axis to the right from the center 52 of the pixel 50 as shown in (a) of FIG. 3, the path determination module 114 is the driving unit ( 190) is instructed to move the autonomous driving device 100 from the current position to the right at an angle of θ 1 (S119).
한편, 상기 적외선 포인트(55)가 픽셀(50)의 y축을 기준으로 우측면(1사분면과 4사분면)에 위치하지 않는 경우, 도 3의 (b)와 같이 픽셀(50)의 y축을 기준으로 좌측면(2사분면과 3사분면)에 위치하는지 여부를 판단한다(S120). 이때, 적외선 포인트(55)가 도 3의 (b)와 같이 픽셀(50)의 중심(52)에서 좌측으로 y축으로부터 θ2의 각도 지점에 위치하고 있다면 상기 경로 판정 모듈(114)은 주행부(190)에 자율 주행 장치(100)를 현재 위치로부터 좌로 θ2의 각도로 이동하도록 지시한다(S121). On the other hand, when the infrared point 55 is not located on the right side (quadrant 1 and quadrant 4) with respect to the y-axis of the pixel 50, the left side with respect to the y-axis of the pixel 50 as shown in (b) of FIG. It is determined whether it is located in the plane (quadrant 2 and quadrant 3) (S120). At this time, if the infrared point 55 is located at an angle point of θ 2 from the y-axis to the left from the center 52 of the pixel 50 as shown in (b) of FIG. 3, the path determination module 114 is the driving unit ( 190) is instructed to move the autonomous driving device 100 to the left at an angle of θ 2 from the current position (S121).
마지막으로, 상기 적외선 포인트(55)가 픽셀(50)의 y축을 기준으로 좌측면 및 우측면 모두에 위치하지 않고 도 3의 (c)와 같이 픽셀(50)의 y축 상에 위치하는지 여부를 판단한다(S122). 이때, 적외선 포인트(55)가 도 3의 (c)와 같이 픽셀(50)의 y축 상에 위치하고 있다면 상기 경로 판정 모듈(114)은 주행부(190)에 자율 주행 장치(100)를 현재 위치에서 직진하도록 지시한다(S124). Finally, it is determined whether the infrared point 55 is located on the y-axis of the pixel 50 as shown in (c) of FIG. Do (S122). At this time, if the infrared point 55 is located on the y-axis of the pixel 50 as shown in (c) of FIG. Instructs to go straight from (S124).
이와 같이, 상기 경로 판정 모듈(114)은 적외선 감지부(150)에서 수신한 적외선 신호가 카메라의 픽셀상에서 어떠한 위치에 존재하는지 여부를 판정하고, 이에 따라 주행 제어부(110)는 주행부(190)의 모터를 구동 제어하여 자율 주행 장치(100)를 좌로 또는 우로 또는 직진시킴으로써 사용자의 움직임을 자율적으로 추종하게 된다. In this way, the path determination module 114 determines whether the infrared signal received from the infrared sensor 150 exists on a pixel of the camera, and accordingly, the driving control unit 110 determines whether the driving unit 190 By driving and controlling the motor of the self-driving device 100 to go left or right or straight, the user's movement is autonomously followed.
본 발명은 하나의 적외선 발광센서와 하나의 적외선 수광센서를 미리 설정된 패턴을 이용하여 동기화시키는 것에 의해 외부 조명이나 자연적인 빛 등으로부터 발생하는 적외선 신호(외란 신호)와 명령신호를 구분함으로써 별도의 대역통과필터(BPF)나 주파수 변조수단을 필요로 하지 않는다. The present invention synchronizes one infrared emitting sensor and one infrared light receiving sensor using a preset pattern, thereby distinguishing between an infrared signal (disturbing signal) and a command signal generated from external lighting or natural light, thereby providing a separate band. It does not require a pass filter (BPF) or frequency modulation means.
또한, 본 발명은 자율 주행 장치에 다양한 각도와 방향으로 여러개의 적외선 수광센서를 설치하지 않더라도 하나의 적외선 카메라만을 이용하여 적외선 발광센서를 소지한 사용자가 현재 위치로부터 어느 방향으로 이동하는지를 손쉽게 추적 할 수 있다. In addition, the present invention can easily track in which direction a user carrying an infrared light emitting sensor is moving from a current position using only one infrared camera without installing multiple infrared light receiving sensors at various angles and directions in an autonomous driving device. there is.
또한, 본 발명은 움직이는 사용자를 자율적으로 추종하기 위한 복잡한 추종 알고리즘이나 인공지능 메카니즘의 도움 없이도 간단하고, 손쉬운 위치 분석 알고리즘을 이용하여 사용자를 추종하는 것이 가능하다. In addition, according to the present invention, it is possible to follow a user by using a simple and easy location analysis algorithm without the aid of a complex following algorithm or an artificial intelligence mechanism for autonomously following a moving user.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.Although the present invention has been described above with limited examples and drawings, the present invention is not limited thereto and will be described below and the technical spirit of the present invention by those skilled in the art to which the present invention belongs. Of course, various modifications and variations are possible within the scope of the claims.
본 발명의 적외선을 이용하여 사용자를 추종하는 방법 및 장치는 자율주행 이동로봇 등과 같은 다양한 로봇 분야에 사용될 수 있다.The method and device for following a user using infrared rays of the present invention can be used in various robotic fields such as autonomous mobile robots.

Claims (16)

  1. 적외선 발광센서를 휴대하는 사용자의 움직임을 적외선 신호에 기반하여 자율적으로 추종하는 자율 주행 장치로서, An autonomous driving device that autonomously follows the movement of a user carrying an infrared light emitting sensor based on an infrared signal,
    상기 자율 주행 장치는, The autonomous driving device,
    상기 적외선 발광센서로부터의 적외선 명령신호와 다른 적외선 외란신호를 구분하기 위한 동기화 패턴을 저장하고 있는 메모리와; a memory for storing a synchronization pattern for discriminating an infrared command signal from the infrared light emitting sensor and another infrared disturbance signal;
    상기 자율 주행 장치를 전,후,좌,우로 이동시키기 위한 복수 개의 바퀴와 상기 바퀴를 구동시키는 모터를 포함하는 주행부와; a driving unit including a plurality of wheels for moving the autonomous driving device forward, backward, left, and right, and a motor for driving the wheels;
    상기 적외선 명령신호와 상기 적외선 외란신호와 같은 적외선 신호들을 수신하기 위한 단일(單一)한 적외선 수광센서; 및 a single infrared light receiving sensor for receiving infrared signals such as the infrared command signal and the infrared disturbance signal; and
    상기 동기화 패턴을 갖는 적외선 명령신호만 수신할 수도 있도록 상기 적외선 수광센서를 상기 적외선 발광센서와 동기화시키고, 상기 적외선 수광센서의 픽셀에 표시되는 상기 적외선 명령신호의 포인트의 위치와 각도를 판별하여 상기 주행부를 구동 제어하는 주행 제어부를 포함하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치.The infrared light-receiving sensor is synchronized with the infrared light emitting sensor so that only the infrared command signal having the synchronization pattern can be received, and the position and angle of the point of the infrared command signal displayed on the pixel of the infrared light-receiving sensor is determined to perform the driving. An autonomous driving device that follows a user using infrared rays, characterized in that it includes a driving control unit for driving and controlling the unit.
  2. 제 1 항에 있어서, According to claim 1,
    상기 주행 제어부는, The driving control unit,
    상기 동기화 패턴에 기반하여 상기 적외선 수광센서를 상기 적외선 발광센서에 동기화시키는 동기화 설정 모듈과; a synchronization setting module for synchronizing the infrared light receiving sensor with the infrared light emitting sensor based on the synchronization pattern;
    동기화된 적외선 명령신호가 상기 적외선 수광센서의 픽셀에 포인트로 표시되는 경우, 상기 포인트의 픽셀내 위치와 각도를 판별하여 상기 주행부를 구동 제어하는 경로 판정 모듈을 포함하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치.When a synchronized infrared command signal is displayed as a point in a pixel of the infrared light-receiving sensor, a path determination module for driving and controlling the driving unit by determining the position and angle of the point in the pixel using infrared rays, characterized in that it includes A self-driving device that follows the user.
  3. 제 2 항에 있어서, According to claim 2,
    상기 포인트의 위치는 픽셀의 좌측면, 우측면 및 y축중 어느 하나인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치.The location of the point is any one of the left side, right side and y-axis of the pixel. An autonomous driving device that follows a user using infrared rays.
  4. 제 3 항에 있어서, According to claim 3,
    상기 포인트의 각도는 상기 포인트가 y축과 이루는 각도인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치. An autonomous driving device that follows a user using infrared rays, characterized in that the angle of the point is an angle formed by the point with the y-axis.
  5. 제 1 항 내지 제 4 항중 어느 한 항에 있어서, According to any one of claims 1 to 4,
    상기 동기화 패턴은 제 1 시간대(t1시간)에 연속적으로 정해진 갯수의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치. The synchronization pattern is a periodic pattern that continuously emits a predetermined number of infrared pulses in a first time period (time t 1 ) and does not emit infrared pulses in a second time period (time t 2 ). A self-driving device that follows the user by using
  6. 제 5 항에 있어서, According to claim 5,
    상기 포인트가 y축으로부터 θ2의 각도로 상기 픽셀의 2사분면 또는 3사분면에 위치하는 경우, 상기 주행 제어부는 상기 자율 주행 장치를 현재 위치로부터 좌로 θ2의 각도로 이동하도록 상기 주행부를 구동 제어하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치. When the point is located in the second or third quadrant of the pixel at an angle of θ 2 from the y-axis, the driving control unit driving and controlling the driving unit to move the autonomous driving device to the left from the current position at an angle of θ 2 An autonomous driving device that follows a user using infrared rays, characterized in that.
  7. 제 5 항에 있어서, According to claim 5,
    상기 포인트가 y축으로부터 θ1의 각도로 상기 픽셀의 1사분면 또는 4사분면에 위치하는 경우, 상기 주행 제어부는 상기 자율 주행 장치를 현재 위치로부터 우로 θ1의 각도로 이동하도록 상기 주행부를 구동 제어하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치. When the point is located in the first quadrant or the fourth quadrant of the pixel at an angle of θ 1 from the y-axis, the driving control unit driving and controlling the driving unit to move the autonomous driving device to the right from the current position at an angle of θ 1 An autonomous driving device that follows a user using infrared rays, characterized in that.
  8. 제 5 항에 있어서, According to claim 5,
    상기 포인트가 y축상에 위치하는 경우, 상기 주행 제어부는 상기 자율 주행 장치를 현재 위치에서 직진으로 이동하도록 상기 주행부를 구동 제어하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치. When the point is located on the y-axis, the driving controller drives and controls the driving unit to move the autonomous driving device straight from the current position.
  9. 제 5 항에 있어서, According to claim 5,
    상기 자율 주행 장치가 사용자를 추종하여 자율적으로 움직일 수 있는 이동 로봇인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 자율 주행 장치. An autonomous driving device following a user using infrared rays, characterized in that the autonomous driving device is a mobile robot capable of autonomously moving following a user.
  10. 적외선 발광센서를 휴대하는 사용자의 움직임을 적외선 신호에 기반하여 자율적으로 추종하기 위하여 단일(單一)한 적외선 수광센서를 구비하는 이동 로봇에서 있어서, In a mobile robot having a single infrared light receiving sensor to autonomously follow the movement of a user carrying an infrared light emitting sensor based on an infrared signal,
    상기 적외선 발광센서로부터 동기화 패턴을 갖는 적외선 명령신호와 다른 외부의 적외선 외란신호를 감지하는 단계; sensing an external infrared disturbance signal different from an infrared command signal having a synchronization pattern from the infrared light emitting sensor;
    상기 감지된 적외선 신호들중에 동기화 패턴을 갖는 적외선 신호가 존재하는 경우, 상기 동기화 패턴을 갖는 적외선 명령신호만을 감지하도록 상기 적외선 수광센서를 튜닝하는 것에 의해 상기 적외선 수광센서를 상기 적외선 발광장치와 동기화시키는 단계; When an infrared signal having a synchronization pattern exists among the detected infrared signals, the infrared light receiving sensor is tuned to detect only the infrared command signal having the synchronization pattern, thereby synchronizing the infrared light receiving sensor with the infrared light emitting device. step;
    상기 적외선 수광센서가 상기 동기화 패턴을 갖는 적외선 명령신호를 수신하고, 이를 픽셀상에 적외선 포인트로 표시하는 단계; receiving, by the infrared light receiving sensor, an infrared command signal having the synchronization pattern, and displaying the received infrared command signal as an infrared point on a pixel;
    상기 적외선 포인트의 픽셀내 위치와 각도를 판별하는 단계; 및 determining the position and angle of the infrared point in a pixel; and
    상기 위치와 각도에 근거하여 상기 이동 로봇을 구동 제어하는 단계를 포함하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. A method for following a user using infrared rays, comprising driving and controlling the mobile robot based on the position and angle.
  11. 제 10 항에 있어서, According to claim 10,
    상기 적외선 포인트의 위치는 픽셀의 좌측면, 우측면 및 y축중 어느 하나인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. The location of the infrared point is any one of the left side, right side and y-axis of the pixel.
  12. 제 11 항에 있어서, According to claim 11,
    상기 적외선 포인트의 각도는 상기 적외선 포인트가 y축과 이루는 각도인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. The method of following a user using infrared rays, characterized in that the angle of the infrared point is an angle formed by the infrared point and the y-axis.
  13. 제 12 항에 있어서, According to claim 12,
    상기 동기화 패턴은 제 1 시간대(t1시간)에 연속적으로 정해진 갯수의 적외선 펄스를 방출하고, 이어지는 제 2 시간대(t2시간)에 적외선 펄스를 방출하지 않는 주기적인 패턴인 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. The synchronization pattern is a periodic pattern that continuously emits a predetermined number of infrared pulses in a first time period (time t 1 ) and does not emit infrared pulses in a second time period (time t 2 ). How to use it to follow users.
  14. 제 13 항에 있어서, According to claim 13,
    상기 적외선 포인트가 y축으로부터 θ2의 각도로 상기 픽셀의 2사분면 또는 3사분면에 위치하는 경우, 상기 이동 로봇을 현재 위치로부터 좌로 θ2의 각도로 이동하도록 구동 제어하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. When the infrared point is located in the second or third quadrant of the pixel at an angle of θ 2 from the y-axis, the mobile robot is driven and controlled to move to the left at an angle of θ 2 from the current position Using infrared rays, characterized in that How to follow users.
  15. 제 14 항에 있어서, 15. The method of claim 14,
    상기 적외선 포인트가 y축으로부터 θ1의 각도로 상기 픽셀의 1사분면 또는 4사분면에 위치하는 경우, 상기 이동 로봇을 현재 위치로부터 우로 θ1의 각도로 이동하도록 구동 제어하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. When the infrared point is located in the 1st or 4th quadrant of the pixel at an angle of θ 1 from the y-axis, the mobile robot is driven and controlled to move from the current position to the right at an angle of θ 1 Using infrared rays, characterized in that How to follow users.
  16. 제 15 항에 있어서, According to claim 15,
    상기 적외선 포인트가 y축상에 위치하는 경우, 상기 이동 로봇을 현재 위치에서 직진으로 이동하도록 구동 제어하는 것을 특징으로 하는 적외선을 이용하여 사용자를 추종하는 방법. When the infrared point is located on the y-axis, the mobile robot is driven and controlled to move straight from the current position.
PCT/KR2022/014706 2021-10-01 2022-09-29 Method and device for tracking user using infrared light WO2023055152A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210131240 2021-10-01
KR10-2021-0131240 2021-10-01
KR10-2022-0032687 2022-03-16
KR1020220032687A KR102433859B1 (en) 2021-10-01 2022-03-16 A device and method for tracking user based on infrared signal detection

Publications (1)

Publication Number Publication Date
WO2023055152A1 true WO2023055152A1 (en) 2023-04-06

Family

ID=83112390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014706 WO2023055152A1 (en) 2021-10-01 2022-09-29 Method and device for tracking user using infrared light

Country Status (2)

Country Link
KR (1) KR102433859B1 (en)
WO (1) WO2023055152A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433859B1 (en) * 2021-10-01 2022-08-18 이일섭 A device and method for tracking user based on infrared signal detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166822A (en) * 1994-12-13 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> User tracking type moving robot device and sensing method
KR100477046B1 (en) * 2002-05-15 2005-03-17 김영석 Automatically following golf cart
KR20100041380A (en) * 2008-10-14 2010-04-22 권순태 A mobile robot system to track infrared transmitter and its apparatus
KR20170008614A (en) * 2015-07-14 2017-01-24 삼성전자주식회사 A movable object, a remote controller for controlling a movement of the movable object, a system for controlling of a movement of the movable object, a vacuum cleaner, a system for controlling of a movement of the vacuum cleaner, a method for controlling of a movement of the movable object and a method for controlling of a movement of the vacuum cleaner
KR102433859B1 (en) * 2021-10-01 2022-08-18 이일섭 A device and method for tracking user based on infrared signal detection

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100740008B1 (en) 2006-12-21 2007-07-16 (주)다사테크 Charging station position detecting system using narrow beam ir sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166822A (en) * 1994-12-13 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> User tracking type moving robot device and sensing method
KR100477046B1 (en) * 2002-05-15 2005-03-17 김영석 Automatically following golf cart
KR20100041380A (en) * 2008-10-14 2010-04-22 권순태 A mobile robot system to track infrared transmitter and its apparatus
KR20170008614A (en) * 2015-07-14 2017-01-24 삼성전자주식회사 A movable object, a remote controller for controlling a movement of the movable object, a system for controlling of a movement of the movable object, a vacuum cleaner, a system for controlling of a movement of the vacuum cleaner, a method for controlling of a movement of the movable object and a method for controlling of a movement of the vacuum cleaner
KR102433859B1 (en) * 2021-10-01 2022-08-18 이일섭 A device and method for tracking user based on infrared signal detection

Also Published As

Publication number Publication date
KR102433859B1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
KR102470532B1 (en) A plurality of autonomous mobile robots and a controlling method for the same
KR102254881B1 (en) A moving robot and a controlling method for the same
KR102567525B1 (en) Mobile Robot System, Mobile Robot And Method Of Controlling Mobile Robot System
US7117067B2 (en) System and methods for adaptive control of robotic devices
US8290619B2 (en) Systems and methods for dispersing and clustering a plurality of robotic devices
KR100645814B1 (en) Automatic charging return system of moving robot and method for thereof
EP1437636B1 (en) Mobile robot, and system and method for autonomous navigation of the same
WO2023055152A1 (en) Method and device for tracking user using infrared light
US20210097852A1 (en) Moving robot
US20200035076A1 (en) ARTIFICIAL INTELLIGENCE APPARATUS AND METHOD FOR DETECTING THEFT AND TRACING IoT DEVICE USING SAME
US11748614B2 (en) Artificial intelligence device for controlling external device
KR20190104489A (en) Artificial intelligence air conditioner and method for calibrating sensor data of air conditioner
KR20210004487A (en) An artificial intelligence device capable of checking automatically ventaliation situation and operating method thereof
US20220276660A1 (en) Robot cleaner and method for controlling the same
US11511634B2 (en) Charging system for robot and control method thereof
KR20210083812A (en) Autonomous mobile robots and operating method thereof
WO2021182694A1 (en) Robot cleaner and method for controlling the same
US11537137B2 (en) Marker for space recognition, method of moving and lining up robot based on space recognition and robot of implementing thereof
KR102635535B1 (en) Artificial intelligence device and operating method thereof
KR20210087718A (en) Air cleaning apparatus
WO2021182693A1 (en) Robot cleaner and method for controlling the same
KR20210070153A (en) Robot
WO2023068578A1 (en) Autonomous driving device for providing visualized virtual guide information, and operating method therefor
WO2022240256A1 (en) Distance transform map based responsive navigation for autonomous driving robot
KR20230091335A (en) Autonomous robot, cloud device and method of correcting position

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22876924

Country of ref document: EP

Kind code of ref document: A1