WO2020027407A1 - Artificial intelligence mobile robot and control method thereof - Google Patents

Artificial intelligence mobile robot and control method thereof Download PDF

Info

Publication number
WO2020027407A1
WO2020027407A1 PCT/KR2019/005463 KR2019005463W WO2020027407A1 WO 2020027407 A1 WO2020027407 A1 WO 2020027407A1 KR 2019005463 W KR2019005463 W KR 2019005463W WO 2020027407 A1 WO2020027407 A1 WO 2020027407A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
artificial intelligence
mobile robot
accessing
server
Prior art date
Application number
PCT/KR2019/005463
Other languages
French (fr)
Korean (ko)
Inventor
조원철
이성훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180140744A external-priority patent/KR102201143B1/en
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020027407A1 publication Critical patent/WO2020027407A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • the present invention relates to a mobile robot and a control method thereof, and more particularly, to a mobile robot and a control method capable of providing information and services based on the learned artificial intelligence.
  • Robots have been developed for industrial use and have been a part of factory automation. Recently, the application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes have also been made. Among these robots, a moving robot capable of traveling by magnetic force is called a mobile robot.
  • a representative example of a mobile robot used at home is a robot cleaner, which is a device that cleans a corresponding area by inhaling dust or foreign matter while driving around a certain area by itself.
  • the mobile robot is capable of moving by itself and is free to move, and is provided with a plurality of sensors for avoiding obstacles and the like while driving, so that the robot can travel to avoid obstacles.
  • voice recognition technology is applied to various devices, and researches on a method of controlling a mobile robot using voice recognition technology are increasing.
  • prior art document 1 Korean Patent Publication No. 10-2012-0114670, published on October 17, 2012 discloses that the robot cleaner has a speech recognition unit and recognizes a user's speech signal to provide a corresponding control command. Is running.
  • the robot cleaner supporting the voice recognition is trained.
  • the robot cleaner is changed, a situation in which the previously learned data is not applied to the new robot cleaner is required to learn from the beginning.
  • FIG. 16 is a diagram for describing a problem related to data and learning when changing a conventional device.
  • the voice recognition rate is gradually increased by learning the user's voice. That is, whenever the voice recognition is performed in the voice recognition unit of the robot cleaner, the voice pattern of the user is learned to increase the voice recognition rate.
  • the voice recognition unit can prevent the data through learning from being discarded without interworking with other devices and can be transferred to other devices.
  • An object of the present invention is to provide a method and means by which data can be conveniently transmitted when a device is replaced.
  • An object of the present invention is to provide an electronic device such as a mobile robot and a control method thereof, which can conveniently pass on previously learned data when replacing a device.
  • An object of the present invention is to provide an electronic device such as a mobile robot and a control method thereof that can provide a customized service according to a personalized usage pattern by learning the usage history.
  • An object of the present invention is to provide an electronic device such as a mobile robot and a control method thereof that can easily and quickly register the product.
  • a control unit for controlling to operate based on a voice recognition result of the input unit for receiving a user's voice input, the received voice input
  • a mobile memory capable of mounting and detaching and storing transmission data associated with the learning data based on the received voice input, so that data can be conveniently transferred when the device is replaced.
  • the transmission data may include artificial intelligence data learned by the user's voice, link data for accessing the artificial intelligence data, user authentication data for accessing the artificial intelligence data, and the artificial intelligence data for accessing the artificial intelligence data.
  • the voice recognition rate can be improved by learning the user's voice and using the personalized learning data in other devices.
  • the transmission data may include artificial intelligence data learned from a usage history of a mobile robot, link data for accessing artificial intelligence data, user authentication data for accessing the artificial intelligence data, and the artificial intelligence data for accessing the artificial intelligence data.
  • the usage history may be learned to provide a customized service according to a personalized usage pattern.
  • the mobile robot and the electronic device may further include an image acquisition unit photographing a driving zone, and the transmission data may further include data based on image data acquired through the image acquisition unit. . Accordingly, the image data and learning data obtained when using the mobile robot can be safely stored and used freely by other devices.
  • the transmission data further includes access point information connected to the mobile robot and the network, thereby easily and quickly performing product registration.
  • the mobile robot and the electronic device further include a communication unit which transmits data based on the voice input to a voice recognition server and receives a voice recognition result corresponding to the voice input from the voice recognition server. can do.
  • a mobile robot and an electronic device include: an image acquisition unit for photographing a driving zone, a storage unit storing an image obtained by the image acquisition unit, and the By including a mobile memory that transmits the transmission data based on at least a portion of the image stored in the storage unit, it is possible to safely store the data in a double, and to simply transfer the data to another device if necessary.
  • the transmission data may include image data acquired by the image acquisition unit, third artificial intelligence data learned from the image data, link data for accessing the third artificial intelligence data, and access to the third artificial intelligence data.
  • third artificial intelligence data learned from the image data
  • link data for accessing the third artificial intelligence data link data for accessing the third artificial intelligence data
  • access to the third artificial intelligence data By including at least one of user authentication data to the identification information, the identification information of the mobile memory for accessing the third artificial intelligence data, it is possible to use the image information for the driving zone in the new device.
  • the storage unit stores a usage history of the mobile robot, and the transmission data includes artificial intelligence data learned from the usage history, link data for accessing the fourth artificial intelligence data, and accessing the artificial intelligence data.
  • the transmission data includes artificial intelligence data learned from the usage history, link data for accessing the fourth artificial intelligence data, and accessing the artificial intelligence data.
  • a mobile robot and an electronic device further include an input unit configured to receive a voice input of a user, and the transmission data includes artificial intelligence data learned by the user's voice and the artificial intelligence data.
  • the apparatus further includes at least one of link data for accessing, user authentication data for accessing the artificial intelligence data, and identification information of the mobile memory for accessing the artificial intelligence data, thereby learning personalized learning data by learning a user voice. It can also be used in other devices to improve speech recognition rates.
  • a mobile robot and a control method of an electronic device include: retrieving transmission data stored in a mobile memory to be mounted; updating artificial intelligence data based on the transmission data; and obtaining while driving.
  • a method for controlling a mobile robot and an electronic device comprising: requesting artificial intelligence-related data from a server based on the received transmission data; receiving the artificial intelligence-related data from the server It may further include.
  • a method for controlling a mobile robot and an electronic device comprising: transmitting at least a portion of data acquired while driving to a server, receiving the artificial intelligence-related data from the server, from the server
  • the method may further include updating the artificial intelligence data based on the received artificial intelligence-related data.
  • a mobile robot and a method for controlling an electronic device may include: importing transmission data stored in an attached movement memory, access point information of an access point device included in the transmission data; On the basis of the network connection with the access point device, requesting a product registration to the server, and receiving a product registration completion message from the server, it is possible to easily register the product.
  • the access point information may include identification information and encryption information of the access point device.
  • control method of the mobile robot and the electronic device may further include the step of network connection with the mobile terminal, the mobile terminal requesting the product registration to the server.
  • an evolutionary voice recognition storage means that can conveniently pass data on device replacement.
  • the voice recognition rate can be improved by learning the user's voice and using the personalized learning data in another device.
  • the usage history may be learned to provide a customized service according to a personalized usage pattern.
  • product registration can be performed simply and quickly.
  • the user's convenience, reliability, preference and product utilization may be increased.
  • FIG. 1 is a block diagram of a home appliance network system according to an embodiment of the present invention.
  • FIG. 2 is a perspective view showing a mobile robot according to an embodiment of the present invention.
  • FIG. 3 is a plan view of the mobile robot of FIG. 2.
  • FIG. 4 is a side view of the mobile robot of FIG. 2.
  • FIG. 5 is a block diagram showing a control relationship between major components of a mobile robot according to an embodiment of the present invention.
  • FIG. 6 is a view referred to for describing learning using product data according to an embodiment of the present invention.
  • FIG. 7 is an example of a simplified internal block diagram of a server according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
  • FIG. 9 is a diagram referred to for describing voice recognition and voice classification according to an embodiment of the present invention.
  • FIG. 12 is a view referred to for describing data transmission between devices according to an embodiment of the present invention.
  • FIGS. 13A to 13C are diagrams illustrating user interface screens provided in a mobile robot product registration process.
  • FIG. 14 is a flowchart illustrating a product registration process according to an embodiment of the present invention.
  • 15 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
  • FIG. 16 is a diagram for describing a problem related to data and learning when changing a conventional device.
  • module and “unit” for the components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not give particular meaning or role in themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • An electronic device is a device in which a mobile memory (see 106 of FIG. 5) is mounted and used, and a removable memory 106 can be attached and detached.
  • an electronic device may include an air conditioner (see 11 in FIG. 1), a mobile robot (see 22 in FIG. 1, 100 in FIG. 2, etc.), a refrigerator (see 31 in FIG. 1). , A washing machine (see 32 in FIG. 1), and the like.
  • the mobile robot 100 means a robot that can move itself by using a wheel or the like, and may be a home helper robot or a robot cleaner.
  • FIG. 1 is a block diagram of a home appliance network system according to an embodiment of the present invention.
  • a home appliance network system may include a home appliance including a communication module, which may communicate with another device, the server 70, or connect to a network.
  • the home appliance may correspond to an air conditioner 10 having a communication module, a cleaner 20, a refrigerator 31, a washing machine 32, and the like.
  • the air conditioner 10 may include at least one of an air conditioner 11, an air cleaner 12 and 13, a humidifier 14, and a hood 15.
  • the cleaner 20 may be a vacuum cleaner 21, a robot cleaner 22, or the like.
  • the communication module included in the home appliances 10, 20, 31, and 32 may be a Wi-Fi communication module, and the present invention is not limited to the communication method.
  • the home appliances 10, 20, 31, and 32 may include other types of communication modules or may include a plurality of communication modules.
  • the home appliances 10, 20, 31, and 32 may include an NFC module, a Zigbee communication module, a Bluetooth TM communication module, and the like.
  • the home appliances 10, 20, 31, and 32 may be connected to a predetermined server 70 through a Wi-Fi communication module, and may support smart functions such as remote monitoring and remote control.
  • the home appliance network system may include a mobile terminal 50 such as a smart phone and a tablet PC.
  • the user may check information on the home appliances 10, 20, 31, and 32 in the home appliance network system or control the home appliances 10, 20, 31, and 32 through the portable terminal 50.
  • the home appliance network system may include a plurality of Internet of Things (IoT) devices (not shown).
  • the home appliance network system may include home appliances 10, 20, 31, and 32, portable terminal 50, and Internet of Things (IoT) devices.
  • the home appliance network system is not limited to a communication scheme constituting a network.
  • the home appliances 10, 20, 31, and 32, the portable terminal 50, and the Internet of Things (IoT) devices may be communicatively connected through the wire / wireless router 60.
  • IoT Internet of Things
  • devices in the home appliance network system may form a mesh topology that is individually communicated with each other.
  • the home appliances 10, 20, 31, and 32 in the home appliance network system may communicate with the server 70 or the mobile terminal 50 via the wire / wireless router 60.
  • the home appliances 10, 20, 31, and 32 in the home appliance network system may communicate with the server 70 or the portable terminal 50 by Ethernet.
  • FIG. 2 is a perspective view illustrating a mobile robot according to an embodiment of the present invention
  • FIG. 3 is a plan view of the mobile robot of FIG. 2
  • FIG. 4 is a side view of the mobile robot of FIG. 2.
  • the mobile robot 100 may drive a certain area by itself.
  • the mobile robot 100 may perform a function of cleaning the floor. Cleaning of the floor here includes suctioning dust (including foreign matter) from the floor or mopping the floor.
  • the mobile robot 100 includes a main body 110.
  • the main body 110 includes a cabinet forming an appearance.
  • the mobile robot 100 may include a suction unit 130 and a dust container 140 provided in the main body 110.
  • the mobile robot 100 includes an image acquisition unit 120 that detects information related to an environment around the mobile robot.
  • the mobile robot 100 includes a driving unit 160 for moving the main body.
  • the mobile robot 100 includes a control unit 181 for controlling the mobile robot 100.
  • the controller 181 is provided in the main body 110.
  • the driving unit 160 includes a wheel unit 111 for traveling of the mobile robot 100.
  • the wheel unit 111 is provided in the main body 110.
  • the mobile robot 100 may be moved back, front, left, and right by the wheel unit 111 or rotated.
  • the controller controls the driving of the wheel unit 111, the mobile robot 100 may autonomously travel the floor.
  • the wheel unit 111 includes a main wheel 111a and a sub wheel 111b.
  • the main wheels 111a are provided at both sides of the main body 110, and are configured to be rotatable in one direction or the other direction according to the control signal of the controller. Each main wheel 111a may be configured to be driven independently of each other. For example, each main wheel 111a may be driven by different motors.
  • the sub wheel 111b supports the main body 110 together with the main wheel 111a, and is configured to assist driving of the mobile robot 100 by the main wheel 111a.
  • the sub wheel 111b may also be provided in the suction unit 130 described later.
  • the suction unit 130 may be disposed to protrude from the front side F of the main body 110.
  • the suction unit 130 is provided to suck air containing dust.
  • the suction unit 130 may have a form protruding from the front of the main body 110 to both left and right sides.
  • the front end of the suction unit 130 may be disposed in a position spaced forward from one side of the main body 110.
  • the left and right both ends of the suction unit 130 may be disposed at positions spaced apart from the main body 110 to the left and right sides.
  • the main body 110 is formed in a circular shape, and as both rear ends of the suction unit 130 protrude from the main body 110 to the left and right sides, respectively, an empty space, that is, between the main body 110 and the suction unit 130. Gaps may be formed.
  • the empty space is a space between the left and right both ends of the main body 110 and the left and right both ends of the suction unit 130, and has a shape recessed inside the mobile robot 100.
  • the suction unit 130 may be detachably coupled to the main body 110.
  • the mop module (not shown) may be detachably coupled to the main body 110 in place of the separated suction unit 130.
  • the image acquisition unit 120 may be disposed in the main body 110.
  • the image acquisition unit 120 may be disposed in front of the main body 110.
  • the image acquisition unit 120 may be disposed to overlap the suction unit 130 in the vertical direction of the main body 110.
  • the image acquisition unit 120 may be disposed above the suction unit 130.
  • the image acquisition unit 120 may detect an obstacle around the mobile robot 100.
  • the image acquisition unit 120 may detect an obstacle or a feature in front of the suction unit 130 located in the front of the mobile robot 100 so as not to collide with the obstacle.
  • the image acquisition unit 120 may further perform other sensing functions to be described later in addition to the sensing function.
  • the main body 110 may be provided with a dust container accommodating part (not shown).
  • the dust container 140 is detachably coupled to the dust container 140 which separates and collects dust in the sucked air.
  • the dust container accommodation part may be formed at the rear side R of the main body 110. Part of the dust container 140 is accommodated in the dust container receiving portion, the other part of the dust container 140 may be formed to protrude toward the rear (R) of the main body 110.
  • the dust container 140 has an inlet (not shown) through which air containing dust is introduced and an outlet (not shown) through which air from which dust is separated is formed.
  • the inlet and the outlet of the dust container 140 are configured to communicate with the first opening (not shown) and the second opening (not shown) formed in the inner wall of the dust container accommodation part when the dust container 140 is mounted on the dust container accommodation part. .
  • a suction flow path for guiding air from the suction port of the suction unit 130 to the first opening is provided.
  • An exhaust passage for guiding air to an exhaust port (not shown) opened toward the outside of the second opening is provided.
  • the air containing the dust introduced through the suction unit 130 is introduced into the dust container 140 through the intake passage inside the main body 110, and the air and the dust are passed through the filter or the cyclone of the dust container 140. Are separated from each other. Dust is collected in the dust container 140, the air is discharged from the dust container 140, and then through the exhaust flow path inside the main body 110 is finally discharged to the outside through the exhaust port.
  • the mobile robot 100 may be equipped with a mobile memory 106 used.
  • the mobile memory 106 may be detached from the mobile robot 100.
  • the mobile robot 100 may include a port to which the mobile memory 106 is connected.
  • the mobile robot 100 may include a USB (Universal Serial Bus) port so that the USB mobile memory 106 may be connected to and mounted in the USB port.
  • USB Universal Serial Bus
  • the mounting position of the mobile memory 106 may be an upper center portion that is accessible to the user.
  • the connection port for the mobile memory 106 may be provided to be connected to the mobile memory 106 at the top of the main body 110.
  • the mobile robot 100 accommodates the mobile memory 106 and the connection port for the mobile memory 106 therein, thereby protecting the mobile memory 106 from external shock and foreign matter, and the mobile memory 106 is in use. Desorption can be prevented.
  • a cover 107 may be formed on the top of the main body 110 to insert or remove the mobile memory 106 therein. Accordingly, the user can easily open and close the cover 107 at the upper end of the main body 110 and access the mobile memory 106.
  • FIG. 5 is a block diagram showing a control relationship between major components of a mobile robot according to an embodiment of the present invention.
  • the mobile robot 100 includes a main body 110 and an image acquisition unit 120 that acquires an image around the main body 110.
  • the mobile robot 100 includes a driving unit 160 for moving the main body 110.
  • the driving unit 160 includes at least one wheel unit 111 for moving the main body 110.
  • the driving unit 160 includes a driving motor (not shown) connected to the wheel unit 111 to rotate the wheel unit 111.
  • the image acquisition unit 120 photographs a driving zone and may include a camera module.
  • the camera module may include a digital camera.
  • the digital camera includes at least one optical lens and an image sensor (eg, a CMOS image sensor) including a plurality of photodiodes (eg, pixels) formed by the light passing through the optical lens.
  • the apparatus may include a digital signal processor (DSP) that forms an image based on signals output from the photodiodes.
  • the digital signal processor may generate not only a still image but also a moving image composed of frames composed of the still image.
  • Multiple cameras may be installed for each part for photographing efficiency.
  • the image photographed by the camera may be used to recognize a kind of material such as dust, hair, floor, etc. present in the corresponding space, whether to clean or check the cleaning time.
  • the camera may photograph a situation of an obstacle or a cleaning area existing on the front of the moving direction of the mobile robot 100.
  • the image acquisition unit 120 may acquire a plurality of images by continuously photographing the periphery of the main body 110, and the obtained plurality of images may be stored in the storage unit 105. Can be.
  • the mobile robot 100 improves the accuracy of spatial recognition, location recognition, and obstacle recognition using a plurality of images, or selects one or more images from the plurality of images and uses effective data to provide spatial recognition, location recognition, and obstacle recognition. You can increase the accuracy.
  • the mobile robot 100 may include a sensor unit 170 including sensors for sensing various data related to the operation and state of the mobile robot.
  • the sensor unit 170 may include an obstacle detecting sensor detecting a front obstacle.
  • the sensor unit 170 may further include a cliff detection sensor for detecting the presence of a cliff on the floor in the driving zone, and a lower camera sensor for obtaining an image of the floor.
  • the obstacle detecting sensor may include an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a position sensitive device (PSD) sensor, and the like.
  • the position and type of the sensor included in the obstacle detection sensor may vary depending on the type of the mobile robot, the obstacle detection sensor may include more various sensors.
  • the sensor unit 170 may further include a motion detection sensor for detecting the operation of the mobile robot 100 according to the driving of the main body 110 and outputs the motion information.
  • a motion detection sensor for detecting the operation of the mobile robot 100 according to the driving of the main body 110 and outputs the motion information.
  • a gyro sensor, a wheel sensor, an acceleration sensor, or the like may be used as the motion detection sensor.
  • the gyro sensor detects the rotation direction and detects the rotation angle when the mobile robot 100 moves according to the driving mode.
  • the gyro sensor detects the angular velocity of the mobile robot 100 and outputs a voltage value proportional to the angular velocity.
  • the controller 150 calculates the rotation direction and the rotation angle by using the voltage value output from the gyro sensor.
  • the wheel sensor is connected to the wheel unit 111 to sense the number of revolutions of the wheel.
  • the wheel sensor may be a rotary encoder.
  • the acceleration sensor detects a change in the speed of the mobile robot 100, for example, a change in the mobile robot 100 due to start, stop, direction change, collision with an object, and the like.
  • the acceleration sensor may be built in the controller 150 to detect a speed change of the mobile robot 100.
  • the controller 150 may calculate a position change of the mobile robot 100 based on the motion information output from the motion detection sensor. This position becomes a relative position corresponding to the absolute position using the image information.
  • the mobile robot can improve the performance of position recognition using image information and obstacle information through the relative position recognition.
  • the mobile robot 100 may include a power supply unit (not shown) for supplying power to the mobile robot by having a rechargeable battery.
  • the power supply unit supplies driving power and operation power to each component of the mobile robot 100, and when the remaining power is insufficient, power may be supplied and charged from a charging stand (not shown).
  • the mobile robot 100 may further include a battery detector (not shown) that detects a charging state of the battery and transmits a detection result to the controller 150.
  • the battery is connected to the battery detector so that the battery remaining amount and the charging state are transmitted to the controller 150.
  • the battery remaining amount may be displayed on the display 182 of the output unit 180.
  • the mobile robot 100 includes an input unit 125 for inputting on / off or various commands.
  • the input unit 125 may include a button, a dial, a touch screen, and the like.
  • the input unit 125 may include a microphone for receiving a user's voice command. Through the input unit 125, various control commands necessary for the overall operation of the mobile robot 100 may be input.
  • the mobile robot 100 may include an output unit 180 to display reservation information, a battery state, an operation mode, an operation state, an error state, etc. as an image or output a sound.
  • the output unit 180 may include a sound output unit 181 for outputting an audio signal.
  • the sound output unit 181 may output a warning message, such as a warning sound, an operation mode, an operation state, an error state, etc., under the control of the controller 150.
  • the sound output unit 181 may convert an electrical signal from the controller 150 into an audio signal and output the audio signal.
  • a speaker or the like may be provided.
  • the output unit 180 may further include a display 182 that displays reservation information, a battery state, an operation mode, an operation state, an error state, and the like as an image.
  • the mobile robot 100 includes a controller 150 for processing and determining various information such as recognizing a current location, and a storage 105 for storing various data.
  • the mobile robot 100 may further include a communication unit 190 for transmitting and receiving data with an external terminal.
  • the external terminal includes an application for controlling the mobile robot 100, and displays an map of the driving area to be cleaned by the mobile robot 100 through execution of the application, and designates an area to clean a specific area on the map.
  • Examples of the external terminal may include a remote controller, a PDA, a laptop, a smartphone, a tablet, and the like, having an application for setting a map.
  • the external terminal may communicate with the mobile robot 100 to display a current location of the mobile robot together with a map, and information about a plurality of areas may be displayed. In addition, the external terminal updates and displays its position as the mobile robot travels.
  • the controller 150 controls the image acquisition unit 120, the input unit 125, the driving unit 160, the suction unit 130, etc. constituting the mobile robot 100 to control the overall operation of the mobile robot 100. To control.
  • the controller 150 may process a voice input signal of the user received through the microphone of the input unit 125 and perform a voice recognition process.
  • the mobile robot 100 may include a voice recognition module that performs voice recognition inside or outside the controller 150.
  • simple voice recognition may be performed by the mobile robot 100 itself, and high-level voice recognition such as natural language processing may be performed by the server 70.
  • the storage unit 105 records various types of information necessary for the control of the mobile robot 100 and may include a volatile or nonvolatile recording medium.
  • the recording medium stores data that can be read by a microprocessor, and includes a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic Tapes, floppy disks, optical data storage devices, and the like.
  • the storage unit 105 may store a map for the driving zone.
  • the map may be input by an external terminal, a server, or the like, which may exchange information with the mobile robot 100 through wired or wireless communication, or may be generated by the mobile robot 100 by learning itself.
  • the map may indicate the location of the rooms in the driving zone.
  • the current position of the mobile robot 100 may be displayed on the map, and the current position of the mobile robot 100 on the map may be updated during the driving process.
  • the external terminal stores the same map as the map stored in the storage unit 105.
  • the storage unit 105 may store cleaning history information. Such cleaning history information may be generated every time cleaning is performed.
  • the map of the driving zone stored in the storage unit 105 stores a navigation map used for driving during cleaning, a Simultaneous Localization and Mapping (SLAM) map used for location recognition, an obstacle, and the like. It may be a learning map used for learning cleaning, a global location map used for global location recognition, an obstacle recognition map in which information about the recognized obstacle is recorded.
  • SLAM Simultaneous Localization and Mapping
  • maps may be stored and managed in the storage unit 105 for each use, but the map may not be clearly classified for each use.
  • a plurality of pieces of information may be stored in one map to be used for at least two purposes.
  • the controller 150 may include a driving control module 151, a map generation module 152, a position recognition module 153, and an obstacle recognition module 154.
  • the driving control module 151 controls the driving of the mobile robot 100, and controls the driving of the driving unit 160 according to the driving setting.
  • the driving control module 151 may determine the driving path of the mobile robot 100 based on the operation of the driving unit 160. For example, the driving control module 151 may determine the current or past moving speed of the mobile robot 100, the distance traveled, and the like based on the rotational speed of the wheel unit 111, and the mobile robot thus identified ( Based on the driving information of the 100, the position of the mobile robot 100 on the map may be updated.
  • the map generation module 152 may generate a map of the driving zone.
  • the map generation module 152 may generate a map by processing an image acquired through the image acquisition unit 120. That is, a cleaning map corresponding to the cleaning area can be created.
  • the map generation module 152 may recognize the global position by processing the image acquired through the image acquisition unit 120 at each position in association with the map.
  • the position recognition module 153 estimates and recognizes a current position.
  • the position recognition module 153 uses the image information of the image acquisition unit 120 to determine the position in connection with the map generation module 152 to estimate the current position even when the position of the mobile robot 100 suddenly changes. Can be recognized.
  • the location recognition module 153 may recognize the property of the current location, that is, the location recognition module 153 may recognize the space.
  • the mobile robot 100 may recognize a position during continuous driving through the position recognition module 153, and also, through the map generation module 152 and the obstacle recognition module 154, without the position recognition module 153. Learn, estimate your current location, and more.
  • the image acquisition unit 120 acquires images around the mobile robot 100.
  • an image acquired by the image acquisition unit 120 is defined as an 'acquisition image'.
  • the acquired image includes various features such as lightings on the ceiling, edges, corners, blobs, and ridges.
  • the map generation module 152 detects a feature from each of the acquired images, and calculates a descriptor based on each feature point.
  • the map generation module 152 classifies at least one descriptor into a plurality of groups according to a predetermined sub-classification rule for each acquired image based on descriptor information obtained through the acquired image of each position, and according to the predetermined sub-representation rule, the same group. Descriptors included in each can be converted into lower representative descriptors.
  • all descriptors collected from acquired images in a predetermined area are classified into a plurality of groups according to a predetermined sub-classification rule, and descriptors included in the same group according to the predetermined sub-representation rule are respectively represented by lower representative descriptors. You can also convert to.
  • the map generation module 152 can obtain the feature distribution of each location through this process.
  • Each positional feature distribution can be represented by a histogram or an n-dimensional vector.
  • the map generation module 152 may estimate an unknown current position based on a descriptor calculated from each feature point without passing through a predetermined sub classification rule and a predetermined sub representative rule.
  • the current position of the mobile robot 100 when the current position of the mobile robot 100 is unknown due to a position leap or the like, the current position may be estimated based on data such as a previously stored descriptor or a lower representative descriptor.
  • the mobile robot 100 obtains an acquired image through the image acquisition unit 120 at an unknown current position. Through the image, various features such as lightings on the ceiling, edges, corners, blobs, and ridges are identified.
  • the position recognition module 153 detects features from the acquired image and calculates a descriptor.
  • the position recognition module 153 is based on at least one descriptor information obtained through an acquired image of an unknown current position, and position information (for example, feature distribution of each position) to be compared according to a predetermined lower conversion rule. Convert to comparable information (sub-recognition feature distribution).
  • each position feature distribution may be compared with each recognition feature distribution to calculate each similarity. Similarity (probability) may be calculated for each location corresponding to each location, and the location where the greatest probability is calculated may be determined as the current location.
  • the controller 150 may distinguish a driving zone and generate a map composed of a plurality of regions, or recognize a current position of the main body 110 based on a pre-stored map.
  • the controller 150 may transmit the generated map to an external terminal, a server, etc. through the communication unit 190. As described above, the controller 150 may store the map in the storage 105 when a map is received from an external terminal, a server, or the like.
  • the map may be divided into a plurality of cleaning areas, and include a connection path connecting the plurality of areas, and may include information about obstacles in the area.
  • the controller 150 determines whether the position on the map matches the current position of the mobile robot.
  • the cleaning command may be input from a remote controller, an input unit, or an external terminal.
  • the controller 150 recognizes the current position and recovers the current position of the mobile robot 100 based on the current position.
  • the driving unit 160 may be controlled to move to the designated area.
  • the position recognition module 153 analyzes the acquired image input from the image acquisition unit 120 to estimate the current position based on the map. can do.
  • the obstacle recognition module 154 or the map generation module 152 may also recognize the current position in the same manner.
  • the driving control module 151 calculates a driving route from the current position to the designated region and controls the driving unit 160 to move to the designated region.
  • the driving control module 151 may divide the entire driving zone into a plurality of areas according to the received cleaning pattern information, and set at least one area as a designated area.
  • the driving control module 151 may calculate the driving route according to the received cleaning pattern information, travel along the driving route, and perform cleaning.
  • the controller 150 may store the cleaning record in the storage unit 105 when cleaning of the set designated area is completed.
  • controller 150 may transmit the operation state or cleaning state of the mobile robot 100 to the external terminal and the server at a predetermined cycle through the communication unit 190.
  • the external terminal displays the location of the mobile robot along with the map on the screen of the running application based on the received data, and outputs information on the cleaning state.
  • the mobile robot 100 moves in one direction until an obstacle or a wall surface is detected, and when the obstacle recognition module 154 recognizes the obstacle, the robot moves straight, rotates, or the like according to the recognized obstacle's properties.
  • the pattern can be determined.
  • the controller 150 may control to perform the avoidance driving in a different pattern based on the recognized property of the obstacle.
  • the controller 150 may control to avoid driving in different patterns according to the properties of obstacles such as non-hazardous obstacles (general obstacles), dangerous obstacles, and movable obstacles.
  • the controller 150 may control the dangerous obstacle to be bypassed in a state where a safe distance of a longer distance is secured.
  • the controller 150 may control to perform the avoiding driving corresponding to the general obstacle or the avoiding driving corresponding to the dangerous obstacle.
  • the controller 150 may control to travel accordingly.
  • the mobile robot 100 may perform obstacle recognition and avoidance based on machine learning.
  • the controller 150 may drive the driving unit 160 based on an obstacle recognition module 154 that recognizes an obstacle previously learned by machine learning in an input image and an attribute of the recognized obstacle. It may include a driving control module 151 for controlling.
  • FIG. 5 illustrates an example in which the plurality of modules 151, 152, 153, and 154 are separately provided in the controller 160, the present invention is not limited thereto.
  • the position recognition module 153 and the obstacle recognition module 154 may be integrated into one recognizer and constitute one recognition module 155.
  • the recognizer may be trained using a learning technique such as machine learning, and the learned recognizer may recognize attributes of an area, an object, and the like by classifying data input thereafter.
  • the map generation module 152, the position recognition module 153, and the obstacle recognition module 154 may be configured as one integrated module.
  • the position recognition module 153 and the obstacle recognition module 154 are integrated as one recognizer and described with reference to an embodiment configured as one recognition module 155, but the position recognition module 153 and the obstacle recognition are described.
  • the module 154 may operate in the same manner even when each is provided.
  • the mobile robot 100 may include a recognition module 155 in which attributes of objects and spaces are learned by machine learning.
  • Machine learning means that a computer can learn from data and let the computer take care of a problem without having to instruct the computer directly to the logic.
  • ANN Deep Learning Based on Artificial Neural Networks
  • the artificial neural network may be implemented in software or in the form of hardware such as a chip.
  • the recognition module 155 may include an artificial neural network (ANN) in the form of software or hardware in which properties of an object, such as an object of a space or an obstacle, are learned.
  • ANN artificial neural network
  • the recognition module 155 may include a deep neural network (DNN) such as a convolutional neural network (CNN), a recurrent neural network (RNN), a deep belief network (DBN), and the like that have been learned by deep learning. It may include.
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • DNN deep belief network
  • the recognition module 155 may determine an attribute of a space and an object included in the input image data based on weights among nodes included in the deep neural network DNN.
  • the driving control module 151 may control the driving of the driving unit 160 based on the recognized space and the properties of the obstacle.
  • the recognition module 155 may recognize attributes of spaces and obstacles included in the selected specific viewpoint image based on data previously learned by machine learning.
  • the storage unit 105 may store space, input data for determining object properties, and data for learning the deep neural network DNN.
  • the storage unit 105 may store the original image obtained by the image acquisition unit 120 and the extracted images from which the predetermined region is extracted.
  • the storage 105 may store weights and biases forming the deep neural network (DNN).
  • DNN deep neural network
  • weights and biases constituting the deep neural network structure may be stored in an embedded memory of the recognition module 155.
  • weights, biases, and other training data constituting the deep neural network structure may be stored in the mobile memory 106.
  • data learned from a user's voice, data learned from a predetermined image, data learned from a user's usage pattern, etc. may be stored in the mobile memory 106.
  • the mobile memory 106 may be connected to a predetermined port and mounted on the mobile robot 100.
  • the mobile memory 106 may be connected to a USB terminal.
  • the mobile memory 106 connected to the USB terminal may include any storage device that supports a USB interface, such as a memory stick and a hard disk (HDD) type.
  • USB storage devices are inexpensive compared to memory capacity and have good compatibility with other devices such as computers, so that data can be easily moved or stored.
  • the mobile memory 106 may be implemented as another storage medium such as an SD card.
  • the mobile memory 106 includes artificial intelligence data in which voice, video, usage patterns, etc. are learned according to a predetermined purpose, link data for accessing artificial intelligence data, user authentication data for accessing artificial intelligence data, and artificial intelligence data. At least one of identification information of the mobile memory 106 for accessing may be stored.
  • the mobile memory 106 may store access point information for product registration of the mobile robot 100.
  • At least some of the data stored in the storage unit 105 may be stored in the mobile memory 106.
  • the recognition module 155 performs a learning process by using a predetermined image as training data whenever the image acquisition unit 120 acquires an image or extracts a partial region of the image, or a predetermined number or more. After the image is acquired, the learning process may be performed.
  • the mobile robot 100 may receive data related to machine learning and data related to artificial intelligence from the predetermined server through the communication unit 190.
  • the mobile robot 100 may update the recognition module 155 based on data related to machine learning and data related to artificial intelligence received from the predetermined server.
  • FIG. 6 is a view referred to for describing learning using product data according to an embodiment of the present invention.
  • product data obtained by the operation of a predetermined device such as a mobile robot 100 may be transmitted to the server 70.
  • the mobile robot 100 may transmit a space, an object, and usage related data to the server 70 to the server 70.
  • the space and object related data may be a space recognized by the mobile robot 100 and data related to recognition of an object, or a space obtained by the image acquisition unit 120. And image data about an object.
  • the usage-related data is data obtained according to the use of a predetermined product, for example, the mobile robot 100, the use history data, the sensing data obtained from the sensor unit 170, etc. Can be.
  • control unit 150 more specifically, the recognition module 155 of the mobile robot 100 may be equipped with a deep neural network structure (DNN) such as a convolutional neural network (CNN).
  • DNN deep neural network structure
  • CNN convolutional neural network
  • the learned deep neural network structure DNN may receive input data for recognition, recognize a property of an object and a space included in the input data, and output the result.
  • the learned deep neural network structure may receive input data for recognition, analyze and learn the usage-related data (Data) of the mobile robot 100 to recognize the use pattern, the use environment, and the like. have.
  • the space, object, and usage related data may be transmitted to the server 70 through the communication unit 190.
  • the server 70 may generate a configuration of learned weights, and the server 70 may learn a deep neural network (DNN) structure using training data.
  • DNN deep neural network
  • the server 70 may transmit the updated deep neural network (DNN) structure data to the mobile robot 100 to be updated.
  • DNN deep neural network
  • home appliance products such as mobile robot 100 may become smarter and provide an evolving user experience (UX) as they are used.
  • UX user experience
  • FIG. 7 is an example of a simplified internal block diagram of a server according to an embodiment of the present invention.
  • the server 70 may include a communication unit 720, a storage unit 730, a learning module 740, and a processor 710.
  • the processor 710 may control the overall operation of the server 70.
  • the server 70 may be a server operated by a home appliance manufacturer such as the mobile robot 100 or a server operated by a service provider, or may be a kind of cloud server.
  • the communication unit 720 may receive various data such as status information, operation information, operation information, and the like from a portable terminal, a home appliance such as the mobile robot 100, a gateway, or the like.
  • the communication unit 720 may transmit data corresponding to the received various information to a portable terminal, a home appliance such as the mobile robot 100, a gateway, or the like.
  • the communication unit 720 may include one or more communication modules, such as an internet module and a mobile communication module.
  • the storage unit 730 may store the received information and may include data for generating result information corresponding thereto.
  • the storage unit 730 may store data used for machine learning, result data, and the like.
  • the learning module 740 may serve as a learner of a home appliance such as the mobile robot 100.
  • the learning module 740 may include an artificial neural network, for example, a deep neural network (DNN) such as a convolutional neural network (CNN), a recurrent neural network (RNN), and a deep belief network (DBN). You can learn neural networks.
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • DBN deep belief network
  • the controller 710 may control to update the artificial neural network structure of the home appliance such as the mobile robot 100 to the learned artificial neural network structure after learning according to a setting.
  • the learning module 740 may receive input data for recognition, recognize a property of an object and a space included in the input data, and output the result.
  • the communication unit 720 may transmit the recognition result to the mobile robot 100.
  • the learning module 740 may analyze and learn usage-related data of the mobile robot 100 to recognize a usage pattern, a usage environment, and the like, and output the result.
  • the communication unit 720 may transmit the recognition result to the mobile robot 100.
  • home appliance products such as the mobile robot 100 may receive a recognition result from the server 70 and operate by using the received recognition result.
  • the server 70 becomes smarter by learning using the product data, it is possible to provide an evolving user experience (UX) as using the home appliance product.
  • UX evolving user experience
  • the mobile robot 100 and the server 70 may also use external information.
  • the mobile robot 100 and the server 70 may be obtained from spatial information of a specific home appliance product such as the mobile robot 100, object information, internal information such as a usage pattern, and other products, or the server 70. Can provide excellent user experience by comprehensively using external information obtained from other linked service servers.
  • washing machine 32 Washing may be performed such that washing is finished in accordance with the time when the user arrives at home.
  • the server 70 may perform voice recognition by receiving a voice input signal spoken by a user.
  • the server 70 may include a speech recognition module, and the speech recognition module may include an artificial neural network trained to perform speech recognition on input data and output a speech recognition result.
  • the server 70 may include a voice recognition server for voice recognition.
  • the voice recognition server may also include a plurality of servers that share a predetermined process of the voice recognition process.
  • a speech recognition server may include an automatic speech recognition (ASR) server that receives speech data and converts the received speech data into text data, and the text from the automatic speech recognition server. It may include a natural language processing (NLP) server that receives the data, and analyzes the received text data to determine the voice command.
  • the speech recognition server may further include a text to speech (TTS) server that converts the text speech recognition result output from the natural language processing server into speech data and transmits the speech data to another server or a home appliance. .
  • ASR automatic speech recognition
  • NLP natural language processing
  • TTS text to speech
  • the mobile robot 100 and / or the server 70 may perform voice recognition, so that a user voice may be used as an input for controlling the mobile robot 100.
  • the mobile robot 100 may provide a variety of active control functions to the user by actively providing information or outputting a voice recommending a function or service.
  • the user can store the personalized data that has been learned by the user's intonation and usage pattern through the mobile memory 106 and / or the server 70 such as a USB or a memory chip, and transmit the stored data even if the device is changed. This can improve the performance of the speech recognition function.
  • FIG. 8 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
  • the voice recognition rate is gradually increased by learning the user's voice. That is, whenever the voice recognition is performed in the voice recognition unit of the robot cleaner, the voice pattern of the user is learned to increase the voice recognition rate.
  • the previously learned data may be transferred to a new device using the mobile memory 106 (S830).
  • the user's convenience data, voice recognition learning data, and living environment data stored in the mobile memory 106 may be transferred from the existing robot cleaner to the new device (S830).
  • the user convenience data may correspond to usage pattern data generated by analyzing and learning a user's device usage history, data for product registration, and data selected by the user for separate storage. Accordingly, it is possible to provide a customized service considering the user's pattern in a new device.
  • the voice recognition learning data may be used as customized data for recognizing the voice of a specific user as data learned from the voice of the user.
  • Personalized voice data such as user accents, can be collected and learned.
  • the user's personalized usage pattern may be learned and stored in the mobile memory 106.
  • the voice recognition learning data may be learned and managed for each identified user. Accordingly, the voice recognition of a plurality of users can be accurately performed even in the new device.
  • FIG. 9 is a diagram referred to for describing speech recognition and speech classification according to an embodiment of the present invention, and illustrates one method of speech classification.
  • the mobile robot 100 may travel a driving zone and perform a predetermined operation such as cleaning.
  • a predetermined operation such as cleaning.
  • the traveling area of the mobile robot 100 may be a home interior space.
  • the users using the mobile robot 100 may be three family members—user A, user B, and user C.
  • the voice input of the user may be performed in the registration mode.
  • the user A, the user B, and the user C may respectively register their own voices. More preferably, the user may speak some sentences provided as a guide to input his or her own voice.
  • the mobile robot 100 may collect voice data of a plurality of users such as family members and other residents within a house for a predetermined time.
  • the mobile robot 100 operates for a predetermined time, and the voice data 910a uttered by the user A at various places in the driving zone, the voice data 910b uttered by the user B, and the voice data 910c uttered by the user C. Can be obtained.
  • the controller 150 and / or the learning module 740 may be trained to recognize the voice using the acquired voice data 910a, 910b, and 910c as input data. Deep learning may be used as a learning method, and the controller 150 and / or the learning module 740 may include a voice recognizer 920 that recognizes a voice.
  • the voice recognizer 920 may not only recognize contents from voice data input in natural language but also learn to identify who is input voice.
  • the speech recognizer 920 may include a feature extractor 921 learned through deep learning.
  • a user voice identification algorithm such as metric learning that determines whether or not it belongs to a registered existing class, may be used.
  • the feature extractor 921 made using deep learning may include a model trained to extract a feature from an input voice.
  • the speech recognizer 920 may classify the extracted data features.
  • 9 is a visualization that the extracted data features are classified according to the learned model.
  • the voice data 910a uttered by the user A, the voice data 910b uttered by the user B, and the voice data 910c uttered by the user C are respectively the first class 923a and the second. Class 923b and third class 923c may be classified.
  • the voice recognizer 920 may map the first class 923a, the second class 923b, and the third class 923c to the user A, the user B, and the user C, respectively, and store and manage the same in the user database. .
  • the mobile robot 100 may display the learning completion through the display 182 according to the learning state.
  • the voice recognizer 920 extracts a feature from the input voice data and generates a user database such as a first class 923a, a second class 923b, and a third class 923c. You can search to determine if there are similar users.
  • the user who spoke the voice may be recognized as the most similar user.
  • the user who is out of the reference range may be presented with the most similar user or reported as a search failure.
  • the mobile robot 100 may obtain voice data spoken by a plurality of users in a driving zone including a plurality of areas, and the voice data obtained based on data previously learned by the method illustrated in FIG. 9 or the like. Can be categorized by user.
  • the mobile robot 100 may recognize the user A as a talker by recognizing the acquired voice data 910a.
  • a user may be identified using a voice to provide a user customization function to various users, and a personalized user experience (UX) may be provided.
  • UX personalized user experience
  • voice recognition for a plurality of users may be accurately performed even on a new device, and a user may be identified by using a voice to provide a user customization function.
  • the residential environment data may correspond to image data acquired in a driving zone such as a home, various map data generated in the driving zone, a space learned and recognized by the image data, and data about an object. Accordingly, additional time is not required for map generation, space, and object recognition in a new device, and it is possible to provide a customized service considering a user's pattern.
  • mapping information on a voice and a space may be provided by various services.
  • the controller 150 and / or the learning module 740 may map the classified user-specific voice data to one or more regions among a plurality of regions included in the driving zone, respectively.
  • controller 150 and / or the learning module 740 may utilize a map generated by the mobile robot 100 while driving the driving zone.
  • FIG. 10 and 11 are views referred to for description of spatial recognition according to an embodiment of the present invention
  • FIG. 10 illustrates an example of area classification and a map generation according to the mobile robot according to an embodiment of the present invention.
  • Fig. 11 shows an example of attribute recognition of a region.
  • the mobile robot 100 may generate a map while driving the driving zone X1 through a wall following.
  • the map generation module 152 generates a map as shown in FIG. 10C by dividing the driving area X1 into a plurality of regions A1 'to A9'. .
  • the generated map is stored in the storage unit 105 and transmitted to an external terminal and a server through the communication unit 190.
  • the map generation module 152 classifies the small area and the large area with respect to the driving area X1 and generates a map according to the above.
  • the terminal executes the application and displays the received map on the screen.
  • the plurality of divided areas A1 to A9 are displayed differently.
  • the plurality of areas A1 to A9 are each displayed in different colors or different names are displayed.
  • the mobile robot and the terminal are based on storing the same map, but the user map is displayed on the terminal as shown in (c) of FIG. 10 so that the user can easily recognize the area.
  • the driving and cleaning are performed based on the map as shown in FIG. Obstacles may also be displayed in the user map of FIG. 10C.
  • the map illustrated in (b) of FIG. 10 may be a SLAM map or a navigation map based on the SLAM map.
  • the mobile robot 100 determines the current location based on the stored map, performs a designated cleaning when the current location matches the location on the map, and when the current location does not match, After recognizing and recovering the location, clean it. Therefore, even if the mobile robot 100 is located at any position among the plurality of areas A1 to A9, the mobile robot 100 may move to a designated area and perform cleaning by determining the current location.
  • the remote controller or the terminal may select at least one of the plurality of areas A1 to A9 and input a cleaning command to the mobile robot 100.
  • the mobile robot 100 may set a part of any one area as a cleaning area through a remote controller or a terminal, or set the cleaning area by touching or dragging a plurality of areas without distinguishing the area.
  • one of the areas may be set as a priority area, or after starting the priority area, the area may be moved to a near area to be cleaned, or the cleaning order may be set.
  • the cleaning order is set for a plurality of designated areas, the mobile robot 100 moves in the designated order and performs cleaning. The mobile robot 100 may perform cleaning by moving to a region closer to the current position when a separate order is not specified for the plurality of cleaning regions.
  • the mobile robot 100 may recognize the attributes of the plurality of areas A1 to A9 included in the travel area X1.
  • the navigation map 900 may include a plurality of local maps LM1, LM2, LM3, LM4, LM5,...
  • the navigation map may be divided into a plurality of regions, and each region may include one or more local maps.
  • Each local map is set not to overlap each other.
  • the local maps LM1, LM2, LM3, LM4, and LM5 may be set to any size as a unit map.
  • the local maps LM1, LM2, LM3, LM4, and LM5 may be set in a square shape having a size of N by N based on the wall.
  • the mobile robot 100 may acquire area information utilizing continuous image information and map information during movement.
  • the mobile robot 100 may move while cleaning the home, and the image acquisition unit 120 may capture a plurality of images by photographing during the movement.
  • the controller 150 may control the image acquisition unit 120 to not perform further photographing in a region corresponding to the local map from which N images photographed in different directions are obtained. Accordingly, if the number of data necessary for attribute recognition is secured, no further image is acquired, thereby preventing unnecessary computation, processing, and recognition processes.
  • the controller 150 may control the image acquisition unit 120 to acquire an image in four or eight directions for each local map and not acquire additional images when all the images are acquired.
  • the position in the local map of the mobile robot 100 has no significant influence and the direction is important.
  • the camera included in the image acquisition unit 120 may photograph an area of a predetermined range according to an angle of view, so that images captured at different angles from positions existing within a predetermined range may be photographed at a specific position even if they are not the same position. It can cover a range similar to 360 degrees of photographing while rotating, and analyzing it can accurately recognize the attributes of the space.
  • the controller 150 may determine whether the area may be recognized as a plurality of images are acquired.
  • the controller 150 may recognize an area corresponding to the local map based on the N images acquired from the local map.
  • the controller 150 may recognize an object existing in an area corresponding to the local map based on the extracted image. Can be.
  • the controller 150 may recognize an attribute of a predetermined region based on data previously learned by machine learning in the entire image.
  • controller 150 may recognize an object based on data previously learned by machine learning in at least some of the image.
  • the controller 150 may derive a final conclusion by integrating the object recognition results and the area recognition results of each local map and construct a hierarchical map including a plurality of semantic maps.
  • the controller 150 may gradually generate a semantic map when the number of local maps is continuously collected (ex three). In this case, the boundary of the semantic map may overlap.
  • the controller 150 configures one semantic map with the first local map LM1, the second local map LM2, and the third local map LM3, and the second local map LM2,
  • One semantic map is composed of the third local map LM3 and the fourth local map LM4, and one is composed of the third local map LM3, the fourth local map LM4, and the fifth local map LM5.
  • the controller 150 may determine a final attribute of an area corresponding to the semantic map based on at least one of a frequency, a confidence value, and an average value of the confidence values of the recognized local map recognition results. have.
  • control part 150 is a 1st local map LM1 and 2nd local in the semantic map comprised by the 1st local map LM1, the 2nd local map LM2, and the 3rd local map LM3. Based on at least one of the frequency of the recognition results of each of the map LM2 and the third local map LM3, a confidence value, and an average value of the confidence values, an attribute of an area corresponding to the semantic map may be determined as a bedroom.
  • control part 150 is the 3rd local map LM3 and the 4th local map in the semantic map comprised from the 3rd local map LM3, the 4th local map LM4, and the 5th local map LM5.
  • LM4 and the attribute of the area corresponding to the semantic map may be determined as a living room based on at least one of the frequency of the recognition results of each of the fifth local maps LM5, the confidence value, and the average value of the confidence values.
  • the confidence value does not exceed a predetermined threshold in the semantic map composed of the second local map LM2, the third local map LM3, and the fourth local map LM4. Can be treated as Unknown.
  • the controller 150 and / or the learning module 740 may map the classified voice data for each user to a predetermined region.
  • the controller 150 may create voice statistics for each user.
  • the voice statistics for each user may be generated by accumulating the number of speeches for each region in which a specific user speaks a voice.
  • the controller 150 may classify the classified user-specific voice data by regions in which the voice data are obtained. In this case, the controller 150 may map the area in which the predetermined user utters most to the predetermined user.
  • the voice / space mapping data may be stored in the mobile memory 106, and when the device is replaced, the mobile memory 106 may be installed and used in a new device to provide various services based on voice and spatial information of the user.
  • the use pattern and voice recognition rate based on the existing learned data It may be improved (S840).
  • An electronic device such as a mobile robot 100 according to an aspect of the present invention includes an input unit 125 for receiving a voice input of a user, a controller 150 for controlling to operate based on a voice recognition result of the received voice input, And a mobile memory 106 that is mountable and detachable and that transmits transmission data associated with training data based on the received voice input.
  • the input unit 125 may include one or more microphones to receive a voice input of a user.
  • the speech recognition process for the voice input is performed by the mobile robot 100 by itself, by the server 70, or step by step by the mobile robot 100 and the server 70, thereby enabling effective speech recognition. have.
  • the mobile robot 100 may include a voice recognition module inside or outside the controller 150 to recognize a user's voice by itself.
  • the mobile robot 100 may transmit data based on the voice input received through the communication unit 190 to the server 70, and receive a voice recognition result corresponding to the voice input from the server 70. have.
  • the controller 150 may control the mobile robot 100 to operate based on a voice recognition result of the received voice input.
  • the mobile robot 100 may be equipped with a mobile memory 106, the mobile memory 106 may be detached from the mobile robot 100 when necessary, such as replacing the device. According to the present invention, when replacing the mobile robot 100 device used, the data can be conveniently transferred using the mobile memory 106.
  • the mobile memory 106 may store transmission data that can be used by other devices.
  • the mobile memory 106 may store tradition data associated with training data based on the received voice input. That is, the mobile memory 106 may store data learned with a user voice and data associated with the training data.
  • the transmission data may include first artificial intelligence data learned by the user's voice, link data for accessing the first artificial intelligence data, user authentication data for accessing the first artificial intelligence data, and the first artificial data. It may include at least one of identification information of the mobile memory 106 for accessing the artificial intelligence data.
  • the first artificial intelligence data itself learned by the voice of the user may be stored in the mobile memory 106.
  • the mobile memory 106 may include link data for receiving the first AI data from the server 70 and user authentication data including authority information.
  • identification information of the mobile memory 106 may also be stored in the mobile memory 106, and in some embodiments, the identification information of the mobile memory 106 may be registered in the server 70.
  • the transmission data including the personalized learning data by learning the user's voice can be used in other devices, and the speech recognition rate can be improved.
  • the transmission data the second artificial intelligence data learned from the usage history of the mobile robot 100, link data for accessing the second artificial intelligence data, user authentication data for accessing the second artificial intelligence data And at least one of identification information of the mobile memory 106 for accessing the second artificial intelligence data.
  • the mobile memory 106 may store training data based on the usage history and data associated with the training data. Accordingly, the usage history may be learned to provide a customized service according to a personalized usage pattern.
  • the cleaning history information may be analyzed and the user's usage pattern such as the cleaning mode, the cleaning time, and the cleaning order which the user prefers may be learned.
  • the transmission data based on the usage pattern learning stored in the mobile memory 106 can be transferred to a new robot cleaner and used immediately, the user does not feel inconvenience when replacing the device, and according to the preferred cleaning mode, cleaning time, and cleaning sequence You can start using your new device right away.
  • the mobile robot 100 further comprises an image acquisition unit 120 for photographing the driving zone, the transmission data, the image data obtained through the image acquisition unit 120 It may further include data based on. Accordingly, the image data and the learning data obtained when using the mobile robot 100 can be safely stored and used freely by other devices.
  • the data based on the image data obtained through the image acquisition unit 120 may be the above-described living environment data.
  • data based on image data acquired through the image acquisition unit 120 may include image data acquired in a driving zone, various map data generated in the driving zone, a space learned and recognized by the image data, This may correspond to data about an object, mapping information of a space and a voice, and the like. Accordingly, additional time is not required for map generation, space, and object recognition in a new device, and it is possible to provide a customized service considering a user's pattern.
  • the mobile robot according to an aspect of the present invention, and the electronic device, the image acquisition unit 120 for photographing the driving zone, the storage unit 105 that stores the image obtained by the image acquisition unit 120, And a mobile memory 106 to which the transmission data based on at least a part of the image stored in the storage unit 105 is transmitted.
  • data can be stored securely in duplicate, and data can be easily transferred to other devices as needed.
  • the transmission data may include image data acquired by the image acquisition unit 120, third artificial intelligence data learned by the image data, link data for accessing the third artificial intelligence data, and the third data.
  • image data acquired by the image acquisition unit 120 may include image data acquired by the image acquisition unit 120, third artificial intelligence data learned by the image data, link data for accessing the third artificial intelligence data, and the third data.
  • the image information for the driving zone can be used in the new device have.
  • the storage unit 105 stores a usage history of the mobile robot, and the transmission data includes fourth artificial intelligence data learned from the usage history, link data for accessing the fourth artificial intelligence data, and the second artificial intelligence data. 4 further comprising at least one of user authentication data for accessing the artificial intelligence data and identification information of the mobile memory 106 for accessing the fourth artificial intelligence data, thereby learning a usage history according to a personalized usage pattern. Can provide customized service.
  • the electronic device such as the mobile robot 100 further includes an input unit 125 for receiving a user's voice input, wherein the transmission data includes the fifth artificial intelligence data learned by the user's voice, At least one of link data for accessing fifth artificial intelligence data, user authentication data for accessing the fifth artificial intelligence data, and identification information of the mobile memory 106 for accessing the fifth artificial intelligence data
  • the voice recognition rate can be improved by learning the user's voice and using the personalized learning data in other devices.
  • a mobile memory 106 a cloud, and the like, such as USB, SD card
  • the device is changed When you pass the data, you can use the robot cleaner using the existing data.
  • FIG. 12 is a view referred to for describing data transmission between devices according to an embodiment of the present invention.
  • transmission data including data learned based on data acquired during use of the first mobile robot 100a may be stored in the USB memory 90 mounted in the first mobile robot 100a. have.
  • the USB memory 90 may store at least one of the above-described user-friendly learning data, voice recognition learning data, and residential environment learning data. More preferably, all of the user-friendly learning data, voice recognition learning data, and living environment learning data may be stored in the USB memory 90.
  • the user of the first mobile robot 100a may purchase the second mobile robot 100b and replace the robot to be used with the second mobile robot 100b.
  • the existing data can be transferred to a new electronic device such as the second mobile robot 100b through the USB memory 90 or the cloud, which is a mobile storage medium.
  • a new electronic device such as the second mobile robot 100b through the USB memory 90 or the cloud, which is a mobile storage medium.
  • the transmission data further includes access point (AP) information of an access point device connected to the mobile robot 100, thereby easily and quickly performing product registration. can do.
  • the access point information may include identification information and encryption information of the access point device.
  • FIGS. 13A to 13C are diagrams illustrating user interface screens provided in a mobile robot product registration process, illustrating an example of a product registration method of a home appliance through a user interface screen displayed on a display of the mobile terminal 50. to be.
  • the home appliance application screen may be displayed as shown in FIG. 13A.
  • a guide screen for setting a product connection of the selected home appliance product may be displayed.
  • a login screen including a login item, an ID input window, a password input window, and the like may be displayed.
  • a product network setting screen may be displayed as shown in FIG. 13B.
  • the product network setting screen may display a list of a Wi-Fi access point (AP) device.
  • AP Wi-Fi access point
  • the mobile terminal When any one item in the list of the product network setting screen is selected, the mobile terminal is set to connect to the corresponding access point device.
  • the mobile terminal when a specific key of the home appliance is operated so that the home appliance is in an AP mode operating as an AP device, the mobile terminal connects to the home appliance before product registration.
  • the user can operate the mobile terminal connected to the home appliance to input information corresponding to the access point device to the server and register the product.
  • an input screen including a password input window for the access point device may be displayed.
  • the selected access point device and password information is transferred to the home appliance so that the home appliance can be switched from the AP mode to the station mode accessible to the access point device.
  • the home appliance uses the network information (SSID, password information, etc.) for the access point device to connect to the corresponding access point device.
  • the selected access point device and password information can be passed to the server so that the home appliance product can be registered with the server.
  • the home appliance transmits product information to the mobile terminal, and the mobile terminal transmits the product information of the home appliance to the server so that the home appliance product may be registered in the server.
  • the router information basically includes a lot of letters and numbers in a similar format, and thus a number of mistakes may occur in the process of directly entering the router.
  • the password information the user may forget about the initial setting, and thus there may be a user who gives up on-line product registration.
  • the mobile memory 106 further includes access point (AP) information of the access point apparatus 60 connected to the first mobile robot 100a by a network, thereby providing a second mobile robot. Registration of other home appliance products, such as 100b, can be done quickly and easily.
  • AP access point
  • FIG. 14 is a flowchart illustrating a product registration process according to an embodiment of the present invention.
  • the second mobile robot 100b, the mobile terminal 50, the access point device 60, and the server 70 to be newly registered are shown in FIG. Is a flow chart showing the signal flow.
  • the user who used the first mobile robot 100a attaches and detaches the USB memory 90 mounted on the first mobile robot 100a to the second mobile robot 100b. can do.
  • the mobile robot 100 may load the transmission data stored in the mounted mobile memory 106 and use it for product registration (S1410).
  • the transmission data stored in the USB memory 90 may be retrieved from the second mobile robot 100b and used (S1410).
  • the second mobile robot 100b in the access point (AP) mode and the mobile terminal 50 may be connected in communication (S1420).
  • the mobile terminal 50 when the mobile terminal 50 executes a home appliance related application according to a user input, the mobile terminal 50 may provide a user interface screen as shown in FIG. 13A.
  • the home appliance 100 may be switched to the AP mode according to a specific button operation of the home appliance 100 in advance.
  • the mobile terminal 50 may receive information (identification information (SSID), encryption information, etc.) of the AP device 60 to be registered (S1420).
  • SSID ification information
  • encryption information etc.
  • the mobile terminal 50 may request a product registration of the second mobile robot 100b to the server 70 (S1430).
  • the mobile terminal 50 transmits the product information of the second mobile robot 100b and / or the information of the AP device 60 to be registered to the server 70 so as to transmit the product of the second mobile robot 100b. Registration may be requested (S1430).
  • the second mobile robot 100b may be network-connected with the access point device 60 based on the access point information about the access point device 60 included in the transmission data stored in the USB memory 90. (S1440, S1450).
  • the second mobile robot 100b makes a request for access to the access point device 60 by using the information of the AP device 60 loaded from the USB memory 90 (S1440), and the access point device 60 On the basis of AP information such as received identification information and password information, the access may be approved (S1450).
  • the second mobile robot 100b may request a product registration request and a server connection from the server 70 via the access point apparatus 60 (S1460).
  • the second mobile robot 100b may transmit the product information to the server 70.
  • the second mobile robot 100b may also transmit the information of the access point device 60 and / or the information of the mobile terminal 50 to the server 70.
  • the server 70 completes the product registration using the received product information and passes through the access point device 60.
  • a product registration completion message may be transmitted to the second mobile robot 100b and / or the mobile terminal 50 (S1470).
  • the second mobile robot 100b receives a product registration completion message in operation S1470, and the product registration process is completed. Accordingly, product registration can be easily performed, and a user can use smart functions provided by the manufacturer of the mobile robot 100 or the like.
  • 15 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
  • an electronic device such as the mobile robot 100 according to an aspect of the present disclosure may load transmission data stored in the mounted mobile memory 106 (S1510).
  • the existing mobile memory 100 will be equipped with the newly used mobile robot 100.
  • the controller 150 which senses mounting of the mobile memory 106, may retrieve the transmission data from the mobile memory 106. As a result, data can be transmitted easily.
  • the controller 150 may copy at least a portion of the transmission data read from the mobile memory 106 to the storage unit 105 to protect the data in a double and secure manner.
  • the controller 150 may control to update the artificial intelligence data based on the transmission data (S1520).
  • the controller 150 may load the AI data itself and update the AI data for recognizing voice, video, and usage patterns.
  • the transmission data may include data for accessing artificial intelligence data.
  • the controller 150 requests the server 70 for artificial intelligence-related data based on the transmission data received through the communication unit 190 and receives the artificial intelligence-related data from the server 70. Can be.
  • the controller 150 may update the artificial intelligence data for recognizing a voice, an image, and a usage pattern with the artificial intelligence-related data received from the server 70.
  • the controller 150 stores at least a part of data acquired during the operation such as driving or cleaning in the mobile memory 106. Can be controlled (S1540).
  • controller 150 may control to transmit at least some of the data acquired during the operation such as driving or cleaning to the server 70.
  • the server 70 may perform deep learning or the like based on data received from the mobile robot 100.
  • the server 70 may update the AI-related data by reflecting the learning result and transmit the AI-related data to the mobile robot 100.
  • the controller 150 may control to update the artificial intelligence data based on the artificial intelligence-related data received from the server 70.
  • the mobile memory 106 may be mounted and used, and the mobile memory 106 may be used.
  • the voice recognition, artificial intelligence-related data, and various learning data may be stored.
  • the user can detach the mobile memory 106 from an existing electronic device and connect it to a new electronic device.
  • the voice recognition rate can be improved, the initial setup process can be increased, and the convenience of use can be increased by using the data accumulated by the electronic device.
  • the existing learning data can be easily used on a new device and the product can be easily registered, so that the user's convenience, reliability, preference and product Improved utilization
  • the mobile robot and the electronic device according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or part of each of the embodiments so that various modifications can be made. It may be configured in combination.
  • the method for controlling a mobile robot and an electronic device may be implemented as code that can be read by a processor in a processor-readable recording medium.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

An artificial intelligence mobile robot according to one aspect of the present invention enables convenient data transfer when a device is replaced, by comprising: an input unit for receiving a voice input from a user; a control unit for controlling to perform an operation on the basis of a result of voice recognition of the received voice input; and a removable memory which is attachable or detachable and stores transferable data associated with learning data based on the received voice input.

Description

인공지능 이동 로봇 및 그 제어 방법AI mobile robot and its control method
본 발명은 이동 로봇 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 학습된 인공지능 기반으로 정보 및 서비스를 제공할 수 있는 이동 로봇 및 그 제어 방법에 관한 것이다. The present invention relates to a mobile robot and a control method thereof, and more particularly, to a mobile robot and a control method capable of providing information and services based on the learned artificial intelligence.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. Robots have been developed for industrial use and have been a part of factory automation. Recently, the application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes have also been made. Among these robots, a moving robot capable of traveling by magnetic force is called a mobile robot.
가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기로, 로봇 청소기는 일정 영역을 스스로 주행하면서, 주변의 먼지 또는 이물질을 흡입함으로써, 해당 영역을 청소하는 기기이다. A representative example of a mobile robot used at home is a robot cleaner, which is a device that cleans a corresponding area by inhaling dust or foreign matter while driving around a certain area by itself.
이동 로봇은, 스스로 이동이 가능하여 이동이 자유롭고, 주행중 장애물 등을 피하기 위한 다수의 센서가 구비되어 장애물을 피해 주행할 수 있다.The mobile robot is capable of moving by itself and is free to move, and is provided with a plurality of sensors for avoiding obstacles and the like while driving, so that the robot can travel to avoid obstacles.
한편, 사용자의 사용 편의성을 향상하기 위하여 다양한 기기에 음성 인식 기술이 적용되고 있고, 음성 인식 기술을 이용하여 이동 로봇을 제어하는 방안에 대한 연구가 증가하고 있다.Meanwhile, in order to improve user convenience, voice recognition technology is applied to various devices, and researches on a method of controlling a mobile robot using voice recognition technology are increasing.
예를 들어, 선행 문헌 1(한국 공개특허공보 10-2012-0114670호, 공개일자 2012년 10월 17일)은 로봇 청소기가 음성 인식 유닛을 구비하고 사용자의 음성 신호를 인식하여 대응하는 제어 명령을 실행하고 있다.For example, prior art document 1 (Korean Patent Publication No. 10-2012-0114670, published on October 17, 2012) discloses that the robot cleaner has a speech recognition unit and recognizes a user's speech signal to provide a corresponding control command. Is running.
이러한 음성 인식을 지원하는 로봇 청소기에서 인식률을 높이기 위해 학습을 진행한다. 하지만, 로봇 청소기가 바뀌는 경우, 이전에 학습했던 데이터들이 새로운 로봇 청소기에 적용이 되지 않아 처음부터 학습을 해야되는 상황이 발생한다.In order to increase the recognition rate, the robot cleaner supporting the voice recognition is trained. However, when the robot cleaner is changed, a situation in which the previously learned data is not applied to the new robot cleaner is required to learn from the beginning.
도 16은 종래 기기 변경 시 데이터 및 학습과 관련된 문제점 설명에 참조되는 도면이다. 도 16을 참조하면, 기존에 사용하던 음성인식을 지원하는 로봇 청소기가 있으면(S1610), 사용자의 음성을 학습하여 점점 더 음성 인식률을 높이게 된다. 즉, 로봇 청소기의 음성 인식 유닛에서 음성인식을 실행할 때마다 사용자의 음성패턴을 학습해서 음성 인식률을 높이게 된다.FIG. 16 is a diagram for describing a problem related to data and learning when changing a conventional device. Referring to FIG. 16, if there is a robot cleaner supporting voice recognition (S1610), the voice recognition rate is gradually increased by learning the user's voice. That is, whenever the voice recognition is performed in the voice recognition unit of the robot cleaner, the voice pattern of the user is learned to increase the voice recognition rate.
이때 로봇 청소기기가 바뀌는 경우(S1620), 기존에 학습된 데이터와 새 기기의 데이터가 연동되지 않아 기존 학습 데이터의 백그라운드가 사라져서 다시 처음부터 학습을 진행한다(S1630).At this time, when the robot cleaner is changed (S1620), since the previously learned data and the data of the new device do not interwork, the background of the existing learning data disappears and the learning is performed again from the beginning (S1630).
즉, 로봇 청소기 등 기기 교체시, 이전에 학습했던 데이터들이 소실되거나 타 기기로 이전이 되지 않아 새로 학습을 해야되고, 음성 인식률이 다시 낮아지는 문제점이 있었다.That is, when replacing a device such as a robot cleaner, the previously learned data is lost or not transferred to other devices, so new learning must be performed, and the speech recognition rate is lowered again.
따라서, 음성 인식 유닛이 학습을 통한 데이터가 다른 기기와 연동되지 않고 버려지는 것을 방지하고, 다른 기기로 넘어갈 수 있도록 지원할 수 있는 방안이 요구된다.Accordingly, there is a demand for a method in which the voice recognition unit can prevent the data through learning from being discarded without interworking with other devices and can be transferred to other devices.
본 발명의 목적은 기기 교체시 데이터를 편리하게 전승할 수 있는 방법과 수단을 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method and means by which data can be conveniently transmitted when a device is replaced.
본 발명의 목적은 기기 교체시 기존에 학습된 데이터를 편리하게 전승할 수 있는 이동 로봇 등 전자기기 및 그 제어 방법을 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide an electronic device such as a mobile robot and a control method thereof, which can conveniently pass on previously learned data when replacing a device.
본 발명의 목적은 사용자 음성을 학습하여 개인화된 학습 데이터를 다른 기기에서도 사용함으로써 음성 인식률을 향상할 수 있는 이동 로봇 등 전자기기 및 그 제어 방법을 제공함에 있다.It is an object of the present invention to provide an electronic device such as a mobile robot and a method of controlling the same, which can improve a speech recognition rate by learning user voice and using personalized learning data in other devices.
본 발명의 목적은 사용 이력을 학습하여 개인화된 사용 패턴에 따른 맞춤형 서비스를 제공할 수 있는 이동 로봇 등 전자기기 및 그 제어 방법을 제공함에 있다.An object of the present invention is to provide an electronic device such as a mobile robot and a control method thereof that can provide a customized service according to a personalized usage pattern by learning the usage history.
본 발명의 목적은 제품 등록을 간편하고 빠르게 수행할 수 있는 이동 로봇 등 전자기기 및 그 제어 방법을 제공함에 있다.An object of the present invention is to provide an electronic device such as a mobile robot and a control method thereof that can easily and quickly register the product.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기는, 사용자의 음성 입력을 수신하는 입력부, 상기 수신된 음성 입력의 음성 인식 결과에 기초하여 동작하도록 제어하는 제어부, 및, 장착 및 탈착이 가능하고, 상기 수신된 음성 입력에 기초한 학습 데이터에 연관된 전승 데이터가 저장되는 이동 메모리를 포함함으로써, 기기 교체시, 데이터를 편리하게 전승할 수 있다.In order to achieve the above or another object, a mobile robot and an electronic device according to an aspect of the present invention, a control unit for controlling to operate based on a voice recognition result of the input unit for receiving a user's voice input, the received voice input And a mobile memory capable of mounting and detaching and storing transmission data associated with the learning data based on the received voice input, so that data can be conveniently transferred when the device is replaced.
또한, 상기 전승 데이터는, 상기 사용자의 음성으로 학습된 인공지능 데이터, 상기 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 포함함으로써, 사용자 음성을 학습하여 개인화된 학습 데이터를 다른 기기에서도 사용함으로써 음성 인식률을 향상할 수 있다.The transmission data may include artificial intelligence data learned by the user's voice, link data for accessing the artificial intelligence data, user authentication data for accessing the artificial intelligence data, and the artificial intelligence data for accessing the artificial intelligence data. By including at least one of identification information of the mobile memory, the voice recognition rate can be improved by learning the user's voice and using the personalized learning data in other devices.
또한, 상기 전승 데이터는, 이동 로봇의 사용 이력으로 학습된 인공지능 데이터, 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 더 포함함으로써, 사용 이력을 학습하여 개인화된 사용 패턴에 따른 맞춤형 서비스를 제공할 수 있다.The transmission data may include artificial intelligence data learned from a usage history of a mobile robot, link data for accessing artificial intelligence data, user authentication data for accessing the artificial intelligence data, and the artificial intelligence data for accessing the artificial intelligence data. By further including at least one of identification information of the mobile memory, the usage history may be learned to provide a customized service according to a personalized usage pattern.
본 발명의 일 측면에 따른 이동 로봇 및 전자 기기는, 주행 구역을 촬영하는 영상획득부를 더 포함하고, 상기 전승 데이터는, 상기 영상획득부를 통하여 획득된 영상 데이터에 기초하는 데이터를 더 포함할 수 있다. 이에 따라, 이동 로봇 사용시 획득된 영상 데이터 및 학습 데이터를 안전하게 보관하면서도 다른 기기에서 자유롭게 이용할 수 있다.The mobile robot and the electronic device according to an aspect of the present invention may further include an image acquisition unit photographing a driving zone, and the transmission data may further include data based on image data acquired through the image acquisition unit. . Accordingly, the image data and learning data obtained when using the mobile robot can be safely stored and used freely by other devices.
또한, 상기 전승 데이터는, 상기 이동 로봇과 네트워크 연결되는 액세스 포인트(access point) 정보를 더 포함함으로써, 제품 등록을 간편하고 빠르게 수행할 수 있다.In addition, the transmission data further includes access point information connected to the mobile robot and the network, thereby easily and quickly performing product registration.
본 발명의 일 측면에 따른 이동 로봇 및 전자 기기는, 상기 음성 입력에 기초하는 데이터를 음성 인식 서버로 송신하고, 상기 음성 인식 서버로부터 상기 음성 입력에 대응하는 음성 인식 결과를 수신하는 통신부를 더 포함할 수 있다.The mobile robot and the electronic device according to an aspect of the present invention further include a communication unit which transmits data based on the voice input to a voice recognition server and receives a voice recognition result corresponding to the voice input from the voice recognition server. can do.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기는, 주행 구역을 촬영하는 영상획득부, 상기 영상획득부에서 획득된 영상이 저장되는 저장부, 및, 상기 저장부에 저장된 영상 중 적어도 일부에 기초한 전승 데이터가 전송되는 이동 메모리를 포함함으로써, 데이터를 이중으로 안전하게 보관하고, 필요시 간편하게 데이터를 다른 기기로 전승시킬 수 있다.According to an aspect of the present invention, a mobile robot and an electronic device include: an image acquisition unit for photographing a driving zone, a storage unit storing an image obtained by the image acquisition unit, and the By including a mobile memory that transmits the transmission data based on at least a portion of the image stored in the storage unit, it is possible to safely store the data in a double, and to simply transfer the data to another device if necessary.
또한, 상기 전승 데이터는, 상기 영상획득부에서 획득된 영상 데이터, 상기 영상 데이터로 학습된 제3 인공지능 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 포함함으로써, 주행 구역에 대한 영상 정보를 새 기기에서 이용할 수 있다.The transmission data may include image data acquired by the image acquisition unit, third artificial intelligence data learned from the image data, link data for accessing the third artificial intelligence data, and access to the third artificial intelligence data. By including at least one of user authentication data to the identification information, the identification information of the mobile memory for accessing the third artificial intelligence data, it is possible to use the image information for the driving zone in the new device.
또한, 상기 저장부에는 이동 로봇의 사용 이력이 저장되고, 상기 전승 데이터는, 상기 사용 이력으로 학습된 인공지능 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 더 포함함으로써, 사용 이력을 학습하여 개인화된 사용 패턴에 따른 맞춤형 서비스를 제공할 수 있다.The storage unit stores a usage history of the mobile robot, and the transmission data includes artificial intelligence data learned from the usage history, link data for accessing the fourth artificial intelligence data, and accessing the artificial intelligence data. By further including at least one of the user authentication data, the identification information of the mobile memory for accessing the artificial intelligence data, it is possible to learn a usage history to provide a personalized service according to a personalized usage pattern.
본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기는, 사용자의 음성 입력을 수신하는 입력부를 더 포함하고, 상기 전승 데이터는, 상기 사용자의 음성으로 학습된 인공지능 데이터, 상기 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 더 포함함으로써, 사용자 음성을 학습하여 개인화된 학습 데이터를 다른 기기에서도 사용함으로써 음성 인식률을 향상할 수 있다.According to an aspect of the present invention, a mobile robot and an electronic device further include an input unit configured to receive a voice input of a user, and the transmission data includes artificial intelligence data learned by the user's voice and the artificial intelligence data. The apparatus further includes at least one of link data for accessing, user authentication data for accessing the artificial intelligence data, and identification information of the mobile memory for accessing the artificial intelligence data, thereby learning personalized learning data by learning a user voice. It can also be used in other devices to improve speech recognition rates.
본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기의 제어 방법은, 장착되는 이동 메모리에 저장된 전승 데이터를 불러오는 단계, 상기 전승 데이터에 기초하여 인공지능 데이터를 업데이트하는 단계, 및, 주행 중에 획득되는 데이터 중 적어도 일부를 상기 이동 메모리에 저장하는 단계를 포함함으로써, 데이터를 간편하게 전승할 수 있다.According to an aspect of the present invention, a mobile robot and a control method of an electronic device include: retrieving transmission data stored in a mobile memory to be mounted; updating artificial intelligence data based on the transmission data; and obtaining while driving. By storing at least a portion of the data to be stored in the mobile memory, it is possible to easily pass on the data.
본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기의 제어 방법은, 상기 수신되는 전승 데이터에 기초하여 인공지능 관련 데이터를 서버에 요청하는 단계, 상기 서버로부터 상기 인공지능 관련 데이터를 수신하는 단계를 더 포함할 수 있다.According to an aspect of the present invention, there is provided a method for controlling a mobile robot and an electronic device, the method comprising: requesting artificial intelligence-related data from a server based on the received transmission data; receiving the artificial intelligence-related data from the server It may further include.
본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기의 제어 방법은, 주행 중에 획득되는 데이터 중 적어도 일부를 서버로 송신하는 단계, 상기 서버로부터 상기 인공지능 관련 데이터를 수신하는 단계, 상기 서버로부터 수신한 상기 인공지능 관련 데이터에 기초하여 상기 인공지능 데이터를 업데이트하는 단계를 더 포함할 수 있다.According to an aspect of the present invention, there is provided a method for controlling a mobile robot and an electronic device, the method comprising: transmitting at least a portion of data acquired while driving to a server, receiving the artificial intelligence-related data from the server, from the server The method may further include updating the artificial intelligence data based on the received artificial intelligence-related data.
본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기의 제어 방법은, 장착된 이동 메모리에 저장된 전승 데이터를 불러오는 단계, 상기 전승 데이터에 포함된 액세스 포인트(access point) 장치에 대한 액세스 포인트 정보에 기초하여, 상기 액세스 포인트 장치와 네트워크 연결되는 단계, 서버에 제품 등록을 요청하는 단계, 및, 상기 서버로부터 제품 등록 완료 메시지를 수신하는 단계를 포함함으로서, 간편하게 제품을 등록할 수 있다. According to an aspect of the present invention, a mobile robot and a method for controlling an electronic device may include: importing transmission data stored in an attached movement memory, access point information of an access point device included in the transmission data; On the basis of the network connection with the access point device, requesting a product registration to the server, and receiving a product registration completion message from the server, it is possible to easily register the product.
또한, 상기 액세스 포인트 정보는 상기 액세스 포인트 장치의 식별 정보와 암호 정보를 포함할 수 있다.In addition, the access point information may include identification information and encryption information of the access point device.
또한, 본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기의 제어 방법은, 이동 단말기와 네트워크 연결되는 단계, 상기 이동 단말기가 상기 서버로 상기 제품 등록을 요청하는 단계를 더 포함할 수 있다.In addition, the control method of the mobile robot and the electronic device according to an aspect of the present invention may further include the step of network connection with the mobile terminal, the mobile terminal requesting the product registration to the server.
본 발명의 실시예들 중 적어도 하나에 의하면, 기기 교체시 데이터를 편리하게 전승할 수 있는 진화형 음성인식 저장수단을 제공할 수 있다.According to at least one of the embodiments of the present invention, it is possible to provide an evolutionary voice recognition storage means that can conveniently pass data on device replacement.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 기기 교체시 기존에 학습된 데이터를 편리하게 전승할 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to conveniently pass on the previously learned data when replacing the device.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자 음성을 학습하여 개인화된 학습 데이터를 다른 기기에서도 사용함으로써 음성 인식률을 향상할 수 있다.Further, according to at least one of the embodiments of the present invention, the voice recognition rate can be improved by learning the user's voice and using the personalized learning data in another device.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용 이력을 학습하여 개인화된 사용 패턴에 따른 맞춤형 서비스를 제공할 수 있다.In addition, according to at least one of the embodiments of the present invention, the usage history may be learned to provide a customized service according to a personalized usage pattern.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 제품 등록을 간편하고 빠르게 수행할 수 있다.In addition, according to at least one of the embodiments of the present invention, product registration can be performed simply and quickly.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 학습 데이터를 새 기기에서도 간편하게 이용하고 제품을 등록함으로써, 사용자의 편의성, 신뢰도, 선호도 및 제품 활용도를 높일 수 있다.In addition, according to at least one of the embodiments of the present invention, by simply using the learning data in a new device and registering a product, the user's convenience, reliability, preference and product utilization may be increased.
한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.On the other hand, various other effects will be disclosed directly or implicitly in the detailed description according to the embodiment of the present invention to be described later.
도 1은 본 발명의 일 실시예에 따른 홈 어플라이언스 네트워크 시스템 구성도이다. 1 is a block diagram of a home appliance network system according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 이동 로봇을 도시하는 사시도이다.2 is a perspective view showing a mobile robot according to an embodiment of the present invention.
도 3은 도 2의 이동 로봇의 평면도이다.3 is a plan view of the mobile robot of FIG. 2.
도 4는 도 2의 이동 로봇의 측면도이다.4 is a side view of the mobile robot of FIG. 2.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.5 is a block diagram showing a control relationship between major components of a mobile robot according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 제품 데이터(product data)를 이용한 학습(Learning)에 대한 설명에 참조되는 도면이다. FIG. 6 is a view referred to for describing learning using product data according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 서버의 간략한 내부 블록도의 일예이다.7 is an example of a simplified internal block diagram of a server according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.8 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른 음성 인식 및 음성 분류에 관한 설명에 참조되는 도면이다. 9 is a diagram referred to for describing voice recognition and voice classification according to an embodiment of the present invention.
도 10과 도 11은 본 발명의 일 실시예에 따른 공간 인식에 관한 설명에 참조되는 도면이다. 10 and 11 are views referred to for describing spatial recognition according to an embodiment of the present invention.
도 12는 본 발명의 일 실시예에 따른 기기간 데이터 전승에 관한 설명에 참조되는 도면이다. 12 is a view referred to for describing data transmission between devices according to an embodiment of the present invention.
도 13a 내지 도 13c는 이동 로봇 제품 등록 과정에서 제공되는 유저 인터페이스 화면들을 예시한 도면이다.13A to 13C are diagrams illustrating user interface screens provided in a mobile robot product registration process.
도 14는 본 발명의 일 실시예에 따른 제품 등록 과정을 예시한 순서도이다.14 is a flowchart illustrating a product registration process according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.15 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
도 16은 종래 기기 변경 시 데이터 및 학습과 관련된 문제점 설명에 참조되는 도면이다. FIG. 16 is a diagram for describing a problem related to data and learning when changing a conventional device.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다. Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention; However, the present invention is not limited to these embodiments and may be modified in various forms.
도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다. In the drawings, parts not related to the description are omitted in order to clearly and briefly describe the present invention, and the same reference numerals are used for the same or extremely similar parts throughout the specification.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.On the other hand, the suffixes "module" and "unit" for the components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not give particular meaning or role in themselves. Therefore, the "module" and "unit" may be used interchangeably.
본 발명의 일 실시예에 따른 전자 기기는 이동 메모리(도 5의 106 참조)가 장착되어 사용되다가 이동 메모리(106)의 탈착이 가능한 기기로 다양한 기기들이 해당될 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 전자 기기는 공기조화기(도 1의 11 참조), 이동 로봇(도 1의 22, 도 2의 100 등 참조), 냉장고(도 1의 31 참조), 세탁기(도 1의 32 참조) 등일 수 있다.An electronic device according to an embodiment of the present invention is a device in which a mobile memory (see 106 of FIG. 5) is mounted and used, and a removable memory 106 can be attached and detached. For example, an electronic device according to an embodiment of the present invention may include an air conditioner (see 11 in FIG. 1), a mobile robot (see 22 in FIG. 1, 100 in FIG. 2, etc.), a refrigerator (see 31 in FIG. 1). , A washing machine (see 32 in FIG. 1), and the like.
또한, 본 발명의 일 실시예에 따른 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미하고, 가정 도우미 로봇 및 로봇 청소기 등이 될 수 있다. In addition, the mobile robot 100 according to an embodiment of the present invention means a robot that can move itself by using a wheel or the like, and may be a home helper robot or a robot cleaner.
이하에서는, 도면들을 참조하여, 이동 로봇 중 청소 기능을 가지는 로봇 청소기를 예로 들어 설명하나, 본 발명은 이에 한정되지 않는다.Hereinafter, a robot cleaner having a cleaning function among mobile robots will be described with reference to the drawings, but the present invention is not limited thereto.
도 1은 본 발명의 일 실시예에 따른 홈 어플라이언스 네트워크 시스템 구성도이다.1 is a block diagram of a home appliance network system according to an embodiment of the present invention.
도 1을 참조하면, 홈 어플라이언스 네트워크 시스템은, 통신 모듈을 구비하여 다른 기기, 서버(70)와 통신하거나 네트워크에 접속할 수 있는 홈 어플라이언스(home appliance)들을 포함하여 구성될 수 있다.Referring to FIG. 1, a home appliance network system may include a home appliance including a communication module, which may communicate with another device, the server 70, or connect to a network.
예를 들어, 홈 어플라이언스에는 통신 모듈을 구비한 공조 기기(10), 청소기(20), 냉장고(31), 세탁기(32) 등이 해당될 수 있다.For example, the home appliance may correspond to an air conditioner 10 having a communication module, a cleaner 20, a refrigerator 31, a washing machine 32, and the like.
한편, 상기 공조 기기(10)는 공기조화기(11), 공기 청정기(12, 13), 가습기(14), 후드(Hood, 15) 중 적어도 하나를 포함할 수 있다.The air conditioner 10 may include at least one of an air conditioner 11, an air cleaner 12 and 13, a humidifier 14, and a hood 15.
또한, 상기 청소기(20)는, 진공 청소기(21), 로봇 청소기(22) 등일 수 있다.In addition, the cleaner 20 may be a vacuum cleaner 21, a robot cleaner 22, or the like.
한편, 홈 어플라이언스(10, 20, 31, 32)가 구비하는 통신 모듈은 와이파이(wi-fi) 통신 모듈일 수 있으며, 본 발명은 통신 방식에 한정되지 않는다.Meanwhile, the communication module included in the home appliances 10, 20, 31, and 32 may be a Wi-Fi communication module, and the present invention is not limited to the communication method.
또는, 홈 어플라이언스(10, 20, 31, 32)는 다른 종류의 통신 모듈을 구비하거나 복수의 통신 모듈을 구비할 수 있다. 예를 들어, 홈 어플라이언스(10, 20, 31, 32)는 NFC 모듈, 지그비(zigbee) 통신 모듈, 블루투스(Bluetooth™) 통신 모듈 등을 포함할 수 있다.Alternatively, the home appliances 10, 20, 31, and 32 may include other types of communication modules or may include a plurality of communication modules. For example, the home appliances 10, 20, 31, and 32 may include an NFC module, a Zigbee communication module, a Bluetooth ™ communication module, and the like.
홈 어플라이언스(10, 20, 31, 32)는 와이파이(wi-fi) 통신 모듈 등을 통해 소정 서버(70)와 연결 가능하고, 원격 모니터링, 원격 제어 등 스마트 기능을 지원할 수 있다.The home appliances 10, 20, 31, and 32 may be connected to a predetermined server 70 through a Wi-Fi communication module, and may support smart functions such as remote monitoring and remote control.
본 발명의 일 실시예에 따른 홈 어플라이언스 네트워크 시스템은, 스마트 폰(smart phone), 태블릿(Tablet) PC 등 휴대 단말기(50)를 포함할 수 있다.The home appliance network system according to an embodiment of the present invention may include a mobile terminal 50 such as a smart phone and a tablet PC.
사용자는 휴대 단말기(50)를 통하여 홈 어플라이언스 네트워크 시스템 내의 홈 어플라이언스(10, 20, 31, 32)에 관한 정보를 확인하거나 홈 어플라이언스(10, 20, 31, 32)를 제어할 수 있다.The user may check information on the home appliances 10, 20, 31, and 32 in the home appliance network system or control the home appliances 10, 20, 31, and 32 through the portable terminal 50.
한편, 본 발명의 일 실시예에 따른 홈 어플라이언스 네트워크 시스템은, 복수의 사물인터넷(IoT) 기기(미도시)를 포함하여 구성될 수 있다. 따라서, 홈 어플라이언스 네트워크 시스템은, 홈 어플라이언스(10, 20, 31, 32), 휴대 단말기(50), 사물인터넷(IoT) 기기들을 포함할 수 있다. Meanwhile, the home appliance network system according to an embodiment of the present invention may include a plurality of Internet of Things (IoT) devices (not shown). Thus, the home appliance network system may include home appliances 10, 20, 31, and 32, portable terminal 50, and Internet of Things (IoT) devices.
본 발명의 일 실시예에 따른 홈 어플라이언스 네트워크 시스템은, 네트워크를 구성하는 통신 방식에 한정되지 않는다. The home appliance network system according to an embodiment of the present invention is not limited to a communication scheme constituting a network.
예를 들어, 홈 어플라이언스(10, 20, 31, 32), 휴대 단말기(50), 사물인터넷(IoT) 기기들은, 유/무선 공유기(60)를 통하여, 통신 연결될 수 있다.For example, the home appliances 10, 20, 31, and 32, the portable terminal 50, and the Internet of Things (IoT) devices may be communicatively connected through the wire / wireless router 60.
또한, 홈 어플라이언스 네트워크 시스템 내의 기기들은 각각 개별적으로 통신 연결되는 메쉬 토폴로지(mesh topology)를 구성할 수 있다.In addition, devices in the home appliance network system may form a mesh topology that is individually communicated with each other.
홈 어플라이언스 네트워크 시스템 내의 홈 어플라이언스(10, 20, 31, 32)는 유/무선 공유기(60)를 경유하여 서버(70)나 휴대 단말기(50)와 통신할 수 있다. 또한, 홈 어플라이언스 네트워크 시스템 내의 홈 어플라이언스(10, 20, 31, 32)는 이더넷(Ethernet)에 의해서 서버(70)나 휴대 단말기(50)와 통신할 수 있다. The home appliances 10, 20, 31, and 32 in the home appliance network system may communicate with the server 70 or the mobile terminal 50 via the wire / wireless router 60. In addition, the home appliances 10, 20, 31, and 32 in the home appliance network system may communicate with the server 70 or the portable terminal 50 by Ethernet.
도 2는 본 발명의 일 실시예에 따른 이동 로봇을 도시하는 사시도이고, 도 3은 도 2의 이동 로봇의 평면도이며, 도 4는 도 2의 이동 로봇의 측면도이다. 2 is a perspective view illustrating a mobile robot according to an embodiment of the present invention, FIG. 3 is a plan view of the mobile robot of FIG. 2, and FIG. 4 is a side view of the mobile robot of FIG. 2.
도 2 내지 도 4를 참고하여, 이동 로봇(100)은 일정 영역을 스스로 주행할 수 있다. 이동 로봇(100)은 바닥을 청소하는 기능을 수행할 수 있다. 여기서 말하는 바닥의 청소에는, 바닥의 먼지(이물질을 포함한다)를 흡입하거나 바닥을 걸레질하는 것이 포함된다.2 to 4, the mobile robot 100 may drive a certain area by itself. The mobile robot 100 may perform a function of cleaning the floor. Cleaning of the floor here includes suctioning dust (including foreign matter) from the floor or mopping the floor.
이동 로봇(100)은 본체(110)를 포함한다. 본체(110)는 외관을 형성하는 케비닛을 포함한다. 이동 로봇(100)은, 본체(110)에 구비된 흡입 유닛(130) 및 먼지통(140)을 포함할 수 있다. 이동 로봇(100)은 이동 로봇 주변의 환경과 관련된 정보를 감지하는 영상획득부(120)를 포함한다. 이동 로봇(100)은 상기 본체를 이동시키는 주행부(160)를 포함한다. 이동 로봇(100)은 이동 로봇(100)의 제어를 위한 제어부(181)를 포함한다. 제어부(181)는 본체(110)에 구비된다.The mobile robot 100 includes a main body 110. The main body 110 includes a cabinet forming an appearance. The mobile robot 100 may include a suction unit 130 and a dust container 140 provided in the main body 110. The mobile robot 100 includes an image acquisition unit 120 that detects information related to an environment around the mobile robot. The mobile robot 100 includes a driving unit 160 for moving the main body. The mobile robot 100 includes a control unit 181 for controlling the mobile robot 100. The controller 181 is provided in the main body 110.
주행부(160)는 이동 로봇(100)의 주행을 위한 휠 유닛(111)을 포함한다. 휠 유닛(111)은 본체(110)에 구비된다. 휠 유닛(111)에 의해 이동 로봇(100)은 전후좌우로 이동되거나 회전될 수 있다. 제어부가 휠 유닛(111)의 구동을 제어함으로써, 이동 로봇(100)은 바닥을 자율 주행할 수 있다. 휠 유닛(111)은 메인 휠(111a) 및 서브 휠(111b)을 포함한다. The driving unit 160 includes a wheel unit 111 for traveling of the mobile robot 100. The wheel unit 111 is provided in the main body 110. The mobile robot 100 may be moved back, front, left, and right by the wheel unit 111 or rotated. As the controller controls the driving of the wheel unit 111, the mobile robot 100 may autonomously travel the floor. The wheel unit 111 includes a main wheel 111a and a sub wheel 111b.
메인 휠(111a)은 본체(110)의 양측에 각각 구비되어, 제어부의 제어 신호에 따라 일 방향 또는 타 방향으로 회전 가능하게 구성된다. 각각의 메인 휠(111a)은 서로 독립적으로 구동 가능하게 구성될 수 있다. 예를 들어, 각각의 메인 휠(111a)은 서로 다른 모터에 의해서 구동될 수 있다.The main wheels 111a are provided at both sides of the main body 110, and are configured to be rotatable in one direction or the other direction according to the control signal of the controller. Each main wheel 111a may be configured to be driven independently of each other. For example, each main wheel 111a may be driven by different motors.
서브 휠(111b)은 메인 휠(111a)과 함께 본체(110)를 지지하며, 메인 휠(111a)에 의한 이동 로봇(100)의 주행을 보조하도록 이루어진다. 이러한 서브 휠(111b)은 후술하는 흡입 유닛(130)에도 구비될 수 있다.The sub wheel 111b supports the main body 110 together with the main wheel 111a, and is configured to assist driving of the mobile robot 100 by the main wheel 111a. The sub wheel 111b may also be provided in the suction unit 130 described later.
흡입 유닛(130)은 본체(110)의 전방(F)으로부터 돌출된 형태로 배치될 수 있다. 흡입 유닛(130)은 먼지가 포함된 공기를 흡입하도록 구비된다.The suction unit 130 may be disposed to protrude from the front side F of the main body 110. The suction unit 130 is provided to suck air containing dust.
흡입 유닛(130)이 본체(110)의 전방에서 좌우 양측방으로 돌출된 형태를 가질 수 있다. 흡입 유닛(130)의 전단부는 본체(110)의 일측으로부터 전방으로 이격된 위치에 배치될 수 있다. 흡입 유닛(130)의 좌우 양단부는 본체(110)로부터 좌우 양측으로 각각 이격된 위치에 배치될 수 있다.The suction unit 130 may have a form protruding from the front of the main body 110 to both left and right sides. The front end of the suction unit 130 may be disposed in a position spaced forward from one side of the main body 110. The left and right both ends of the suction unit 130 may be disposed at positions spaced apart from the main body 110 to the left and right sides.
본체(110)는 원형으로 형성되고, 흡입 유닛(130)의 후단부 양측이 본체(110)로부터 좌우 양측으로 각각 돌출 형성됨에 따라, 본체(110)와 흡입 유닛(130) 사이에는 빈 공간, 즉 틈이 형성될 수 있다. 상기 빈 공간은 본체(110)의 좌우 양단부와 흡입 유닛(130)의 좌우 양단부 사이의 공간으로서, 이동 로봇(100)의 내측으로 함몰된 형태를 가진다.The main body 110 is formed in a circular shape, and as both rear ends of the suction unit 130 protrude from the main body 110 to the left and right sides, respectively, an empty space, that is, between the main body 110 and the suction unit 130. Gaps may be formed. The empty space is a space between the left and right both ends of the main body 110 and the left and right both ends of the suction unit 130, and has a shape recessed inside the mobile robot 100.
흡입 유닛(130)은 본체(110)에 착탈 가능하게 결합될 수 있다. 흡입 유닛(130)이 본체(110)로부터 분리되면, 분리된 흡입 유닛(130)을 대체하여 걸레 모듈(미도시)이 본체(110)에 착탈 가능하게 결합될 수 있다.The suction unit 130 may be detachably coupled to the main body 110. When the suction unit 130 is separated from the main body 110, the mop module (not shown) may be detachably coupled to the main body 110 in place of the separated suction unit 130.
영상획득부(120)는 본체(110)에 배치될 수 있다. 영상획득부(120)는 본체(110)의 전방(F)에 배치될 수 있다. 영상획득부(120)는 본체(110)의 상하 방향으로 흡입 유닛(130)과 오버랩(overlap)되도록 배치될 수 있다. 영상획득부(120)는 흡입 유닛(130)의 상부에 배치될 수 있다.The image acquisition unit 120 may be disposed in the main body 110. The image acquisition unit 120 may be disposed in front of the main body 110. The image acquisition unit 120 may be disposed to overlap the suction unit 130 in the vertical direction of the main body 110. The image acquisition unit 120 may be disposed above the suction unit 130.
영상획득부(120)는 이동 로봇(100) 주변의 장애물을 감지할 수 있다. 영상획득부(120)는 이동 로봇(100)의 가장 앞쪽에 위치하는 흡입 유닛(130)이 장애물과 부딪히지 않도록 전방의 장애물이나 지형지물 등을 감지할 수 있다. 영상획득부(120)는 이러한 감지 기능 외의 후술할 다른 센싱 기능을 추가로 수행할 수 있다.The image acquisition unit 120 may detect an obstacle around the mobile robot 100. The image acquisition unit 120 may detect an obstacle or a feature in front of the suction unit 130 located in the front of the mobile robot 100 so as not to collide with the obstacle. The image acquisition unit 120 may further perform other sensing functions to be described later in addition to the sensing function.
본체(110)에는 먼지통 수용부(미도시)가 구비될 수 있다. 먼지통 수용부에는 흡입된 공기 중의 먼지를 분리하여 집진하는 먼지통(140)이 착탈 가능하게 결합된다. 먼지통 수용부는 본체(110)의 후방(R)에 형성될 수 있다. 먼지통(140)의 일부는 먼지통 수용부에 수용되되, 먼지통(140)의 다른 일부는 본체(110)의 후방(R)을 향하여 돌출되게 형성될 수 있다.The main body 110 may be provided with a dust container accommodating part (not shown). The dust container 140 is detachably coupled to the dust container 140 which separates and collects dust in the sucked air. The dust container accommodation part may be formed at the rear side R of the main body 110. Part of the dust container 140 is accommodated in the dust container receiving portion, the other part of the dust container 140 may be formed to protrude toward the rear (R) of the main body 110.
먼지통(140)에는 먼지가 포함된 공기가 유입되는 입구(미도시)와 먼지가 분리된 공기가 배출되는 출구(미도시)가 형성된다. 먼지통 수용부에 먼지통(140)이 장착시 먼지통(140)의 상기 입구와 상기 출구는 먼지통 수용부의 내측벽에 형성된 제1 개구(미도시) 및 제2 개구(미도시)와 각각 연통되도록 구성된다.The dust container 140 has an inlet (not shown) through which air containing dust is introduced and an outlet (not shown) through which air from which dust is separated is formed. The inlet and the outlet of the dust container 140 are configured to communicate with the first opening (not shown) and the second opening (not shown) formed in the inner wall of the dust container accommodation part when the dust container 140 is mounted on the dust container accommodation part. .
흡입 유닛(130)의 흡입구부터 상기 제1 개구까지 공기를 안내하는 흡입 유로(미도시)가 구비된다. 상기 제2 개구부터 외부를 향해 열린 배기구(미도시)까지 공기를 안내하는 배기 유로(미도시)가 구비된다.A suction flow path (not shown) for guiding air from the suction port of the suction unit 130 to the first opening is provided. An exhaust passage (not shown) for guiding air to an exhaust port (not shown) opened toward the outside of the second opening is provided.
흡입 유닛(130)을 통하여 유입된 먼지가 포함된 공기는 본체(110) 내부의 상기 흡기유로를 거쳐, 먼지통(140)으로 유입되고, 먼지통(140)의 필터 내지는 사이클론을 거치면서 공기와 먼지가 상호 분리된다. 먼지는 먼지통(140)에 집진되며, 공기는 먼지통(140)에서 배출된 후 본체(110) 내부의 상기 배기유로를 거쳐 최종적으로 상기 배기구를 통하여 외부로 배출된다.The air containing the dust introduced through the suction unit 130 is introduced into the dust container 140 through the intake passage inside the main body 110, and the air and the dust are passed through the filter or the cyclone of the dust container 140. Are separated from each other. Dust is collected in the dust container 140, the air is discharged from the dust container 140, and then through the exhaust flow path inside the main body 110 is finally discharged to the outside through the exhaust port.
한편, 본 발명의 일 실시예에 따른 이동 로봇(100)에는 이동 메모리(106)가 장착되어 사용될 수 있다. 또한, 필요시 이동 메모리(106)는 이동 로봇(100)로부터 탈착될 수 있다.On the other hand, the mobile robot 100 according to an embodiment of the present invention may be equipped with a mobile memory 106 used. In addition, if necessary, the mobile memory 106 may be detached from the mobile robot 100.
이를 위해, 이동 로봇(100)은 이동 메모리(106)가 연결되는 포트를 포함할 수 있다. 예를 들어, 이동 로봇(100)은 USB(범용 직렬 버스, Universal Serial Bus) 포트를 구비하여, USB 이동 메모리(106)가 USB 포트에 연결되어 장착될 수 있다.To this end, the mobile robot 100 may include a port to which the mobile memory 106 is connected. For example, the mobile robot 100 may include a USB (Universal Serial Bus) port so that the USB mobile memory 106 may be connected to and mounted in the USB port.
바람직하게, 이동 메모리(106)의 장착 위치는 사용자의 접근이 용이한 상단 중앙부일 수 있다. 이를 위해, 이동 메모리(106)용 연결 포트는 본체(110) 상단에서 이동 메모리(106)와 연결 가능하게 구비될 수 있다.Preferably, the mounting position of the mobile memory 106 may be an upper center portion that is accessible to the user. To this end, the connection port for the mobile memory 106 may be provided to be connected to the mobile memory 106 at the top of the main body 110.
한편, 이동 로봇(100)은 이동 메모리(106)와 이동 메모리(106)용 연결 포트를 내부에 수용함으로써, 외부 충격 및 이물질로부터 이동 메모리(106)를 보호하고, 사용 중에 이동 메모리(106)가 탈착되는 것을 방지할 수 있다.On the other hand, the mobile robot 100 accommodates the mobile memory 106 and the connection port for the mobile memory 106 therein, thereby protecting the mobile memory 106 from external shock and foreign matter, and the mobile memory 106 is in use. Desorption can be prevented.
도 2와 도 3을 참조하면, 본체(110) 상단에 이동 메모리(106)를 내부에 넣거나 뺄 수 있는 커버(107)가 형성될 수 있다. 이에 따라, 사용자는 본체(110) 상단부에서 용이하게 커버(107)를 열고 닫고, 이동 메모리(106)에 접근할 수 있다.2 and 3, a cover 107 may be formed on the top of the main body 110 to insert or remove the mobile memory 106 therein. Accordingly, the user can easily open and close the cover 107 at the upper end of the main body 110 and access the mobile memory 106.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.5 is a block diagram showing a control relationship between major components of a mobile robot according to an embodiment of the present invention.
도 2 내지 도 5를 참조하면, 이동 로봇(100)은, 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함한다. 2 to 5, the mobile robot 100 includes a main body 110 and an image acquisition unit 120 that acquires an image around the main body 110.
이동 로봇(100)은 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 휠 유닛(111)을 포함한다. 주행부(160)는 휠 유닛(111)에 연결되어 휠 유닛(111)을 회전시키는 구동 모터(미도시)를 포함한다. The mobile robot 100 includes a driving unit 160 for moving the main body 110. The driving unit 160 includes at least one wheel unit 111 for moving the main body 110. The driving unit 160 includes a driving motor (not shown) connected to the wheel unit 111 to rotate the wheel unit 111.
영상획득부(120)는 주행 구역을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 상기 카메라 모듈은 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.The image acquisition unit 120 photographs a driving zone and may include a camera module. The camera module may include a digital camera. The digital camera includes at least one optical lens and an image sensor (eg, a CMOS image sensor) including a plurality of photodiodes (eg, pixels) formed by the light passing through the optical lens. The apparatus may include a digital signal processor (DSP) that forms an image based on signals output from the photodiodes. The digital signal processor may generate not only a still image but also a moving image composed of frames composed of the still image.
이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 카메라에 의해 촬상된 영상은 해당 공간에 존재하는 먼지, 머리카락, 바닥 등과 같은 물질의 종류 인식, 청소 여부, 또는 청소 시점을 확인하는데 사용할 수 있다.Multiple cameras may be installed for each part for photographing efficiency. The image photographed by the camera may be used to recognize a kind of material such as dust, hair, floor, etc. present in the corresponding space, whether to clean or check the cleaning time.
카메라는 이동 로봇(100)의 주행 방향 전면에 존재하는 장애물 또는 청소 영역의 상황을 촬영할 수 있다.The camera may photograph a situation of an obstacle or a cleaning area existing on the front of the moving direction of the mobile robot 100.
본 발명의 일 실시예에 따르면, 상기 영상획득부(120)는 본체(110) 주변을 연속적으로 촬영하여 복수의 영상을 획득할 수 있고, 획득된 복수의 영상은 저장부(105)에 저장될 수 있다.According to an embodiment of the present invention, the image acquisition unit 120 may acquire a plurality of images by continuously photographing the periphery of the main body 110, and the obtained plurality of images may be stored in the storage unit 105. Can be.
이동 로봇(100)은 복수의 영상을 이용하여 공간 인식, 위치 인식, 장애물 인식의 정확성을 높이거나, 복수의 영상 중 하나 이상의 영상을 선택하여 효과적인 데이터를 사용함으로써 공간 인식, 위치 인식, 장애물 인식의 정확성을 높일 수 있다.The mobile robot 100 improves the accuracy of spatial recognition, location recognition, and obstacle recognition using a plurality of images, or selects one or more images from the plurality of images and uses effective data to provide spatial recognition, location recognition, and obstacle recognition. You can increase the accuracy.
또한, 이동 로봇(100)은 이동 로봇의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부(170)를 포함할 수 있다.In addition, the mobile robot 100 may include a sensor unit 170 including sensors for sensing various data related to the operation and state of the mobile robot.
예를 들어, 상기 센서부(170)는 전방의 장애물을 감지하는 장애물 감지 센서를 포함할 수 있다. 또한, 상기 센서부(170)는 주행 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서와, 바닥의 영상을 획득하는 하부 카메라 센서를 더 포함할 수 있다. For example, the sensor unit 170 may include an obstacle detecting sensor detecting a front obstacle. In addition, the sensor unit 170 may further include a cliff detection sensor for detecting the presence of a cliff on the floor in the driving zone, and a lower camera sensor for obtaining an image of the floor.
상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 등을 포함할 수 있다.The obstacle detecting sensor may include an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a position sensitive device (PSD) sensor, and the like.
한편, 상기 장애물 감지 센서에 포함되는 센서의 위치와 종류는 이동 로봇의 기종에 따라 달라질 수 있고, 상기 장애물 감지 센서는 더 다양한 센서를 포함할 수 있다.On the other hand, the position and type of the sensor included in the obstacle detection sensor may vary depending on the type of the mobile robot, the obstacle detection sensor may include more various sensors.
한편, 상기 센서부(170)는 본체(110)의 구동에 따른 이동 로봇(100)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.On the other hand, the sensor unit 170 may further include a motion detection sensor for detecting the operation of the mobile robot 100 according to the driving of the main body 110 and outputs the motion information. For example, a gyro sensor, a wheel sensor, an acceleration sensor, or the like may be used as the motion detection sensor.
자이로 센서는, 이동 로봇(100)이 운전 모드에 따라 움직일 때 회전 방향을 감지하고 회전각을 검출한다. 자이로 센서는, 이동 로봇(100)의 각속도를 검출하여 각속도에 비례하는 전압 값을 출력한다. 제어부(150)는 자이로 센서로부터 출력되는 전압 값을 이용하여 회전 방향 및 회전각을 산출한다.The gyro sensor detects the rotation direction and detects the rotation angle when the mobile robot 100 moves according to the driving mode. The gyro sensor detects the angular velocity of the mobile robot 100 and outputs a voltage value proportional to the angular velocity. The controller 150 calculates the rotation direction and the rotation angle by using the voltage value output from the gyro sensor.
휠 센서는, 휠 유닛(111)에 연결되어 바퀴의 회전수를 감지한다. 여기서, 휠 센서는 로터리 엔코더(Rotary Encoder)일 수 있다. The wheel sensor is connected to the wheel unit 111 to sense the number of revolutions of the wheel. Here, the wheel sensor may be a rotary encoder.
가속도 센서는, 이동 로봇(100)의 속도 변화, 예를 들어, 출발, 정지, 방향 전환, 물체와의 충돌 등에 따른 이동 로봇(100)의 변화를 감지한다. The acceleration sensor detects a change in the speed of the mobile robot 100, for example, a change in the mobile robot 100 due to start, stop, direction change, collision with an object, and the like.
또한, 가속도 센서는 제어부(150)에 내장되어 이동 로봇(100)의 속도 변화를 감지할 수 있다. In addition, the acceleration sensor may be built in the controller 150 to detect a speed change of the mobile robot 100.
제어부(150)는 동작 감지 센서로부터 출력된 동작 정보에 기초하여 이동 로봇(100)의 위치 변화를 산출할 수 있다. 이러한 위치는 영상 정보를 이용한 절대 위치에 대응하여 상대 위치가 된다. 이동 로봇은 이러한 상대 위치 인식을 통해 영상 정보와 장애물 정보를 이용한 위치 인식의 성능을 향상시킬 수 있다.The controller 150 may calculate a position change of the mobile robot 100 based on the motion information output from the motion detection sensor. This position becomes a relative position corresponding to the absolute position using the image information. The mobile robot can improve the performance of position recognition using image information and obstacle information through the relative position recognition.
한편, 이동 로봇(100)은 충전 가능한 배터리를 구비하여 이동 로봇 내로 전원을 공급하는 전원 공급부(미도시)를 포함할 수 있다.On the other hand, the mobile robot 100 may include a power supply unit (not shown) for supplying power to the mobile robot by having a rechargeable battery.
상기 전원 공급부는 이동 로봇(100)의 각 구성 요소들에 구동 전원과, 동작 전원을 공급하며, 전원 잔량이 부족하면 충전대(미도시)에서 전원을 공급받아 충전될 수 있다. The power supply unit supplies driving power and operation power to each component of the mobile robot 100, and when the remaining power is insufficient, power may be supplied and charged from a charging stand (not shown).
이동 로봇(100)은 배터리의 충전 상태를 감지하고, 감지 결과를 제어부(150)에 전송하는 배터리 감지부(미도시)를 더 포함할 수 있다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 제어부(150)에 전달된다. 배터리 잔량은 출력부(180)의 디스플레이(182)에 표시될 수 있다.The mobile robot 100 may further include a battery detector (not shown) that detects a charging state of the battery and transmits a detection result to the controller 150. The battery is connected to the battery detector so that the battery remaining amount and the charging state are transmitted to the controller 150. The battery remaining amount may be displayed on the display 182 of the output unit 180.
또한, 이동 로봇(100)은 온/오프(On/Off) 또는 각종 명령을 입력할 수 있는 입력부(125)를 포함한다. 입력부(125)는 버튼이나 다이얼, 터치 스크린 등을 포함할 수 있다. 입력부(125)는 사용자의 음성 지시를 입력 받기 위한 마이크를 포함할 수 있다. 입력부(125)를 통해 이동 로봇(100)의 작동 전반에 필요한 각종 제어명령을 입력받을 수 있다. In addition, the mobile robot 100 includes an input unit 125 for inputting on / off or various commands. The input unit 125 may include a button, a dial, a touch screen, and the like. The input unit 125 may include a microphone for receiving a user's voice command. Through the input unit 125, various control commands necessary for the overall operation of the mobile robot 100 may be input.
또한, 이동 로봇(100)은 출력부(180)를 포함하여, 예약 정보, 배터리 상태, 동작모드, 동작상태, 에러상태 등을 이미지로 표시하거나 음향으로 출력할 수 있다. In addition, the mobile robot 100 may include an output unit 180 to display reservation information, a battery state, an operation mode, an operation state, an error state, etc. as an image or output a sound.
출력부(180)는 오디오 신호를 출력하는 음향 출력부(181)를 포함할 수 있다. 음향 출력부(181)는 제어부(150)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지 등을 음향으로 출력할 수 있다. 음향 출력부(181)는, 제어부(150)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.The output unit 180 may include a sound output unit 181 for outputting an audio signal. The sound output unit 181 may output a warning message, such as a warning sound, an operation mode, an operation state, an error state, etc., under the control of the controller 150. The sound output unit 181 may convert an electrical signal from the controller 150 into an audio signal and output the audio signal. To this end, a speaker or the like may be provided.
또한, 출력부(180)는 예약 정보, 배터리 상태, 동작모드, 동작상태, 에러상태 등을 이미지로 표시하는 디스플레이(182)를 더 포함할 수 있다.In addition, the output unit 180 may further include a display 182 that displays reservation information, a battery state, an operation mode, an operation state, an error state, and the like as an image.
도 5를 참조하면, 이동 로봇(100)은 현재 위치를 인식하는 등 각종 정보를 처리하고 판단하는 제어부(150), 및 각종 데이터를 저장하는 저장부(105)를 포함한다. 또한, 이동 로봇(100)은 외부 단말기와 데이터를 송수신하는 통신부(190)를 더 포함할 수 있다. Referring to FIG. 5, the mobile robot 100 includes a controller 150 for processing and determining various information such as recognizing a current location, and a storage 105 for storing various data. In addition, the mobile robot 100 may further include a communication unit 190 for transmitting and receiving data with an external terminal.
외부 단말기는 이동 로봇(100)을 제어하기 위한 애플리케이션을 구비하고, 애플리케이션의 실행을 통해 이동 로봇(100)이 청소할 주행 구역에 대한 맵을 표시하고, 맵 상에 특정 영역을 청소하도록 영역을 지정할 수 있다. 외부 단말기는 맵 설정을 위한 애플리케이션(application)이 탑재된 리모콘, PDA, 랩탑(laptop), 스마트 폰, 태블릿 등을 예로 들 수 있다. The external terminal includes an application for controlling the mobile robot 100, and displays an map of the driving area to be cleaned by the mobile robot 100 through execution of the application, and designates an area to clean a specific area on the map. have. Examples of the external terminal may include a remote controller, a PDA, a laptop, a smartphone, a tablet, and the like, having an application for setting a map.
외부 단말기는 이동 로봇(100)과 통신하여, 맵과 함께 이동 로봇의 현재 위치를 표시할 수 있으며, 복수의 영역에 대한 정보가 표시될 수 있다. 또한, 외부 단말기는 이동 로봇의 주행에 따라 그 위치를 갱신하여 표시한다. The external terminal may communicate with the mobile robot 100 to display a current location of the mobile robot together with a map, and information about a plurality of areas may be displayed. In addition, the external terminal updates and displays its position as the mobile robot travels.
제어부(150)는 이동 로봇(100)를 구성하는 영상획득부(120), 입력부(125), 주행부(160), 흡입 유닛(130) 등을 제어하여, 이동 로봇(100)의 동작 전반을 제어한다. The controller 150 controls the image acquisition unit 120, the input unit 125, the driving unit 160, the suction unit 130, etc. constituting the mobile robot 100 to control the overall operation of the mobile robot 100. To control.
제어부(150)는 입력부(125)의 마이크를 통해 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다. 실시예에 따라서, 이동 로봇(100)은 제어부(150) 내부 또는 외부에 음성 인식을 수행하는 음성 인식 모듈을 구비할 수 있다.The controller 150 may process a voice input signal of the user received through the microphone of the input unit 125 and perform a voice recognition process. In some embodiments, the mobile robot 100 may include a voice recognition module that performs voice recognition inside or outside the controller 150.
실시예에 따라서, 간단한 음성 인식은 이동 로봇(100)이 자체적으로 수행하고, 자연어 처리 등 고차원의 음성 인식은 서버(70)에서 수행될 수 있다.According to an exemplary embodiment, simple voice recognition may be performed by the mobile robot 100 itself, and high-level voice recognition such as natural language processing may be performed by the server 70.
저장부(105)는 이동 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.The storage unit 105 records various types of information necessary for the control of the mobile robot 100 and may include a volatile or nonvolatile recording medium. The recording medium stores data that can be read by a microprocessor, and includes a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic Tapes, floppy disks, optical data storage devices, and the like.
또한, 저장부(105)에는 주행 구역에 대한 맵(Map)이 저장될 수 있다. 맵은 이동 로봇(100)과 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 외부 단말기, 서버 등에 의해 입력된 것일 수도 있고, 이동 로봇(100)이 스스로 학습을 하여 생성한 것일 수도 있다. In addition, the storage unit 105 may store a map for the driving zone. The map may be input by an external terminal, a server, or the like, which may exchange information with the mobile robot 100 through wired or wireless communication, or may be generated by the mobile robot 100 by learning itself.
맵에는 주행 구역 내의 방들의 위치가 표시될 수 있다. 또한, 이동 로봇(100)의 현재 위치가 맵 상에 표시될 수 있으며, 맵 상에서의 이동 로봇(100)의 현재의 위치는 주행 과정에서 갱신될 수 있다. 외부 단말기는 저장부(105)에 저장된 맵과 동일한 맵을 저장한다. The map may indicate the location of the rooms in the driving zone. In addition, the current position of the mobile robot 100 may be displayed on the map, and the current position of the mobile robot 100 on the map may be updated during the driving process. The external terminal stores the same map as the map stored in the storage unit 105.
상기 저장부(105)는 청소 이력 정보를 저장할 수 있다. 이러한 청소 이력 정보는 청소를 수행할 때마다 생성될 수 있다.The storage unit 105 may store cleaning history information. Such cleaning history information may be generated every time cleaning is performed.
상기 저장부(105)에 저장되는 주행 구역에 대한 맵은, 청소 중 주행에 사용되는 내비게이션 맵(Navigation map), 위치 인식에 사용되는 SLAM(Simultaneous localization and mapping) 맵, 장애물 등에 부딪히면 해당 정보를 저장하여 학습 청소시 사용하는 학습 맵, 전역 위치 인식에 사용되는 전역 위치 맵, 인식된 장애물에 관한 정보가 기록되는 장애물 인식 맵 등일 수 있다. The map of the driving zone stored in the storage unit 105 stores a navigation map used for driving during cleaning, a Simultaneous Localization and Mapping (SLAM) map used for location recognition, an obstacle, and the like. It may be a learning map used for learning cleaning, a global location map used for global location recognition, an obstacle recognition map in which information about the recognized obstacle is recorded.
한편, 상술한 바와 같이 용도별로 상기 저장부(105)에 맵들을 구분하여 저장, 관리할 수 있지만, 맵이 용도별로 명확히 구분되지 않을 수도 있다. 예를 들어, 적어도 2 이상의 용도로 사용할 수 있도록 하나의 맵에 복수의 정보를 저장할 수도 있다.Meanwhile, as described above, maps may be stored and managed in the storage unit 105 for each use, but the map may not be clearly classified for each use. For example, a plurality of pieces of information may be stored in one map to be used for at least two purposes.
제어부(150)는 주행제어모듈(151), 지도생성모듈(152), 위치인식모듈(153) 및 장애물인식모듈(154)을 포함할 수 있다. The controller 150 may include a driving control module 151, a map generation module 152, a position recognition module 153, and an obstacle recognition module 154.
도 1 내지 도 5를 참조하면, 주행제어모듈(151)은 이동 로봇(100)의 주행을 제어하는 것으로, 주행 설정에 따라 주행부(160)의 구동을 제어한다. 또한, 주행제어모듈(151)은 주행부(160)의 동작을 바탕으로 이동 로봇(100)의 주행경로를 파악할 수 있다. 예를 들어, 주행제어모듈(151)은 휠 유닛(111)의 회전속도를 바탕으로 이동 로봇(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 이렇게 파악된 이동 로봇(100)의 주행 정보를 바탕으로, 맵 상에서 이동 로봇(100)의 위치가 갱신될 수 있다. 1 to 5, the driving control module 151 controls the driving of the mobile robot 100, and controls the driving of the driving unit 160 according to the driving setting. In addition, the driving control module 151 may determine the driving path of the mobile robot 100 based on the operation of the driving unit 160. For example, the driving control module 151 may determine the current or past moving speed of the mobile robot 100, the distance traveled, and the like based on the rotational speed of the wheel unit 111, and the mobile robot thus identified ( Based on the driving information of the 100, the position of the mobile robot 100 on the map may be updated.
지도생성모듈(152)은 주행 구역의 맵을 생성할 수 있다. 지도생성모듈(152)은 영상획득부(120)를 통해 획득한 영상을 처리하여 맵을 작성할 수 있다. 즉, 청소 영역과 대응되는 청소 맵을 작성할 수 있다.The map generation module 152 may generate a map of the driving zone. The map generation module 152 may generate a map by processing an image acquired through the image acquisition unit 120. That is, a cleaning map corresponding to the cleaning area can be created.
또한, 지도생성모듈(152)은 각 위치에서 영상획득부(120)를 통해 획득한 영상을 처리하여 맵과 연계시켜 전역위치를 인식할 수 있다.In addition, the map generation module 152 may recognize the global position by processing the image acquired through the image acquisition unit 120 at each position in association with the map.
위치인식모듈(153)은 현재 위치를 추정하여 인식한다. 위치인식모듈(153)은 영상획득부(120)의 영상 정보를 이용하여 지도생성모듈(152)과 연계하여 위치를 파악함으로써, 이동 로봇(100)의 위치가 갑자기 변경되는 경우에도 현재 위치를 추정하여 인식할 수 있다.The position recognition module 153 estimates and recognizes a current position. The position recognition module 153 uses the image information of the image acquisition unit 120 to determine the position in connection with the map generation module 152 to estimate the current position even when the position of the mobile robot 100 suddenly changes. Can be recognized.
또한, 위치인식모듈(153)은 현재 위치하는 영역의 속성을 인식할 수 있다, 즉, 위치인식모듈(153)는 공간을 인식할 수 있다.In addition, the location recognition module 153 may recognize the property of the current location, that is, the location recognition module 153 may recognize the space.
이동 로봇(100)은 위치인식모듈(153)을 통해 연속적인 주행 중에 위치 인식이 가능하고 또한, 위치인식모듈(153) 없이 지도생성모듈(152) 및 장애물인식모듈(154)을 통해, 맵을 학습하고 현재 위치 등을 추정할 수 있다. The mobile robot 100 may recognize a position during continuous driving through the position recognition module 153, and also, through the map generation module 152 and the obstacle recognition module 154, without the position recognition module 153. Learn, estimate your current location, and more.
이동 로봇(100)이 주행하는 중에, 영상획득부(120)는 이동 로봇(100) 주변의 영상들을 획득한다. 이하, 영상획득부(120)에 의해 획득된 영상을 '획득영상'이라고 정의한다. While the mobile robot 100 is traveling, the image acquisition unit 120 acquires images around the mobile robot 100. Hereinafter, an image acquired by the image acquisition unit 120 is defined as an 'acquisition image'.
획득영상에는 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등의 여러가지 특징(feature)들이 포함된다. The acquired image includes various features such as lightings on the ceiling, edges, corners, blobs, and ridges.
지도생성모듈(152)은 획득영상들 각각으로부터 특징을 검출하고, 각 특징점을 근거로 디스크립터를 산출한다. The map generation module 152 detects a feature from each of the acquired images, and calculates a descriptor based on each feature point.
지도생성모듈(152)은 각 위치의 획득영상을 통해 얻은 디스크립터 정보를 바탕으로, 획득영상마다 적어도 하나의 디스크립터를 소정 하위 분류규칙에 따라 복수의 군으로 분류하고, 소정 하위 대표규칙에 따라 같은 군에 포함된 디스크립터들을 각각 하위 대표 디스크립터로 변환할 수 있다.The map generation module 152 classifies at least one descriptor into a plurality of groups according to a predetermined sub-classification rule for each acquired image based on descriptor information obtained through the acquired image of each position, and according to the predetermined sub-representation rule, the same group. Descriptors included in each can be converted into lower representative descriptors.
다른 예로, 실(room)과 같이 소정 구역내의 획득영상들로부터 모인 모든 디스크립터를 소정 하위 분류규칙에 따라 복수의 군으로 분류하여 상기 소정 하위 대표규칙에 따라 같은 군에 포함된 디스크립터들을 각각 하위 대표 디스크립터로 변환할 수도 있다. As another example, all descriptors collected from acquired images in a predetermined area, such as a room, are classified into a plurality of groups according to a predetermined sub-classification rule, and descriptors included in the same group according to the predetermined sub-representation rule are respectively represented by lower representative descriptors. You can also convert to.
지도생성모듈(152)은 이 같은 과정을 거쳐, 각 위치의 특징분포를 구할 수 있다. 각 위치 특징분포는 히스토그램 또는 n차원 벡터로 표현될 수 있다. 또 다른 예로, 지도생성모듈(152)은 소정 하위 분류규칙 및 소정 하위 대표규칙을 거치지 않고, 각 특징점으로부터 산출된 디스크립터를 바탕으로 미지의 현재위치를 추정할 수 있다. The map generation module 152 can obtain the feature distribution of each location through this process. Each positional feature distribution can be represented by a histogram or an n-dimensional vector. As another example, the map generation module 152 may estimate an unknown current position based on a descriptor calculated from each feature point without passing through a predetermined sub classification rule and a predetermined sub representative rule.
또한, 위치 도약 등의 이유로 이동 로봇(100)의 현재 위치가 미지의 상태가 된 경우에, 기 저장된 디스크립터 또는 하위 대표 디스크립터 등의 데이터를 근거로 현재 위치를 추정할 수 있다. In addition, when the current position of the mobile robot 100 is unknown due to a position leap or the like, the current position may be estimated based on data such as a previously stored descriptor or a lower representative descriptor.
이동 로봇(100)은, 미지의 현재 위치에서 영상획득부(120)를 통해 획득영상을 획득한다. 영상을 통해 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등의 여러가지 특징(feature)들이 확인된다.The mobile robot 100 obtains an acquired image through the image acquisition unit 120 at an unknown current position. Through the image, various features such as lightings on the ceiling, edges, corners, blobs, and ridges are identified.
위치인식모듈(153)은 획득영상으로부터 특징들을 검출하고, 디스크립터를 산출한다. The position recognition module 153 detects features from the acquired image and calculates a descriptor.
위치인식모듈(153)은 미지의 현재 위치의 획득영상을 통해 얻은 적어도 하나의 디스크립터 정보를 근거로, 소정 하위 변환규칙에 따라 비교대상이 되는 위치 정보(예를 들면, 각 위치의 특징분포)와 비교 가능한 정보(하위 인식 특징분포)로 변환한다.The position recognition module 153 is based on at least one descriptor information obtained through an acquired image of an unknown current position, and position information (for example, feature distribution of each position) to be compared according to a predetermined lower conversion rule. Convert to comparable information (sub-recognition feature distribution).
소정 하위 비교규칙에 따라, 각각의 위치 특징분포를 각각의 인식 특징분포와 비교하여 각각의 유사도를 산출할 수 있다. 각각의 위치에 해당하는 상기 위치 별로 유사도(확률)를 산출하고, 그 중 가장 큰 확률이 산출되는 위치를 현재위치로 결정할 수 있다.According to a predetermined sub-comparison rule, each position feature distribution may be compared with each recognition feature distribution to calculate each similarity. Similarity (probability) may be calculated for each location corresponding to each location, and the location where the greatest probability is calculated may be determined as the current location.
이와 같이, 제어부(150)는 주행 구역을 구분하고 복수의 영역으로 구성된 맵을 생성하거나, 기저장된 맵을 바탕으로 본체(110)의 현재 위치를 인식할 수 있다. As such, the controller 150 may distinguish a driving zone and generate a map composed of a plurality of regions, or recognize a current position of the main body 110 based on a pre-stored map.
제어부(150)는 맵이 생성되면, 생성된 맵을 통신부(190)를 통해 외부 단말기, 서버 등으로 전송할 수 있다. 또한, 제어부(150)는 앞서 설명한 바와 같이, 외부 단말기, 서버 등으로부터 맵이 수신되면, 저장부(105)에 저장할 수 있다. When the map is generated, the controller 150 may transmit the generated map to an external terminal, a server, etc. through the communication unit 190. As described above, the controller 150 may store the map in the storage 105 when a map is received from an external terminal, a server, or the like.
이때, 맵은 청소 영역을 복수의 영역으로 구분되고, 복수의 영역을 연결하는 연결통로가 포함하며, 영역 내의 장애물에 대한 정보를 포함할 수 있다. In this case, the map may be divided into a plurality of cleaning areas, and include a connection path connecting the plurality of areas, and may include information about obstacles in the area.
제어부(150)는 청소명령이 입력되면, 맵 상의 위치와 이동 로봇의 현재위치가 일치하는지 여부를 판단한다. 청소명령은 리모컨, 입력부 또는 외부 단말기로부터 입력될 수 있다. When the cleaning command is input, the controller 150 determines whether the position on the map matches the current position of the mobile robot. The cleaning command may be input from a remote controller, an input unit, or an external terminal.
제어부(150)는 현재 위치가 맵 상의 위치와 일치하지 않는 경우, 또는 현재 위치를 확인할 수 없는 경우, 현재 위치를 인식하여 이동 로봇(100)의 현재 위치를 복구한 한 후, 현재 위치를 바탕으로 지정영역으로 이동하도록 주행부(160)를 제어할 수 있다. If the current position does not match the position on the map or the current position cannot be confirmed, the controller 150 recognizes the current position and recovers the current position of the mobile robot 100 based on the current position. The driving unit 160 may be controlled to move to the designated area.
현재 위치가 맵 상의 위치와 일치하지 않는 경우 또는 현재 위치를 확인 할 수 없는 경우, 위치인식모듈(153)은 영상획득부(120)로부터 입력되는 획득영상을 분석하여 맵을 바탕으로 현재 위치를 추정할 수 있다. 또한, 장애물인식모듈(154) 또는 지도생성모듈(152) 또한, 같은 방식으로 현재 위치를 인식할 수 있다. If the current position does not match the position on the map or if the current position cannot be confirmed, the position recognition module 153 analyzes the acquired image input from the image acquisition unit 120 to estimate the current position based on the map. can do. In addition, the obstacle recognition module 154 or the map generation module 152 may also recognize the current position in the same manner.
위치를 인식하여 이동 로봇(100)의 현재 위치를 복구한 후, 주행제어모듈(151)은 현재 위치로부터 지정영역으로 주행경로를 산출하고 주행부(160)를 제어하여 지정영역으로 이동한다. After recognizing the position and restoring the current position of the mobile robot 100, the driving control module 151 calculates a driving route from the current position to the designated region and controls the driving unit 160 to move to the designated region.
서버로부터 청소 패턴 정보를 수신하는 경우, 주행제어모듈(151)은 수신한 청소 패턴 정보에 따라, 전체 주행 구역을 복수의 영역으로 나누고, 하나 이상의 영역을 지정영역으로 설정할 수 있다.When the cleaning pattern information is received from the server, the driving control module 151 may divide the entire driving zone into a plurality of areas according to the received cleaning pattern information, and set at least one area as a designated area.
또한, 주행제어모듈(151)은 수신한 청소 패턴 정보에 따라 주행경로를 산출하고, 주행경로를 따라 주행하며, 청소를 수행할 수 있다. In addition, the driving control module 151 may calculate the driving route according to the received cleaning pattern information, travel along the driving route, and perform cleaning.
제어부(150)는 설정된 지정영역에 대한 청소가 완료되면, 청소기록을 저장부(105)에 저장할 수 있다. The controller 150 may store the cleaning record in the storage unit 105 when cleaning of the set designated area is completed.
또한, 제어부(150)는 통신부(190)를 통해 이동 로봇(100)의 동작상태 또는 청소상태를 소정 주기로 외부 단말기, 서버로 전송할 수 있다. In addition, the controller 150 may transmit the operation state or cleaning state of the mobile robot 100 to the external terminal and the server at a predetermined cycle through the communication unit 190.
그에 따라 외부 단말기는 수신되는 데이터를 바탕으로, 실행중인 애플리케이션의 화면상에 맵과 함께 이동 로봇의 위치를 표시하고, 또한 청소 상태에 대한 정보를 출력한다.Accordingly, the external terminal displays the location of the mobile robot along with the map on the screen of the running application based on the received data, and outputs information on the cleaning state.
본 발명의 실시예에 따른 이동 로봇(100)은 일방향으로 장애물이나 벽면이 감지될 때까지 이동하다가, 장애물인식모듈(154)이 장애물을 인식하면, 인식된 장애물의 속성에 따라 직진, 회전 등 주행 패턴을 결정할 수 있다.The mobile robot 100 according to the embodiment of the present invention moves in one direction until an obstacle or a wall surface is detected, and when the obstacle recognition module 154 recognizes the obstacle, the robot moves straight, rotates, or the like according to the recognized obstacle's properties. The pattern can be determined.
한편, 제어부(150)는 인식된 장애물의 속성에 기초하여 다른 패턴으로 회피주행을 수행하도록 제어할 수 있다. 제어부(150)는 비위험 장애물(일반 장애물), 위험 장애물, 이동 가능한 장애물 등 장애물의 속성에 따라 다른 패턴으로 회피 주행하도록 제어할 수 있다. On the other hand, the controller 150 may control to perform the avoidance driving in a different pattern based on the recognized property of the obstacle. The controller 150 may control to avoid driving in different patterns according to the properties of obstacles such as non-hazardous obstacles (general obstacles), dangerous obstacles, and movable obstacles.
예를 들어, 제어부(150)는 위험 장애물은 더 긴 거리의 안전 거리를 확보한 상태에서 우회하여 회피하도록 제어할 수 있다.For example, the controller 150 may control the dangerous obstacle to be bypassed in a state where a safe distance of a longer distance is secured.
또한, 제어부(150)는 이동 가능한 장애물의 경우에 소정 대기 시간 후에도 장애물이 이동하지 않으면, 일반 장애물에 대응하는 회피 주행 또는 위험 장애물에 대응하는 회피 주행을 수행하도록 제어할 수 있다. 또는, 제어부(150)는 이동 가능한 장애물에 대응하는 회피 주행 패턴이 별도로 설정된 경우에는 이에 따라 주행하도록 제어할 수 있다.In addition, in the case of the movable obstacle, if the obstacle does not move after a predetermined waiting time, the controller 150 may control to perform the avoiding driving corresponding to the general obstacle or the avoiding driving corresponding to the dangerous obstacle. Alternatively, when the avoidance driving pattern corresponding to the movable obstacle is set separately, the controller 150 may control to travel accordingly.
본 발명의 실시예에 따른 이동 로봇(100)은, 머신 러닝(machine learning) 기반의 장애물 인식 및 회피를 수행할 수 있다. The mobile robot 100 according to the embodiment of the present invention may perform obstacle recognition and avoidance based on machine learning.
상기 제어부(150)는, 입력 영상에서 머신 러닝(machine learning)으로 기학습된 장애물을 인식하는 장애물인식모듈(154)과 상기 인식된 장애물의 속성에 기초하여, 상기 주행부(160)의 구동을 제어하는 주행제어모듈(151)을 포함할 수 있다.The controller 150 may drive the driving unit 160 based on an obstacle recognition module 154 that recognizes an obstacle previously learned by machine learning in an input image and an attribute of the recognized obstacle. It may include a driving control module 151 for controlling.
한편, 도 5에서는 복수의 모듈(151, 152, 153, 154)이 제어부(160) 내에 별도로 구비되는 예를 도시하였으나, 본 발명은 이에 한정되지 않는다.Meanwhile, although FIG. 5 illustrates an example in which the plurality of modules 151, 152, 153, and 154 are separately provided in the controller 160, the present invention is not limited thereto.
예를 들어, 위치인식모듈(153)과 장애물인식모듈(154)은 하나의 인식기로써 통합되어 하나의 인식모듈(155)로 구성될 수 있다. 이 경우에, 머신 러닝 등의 학습 기법을 이용하여 인식기를 학습시키고, 학습된 인식기는 이후에 입력되는 데이터를 분류하여 영역, 사물 등의 속성을 인식할 수 있다.For example, the position recognition module 153 and the obstacle recognition module 154 may be integrated into one recognizer and constitute one recognition module 155. In this case, the recognizer may be trained using a learning technique such as machine learning, and the learned recognizer may recognize attributes of an area, an object, and the like by classifying data input thereafter.
실시예에 따라서, 지도생성모듈(152), 위치인식모듈(153), 및, 장애물인식모듈(154)이 하나의 통합모듈로 구성될 수도 있다.According to an embodiment, the map generation module 152, the position recognition module 153, and the obstacle recognition module 154 may be configured as one integrated module.
이하에서는, 위치인식모듈(153)과 장애물인식모듈(154)은 하나의 인식기로써 통합되어 하나의 인식모듈(155)로 구성되는 실시예를 중심으로 설명하지만, 위치인식모듈(153)과 장애물인식모듈(154)이 각각 구비되는 경우에도 동일한 방식으로 동작할 수 있다.In the following description, the position recognition module 153 and the obstacle recognition module 154 are integrated as one recognizer and described with reference to an embodiment configured as one recognition module 155, but the position recognition module 153 and the obstacle recognition are described. The module 154 may operate in the same manner even when each is provided.
본 발명의 실시예에 따른 이동 로봇(100)은, 머신 러닝으로 사물, 공간의 속성이 학습된 인식모듈(155)을 포함할 수 있다.The mobile robot 100 according to an exemplary embodiment of the present invention may include a recognition module 155 in which attributes of objects and spaces are learned by machine learning.
머신 러닝은 컴퓨터에게 사람이 직접 로직(Logic)을 지시하지 않아도 데이터를 통해 컴퓨터가 학습을 하고 이를 통해 컴퓨터가 알아서 문제를 해결하게 하는 것을 의미한다.Machine learning means that a computer can learn from data and let the computer take care of a problem without having to instruct the computer directly to the logic.
딥러닝(Deep Learning)은. 인공지능(artificial intelligence)을 구성하기 위한 인공신경망(Artificial Neural Networks: ANN)에 기반으로 해 컴퓨터에게 사람의 사고방식을 가르치는 방법으로 사람이 가르치지 않아도 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술이다.Deep Learning Based on Artificial Neural Networks (ANN) for constructing artificial intelligence, this is an artificial intelligence technology that allows a computer to learn like a human being without having to teach it. .
상기 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 칩(chip) 등 하드웨어 형태로 구현될 수 있다.The artificial neural network (ANN) may be implemented in software or in the form of hardware such as a chip.
인식모듈(155)은 공간의 속성, 장애물 등 사물의 속성이 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다. The recognition module 155 may include an artificial neural network (ANN) in the form of software or hardware in which properties of an object, such as an object of a space or an obstacle, are learned.
예를 들어, 인식모듈(155)은 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다.For example, the recognition module 155 may include a deep neural network (DNN) such as a convolutional neural network (CNN), a recurrent neural network (RNN), a deep belief network (DBN), and the like that have been learned by deep learning. It may include.
인식모듈(155)은 상기 심층신경망(DNN)에 포함된 노드들 사이의 가중치(weight)들에 기초하여 입력되는 영상 데이터에 포함되는 공간, 사물의 속성을 판별할 수 있다.The recognition module 155 may determine an attribute of a space and an object included in the input image data based on weights among nodes included in the deep neural network DNN.
한편, 상기 주행제어모듈(151)은 상기 인식된 공간, 장애물의 속성에 기초하여 상기 주행부(160)의 구동을 제어할 수 있다.On the other hand, the driving control module 151 may control the driving of the driving unit 160 based on the recognized space and the properties of the obstacle.
한편, 인식모듈(155)은, 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 상기 선택된 특정 시점 영상에 포함되는 공간, 장애물의 속성을 인식할 수 있다.The recognition module 155 may recognize attributes of spaces and obstacles included in the selected specific viewpoint image based on data previously learned by machine learning.
한편, 저장부(105)에는 공간, 사물 속성 판별을 위한 입력 데이터, 상기 심층신경망(DNN)을 학습하기 위한 데이터가 저장될 수 있다. The storage unit 105 may store space, input data for determining object properties, and data for learning the deep neural network DNN.
저장부(105)에는 영상획득부(120)가 획득한 원본 영상과 소정 영역이 추출된 추출 영상들이 저장될 수 있다. The storage unit 105 may store the original image obtained by the image acquisition unit 120 and the extracted images from which the predetermined region is extracted.
또한, 실시예에 따라서는, 저장부(105)에는 상기 심층신경망(DNN) 구조를 이루는 웨이트(weight), 바이어스(bias)들이 저장될 수 있다.In some embodiments, the storage 105 may store weights and biases forming the deep neural network (DNN).
또는, 실시예에 따라서는, 상기 심층신경망 구조를 이루는 웨이트(weight), 바이어스(bias)들은 인식모듈(155)의 임베디드 메모리(embedded memory)에 저장될 수 있다.Alternatively, weights and biases constituting the deep neural network structure may be stored in an embedded memory of the recognition module 155.
또는, 실시예에 따라서는, 상기 심층신경망 구조를 이루는 웨이트(weight), 바이어스(bias), 기타 학습 데이터는 이동 메모리(106)에 저장될 수 있다. 예를 들어, 사용자의 음성을 학습한 데이터, 소정 영상을 학습한 데이터, 사용자의 사용 이력에 기초하여, 사용 패턴을 학습한 데이터 등이 이동 메모리(106)에 저장될 수 있다. Alternatively, weights, biases, and other training data constituting the deep neural network structure may be stored in the mobile memory 106. For example, data learned from a user's voice, data learned from a predetermined image, data learned from a user's usage pattern, etc. may be stored in the mobile memory 106.
이동 메모리(106)는 소정 포트로 연결되어 이동 로봇(100)에 장착될 수 있다. 실시예에 따라서, 이동 메모리(106)는 USB 단자로 연결될 수 있다. 이 경우에, USB 단자로 연결되는 이동 메모리(106)는 메모리 스틱(memory stick), 하드디스크(HDD) 타입 등 USB 인터페이스를 지원하는 모든 저장 장치를 포함할 수 있다. USB 저장 장치는 메모리 용량에 비하여 가격이 저렴하고, 컴퓨터 등 다른 장치와의 호환성이 좋아 데이터를 쉽게 이동시키거나 보관할 수 있는 장점이 있다. 또는, 이동 메모리(106)는 SD 카드 등 다른 저장매체로 구현될 수도 있다.The mobile memory 106 may be connected to a predetermined port and mounted on the mobile robot 100. In some embodiments, the mobile memory 106 may be connected to a USB terminal. In this case, the mobile memory 106 connected to the USB terminal may include any storage device that supports a USB interface, such as a memory stick and a hard disk (HDD) type. USB storage devices are inexpensive compared to memory capacity and have good compatibility with other devices such as computers, so that data can be easily moved or stored. Alternatively, the mobile memory 106 may be implemented as another storage medium such as an SD card.
한편, 이동 메모리(106)에는 음성, 영상, 사용 패턴 등이 소정 목적에 따라 학습된 인공지능 데이터, 인공지능 데이터에 접근하기 위한 링크 데이터, 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 인공지능 데이터에 접근하기 위한 이동 메모리(106)의 식별 정보 중 적어도 하나가 저장될 수 있다.On the other hand, the mobile memory 106 includes artificial intelligence data in which voice, video, usage patterns, etc. are learned according to a predetermined purpose, link data for accessing artificial intelligence data, user authentication data for accessing artificial intelligence data, and artificial intelligence data. At least one of identification information of the mobile memory 106 for accessing may be stored.
또한, 이동 메모리(106)에는 이동 로봇(100)의 제품 등록을 위한 액세스 포인트 정보가 저장될 수 있다.In addition, the mobile memory 106 may store access point information for product registration of the mobile robot 100.
또한, 이동 메모리(106)에는 저장부(105)에 저장되는 데이터 중 적어도 일부가 저장될 수 있다.In addition, at least some of the data stored in the storage unit 105 may be stored in the mobile memory 106.
이동 메모리(106) 및 이동 메모리(106)의 이용에 대해서는 도 8 내지 도 15를 참조하여 상세히 후술한다. The use of the mobile memory 106 and the mobile memory 106 will be described later in detail with reference to FIGS. 8 to 15.
한편, 상기 인식모듈(155)은 상기 영상획득부(120)가 영상을 획득하거나 영상의 일부 영역을 추출할 때마다 소정 영상을 트레이닝(training) 데이터로 사용하여 학습 과정을 수행하거나, 소정 개수 이상의 영상이 획득된 후 학습 과정을 수행할 수 있다.On the other hand, the recognition module 155 performs a learning process by using a predetermined image as training data whenever the image acquisition unit 120 acquires an image or extracts a partial region of the image, or a predetermined number or more. After the image is acquired, the learning process may be performed.
또는, 이동 로봇(100)은 통신부(190)를 통하여 상기 소정 서버로부터 머신 러닝과 관련된 데이터, 인공지능과 관련된 데이터를 수신할 수 있다.Alternatively, the mobile robot 100 may receive data related to machine learning and data related to artificial intelligence from the predetermined server through the communication unit 190.
이 경우에, 이동 로봇(100)은, 상기 소정 서버로부터 수신된 머신 러닝과 관련된 데이터, 인공지능과 관련된 데이터에 기초하여 인식모듈(155)을 업데이트(update)할 수 있다.In this case, the mobile robot 100 may update the recognition module 155 based on data related to machine learning and data related to artificial intelligence received from the predetermined server.
도 6은 본 발명의 일 실시예에 따른 제품 데이터(product data)를 이용한 학습(Learning)에 대한 설명에 참조되는 도면이다. FIG. 6 is a view referred to for describing learning using product data according to an embodiment of the present invention.
도 6을 참조하면, 이동 로봇(100) 등 소정 기기의 동작으로 획득되는 제품 데이터(product data)가 서버(70)로 전송될 수 있다.Referring to FIG. 6, product data obtained by the operation of a predetermined device such as a mobile robot 100 may be transmitted to the server 70.
예를 들어, 이동 로봇(100)은, 서버(70)로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버(70)로 전송할 수 있다.For example, the mobile robot 100 may transmit a space, an object, and usage related data to the server 70 to the server 70.
여기서, 공간(space), 사물(Object) 관련 데이터는 이동 로봇(100)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부(120)가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다. Here, the space and object related data may be a space recognized by the mobile robot 100 and data related to recognition of an object, or a space obtained by the image acquisition unit 120. And image data about an object.
또한, 사용(Usage) 관련 데이터(Data)는 소정 제품, 예를 들어, 이동 로봇(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부(170)에서 획득된 센싱 데이터 등이 해당될 수 있다.In addition, the usage-related data (Data) is data obtained according to the use of a predetermined product, for example, the mobile robot 100, the use history data, the sensing data obtained from the sensor unit 170, etc. Can be.
한편, 이동 로봇(100)의 제어부(150), 더욱 상세하게는 인식모듈(155)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.On the other hand, the control unit 150, more specifically, the recognition module 155 of the mobile robot 100 may be equipped with a deep neural network structure (DNN) such as a convolutional neural network (CNN).
상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.The learned deep neural network structure DNN may receive input data for recognition, recognize a property of an object and a space included in the input data, and output the result.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 이동 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.In addition, the learned deep neural network structure (DNN) may receive input data for recognition, analyze and learn the usage-related data (Data) of the mobile robot 100 to recognize the use pattern, the use environment, and the like. have.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(190)를 통하여 서버(70)로 전송될 수 있다. Meanwhile, the space, object, and usage related data may be transmitted to the server 70 through the communication unit 190.
서버(70)는 학습된 웨이트(weight)들의 구성을 생성할 수 있고, 서버(70)는 심층신경망(DNN) 구조를 트레이닝(training) 데이터를 사용하여 학습할 수 있다. The server 70 may generate a configuration of learned weights, and the server 70 may learn a deep neural network (DNN) structure using training data.
서버(70)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 이동 로봇(100)으로 전송하여 업데이트하게 할 수 있다.After the server 70 learns the deep neural network (DNN) based on the received data, the server 70 may transmit the updated deep neural network (DNN) structure data to the mobile robot 100 to be updated.
이에 따라, 이동 로봇(100) 등 홈 어플라이언스 제품이 점점 더 똑똑해지고, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.Accordingly, home appliance products such as mobile robot 100 may become smarter and provide an evolving user experience (UX) as they are used.
도 7은 본 발명의 일 실시예에 따른 서버의 간략한 내부 블록도의 일예이다7 is an example of a simplified internal block diagram of a server according to an embodiment of the present invention.
도 7을 참조하면, 서버(70)는, 통신부(720), 저장부(730), 학습모듈(740), 및 프로세서(710)를 구비할 수 있다.Referring to FIG. 7, the server 70 may include a communication unit 720, a storage unit 730, a learning module 740, and a processor 710.
프로세서(710)는, 서버(70)의 전반적인 동작을 제어할 수 있다.The processor 710 may control the overall operation of the server 70.
한편, 서버(70)는, 상기 이동 로봇(100) 등 홈 어플라이언스 제조사가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(Cloud) 서버일 수 있다.Meanwhile, the server 70 may be a server operated by a home appliance manufacturer such as the mobile robot 100 or a server operated by a service provider, or may be a kind of cloud server.
통신부(720)는, 휴대 단말기, 이동 로봇(100) 등 홈 어플라이언스, 게이트웨이 등으로부터 상태 정보, 동작 정보, 조작 정보 등 각종 데이터를 수신할 수 있다. The communication unit 720 may receive various data such as status information, operation information, operation information, and the like from a portable terminal, a home appliance such as the mobile robot 100, a gateway, or the like.
그리고 통신부(720)는 수신되는 각종 정보에 대응하는 데이터를 휴대 단말기, 이동 로봇(100) 등 홈 어플라이언스, 게이트웨이 등으로 송신할 수 있다.The communication unit 720 may transmit data corresponding to the received various information to a portable terminal, a home appliance such as the mobile robot 100, a gateway, or the like.
이를 위해, 통신부(720)는 인터넷 모듈, 이동 통신 모듈 등 하나 이상의 통신 모듈을 구비할 수 있다.To this end, the communication unit 720 may include one or more communication modules, such as an internet module and a mobile communication module.
저장부(730)는, 수신되는 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다.The storage unit 730 may store the received information and may include data for generating result information corresponding thereto.
또한, 저장부(730)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.In addition, the storage unit 730 may store data used for machine learning, result data, and the like.
학습모듈(740)은 상기 이동 로봇(100) 등 홈 어플라이언스의 학습기 역할을 수행할 수 있다.The learning module 740 may serve as a learner of a home appliance such as the mobile robot 100.
상기 학습모듈(740)에는 인공신경망, 예를 들어, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함될 수 있고, 심층신경망을 학습할 수 있다.The learning module 740 may include an artificial neural network, for example, a deep neural network (DNN) such as a convolutional neural network (CNN), a recurrent neural network (RNN), and a deep belief network (DBN). You can learn neural networks.
한편, 상기 제어부(710)는 설정에 따라 학습 후 상기 이동 로봇(100) 등 홈 어플라이언스의 인공신경망 구조를 학습된 인공신경망 구조로 업데이트시키도록 제어할 수 있다.Meanwhile, the controller 710 may control to update the artificial neural network structure of the home appliance such as the mobile robot 100 to the learned artificial neural network structure after learning according to a setting.
또한, 상기 학습모듈(740)은, 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다. 이 경우에, 통신부(720)는 이동 로봇(100)으로 인식 결과를 송신할 수 있다.In addition, the learning module 740 may receive input data for recognition, recognize a property of an object and a space included in the input data, and output the result. In this case, the communication unit 720 may transmit the recognition result to the mobile robot 100.
또한, 상기 학습모듈(740)은, 이동 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식하여, 그 결과를 출력할 수 있다. 이 경우에, 통신부(720)는 이동 로봇(100)으로 인식 결과를 송신할 수 있다.In addition, the learning module 740 may analyze and learn usage-related data of the mobile robot 100 to recognize a usage pattern, a usage environment, and the like, and output the result. In this case, the communication unit 720 may transmit the recognition result to the mobile robot 100.
이에 따라, 이동 로봇(100) 등 홈 어플라이언스 제품들은 서버(70)로부터 인식 결과를 수신하고, 수신된 인식 결과를 활용하여 동작할 수 있다. Accordingly, home appliance products such as the mobile robot 100 may receive a recognition result from the server 70 and operate by using the received recognition result.
또한, 서버(70)가 제품 데이터를 이용하여 학습하여 점점 더 똑똑해지므로, 홈 어플라이언스 제품을 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.In addition, as the server 70 becomes smarter by learning using the product data, it is possible to provide an evolving user experience (UX) as using the home appliance product.
한편, 이동 로봇(100) 및 서버(70)는 외부 정보(external information)도 이용할 수 있다.Meanwhile, the mobile robot 100 and the server 70 may also use external information.
예를 들어, 이동 로봇(100) 및 서버(70)는, 이동 로봇(100) 등 특정 홈 어플라이언스 제품의 공간 정보, 사물 정보, 사용 패턴 등의 내부 정보 및 다른 제품으로부터 획득하거나, 서버(70)가 다른 연계 서비스 서버로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.For example, the mobile robot 100 and the server 70 may be obtained from spatial information of a specific home appliance product such as the mobile robot 100, object information, internal information such as a usage pattern, and other products, or the server 70. Can provide excellent user experience by comprehensively using external information obtained from other linked service servers.
본 발명의 일실시예에 따르면, 인공지능을 통한 와이파이(Wi-Fi)로 연결된 홈 어플라이언스 네트워크 시스템 내의 제품 운전 순서를 최적화하고, 최적 운전 순서를 사용자에게 제시할 수 있다.According to an embodiment of the present invention, it is possible to optimize a product operating sequence in a home appliance network system connected by Wi-Fi through artificial intelligence and to present a user with an optimal operating sequence.
예를 들어, 이동 로봇(100)으로 집안 청소를 수행하고, 공기 청정기(12, 13)로 청소 중 생긴 먼지 관리를 수행하며, 공기조화기(11)로 집안 습도 및 온도 관리하고, 세탁기(32)가 사용자가 집에 도착하는 시간에 맞추어 세탁이 종료되도록 세탁을 수행할 수 있다.For example, cleaning the house with the mobile robot 100, dust management during cleaning with the air cleaners 12 and 13, and controlling the humidity and temperature of the house with the air conditioner 11, washing machine 32 Washing may be performed such that washing is finished in accordance with the time when the user arrives at home.
상기 서버(70)는 사용자가 발화한 음성 입력 신호를 수신하여 음성 인식을 수행할 수 있다. 이를 위해, 상기 서버(70)는 음성 인식 모듈을 포함할 수 있고, 음성 인식 모듈은 입력 데이터에 대하여 음성 인식을 수행하여 음성 인식 결과를 출력하도록 학습된 인공신경망을 포함할 수 있다.The server 70 may perform voice recognition by receiving a voice input signal spoken by a user. To this end, the server 70 may include a speech recognition module, and the speech recognition module may include an artificial neural network trained to perform speech recognition on input data and output a speech recognition result.
한편, 상기 서버(70)는 음성 인식을 위한 음성 인식 서버를 포함할 수 있다. 또한, 음성 인식 서버도 음성 인식 과정 중 소정 과정을 분담하여 수행하는 복수의 서버를 포함할 수 있다. 예를 들어, 음성 인식 서버는, 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버, 및, 상기 자동 음성 인식 서버로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리(Natural Language Processing: NLP) 서버를 포함할 수 있다. 경우에 따라서, 음성 인식 서버는, 자연어 처리 서버가 출력한 텍스트 음성 인식 결과를 음성 데이터로 변환하여 다른 서버 또는 홈 어플라이언스로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버를 더 포함할 수 있다.Meanwhile, the server 70 may include a voice recognition server for voice recognition. In addition, the voice recognition server may also include a plurality of servers that share a predetermined process of the voice recognition process. For example, a speech recognition server may include an automatic speech recognition (ASR) server that receives speech data and converts the received speech data into text data, and the text from the automatic speech recognition server. It may include a natural language processing (NLP) server that receives the data, and analyzes the received text data to determine the voice command. In some cases, the speech recognition server may further include a text to speech (TTS) server that converts the text speech recognition result output from the natural language processing server into speech data and transmits the speech data to another server or a home appliance. .
본 발명에 따르면, 이동 로봇(100) 및/또는 서버(70)가 음성 인식을 수행할 수 있어, 이동 로봇(100)의 제어를 위한 입력을 사용자 음성을 사용할 수 있다.According to the present invention, the mobile robot 100 and / or the server 70 may perform voice recognition, so that a user voice may be used as an input for controlling the mobile robot 100.
또한, 본 발명에 따르면, 이동 로봇(100)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.In addition, according to the present invention, the mobile robot 100 may provide a variety of active control functions to the user by actively providing information or outputting a voice recommending a function or service.
본 발명에 따르면, 기기 교체시 데이터를 편리하게 전승할 수 있는 진화형 음성인식 저장수단을 제공할 수 있다.According to the present invention, it is possible to provide an evolutionary voice recognition storage means that can conveniently pass data on device replacement.
예를 들어, 사용자 개개인의 억양 및 사용 패턴을 학습한 맞춤형 데이터를 USB, 메모리 칩(Chip) 등 이동 메모리(106) 및/또는 서버(70)를 통해서 저장하고, 기기가 바뀌더라도 저장된 데이터를 전승해서 음성 인식 기능의 성능을 향상시킬 수 있다.For example, the user can store the personalized data that has been learned by the user's intonation and usage pattern through the mobile memory 106 and / or the server 70 such as a USB or a memory chip, and transmit the stored data even if the device is changed. This can improve the performance of the speech recognition function.
도 8은 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.8 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
도 8을 참조하면, 기존에 사용하던 음성인식을 지원하는 로봇 청소기가 있으면(S810), 사용자의 음성을 학습하여 점점 더 음성 인식률을 높이게 된다. 즉, 로봇 청소기의 음성 인식 유닛에서 음성인식을 실행할 때마다 사용자의 음성패턴을 학습해서 음성 인식률을 높이게 된다.Referring to FIG. 8, if there is a robot cleaner supporting voice recognition (S810), the voice recognition rate is gradually increased by learning the user's voice. That is, whenever the voice recognition is performed in the voice recognition unit of the robot cleaner, the voice pattern of the user is learned to increase the voice recognition rate.
본 발명에 따르면, 로봇 청소기기 등 전자 기기가 변경되는 경우(S820), 이동 메모리(106)를 이용하여 기존에 학습된 데이터 등을 새 기기로 전승할 수 있다(S830).According to the present invention, when an electronic device such as a robot cleaner is changed (S820), the previously learned data may be transferred to a new device using the mobile memory 106 (S830).
예를 들어, 기존에 사용하던 로봇 청소기에서 이동 메모리(106)로 저장된 사용자 편의 데이터, 음성인식 학습데이터 및 주거환경 데이터를 전승해서 새 기기에 인식시킬 수 있다(S830).For example, the user's convenience data, voice recognition learning data, and living environment data stored in the mobile memory 106 may be transferred from the existing robot cleaner to the new device (S830).
사용자 편의 데이터는, 사용자의 기기 사용 이력을 분석하고 학습하여 생성되는 사용 패턴 데이터, 제품 등록을 위한 데이터, 기타 사용자가 별도 보관을 선택한 데이터 등이 해당될 수 있다. 이에 따라, 새 기기에서도 사용자의 패턴을 고려한 맞춤형 서비스 제공이 가능하다. The user convenience data may correspond to usage pattern data generated by analyzing and learning a user's device usage history, data for product registration, and data selected by the user for separate storage. Accordingly, it is possible to provide a customized service considering the user's pattern in a new device.
음성인식 학습 데이터는, 사용자의 음성을 학습한 데이터로 특정 사용자의 음성을 인식하기 위한 맞춤형 데이터로 사용될 수 있다. 사용자 억양 등 개인화된 음성 데이터를 수집하고 학습할 수 있다. 또한, 사용자의 개인화된 사용 패턴 등도 학습하여 이동 메모리(106)에 저장할 수 있다.The voice recognition learning data may be used as customized data for recognizing the voice of a specific user as data learned from the voice of the user. Personalized voice data, such as user accents, can be collected and learned. In addition, the user's personalized usage pattern may be learned and stored in the mobile memory 106.
기기의 사용자가 여러 명인 경우에, 음성인식 학습 데이터는 식별된 사용자 별로 학습되고 관리될 수 있다. 이에 따라, 새 기기에서도 바로 복수의 사용자에 대한 음성 인식이 정확하게 수행될 수 있다. When there are several users of the device, the voice recognition learning data may be learned and managed for each identified user. Accordingly, the voice recognition of a plurality of users can be accurately performed even in the new device.
도 9는 본 발명의 일 실시예에 따른 음성 인식 및 음성 분류에 관한 설명에 참조되는 도면으로, 음성 분류의 한 방법을 예시한다. FIG. 9 is a diagram referred to for describing speech recognition and speech classification according to an embodiment of the present invention, and illustrates one method of speech classification.
이동 로봇(100)은 주행 구역을 주행하며 청소 등 소정 동작을 수행할 수 있다. 예를 들어, 이동 로봇(100)을 가정에서 사용하는 경우에, 이동 로봇(100)의 주행 구역은 집 내부 공간일 수 있다. The mobile robot 100 may travel a driving zone and perform a predetermined operation such as cleaning. For example, when the mobile robot 100 is used at home, the traveling area of the mobile robot 100 may be a home interior space.
도 9를 참조하면, 이동 로봇(100)을 사용하는 사용자들은, 3인의 가족 구성원-사용자 A, 사용자 B, 사용자 C일 수 있다.Referring to FIG. 9, the users using the mobile robot 100 may be three family members—user A, user B, and user C.
한편, 사용자의 음성 입력은 등록 모드에서 수행될 수도 있다. 이동 로봇(100)이 등록 모드로 설정된 상태에서, 사용자 A, 사용자 B, 사용자 C는 각각 자신의 목소리를 등록할 수 있다. 더욱 바람직하게는 가이드(guide)로 제공되는 몇몇 문장을 사용자들이 발화하여 자신의 목소리를 입력할 수 있다.Meanwhile, the voice input of the user may be performed in the registration mode. In a state where the mobile robot 100 is set to the registration mode, the user A, the user B, and the user C may respectively register their own voices. More preferably, the user may speak some sentences provided as a guide to input his or her own voice.
또는, 이동 로봇(100)은 소정시간 동안 집 내부에서 가족 구성원, 기타 거주자 등 복수의 사용자의 음성 데이터를 수집할 수 있다.Alternatively, the mobile robot 100 may collect voice data of a plurality of users such as family members and other residents within a house for a predetermined time.
이동 로봇(100)은, 소정시간 동안 동작하며 주행 구역 내 여러 장소에서 사용자 A가 발화한 음성 데이터(910a), 사용자 B가 발화한 음성 데이터(910b), 사용자 C가 발화한 음성 데이터(910c)를 획득할 수 있다.The mobile robot 100 operates for a predetermined time, and the voice data 910a uttered by the user A at various places in the driving zone, the voice data 910b uttered by the user B, and the voice data 910c uttered by the user C. Can be obtained.
제어부(150) 및/또는 학습모듈(740)은 획득된 음성 데이터(910a, 910b, 910c)를 입력 데이터로 사용하여 음성을 인식하도록 학습될 수 있다. 학습 방법으로는 딥러닝이 사용될 수 있고, 제어부(150) 및/또는 학습모듈(740)은 음성을 인식하는 음성 인식기(920)를 포함할 수 있다. The controller 150 and / or the learning module 740 may be trained to recognize the voice using the acquired voice data 910a, 910b, and 910c as input data. Deep learning may be used as a learning method, and the controller 150 and / or the learning module 740 may include a voice recognizer 920 that recognizes a voice.
한편, 음성 인식기(920)는 자연어로 입력되는 음성 데이터로부터 내용을 인식할 수 있을 뿐만 아니라 입력되는 음성이 누구의 것인지 식별하도록 학습될 수 있다. 이를 위해, 음성 인식기(920)는 딥러닝으로 학습된 특징 추출기(921)를 포함할 수 있다. 예를 들어, 등록된 기존 클래스(class)에 속하는지, 아닌지 판단하는 메트릭 러닝(Metric learning) 등 사용자 음성 식별(identification) 알고리즘을 이용할 수 있다. 딥러닝 등을 이용하여 만들어진 특징 추출기(921)는 입력되는 음성으로부터 특징을 추출하도록 학습된 모델을 포함할 수 있다.Meanwhile, the voice recognizer 920 may not only recognize contents from voice data input in natural language but also learn to identify who is input voice. To this end, the speech recognizer 920 may include a feature extractor 921 learned through deep learning. For example, a user voice identification algorithm, such as metric learning that determines whether or not it belongs to a registered existing class, may be used. The feature extractor 921 made using deep learning may include a model trained to extract a feature from an input voice.
또한, 음성 인식기(920)는 추출된 데이터 특징들을 분류할 수 있다. 도 9는 추출된 데이터 특징들이 학습된 모델에 따라 분류되는 것을 시각화(visualization)한 것이다.Also, the speech recognizer 920 may classify the extracted data features. 9 is a visualization that the extracted data features are classified according to the learned model.
도 9를 참조하면, 사용자 A가 발화한 음성 데이터(910a), 사용자 B가 발화한 음성 데이터(910b), 사용자 C가 발화한 음성 데이터(910c)는, 각각 제1 클래스(923a), 제2 클래스(923b), 제3 클래스(923c)로 분류될 수 있다. 또한, 음성 인식기(920)는 제1 클래스(923a), 제2 클래스(923b), 제3 클래스(923c)를 각각 사용자 A, 사용자 B, 사용자 C에 매핑하여 사용자 데이터베이스에 저장하고 관리할 수 있다.Referring to FIG. 9, the voice data 910a uttered by the user A, the voice data 910b uttered by the user B, and the voice data 910c uttered by the user C are respectively the first class 923a and the second. Class 923b and third class 923c may be classified. In addition, the voice recognizer 920 may map the first class 923a, the second class 923b, and the third class 923c to the user A, the user B, and the user C, respectively, and store and manage the same in the user database. .
이동 로봇(100)은 학습 상태에 따라 디스플레이(182)를 통하여 학습 완료를 표시할 수 있다.The mobile robot 100 may display the learning completion through the display 182 according to the learning state.
이후, 특정 사용자의 음성이 입력되면, 음성 인식기(920)는 입력된 음성 데이터에서 특징을 추출하고, 제1 클래스(923a), 제2 클래스(923b), 제3 클래스(923c) 등 사용자 데이터베이스를 검색하여 유사한 사용자가 있는지 판별할 수 있다.Thereafter, when a voice of a specific user is input, the voice recognizer 920 extracts a feature from the input voice data and generates a user database such as a first class 923a, a second class 923b, and a third class 923c. You can search to determine if there are similar users.
만약 사용자 데이터베이스에서 소정 기준 범위 내 유사한 특징을 가지는 사용자가 있다면, 음성을 발화한 사용자를 가장 유사한 사용자로 인식할 수 있다. If there is a user having similar characteristics within a predetermined reference range in the user database, the user who spoke the voice may be recognized as the most similar user.
만약 사용자 데이터베이스에서 소정 기준 범위 내 유사한 특징을 가지는 사용자가 없다면, 기준 범위를 벗어나는 사용자 중 가장 유사한 사용자를 제시하거나 검색 실패로 알릴 수 있다.If there are no users having similar characteristics within a predetermined reference range in the user database, the user who is out of the reference range may be presented with the most similar user or reported as a search failure.
이동 로봇(100)은 복수의 영역을 포함하는 주행 구역 내에서 복수의 사용자가 발화한 음성 데이터들을 획득할 수 있고, 도 9에서 예시된 방법 등으로 사전에 학습된 데이터에 기초하여 획득된 음성 데이터들은 사용자별로 분류될 수 있다.The mobile robot 100 may obtain voice data spoken by a plurality of users in a driving zone including a plurality of areas, and the voice data obtained based on data previously learned by the method illustrated in FIG. 9 or the like. Can be categorized by user.
예를 들어, 이동 로봇(100)은 획득된 음성 데이터(910a)를 인식하여 발화자로 사용자 A를 식별할 수 있다. For example, the mobile robot 100 may recognize the user A as a talker by recognizing the acquired voice data 910a.
본 발명의 일 실시예에 따르면, 사용자를 음성으로 식별하여 다양한 사용자에게 사용자 맞춤 기능을 제공할 수 있고, 개인화된 사용자 경험(UX)을 제공할 수 있다. 또한, 기기 교체시, 새 기기에서도 바로 복수의 사용자에 대한 음성 인식이 정확하게 수행될 수 있고, 사용자를 음성으로 식별하여 사용자 맞춤 기능을 제공할 수 있다. According to an embodiment of the present invention, a user may be identified using a voice to provide a user customization function to various users, and a personalized user experience (UX) may be provided. In addition, when a device is replaced, voice recognition for a plurality of users may be accurately performed even on a new device, and a user may be identified by using a voice to provide a user customization function.
주거환경 데이터는 가정 등 주행 구역에서 획득된 영상 데이터, 상기 주행 구역에서 생성된 각종 맵 데이터, 상기 영상 데이터로 학습되어 인식된 공간, 사물에 대한 데이터 등이 해당될 수 있다. 이에 따라, 새 기기에서 맵 생성, 공간, 사물 인식에 추가적인 시간이 필요 없고, 사용자의 패턴을 고려한 맞춤형 서비스 제공이 가능하다. The residential environment data may correspond to image data acquired in a driving zone such as a home, various map data generated in the driving zone, a space learned and recognized by the image data, and data about an object. Accordingly, additional time is not required for map generation, space, and object recognition in a new device, and it is possible to provide a customized service considering a user's pattern.
또한, 본 발명의 일 실시예에 따르면, 음성과 공간에 대한 정보를 매핑(mapping)하여 다양한 서비스를 제공할 수 있다.In addition, according to an embodiment of the present invention, various services may be provided by mapping information on a voice and a space.
제어부(150) 및/또는 학습모듈(740)은 상기 분류된 사용자별 음성 데이터를 각각 주행 구역에 포함되는 복수의 영역 중 하나 이상의 영역에 매핑(mapping)할 수 있다.The controller 150 and / or the learning module 740 may map the classified user-specific voice data to one or more regions among a plurality of regions included in the driving zone, respectively.
이를 위해, 제어부(150) 및/또는 학습모듈(740)은 이동 로봇(100)이 주행 구역을 주행하면서 생성한 맵을 활용할 수 있다.To this end, the controller 150 and / or the learning module 740 may utilize a map generated by the mobile robot 100 while driving the driving zone.
도 10과 도 11은 본 발명의 일 실시예에 따른 공간 인식에 관한 설명에 참조되는 도면으로, 도 10은 본 발명의 일 실시예에 따른 이동 로봇의 영역 구분 및 그에 따른 맵 생성의 예를 도시하고, 도 11은 영역의 속성 인식 예를 도시한다.10 and 11 are views referred to for description of spatial recognition according to an embodiment of the present invention, and FIG. 10 illustrates an example of area classification and a map generation according to the mobile robot according to an embodiment of the present invention. Fig. 11 shows an example of attribute recognition of a region.
도 10의 (a)에 도시된 바와 같이, 이동 로봇(100)은 저장된 맵이 존재하지 않는 경우, 월팔로윙 등을 통해 주행 구역(X1)을 주행하면서 맵을 생성할 수 있다. As illustrated in FIG. 10A, when the stored map does not exist, the mobile robot 100 may generate a map while driving the driving zone X1 through a wall following.
지도생성모듈(152)은 도 10의(b)에 도시된 바와 같이, 주행 구역(X1)을 복수의 영역(A1' 내지 A9')으로 구분하여 도 10의 (c)와 같이 맵을 생성한다. 생성된 맵은 저장부(105)에 저장되고, 통신부(190)를 통해 외부 단말기, 서버로 전송된다. 지도생성모듈(152)은 전술한 바와 같이 주행 구역(X1)에 대하여 소영역과 대영역을 구분하고 그에 따른 맵을 생성한다. As illustrated in FIG. 10B, the map generation module 152 generates a map as shown in FIG. 10C by dividing the driving area X1 into a plurality of regions A1 'to A9'. . The generated map is stored in the storage unit 105 and transmitted to an external terminal and a server through the communication unit 190. As described above, the map generation module 152 classifies the small area and the large area with respect to the driving area X1 and generates a map according to the above.
단말은 애플리케이션을 실행하고, 수신된 맵을 화면에 표시한다. 이때 구분된 복수의 영역(A1 내지 A9)을 각각 상이하게 표시한다. 맵은 복수의 영역(A1 내지 A9)이 각각 상이한 색상으로 표시되거나 또는 상이한 이름이 표시된다. The terminal executes the application and displays the received map on the screen. In this case, the plurality of divided areas A1 to A9 are displayed differently. In the map, the plurality of areas A1 to A9 are each displayed in different colors or different names are displayed.
이동 로봇과 단말은 동일한 맵을 저장하는 것을 기본으로 하나, 단말에는 사용자가 영역을 쉽게 인식할 수 있도록 도 10의 (c)와 같이 영역을 단순화한 사용자맵이 표시되도록 하고, 이동 로봇은, 장애물에 대한 정보가 포함된 도 6의 (b)와 같은 맵을 바탕으로 주행 및 청소를 수행한다. 도 10의 (c)의 사용자 맵에도 장애물이 표시될 수 있다. 도 10의 (b)에서 예시된 맵은 SLAM 맵 이거나 SLAM 맵에 기반한 내비게이션 맵일 수 있다.The mobile robot and the terminal are based on storing the same map, but the user map is displayed on the terminal as shown in (c) of FIG. 10 so that the user can easily recognize the area. The driving and cleaning are performed based on the map as shown in FIG. Obstacles may also be displayed in the user map of FIG. 10C. The map illustrated in (b) of FIG. 10 may be a SLAM map or a navigation map based on the SLAM map.
이동 로봇(100)은 청소명령이 입력되면, 저장된 맵을 바탕으로, 현재 위치를 판단하고, 현재 위치와 맵 상의 위치가 일치하는 경우에는 지정된 청소를 수행하고, 현재 위치가 일치하지 않는 경우, 현재 위치를 인식하여 복구한 후 청소를 수행한다. 따라서 이동 로봇(100)은 복수의 영역(A1 내지 A9) 중 어느 위치에 있더라도 현재 위치를 판단 한 후 지정영역으로 이동하여 청소를 수행할 수 있다. When the cleaning command is input, the mobile robot 100 determines the current location based on the stored map, performs a designated cleaning when the current location matches the location on the map, and when the current location does not match, After recognizing and recovering the location, clean it. Therefore, even if the mobile robot 100 is located at any position among the plurality of areas A1 to A9, the mobile robot 100 may move to a designated area and perform cleaning by determining the current location.
리모컨 또는 단말은 도시된 바와 같이, 복수의 영역(A1 내지 A9) 중 적어도 하나의 영역을 선택하여 이동 로봇(100)으로 청소명령을 입력할 수 있다. 또한, 이동 로봇(100)은 리모컨 또는 단말을 통해 어느 하나의 영역의 일부를 청소영역으로 설정하거나, 복수의 영역에 대하여 영역 구분없이 터치 또는 드래그를 통해 청소영역을 설정할 수 있다. As illustrated, the remote controller or the terminal may select at least one of the plurality of areas A1 to A9 and input a cleaning command to the mobile robot 100. In addition, the mobile robot 100 may set a part of any one area as a cleaning area through a remote controller or a terminal, or set the cleaning area by touching or dragging a plurality of areas without distinguishing the area.
복수의 영역에 대하여 청소명령이 입력되는 경우, 어느 하나의 영역을 우선영역으로 설정하거나, 우선영역을 시작한 후 근거리인 영역으로 이동하여 청소할 수 있으며, 또는 청소순서를 설정할 수 있다. 이동 로봇(100)은 복수의 지정영역에 대하여 청소순서가 설정된 경우 지정된 순서에 따라 이동하며 청소를 수행한다. 이동 로봇(100)은 복수의 청소영역에 대하여, 별도의 순서가 지정되지 않은 경우에는 현재 위치로부터 가까운 영역으로 이동하여 청소를 수행할 수 있다.When a cleaning command is input to a plurality of areas, one of the areas may be set as a priority area, or after starting the priority area, the area may be moved to a near area to be cleaned, or the cleaning order may be set. When the cleaning order is set for a plurality of designated areas, the mobile robot 100 moves in the designated order and performs cleaning. The mobile robot 100 may perform cleaning by moving to a region closer to the current position when a separate order is not specified for the plurality of cleaning regions.
실시예에 따라서, 이동 로봇(100)은 주행 구역(X1)에 포함되는 복수의 영역(A1 내지 A9)의 속성을 인식할 수 있다.According to an exemplary embodiment, the mobile robot 100 may recognize the attributes of the plurality of areas A1 to A9 included in the travel area X1.
도 11을 참조하면, 내비게이션 맵(900)은 복수의 로컬 맵(LM1, LM2, LM3, LM4, LM5, ...)을 포함할 수 있다. 상기 내비게이션 맵은, 복수의 영역으로 구분되고, 각 영역은 하나 이상의 로컬 맵을 포함할 수 있다. 각 로컬 맵은 서로 겹치지 않도록 설정된다.Referring to FIG. 11, the navigation map 900 may include a plurality of local maps LM1, LM2, LM3, LM4, LM5,... The navigation map may be divided into a plurality of regions, and each region may include one or more local maps. Each local map is set not to overlap each other.
상기 로컬 맵들(LM1, LM2, LM3, LM4, LM5)은 일종의 단위 맵으로서 임의의 크기로 설정 가능하다. 예를 들어, 도 11과 같이, 로컬 맵들(LM1, LM2, LM3, LM4, LM5)은 벽(Wall)을 기준으로 N by N의 크기를 가지는 정사각형 형태로 설정될 수 있다. The local maps LM1, LM2, LM3, LM4, and LM5 may be set to any size as a unit map. For example, as illustrated in FIG. 11, the local maps LM1, LM2, LM3, LM4, and LM5 may be set in a square shape having a size of N by N based on the wall.
또한, 이동 로봇(100)은, 이동 중에, 연속되는 영상 정보와 맵 정보를 활용한 영역 정보를 획득할 수 있다. 이동 로봇(100)은, 가정 내 청소를 수행하면서 이동할 수 있고, 영상획득부(120)가 이동 중에 촬영하여 복수의 영상을 획득할 수 있다.In addition, the mobile robot 100 may acquire area information utilizing continuous image information and map information during movement. The mobile robot 100 may move while cleaning the home, and the image acquisition unit 120 may capture a plurality of images by photographing during the movement.
이 경우에, 제어부(150)는, 다른 방향으로 촬영된 N개의 영상이 획득된 로컬 맵에 대응하는 영역에서는 추가 촬영을 하지 않도록 상기 영상획득부(120)를 제어할 수 있다. 이에 따라, 속성 인식에 필요한 개수의 데이터가 확보되면, 더 이상의 영상을 획득하지 않음으로써, 불필요한 연산, 처리, 인식 과정을 방지할 수 있다.In this case, the controller 150 may control the image acquisition unit 120 to not perform further photographing in a region corresponding to the local map from which N images photographed in different directions are obtained. Accordingly, if the number of data necessary for attribute recognition is secured, no further image is acquired, thereby preventing unnecessary computation, processing, and recognition processes.
예를 들어, 제어부(150)는, 각 로컬 맵 별 4방위 또는 8방위에서 영상을 획득하고 영상이 모두 획득되면 추가적인 영상을 획득하지 않도록 상기 영상획득부(120)를 제어할 수 있다. For example, the controller 150 may control the image acquisition unit 120 to acquire an image in four or eight directions for each local map and not acquire additional images when all the images are acquired.
한편, 영상 획득 시, 이동 로봇(100)의 로컬 맵 내 위치는 큰 영향이 없고 방향이 중요하다. 상기 영상획득부(120)가 구비하는 카메라는 화각에 따라 소정 범위의 영역을 촬영할 수 있다, 따라서, 동일한 위치가 아니여도, 소정 범위 내에 존재하는 위치에서 다른 각도로 촬영되는 영상들은, 특정 위치에서 회전하면서 촬영하는 360도와 유사한 범위를 커버(cover)할 수 있고, 이를 분석하면, 해당 공간의 속성을 정확하게 인식할 수 있다.On the other hand, when acquiring an image, the position in the local map of the mobile robot 100 has no significant influence and the direction is important. The camera included in the image acquisition unit 120 may photograph an area of a predetermined range according to an angle of view, so that images captured at different angles from positions existing within a predetermined range may be photographed at a specific position even if they are not the same position. It can cover a range similar to 360 degrees of photographing while rotating, and analyzing it can accurately recognize the attributes of the space.
한편, 제어부(150)는, 복수의 영상들이 획득됨에 따라, 영역 인지 가능 여부를 판단할 수 있다.Meanwhile, the controller 150 may determine whether the area may be recognized as a plurality of images are acquired.
제어부(150)는, 상기 로컬 맵에서 획득된 N개의 영상에 기초하여 상기 로컬 맵에 대응하는 영역을 인식할 수 있다.The controller 150 may recognize an area corresponding to the local map based on the N images acquired from the local map.
또한, 제어부(150)는, 상기 로컬 맵에서 획득된 N개의 영상에서, 사물에 대응하는 이미지를 추출한 후에, 상기 추출된 이미지에 기초하여, 상기 로컬 맵에 대응하는 영역에 존재하는 사물을 인식할 수 있다.In addition, after extracting an image corresponding to an object from the N images acquired from the local map, the controller 150 may recognize an object existing in an area corresponding to the local map based on the extracted image. Can be.
한편, 제어부(150)는, 영상 전체에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 소정 영역의 속성을 인식할 수 있다.The controller 150 may recognize an attribute of a predetermined region based on data previously learned by machine learning in the entire image.
또한, 제어부(150)는, 영상 중 적어도 일부에서 머신 러닝으로 기학습된 데이터에 기초하여 사물을 인식할 수 있다.In addition, the controller 150 may recognize an object based on data previously learned by machine learning in at least some of the image.
제어부(150)는, 각 로컬 맵들의 사물 인식 결과와 영역 인식 결과들을 통합하여 최종 결론 도출하고, 복수의 의미 맵을 포함하는 계층 맵을 구성할 수 있다.The controller 150 may derive a final conclusion by integrating the object recognition results and the area recognition results of each local map and construct a hierarchical map including a plurality of semantic maps.
도 11을 참조하면, 제어부(150)는, 로컬 맵의 개수가 연속해서 M개(ex 3개)가 모아지면, 점진적으로 의미 맵을 생성할 수 있다. 이 경우에, 의미 맵의 경계는 겹쳐도 상관없다.Referring to FIG. 11, the controller 150 may gradually generate a semantic map when the number of local maps is continuously collected (ex three). In this case, the boundary of the semantic map may overlap.
예를 들어, 제어부(150)는, 제1 로컬 맵(LM1), 제2 로컬 맵(LM2), 제3 로컬 맵(LM3)으로 하나의 의미 맵을 구성하고, 제2 로컬 맵(LM2), 제3 로컬 맵(LM3), 제4 로컬 맵(LM4)으로 하나의 의미 맵을 구성하고, 제3 로컬 맵(LM3), 제4 로컬 맵(LM4), 제5 로컬 맵(LM5)으로 하나의 의미 맵을 구성할 수 있다.For example, the controller 150 configures one semantic map with the first local map LM1, the second local map LM2, and the third local map LM3, and the second local map LM2, One semantic map is composed of the third local map LM3 and the fourth local map LM4, and one is composed of the third local map LM3, the fourth local map LM4, and the fifth local map LM5. You can construct a semantic map.
제어부(150)는, 상기 인식된 복수의 로컬 맵 인식 결과에서, 인식 결과의 빈도수, 신뢰값, 신뢰값들의 평균값 중 적어도 하나에 기초하여, 상기 의미 맵에 대응하는 영역의 최종 속성을 판별할 수 있다.The controller 150 may determine a final attribute of an area corresponding to the semantic map based on at least one of a frequency, a confidence value, and an average value of the confidence values of the recognized local map recognition results. have.
예를 들어, 제어부(150)는, 제1 로컬 맵(LM1), 제2 로컬 맵(LM2), 제3 로컬 맵(LM3)으로 구성된 의미 맵에서, 제1 로컬 맵(LM1), 제2 로컬 맵(LM2), 제3 로컬 맵(LM3) 각각의 인식 결과들의 빈도수, 신뢰값, 신뢰값들의 평균값 중 적어도 하나에 기초하여, 의미 맵에 대응하는 영역의 속성을 침실로 판별할 수 있다.For example, the control part 150 is a 1st local map LM1 and 2nd local in the semantic map comprised by the 1st local map LM1, the 2nd local map LM2, and the 3rd local map LM3. Based on at least one of the frequency of the recognition results of each of the map LM2 and the third local map LM3, a confidence value, and an average value of the confidence values, an attribute of an area corresponding to the semantic map may be determined as a bedroom.
또한, 제어부(150)는, 제3 로컬 맵(LM3), 제4 로컬 맵(LM4), 제5 로컬 맵(LM5)으로 구성된 의미 맵에서, 제3 로컬 맵(LM3), 제4 로컬 맵(LM4), 제5 로컬 맵(LM5) 각각의 인식 결과들의 빈도수, 신뢰값, 신뢰값들의 평균값 중 적어도 하나에 기초하여, 의미 맵에 대응하는 영역의 속성을 거실로 판별할 수 있다. In addition, the control part 150 is the 3rd local map LM3 and the 4th local map in the semantic map comprised from the 3rd local map LM3, the 4th local map LM4, and the 5th local map LM5. LM4) and the attribute of the area corresponding to the semantic map may be determined as a living room based on at least one of the frequency of the recognition results of each of the fifth local maps LM5, the confidence value, and the average value of the confidence values.
또한, 제어부(150)는, 제2 로컬 맵(LM2), 제3 로컬 맵(LM3), 제4 로컬 맵(LM4)으로 구성된 의미 맵에서, 신뢰값이 소정 문턱값(Threshold)을 넘지 못할 경우 Unknown으로 처리할 수 있다.In addition, when the confidence value does not exceed a predetermined threshold in the semantic map composed of the second local map LM2, the third local map LM3, and the fourth local map LM4. Can be treated as Unknown.
제어부(150) 및/또는 학습모듈(740)은 상기 분류된 사용자별 음성 데이터를 소정 영역에 매핑(mapping)할 수 있다.The controller 150 and / or the learning module 740 may map the classified voice data for each user to a predetermined region.
이를 위해, 제어부(150)는 사용자별 음성 통계를 작성할 수 있다. 예를 들어, 사용자별 음성 통계는 특정 사용자가 음성을 발화한 영역 별로 발화 횟수를 누적하여 생성할 수 있다.To this end, the controller 150 may create voice statistics for each user. For example, the voice statistics for each user may be generated by accumulating the number of speeches for each region in which a specific user speaks a voice.
제어부(150)는 상기 분류된 사용자별 음성 데이터를 상기 음성 데이터들이 획득된 영역별로 분류할 수 있다. 이 경우에, 제어부(150)는 소정 사용자가 가장 많이 발화한 영역을, 상기 소정 사용자에 매핑할 수 있다.The controller 150 may classify the classified user-specific voice data by regions in which the voice data are obtained. In this case, the controller 150 may map the area in which the predetermined user utters most to the predetermined user.
이러한 음성/공간 매핑 데이터를 이동 메모리(106)에 저장하고, 기기 교체시에는 새 기기에 이동 메모리(106)를 장착하여 활용함으로써 사용자의 음성 및 공간 정보에 기초하여 다양한 서비스를 제공할 수 있다.The voice / space mapping data may be stored in the mobile memory 106, and when the device is replaced, the mobile memory 106 may be installed and used in a new device to provide various services based on voice and spatial information of the user.
본 발명에 따르면, 이동 메모리(106)에 저장된 사용자 편의 데이터, 음성인식 학습데이터, 주거환경 데이터 등을 전승해서 새 기기에서 사용함으로써(S830), 기존 학습된 데이터를 기반으로 사용패턴 및 음성 인식률을 개선할 수 있다(S840).According to the present invention, by transferring the user-friendly data, voice recognition learning data, residential environment data, etc. stored in the mobile memory 106 and using it in a new device (S830), the use pattern and voice recognition rate based on the existing learned data It may be improved (S840).
본 발명의 일 측면에 따른 이동 로봇(100) 등 전자 기기는, 사용자의 음성 입력을 수신하는 입력부(125), 상기 수신된 음성 입력의 음성 인식 결과에 기초하여 동작하도록 제어하는 제어부(150), 및, 장착 및 탈착이 가능하고, 상기 수신된 음성 입력에 기초한 학습 데이터에 연관된 전승 데이터가 저장되는 이동 메모리(106)를 포함할 수 있다.An electronic device such as a mobile robot 100 according to an aspect of the present invention includes an input unit 125 for receiving a voice input of a user, a controller 150 for controlling to operate based on a voice recognition result of the received voice input, And a mobile memory 106 that is mountable and detachable and that transmits transmission data associated with training data based on the received voice input.
입력부(125)는 하나 이상의 마이크를 구비하여 사용자의 음성 입력을 수신할 수 있다.The input unit 125 may include one or more microphones to receive a voice input of a user.
음성 입력에 대한 음성 인식 과정은 이동 로봇(100)에서 자체적으로 수행되거나, 서버(70)에서 수행되거나, 이동 로봇(100)과 서버(70)에서 단계적으로 수행됨으로써, 효과적인 음성 인식을 수행할 수 있다.The speech recognition process for the voice input is performed by the mobile robot 100 by itself, by the server 70, or step by step by the mobile robot 100 and the server 70, thereby enabling effective speech recognition. have.
예를 들어, 이동 로봇(100)은 제어부(150)의 내부 또는 외부에 음성 인식 모듈을 구비하여 자체적으로 사용자의 음성을 인식할 수 있다.For example, the mobile robot 100 may include a voice recognition module inside or outside the controller 150 to recognize a user's voice by itself.
또는, 이동 로봇(100)은 통신부(190)를 통하여 수신된 음성 입력에 기초하는 데이터를 서버(70)로 송신하고, 상기 서버(70)로부터 상기 음성 입력에 대응하는 음성 인식 결과를 수신할 수 있다.Alternatively, the mobile robot 100 may transmit data based on the voice input received through the communication unit 190 to the server 70, and receive a voice recognition result corresponding to the voice input from the server 70. have.
제어부(150)는 상기 수신된 음성 입력의 음성 인식 결과에 기초하여 동작하도록 이동 로봇(100)을 제어할 수 있다.The controller 150 may control the mobile robot 100 to operate based on a voice recognition result of the received voice input.
한편, 본 발명에 따른 이동 로봇(100)에는 이동 메모리(106)가 장착될 수 있고, 기기 교체 등 필요 시 이동 메모리(106)는 이동 로봇(100)으로부터 탈착될 수 있다. 본 발명에 따르면 사용하던 이동 로봇(100) 기기 교체시, 이동 메모리(106)를 이용하여 데이터를 편리하게 전승할 수 있다.On the other hand, the mobile robot 100 according to the present invention may be equipped with a mobile memory 106, the mobile memory 106 may be detached from the mobile robot 100 when necessary, such as replacing the device. According to the present invention, when replacing the mobile robot 100 device used, the data can be conveniently transferred using the mobile memory 106.
한편, 이동 메모리(106)에는 다른 기기에서 사용할 수 있는 전승 데이터가 저장될 수 있다. 예를 들어, 이동 메모리(106)에는 상기 수신된 음성 입력에 기초한 학습 데이터에 연관된 전승 데이터가 저장될 수 있다. 즉, 이동 메모리(106)에는 사용자 음성으로 학습된 데이터 및 학습 데이터와 연관된 데이터가 저장될 수 있다.On the other hand, the mobile memory 106 may store transmission data that can be used by other devices. For example, the mobile memory 106 may store tradition data associated with training data based on the received voice input. That is, the mobile memory 106 may store data learned with a user voice and data associated with the training data.
여기서, 상기 전승 데이터는, 상기 사용자의 음성으로 학습된 제1 인공지능 데이터, 상기 제1 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제1 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제1 인공지능 데이터에 접근하기 위한 상기 이동 메모리(106)의 식별 정보 중 적어도 하나를 포함할 수 있다.Here, the transmission data may include first artificial intelligence data learned by the user's voice, link data for accessing the first artificial intelligence data, user authentication data for accessing the first artificial intelligence data, and the first artificial data. It may include at least one of identification information of the mobile memory 106 for accessing the artificial intelligence data.
즉, 이동 메모리(106)에 상기 사용자의 음성으로 학습된 제1 인공지능 데이터 그 자체가 저장될 수 있다. 또한, 이동 메모리(106)에는 서버(70)로부터 제1 인공지능 데이터를 수신하기 위한 링크 데이터, 권한 정보를 포함하는 사용자 인증 데이터를 포함할 수 있다. 또한, 이동 메모리(106)에는 이동 메모리(106)의 식별 정보도 저장될 수 있고, 실시예에 따라서, 이동 메모리(106)의 식별 정보는 서버(70)에 등록될 수 있다.That is, the first artificial intelligence data itself learned by the voice of the user may be stored in the mobile memory 106. In addition, the mobile memory 106 may include link data for receiving the first AI data from the server 70 and user authentication data including authority information. In addition, identification information of the mobile memory 106 may also be stored in the mobile memory 106, and in some embodiments, the identification information of the mobile memory 106 may be registered in the server 70.
이에 따라, 사용자 음성을 학습하여 개인화된 학습 데이터를 포함하는 전승 데이터를 다른 기기에서도 사용할 수 있고, 음성 인식률을 향상할 수 있다.Accordingly, the transmission data including the personalized learning data by learning the user's voice can be used in other devices, and the speech recognition rate can be improved.
또한, 상기 전승 데이터는, 이동 로봇(100)의 사용 이력으로 학습된 제2 인공지능 데이터, 상기 제2 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제2 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제2 인공지능 데이터에 접근하기 위한 상기 이동 메모리(106)의 식별 정보 중 적어도 하나를 더 포함할 수 있다.In addition, the transmission data, the second artificial intelligence data learned from the usage history of the mobile robot 100, link data for accessing the second artificial intelligence data, user authentication data for accessing the second artificial intelligence data And at least one of identification information of the mobile memory 106 for accessing the second artificial intelligence data.
즉, 이동 메모리(106)에는 사용 이력에 기초한 학습 데이터 및 학습 데이터와 연관된 데이터가 저장될 수 있다. 이에 따라, 사용 이력을 학습하여 개인화된 사용 패턴에 따른 맞춤형 서비스를 제공할 수 있다.That is, the mobile memory 106 may store training data based on the usage history and data associated with the training data. Accordingly, the usage history may be learned to provide a customized service according to a personalized usage pattern.
예를 들어, 로봇 청소기의 경우, 청소 이력 정보 등을 분석하고, 사용자가 선호하는 청소 모드, 청소 시간, 청소 순서 등 사용자의 사용 패턴을 학습할 수 있다. For example, in the case of the robot cleaner, the cleaning history information may be analyzed and the user's usage pattern such as the cleaning mode, the cleaning time, and the cleaning order which the user prefers may be learned.
또한, 이동 메모리(106)에 저장된 사용 패턴 학습에 기초한 전승 데이터를 새 로봇 청소기로 옮겨 바로 사용할 수 있으므로, 사용자는 기기 교체 시에도 불편함을 느끼지 않고 선호하는 청소 모드, 청소 시간, 청소 순서에 따라 동작하는 새 기기를 바로 사용할 수 있다.In addition, since the transmission data based on the usage pattern learning stored in the mobile memory 106 can be transferred to a new robot cleaner and used immediately, the user does not feel inconvenience when replacing the device, and according to the preferred cleaning mode, cleaning time, and cleaning sequence You can start using your new device right away.
한편, 본 발명의 일 측면에 따른 이동 로봇(100)은, 주행 구역을 촬영하는 영상획득부(120)를 더 포함하고, 상기 전승 데이터는, 상기 영상획득부(120)를 통하여 획득된 영상 데이터에 기초하는 데이터를 더 포함할 수 있다. 이에 따라, 이동 로봇(100) 사용시 획득된 영상 데이터 및 학습 데이터를 안전하게 보관하면서도 다른 기기에서 자유롭게 이용할 수 있다.On the other hand, the mobile robot 100 according to an aspect of the present invention, further comprises an image acquisition unit 120 for photographing the driving zone, the transmission data, the image data obtained through the image acquisition unit 120 It may further include data based on. Accordingly, the image data and the learning data obtained when using the mobile robot 100 can be safely stored and used freely by other devices.
여기서, 상기 영상획득부(120)를 통하여 획득된 영상 데이터에 기초하는 데이터는, 상술한 주거환경 데이터일 수 있다. 예를 들어, 상기 영상획득부(120)를 통하여 획득된 영상 데이터에 기초하는 데이터는 주행 구역에서 획득된 영상 데이터, 상기 주행 구역에서 생성된 각종 맵 데이터, 상기 영상 데이터로 학습되어 인식된 공간, 사물에 대한 데이터, 공간과 음성의 매핑 정보 등이 해당될 수 있다. 이에 따라, 새 기기에서 맵 생성, 공간, 사물 인식에 추가적인 시간이 필요 없고, 사용자의 패턴을 고려한 맞춤형 서비스 제공이 가능하다. Here, the data based on the image data obtained through the image acquisition unit 120 may be the above-described living environment data. For example, data based on image data acquired through the image acquisition unit 120 may include image data acquired in a driving zone, various map data generated in the driving zone, a space learned and recognized by the image data, This may correspond to data about an object, mapping information of a space and a voice, and the like. Accordingly, additional time is not required for map generation, space, and object recognition in a new device, and it is possible to provide a customized service considering a user's pattern.
한편, 본 발명의 일 측면에 따른 이동 로봇, 및, 전자 기기는, 주행 구역을 촬영하는 영상획득부(120), 상기 영상획득부(120)에서 획득된 영상이 저장되는 저장부(105), 및, 상기 저장부(105)에 저장된 영상 중 적어도 일부에 기초한 전승 데이터가 전송되는 이동 메모리(106)를 포함하여 구성될 수 있다. 이에 따라, 데이터를 이중으로 안전하게 보관하고, 필요시 간편하게 데이터를 다른 기기로 전승시킬 수 있다.On the other hand, the mobile robot according to an aspect of the present invention, and the electronic device, the image acquisition unit 120 for photographing the driving zone, the storage unit 105 that stores the image obtained by the image acquisition unit 120, And a mobile memory 106 to which the transmission data based on at least a part of the image stored in the storage unit 105 is transmitted. As a result, data can be stored securely in duplicate, and data can be easily transferred to other devices as needed.
본 실시예에서도, 상기 전승 데이터는, 상기 영상획득부(120)에서 획득된 영상 데이터, 상기 영상 데이터로 학습된 제3 인공지능 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 상기 이동 메모리(106)의 식별 정보 중 적어도 하나를 포함함으로써, 주행 구역에 대한 영상 정보를 새 기기에서 이용할 수 있다.Also in the present embodiment, the transmission data may include image data acquired by the image acquisition unit 120, third artificial intelligence data learned by the image data, link data for accessing the third artificial intelligence data, and the third data. 3 By including at least one of user authentication data for accessing the artificial intelligence data, identification information of the mobile memory 106 for accessing the third artificial intelligence data, the image information for the driving zone can be used in the new device have.
또한, 상기 저장부(105)에는 이동 로봇의 사용 이력이 저장되고, 상기 전승 데이터는, 상기 사용 이력으로 학습된 제4 인공지능 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 상기 이동 메모리(106)의 식별 정보 중 적어도 하나를 더 포함함으로써, 사용 이력을 학습하여 개인화된 사용 패턴에 따른 맞춤형 서비스를 제공할 수 있다.In addition, the storage unit 105 stores a usage history of the mobile robot, and the transmission data includes fourth artificial intelligence data learned from the usage history, link data for accessing the fourth artificial intelligence data, and the second artificial intelligence data. 4 further comprising at least one of user authentication data for accessing the artificial intelligence data and identification information of the mobile memory 106 for accessing the fourth artificial intelligence data, thereby learning a usage history according to a personalized usage pattern. Can provide customized service.
본 실시예에서도, 이동 로봇(100) 등 전자 기기는, 사용자의 음성 입력을 수신하는 입력부(125)를 더 포함하고, 상기 전승 데이터는, 상기 사용자의 음성으로 학습된 제5 인공지능 데이터, 상기 제5 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제5 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제5 인공지능 데이터에 접근하기 위한 상기 이동 메모리(106)의 식별 정보 중 적어도 하나를 더 포함함으로써, 사용자 음성을 학습하여 개인화된 학습 데이터를 다른 기기에서도 사용함으로써 음성 인식률을 향상할 수 있다.Also in the present embodiment, the electronic device such as the mobile robot 100 further includes an input unit 125 for receiving a user's voice input, wherein the transmission data includes the fifth artificial intelligence data learned by the user's voice, At least one of link data for accessing fifth artificial intelligence data, user authentication data for accessing the fifth artificial intelligence data, and identification information of the mobile memory 106 for accessing the fifth artificial intelligence data The voice recognition rate can be improved by learning the user's voice and using the personalized learning data in other devices.
본 발명에 따르면, USB, SD카드 등 이동 메모리(106), 클라우드(cloud) 등을 이용하여, 로봇 청소기에서 사용자 편의, 음성인식 및 주거환경 학습 데이터를 전승할 수 있는 수단을 만들고, 기기가 바뀌었을 때, 데이터를 전승해서 기존 데이터를 이용한 로봇 청소기를 사용할 수 있다.According to the present invention, by using a mobile memory 106, a cloud, and the like, such as USB, SD card, to create a means for transmitting user convenience, voice recognition and living environment learning data in the robot cleaner, the device is changed When you pass the data, you can use the robot cleaner using the existing data.
도 12는 본 발명의 일 실시예에 따른 기기간 데이터 전승에 관한 설명에 참조되는 도면이다.12 is a view referred to for describing data transmission between devices according to an embodiment of the present invention.
도 12를 참조하면, 제1 이동 로봇(100a)에 장착된 USB 메모리(90)에는 제1 이동 로봇(100a)의 사용 중에 획득된 데이터에 기초하여 학습된 데이터를 포함하는 전승 데이터가 저장될 수 있다.Referring to FIG. 12, transmission data including data learned based on data acquired during use of the first mobile robot 100a may be stored in the USB memory 90 mounted in the first mobile robot 100a. have.
예를 들어, USB 메모리(90)에는 상술한 사용자 편의 학습 데이터, 음성인식 학습 데이터, 주거환경 학습 데이터 중 적어도 하나가 저장될 수 있다. 더욱 바람직하게는 사용자 편의 학습 데이터, 음성인식 학습 데이터, 주거환경 학습 데이터가 모두 USB 메모리(90)에 저장될 수 있다.For example, the USB memory 90 may store at least one of the above-described user-friendly learning data, voice recognition learning data, and residential environment learning data. More preferably, all of the user-friendly learning data, voice recognition learning data, and living environment learning data may be stored in the USB memory 90.
제1 이동 로봇(100a)의 사용자는 제2 이동 로봇(100b)을 구매하여, 사용하는 로봇을 제2 이동 로봇(100b)으로 교체할 수 있다.The user of the first mobile robot 100a may purchase the second mobile robot 100b and replace the robot to be used with the second mobile robot 100b.
종래에는, 기기 변경을 하면서 기존에 있던 데이터가 전승이 되지 않아 새로운 기기에서 처음부터 학습을 해야되는 불편함이 있었다. In the related art, the existing data was not transferred while the device was changed, and there was an inconvenience of learning from the beginning on a new device.
본 발명에 따르면, 이동식 저장매채인 USB 메모리(90) 혹은 클라우드를 통해서 기존 데이터를 제2 이동 로봇(100b) 등 새로운 전자 기기로 전승할 수 있다. 이에 따라, 음성인식 성능 및 효율이 높아지고, 사용자에게 맞춤형 서비스를 계속해서 제공할 수 있다.According to the present invention, the existing data can be transferred to a new electronic device such as the second mobile robot 100b through the USB memory 90 or the cloud, which is a mobile storage medium. As a result, voice recognition performance and efficiency are increased, and customized services can be continuously provided to the user.
본 발명의 일 실시예에 따르면, 상기 전승 데이터는, 상기 이동 로봇(100)과 네트워크 연결되는 액세스 포인트(access point) 장치의 액세스 포인트(AP) 정보를 더 포함함으로써, 제품 등록을 간편하고 빠르게 수행할 수 있다. 또한, 상기 액세스 포인트 정보는 상기 액세스 포인트 장치의 식별 정보와 암호 정보를 포함할 수 있다.According to an embodiment of the present invention, the transmission data further includes access point (AP) information of an access point device connected to the mobile robot 100, thereby easily and quickly performing product registration. can do. In addition, the access point information may include identification information and encryption information of the access point device.
도 13a 내지 도 13c는 이동 로봇 제품 등록 과정에서 제공되는 유저 인터페이스 화면들을 예시한 도면으로, 이동 단말기(50)의 디스플레이에 표시되는 유저 인터페이스 화면을 통한 홈 어플라이언스의 제품 등록 방법의 일예를 도시한 도면이다.13A to 13C are diagrams illustrating user interface screens provided in a mobile robot product registration process, illustrating an example of a product registration method of a home appliance through a user interface screen displayed on a display of the mobile terminal 50. to be.
사용자에 의해, 이동 단말기(50) 내에 화면 내에 이동 로봇(100) 등 홈 어플라이언스 관련 애플리케이션 항목이 선택되는 경우, 홈 어플라이언스 애플리케이션 화면이, 도 13a와 같이 표시될 수 있다.When a home appliance related application item such as the mobile robot 100 is selected within the screen by the user, the home appliance application screen may be displayed as shown in FIG. 13A.
도 13a의 유저 인터페이스 화면에 포함되는 다수의 홈 어플라이언스 제품 종류 중 어느 하나를 사용자가 선택하면, 선택된 홈 어플라이언스 제품의 제품 연결 설정을 위한 가이드 화면이 표시될 수 있다.When a user selects one of a plurality of home appliance product types included in the user interface screen of FIG. 13A, a guide screen for setting a product connection of the selected home appliance product may be displayed.
한편, 현재 로그인 상태가 아니라면, 로그인 항목, 아이디 입력창, 비밀 번호 입력창 등을 포함하는 로그인 화면(미도시)이 표시될 수 있다.Meanwhile, if not currently logged in, a login screen (not shown) including a login item, an ID input window, a password input window, and the like may be displayed.
한편, 가이드 화면에 따른 동작이 수행되면, 도 13b와 같이 제품 네트워크 설정 화면이 표시될 수 있다. 예를 들어, 제품 네트워크 설정 화면은, 와이파이(WiFi) 액세스 포인트(access point; AP) 장치에 대한 리스트가 표시될 수 있다.Meanwhile, when an operation according to the guide screen is performed, a product network setting screen may be displayed as shown in FIG. 13B. For example, the product network setting screen may display a list of a Wi-Fi access point (AP) device.
제품 네트워크 설정 화면의 리스트 중 어느 하나의 항목이 선택되는 경우, 이동 단말기는 해당 액세스 포인트 장치에 접속하도록 설정된다.When any one item in the list of the product network setting screen is selected, the mobile terminal is set to connect to the corresponding access point device.
특히, 홈 어플라이언스의 특정 키가 동작하여, 홈 어플라이언스가 AP 장치로서 동작하는 AP 모드인 경우, 이동 단말기는, 제품 등록 전의 홈 어플라이언스와 에 접속하게 된다. 사용자는 홈 어플라이언스에 접속된 이동 단말기를 조작하여 서버에 액세스 포인트 장치에 대응하는 정보를 입력하고 제품을 등록할 수 있다.In particular, when a specific key of the home appliance is operated so that the home appliance is in an AP mode operating as an AP device, the mobile terminal connects to the home appliance before product registration. The user can operate the mobile terminal connected to the home appliance to input information corresponding to the access point device to the server and register the product.
사용자가 어느 하나의 액세스 포인트 장치 항목을 선택하는 경우, 도 13c와 같이, 액세스 포인트 장치에 대한 암호 입력창을 포함하는 입력 화면이 표시될 수 있다.When the user selects one of the access point device items, as shown in FIG. 13C, an input screen including a password input window for the access point device may be displayed.
암호가 입력되면, 선택된 액세스 포인트 장치 및 암호 정보가 홈 어플라이언스로 전달되어 홈 어플라이언스는, AP 모드에서 액세스 포인트 장치와 접속 가능한 스테이션 모드로 전환될 수 있다. 홈 어플라이언스는, 액세스 포인트 장치에 대한 네트워크 정보(SSID, 암호 정보 등)를 이용하여, 해당하는 액세스 포인트 장치에 접속하게 된다.If a password is entered, the selected access point device and password information is transferred to the home appliance so that the home appliance can be switched from the AP mode to the station mode accessible to the access point device. The home appliance uses the network information (SSID, password information, etc.) for the access point device to connect to the corresponding access point device.
선택된 액세스 포인트 장치 및 암호 정보가 서버로 전달되어 홈 어플라이언스 제품이 서버에 등록될 수 있다.The selected access point device and password information can be passed to the server so that the home appliance product can be registered with the server.
또한, AP 모드에서 홈 어플라이언스는 제품 정보를 이동 단말기로 전송하고, 이동 단말기는, 홈 어플라이언스의 제품 정보를 서버로 전달하여 홈 어플라이언스 제품이 서버에 등록될 수 있다.In addition, in the AP mode, the home appliance transmits product information to the mobile terminal, and the mobile terminal transmits the product information of the home appliance to the server so that the home appliance product may be registered in the server.
하지만, 사용자가 등록할 AP 장치(도 14의 60 참조)의 정보를 수동으로 입력하는 과정에서, 사용자의 실수가 발생하는 경우가 많았다. However, in the process of manually inputting information of an AP device (see 60 of FIG. 14) to be registered, a user's mistake has often occurred.
통상적으로 공유기 정보는 기본적으로 비슷한 형식으로 많은 문자와 숫자를 포함하고 있어, 사용자가 공유기를 직접 입력하는 과정에서 다수의 실수가 발생함으로 정상적인 등록이 이루어지지 않는 경우가 많이 발생할 수 있다. 또한, 암호 정보의 경우에는 사용자가 최초 설정 이후에 잊어버리는 경우가 많아 온라인 제품 등록을 포기하는 사용자도 있을 수 있다.In general, the router information basically includes a lot of letters and numbers in a similar format, and thus a number of mistakes may occur in the process of directly entering the router. In addition, in the case of the password information, the user may forget about the initial setting, and thus there may be a user who gives up on-line product registration.
AP 장치(60)의 정보가 오입력되면, 이동 로봇(100) 등 홈 어플라이언스와 수신된 AP 장치(60)의 연결 시도가 성공하지 못하므로, 제품 등록도 실패하게 된다.If the information of the AP device 60 is incorrectly input, since the attempt to connect the home appliance such as the mobile robot 100 and the received AP device 60 does not succeed, product registration also fails.
하지만, 본 발명의 일 실시예에 따른 이동 메모리(106)에는 상기 제1 이동 로봇(100a)과 네트워크 연결되는 액세스 포인트 장치(60)의 액세스 포인트(AP) 정보를 더 포함함으로써, 제2 이동 로봇(100b) 등 다른 홈 어플라이언스 제품 등록을 간편하고 빠르게 수행할 수 있다.However, the mobile memory 106 according to an embodiment of the present invention further includes access point (AP) information of the access point apparatus 60 connected to the first mobile robot 100a by a network, thereby providing a second mobile robot. Registration of other home appliance products, such as 100b, can be done quickly and easily.
도 14는 본 발명의 일 실시예에 따른 제품 등록 과정을 예시한 순서도로, 신규로 등록하고자 하는 제2 이동 로봇(100b), 이동 단말기(50), 액세스 포인트 장치(60) 및 서버(70)의 신호 흐름을 도시한 순서도이다.14 is a flowchart illustrating a product registration process according to an embodiment of the present invention. The second mobile robot 100b, the mobile terminal 50, the access point device 60, and the server 70 to be newly registered are shown in FIG. Is a flow chart showing the signal flow.
도 12 및 도 14를 참조하면, 제1 이동 로봇(100a)을 사용하던 사용자는 제1 이동 로봇(100a)에 장착되어 있던 USB 메모리(90)를 탈착하여, 제2 이동 로봇(100b)에 장착할 수 있다.12 and 14, the user who used the first mobile robot 100a attaches and detaches the USB memory 90 mounted on the first mobile robot 100a to the second mobile robot 100b. can do.
본 발명의 일 실시예에 따른 이동 로봇(100)은 장착된 이동 메모리(106)에 저장된 전승 데이터를 불러와 제품 등록에 이용할 수 있다(S1410). 예를 들어, USB 메모리(90)에 저장된 전승 데이터를 제2 이동 로봇(100b)에서 불러와 사용할 수 있다(S1410).The mobile robot 100 according to an embodiment of the present invention may load the transmission data stored in the mounted mobile memory 106 and use it for product registration (S1410). For example, the transmission data stored in the USB memory 90 may be retrieved from the second mobile robot 100b and used (S1410).
한편, 액세스 포인트(AP) 모드 상태의 제2 이동 로봇(100b)과 이동 단말기(50) 간 통신 연결될 수 있다(S1420).Meanwhile, the second mobile robot 100b in the access point (AP) mode and the mobile terminal 50 may be connected in communication (S1420).
이를 위해, 이동 단말기(50)는, 사용자 입력에 따라, 홈 어플라이언스 관련 애플리케이션을 실행하면 도 13a와 같은 유저 인터페이스 화면을 제공할 수 있다.To this end, when the mobile terminal 50 executes a home appliance related application according to a user input, the mobile terminal 50 may provide a user interface screen as shown in FIG. 13A.
또한, 사전에 홈 어플라이언스(100)의 특정 버튼을 조작에 따라 홈 어플라이언스(100)가 AP 모드로 전환될 수 있다. In addition, the home appliance 100 may be switched to the AP mode according to a specific button operation of the home appliance 100 in advance.
한편, 이동 단말기(50)는, 등록할 AP 장치(60)의 정보(식별 정보(SSID), 암호 정보 등)를 수신할 수 있다(S1420).Meanwhile, the mobile terminal 50 may receive information (identification information (SSID), encryption information, etc.) of the AP device 60 to be registered (S1420).
한편, 이동 단말기(50)는 서버(70)로 제2 이동 로봇(100b)의 제품 등록을 요청할 수 있다(S1430).Meanwhile, the mobile terminal 50 may request a product registration of the second mobile robot 100b to the server 70 (S1430).
실시예에 따라서, 이동 단말기(50)는 서버(70)로 제2 이동 로봇(100b)의 제품 정보 및/또는 등록할 AP 장치(60)의 정보를 전송하여 제2 이동 로봇(100b)의 제품 등록을 요청할 수 있다(S1430).According to an embodiment, the mobile terminal 50 transmits the product information of the second mobile robot 100b and / or the information of the AP device 60 to be registered to the server 70 so as to transmit the product of the second mobile robot 100b. Registration may be requested (S1430).
한편, 제2 이동 로봇(100b)은, USB 메모리(90)에 저장된 전승 데이터에 포함된 액세스 포인트 장치(60)에 대한 액세스 포인트 정보에 기초하여, 상기 액세스 포인트 장치(60)와 네트워크 연결될 수 있다(S1440,S1450).Meanwhile, the second mobile robot 100b may be network-connected with the access point device 60 based on the access point information about the access point device 60 included in the transmission data stored in the USB memory 90. (S1440, S1450).
제2 이동 로봇(100b)은, USB 메모리(90)에서 불러온 AP 장치(60)의 정보를 이용하여, 액세스 포인트 장치(60)에, 접속 요청하며(S1440), 액세스 포인트 장치(60)는, 수신되는 식별 정보, 암호 정보 등 AP 정보에 기초하여, 접속을 승인할 수 있다(S1450).The second mobile robot 100b makes a request for access to the access point device 60 by using the information of the AP device 60 loaded from the USB memory 90 (S1440), and the access point device 60 On the basis of AP information such as received identification information and password information, the access may be approved (S1450).
그리고, 제2 이동 로봇(100b)은, 액세스 포인트 장치(60)와의 접속 이후, 액세스 포인트 장치(60)를 경유하여, 서버(70)로 제품 등록 요청 및 서버 연결을 요청할 수 있다(S1460).After connecting to the access point apparatus 60, the second mobile robot 100b may request a product registration request and a server connection from the server 70 via the access point apparatus 60 (S1460).
이때, 제2 이동 로봇(100b)은 제품 정보를, 서버(70)로 전송할 수 있다. 또한, 실시예에 따라서, 제2 이동 로봇(100b)은, 액세스 포인트 장치(60)의 정보 및/또는 이동 단말기(50)의 정보도, 서버(70)로 전송할 수 있다. At this time, the second mobile robot 100b may transmit the product information to the server 70. In addition, according to the embodiment, the second mobile robot 100b may also transmit the information of the access point device 60 and / or the information of the mobile terminal 50 to the server 70.
서버(70)는, 제2 이동 로봇(100b)과 이동 단말기(50)에서 모두 정상적으로 등록 요청이 수신되면, 수신되는 제품 정보를 이용하여, 제품 등록을 완료하고, 액세스 포인트 장치(60)를 경유하여, 제2 이동 로봇(100b) 및/또는 이동 단말기(50)로, 제품 등록 완료 메시지를 전송할 수 있다(S1470). When both the second mobile robot 100b and the mobile terminal 50 receive a registration request normally, the server 70 completes the product registration using the received product information and passes through the access point device 60. Thus, a product registration completion message may be transmitted to the second mobile robot 100b and / or the mobile terminal 50 (S1470).
제2 이동 로봇(100b)은 제품 등록 완료 메시지를 수신하여(S1470), 제품 등록 과정이 완료된다. 이에 따라, 간편하게 제품 등록이 수행될 수 있고, 사용자는 이동 로봇(100) 제조사 등이 제공하는 스마트(smart) 기능들을 사용할 수 있다.The second mobile robot 100b receives a product registration completion message in operation S1470, and the product registration process is completed. Accordingly, product registration can be easily performed, and a user can use smart functions provided by the manufacturer of the mobile robot 100 or the like.
도 15는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.15 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
도 15를 참조하면, 본 발명의 일 측면에 따른 이동 로봇(100) 등 전자 기기는, 장착되는 이동 메모리(106)에 저장된 전승 데이터를 불러올 수 있다(S1510). 많은 경우에, 새로 사용되는 이동 로봇(100)에 기존의 이동 메모리(106)가 장착될 것이다. 이동 메모리(106)의 장착을 감지한 제어부(150)는, 이동 메모리(106)로부터 전승 데이터를 불러올 수 있다. 이에 따라, 데이터를 간편하게 전승할 수 있다.Referring to FIG. 15, an electronic device such as the mobile robot 100 according to an aspect of the present disclosure may load transmission data stored in the mounted mobile memory 106 (S1510). In many cases, the existing mobile memory 100 will be equipped with the newly used mobile robot 100. The controller 150, which senses mounting of the mobile memory 106, may retrieve the transmission data from the mobile memory 106. As a result, data can be transmitted easily.
실시예에 따라서, 제어부(150)는 이동 메모리(106)로부터 불러온 전승 데이터 중 적어도 일부를 저장부(105)에 복사하여, 데이터를 이중으로 안전하게 보호할 수 있다.According to an exemplary embodiment, the controller 150 may copy at least a portion of the transmission data read from the mobile memory 106 to the storage unit 105 to protect the data in a double and secure manner.
한편, 제어부(150)는, 상기 전승 데이터에 기초하여 인공지능 데이터를 업데이트하도록 제어할 수 있다(S1520).On the other hand, the controller 150 may control to update the artificial intelligence data based on the transmission data (S1520).
만약, 상기 전승 데이터가 학습된 인공지능 데이터 그 자체를 포함하면, 제어부(150)는 인공지능 데이터 그 자체를 불러와 음성, 영상, 사용 패턴 인식을 위한 인공지능 데이터들을 업데이트할 수 있다.If the transmission data includes the learned AI data itself, the controller 150 may load the AI data itself and update the AI data for recognizing voice, video, and usage patterns.
또는, 상기 전승 데이터는 인공지능 데이터에 접근하기 위한 데이터를 포함할 수 있다. 이 경우에, 제어부(150)는 통신부(190)를 통하여 상기 수신되는 전승 데이터에 기초하여 인공지능 관련 데이터를 서버(70)에 요청하고, 상기 서버(70)로부터 상기 인공지능 관련 데이터를 수신할 수 있다.Alternatively, the transmission data may include data for accessing artificial intelligence data. In this case, the controller 150 requests the server 70 for artificial intelligence-related data based on the transmission data received through the communication unit 190 and receives the artificial intelligence-related data from the server 70. Can be.
제어부(150)는 상기 서버(70)로부터 수신한 인공지능 관련 데이터로 음성, 영상, 사용 패턴 인식을 위한 인공지능 데이터들을 업데이트할 수 있다.The controller 150 may update the artificial intelligence data for recognizing a voice, an image, and a usage pattern with the artificial intelligence-related data received from the server 70.
이후에, 이동 로봇(100)이 주행, 청소 등 소정 작업을 수행하면(S1530), 제어부(150)는, 주행, 청소 등 작업 중에 획득되는 데이터 중 적어도 일부를 상기 이동 메모리(106)에 저장하도록 제어할 수 있다(S1540).Subsequently, when the mobile robot 100 performs a predetermined operation such as driving or cleaning (S1530), the controller 150 stores at least a part of data acquired during the operation such as driving or cleaning in the mobile memory 106. Can be controlled (S1540).
또한, 제어부(150)는 주행, 청소 등 작업 중에 획득되는 데이터 중 적어도 일부를 서버(70)로 송신하도록 제어할 수 있다. In addition, the controller 150 may control to transmit at least some of the data acquired during the operation such as driving or cleaning to the server 70.
서버(70)는 이동 로봇(100)으로부터 수신되는 데이터에 기초하여 딥러닝 등 학습을 수행할 수 있다.The server 70 may perform deep learning or the like based on data received from the mobile robot 100.
또한, 서버(70)는 학습 결과를 반영하여 인공지능 관련 데이터를 업데이트하고, 이동 로봇(100)으로 송신할 수 있다.In addition, the server 70 may update the AI-related data by reflecting the learning result and transmit the AI-related data to the mobile robot 100.
상기 서버(10)로부터 상기 인공지능 관련 데이터를 수신되면, 제어부(150)는 상기 서버(70)로부터 수신한 상기 인공지능 관련 데이터에 기초하여 상기 인공지능 데이터를 업데이트하도록 제어할 수 있다.When the artificial intelligence-related data is received from the server 10, the controller 150 may control to update the artificial intelligence data based on the artificial intelligence-related data received from the server 70.
본 발명의 실시예에 따른 이동 로봇(100), 공기조화기(11), 냉장고(31), 세탁기(32) 등 전자 기기에는 이동 메모리(106)가 장착되어 사용될 수 있고, 이동 메모리(106)에는 음성 인식, 인공지능 관련 데이터, 각종 학습 데이터 등이 저장될 수 있다.In the electronic device such as the mobile robot 100, the air conditioner 11, the refrigerator 31, the washing machine 32, and the like, the mobile memory 106 may be mounted and used, and the mobile memory 106 may be used. The voice recognition, artificial intelligence-related data, and various learning data may be stored.
기기 교체 등 데이터의 전승이 필요한 경우에, 사용자는 이동 메모리(106)를 기존의 전자 기기에서 탈착하여, 새로운 전자 기기에 연결할 수 있다. When transmission of data such as device replacement is necessary, the user can detach the mobile memory 106 from an existing electronic device and connect it to a new electronic device.
본 발명에 따르면, 기존에 사용하던 전자 기기가 쌓은 데이터들을 이용해서 음성인식률 향상, 초기설정 과정 간소화 및 사용 편의성을 증대할 수 있는 장점이 있다. According to the present invention, there is an advantage that the voice recognition rate can be improved, the initial setup process can be increased, and the convenience of use can be increased by using the data accumulated by the electronic device.
본 발명에 따르면, USB, SD Card, 클라우드 등 이용해서 기존에 학습했던 데이터를 전승하여, 기존 학습 데이터를 새 기기에서도 간편하게 이용하고 제품을 간편하게 등록할 수 있어, 사용자의 편의성, 신뢰도, 선호도 및 제품 활용도를 높일 수 있다.According to the present invention, by transferring data previously learned using USB, SD Card, cloud, etc., the existing learning data can be easily used on a new device and the product can be easily registered, so that the user's convenience, reliability, preference and product Improved utilization
본 발명에 따른 이동 로봇 및 전자 기기는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The mobile robot and the electronic device according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or part of each of the embodiments so that various modifications can be made. It may be configured in combination.
한편, 본 발명의 실시예에 따른 이동 로봇 및 전자 기기의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the method for controlling a mobile robot and an electronic device according to an embodiment of the present invention may be implemented as code that can be read by a processor in a processor-readable recording medium. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. . The processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, while the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

Claims (19)

  1. 사용자의 음성 입력을 수신하는 입력부;An input unit to receive a voice input of a user;
    상기 수신된 음성 입력의 음성 인식 결과에 기초하여 동작하도록 제어하는 제어부; 및,A controller configured to operate based on a voice recognition result of the received voice input; And,
    장착 및 탈착이 가능하고, 상기 수신된 음성 입력에 기초한 학습 데이터에 연관된 전승 데이터가 저장되는 이동 메모리;를 포함하는 이동 로봇.And a mobile memory capable of mounting and detaching and storing transmission data associated with learning data based on the received voice input.
  2. 제1항에 있어서,The method of claim 1,
    상기 전승 데이터는, 상기 사용자의 음성으로 학습된 제1 인공지능 데이터, 상기 제1 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제1 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제1 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 로봇.The transmission data may include first artificial intelligence data learned by the user's voice, link data for accessing the first artificial intelligence data, user authentication data for accessing the first artificial intelligence data, and the first artificial intelligence. And at least one of identification information of said mobile memory for accessing data.
  3. 제1항에 있어서,The method of claim 1,
    상기 전승 데이터는, 이동 로봇의 사용 이력으로 학습된 제2 인공지능 데이터, 상기 제2 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제2 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제2 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 이동 로봇.The transmission data may include second artificial intelligence data learned from a usage history of a mobile robot, link data for accessing the second artificial intelligence data, user authentication data for accessing the second artificial intelligence data, and the second artificial intelligence. And at least one of identification information of said mobile memory for accessing intelligent data.
  4. 제1항에 있어서,The method of claim 1,
    주행 구역을 촬영하는 영상획득부;를 더 포함하고, It further comprises an image acquisition unit for photographing the driving zone,
    상기 전승 데이터는, 상기 영상획득부를 통하여 획득된 영상 데이터에 기초하는 데이터를 더 포함하는 것을 특징으로 하는 이동 로봇.The transmission data further comprises data based on image data acquired through the image acquisition unit.
  5. 제1항에 있어서,The method of claim 1,
    상기 전승 데이터는, 상기 이동 로봇과 네트워크 연결되는 액세스 포인트(access point) 장치의 액세스 포인트 정보를 더 포함하는 것을 특징으로 하는 이동 로봇.The transmission data further comprises access point information of an access point device that is networked with the mobile robot.
  6. 제1항에 있어서,The method of claim 1,
    상기 음성 입력에 기초하는 데이터를 음성 인식 서버로 송신하고, 상기 음성 인식 서버로부터 상기 음성 입력에 대응하는 음성 인식 결과를 수신하는 통신부;를 더 포함하는 이동 로봇.And a communication unit for transmitting data based on the voice input to a voice recognition server and receiving a voice recognition result corresponding to the voice input from the voice recognition server.
  7. 주행 구역을 촬영하는 영상획득부;Image acquisition unit for photographing the driving zone;
    상기 영상획득부에서 획득된 영상이 저장되는 저장부; 및,A storage unit for storing the image acquired by the image acquisition unit; And,
    상기 저장부에 저장된 영상 중 적어도 일부에 기초한 전승 데이터가 전송되는 이동 메모리;를 포함하는 이동 로봇.And a mobile memory for transmitting the transmission data based on at least a part of the image stored in the storage unit.
  8. 제7항에 있어서,The method of claim 7, wherein
    상기 전승 데이터는, 상기 영상획득부에서 획득된 영상 데이터, 상기 영상 데이터로 학습된 제3 인공지능 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제3 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 로봇.The transmission data may include image data acquired by the image acquisition unit, third artificial intelligence data learned from the image data, link data for accessing the third artificial intelligence data, and access to the third artificial intelligence data. And at least one of user authentication data and identification information of the mobile memory for accessing the third artificial intelligence data.
  9. 제7항에 있어서,The method of claim 7, wherein
    상기 저장부에는 이동 로봇의 사용 이력이 저장되고,The storage unit stores the usage history of the mobile robot,
    상기 전승 데이터는, 상기 사용 이력으로 학습된 제4 인공지능 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제4 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 이동 로봇.The transmission data may include fourth artificial intelligence data learned from the usage history, link data for accessing the fourth artificial intelligence data, user authentication data for accessing the fourth artificial intelligence data, and the fourth artificial intelligence data. The mobile robot further comprises at least one of identification information of the mobile memory for accessing.
  10. 제7항에 있어서,The method of claim 7, wherein
    사용자의 음성 입력을 수신하는 입력부;를 더 포함하고,Further comprising; an input unit for receiving a voice input of the user,
    상기 전승 데이터는, 상기 사용자의 음성으로 학습된 제5 인공지능 데이터, 상기 제5 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 제5 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 제5 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 이동 로봇.The transmission data may include fifth artificial intelligence data learned by the user's voice, link data for accessing the fifth artificial intelligence data, user authentication data for accessing the fifth artificial intelligence data, and the fifth artificial intelligence. And at least one of identification information of said mobile memory for accessing data.
  11. 제7항에 있어서,The method of claim 7, wherein
    상기 전승 데이터는, 상기 이동 로봇과 네트워크 연결되는 액세스 포인트(access point) 장치의 액세스 포인트 정보를 더 포함하는 것을 특징으로 하는 이동 로봇.The transmission data further comprises access point information of an access point device that is networked with the mobile robot.
  12. 제11항에 있어서,The method of claim 11,
    상기 음성 입력에 기초하는 데이터를 음성 인식 서버로 송신하고, 상기 음성 인식 서버로부터 상기 음성 입력에 대응하는 음성 인식 결과를 수신하는 통신부;를 더 포함하는 이동 로봇.And a communication unit for transmitting data based on the voice input to a voice recognition server and receiving a voice recognition result corresponding to the voice input from the voice recognition server.
  13. 장착되는 이동 메모리에 저장된 전승 데이터를 불러오는 단계;Retrieving transmission data stored in the mounted mobile memory;
    상기 전승 데이터에 기초하여 인공지능 데이터를 업데이트하는 단계; 및,Updating the artificial intelligence data based on the transmission data; And,
    주행 중에 획득되는 데이터 중 적어도 일부를 상기 이동 메모리에 저장하는 단계;를 포함하는 이동 로봇의 제어 방법.And storing at least some of the data acquired while driving in the mobile memory.
  14. 제13항에 있어서,The method of claim 13,
    상기 전승 데이터는, 상기 인공지능 데이터, 상기 인공지능 데이터에 접근하기 위한 링크 데이터, 상기 인공지능 데이터에 접근하기 위한 사용자 인증 데이터, 상기 인공지능 데이터에 접근하기 위한 상기 이동 메모리의 식별 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 로봇의 제어 방법.The transmission data may include at least one of the artificial intelligence data, link data for accessing the artificial intelligence data, user authentication data for accessing the artificial intelligence data, and identification information of the mobile memory for accessing the artificial intelligence data. Control method of a mobile robot comprising a.
  15. 제13항에 있어서,The method of claim 13,
    상기 수신되는 전승 데이터에 기초하여 인공지능 관련 데이터를 서버에 요청하는 단계;Requesting artificial intelligence-related data from a server based on the received transmission data;
    상기 서버로부터 상기 인공지능 관련 데이터를 수신하는 단계;를 더 포함하는 이동 로봇의 제어 방법.Receiving the artificial intelligence related data from the server; Control method of a mobile robot further comprising.
  16. 제13항에 있어서,The method of claim 13,
    주행 중에 획득되는 데이터 중 적어도 일부를 서버로 송신하는 단계;Transmitting at least some of the data obtained while driving to a server;
    상기 서버로부터 상기 인공지능 관련 데이터를 수신하는 단계;Receiving the artificial intelligence related data from the server;
    상기 서버로부터 수신한 상기 인공지능 관련 데이터에 기초하여 상기 인공지능 데이터를 업데이트하는 단계;를 더 포함하는 이동 로봇의 제어 방법.And updating the artificial intelligence data based on the artificial intelligence-related data received from the server.
  17. 장착된 이동 메모리에 저장된 전승 데이터를 불러오는 단계;Retrieving transmission data stored in the mounted mobile memory;
    상기 전승 데이터에 포함된 액세스 포인트(access point) 장치에 대한 액세스 포인트 정보에 기초하여, 상기 액세스 포인트 장치와 네트워크 연결되는 단계; Network connection with the access point device based on access point information for the access point device included in the transmission data;
    서버에 제품 등록을 요청하는 단계; 및,Requesting product registration with a server; And,
    상기 서버로부터 제품 등록 완료 메시지를 수신하는 단계;를 포함하는 이동 로봇의 제어 방법.Receiving a product registration complete message from the server; Control method of a mobile robot comprising a.
  18. 제17항에 있어서,The method of claim 17,
    상기 액세스 포인트 정보는 상기 액세스 포인트 장치의 식별 정보와 암호 정보를 포함하는 것을 특징으로 하는 이동 로봇의 제어 방법.And the access point information includes identification information and encryption information of the access point device.
  19. 제18항에 있어서,The method of claim 18,
    이동 단말기와 네트워크 연결되는 단계;Network connection with the mobile terminal;
    상기 이동 단말기가 상기 서버로 상기 제품 등록을 요청하는 단계;를 더 포함하는 이동 로봇의 제어 방법.Requesting the product registration from the mobile terminal to the server.
PCT/KR2019/005463 2018-08-01 2019-05-08 Artificial intelligence mobile robot and control method thereof WO2020027407A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862713495P 2018-08-01 2018-08-01
US62/713,495 2018-08-01
KR1020180140744A KR102201143B1 (en) 2018-08-01 2018-11-15 Artificial intelligence Moving robot and control method thereof
KR10-2018-0140744 2018-11-15

Publications (1)

Publication Number Publication Date
WO2020027407A1 true WO2020027407A1 (en) 2020-02-06

Family

ID=69231931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005463 WO2020027407A1 (en) 2018-08-01 2019-05-08 Artificial intelligence mobile robot and control method thereof

Country Status (1)

Country Link
WO (1) WO2020027407A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040043422A (en) * 2002-11-18 2004-05-24 삼성전자주식회사 Home robot using super computer and home network system having the robot
KR20040080584A (en) * 2003-03-12 2004-09-20 삼성광주전자 주식회사 Robot cleaner system and control method for the same
KR20120078916A (en) * 2011-01-03 2012-07-11 윤성환 Robot cleaner
KR20120114670A (en) * 2011-04-07 2012-10-17 엘지전자 주식회사 Robot cleaner and controlling method of the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040043422A (en) * 2002-11-18 2004-05-24 삼성전자주식회사 Home robot using super computer and home network system having the robot
KR20040080584A (en) * 2003-03-12 2004-09-20 삼성광주전자 주식회사 Robot cleaner system and control method for the same
KR20120078916A (en) * 2011-01-03 2012-07-11 윤성환 Robot cleaner
KR20120114670A (en) * 2011-04-07 2012-10-17 엘지전자 주식회사 Robot cleaner and controlling method of the same

Similar Documents

Publication Publication Date Title
WO2018038553A1 (en) Mobile robot and control method therefor
WO2018139796A1 (en) Mobile robot and method for controlling same
WO2020218652A1 (en) Air purifier
WO2020045732A1 (en) Method for controlling mobile robot
AU2019336870B2 (en) Plurality of autonomous mobile robots and controlling method for the same
WO2020246844A1 (en) Device control method, conflict processing method, corresponding apparatus and electronic device
WO2018139865A1 (en) Mobile robot
WO2018097574A1 (en) Mobile robot and control method thereof
WO2018155999A2 (en) Moving robot and control method thereof
WO2019083291A1 (en) Artificial intelligence moving robot which learns obstacles, and control method therefor
WO2019004744A1 (en) Mobile robot
WO2021006677A2 (en) Mobile robot using artificial intelligence and controlling method thereof
WO2019151846A2 (en) Air purifier
WO2021006542A1 (en) Mobile robot using artificial intelligence and controlling method thereof
WO2021029457A1 (en) Artificial intelligence server and method for providing information to user
WO2019050227A1 (en) Operation method of air conditioner
WO2018117616A1 (en) Mobile robot
WO2020241951A1 (en) Artificial intelligence learning method and robot operation method using same
WO2019004742A1 (en) Robot system including moving robot and mobile terminal
WO2022075610A1 (en) Mobile robot system
WO2019004773A1 (en) Mobile terminal and robot system including same
WO2020027407A1 (en) Artificial intelligence mobile robot and control method thereof
WO2020022622A1 (en) Method for controlling artificial intelligence moving robot
WO2020251101A1 (en) Artificial intelligence device for determining movement path of user, and method for same
WO2020022621A1 (en) Method for controlling artificial intelligence mobile robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19843281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19843281

Country of ref document: EP

Kind code of ref document: A1