CN1853552A - 具有自动返回充电座功能的清洁机器人及其使用方法 - Google Patents

具有自动返回充电座功能的清洁机器人及其使用方法 Download PDF

Info

Publication number
CN1853552A
CN1853552A CNA2005101296507A CN200510129650A CN1853552A CN 1853552 A CN1853552 A CN 1853552A CN A2005101296507 A CNA2005101296507 A CN A2005101296507A CN 200510129650 A CN200510129650 A CN 200510129650A CN 1853552 A CN1853552 A CN 1853552A
Authority
CN
China
Prior art keywords
cradle
information
image
clean robot
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101296507A
Other languages
English (en)
Other versions
CN100493435C (zh
Inventor
郑一均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1853552A publication Critical patent/CN1853552A/zh
Application granted granted Critical
Publication of CN100493435C publication Critical patent/CN100493435C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L7/00Suction cleaners adapted for additional purposes; Tables with suction openings for cleaning purposes; Containers for cleaning articles by suction; Suction cleaners adapted to cleaning of brushes; Suction cleaners adapted to taking-up liquids
    • A47L7/0004Suction cleaners adapted to take up liquids, e.g. wet or dry vacuum cleaners
    • A47L7/0023Recovery tanks
    • A47L7/0038Recovery tanks with means for emptying the tanks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

在此公开了清洁机器人,具体公开了包括用于拍摄包括充电座图像的外部图像的照相机单元,将其转换为电图像信息,并外部输出;以及微处理器,用于存储从照相机单元输出的图像信息,在检测返回信号时,基于充电座的图像信息从外部图像获取充电座的位置信息,并使得清洁机器人返回充电座。具有自动返回充电座功能的清洁机器人使用充电座的图像信息检测充电座的方向和位置,由此正确并迅速的返回清洁机器人的充电座。

Description

具有自动返回充电座功能的清洁机器人及其使用方法
技术领域
本发明涉及清洁机器人,更具体涉及具有自动返回充电座(charging-stand)功能的清洁机器人,其中清洁机器人能够使用从照相机输入的图像信息正确并迅速地返回清洁机器人的充电座,及其使用方法。
背景技术
清洁机器人是在例如住宅和办公室的限定清洁区域自主移动,并且吸入灰尘或杂质的装置。清洁机器人包括通用真空吸尘器的构件以及其他构件。这里,其他构件包括行进装置,用于使清洁机器人行进;许多传感器,用于检测清洁机器人的碰撞,使得其运行而不与各种障碍物碰撞;以及微处理器,用于控制清洁机器人的上述构件。由于它在清洁区域内自主移动,清洁机器人通过电池提供驱动电源。
另一方面,为用户使用方便,清洁机器人具有自动充电功能。在实现自动充电功能时,清洁机器人检查电池中剩余电量。如果电池中剩余电量低于参考值,清洁机器人自动返回放置在清洁区域内预设位置处的充电座,充电电池的不充足的电量,并重新开始其相应操作。
然而,清洁机器人自动返回充电座的传统方法是这样一种方法,其将人造标记贴在充电座上,当清洁机器人通过随机行进检测贴在充电座的标记时,确定充电座的位置,并且将清洁机器人返回充电座。
但是,由于通过随机行进实现传统方法,用于根据清洁机器人的位置返回充电座具有不同的时间。在使用随机行进的传统方法中,如果用长时间来检测贴在充电座上的人造标记,当返回充电座时,在电池中充电的电源电压可能全部降低,由此停止清洁机器人的驱动。
发明内容
因此,考虑到上述问题而提出本发明,本发明的目标是提供一种具有自动返回充电座功能的清洁机器人,其中使用通过照相机输入的图像信息检测充电座的位置,由此清洁机器人能够迅速返回充电座,及其使用方法。
本发明的另一个目标是提供一种具有自动返回充电座功能的清洁机器人,其中无论何时清洁机器人移动预设距离,通过输入图像获取并存储充电器周围的环境信息,由此清洁机器人能够迅速返回充电座,及其使用方法。
根据本发明的一个方面,可以通过提供具有自动返回充电座功能的清洁机器人来实现上述和其他目标,该清洁机器人特征在于通过拍照来存储充电座的图像,当检测到充电座的返回信号时,拍摄外部图像、从所拍摄的外部图像确定充电座的位置、并且返回充电座。
优选的,清洁机器人还包括照相机单元,用于拍摄包含充电座图像的外部图像,将其转换为电图像信息,并外部输出;以及微处理器,用于存储从照相机单元输入的图像信息,在检测返回信号时,基于充电座的图像信息从外部图像获取充电座的位置信息,并且使得清洁机器人返回充电座。
优选的,清洁机器人还包括存储器,用于存储用来驱动清洁机器人的操作程序,该存储器包括图像信息数据库,来存储清洁机器人的充电座的图像信息;以及电压检测电路,用来以预设周期检测清洁机器人的电池电压,并且当所检测的电池电压低于参考值时,输出充电请求信号。
优选的清洁机器人还包括行进控制单元,用来控制清洁机器人的行进;图像信息获取单元,用来从通过照相机单元输入的图像信息中抽取充电座的图像信息,并将所抽取的充电座图像信息存储在图像信息数据库中;以及充电座位置计算单元,用于当从电池电压检测电路输入充电请求信号时,从通过照相机单元输入的图像信息中查找充电座的图像信息,获得充电座的位置信息,并将行进控制信号输出到行进控制单元,其中行进控制信号使得清洁机器人根据所获得的位置信息返回充电座。
根据本发明的另一方面,提供了具有自动返回充电座功能的清洁机器人,该清洁机器人特征在于拍摄以存储充电座及其周围的图像,当检测到充电座的返回信号时,拍摄外部图像、从所拍摄的外部图像中检测充电座周围的环境图像、确定充电座的位置、并且返回充电座。
优选的,清洁机器人包括照相机单元,用于拍摄包含充电座图像及环境图像的外部图像,将其转换为电图像信息,并外部输出;以及微处理器,用于存储从照相机单元输入的图像信息,在检测返回信号时,基于充电座周围的环境信息从外部图像中获得充电座的位置信息,并且使得清洁机器人返回充电座。
优选的,清洁机器人还包括存储器,用于存储用来驱动清洁机器人的操作程序,该存储器包括图像信息数据库,来存储清洁机器人的充电座的图像信息,以及环境信息数据路库,用来存储充电座周围的环境信息;以及电压检测电路,用来以预设周期检测清洁机器人的电池电压,并且当所检测电池电压低于参考值时输出充电请求信号。
优选的,微处理器包括行进控制单元,用来控制清洁机器人的行进;图像信息获取单元,用来从通过照相机单元输入的充电座周围的环境图像中抽取环境信息,并将所抽取的充电座周围的环境信息存储在环境信息数据库中;以及充电座位置计算单元,用于当从电池电压检测电路输入充电请求信号时,从通过照相机单元输入的图像信息中查找充电座周围的环境信息,基于充电座周围的环境信息获得充电座的位置信息,并将行进控制信号输出到行进控制单元,其中行进控制信号使得清洁机器人根据所获得的位置信息返回充电座。
优选的,微处理器还包括照相机控制单元,用于根据微处理器的拍摄控制信号控制外部图像的拍摄;拍摄单元,用于根据照相机控制单元的控制拍摄外部图像;以及转换器,用于将通过拍摄单元所拍摄的外部图像转换为电图像信息,并输出该电图像信息。
因此,当充电座和清洁机器人之间的分隔接近时,清洁机器人使用充电座的图像信息计算充电座的位置和方向,并返回充电座。当该分隔很远时,清洁机器人使用充电座周围的环境信息计算充电座的位置和方向,由此迅速返回充电座。
附图说明
从下面参照附图的详细说明中可以更清楚的理解本发明的上述及其他目标、特性和其他优势,其中:
图1是说明根据本发明的优选实施例的具有自动返回充电座功能的清洁机器人的示意图;
图2是说明根据本发明的另一实施例的具有自动返回充电座功能的清洁机器人的示意图;
图3是说明根据本发明的优选实施例的清洁机器人的自动返回充电座方法的流程图;以及
图4是说明根据本发明的另一实施例的清洁机器人的自动返回充电座方法的流程图。
具体实施方式
现在,将参照附图说明本发明的优选实施例。
图1是说明根据本发明的优选实施例的具有自动返回充电座功能的清洁机器人的示意图。如图所示,清洁机器人包括传统清洁机器人的通用基本结构。此外,清洁机器人包括照相机单元160,用于输出从透镜输入的图像;存储器170,用于存储操作程序以驱动清洁机器人,并包含用于存储充电座的图像信息的图像信息数据库171;电池电压检测电路180,用于检测清洁机器人中的电池140的电压,并当电池140的所检测电压低于参考值时,输出充电请求信号;以及微处理器150,用于控制上述组件。
首先,清洁机器人的通用基本结构包括灰尘检测传感器。此外,通用清洁机器人的基本结构还包括吸入单元110,用于吸入由灰尘检测传感器所检测的灰尘或杂质;灰尘容纳单元120,用于容纳由吸入单元110所收集的灰尘或杂质;行进单元130,用于使清洁机器人行进;电池140,用于向吸入单元和行进单元(未示出)提供电源电压;以及微处理器150,用于控制上述组件。将省略清洁机器人的通用基本结构的描述,由于认为其是公知的。
照相机单元160包括透镜系统161、还包括拍摄单元162,用于将透镜系统161的光学信号转换为模拟电信号、转换器163,用于将通过拍摄单元162输出的模拟电信号转换为数字信号,并以适合于微处理器150的格式转换数字信号、以及照相机控制单元164,用于控制上述组件或整个模块的操作。
透镜系统161包括小尺寸的一个或多个透镜,其中透镜系统161收集光并将所收集的光提供给拍摄单元162。拍摄单元162通常由CMOS图像传感器件或CCD图像传感器件构成,其中图像传感器件公知用于将光转换为每个像素中的电信号,使电信号与时钟同步并连续输出。转换器163将与通过拍摄单元162所输入的图像亮度成比例的电压或电流通过少许处理转换为数字数据。在另一实施例中,参照公知照相机模块,转换器163可包括用于以JPEG格式压缩所拍摄的图像或压缩MPEG格式的编码解码器。
存储器170包括,例如,非易失性存储器件例如EEPROM或闪存,其存储用于驱动清洁机器人的操作程序。根据本发明的优选实施例的存储器170存储足够驱动清洁机器人的参考电压,并包括用于存储清洁机器人的充电座的图像信息的图像信息数据库171。图像信息数据库171存储充电座的图像信息,例如从由照相机单元160输入的清洁机器人的图像中所抽取的充电座的颜色信息或形状信息。由微处理器150控制对存储在存储器170中的数据的访问。
电压检测电路180嵌入清洁机器人中,使用预设阻抗比分配从用于提供电源电压的电池140所施加的电压,并且输出分配的检侧电压。微处理器150根据从电压检测电路180输入的检侧电压电平,向用户显示说明在电池140种剩余电量的条(bar)。此外,电压检测电路180将从电池140测量的电压与存储在存储器170中的足够驱动清洁机器人的参考电压值做比较,并且当所测量电压低于参考电压值时,将充电请求信号输出到微处理器150。
微处理器150包括行进控制单元151,用于控制清洁机器人的行进;图像信息获取单元152,用来从通过照相机单元160输入的图像中抽取充电座的图像信息,并存储在图像信息数据库171中;以及充电座位置计算单元153,用于根据充电请求信号,从通过照相机单元输入的图像信息中查找存储在图像信息数据库171中的充电座的图像信息、确定充电座的位置、并由此将行进信号输出到行进控制单元151,其中行进控制信号使得清洁机器人根据所获取的位置信息返回充电座。
行进控制机器人151根据从清洁机器人的操作程序输入的控制命令控制用于使清洁机器人行进的行进单元130。
图像信息获取单元152根据清洁机器人的操作程序的控制命令,从由照相机单元160输入的图像中抽取充电座的图像信息,并在图像信息数据库171中存储所抽取的图像信息。充电座的图像信息是从照相机单元160输入的图像中充电座的颜色信息或形状信息。例如,当清洁机器人离开充电座时,图像信息获取单元152通过照相机单元160所拍摄的图像,获取充电座的颜色信息或形状信息。
当输入充电座的图像时,图像信息获取单元152抽取充电座的相应颜色信息。在本发明的优选实施例中,充电座可由明显与在住宅中设置的家用电器和家用物品不同的颜色制成。
图像信息获取单元152抽取在由照相机单元160获取的图像中与家用电器、家用物品以及周围环境明显不同的充电器的颜色信息,并将抽取的颜色信息存储在图像信息数据库171中。颜色信息可以是RGB值。
此外,图像信息获取单元152获取充电座的形状信息,并存储该形状信息。充电座的形状信息是从所输入图像抽取物体外形,即,具有相应颜色的物体的边缘的信息。并存储所抽取的外形信息。充电座的外形信息用于充电座的位置和方向计算,当清洁机器人返回充电座时。
充电座位置计算单元153根据从电压检测电路180输入的充电请求信号将驱动信号输出到照相机单元160,检查通过照相机单元160输入的充电座的图像信息,当图像信息存在时计算充电座放置的方向,并向行进控制单元151输出。
当电压检测电路180输出充电请求信号,同时清洁机器人清扫清洁区域时,充电座位置计算单元153接收从电压检测电路180输入的充电请求信号,并向照相机单元160输出驱动信号。当照相机单元160接收该驱动信号时,处理从透镜输入的图像,并将所处理的图像输出到充电座位置计算单元153。充电座位置计算单元153从由照相机单元160输入的图像中,搜索具有与存储在图像信息数据库171中的充电座的颜色信息相似的颜色的物体。
此外,充电座位置计算单元153抽取所查找物体的外形,并将所抽取的外形信息与充电座的外形信息做比较。当所抽取的外形信息与充电座的颜色信息或形状信息相似时,充电座位置计算单元153确定所查找物体是充电座,根据该位置计算方向,并将控制信号输出到行进单元151。行进单元151驱动行进单元130,并使得清洁机器人返回充电座。
在本发明的优选实施例中,当从电压检测电路180接收充电请求信号时,充电座位置计算单元153使得清洁机器人按预设间隔旋转360度,生成用于拍摄外部图像的旋转控制信号,并将旋转控制信号输出到行进控制单元151。因此,行进控制单元151驱动行进单元130,使得清洁机器人按预设间隔旋转360度,例如,30度的间隔。因此,由于照相机单元160对清洁机器人周围的所有图像拍摄照片,并将拍摄图像发送到充电座位置计算单元153,由此更有效的计算充电座的位置及其方向信息。
图2是说明根据本发明的另一实施例的具有自动返回充电座功能的清洁机器人的示意图。如图所示,根据本发明的另一实施例的清洁机器人包括环境信息数据库181,用于存储由照相机单元160输入的充电座周围的环境信息。此外,微处理器150还包括环境信息获取单元154,用于从由照相机单元160输入的充电座周围的图像中抽取充电座周围的环境信息,并将所抽取的环境信息存储在环境信息数据库181中。充电座位置计算单元153根据充电请求信号从由照相机单元160输入的图像中抽取环境信息,将所抽取的环境信息与存储在环境信息数据库181中的环境信息做比较,计算放置充电座的位置的方向,并将控制信号输出到行进控制单元151,使得清洁机器人返回充电座。
环境信息数据库181存储从清洁机器人的充电座周围的图像中抽取的环境信息,例如充电座周围的环境物体的形状和位置以及充电座和物体的排列信息。
当清洁机器人和充电座之间的距离加大时,难以从由照相机单元160输入的图像中抽取充电座的颜色和形状信息。因此,难以准确计算充电座的位置和方向。由此,根据本发明的清洁机器人还包括环境信息获取单元154,用于无论何时清洁机器人按预设距离移动,查找充电座的位置和方向,根据所查找的位置和方向,从由照相机单元160输入的充电座周围的环境图像抽取充电座的环境信息,并将抽取的环境信息存储在环境信息数据库181中。
无论何时清洁机器人按预设距离移动,环境信息获取单元154存储环境信息,例如充电座周围的环境物体的形状和位置,以及充电座和物体的排列信息,这些是从通过照相机单元160输入的充电座周围的图像中抽取的。可根据作为行进单元的轮子等的驱动来计算清洁机器人的移动距离。
例如,如果在充电座周围放置了例如插座或装饰品的家用物品或固定物体,环境信息获取单元154存储环境信息,例如充电座周围的环境物体的形状和位置,以及充电座和物体的排列信息,这些是从充电座周围的图像中抽取的。
充电座位置计算单元153根据充电请求信号,从由照相机单元160输入的图像中抽取环境信息,将所抽取的环境信息和存储在环境信息数据库181中的环境信息做比较,计算充电座放置的方向和位置,并将控制信号输出到行进控制单元151,使得清洁机器人返回充电座。
因此,当充电座和清洁机器人之间的分隔接近时,清洁机器人使用充电座的图像信息计算充电座的位置和方向,并返回充电座。当该分隔很远时,清洁机器人使用充电座周围的环境信息计算充电座的位置和方向,由此迅速返回充电座。
图3是说明根据本发明的优选实施例的清洁机器人的自动返回充电座方法的流程图。如图所示,将在下文说明根据本发明的优选实施例的自动返回清洁机器人的充电座的方法。
首先,当用户执行在充电座完全充电的清洁机器人的驱动命令时,例如,当用户按压清洁机器人上的按钮或在购买清洁机器人随之提供的遥控器的输入按键钮时(S101),清洁机器人接收驱动命令并离开充电座。在此,在清洁机器人的预设位置设置的照相机拍摄相应充电座的图像,并将该拍摄图像输出到微处理器150的信息获取单元152。
信息获取单元152抽取从照相机单元160输入的例如充电座的RGB值的颜色信息或者例如充电座的外型的形状信息,并将所抽取的信息存储在图像信息数据库171中(S103)。
当微处理器150通过其信息获取单元152获取充电座的图像信息时,其将控制信号输出到行进控制单元151和吸入单元110,用于检测并吸入清洁区域内的灰尘和杂质,并使得清洁机器人清洁灰尘和杂质(S105)。清洁机器人的电压检测电路180在每个预设时间周期测量电池140的电压,以及通过检测电池140中的剩余电量确定自动充电时间。电压检测电路180将所检测电压和存储在存储器中的参考电压做比较,并且当所检测电压低于参考电压值时,将充电请求信号输出到充电座位置计算单元153(S107)。
微处理器150的充电座位置计算单元153接收充电请求信号,并将驱动信号输出到照相机单元160(S109)。此外,其将控制信号输出到行进控制单元151,使得照相机单元160能够获取图像,同时按预设间隔旋转360度。因此,行进控制单元151驱动行进单元130,使得清洁机器人按预设间隔旋转360度,例如,30度的间隔,并且由此照相机单元160拍摄清洁机器人周围的所有图像,并将拍摄图像发送到充电座位置计算单元153(S111)。
充电座位置计算单元153从通过照相机单元160输入的图像中检查充电座的图像信息(S113)。在此,在存在的相应图像信息中,充电座位置计算单元153计算放置充电座的方向和位置,并输出行进控制单元151(S115,S117)。
当清洁机器人和充电座之间的距离加大时,难以从由照相机单元160输入的图像中抽取充电座的颜色和形状信息。因此,难以准确计算充电座的位置和方向。
由此,根据本发明的另一实施例的清洁机器人还包括环境信息获取单元154,用于无论何时清洁机器人按预设距离移动,查找充电座的位置和方向,根据所查找的位置和方向,从由照相机单元160输入的充电座周围的环境图像抽取充电座的环境信息,并将抽取的环境信息存储在环境信息数据库181中。因此,清洁机器人可以准确并迅速在长距离返回充电座。
图4是说明根据本发明的另一实施例的清洁机器人的自动返回充电座方法的流程图。如图所示,将在下文说明根据本发明的另一实施例的自动返回清洁机器人的充电座的方法。
首先,无论何时清洁机器人按预设距离移动,例如,根据行进单元130的轮子的移动,微处理器150通过上述的步骤查找充电座的位置(S201,S203),并将驱动命令发送到照相机单元160,以获取充电座周围的图像。照相机单元160拍摄充电座为中心周围的环境图像,并将拍摄的图像输出到环境图像获取单元154(S205)。
环境图像获取单元154抽取环境信息,例如充电座周围的环境物体的形状和位置,以及充电座和物体的排列信息,并将所抽取信息存储在环境信息数据库181中(S207),其中从清洁机器人的充电座周围的图像中抽取环境信息。
例如,如果在充电座周围放置了例如插座或装饰品的家用物品或固定物体,环境信息获取单元154抽取环境信息,例如充电座周围的环境物体的形状和位置以及充电座和物体的排列信息,并将所抽取信息存储在环境信息数据库181中,其中环境信息是从充电座周围的图像中抽取的。
当微处理器150通过其环境信息获取单元154获取充电座周围的环境信息时,其将控制信号输出到行进控制单元151和吸入单元110,用于检测并吸入清洁区域内的灰尘和杂质,并使得清洁机器人清洁灰尘和杂质。清洁机器人的电压检测电路180在预设时间周期测量电池140的电压,以及通过检测电池140中的剩余电量确定自动充电时间。电压检测电路180将所检测电压和存储在存储器中的参考电压做比较,并且当所检测电压低于参考电压值时,将充电请求信号输出到充电座位置计算单元153(S209)。
微处理器150的充电座位置计算单元153接收充电请求信号,并将驱动信号输出到照相机单元160(S211)。此外,其将控制信号输出到行进控制单元151,使得照相机单元160能够获取图像,同时按预设间隔旋转360度。因此,行进控制单元151驱动行进单元130,使得清洁机器人按预设间隔旋转360度,例如,30度的间隔,并且由此照相机单元160拍摄清洁机器人周围的所有图像,并将拍摄图像发送到充电座位置计算单元153(S213)。
充电座位置计算单元153从通过照相机单元160输入的图像中检查充电座的图像信息(S215)。在此,当存在相应图像信息时(S217),充电座位置计算单元153计算放置充电座的方向和位置,并输出行进控制单元151(S223,S225)。
此外,当不存在相应图像信息时(S217),充电座位置计算单元153从相应机器人周围的所拍摄的所有图像中,查找符合存储在环境信息中的例如充电座周围的环境物体的形状和位置以及充电座和物体的排列信息的环境信息的物体。
当根据查找结果,物体符合环境信息时(S221),通过相应环境信息,计算出放置充电座的方向和位置(S223)。因此,充电座位置计算单元153将控制信号输出到行进控制单元,使得清洁机器人返回充电座(S225)。
例如,如果在充电座周围存在插座,环境信息获取单元154将环境信息存储在环境信息数据库181中,其中环境信息包括相应插座的颜色信息、如相应插座的外形信息的形状信息、以及排列信息,从通过照相机单元160输入的充电座周围的图像中,做出关于插座是否放置在充电座的任何方向上的确定。
当从电压检测电路180输入充电请求信号时,充电座位置计算单元153查找符合相应插座的颜色信息、如相应插座的外形信息的形状信息、以及排列信息的插座,从通过照相机单元160输入的充电座周围的图像中,做出关于插座是否放置在充电座的任何方向上的确定。此外,充电座位置计算单元153计算放置充电座的方向,并将控制输出到行进控制单元151。
从上述说明明显可知,本发明提供具有自动返回充电座功能的清洁机器人,其中清洁机器人使用充电座的图像信息检测充电座的方向和位置,由此正确并迅速的返回清洁机器人的充电座,及其使用方法。
此外,当充电座和清洁机器人之间的分隔接近时,清洁机器人使用充电座的图像信息计算充电座的位置和方向,并返回充电座。当该分隔很远时,清洁机器人使用充电座周围的环境信息计算充电座的位置和方向,由此迅速返回充电座。
尽管为了说明的目的公开了本发明的优选实施例,本领域技术人员将明白,可以有各种改进、增加和替换,而不背离本发明如权利要求书所公开的精神和实质。

Claims (15)

1.一种具有自动返回充电座功能的清洁机器人,该清洁机器人特征在于拍摄以存储充电座的图像,当检测充电座的返回信号时,拍摄外部图像,从所拍摄的外部图像确定充电座的位置,并返回充电座。
2.如权利要求1所述的清洁机器人,其中该清洁机器人包括:
照相机单元,用于拍摄包含充电座图像的外部图像,将其转换为电图像信息,并外部输出;以及
微处理器,用于存储从照相机单元输入的图像信息,在检测返回信号时,基于充电座的图像信息从外部图像获取充电座的位置信息,并且使得清洁机器人返回充电座。
3.如权利要求2所述的清洁机器人,其中该清洁机器人包括:
存储器,用于存储用来驱动清洁机器人的操作程序,该存储器包括图像信息数据库,用来存储清洁机器人的充电座的图像信息;以及
电压检测电路,用来按每个预设周期检测清洁机器人的电池电压,并且当所检测电池电压低于参考值时,输出充电请求信号。
4.如权利要求2所述的清洁机器人,其中该微处理器包括:
行进控制单元,用来控制清洁机器人的行进;
图像信息获取单元,用来从通过照相机单元输入的图像信息中抽取充电座的图像信息,并将所抽取的充电座的图像信息存储在图像信息数据库中;以及
充电座位置计算单元,用于当从电池电压检测电路输入充电请求信号时,从通过照相机单元输入的图像信息中查找充电座的图像信息,获得充电座的位置信息,并将行进控制信号输出到行进控制单元,其中行进控制信号使得清洁机器人根据所获得的位置信息返回充电座。
5.如权利要求3所述的清洁机器人,其中存储器还包括环境信息数据库,用来存储充电座周围的环境信息。
6.如权利要求5所述的清洁机器人,其中该微处理器包括:
行进控制单元,用来控制清洁机器人的行进;
图像信息获取单元,用来从通过照相机单元输入的充电座周围的环境图像中抽取环境信息,并将所抽取的充电座周围的环境信息存储在环境信息数据库中;以及
充电座位置计算单元,用于当从电池电压检测电路输入充电请求信号时,从通过照相机单元输入的图像信息中查找充电座周围的环境信息,基于充电座周围的环境信息获得充电座的位置信息,并将行进控制信号输出到行进控制单元,其中行进控制信号使得清洁机器人根据所获得的位置信息返回充电座。
7.如权利要求4或6所述的清洁机器人,其中该照相机单元包括:
照相机控制单元,用于根据微处理器的拍摄控制信号控制外部图像的拍摄;
拍摄单元,用于根据照相机控制单元的控制拍摄外部图像;以及
转换器,用于将通过拍摄单元所拍摄的外部图像转换为电图像信息,并输出该电图像信息。
8.如权利要求4或6所述的清洁机器人,其中当输入充电请求信号时,该充电座位置计算单元使得清洁机器人按预设间隔旋转360度,生成用来拍摄外部图像的旋转控制信号,并将旋转控制信号输出到行进控制单元。
9.如权利要求4或6所述的清洁机器人,其中充电座的图像信息是基于充电座的外部形状的形状信息,或基于充电座的颜色的颜色信息。
10.如权利要求6所述的清洁机器人,其中充电座周围的环境信息是基于充电座周围的环境的外部形状的形状信息,或者基于充电座周围的环境的外部形状的颜色信息。
11.一种自动返回用于清洁机器人的充电座的方法,该方法包括步骤:
a)从通过照相机输入的图像中获取充电座的图像信息,并且存储所获取的清洁机器人的充电座的图像信息;
b)接收清洁机器人的电池中剩余电量的信息,周期地测量电池中的剩余电量;
c)当电池中的剩余电量低于预设值时,输出用于驱动照相机的信号,以获取环境图像;以及
d)在通过照相机输入的图像中查找通过完成步骤a)所获得并存储的充电座的图像信息,确定充电座的位置,并且由此输出用于将清洁机器人返回充电座的控制信号。
12.如权利要求11所述的方法,其中图像信息包括充电座的颜色信息和形状信息的至少任意一个。
13.如权利要求11所述的方法,其中,在步骤d)中通过照相机单元输入的图像是在按预设间隔旋转360度期间所获取的图像。
14.如权利要求11所述的方法,还包括e)无论何时清洁机器人移动预设距离,在通过照相机单元输入的图像中获取充电座周围的环境信息,并存储所获取的环境信息;
其中,步骤d)还包括以下步骤,在通过照相机单元输入的图像中抽取环境信息,将所抽取的环境信息和通过完成步骤e)所获取并存储的环境信息做比较,计算放置充电座的方向和位置,并且由此输出用来将清洁机器人返回充电座的控制信号。
15.如权利要求14所述的方法,其中环境信息包括充电座周围的环境物体的形状信息。
CNB2005101296507A 2005-04-20 2005-12-14 具有自动返回充电座功能的清洁机器人及自动返回用于清洁机器人的充电座的方法 Expired - Fee Related CN100493435C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050032762 2005-04-20
KR1020050032762A KR20060110483A (ko) 2005-04-20 2005-04-20 충전대 자동 복귀 기능을 가진 청소로봇 및 그 방법

Publications (2)

Publication Number Publication Date
CN1853552A true CN1853552A (zh) 2006-11-01
CN100493435C CN100493435C (zh) 2009-06-03

Family

ID=36764578

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101296507A Expired - Fee Related CN100493435C (zh) 2005-04-20 2005-12-14 具有自动返回充电座功能的清洁机器人及自动返回用于清洁机器人的充电座的方法

Country Status (5)

Country Link
US (1) US20060241814A1 (zh)
EP (1) EP1715398A3 (zh)
KR (1) KR20060110483A (zh)
CN (1) CN100493435C (zh)
RU (1) RU2323677C2 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491901B (zh) * 2008-01-24 2010-12-01 财团法人工业技术研究院 工作站
CN103533149A (zh) * 2012-07-02 2014-01-22 北京赛佰特科技有限公司 手机机器人系统及其应用方法
WO2014032357A1 (zh) * 2012-08-31 2014-03-06 科沃斯机器人科技(苏州)有限公司 智能控制机器人移动至信号范围内的方法
CN104111651A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其向停靠站回归的方法
CN104793614A (zh) * 2014-01-16 2015-07-22 苏州宝时得电动工具有限公司 自动行走设备回归引导系统
CN104808656A (zh) * 2014-01-24 2015-07-29 苏州宝时得电动工具有限公司 基于定位系统的回归引导方法及其系统
CN105048540A (zh) * 2015-07-08 2015-11-11 江苏大学 一种温室自动巡检平台的充电装置
CN105286728A (zh) * 2015-09-18 2016-02-03 重庆科创职业学院 基于单片机的扫地机器人系统
CN106843198A (zh) * 2015-12-07 2017-06-13 北京奇虎科技有限公司 扫地机器人自动返回充电方法、扫地机器人和充电座
CN107945233A (zh) * 2017-12-04 2018-04-20 深圳市沃特沃德股份有限公司 视觉扫地机器人及其回充方法
CN108194982A (zh) * 2017-11-28 2018-06-22 珠海格力电器股份有限公司 除湿机、以及除湿机的移动方法
CN108596084A (zh) * 2018-04-23 2018-09-28 宁波Gqy视讯股份有限公司 一种充电桩自动识别方法及装置
CN109510266A (zh) * 2018-11-30 2019-03-22 广东银狐医疗科技股份有限公司 一种电动轮椅充电装置、充电系统
CN109512340A (zh) * 2018-12-06 2019-03-26 深圳飞科机器人有限公司 一种清洁机器人的控制方法及相关设备
CN109683605A (zh) * 2018-09-25 2019-04-26 上海肇观电子科技有限公司 机器人及其自动回充方法、系统、电子设备、存储介质
CN109730590A (zh) * 2019-01-30 2019-05-10 深圳飞科机器人有限公司 清洁机器人以及清洁机器人自动返回充电的方法
WO2019109230A1 (zh) * 2017-12-04 2019-06-13 深圳市沃特沃德股份有限公司 视觉扫地机器人及其回充方法
CN109991969A (zh) * 2017-12-29 2019-07-09 周秦娜 一种基于深度传感器的机器人自动返航的控制方法及装置
CN110300537A (zh) * 2017-03-06 2019-10-01 Lg电子株式会社 吸尘器及其控制方法
CN110515383A (zh) * 2019-08-30 2019-11-29 深圳飞科机器人有限公司 自主充电的方法以及移动机器人
CN110632915A (zh) * 2018-06-21 2019-12-31 科沃斯机器人股份有限公司 机器人回充路径规划方法、机器人及充电系统
CN111166248A (zh) * 2020-01-16 2020-05-19 深圳飞科机器人有限公司 清洁机器人、自主充电方法及自主充电系统
CN111323017A (zh) * 2018-12-13 2020-06-23 德国福维克控股公司 具有两个地面处理设备的系统和用于运行系统的方法
CN111481106A (zh) * 2019-01-28 2020-08-04 北京奇虎科技有限公司 扫地机充电座的检测方法及装置、计算设备、存储介质
WO2021258521A1 (zh) * 2020-06-23 2021-12-30 丰疆智能(深圳)有限公司 推料机器人、推料系统以及推料管理方法
CN114287827A (zh) * 2018-09-11 2022-04-08 原相科技股份有限公司 清洁机器人系统及其清洁机器人和充电路径决定方法
CN114601373A (zh) * 2021-10-18 2022-06-10 北京石头世纪科技股份有限公司 清洁机器人的控制方法、装置、清洁机器人和存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956348B2 (en) 2004-01-28 2005-10-18 Irobot Corporation Debris sensor for cleaning apparatus
CN102545275A (zh) * 2010-12-07 2012-07-04 上海新世纪机器人有限公司 机器人自动充电装置及其自动充电方法
CN105769062A (zh) 2010-12-30 2016-07-20 美国iRobot公司 碎屑监视
KR101366860B1 (ko) * 2011-09-20 2014-02-21 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR101352668B1 (ko) * 2012-04-02 2014-01-16 (주)마미로봇 청소로봇의 청소방법
KR101954144B1 (ko) 2012-06-08 2019-03-05 엘지전자 주식회사 로봇 청소기와, 이의 제어 방법, 및 이를 포함한 로봇 청소 시스템
KR102071947B1 (ko) * 2013-05-10 2020-01-31 삼성전자주식회사 청소 로봇 및 그 제어방법
TW201446203A (zh) * 2013-06-11 2014-12-16 Uni Ring Tech Co Ltd 自走式清潔裝置回充導引方法及其設備
JP6380828B2 (ja) * 2014-03-07 2018-08-29 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
CN104731098A (zh) * 2015-02-09 2015-06-24 南京光锥信息科技有限公司 基于三维成像系统的可自动返回充电的清洁机器人
CN106204516B (zh) * 2015-05-06 2020-07-03 Tcl科技集团股份有限公司 一种机器人的自动充电方法及装置
JP2017196705A (ja) * 2016-04-28 2017-11-02 セイコーエプソン株式会社 ロボット、及びロボットシステム
CN107703933B (zh) * 2016-08-09 2021-07-06 深圳光启合众科技有限公司 机器人的充电方法、装置和设备
CN107104250B (zh) * 2017-04-25 2019-08-16 北京小米移动软件有限公司 清扫机器人的充电方法及装置
KR102121458B1 (ko) * 2018-12-28 2020-06-10 한국생산기술연구원 자동 충전을 위한 로봇 청소기의 경로 추정 방법 및 이를 이용한 로봇 청소기
CN113749570A (zh) * 2020-06-05 2021-12-07 尚科宁家(中国)科技有限公司 一种清洁机器人的断点续拖方法及清洁机器人
CN112327940B (zh) 2020-07-21 2023-01-13 追觅创新科技(苏州)有限公司 自动回充方法、装置、存储介质、充电基座及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051906A (en) * 1989-06-07 1991-09-24 Transitions Research Corporation Mobile robot navigation employing retroreflective ceiling features
US5196939A (en) * 1989-12-28 1993-03-23 Loral Fairchild Corporation Method and apparatus for transferring images from an imaging array
US5995884A (en) * 1997-03-07 1999-11-30 Allen; Timothy P. Computer peripheral floor cleaning system and navigation method
US6338013B1 (en) * 1999-03-19 2002-01-08 Bryan John Ruffner Multifunctional mobile appliance
JP2003515210A (ja) * 1999-11-18 2003-04-22 ザ プロクター アンド ギャンブル カンパニー 家庭用清掃ロボット
JP2002127059A (ja) * 2000-10-20 2002-05-08 Sony Corp 行動制御装置および方法、ペットロボットおよび制御方法、ロボット制御システム、並びに記録媒体
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
AU767561B2 (en) * 2001-04-18 2003-11-13 Samsung Kwangju Electronics Co., Ltd. Robot cleaner, system employing the same and method for reconnecting to external recharging device
JP4032793B2 (ja) * 2002-03-27 2008-01-16 ソニー株式会社 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体
DE10231391A1 (de) * 2002-07-08 2004-02-12 Alfred Kärcher Gmbh & Co. Kg Bodenbearbeitungssystem
EP2557469A1 (en) * 2002-10-01 2013-02-13 Fujitsu Limited Robot
KR100468107B1 (ko) * 2002-10-31 2005-01-26 삼성광주전자 주식회사 외부충전장치를 갖는 로봇청소기 시스템 및 로봇청소기의외부충전장치 접속방법
KR100500842B1 (ko) * 2002-10-31 2005-07-12 삼성광주전자 주식회사 로봇청소기와, 그 시스템 및 제어방법
AU2003300959A1 (en) * 2002-12-17 2004-07-22 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
JP2004237075A (ja) * 2003-02-06 2004-08-26 Samsung Kwangju Electronics Co Ltd 外部充電装置を有するロボット掃除機システム及びロボット掃除機の外部充電装置の接続方法。
KR100485696B1 (ko) * 2003-02-07 2005-04-28 삼성광주전자 주식회사 로봇청소기의 위치인식표지 검출방법 및 이 검출방법을적용한 로봇청소기
US7332890B2 (en) * 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
KR100766434B1 (ko) * 2005-07-22 2007-10-15 엘지전자 주식회사 영상 인식이 가능한 이동체와 이동체 유도 방법

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491901B (zh) * 2008-01-24 2010-12-01 财团法人工业技术研究院 工作站
CN103533149A (zh) * 2012-07-02 2014-01-22 北京赛佰特科技有限公司 手机机器人系统及其应用方法
WO2014032357A1 (zh) * 2012-08-31 2014-03-06 科沃斯机器人科技(苏州)有限公司 智能控制机器人移动至信号范围内的方法
CN103676945A (zh) * 2012-08-31 2014-03-26 科沃斯机器人科技(苏州)有限公司 智能控制机器人移动至信号范围内的方法
CN104111651A (zh) * 2013-04-22 2014-10-22 苏州宝时得电动工具有限公司 自动行走设备及其向停靠站回归的方法
CN104793614A (zh) * 2014-01-16 2015-07-22 苏州宝时得电动工具有限公司 自动行走设备回归引导系统
CN104808656A (zh) * 2014-01-24 2015-07-29 苏州宝时得电动工具有限公司 基于定位系统的回归引导方法及其系统
CN105048540A (zh) * 2015-07-08 2015-11-11 江苏大学 一种温室自动巡检平台的充电装置
CN105286728A (zh) * 2015-09-18 2016-02-03 重庆科创职业学院 基于单片机的扫地机器人系统
CN106843198A (zh) * 2015-12-07 2017-06-13 北京奇虎科技有限公司 扫地机器人自动返回充电方法、扫地机器人和充电座
CN106843198B (zh) * 2015-12-07 2020-09-11 北京奇虎科技有限公司 扫地机器人自动返回充电方法、扫地机器人和充电座
CN110300537A (zh) * 2017-03-06 2019-10-01 Lg电子株式会社 吸尘器及其控制方法
CN108194982A (zh) * 2017-11-28 2018-06-22 珠海格力电器股份有限公司 除湿机、以及除湿机的移动方法
CN107945233A (zh) * 2017-12-04 2018-04-20 深圳市沃特沃德股份有限公司 视觉扫地机器人及其回充方法
CN107945233B (zh) * 2017-12-04 2020-11-24 深圳市无限动力发展有限公司 视觉扫地机器人及其回充方法
WO2019109230A1 (zh) * 2017-12-04 2019-06-13 深圳市沃特沃德股份有限公司 视觉扫地机器人及其回充方法
CN109991969A (zh) * 2017-12-29 2019-07-09 周秦娜 一种基于深度传感器的机器人自动返航的控制方法及装置
CN108596084A (zh) * 2018-04-23 2018-09-28 宁波Gqy视讯股份有限公司 一种充电桩自动识别方法及装置
CN110632915A (zh) * 2018-06-21 2019-12-31 科沃斯机器人股份有限公司 机器人回充路径规划方法、机器人及充电系统
CN114287827A (zh) * 2018-09-11 2022-04-08 原相科技股份有限公司 清洁机器人系统及其清洁机器人和充电路径决定方法
CN109683605A (zh) * 2018-09-25 2019-04-26 上海肇观电子科技有限公司 机器人及其自动回充方法、系统、电子设备、存储介质
US10585437B1 (en) 2018-09-25 2020-03-10 NextVPU (Shanghai) Co., Ltd. Auto-recharging of robot
CN109510266B (zh) * 2018-11-30 2024-02-06 广东银狐医疗科技股份有限公司 一种电动轮椅充电装置、充电系统
CN109510266A (zh) * 2018-11-30 2019-03-22 广东银狐医疗科技股份有限公司 一种电动轮椅充电装置、充电系统
CN109512340A (zh) * 2018-12-06 2019-03-26 深圳飞科机器人有限公司 一种清洁机器人的控制方法及相关设备
CN109512340B (zh) * 2018-12-06 2021-05-25 深圳飞科机器人有限公司 一种清洁机器人的控制方法及相关设备
CN111323017A (zh) * 2018-12-13 2020-06-23 德国福维克控股公司 具有两个地面处理设备的系统和用于运行系统的方法
CN111481106A (zh) * 2019-01-28 2020-08-04 北京奇虎科技有限公司 扫地机充电座的检测方法及装置、计算设备、存储介质
CN109730590B (zh) * 2019-01-30 2023-08-25 深圳银星智能集团股份有限公司 清洁机器人以及清洁机器人自动返回充电的方法
CN109730590A (zh) * 2019-01-30 2019-05-10 深圳飞科机器人有限公司 清洁机器人以及清洁机器人自动返回充电的方法
CN110515383A (zh) * 2019-08-30 2019-11-29 深圳飞科机器人有限公司 自主充电的方法以及移动机器人
CN111166248A (zh) * 2020-01-16 2020-05-19 深圳飞科机器人有限公司 清洁机器人、自主充电方法及自主充电系统
WO2021258521A1 (zh) * 2020-06-23 2021-12-30 丰疆智能(深圳)有限公司 推料机器人、推料系统以及推料管理方法
CN114601373A (zh) * 2021-10-18 2022-06-10 北京石头世纪科技股份有限公司 清洁机器人的控制方法、装置、清洁机器人和存储介质

Also Published As

Publication number Publication date
RU2323677C2 (ru) 2008-05-10
EP1715398A3 (en) 2013-03-27
KR20060110483A (ko) 2006-10-25
CN100493435C (zh) 2009-06-03
RU2005138463A (ru) 2007-06-20
EP1715398A2 (en) 2006-10-25
US20060241814A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
CN1853552A (zh) 具有自动返回充电座功能的清洁机器人及其使用方法
CN107067436B (zh) 位姿估计装置及真空清洁器系统
CN1324520C (zh) 使用图像传感器的移动机器人和测量它的移动距离的方法
CN100343026C (zh) 机器人清洁器和机器人清洁系统及其控制方法
CN110636789B (zh) 电动吸尘器
US7227327B2 (en) System and method for automatically returning self-moving robot to charger
KR102003787B1 (ko) 전기청소기
RU2279343C2 (ru) Устройство и способ корректировки положения мобильного робота
TWI726031B (zh) 電動掃除機
CN103063572B (zh) 一种在线视觉自动检测选别系统及其选别方法
CN103631267B (zh) 智能机器人及其移动至最亮位置的方法
EP2610671A1 (en) 360-degree automatic tracking hunting camera and operation method thereof
US20140257562A1 (en) Object searching system, object searching method, and cleaning robot
EP1648166A3 (en) Image pickup unit
CN108983761B (zh) 机器人寻找充电装置的方法、系统和机器人
CN1493246A (zh) 自动清洁路、自动清洁系统及其控制方法
CN1853876A (zh) 能够指定移动区域的机器人系统
CN106054872B (zh) 移动机器人及其位置识别方法
CN110325938A (zh) 电动吸尘器
US20200338744A1 (en) Mobile robot performing multiple detections using image frames of same optical sensor
CN1794032A (zh) 一种自动对焦方法
CN116156708A (zh) 台灯照明控制方法、装置、电子设备以及存储介质
JP2017027417A (ja) 画像処理装置及び電気掃除器
CN103868586A (zh) 光源感测装置及其光源感测方法
US20140226059A1 (en) Illumination assembly for a scouting camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090603

Termination date: 20171214