CN103561917A - 机器人设备，控制机器人设备的方法，计算机程序和程序存储介质 - Google Patents

机器人设备，控制机器人设备的方法，计算机程序和程序存储介质 Download PDF

Info

Publication number
CN103561917A
CN103561917A CN201280023849.XA CN201280023849A CN103561917A CN 103561917 A CN103561917 A CN 103561917A CN 201280023849 A CN201280023849 A CN 201280023849A CN 103561917 A CN103561917 A CN 103561917A
Authority
CN
China
Prior art keywords
hand
dirt
image
camera lens
robot device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280023849.XA
Other languages
English (en)
Other versions
CN103561917B (zh
Inventor
泽田务
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103561917A publication Critical patent/CN103561917A/zh
Application granted granted Critical
Publication of CN103561917B publication Critical patent/CN103561917B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0058—Means for cleaning manipulators, e.g. dust removing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39053—Probe, camera on hand scans many points on own robot body, no extra jig

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供一种能够最好地检测摄像机镜头上的污垢和划痕之间的差异，和手上的污垢和划痕之间的差异的极好的机器人设备。机器人设备100通过利用借助摄像机305拍摄的手的图像作为基准图像，检测存在污垢或划痕的部位。此外，机器人设备100通过移动手，判定检测到的污垢或划痕是归因于摄像机305的镜头还是归因于手。假定检测到污垢，机器人设备100进行清洁工作，随后取决于所述污垢是否被除去，机器人设备100检测污垢和划痕之间的差异。

Description

机器人设备,控制机器人设备的方法,计算机程序和程序存储介质
技术领域
本说明书中公开的技术涉及在人类生活环境中工作，与人类交流或者进行诸如抓握物体之类工作的机器人设备，控制所述机器人设备的方法，计算机程序和程序存储介质，尤其涉及检测摄像机镜头上的污垢和划痕之间的差异，和手上的污垢和划痕之间的差异的机器人设备，控制所述机器人设备的方法，计算机程序和程序存储介质。
背景技术
随着老龄化社会的快速到来，需要其中老年人可以尽可能不需要护理地享受健康积极的生活，并且需要护理的老年人可以尽可能地独立生活，而不会恶化健康状况的社会。未来，随着对护理和家务照顾的需求的增长，护工的数量变得短缺，如果一个护工照顾一个用户的话。于是，对目的在于主要在老年护理机构和有老年人的家庭中，通过与人类交流和进行诸如物体的抓握之类工作，为人类做家务和护理的机器人之类的机电一体化设备的需求不断增长。
这种机器人设备大多具备摄像机，根据摄像机拍摄的图像，检测或识别工作区中的物体，并进行诸如抓握之类的工作。于是，当摄像机镜头上有污垢或划痕时，这显著影响检测/识别物体的能力，会导致工作效率降低。当在诸如手之类的物体抓握单元上有污垢时，抓握的物体变脏，会对接收该物体的人产生不利的心理影响。
例如，提出了比较相同区域中的多个图像，以根据相同区域中的图像之间的差异，检测摄像机镜头上是否有污垢的机器人设备(例如，参见专利文献1)。然而，这种机器人设备不能检测相同区域中的图像之间的差异是由摄像机镜头上的污垢还是划痕引起的，换句话说，这种机器人设备不能检测摄像机镜头上的污垢和划痕之间的差异。另外，机器人设备不能检测手上的污垢，或者检测手上的污垢和划痕之间的差异。
引文列表
专利文献
专利文献1：日本专利申请公开No.2008-160635
发明内容
在本说明书中公开的技术的目的是提供一种能够最好地检测摄像机镜头上的污垢和划痕之间的差异，和手上的污垢和划痕之间的差异的极好的机器人设备，和控制所述机器人设备的方法。
鉴于上述问题实现了本申请，权利要求1中记载的技术是
一种机器人设备，包括：
摄像机；
手；和
控制器，所述控制器处理利用摄像机拍摄的图像，并控制手的操作，其中
所述控制器
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像，
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢，和
当检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上。
按照在本申请的权利要求2中记载的技术，按照权利要求1所述的机器人设备的控制器被配置成当在整个图像内，第一检测图像和基准图像之间的相关性高时，确定在摄像机镜头和手上没有污垢，而当在图像上，存在具有低相关性的低相关性部位时，检测到在低相关性部位处的摄像机镜头或手上的污垢。
按照在本申请的权利要求3中记载的技术，按照权利要求2所述的机器人设备的控制器被配置成当比较第二检测图像和第一检测图像时，当在图像上的低相关性部位处，相关性高时，确定摄像机镜头上有污垢，而当图像上的低相关性部位处，相关性小时，确定手上有污垢。
按照在本申请的权利要求4中记载的技术，按照权利要求1所述的机器人设备的控制器被配置成当确定摄像机镜头上有污垢时，擦拭摄像机镜头上的肮脏部分，随后比较通过对放在所述特定位置的手拍照而获得的第三检测图像和基准图像，以检测摄像机镜头上是否有划痕。
按照在本申请的权利要求5中记载的技术，按照权利要求1所述的机器人设备的控制器被配置成当确定手上有污垢时，擦拭手上的肮脏部分，随后比较通过对放在所述特定位置的手拍照而获得的第四检测图像和基准图像，以检测手上是否有划痕。
在本申请的权利要求6中记载的技术是
一种控制机器人设备的方法，包括：
通过对相对于机器人的摄像机，放在特定位置的手拍照而得到基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和
当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
在本申请的权利要求7中记载的技术是
一种控制机器人设备的计算机程序，所述计算机程序允许计算机执行：
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和
当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
按照本申请的权利要求7所述的计算机程序定义按照计算机可读格式描述的，以便在计算机上实现预定处理的计算机程序。换句话说，通过把按照本申请的权利要求7所述的计算机程序安装在计算机上，在计算机上进行协同动作，以致获得与按照本申请的权利要求6所述的控制机器人设备的方法类似的功能效果。
在本申请的权利要求8中记载的技术是
一种保存机器人设备的控制程序的程序存储介质，所述控制程序允许计算机执行：
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和
当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
按照在本说明书中公开的技术，可以提供能够最好地检测摄像机镜头上的污垢和划痕之间的差异，和手上的污垢和划痕之间的差异的极好的机器人设备，控制所述机器人设备的方法，计算机程序和程序存储介质。
依据基于下面说明的实施例和附图的更详细说明，在本说明书中公开的技术的其它目的、特征和优点将更清楚。
附图说明
图1是图解说明本说明书中公开的技术可适用于的机器人设备100的外观的示图。
图2是图解说明本说明书中公开的技术可适用于的机器人设备100的关节的自由度结构的示意图。
图3是图解说明本说明书中公开的技术可适用于的机器人设备100的功能结构的示意图。
图4是图解说明控制单元320的结构的示图。
图5是图解说明机器人设备100的检测摄像机镜头上的污垢和划痕之间的差异，和手上的污垢和划痕之间的差异的过程的流程图。
图6是图解说明把手移动到更靠近头上的立体摄像机镜头之处，以获得手的图像A的状态的示图。
图7是图解说明把手移动到更靠近头上的鱼眼摄像机镜头之处，以获得手的图像A的状态的示图。
图8是图解说明作为基准图像获得的手的图像A的例子的示图。
图9是图解说明相互相邻的手的图像A和包含部位X的手的图像B的示图。
图10是图解说明其中归因于摄像机镜头上的污垢或划痕，在手的图像B和手的图像C上，在部位X中相关性都变高的状态的示图。
图11是图解说明其中归因于手表面上的污垢或划痕，由于污垢或划痕随着手的移动而移动，在手的图像B和手的图像C上，在部位X中相关性都变低的状态的示图。
图12是图解说明其中机器人设备100擦去头部上的鱼眼摄像机镜头上的污垢的状态的示图。
具体实施方式
下面参考附图，详细说明在本说明书中公开的技术的实施例。
图1图解说明在本说明书中公开的技术可适用于的机器人设备100的外观。机器人设备100是通过利用关节，连接多个链节而获得的链节结构，其中每个关节由致动器操作。图2示意地图解说明机器人设备100的关节的自由度结构。图解所示的机器人设备100主要设置在家庭环境中，用于提供家务、护理等；机器人设备100也可用于各种用途，比如工业用途。
图解所示的机器人设备100具备作为移动装置，在底座部分上彼此相对的两个驱动轮101R和101L。驱动轮101R和101L由分别绕俯仰轴转动的驱动轮致动器102R和102驱动。同时在图2中，附图标记151、152和153表示不存在的欠驱动的关节，所述欠驱动的关节对应于机器人设备100相对于地板表面，分别在X方向(前后方向)的平移自由度，在Y方向(左右方向)的平移自由度，和绕偏转轴的转动自由度，以表示机器人设备100在虚拟世界中来回移动。
移动装置通过髋关节连接到上身。腰关节由绕俯仰轴转动的腰关节俯仰轴致动器103驱动。上身由通过颈关节连接的左右双臂和头部构成。左右臂都具有总共7个自由度，包括肩关节的3个自由度，肘关节的2个自由度，和腕关节的2个自由度。肩关节的3个自由度由肩关节俯仰轴致动器104R/L，肩关节滚转轴致动器105R/L和肩关节偏转轴致动器106R/L驱动。肘关节的2个自由度由肘关节俯仰轴致动器107R/L和肘关节偏转轴致动器108R/L驱动。腕关节的2个自由度由腕关节滚转轴致动器109R/L和腕关节俯仰轴致动器110R/L驱动。颈关节的2个自由度由颈关节俯仰轴致动器111和颈关节偏转轴致动器112驱动。手关节的1个自由度由手关节滚转轴致动器113R/L驱动。
同时，尽管图解所示的机器人设备100具备对置两轮式移动装置，不过在本说明书中公开的技术的范围并不局限于对置两轮式移动装置。例如，在本说明书中公开的技术也可类似于应用于具备腿式移动装置的机器人设备100。
图3示意地图解说明机器人设备100的功能结构。机器人设备100由整体控制全部操作，并进行其它数据处理的控制单元320，输入/输出单元340，驱动单元350和电源单元360构成。下面说明各个单元。
输入/输出单元340包括对应于机器人设备100的眼睛的摄像机305，对应于机器人设备100的耳朵的麦克风306，作为输入单元布置在诸如头部和背部之类部位，用于检测用户触摸等的压敏传感器308。作为输出单元，包括对应于嘴的扬声器307，借助照明的闪烁和定时的组合，产生面部表情的LED指示器(眼睛灯)309，等等。同时，除了对应于左眼和右眼的立体摄像机之外，摄像机305还包括具有大体在头部中央的鱼眼镜头的摄像机。
驱动单元350是实现机器人设备100的各个关节的自由度的功能模块，由在各个关节分别为滚转轴、俯仰轴和偏转轴设置的多个驱动单元构成。每个驱动单元由进行绕预定轴的转动操作的电动机351，检测电动机351的转动位置的编码器352，和根据编码器352的输出，自适应地控制电动机351的转动位置和转动速度的驱动器353组合构成。
电源单元360是向机器人设备100中的各个电路供电的功能模块，由可再充电电池361和充/放电控制器362构成，充/放电控制器362管理可再充电电池361的充/放电状态。
图4更详细地图解说明控制单元320的结构。如图中图解所示，控制单元320具有其中作为主控制器的CPU(中央处理器)401通过总线连接到存储器和其它电路组件，以及外设的结构。CPU401可以通过指定每个装置的地址，在总线408上与每个装置通信。
RAM(随机存取存储器)402用于载入CPU401执行的程序代码，和临时保存运行的程序的工作数据。ROM(只读存储器)403永久保存当通电时执行的自检测试程序，和定义机器人设备100的操作的控制程序。非易失性存储器404由电可擦可重写存储器件，比如EEPROM(电可擦可编程ROM)构成，用于非易失性地保存将被连续更新的数据，比如加密密钥和其它安全信息，和出厂后待安装的控制程序。
机器人设备100的控制程序包括处理摄像机305、麦克风306、压敏传感器308等的传感器输入，以进行识别的识别处理程序，控制诸如每个关节电动机351的驱动和扬声器307的音频输出之类的操作的控制程序，等等。
接口405是与控制单元320中的装置互连，以便实现数据交换的装置。接口405实现控制单元320与摄像机305、麦克风306和扬声器307之间的数据输入/输出。接口405还进行控制单元和驱动单元350中的各个驱动器353-1…之间的数据和命令的输入/输出。接口25具备用于连接计算机的外设的通用接口，比如诸如IEEE1394之类的并行接口，USB(通用串行总线)接口，和存储卡接口(卡槽)，可在计算机和本地连接的外部设备之间转移程序和数据。
此外，控制单元320包括无线通信接口406、网络接口卡(NIC)407等，可通过诸如蓝牙TM之类的邻近无线数据通信，诸如IEEE802.11之类的无线网络和诸如因特网之类的广域网，与各个外部主计算机进行数据通信。
按照本实施例的机器人设备100具备利用自主操作，检测摄像机305的镜头上的污垢和划痕的功能；其主要特征是通过利用借助摄像机305拍摄的机器人设备100的特定部位，比如手的图像作为基准图像，检测摄像机305的镜头上的污垢和划痕。这里，当借助摄像机305拍摄的手的图像被用作基准图像时，在检测时检测到的污垢和划痕可能归因于摄像机305的镜头和手两者；不过如后所述，按照本实施例的机器人设备100可以检测污垢和划痕是归因于摄像机305的镜头还是归因于手，并且可检测污垢和划痕之间的差异。
当在诸如手之类的物体抓握单元上存在污垢时，抓握的物体变脏，这会对接收该物体的人产生不良的心理影响。相反，按照本实施例的机器人设备100可检测手上的污垢，然后借助自主清洁操作等，除去所述污垢，以致不会对用户产生不良的心理影响。
图5图解说明机器人设备100的检测摄像机镜头上的污垢和划痕之间的差异和手上的污垢和划痕之间的差异的过程的流程图。
作为开始该过程的先决条件，预先获得基准图像。当如上所述，把通过对手拍照而获得的图像用作基准图像时，通过对相对于摄像机305放在特定位置的手拍照而获得的手的图像被登记为基准图像。下面把用作基准图像的手的图像称为“手的图像A”。
当除了对应于左眼和右眼的立体摄像机之外，摄像机305还包括大体在头部中央的具有鱼眼镜头的摄像机时，为立体摄像机镜头和鱼眼摄像机镜头都获得并登记手的图像A。图6图解说明把手移到更靠近头部的立体摄像机镜头，以获得手的图像A的状态。图7图解说明把手移到更靠近头部的鱼眼摄像机镜头，以获得手的图像A的状态。图8图解说明作为基准图像而获得的手的图像A的例子(图中的虚线围绕的区域对应于手的图像A)。
在检测处理中，首先获得检测图像(步骤S501)。通过按照如图6和7中图解所示，当获得基准图像时采取的相同姿势，分别利用头部的立体摄像机和头部的具有鱼眼镜头的摄像机对手拍照获得检测图像。下面把作为检测图像获得的手的图像称为“手的图像B”。
之后，计算手的图像A和手的图像B之间的相关性(步骤S502)。当在摄像机镜头和手表面上都没有污垢和划痕时，在整个图像内，手的图像A和手的图像B之间的相关性必定较高。于是，当作为步骤S502的计算图像之间的相关性的结果，在整个图像内相关性较高时，判定在摄像机镜头和手表面上都没有污垢和划痕(步骤S503)，然后结束该处理例程。
另一方面，当在获得手的图像A之后，摄像机镜头变脏或者被擦伤，和当手表面变脏或者被擦伤时，在具有污垢或划痕的部位处，图像之间的相关性变低。于是，当通过在步骤S502，计算图像之间的相关性，检测到具有低相关性的部位时，判定在摄像机镜头和/或手表面上存在污垢或划痕，从而执行后续处理。下面把图像之间的相关性低的部位称为“部位X”。图9图解说明相互相邻的手的图像A和包括部位X的手的图像B(图中用虚线围绕的区域对应于手的图像A和手的图像B)。可以理解就该附图来说，在部位X中，图像之间的相关性变低。
当在步骤S502，判定在摄像机镜头和/或手表面上存在污垢或划痕时，随后进行确定摄像机镜头和手表面之中的哪一个导致部位X中的低相关性的处理。
首先，按照如图6和7中图解所示，当获得基准图像时采取的相同姿势，相对于摄像机移动手，以对手的另一个位置拍照(步骤S504)。下面把此时获得的图像称为“手的图像C”。随后，计算手的图像B和手的图像C之间的相关性(步骤S505)。
如果其中当计算手的图像A和手的图像B之间的相关性时，所述相关性较低的地点X归因于摄像机镜头上的污垢或划痕，那么即使当移动手之后，在图像上的部位X中的相关性仍然较高。于是，当作为步骤S505的计算手的图像B和手的图像C之间的相关性的结果，在图像上的部位X中的相关性仍然较高时，判定在摄像机镜头上存在污垢或划痕(步骤S506)。图10图解说明其中归因于摄像机镜头上的污垢或划痕，在手的图像B和手的图像C上的部位X中，相关性都变高的状态(图中用虚线围绕的区域对应于手的图像B和手的图像C)。
另一方面，如果手的图像B的部位X归因于手表面上的污垢或划痕，那么在手被移动之后，在手的图像上该部位也移动。于是，当作为计算手的图像B和手的图像C之间的相关性的结果，在图像上的部位X中的相关性变低时，判定在手表面上存在污垢或划痕(步骤S507)。图11图解说明其中在手表面上存在污垢或划痕，以致污垢或划痕随着手的移动而移动，从而在手的图像B和手的图像C上的部位X中，相关性变低的状态(图中用虚线围绕的区域对应于手的图像B和手的图像C)。
当确定在摄像机镜头上存在污垢或划痕时，这首先被假定是污垢，从而清洁镜头上与部位X对应的具有污垢的部分(步骤S508)。尽管镜头的清洁工作可由用户手动完成，不过在本实施例中，机器人设备100进行自主工作，从而利用手，用镜头清洗器等擦去污垢。图12图解说明其中机器人设备100擦去头部的鱼眼摄像机镜头上的污垢的状态。
在擦去镜头上的污垢之后，按照如图6和7中图解所示，当获得基准图像时采取的相同姿势，分别利用头部的立体摄像机和头部的具有鱼眼镜头的摄像机，再次对手拍照(步骤S509)。下面把擦拭之后获得的手的图像称为“手的图像B'”。随后，重新计算手的图像A和手的图像B'之间的相关性(步骤S510)。
在摄像机镜头上存在污垢的情况下，通过清洁除去在部位X的镜头上的污垢，以致手的图像B'接近作为基准图像的手的图像A。当作为计算手的图像A和手的图像B'之间的相关性的结果，在整个图像内相关性较高时，推测完成了摄像机镜头的清洁，从而结束该处理例程(步骤S512)。
另一方面，清洁不能除去摄像机镜头上的划痕，从而在部位X中，手的图像B'和手的图像A之间的相关性仍然较低。当通过计算手的图像A和手的图像B'之间的相关性，检测到具有低相关性的部位时，判定在摄像机镜头上存在划痕(步骤S511)。当在摄像机镜头上存在划痕时，在要求用户更换镜头之后，机器人设备100可结束该处理例程(步骤S513)。
当判定在手表面上，存在污垢或划痕时，这首先被假定为污垢，从而清洁手表面上与部位X对应的具有污垢的部分(步骤S514)。尽管手的清洁工作可由用户手动完成，不过在本实施例中，机器人设备100进行自主工作。
在擦去手表面上的污垢之后，按照如图6和7中图解所示，当获得基准图像时采取的相同姿势，分别利用头部的立体摄像机和头部的具有鱼眼镜头的摄像机，再次对手拍照(步骤S515)，以获得手的图像B'。随后，重新计算手的图像A和手的图像B'之间的相关性(步骤S516)。
在手表面上存在污垢的情况下，通过清洁除去在部位X的手表面上的污垢，以致手的图像B'接近作为基准图像的手的图像A。当作为计算手的图像A和手的图像B'之间的相关性的结果，在整个图像内相关性较高时，推测完成了手表面的清洁，从而结束该处理例程(步骤S518)。
另一方面，清洁不能除去手表面上的划痕，以致在部位X中，手的图像B'和手的图像A之间的相关性仍然较低。当通过计算手的图像A和手的图像B'之间的相关性，检测到具有低相关性的部位时，判定在手表面上存在划痕(步骤S517)。当在手表面上存在划痕时，在要求用户更换手之后，机器人设备100可结束该处理例程(步骤S519)。
同时，尽管图5中未例示，不过在步骤S511完成摄像机镜头的清洁之后，或者在步骤S516完成手表面的清洁之后，机器人设备100可按照如图6和7中图解所示的姿势对手拍照，以更新基准图像。
如上所述，按照本实施例的机器人设备100可自动检测摄像机镜头上的污垢，并清除该污垢。另外，通过自动检测摄像机镜头上的污垢，并清除所述污垢，这可减少图像的错误检测。此外，机器人设备100可自动检测摄像机镜头上的划痕，并要求用户更换镜头。
按照本实施例的机器人设备100可自动检测手表面上的污垢，并清洁手。另外，通过自动检测手表面上的污垢，并清洁所述污垢，这可使用手抓握的物体保持清洁。此外，机器人设备100可自动检测手表面上的划痕，并要求用户更换手。
同时，在本说明书中公开的技术也具有以下结构。
(1)一种机器人设备，包括：摄像机；手；和控制器，所述控制器处理利用摄像机拍摄的图像，并控制手的操作，其中
所述控制器
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像，
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢，和
当检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上。
(2)按照(1)所述的机器人设备，其中当在整个图像内，第一检测图像和基准图像之间的相关性较高时，控制器判定在摄像机镜头和手上没有污垢，而当在图像上，存在具有低相关性的低相关性部位时，控制器检测在低相关性部位处的摄像机镜头或手上的污垢。
(3)按照(2)所述的机器人设备，其中当比较第二检测图像和第一检测图像时，当在图像上的低相关性部位处，相关性较高时，控制器判定摄像机镜头上有污垢，而当图像上的低相关性部位处，相关性较小时，控制器判定手上有污垢。
(4)按照(1)所述的机器人设备，其中当判定摄像机镜头上有污垢时，控制器擦拭摄像机镜头上的肮脏部分，随后比较通过对放在所述特定位置的手拍照而获得的第三检测图像和基准图像，以检测摄像机镜头上是否有划痕。
(5)按照(1)所述的机器人设备，其中当确定手上有污垢时，控制器擦拭手上的肮脏部分，随后比较通过对放在所述特定位置的手拍照而获得的第四检测图像和基准图像，以检测手上是否有划痕。
(6)一种控制机器人设备的方法，包括：
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和
当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
(7)一种控制机器人设备的计算机程序，所述计算机程序允许计算机执行：获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
(8)一种保存机器人设备的控制程序的程序存储介质，所述控制程序允许计算机执行：获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
上面关于具体实施例，详细说明了在本说明书中公开的技术。然而，显然本领域的技术人员可以修改或替换实施例，而不脱离在本说明书中公开的技术的范围。
尽管在本说明书中，主要说明了适用于对置两轮式机器人设备，不过在本说明书中公开的技术的范围并不局限于此。本技术也可类似于应用于具备摄像机和手的机器人设备，即使该机器人设备具备另一个移动装置，或者不具备移动装置。
尽管在本说明书中，通过对机器人设备的手拍照而获得的图像被用作基准图像，不过通过对机器人设备的除手以外的部位拍照而获得的图像也可用作基准图像。
尽管在本说明书中，主要说明了关于家务机器人的实施例，不过本技术显然也可类似地应用于用于各种用途的机器人设备，包括工业机器人。
总之，举例公开了本技术，从而不应限制地理解本说明书的内容。为了确定本技术的范围，应考虑权利要求书。
附图标记列表
100机器人设备，101驱动轮，102驱动轮致动器，103腰关节俯仰轴致动器，104肩关节俯仰轴致动器，105肩关节滚转轴致动器，106肩关节偏转轴致动器，107肘关系俯仰轴致动器，108肘关节偏转轴致动器，109腕关节滚转轴致动器，110颈关节俯仰轴致动器，111颈关节俯仰轴致动器，113手关节滚转轴致动器，151、152、153欠驱动的关节，305摄像机，306麦克风，307扬声器，308压敏传感器，309LED指示器，320控制单元，340输入/输出单元，350驱动单元，351电动机，352编码器，353驱动器，360电源单元，361可再充电电池，362充/放电控制器，401CPU，402RAM，403ROM，404非易失性存储器，405接口，406无线通信接口，407网络接口卡，408总线。

Claims (8)

1.一种机器人设备，包括：
摄像机；
手；以及
控制器，所述控制器处理利用摄像机拍摄的图像，并控制手的操作，其中
所述控制器
获得通过对相对于摄像机放在特定位置处的手拍照而得到的基准图像，
在污垢检测时，通过比较通过对放在所述特定位置处的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢，以及
当检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上。
2.按照权利要求1所述的机器人设备，其中
当在整个图像内第一检测图像和基准图像之间的相关性高时，控制器判定在摄像机镜头和手上没有污垢，而当在图像上存在具有低相关性的低相关性部位时，控制器检测到在低相关性部位处的摄像机镜头或手上的污垢。
3.按照权利要求2所述的机器人设备，其中
当比较第二检测图像和第一检测图像时，当在图像上的低相关性部位处相关性高时，控制器判定摄像机镜头上有污垢，而当图像上的低相关性部位处相关性低时，控制器判定手上有污垢。
4.按照权利要求1所述的机器人设备，其中
当判定摄像机镜头上有污垢时，控制器擦拭摄像机镜头上的肮脏部分，随后比较通过对放在所述特定位置处的手拍照而获得的第三检测图像和基准图像，以检测摄像机镜头上是否有划痕。
5.按照权利要求1所述的机器人设备，其中
当确定手上有污垢时，控制器擦拭手上的肮脏部分，随后比较通过对放在所述特定位置处的手拍照而获得的第四检测图像和基准图像，以检测手上是否有划痕。
6.一种控制机器人设备的方法，包括：
获得通过对相对于机器人的摄像机放在特定位置处的手拍照而得到的基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置处的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；以及
当在污垢检测步骤检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
7.一种控制机器人设备的计算机程序，所述计算机程序允许计算机执行：
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和
当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
8.一种保存机器人设备的控制程序的程序存储介质，所述控制程序允许计算机执行：
获得通过对相对于摄像机，放在特定位置的手拍照而得到的基准图像的步骤；
在污垢检测时，通过比较通过对放在所述特定位置的手拍照而获得的第一检测图像和基准图像，检测摄像机镜头或手上是否有污垢的污垢检测步骤；和
当在污垢检测步骤，检测到摄像机镜头或手上的污垢时，通过比较对移离所述特定位置的手拍照而得到的第二检测图像和第一检测图像，判定污垢在摄像机镜头和手之中的哪一个上的判定步骤。
CN201280023849.XA 2011-05-25 2012-04-16 机器人设备和控制机器人设备的方法 Expired - Fee Related CN103561917B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-117111 2011-05-24
JP2011117111A JP5953658B2 (ja) 2011-05-25 2011-05-25 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
PCT/JP2012/060248 WO2012160901A1 (ja) 2011-05-25 2012-04-16 ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにプログラム記憶媒体

Publications (2)

Publication Number Publication Date
CN103561917A true CN103561917A (zh) 2014-02-05
CN103561917B CN103561917B (zh) 2017-03-29

Family

ID=47216986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280023849.XA Expired - Fee Related CN103561917B (zh) 2011-05-25 2012-04-16 机器人设备和控制机器人设备的方法

Country Status (4)

Country Link
US (7) US9358690B2 (zh)
JP (1) JP5953658B2 (zh)
CN (1) CN103561917B (zh)
WO (1) WO2012160901A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997622A (zh) * 2014-03-27 2014-08-20 上海海事大学 无人值守监控摄像头的自动清洗方法
CN106493096A (zh) * 2015-09-08 2017-03-15 鸿富锦精密工业（深圳）有限公司 镜头自动清洁系统及镜头自动清洁方法
CN106527444A (zh) * 2016-11-29 2017-03-22 深圳市元征科技股份有限公司 清洁机器人的控制方法及清洁机器人
CN108780050A (zh) * 2018-03-29 2018-11-09 深圳达闼科技控股有限公司 检测镜头的方法及装置、电子设备和计算机可读存储介质
CN109551458A (zh) * 2017-09-27 2019-04-02 发那科株式会社 机器人系统
TWI656954B (zh) * 2017-12-27 2019-04-21 高明鐵企業股份有限公司 具有鏡頭自動清潔功能之夾爪結構總成
CN114613072A (zh) * 2022-04-18 2022-06-10 宁波小遛共享信息科技有限公司 共享车辆的还车控制方法、装置和电子设备
CN114778558A (zh) * 2022-06-07 2022-07-22 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953658B2 (ja) * 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
KR102102378B1 (ko) * 2013-12-12 2020-05-29 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
CN106102446A (zh) 2014-01-21 2016-11-09 苏州宝时得电动工具有限公司 自动割草机
EP2899692B1 (en) * 2014-01-28 2019-09-04 Honda Research Institute Europe GmbH Method, system, imaging device, movable device and program product for detecting static elements in video and image sources
US20150302569A1 (en) * 2014-04-22 2015-10-22 General Electric Company Sensing system for a cooktop appliance with airflow protected sensor
US9519289B2 (en) 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9751210B2 (en) 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
JP2019030218A (ja) * 2017-08-01 2019-02-21 国立大学法人電気通信大学 人型ロボットなどのサイバーフィジカルシステムにおける物理機能例外処理方式
JP6666370B2 (ja) 2018-01-31 2020-03-13 ファナック株式会社 物質付着シミュレーション装置
US10952591B2 (en) 2018-02-02 2021-03-23 Dishcraft Robotics, Inc. Intelligent dishwashing systems and methods
WO2019159321A1 (ja) * 2018-02-16 2019-08-22 三菱電機株式会社 異常検出装置及び異常検出方法
JP7327596B2 (ja) * 2018-08-10 2023-08-16 カシオ計算機株式会社 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
JP7354528B2 (ja) * 2018-08-10 2023-10-03 カシオ計算機株式会社 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
CN113068501A (zh) * 2020-01-06 2021-07-06 苏州宝时得电动工具有限公司 一种智能割草机
JP6965398B1 (ja) * 2020-05-14 2021-11-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム
CN113649318B (zh) * 2021-07-30 2022-08-23 中古文物保护集团有限公司 一种现场在线文物修复用仿生机械人
CN115847450B (zh) * 2023-02-24 2023-04-18 东莞市喜成电子科技有限公司 一种巡检机器人

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148083A (ja) * 1992-11-09 1994-05-27 Mazda Motor Corp 塗膜欠陥検出におけるレンズ汚れ検出方法及びその装置
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
CN101086599A (zh) * 2006-06-09 2007-12-12 索尼株式会社 成像装置,成像装置控制方法及计算机程序
CN101175187A (zh) * 2006-10-31 2008-05-07 索尼株式会社 图像存储设备、成像设备、图像存储方法及程序
JP2008160635A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラ状態検出方法
US20090074243A1 (en) * 2007-09-14 2009-03-19 Missotten Bart M A Method and apparatus for detecting errors in electronically processed images
EP2107500A2 (en) * 2008-03-14 2009-10-07 Omron Corporation Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device
JP2010172992A (ja) * 2009-01-28 2010-08-12 Toyota Motor Corp ロボット制御装置及び方法

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62203461A (ja) * 1986-03-04 1987-09-08 Canon Inc 画像読取方式
JPS62203460A (ja) * 1986-03-04 1987-09-08 Canon Inc 画像読取装置
JPH03163951A (ja) * 1989-11-22 1991-07-15 Nagano Japan Radio Co 画像読取部の汚れ検出装置
DE69123212T2 (de) * 1990-09-28 1997-04-10 Isuzu Motors Ltd Bilddetektionssystem für Wagen
JP3123095B2 (ja) * 1991-03-29 2001-01-09 株式会社日立製作所 ディスプレイの画面欠点検出方法
US5453676A (en) * 1994-09-30 1995-09-26 Itt Automotive Electrical Systems, Inc. Trainable drive system for a windshield wiper
JP3199984B2 (ja) * 1995-06-19 2001-08-20 旭光学工業株式会社 光学部材検査装置
US6681163B2 (en) * 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US20120116632A1 (en) * 1997-04-02 2012-05-10 Bechtel Jon H System for controlling vehicle equipment
JP3851423B2 (ja) * 1997-08-28 2006-11-29 株式会社ミツバ ワイパ制御方法
DE19742657A1 (de) * 1997-09-26 1999-04-01 Bosch Gmbh Robert Wischvorrichtung
DE19756502C2 (de) * 1997-11-07 1999-12-16 Daimler Chrysler Ag Steuereinrichtung für eine Scheibenwischereinrichtung
US6343185B1 (en) * 1998-10-26 2002-01-29 Fuji Photo Film Co., Ltd. Lens cleaning apparatus and method and recycling apparatus and method for lens-fitted photo film unit
US6791681B2 (en) * 2001-06-14 2004-09-14 Matsushita Electric Industrial Co., Ltd. Apparatus and method for determining existence range of foreign substance
US6596978B2 (en) * 2001-06-28 2003-07-22 Valeo Electrical Systems, Inc. Stereo imaging rain sensor
US6617564B2 (en) * 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
JP2004289532A (ja) 2003-03-24 2004-10-14 Fuji Photo Film Co Ltd 自動撮影装置
JP4245452B2 (ja) 2003-10-06 2009-03-25 富士通株式会社 レンズの汚れ判定方法及び装置
JP4092282B2 (ja) 2003-11-13 2008-05-28 三機工業株式会社 路面灯または反射鏡のガラス面洗浄方法とその洗浄システム
US20050205781A1 (en) * 2004-01-08 2005-09-22 Toshifumi Kimba Defect inspection apparatus
KR100571834B1 (ko) * 2004-02-27 2006-04-17 삼성전자주식회사 청소 로봇의 바닥 먼지 검출 방법 및 장치
EP2263448A3 (en) * 2004-03-30 2012-07-18 DeLaval Holding AB Arrangement and method for determining positions of the teats of a milking animal
US7359093B2 (en) * 2004-05-14 2008-04-15 Xerox Corporation Systems and methods for streak detection in image array scanning using overdetermined scanners and column filtering
US20060048800A1 (en) * 2004-09-09 2006-03-09 Rast Rodger H Automated building exterior cleaning apparatus
JP4150858B2 (ja) * 2004-09-17 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置
US7718943B2 (en) * 2004-09-29 2010-05-18 Gentex Corporation Moisture sensor for optically detecting moisture
JP4838261B2 (ja) * 2004-11-18 2011-12-14 ジェンテックス コーポレイション 車両機器制御用の画像収集及び処理システム
JP4528648B2 (ja) * 2005-02-28 2010-08-18 シャープ株式会社 自走式ロボットシステム
JP4483631B2 (ja) * 2005-03-08 2010-06-16 株式会社デンソー ワイパ駆動制御装置
JP2006268498A (ja) * 2005-03-24 2006-10-05 Funai Electric Co Ltd 自走式掃除機
DE102005021671A1 (de) * 2005-05-11 2006-11-16 Bayerische Motoren Werke Ag Reinigungsvorrichtung für eine Kamera eines Kraftfahrzeugs
JP4388912B2 (ja) * 2005-05-31 2009-12-24 株式会社ニデック 眼鏡レンズ加工装置
US7587081B2 (en) * 2005-09-28 2009-09-08 Deere & Company Method for processing stereo vision data using image density
US20070127135A1 (en) * 2005-11-01 2007-06-07 Nikon Corporation Exposure apparatus, exposure method and device manufacturing method
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US7492270B2 (en) * 2006-01-10 2009-02-17 Guardian Industries Corp. Rain sensor with sigma-delta modulation and/or footprinting comparison(s)
JP4956009B2 (ja) * 2006-02-02 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法
FR2901218B1 (fr) * 2006-05-22 2009-02-13 Valeo Vision Sa Procede de detection de pluie sur un parebrise
WO2007141858A1 (ja) * 2006-06-08 2007-12-13 Fujitsu Limited 汚れ検出方式
JP4771539B2 (ja) * 2006-07-26 2011-09-14 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP2007098567A (ja) * 2006-09-25 2007-04-19 Hitachi Ltd 自律制御型ロボットおよびその制御装置
US7961946B2 (en) * 2007-05-15 2011-06-14 Digisensory Technologies Pty Ltd Method and system for background estimation in localization and tracking of objects in a smart video camera
JP4664327B2 (ja) * 2007-05-16 2011-04-06 株式会社日立ハイテクノロジーズ パターン検査方法
DE102008033204A1 (de) * 2008-07-15 2010-02-04 Trw Automotive Electronics & Components Gmbh Optischer Sensor
WO2010038223A1 (en) * 2008-10-01 2010-04-08 Hi-Key Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
CA2739718C (en) * 2008-10-10 2013-09-10 Mic Pty Ltd In situ sub marine net cleaning and inspecting device
DE102008061616B4 (de) * 2008-12-11 2021-06-10 Bcs Automotive Interface Solutions Gmbh Optische Sensorvorrichtung
DE102008062977A1 (de) * 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild
TW201027220A (en) * 2009-01-05 2010-07-16 Primax Electronics Ltd Method for assembling an image capturing device
US8466960B2 (en) * 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
JP5469899B2 (ja) * 2009-03-31 2014-04-16 株式会社トプコン 自動追尾方法及び測量装置
DE102009018319A1 (de) 2009-04-22 2010-10-28 Wincor Nixdorf International Gmbh Selbstbedienungsterminal mit mindestens einer Kamera zum Erkennen von Manipulationsversuchen
US8376595B2 (en) * 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
CN101961221B (zh) * 2009-07-22 2012-05-30 泰怡凯电器(苏州)有限公司 除尘装置
CN102753933B (zh) 2010-02-15 2015-06-10 株式会社理光 透明物体检测系统和透明平板检测系统
WO2011108582A1 (ja) * 2010-03-04 2011-09-09 日本電気株式会社 異物判定装置、異物判定方法および異物判定プログラム
KR101634248B1 (ko) * 2010-03-11 2016-06-28 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP5953658B2 (ja) * 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
US8977002B2 (en) 2011-07-11 2015-03-10 Bae Systems Information And Electronic Systems Integration Inc. Method of point source target detection for multispectral imaging
US8493505B2 (en) * 2011-10-05 2013-07-23 Hwan Ming Enterprise Co., Ltd. Automatic clean device for a surveillance camera
IL217093A (en) * 2011-12-19 2015-06-30 P S I Pool Services Israel Ltd Automatic Pool Cleaner and Energy Saving Pool Cleaner Method
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP5883732B2 (ja) * 2012-07-03 2016-03-15 クラリオン株式会社 環境認識装置
JP5957378B2 (ja) * 2012-12-28 2016-07-27 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
JP2015022192A (ja) * 2013-07-19 2015-02-02 株式会社ニューフレアテクノロジー 検査装置
CN107533763B (zh) * 2015-05-14 2021-09-28 索尼公司 图像处理装置、图像处理方法及程序
US9538170B1 (en) * 2015-09-08 2017-01-03 Hon Hai Precision Co., Ltd. Camera lens cleaning system and method of using same
KR102595300B1 (ko) * 2016-07-04 2023-10-31 삼성전자주식회사 검사 방법 및 시스템, 및 이를 이용한 반도체 패키지의 제조 방법
KR101898217B1 (ko) * 2016-12-29 2018-09-12 엘지디스플레이 주식회사 검사장비 및 이를 이용한 검사방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148083A (ja) * 1992-11-09 1994-05-27 Mazda Motor Corp 塗膜欠陥検出におけるレンズ汚れ検出方法及びその装置
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
CN101086599A (zh) * 2006-06-09 2007-12-12 索尼株式会社 成像装置,成像装置控制方法及计算机程序
CN101175187A (zh) * 2006-10-31 2008-05-07 索尼株式会社 图像存储设备、成像设备、图像存储方法及程序
JP2008160635A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラ状態検出方法
US20090074243A1 (en) * 2007-09-14 2009-03-19 Missotten Bart M A Method and apparatus for detecting errors in electronically processed images
EP2107500A2 (en) * 2008-03-14 2009-10-07 Omron Corporation Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device
JP2010172992A (ja) * 2009-01-28 2010-08-12 Toyota Motor Corp ロボット制御装置及び方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997622A (zh) * 2014-03-27 2014-08-20 上海海事大学 无人值守监控摄像头的自动清洗方法
CN103997622B (zh) * 2014-03-27 2017-02-22 上海海事大学 无人值守监控摄像头的自动清洗方法
CN106493096A (zh) * 2015-09-08 2017-03-15 鸿富锦精密工业（深圳）有限公司 镜头自动清洁系统及镜头自动清洁方法
CN106493096B (zh) * 2015-09-08 2018-11-09 鸿富锦精密电子(天津)有限公司 镜头自动清洁系统及镜头自动清洁方法
CN106527444A (zh) * 2016-11-29 2017-03-22 深圳市元征科技股份有限公司 清洁机器人的控制方法及清洁机器人
CN106527444B (zh) * 2016-11-29 2020-04-14 深圳市元征科技股份有限公司 清洁机器人的控制方法及清洁机器人
CN109551458A (zh) * 2017-09-27 2019-04-02 发那科株式会社 机器人系统
CN109551458B (zh) * 2017-09-27 2020-11-13 发那科株式会社 机器人系统
US10870205B2 (en) 2017-09-27 2020-12-22 Fanuc Corporation Robot system
TWI656954B (zh) * 2017-12-27 2019-04-21 高明鐵企業股份有限公司 具有鏡頭自動清潔功能之夾爪結構總成
CN108780050A (zh) * 2018-03-29 2018-11-09 深圳达闼科技控股有限公司 检测镜头的方法及装置、电子设备和计算机可读存储介质
CN114613072A (zh) * 2022-04-18 2022-06-10 宁波小遛共享信息科技有限公司 共享车辆的还车控制方法、装置和电子设备
CN114778558A (zh) * 2022-06-07 2022-07-22 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法
CN114778558B (zh) * 2022-06-07 2022-09-09 成都纵横通达信息工程有限公司 基于视频图像的桥梁监测装置、系统及方法

Also Published As

Publication number Publication date
US20180015617A1 (en) 2018-01-18
US20160236352A1 (en) 2016-08-18
JP2012245570A (ja) 2012-12-13
US10421190B2 (en) 2019-09-24
US11794351B2 (en) 2023-10-24
US20210237277A1 (en) 2021-08-05
US9802320B2 (en) 2017-10-31
CN103561917B (zh) 2017-03-29
US10675764B2 (en) 2020-06-09
US11014245B2 (en) 2021-05-25
US20200238532A1 (en) 2020-07-30
WO2012160901A1 (ja) 2012-11-29
US20190366555A1 (en) 2019-12-05
JP5953658B2 (ja) 2016-07-20
US11000954B2 (en) 2021-05-11
US20200238533A1 (en) 2020-07-30
US9358690B2 (en) 2016-06-07
US20140074292A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CN103561917A (zh) 机器人设备，控制机器人设备的方法，计算机程序和程序存储介质
US20180311812A1 (en) Mobile videoconferencing robot system with autonomy and image analysis
US11119484B2 (en) Vacuum cleaner and travel control method thereof
CN103760976B (zh) 基于Kinect的手势识别智能家居控制方法及系统
US20070038332A1 (en) Apparatus, method and computer program product for controlling behavior of robot
CN108430264B (zh) 用于提供刷洗过程反馈的方法和系统
CN103128736A (zh) 机器人装置、其控制方法和计算机程序
JP6677198B2 (ja) ロボットの故障診断支援システム及び故障診断支援方法
US20220388160A1 (en) Control device, control system, robot system, and control method
JP6150429B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
JP2020137000A (ja) 映像記録装置およびヘッドマウントディスプレイ
TW201908901A (zh) 操作自走式服務設備之方法
JP2016218534A (ja) 画像表示システムおよび画像表示方法
JP6103112B2 (ja) 撮像装置及び撮像装置の制御方法、コンピューター・プログラム、並びにプログラム記憶媒体
CN111168691A (zh) 机器人控制方法、控制系统以及机器人
CN112384344A (zh) 控制设备、控制方法和程序
JP6365710B2 (ja) ロボット制御装置及びロボットの制御方法、並びにコンピューター・プログラム
JP2004301796A (ja) ロボット、並びにランドマークの位置推定システム及び位置推定方法、並びにランドマーク
WO2017130649A1 (ja) 自律型ロボット
CN109907696A (zh) 自律行驶体以及自律行驶体系统
JP2006263874A (ja) コミュニケーションロボット
CN205792656U (zh) 一种基于机器人硬件框架控制器局域网络通信系统
KR101498851B1 (ko) 가시광 통신을 이용한 지능형 청소 시스템
WO2022239052A1 (ja) 空調システム、制御装置、空調制御方法およびプログラム
Khan et al. WI-FI Based Robot Controlling by Webpage Interface and Video Monitoring

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170329

CF01 Termination of patent right due to non-payment of annual fee