CN100451897C - 远程操作机器人 - Google Patents

远程操作机器人 Download PDF

Info

Publication number
CN100451897C
CN100451897C CNB028290429A CN02829042A CN100451897C CN 100451897 C CN100451897 C CN 100451897C CN B028290429 A CNB028290429 A CN B028290429A CN 02829042 A CN02829042 A CN 02829042A CN 100451897 C CN100451897 C CN 100451897C
Authority
CN
China
Prior art keywords
robot
image
buildings
tele
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028290429A
Other languages
English (en)
Other versions
CN1628274A (zh
Inventor
冈林桂树
冈林美和
村濑有一
清水胜敏
岩下纯久
泽崎直之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN1628274A publication Critical patent/CN1628274A/zh
Application granted granted Critical
Publication of CN100451897C publication Critical patent/CN100451897C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0227—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area
    • G05D1/0229—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area in combination with fixed guiding means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

远程操作机器人(1)具有存放建筑物的布置图的布置图存放设备(2)；接受从远方的终端一侧对该布置图内的位置的指示的设备(3)；以及控制机器人向该指定位置的移动的移动控制设备(4)。自己位置识别方法是由装载图像拍摄方向可以改变的像机的机器人执行的方法。预先对机器人可能在其中移动的各房间的全景图像进行拍摄，从该全景图像切出多个分块图像生成参照图像，利用在机器人所在的位置拍摄的全景图像内与该分块图像同样大小的图像和参照图像，通过相关运算和DP匹配识别机器人所在的房间。

Description

远程操作机器人
技术领域
本发明涉及机器人的控制及利用技术，特别涉及，比如，置于建筑物中，可以从远地，比如，经因特网进行远程操作的机器人的控制及利用技术，以及用来正确认识机器人现在的位置和方向的机器人自己位置识别方法。
背景技术
历来，为了从远地监视空宅等一直使用因特网摄像机(头)。不过，存在的问题是因特网摄像机的设置地点是固定的，在想要观察建筑物中的各个房间时，必须针对全部房间设置摄像机，并且多个摄像机和主计算机的连接复杂，成本增大。
另外，为了从远地对空宅用的家用电器进行操作，正在开发可以与LAN连接的信息家电，但存在的问题是对不能与LAN相连接的现有的电器不能进行操作。
还有，比如，对于可在建筑物中移动的自主移动型机器人，为了进行用户指示的作业，首先必须识别自己的位置。并且，一般为了使机器人自主移动，必须有机器人易于识别的白线等的地标。
可是一直存在的问题是，对于一般的住宅等等而言，不可能在住宅内绘制特征性的地标，并且即使是将已有的特征点作为地标进行记录，由于机器人的位置引起的摄像机的图像上对象物的大小的改变，只从图像简单判断地标是困难的。
本发明系有鉴于上述问题而完成的发明，其目的在于提供一种可以以比较低廉的成本和简单的结构实现从远地简单地指示在建筑物内机器人应该移动的目的位置，并且具有可以从远地对各房间进行监视，对各房间中的家用电器进行操作的功能的远程操作机器人，以及机器人可以正确固定自己的位置和取向的机器人自己位置识别方法。
发明内容
本发明提供一种可以从远方进行操作的远程操作机器人，其特征在于，具有：存放建筑物的布置图的布置图存放设备；从远方的终端一侧接受对该布置图内的位置的指示的通信设备；以及控制机器人向该指定位置的移动的移动控制设备。
本发明还提供一种可以从远方进行操作的远程操作机器人，其特征在于，具有：存放建筑物的布置图的布置图存放设备；从远方的终端一侧接受对该布置图内的房间的指示的通信设备；以及控制机器人向该指定房间的移动的移动控制设备。
本发明还提供一种可以从远方进行操作的远程操作机器人，其特征在于，具有：对建筑物内的图像进行拍摄的图像摄影设备；和将该机器人定期或不定期地在建筑物内巡回时利用该图像摄影设备拍摄的图像，从外部经由网络发送到具有可参照的存储器的计算机的通信设备。
本发明还提供一种可以从远方进行操作的远程操作机器人，其特征在于，具有：对建筑物内的图像进行拍摄的图像摄影设备；和将该机器人定期或不定期地在建筑物内巡回时利用该图像摄影设备拍摄的图像，从外部经由网络贮存到可参照的存储器中的计算机。
本发明还提供一种可以从远方进行操作的远程操作机器人，其特征在于，具有：存放分别与该机器人的一个或一个以上的动作相对应的各脚本程序的脚本存放设备；和从外部接受关于执行存放在该脚本存放设备中的某一程序的指示的通信设备。
本发明还提供一种可以从远方进行操作的远程操作机器人，其特征在于，具有：接受来自建筑物内的人员的紧急时的联络指示的指示接受设备；和根据该指示与预先确定的远方一侧的终端进行该紧急联络的通信设备。
图1为本发明的原理构成框图，机器人1包括布置图存放设备2、通信设备3以及移动控制设备4。
布置图存放设备2是存放建筑物，比如，住宅的布置图的装置，通信设备3是从远方一侧经网络接受从该远方一侧指示在该布置图内的位置的装置，而移动控制设备4是控制机器人向指示的位置移动的装置。
在本发明的实施方式中，远程操作机器人也可以具有用来根据障碍物传感器的台阶检测结果，跨越在建筑物内存在的台阶的台阶跨越设备。另外，机器人还具有识别在建筑物内的现在的位置和方向的自己位置识别设备，移动控制设备4可以根据该识别结果控制机器人的移动。
在本发明中，图1的通信设备3也可以从远方一侧的终端接受对建筑物内的布置图内的房间的指示，在此场合，移动控制设备4可控制机器人向指定的房间，比如，入口进行移动。
另外，本发明的远程操作机器人，也可具有对建筑物内的图像进行拍摄的图像摄影设备和定期或不定期地将在建筑物内巡回时利用图像摄影设备拍摄的图像，从外部经网络发送到具有可参照的存储器的计算机，比如与因特网相连接的Web服务器，的通信设备。或者也可以是在机器人本身内部具有这种计算机，比如Web服务器。
在此场合，在实施方式中也可以具有用来使图像摄影设备的拍摄方向改变的转动设备和用来与图像摄影设备的拍摄方向并行地对机器，比如，家用电器进行操作用的可进行红外线发射/接收的红外线发射/接收设备。并且，也可以具有上述的台阶跨越设备。
此外，在此场合，在通信设备收到自外部经因特网发送来的振铃信号次数达到预先规定的次数时，也可以启动上述的计算机，比如Web服务器。
其次，本发明的远程操作机器人，具有存放分别与机器人的大于等于一个动作相对应的脚本程序的脚本存放设备和接受来自外部的关于执行所存放的某一程序的指示的通信设备。
本发明的远程操作机器人，具有接受建筑物内的人员，比如，住宅的居住者，对外部发出的紧急时的联络指示的指示接受设备和根据该指示与预先确定的外部终端进行紧急联络的通信设备。
在此场合，在实施方式中，机器人也可以具有对建筑物内的图像进行拍摄的图像摄影设备，用来使图像摄影设备的拍摄方向改变的转动设备，以及根据来自外部的对拍摄方向的指示将利用图像摄影设备拍摄的图像发送到外部的通信设备。
本发明的机器人自己位置识别方法是由装载图像拍摄方向可以改变的像机的机器人执行的方法，使用的是预先对机器人可能在其中移动的各房间的全景图像进行拍摄，从该全景图像切出多个分块图像生成参照图像，利用在机器人所在的位置拍摄的全景图像内与该分块图像同样大小的图像和参照图像，通过相关运算和DP匹配识别机器人所在的房间的方法。
在此场合，在实施方式中，也可以将在房间内预先拍摄的地标的图像作为参照样板，求出在机器人所在的位置拍摄的图像上的该地标的位置，通过立体观测计测到地标的距离，识别在所识别的房间中的自己的位置和方向。
另外，在实施方式中，也可以抽取所拍摄的地标的图像内的纵线，利用两个像机的拍摄方向与其纵线的方向形成的角，精密地识别机器人的位置和方向。
如上所述，根据本发明，比如，可以从远方一侧给出在建筑物内的布置图中机器人应该移动的目的地位置或目的房间的指示。并且，通过利用机器人可能于其中移动的各房间的全景图像，可以识别机器人存在的房间。
附图说明
图1为本发明的原理构成框图。
图2为本实施方式的远程操作机器人的构成框图。
图3为从远方进行的机器人操作方式的说明图。
图4为远程操作机器人的外观图。
图5为示出远程操作机器人的内部构造的示图。
图6为示出远程操作机器人的部件构成的示图。
图7为针对对移动目的地的位置的机器人的处理流程图。
图8为图7的处理中的远方一侧终端的布置图的显示例。
图9为指示移动目的房间的名称时的机器人的处理流程图。
图10为与图9的处理相对应的远方一侧终端的显示画面例。
图11为房间的全景图像拍摄方法的说明图。
图12为机器人所在房间的识别处理的流程图。
图13为在识别处理中使用的图像相关运算的说明图。
图14为在识别所在的房间后的机器人位置的概略识别处理的流程图。
图15为在识别所在的房间后的机器人位置的精密识别处理的流程图。
图16为在图14、图15的处理中求得的机器人的位置的说明图。
图17为利用机器人对远方进行紧急联络处理的流程图。
图18为从远方一侧确认由机器人拍摄的图像的方法(其一)的说明图。
图19为从远方一侧确认由机器人拍摄的图像的方法(其二)的说明图。
图20为使机器人执行预先编程的动作的方法的说明图。
具体实施方式
图2为本实施方式的远程操作机器人的构成框图。在该图中，机器人具有控制用计算机10；移动机构11；用来对机器人的周围进行摄影的像机12；用来调整像机的水平转动角度及仰角或俯角的全景(パンチルト)云台13；比如与像机12设置在同一云台上，与像机12的拍摄方向并行地发送红外线，为学习遥控数据接收红外线的红外线收发机14；无线通信部15；输入装置16；指点装置17；显示装置18；各种开关19以及各种传感器20。
在图2中，像机12，比如，是摄像机，红外线收发机14设置于像机12的附近，可以在与该拍摄方向相同的方向上发送红外线。该台可利用作为像机转动机构的全景云台13朝向任意方向，比如可从远方在观看像机12的图像的同时为操作该方向的家用电器发送红外线。
无线通信部15是为了可以借助便携式电话、PDA(个人数字助理)等的便携式信息终端或个人计算机等执行这种从远方进行的操作的通信的装置。
图3为从远方进行的机器人操作方式的说明图。在本实施方式中，可以经网络，比如因特网，从远方操作机器人，因此在机器人一侧设置Web服务器。
在图3中，在图2的机器人控制用计算机10的内部设置有Web服务器21，和执行控制操作的操作执行部22之间配置有CGI(公共网关接口)及ISAPI(因特网服务器应用程序编程接口)等的接口23。于是可以从远方通过Web浏览器24、因特网25访问Web服务器21。
在图3中，从Web浏览器24一侧通过菜单选择连接到因特网25，在Web服务器21中根据来自Web浏览器24一侧的指示调用CGI/ISAPI23，在CGI/ISAPI23中命令形式改变为适于机器人操作的形式并由操作执行部22执行指令。
从控制用计算机10一侧将从操作执行部22送回的状态及图像数据发送到CGI/ISAPI23，改变数据形式，由Web服务器21经过因特网25作为html文件提供给Web浏览器24一侧，在Web浏览器24一侧进行菜单显示及图像显示。
图4为远程操作机器人的外观图。左侧示出其前面的外观，而右侧示出其后面的外观。在前面配置有与图2的像机12相当的立体像机31、与红外线收发机14相当的家电遥控器32、与各种开关19相当的电源开关33、菜单开关34、用作障碍物检测传感器的缓冲器开关35以及，如后所述，建筑物居民用来与外部进行紧急联络的紧急按钮36。
另外，移动部37与移动机构11相当，监视器38与显示装置18相当，近程传感器39与各种传感器20相当，并且还配置有送话器40、扬声器41及轨迹指示器42。在后面配置有与图2的全景云台13相对应的全景云台单元43。
图5示出远程操作机器人的内部构造。在该图中示出与图4的立体像机31相当的USB像机，与近程传感器39相当的测距传感器以及与监视器38相当的LCD。
在本实施方式中，通过配置左右各一个履带和大于等于一个的可自由转动的从动轮(辅助轮)作为移动机构11，使用了机器人可以跨越障碍物及台阶而移动的机构。此履带，是可以在垂直车轮转动轴的中心的平面内转动的结构，在信地转动时，与履带的形式相比就如同是左右两个车轮那样动作。并且，其结构，由于辅助轮可以以点接触方式接触地面，接地点稳定，整个机器人的信地转动中心稳定，可以跨越比机器人的构体底面的高度更高的障碍物。另外，作为跨越台阶的机构，当然也可以采用其他公知的技术。
图6为示出远程操作机器人的部件构成的示图。在该图中，CPU基板51上的主CPU53和扩展基板52上的MPU控制器65相当于图2的控制用计算机10，图3所示的控制用计算机10的内部的Web服务器21，比如，可以以主CPU53为中心构成。或者，如后所述，可以将Web服务器与机器人分开设置，在该场合，在机器人和因特网之间另外配置服务器计算机。
在图6中，与主CPU53相连接的有指点装置54；用户扩展用USB(通用串口总线)端口55；与送话器56和扬声器57连接的声音编码译码器58；连接了LCD59的LCD接口60；以及分别通过控制部的CF(CF存储卡)61和通信模块62。
另外，在MPU控制器65及HUB64上配置有CMOS像机66；用来控制图2的全景云台13的转动的两个电动机67；用来使作为移动机构11的图5的履带及从动轮转动的三个电动机68；装载LED及按钮开关的开关辅助基板69；距离传感器70；全景(水平转动角)用电位器71；倾斜(仰俯角)用电位器72；红外线发送器73；红外线接收器74；与AC适配器75和电池76相连接的DC/DC充电电路77。
图7为针对在本实施方式中，从远方接收到与布置图相对应的对移动目的地的位置的指示的场合的机器人的处理的说明图。在该图中，在机器人一侧，预先将建筑物的布置图存放于存储器中，将该布置图的图像传送到远方的客户机的终端一侧，客户机通过向机器人一侧指示布置图上的移动目的地位置，执行用来使机器人向着该目的地移动的处理。
在图7中在处理开始时，首先在步骤S1中进行机器人对自己位置的测定。关于这一自己位置测定见后述。于是，在步骤S2中从远方的客户机一侧接收，在该客户机一侧比如可在移动终端上显示的图像尺寸的数据的发送。
接着，在步骤S3中，将保持于存储器上的布置图图像的尺寸利用从客户机一侧发送来的图像尺寸的数据变换为该尺寸，保存该变换比例，在步骤S4中将包含在步骤S1中测定的自己位置的信息的布置图的图像发送到客户机一侧，在步骤S5中取得从客户机一侧指示的目的地的位置的坐标。
之后，在步骤S6中，从在步骤S3中保存的变换比例信息和客户机指示的目的地位置的坐标计算出实际比例尺的目的地坐标，在步骤S7中生成到达目的地的路径，在步骤S8中向目的地移动，在步骤S9中判定是否已经移动到目的地，在移动完成之前重复步骤S8以下的处理，在判定移动完成时，结束处理。
图8为图7的处理中的远方一侧的客户机的便携式电话等的终端的布置图的显示例。在该图中，在显示画面上显示出布置图，机器人的现在位置及其取向由卧室上的三角印表示，并且客户机指示的机器人的移动目标位置以起居室上的光标表示。
图9为从客户机一侧不是指示移动目的地位置而是指示移动目的房间的名称或房间编号等时的机器人的处理流程图。下面对在该图中与图7不同的部分予以说明。
在图9中，在处理开始时，进行步骤S1、S2的处理，但因为从客户机一侧不是指示目的地的位置，而是指示房间的名称等，就不需要保存在图7的步骤S3中的变换比例，可直接在步骤S4中将包含自己位置信息的布置图图像发送到客户机，代替图7的步骤S5、S6的处理，在步骤S10中从客户机一侧接受应该移动的目的房间名或房间编号的数据，在步骤S11中从目的房间名或房间编号利用预先登记的显示各房间每一个的目标位置，比如房间的入口的位置，的对应表，可获得目标位置的坐标，之后与图7一样执行步骤S7～S9的处理。
图10为与图9的处理相对应的远方一侧终端的显示画面例。在该图中，显示用来在显示画面上指示布置图和移动目标位置的菜单，客户机，通过在菜单上指示确定的房间，机器人执行向着该房间移动的处理。此处，是假设在显示画面上显示布置图，但布置图的显示本身并非必需，通过在客户机一侧只进行目的房间名等的指示，可减轻处理工作，可使处理高速化。
下面，比如，对在步骤S1中的机器人的自己位置的取得，即自己位置的识别方法予以说明。在本实施方式中，将预先由机器人对建筑物内的各房间的全景图像进行拍摄并进行登记，通过与在现在机器人所在的房间中拍摄的全景图像进行比较，进行对机器人所在的房间及正确的位置的识别。
图11为在预先对建筑物内的各房间的全景图像进行登记的场合的全景图像的拍摄方法的说明图。就是说，作为准备阶段，在各房间中，将机器人设置于房间的，比如，中心，比如以30度为一步使像机转动取得图像并进行合成，比如通过缩小处理而生成360度的全景图像。此处，为了缩短计算等的处理时间，可对整体进行压缩，或者由于在过分鲜明的图像中在识别位置时与拍摄的图像的匹配结果可能不佳，进行平均化处理。
图12为机器人所在房间的识别处理的流程图，图13为在识别处理中使用的图像相关运算的说明图。首先，在图12中处理开始时，在步骤S20～S22中，生成作为在图11中说明的准备阶段的全景图像的摄影和在实际位置识别时使用的参照样板。
就是说，在步骤S20中，对机器人有可能在其中移动的区域的各个房间拍摄全景图像，在步骤S21中，将该全景图像缩小，并且实施平均化处理，而在步骤S22中，从该全景图像中，比如，以等间距，即在横向上以等间隔，切出小分块的图像，将该图像进行扩大和缩小(扩缩)，就可生成参照样板。
图13上方的图就是这样切出的小分块的图像的例子。比如，作为n个房间的登记图像，就是从各个房间的全景图像分别切出k个小分块的图像。
图12的步骤S23以下的处理，示出现在机器人所在的房间的识别处理。首先，在步骤S23中，对机器人现在所在的房间拍摄全景图像，在步骤S24中，将该全景图像缩小，并且实施平均化处理，并在步骤S25以下进行与参照样板的比较。
图13下方的图像就是对机器人现在所在的房间切出图像的例子。在现在所在的房间全景图像中，将开始切出的位置作为探索基准位置，利用xrange个小分块的图像作为探索范围，进行与n个房间的登记图像的比较。
在图12的步骤S25中判定对登记的全部房间是否都已经进行处理，在还未全部进行处理时，在步骤S26中对于参照分块号，即对图13的n个房间的每一个登记的切出图像的k个，判定参照是否还未结束。
在未结束时，在步骤S27中判定对探索范围号，即从图13的现在机器人所在的房间的全景图像的探索基准位置起xrange像素的探索范围的探索是否结束，在未结束时，在步骤S28中判定扩缩号，即在作为在步骤S22中切出的小分块图像进行扩大或缩小的结果图像的n个图像之中，与现在的房间的图像进行比较的图像的号是否达到n。
在还未达到n时，在步骤S29中，进行对参照样板、即成为处理对象的房间的成为处理对象小分块图像和成为处理对象的扩缩号的参照样板，与利用探索范围号指定的现在的房间的全景图像的相关性的运算。于是，在步骤S30中，扩缩号递增，重复步骤S28以下的处理。
在步骤S28中判定扩缩号不是小于等于n时，即对n个扩缩号的图像的处理未结束时，在步骤S31中，将对处理中的探索范围号的图像最相关运算结果小的扩缩号的图像作为该探索位置的探索结果之后，在步骤S32中，将探索范围号的值递增，重复步骤S27以下的处理。另外，此处作为相关运算，比如，可以求出与每个图像的浓度差的绝对值相当的畸变，其值越小，图像间的匹配率越大。
在步骤S27中判定探索范围号不是小于等于xrange时，由于对处理中的参照分块号的图像的比较结束，在步骤S33中在参照分块号递增之后，重复步骤S26以下的处理。
在步骤S26中判定探索范围号不是小于等于k时，由于对处理中的房间的比较结束，在步骤S34中，生成作为该房间的相关结果的小分块图像k个和由探索范围xrange决定的二维矩阵，在步骤S35中，将相关运算的运算结果和距离作为参数，比如，通过进行动态规划(DP：Dynamic Programming)匹配算出成本，求出处理中的房间的成本的最小值。
另外，由上述的小分块图像数k个和探索范围的xrange个决定的行数和列数的二维矩阵的各元素，在使图13的k个小分块图像扩缩的各个n个参照样板之中，成为与在现在的全景图像的各探索位置的图像之间的相关运算值最小的参照样板相当的数据。
另外，DP匹配的距离，与在图13的下方的图中以探索基准位置为基准的横向的距离，即xrange的值相当，通过执行将相关运算结果和距离作为参数算出成本的一般DP匹配，可在步骤S35中求出对应于处理中的房间的最小成本的值。
于是，在步骤S36中将房间号递增，重复步骤S25以下的处理，在步骤S25中判定对全部房间都进行了处理时，就在步骤S37中，将在步骤S35中对各房间算出的成本中成本最小的房间判定为现在机器人所在的房间而结束处理。
图14、图15为在图12的处理中在识别机器人所在的房间后，在该房间中识别机器人的位置的处理的流程图。图14为机器人的概略位置的识别处理，图15为精密位置的识别处理的流程图。
在图14中，在处理开始时，首先，在识别实际的机器人的位置之前，在步骤S40中，进行如图11中所说明的摄影，在登记的全景图像之中，选择地标，比如，选择柱体，将该图像上的位置和实际的房间的位置进行登记，在步骤S41中从全景图像中切出柱体的图像，生成扩缩样板。
接着，作为实际的机器人的概略位置的识别处理，首先，在步骤S42中，将与机器人现在所在的房间，即通过图12的处理识别的房间，相同的房间的柱体的扩缩样板作为参照图像进行相关运算，确定现在的全景图像中的柱体的位置，将在步骤S43中确定的从机器人起到柱体的位置的距离利用立体观测求出而识别机器人所在的概略位置。
图16为如此求得的机器人的位置的说明图。在该图中，比如，从房间的四个角部的柱体算起的距离在步骤S43中求出，与各个距离相当的圆弧的交点相当的四方形的内部作为机器人的概略位置的识别结果而求出。
图15为从图14中求出的机器人的概略位置进行更精密的位置识别处理的流程图。在该图中，在处理开始时，首先，在步骤S45中，为了从柱体的图像抽取纵线、即柱体的棱边，(1)抽取棱边；(2)二值化；(3)求出纵向投影的直方图。所谓的纵向投影的直方图是由于在纵向检测到的棱边之中，比如，像桌子这样的高度低的物品的棱边的直方图的值小，所以将具有最大值的棱边作为柱体的棱边求出的图表，由此可以抽出柱体的棱边。
接着，在步骤S46中，求出抽出的纵线、即柱体的棱边，和两个像机的各自的拍摄方向构成的角度。
于是，在步骤S47中，为了精密求出在房间中的机器人所在的位置和方向，在房间中以矩阵形状设定假想的点，将在各点的机器人的取向作为参数，求出与该机器人的位置和姿态相对应的柱体的纵线和两个像机的拍摄方向构成的角度，算出与在步骤S46中求出的角度的值的差相对应的值作为成本，在步骤S48中将该成本成为最小的位置和方向作为机器人现在的位置和方向的精密的值求出而结束处理。
图16的四边形内的三角形，示出通过图15的处理所识别的机器人的现在的精密位置和方向。这样识别出的机器人的位置和方向的数据，根据需要，比如，可由图2的无线通信部15通知客户机一侧。
下面接着图10对远程操作机器人的实施方式进一步进行说明。图17为操作机器人对远方进行紧急联络处理的流程图。如在图4中所说明的，机器人具有紧急按钮，比如，在建筑物的居住者想要与远地进行紧急事态联系时，通过按下紧急按钮，就可以进行与远方的联系。
就是说，在图17中，在处理开始时，在步骤S50中，对紧急按钮进行监视，在步骤S51中，判定紧急按钮是否按下，在未按下时，重复进行步骤S50以下的处理，而在按下时，就在步骤S52中，通过向预先登记的联络地址发送电子邮件或打电话通知紧急事态而结束处理。
之后，在本实施方式中，利用图18及图19对借助机器人拍摄的建筑物内，比如，房间的图像从远方一侧确认的方法予以说明。在图18中，比如，机器人80定期在建筑物内巡回，将拍摄的各房间的图像经无线LAN发送到具有Web服务器的服务器计算机81，通过从远方一侧访问此Web服务器就可以对图像进行参照。
就是说，在服务器计算机81的内部，配置有接受由机器人80发送来的图像数据的套接服务器82和Web服务器83，由机器人80发送来的图像在Web服务器83的内贮存于可从外部进行参照的文件夹内。在远方一侧，利用Web浏览器24经过因特网25将图像取得指令发送到Web服务器83，而由Web服务器83经过因特网25将发送来的图像进行显示。
另外，在此场合，比如，在图6中，作为通信模块62是使用插入到连接器中的LAN网卡等。
在图19中，与图3中一样，在控制用计算机10的内部设置有Web服务器21，Web浏览器24可经过因特网25访问Web服务器21而对图像进行参照。此处，比如，PHS卡等可作为图6的通信模块62插入到连接器中。
另外，在经过因特网25发送到机器人一侧的振铃信号次数达到预先规定的次数时，也可以启动Web服务器21而使从外部进行访问成为可能。
最后，在本实施方式中，利用图20对从远方向机器人一侧指定预先设置的脚本，由机器人执行预先编程的动作的方法予以说明。在该图中，对应从客户机侧的浏览器85发出的指示(命令)，通过远方操作机器人86的内部的命令分析/执行部87对该命令的分析，在该命令是指示脚本选择及其执行的命令时，由脚本选择/执行部88选择预先在机器人一侧设置的多个机器人动作脚本891～89n中的某一个并执行其动作。
如上面所详述的，根据本发明，通过在远方一侧的终端上显示的，比如，布置图上指定移动目的地，就可以使远程操作机器人向该目的地移动。
另外，通过从远方一侧对建筑物内的图像的确认，也可从远方一侧使机器人执行预先编程的动作，另外，建筑物的居住者也可以进行紧急联络。
本发明可提供一种经过因特网对家用电器进行操作，从远地对空宅的状况进行监视的功能，以及机器人可以正确识别自己的位置的位置识别方法，可应用于所有的利用远程操作机器人的产业及必须精密识别机器人的自己位置的产业。具体言之，可应用于家电产业、大厦管理产业等各种产业。

Claims (12)

1.一种可以从远方进行操作的远程操作机器人，其特征在于，具有：
存放建筑物的布置图的布置图存放设备；
识别该机器人在上述建筑物内的现在的位置和方向的自己位置识别设备；
与远方的终端收发信息的通信设备；
从该远方的终端接收该终端能够显示的图像尺寸的数据，根据该接收到的图像尺寸的数据对上述布置图进行变换，保存该变换后的比例，并将包含由上述自己位置识别设备识别的自己位置的信息的布置图的图像发送到该远方的终端的设备；以及
接收从该远方的终端指示的位置的坐标，根据该位置的坐标和上述保存的比例信息，计算实际比例中的目的地坐标，控制机器人向该目的地移动的移动控制设备。
2.如权利要求1所述的远程操作机器人，其特征在于，还具有：
用来根据障碍物传感器的台阶检测结果，跨越在建筑物内存在的台阶的台阶跨越设备。
3.如权利要求1所述的远程操作机器人，其特征在于，具有：
对建筑物内的图像进行拍摄的图像摄影设备；和
将该机器人定期或不定期地在建筑物内巡回时利用该图像摄影设备拍摄的图像，发送到具有可从外部经由网络参照的存储器的计算机的通信设备。
4.如权利要求3所述的远程操作机器人，其特征在于，还具有：
用来根据障碍物传感器的台阶检测结果，跨越在建筑物内存在的台阶的台阶跨越设备。
5.如权利要求3所述的远程操作机器人，其特征在于，还具有：
用来使上述图像摄影设备的拍摄方向改变的转动设备；和
用来与该图像摄影设备的拍摄方向并行地进行红外线发射/接收的红外线发射/接收设备。
6.如权利要求3所述的远程操作机器人，其特征在于，上述通信设备是将要发送图像的计算机连接到因特网的Web服务器。
7.如权利要求1所述的远程操作机器人，其特征在于，具有：
对建筑物内的图像进行拍摄的图像摄影设备；和
将该机器人定期或不定期地在建筑物内巡回时利用该图像摄影设备拍摄的图像，贮存到可从外部经由网络参照的存储器中的计算机。
8.如权利要求7所述的远程操作机器人，其特征在于，还具有：
在接收到从外部经由因特网发送来的振铃信号的次数达到预先规定的次数时，启动上述计算机的通信设备。
9.如权利要求1所述的远程操作机器人，其特征在于，具有：
存放分别与该机器人的一个或一个以上的动作相对应的各脚本程序的脚本存放设备；和
从外部接受关于执行存放在该脚本存放设备中的某一程序的指示的通信设备。
10.如权利要求1所述的远程操作机器人，其特征在于，具有：
接受来自建筑物内的人员的紧急时的联络指示的指示接受设备；
和
根据该指示与预先确定的远方一侧的终端进行该紧急联络的通信设备。
11.如权利要求10所述的远程操作机器人，其特征在于，还具有：
对建筑物内的图像进行拍摄的图像摄影设备；
用来使该图像摄影设备的拍摄方向改变的转动设备；和
根据来自外部的对拍摄方向的指示将利用该图像摄影设备拍摄的图像发送到外部的通信设备。
12.一种可以从远方进行操作的远程操作机器人，其特征在于，具有：
存放建筑物的布置图的布置图存放设备；
识别该机器人在上述建筑物内的现在的位置和方向的自己位置识别设备；
与远方的终端收发信息的通信设备；
从该远方的终端接收该终端能够显示的图像尺寸的数据，并将包含由上述自己位置识别设备识别的自己位置的信息的布置图的图像发送到该远方的终端的设备；以及
接收从该远方的终端指示的目的房间名或房间编号的数据，从目的房间名或房间编号，并利用预先登记的表示备房间的目标位置的对应表，获得目标位置的坐标，控制机器人向该目标位置移动的移动控制设备。
CNB028290429A 2002-05-31 2002-05-31 远程操作机器人 Expired - Fee Related CN100451897C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/005370 WO2003102706A1 (fr) 2002-05-31 2002-05-31 Robot telecommande et procede d'identification automatique de la position de robot.

Publications (2)

Publication Number Publication Date
CN1628274A CN1628274A (zh) 2005-06-15
CN100451897C true CN100451897C (zh) 2009-01-14

Family

ID=29606642

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028290429A Expired - Fee Related CN100451897C (zh) 2002-05-31 2002-05-31 远程操作机器人

Country Status (7)

Country Link
US (1) US7120519B2 (zh)
EP (1) EP1510896B1 (zh)
JP (1) JP4448024B2 (zh)
KR (1) KR100812506B1 (zh)
CN (1) CN100451897C (zh)
AU (1) AU2002304133A1 (zh)
WO (1) WO2003102706A1 (zh)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330776B1 (en) 2000-10-06 2008-02-12 Innovation First, Inc. System, apparatus, and method for managing and controlling robot competitions
DE10150423A1 (de) * 2001-10-11 2003-04-30 Siemens Ag Verfahren und Anordnung sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Zuweisung einer Teilfläche einer in mehrere Teilflächen aufgeteilten Gesamtfläche an eine von mehreren mobilen Einheiten
AU2002344061A1 (en) * 2002-10-01 2004-04-23 Fujitsu Limited Robot
US7756322B2 (en) * 2003-08-18 2010-07-13 Honda Motor Co., Ltd. Picture taking mobile robot
KR100543709B1 (ko) * 2003-12-23 2006-01-20 삼성전자주식회사 이동체의 회전 이동량 이용 방법과 장치 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체
ATE524783T1 (de) * 2004-03-27 2011-09-15 Harvey Koselka Autonomer persönlicher dienstroboter
JP2006074207A (ja) * 2004-08-31 2006-03-16 Toshiba Corp 移動型情報装置とこの移動方法、及び情報システムと位置推定方法
KR20060059006A (ko) * 2004-11-26 2006-06-01 삼성전자주식회사 이동형 가전기기가 장애물을 회피하며 벽을 따라 이동하는방법 및 장치
US7436143B2 (en) * 2005-04-25 2008-10-14 M-Bots, Inc. Miniature surveillance robot
JP4824362B2 (ja) * 2005-08-01 2011-11-30 本田技研工業株式会社 移動ロボットの制御装置
EP2050544B1 (en) 2005-09-30 2011-08-31 iRobot Corporation Robot system with wireless communication by TCP/IP transmissions
JP4650750B2 (ja) * 2005-12-16 2011-03-16 株式会社Ｉｈｉ 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
CN101331379B (zh) * 2005-12-16 2012-04-11 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
US8116558B2 (en) * 2005-12-16 2012-02-14 Ihi Corporation Three-dimensional shape data position matching method and device
US8884763B2 (en) * 2006-10-02 2014-11-11 iRobert Corporation Threat detection sensor suite
WO2008076192A2 (en) 2006-11-13 2008-06-26 Raytheon Sarcos Llc Versatile endless track for lightweight mobile robots
JP5411702B2 (ja) 2006-11-13 2014-02-12 レイセオン カンパニー 可動アームを有するロボット式無限軌道車
CN102141181B (zh) 2006-11-13 2014-10-08 雷神萨科斯公司 蛇形机器人履带车
US8002365B2 (en) 2006-11-13 2011-08-23 Raytheon Company Conformable track assembly for a robotic crawler
KR100857603B1 (ko) * 2007-03-29 2008-09-09 삼성전자주식회사 전자부품 검사 시스템 및 그 제어방법
EP2144659A1 (en) 2007-05-07 2010-01-20 Raytheon Sarcos, LLC Method for manufacturing a complex structure
WO2008152733A1 (ja) * 2007-06-15 2008-12-18 Fujitsu Limited ロボット
JP2009011362A (ja) * 2007-06-29 2009-01-22 Sony Computer Entertainment Inc 情報処理システム、ロボット装置及びその制御方法
WO2009009673A2 (en) 2007-07-10 2009-01-15 Raytheon Sarcos, Llc Modular robotic crawler
KR101469246B1 (ko) * 2007-08-07 2014-12-12 삼성전자주식회사 로봇에서 사진 촬영하는 장치 및 방법
CN101456183A (zh) * 2007-12-14 2009-06-17 鸿富锦精密工业（深圳）有限公司 机器人及操控该机器人的无线通讯装置
WO2009089369A1 (en) * 2008-01-08 2009-07-16 Raytheon Sarcos, Llc Point and go navigation system and method
JP5201411B2 (ja) * 2008-11-21 2013-06-05 株式会社Ｉｈｉ バラ積みピッキング装置とその制御方法
US8392036B2 (en) 2009-01-08 2013-03-05 Raytheon Company Point and go navigation system and method
WO2010144813A1 (en) 2009-06-11 2010-12-16 Raytheon Sarcos, Llc Method and system for deploying a surveillance network
US8317555B2 (en) 2009-06-11 2012-11-27 Raytheon Company Amphibious robotic crawler
TWI409717B (zh) * 2009-06-22 2013-09-21 Chunghwa Picture Tubes Ltd 適用於電腦產品與影像顯示裝置的影像轉換方法
JP5542521B2 (ja) * 2010-05-13 2014-07-09 株式会社日立製作所 自由に設置可能なネットワークカメラ装置
WO2011144968A1 (en) * 2010-05-19 2011-11-24 Nokia Corporation Physically-constrained radiomaps
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US9400503B2 (en) 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
KR101855831B1 (ko) 2011-05-12 2018-05-09 엘지전자 주식회사 청소 장치, 및 복수의 로봇 청소기를 이용한 협동 청소 방법
JP5707238B2 (ja) * 2011-06-02 2015-04-22 株式会社日立製作所 画像検索装置及び画像検索システム
US8919476B2 (en) 2011-07-11 2014-12-30 Holland Moving & Rigging Supplies, Inc. Platform dolly system
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
JP2013242738A (ja) * 2012-05-22 2013-12-05 Sharp Corp ロボット装置、端末装置、ロボット装置の遠隔操作システム及びプログラム
US8393422B1 (en) 2012-05-25 2013-03-12 Raytheon Company Serpentine robotic crawler
JP6052576B2 (ja) * 2012-05-30 2016-12-27 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
JP5898022B2 (ja) * 2012-09-18 2016-04-06 シャープ株式会社 自走式機器
US9031698B2 (en) 2012-10-31 2015-05-12 Sarcos Lc Serpentine robotic crawler
CN103903219A (zh) * 2012-12-26 2014-07-02 联想(北京)有限公司 一种信息处理方法及系统
US20140249695A1 (en) * 2013-03-01 2014-09-04 Robotex Inc. Low latency data link system and method
CN104183168B (zh) * 2013-05-28 2018-04-27 中建八局第一建设有限公司 建筑施工4d远程考核系统
US9409292B2 (en) 2013-09-13 2016-08-09 Sarcos Lc Serpentine robotic crawler for performing dexterous operations
US9566711B2 (en) 2014-03-04 2017-02-14 Sarcos Lc Coordinated robotic control
US20150283703A1 (en) * 2014-04-03 2015-10-08 Brain Corporation Apparatus and methods for remotely controlling robotic devices
EP2933604B1 (en) * 2014-04-14 2016-11-30 Softbank Robotics Europe A method for localizing a robot in a localization plane
US9860077B2 (en) 2014-09-17 2018-01-02 Brain Corporation Home animation apparatus and methods
US9849588B2 (en) 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US9821470B2 (en) 2014-09-17 2017-11-21 Brain Corporation Apparatus and methods for context determination using real time sensor data
CN105741532B (zh) * 2014-12-11 2019-08-16 华为终端有限公司 具有红外遥控功能的终端，以及红外遥控配对方法
US10102226B1 (en) 2015-06-08 2018-10-16 Jasmin Cosic Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
US10071303B2 (en) 2015-08-26 2018-09-11 Malibu Innovations, LLC Mobilized cooler device with fork hanger assembly
EP3356090B1 (en) * 2015-09-29 2020-12-23 Koninklijke Philips N.V. Automatic robotic arm calibration to camera system using a laser
EP3401750B1 (en) * 2016-01-04 2023-01-11 Zhejiang Libiao Robots Co., Ltd. Method and device for returning robots from site
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
CN105446162B (zh) * 2016-01-26 2018-11-20 北京进化者机器人科技有限公司 一种智能家居系统以及机器人的智能家居控制方法
JP6864433B2 (ja) * 2016-01-29 2021-04-28 東芝ライフスタイル株式会社 電気掃除機
CN105867433A (zh) * 2016-03-31 2016-08-17 纳恩博（北京）科技有限公司 一种移动控制方法、移动电子设备及移动控制系统
US10807659B2 (en) 2016-05-27 2020-10-20 Joseph L. Pikulski Motorized platforms
CN106094816A (zh) * 2016-05-31 2016-11-09 芜湖智久机器人有限公司 一种agv的bs控制系统
CN106155059A (zh) * 2016-08-16 2016-11-23 邹霞 基于视觉的智能无人驾驶系统
CN106774315B (zh) * 2016-12-12 2020-12-01 深圳市智美达科技股份有限公司 机器人自主导航方法和装置
DE102016124913A1 (de) * 2016-12-20 2018-06-21 Miele & Cie. Kg Verfahren und Vorrichtung zum Erkennen eines Raumes mittels eines Bodenpflegegeräts sowie Bodenpflegegerät
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
JP6809267B2 (ja) * 2017-02-10 2021-01-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2018185182A (ja) * 2017-04-25 2018-11-22 東京電力ホールディングス株式会社 位置特定装置
JP7012988B2 (ja) * 2017-05-31 2022-01-31 ヴイストン株式会社 情報通信デバイス
US10100968B1 (en) 2017-06-12 2018-10-16 Irobot Corporation Mast systems for autonomous mobile robots
CN107314773B (zh) * 2017-08-18 2019-10-01 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及基于该地图的路径规划方法
JP6812325B2 (ja) * 2017-10-26 2021-01-13 株式会社日立ビルシステム ロボット管理システム
KR102463806B1 (ko) 2017-11-09 2022-11-07 삼성전자주식회사 이동이 가능한 전자 장치 및 그 동작 방법
US11687092B2 (en) 2018-04-23 2023-06-27 Sharkninja Operating Llc Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest
US11110595B2 (en) 2018-12-11 2021-09-07 Irobot Corporation Mast systems for autonomous mobile robots
CN110658827B (zh) * 2019-10-25 2020-06-23 嘉应学院 一种基于物联网的运输车自动引导系统及其方法
JP7425406B2 (ja) 2020-03-23 2024-01-31 東京電力ホールディングス株式会社 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル
CN111738148B (zh) * 2020-06-22 2024-02-20 复旦大学 一种利用红外巡检拍摄的故障识别方法
CN114721385A (zh) * 2022-04-07 2022-07-08 未岚大陆(北京)科技有限公司 虚拟边界建立方法、装置、智能终端及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11283152A (ja) * 1998-03-27 1999-10-15 Sharp Corp 遠隔制御システム
JP2000202792A (ja) * 1999-01-14 2000-07-25 Sharp Corp 掃除ロボット
JP2000342498A (ja) * 1999-06-09 2000-12-12 Toyota Autom Loom Works Ltd 清掃ロボット
CN1284177A (zh) * 1997-11-27 2001-02-14 阳光及自动化公司 移动机器人及其控制系统的改进
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2002135259A (ja) * 2000-10-20 2002-05-10 Ricoh Co Ltd ネットワークシステムおよび端末装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01128152A (ja) * 1987-11-12 1989-05-19 Mitsubishi Electric Corp シリアルｉ／ｏ回路
JP3176701B2 (ja) * 1992-04-15 2001-06-18 本田技研工業株式会社 移動体の現在位置認識処理装置
JP3314109B2 (ja) * 1993-12-02 2002-08-12 富士重工業株式会社 自律走行作業車の自己位置検出方法
ATE441897T1 (de) * 1995-02-13 2009-09-15 Intertrust Tech Corp Systeme und verfahren zur verwaltung von gesicherten transaktionen und zum schutz von elektronischen rechten
JPH08247775A (ja) * 1995-03-15 1996-09-27 Toshiba Corp 移動体の自己位置同定装置および自己位置同定方法
US6368177B1 (en) * 1995-11-20 2002-04-09 Creator, Ltd. Method for using a toy to conduct sales over a network
US5809171A (en) * 1996-01-05 1998-09-15 Mcdonnell Douglas Corporation Image processing method and apparatus for correlating a test image with a template
US6154566A (en) * 1996-05-15 2000-11-28 Omron Corporation Method and apparatus for determining image similarity and position
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
JP3641335B2 (ja) * 1996-12-03 2005-04-20 シャープ株式会社 全方位視覚センサを用いた位置検出方法
KR19980061602A (ko) * 1996-12-31 1998-10-07 추호석 위치추적장치를 이용한 도장로보트 시스템 및 거리보정방법
KR100266986B1 (ko) * 1998-06-20 2000-10-02 배길성 로봇 청소기의 충전기 추적장치 및 그 방법
JP3494075B2 (ja) * 1999-05-25 2004-02-03 三菱電機株式会社 移動体の自己位置標定装置
JP3874985B2 (ja) * 2000-02-18 2007-01-31 富士通株式会社 画像演算装置
FR2808644B1 (fr) * 2000-05-04 2003-07-25 Centre Nat Etd Spatiales Procede et dispositif interactifs de diffusion d'images emises par une camera video montee sur un robot

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1284177A (zh) * 1997-11-27 2001-02-14 阳光及自动化公司 移动机器人及其控制系统的改进
JPH11283152A (ja) * 1998-03-27 1999-10-15 Sharp Corp 遠隔制御システム
JP2000202792A (ja) * 1999-01-14 2000-07-25 Sharp Corp 掃除ロボット
JP2000342498A (ja) * 1999-06-09 2000-12-12 Toyota Autom Loom Works Ltd 清掃ロボット
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2002135259A (ja) * 2000-10-20 2002-05-10 Ricoh Co Ltd ネットワークシステムおよび端末装置

Also Published As

Publication number Publication date
WO2003102706A1 (fr) 2003-12-11
JP4448024B2 (ja) 2010-04-07
EP1510896A4 (en) 2005-12-14
EP1510896A1 (en) 2005-03-02
KR20050003402A (ko) 2005-01-10
JPWO2003102706A1 (ja) 2005-09-29
CN1628274A (zh) 2005-06-15
US20050071047A1 (en) 2005-03-31
AU2002304133A1 (en) 2003-12-19
EP1510896B1 (en) 2016-03-09
KR100812506B1 (ko) 2008-03-11
US7120519B2 (en) 2006-10-10

Similar Documents

Publication Publication Date Title
CN100451897C (zh) 远程操作机器人
CN105659170B (zh) 用于向远程用户传送视频的方法及视频通信装置
JP5617246B2 (ja) 画像処理装置、物体選択方法及びプログラム
US9829873B2 (en) Method and data presenting device for assisting a remote user to provide instructions
JP2011159163A (ja) 画像処理装置、画像処理方法及びプログラム
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US20220078344A1 (en) Communication terminal, display method, and non-transitory computer-readable medium
JP2019211337A (ja) 情報処理装置、システム、情報処理方法及びプログラム
CN112667139A (zh) 基于增强现实的机器人操作方法、装置、设备和存储介质
CN102025912B (zh) 图像拍摄系统、设备和方法以及信息处理设备
JP7379785B2 (ja) ３ｄツアーの比較表示システム及び方法
CN115713616A (zh) 一种房源空间模型生成方法、装置、终端设备及存储介质
Sawasaki et al. Application of humanoid robots to building and home management services
Song et al. Systems, control models, and codec for collaborative observation of remote environments with an autonomous networked robotic camera
CN111890352A (zh) 基于全景导航的移动机器人触控式遥操作控制方法
Tsubouchi et al. A SLAM based teleoperation and interface system for indoor environment reconnaissance in rescue activities
KR102196683B1 (ko) 3d 투어 촬영 장치 및 방법
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
KR20140075963A (ko) 이동 단말을 이용한 카메라 원격 제어 장치 및 방법
KR20120046981A (ko) 위치정보 기반의 영상데이터의 처리 방법 및 장치
CN114268771A (zh) 视频查看方法、移动终端及计算机可读存储介质
CN115830280A (zh) 数据处理方法、装置、电子设备及存储介质
CN117297400A (zh) 清洁方法、清洁展示方法、清洁设备及计算机程序产品
JP2020096353A (ja) 中継装置、通信システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090114

Termination date: 20200531