CN103608741A - 由移动机器人来追踪及跟随运动对象 - Google Patents
由移动机器人来追踪及跟随运动对象 Download PDFInfo
- Publication number
- CN103608741A CN103608741A CN201280028950.4A CN201280028950A CN103608741A CN 103608741 A CN103608741 A CN 103608741A CN 201280028950 A CN201280028950 A CN 201280028950A CN 103608741 A CN103608741 A CN 103608741A
- Authority
- CN
- China
- Prior art keywords
- robot
- module
- follow
- environment
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000001953 sensory effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011278 co-treatment Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
机器人使用传感器数据追踪对象,并且跟随用户所选择的对象。该对象可以由用户从机器人所识别出的一组对象中指定。机器人和该对象的相对位置和定向被确定。机器人的位置和定向可以被使用以便维持对象和机器人间的期望关系。通过使用机器人的导航系统,在机器人运动期间,障碍可以被避开。如果机器人失去与正被追踪的对象的联系,机器人可以继续导航并搜索环境直到对象被重新获取。
Description
背景
通常通过引导机器人按照特定方向或沿着指定路径或朝向指定位置运动来控制移动机器人的运动。机器人可包括允许其在按照指定方向或朝向指定位置或沿着指定路径运动时避开障碍的传感器。
例如,通常由正在观看常由机器人上的相机提供的实况视频馈送的操作员来远程地控制机器人。在观看视频时,操作员可以引导机器人按照各种方向运动以及执行各种操作。这种控制的一个挑战是时常需要调整机器人上相机和话筒的位置。
作为另一个示例,机器人通常被引导绕一个空间或多个空间运动以执行各种任务。此类任务可以包括清洁或拍照或收集其他传感器输入。在此类任务期间,机器人可以自主地运动并避开障碍,并因而较少被操作员控制或不被操作员控制。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
通过把机器人使用传感器数据(诸如音频和视频信息)来标识和追踪对象(诸如人)的能力与测量对象的位置及定向的能力相结合,机器人可以被指令追踪及跟随对象。要被追踪及跟随的对象可以由用户从一组被机器人识别的对象中指定。被追踪的对象可以是人。在许多情况下,通过仅识别或追踪对象的一部分(诸如面部或头部)可以识别并追踪对象。
例如,可使用应用到机器人的传感器输入的多种模式识别技术中的任何一种来识别对象。例如,面部识别或形状识别可以被应用到图像数据。语音识别或声源定位可以被应用到由一组话筒采集的音频数据。
用户可以是本地的或远程的。本地用户可以基于他或她的语音或其它用户输入来向机器人提供跟随对象(包括他自己或她自己)的指令。通过用户界面使得远程用户能够输入对机器人识别出的一个或多个对象中的一对象的选择。
在给定被选择的对象的情况下,可以确定对象和机器人的相对位置及定向,诸如x、y位置及定向。运动控制系统可随后控制机器人的运动以维持相对于被追随对象的指定相对位置及定向。在此运动期间,可以使用常规的避障技术来避开障碍。在某些情况下,障碍将遮掩从其识别被追随对象的传感器信息。在此情况下,机器人可以诸如在对象的最后已知方向上继续导航并搜索环境以尝试重新获取对象。如果对象被重新获取,追踪继续。
因此,在一方面,用于追踪及跟随对象的过程涉及从机器人接收传感器数据进存储器。使用传感器数据来追踪机器人环境中的对象。机器人被引导运动以便维持机器人相对于被追踪对象的中的一个或多个的相对位置及定向。使用传感器数据来控制机器人的运动以便避开障碍。
在另一方面,用于追踪及跟随对象的计算机器包括对象识别模块,对象识别模块具有从机器人环境接收传感器数据的输入,以及指示在环境中识别出的对象的输出。追踪及跟随模块具有指示要被追踪的被选择对象的输入,以及指示供机器人跟随被选择对象的位置及定向的输出。导航模块具有接收位置及定向的输入,以及引导机器人沿着避开障碍的路径运动到期望位置及定向的、到机器人的运动控制系统的输出。
在一个实施例中,使用户能够选择机器人被引导跟随的被追踪的对象中的一个或多个。可向用户提供实况视频馈送,被追踪的对象在该实况视频馈送中被指示。
在另一个实施例中,如果对对象的追踪跟丢对象,则过程还包括尝试重新获取对跟丢的对象的追踪。尝试重新获取对跟丢的对象的追踪可包括调整机器人的位置及定向。
在一个实施例中,两个机器人可以维持会话,在该会话中每个机器人追踪并跟随在其环境中的人。以此方式,处于不同位置的两个人(每人都有机器人)在他们各自都在其相应的环境中到处运动时可以相互“访问”(例如,相互看到并听到),如果两个机器人都追踪及跟随相应的参与者并将他们保持在相机框内的话。每个人可指令相应的机器人跟随他自己或她自己。通过维持机器人相对于人的相对位置及定向,相机和话筒可保持对着人。
在以下描述中,对附图进行了参考,附图构成了实施方式的一部分且在其中作为示例示出了本发明技术的具体示例实现。可以理解,可以使用其它实施例并且可以做出结构上的改变而不背离本发明的范围。
附图简述
图1是示例移动机器人系统的框图。
图2是示出追踪及跟随的示例实现的数据流程图。
图3是描述图2的系统的操作的流程图。
图4是描述用于机器人的远程呈现应用的示例设置的流程图。
图5是在其中可以实现这样的系统的示例计算设备的框图。
详细描述
以下部分提供在其中可以实现由机器人进行追踪及跟随的示例操作环境。参考图1,移动机器人100具有数个组件。
传感器102检测有关周围环境及该环境中对象104的信息。传感器102将传感器数据106作为输入提供给机器人的系统的其余部分。示例传感器包括但不限于一个或多个摄像机、一个或多个话筒(诸如话筒阵列)、红外探测器以及邻近度探测器。本发明不限于传感器102的特定设置或布置,只要传感器提供的传感器数据106使对象能够被识别并被追踪或者使障碍能被避开。
对象识别模块108使用传感器数据106来标识对象,以及它们在空间中相对于机器人100的位置及定向。运动控制模块110控制机器人100的运动方向和速度。导航模块112基于障碍回避以及其他路径跟随过程来确定运动控制模块的方向114。对象识别、运动控制及导航系统可以以本领域普通技术人员已知的多种方式中的任何一种来实现,并且本发明并不因此而受限。
在定期的时间帧处,对象识别模块提供有关识别出的对象116的信息,包括每个对象的位置及定向以及描述对象的信息,诸如对象的标识符。可以对机器人的传感器输入应用各种模式识别技术以识别对象。例如,对象识别模块108可以使用视频信息和处理图像来标识特定形状或面部。邻近度探测器可提供有关对象到机器人100的距离的信息。通过随着时间处理图像并追踪对象,对象识别模块108可以确定对象是否在运动。可以使用声源定位来标识发出声音的对象(诸如人及他或她的语音)的位置。对象识别模块108向下文将要更加详述的用户界面118和追踪及跟随模块122提供有关识别出的对象116的信息。
在许多应用中,要被识别及追踪的对象是人。识别及追踪可以识别对象的一部分,诸如面部。一旦对象被识别,就可以通过监视对象的一点或一区域来追踪对象。例如,如果机器人跟随人,它可以首先识别面部随后跟随身体上的一点或一区域。
在一个示例实现中,用户界面118允许用户查看有关被识别的对象的信息并提供指示哪个对象要被机器人100追踪及跟随的用户选择120。用户选择120被提供给机器人100中的追踪及跟随模块122,追踪及跟随模块122使用来自对象追踪模块108的信息并引导导航模块112来确定机器人100如何追踪及跟随对象。在另一个实现中,用户界面处理传感器数据以确定操作员的指令。例如,用户可以说“跟随”或作手势以提供用户选择120,指令机器人100跟随在其视野内被识别出的人或对象。
给定该上下文的情况下,将结合附图2-4详述追踪及跟随模块122的示例实现。
在附图2中,该模块的示例实现的框图包括接收有关识别出的对象202的信息的对象跟随模块200。该信息包括,例如识别出的每个对象的标识符及其位置。当前用户选择204的指示指令对象跟随模块有关要被追踪的对象。
给定有关识别出的对象202的信息以及用户选择204的情况下,对象跟随模块200在数个模式中执行数个操作。首先,如果没有被选择的对象,则对象跟随模块200处于等待模式并且等候用户选择。
如果已经选择了要跟随的对象,对象跟随模块200开始追踪模式。在追踪模式下,如果对象的位置保持在距其初始位置一阈值距离内或者以其他方式保持在机器人的视野内,机器人不运动。例如,模块200可以确定图像中的对象是否在机器人视野内的边界框中。并且,该模块可以确定对象的深度或机器人与对象间的距离是否在预订范围内。如果被追踪的对象的位置显著改变,则对象跟随模块通知位置计算模块206机器人需要被运动以跟随被追踪的对象。对象跟随模块200向位置计算模块206提供有关对象的信息208,诸如其位置、定向及其方向和运动速度。
位置计算模块206接收有关被追踪的对象的信息208,并为机器人提供新位置214作为它的输出。这可以是新的x、y位置或新定向或这两者。例如,机器人可以被指令旋转45度。机器人可以改变它的位置及定向以匹配相对于对象的期望相对位置及定向。新位置信息214被提供给机器人的导航控制系统。
如果在有关识别出的对象的信息中没有再发现被选择的对象,模块200进入重新获取模式并向对象重新获取模块210通知诸如“对象跟丢”的消息212,以及有关被识别的对象的其他信息。例如,对象的运动方向及速度可以是有用信息。
给定用户选择204的情况下,对象重新获取模块210确定如何重新定位对象,这涉及运动该机器人。模块210确定机器人的新位置214。例如,给定对象的方向及速度的情况下,可以计算出要将机器人从机器人的当前位置运动至的新位置以及运动到该新位置的速度。取决于有关机器人的环境的可用信息,可以使用其他技术。
直到对象被重新获取,或重新获取因超时而终止或被用户终止,对象重新获取模块使用有关对象跟丢的信息以及接收到的有关识别出的对象的信息来重新定位对象。具体而言,对象重新获取模块把给定时间帧内有关识别出的对象的信息与它所具有的有关跟丢对象的信息进行比较。如果发现了匹配,则匹配的对象现在是要被对象跟随模块200追踪的对象。对象重新获取模块把有关匹配的对象的信息提供回对象跟随模块,对象跟随模块重新开始追踪。
现在将结合附图3来描述用以描述附图2的系统操作的流程图。
过程在机器人致力于追踪及跟随对象之后开始。在追踪及跟随对象时,机器人检测300对象的运动,诸如通过位置或尺寸的变化。具体而言,它追踪包括位置及速度的对象的三维数据。如果检测到运动,则机器人确定302该运动量是否足够机器人运动或作出某一其它反应。例如,机器人可以确定相对距离和定向是否在特定边界内。特定边界将取决于对机器人的应用或使用。注意如果被追踪的对象的定向可以被追踪,该定向信息可被用来运动机器人以确保机器人“面向”对象,或确保机器人的定向与相对于对象的期望定向匹配。
如果对象和机器人的相对位置及定向不在预定的边界内,则机器人位置及定向可以被调整304。给定期望的位置及定向的情况下,可以由导航系统根据对机器人的应用或使用来确定运动的路径及速度。例如,导航系统可以跟随最短路径,并且维持到对象的近跟随距离。导航系统还可以尝试跟随被对象跟随的相同路径。
也可以提供对机器人的其它反应。例如,相机、话筒或其它传感器的位置可以被改变。如果机器人具有其它可动部件,仅某些部件可以被运动。可以提供指示机器人状态或其表达的其它信息。例如,可以输出声音或显示来指示机器人正预期被追踪对象的跟丢。
在机器人对对象的运动作出反应之后,机器人继续追踪300对象。如果追踪失败,过程以重新获取对象的步骤308继续。如果发现潜在目标,并且如在步骤310所确定的作出了与原始对象的匹配,则过程返回到追踪300对象。否则,系统继续尝试重新获取308对象。
现在参考图4,现在将描述开始对对象的追踪及跟随的过程。图1中,用户界面允许向用户通知识别出的对象并选择要追踪的对象。作为示例实现,机器人的远程呈现会话提供400来自机器人的实况视频馈送。该会话一般被实现为在通过通信链路与机器人连接的远程计算机上运行的客户机应用。机器人的对象识别模块计算对象的位置并向客户机应用发送402此信息。客户机应用的用户界面可以显示标识404实况视频馈送中的对象的信息,诸如指示识别出的对象的覆盖。用户随后被允许选择404对象,并且该选择被发送406至机器人。一接收到该选择,机器人就进入408对目标的追踪及跟随模式。还可以向用户界面提供允许用户取消此模式或选择要跟随的新对象或人的机制。
多个应用可使用此由机器人来追踪及跟随对象的技术来实现。例如,通过引导机器人跟随被选择的对象可以简化机器人的远程呈现会话。机器人还可被操作员引导来跟随操作员或其它对象,把操作员从引导机器人运动的任务中解脱出来。
在一个实施例中,两个机器人可维持其中每个机器人追踪及跟随其环境中的人的会话。以此方式,处于不同位置的两个人(每人都有机器人)在他们各自都在其相应的环境中到处运动时可以相互“访问”(例如相互看到并听到),,如果两个机器人都追踪及跟随相应的参与者并将他们保持在相机框内的话。每个人可指令相应的机器人跟随他自己或她自己。通过维持机器人相对于人的相对位置及定向,相机和话筒可保持对着人。
现在已经描述了示例实现,将描述这一系统被设计成在其中操作的计算环境。以下描述旨在提供对其中可实现该系统的合适的计算环境的简要概括描述。该系统可以用众多通用或专用计算硬件配置来实现。移动机器人一般具有和其他公知计算设备相似的计算能力,公知计算设备诸如个人计算机、手持式或膝上型设备(例如,媒体播放器、笔记本计算机、蜂窝电话、个人数据助理、语音记录器)、多处理器系统、基于微处理器的系统、机顶盒、游戏控制台、可编程消费电子产品等等。由于机器人的控制系统也可以在与机器人分离和/或远离的计算机上,因此其他计算机器可以被用来实现在此所述的机器人系统。
图5示出了合适的计算系统环境的示例。该计算系统环境只是合适的计算环境的一个示例,并且不旨在对这一计算环境的使用范围或功能提出任何限制。也不应将该计算环境解释为对示例性操作环境中示出的任一组件或其组合有任何依赖性或要求。
参考图5,示例计算环境包括计算机器,诸如计算机器500。在其最基本的配置中,计算机器500通常包括至少一个处理单元502和存储器504。计算设备可包括多个处理单元和/或附加共同处理单元,诸如图形处理单元520。取决于计算设备的确切配置和类型,存储器504可以是易失性的(如RAM)、非易失性的(如ROM、闪存等)或是两者的某种组合。该最基本配置在图5中由虚线506来示出。另外,计算机器500还可具有附加的特征/功能。例如,计算机器500还可包括附加存储(可移动和/或不可移动),包括但不限于磁盘、光盘或磁带。在图5中通过可移动存储508和不可移动存储510示出这样的附加存储。计算机存储介质包括以用于存储诸如计算机程序指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。存储器504、可移动存储508和不可移动存储510全部都是计算机存储介质的示例。计算机存储介质包括但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备,或者可用于存储所需信息并且可由计算机器500访问的任何其它介质。任何这样的计算机存储介质都可以是计算机器500的一部分。
计算机器500还可包含使该设备能与其它设备进行通信的通信连接512。通信连接512是通信介质的一个示例。通信介质通常携带诸如载波或其他传输机制等已调制数据信号中的计算机程序指令、数据结构、程序模块或其他数据,并包括任何信息传递介质。术语“已调制数据信号”是指以在信号中对信息进行编码的方式来设置或改变其一个或多个特征、由此改变该信号的接收设备的配置或状态的信号。作为示例而非限制,通信介质包括诸如有线网络或直接线连接之类的有线介质,以及诸如声学、RF、红外及其他无线介质之类的无线介质。
计算机器500可具有各种输入设备514,诸如显示器、键盘、鼠标、笔、相机、触摸输入设备等。还可包括输出设备516,诸如扬声器、打印机等。所有这些设备在本领域中是公知的并且不必在此详细讨论。
该种系统可以在包括诸如程序模块等由计算机器处理的计算机可执行指令和/或计算机解释的指令的软件的一般环境中实现。一般而言,程序模块包括在由处理单元处理时指令处理单元执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。该系统还能在其中任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。
在所附权利要求的主题中的术语“制品”、“过程”、“机器”和“物质组成”旨在将权利要求限制到被认为落入35U.S.C.§101中的这些术语的使用所定义的可被专利保护的主题的范围内。
上文中提到的此处描述的替换实施方式中的任一个或全部可以按形成附加混合实施方式所需的任何组合使用。应该理解,在所附权利要求中定义的主题没有必要限于上述的特定实现。上述特定实现仅作为例子被揭示。
Claims (10)
1.一种计算机实现的过程,包括:
从机器人接收传感器数据进存储器;
使用所述传感器数据来追踪在所述机器人的环境中的一个或多个对象;
引导所述机器人运动以便维持所述机器人相对于所述被追踪的对象中的一个或多个的相对位置和定向;以及
使用所述传感器数据来控制所述机器人的运动以便避开障碍。
2.如权利要求1所述的计算机实现的过程,其特征在于,进一步包括:
向用户提供实况视频馈送并在所述实况视频馈送中指示被追踪的对象。
3.如权利要求2所述的计算机实现的过程,其特征在于,如果对对象的追踪跟丢对象,则所述过程还包括通过调整所述机器人的位置和定向尝试重新获取对被跟丢对象的追踪。
4.如权利要求1所述的计算机实现的过程,其特征在于,被追踪的对象是人,并且所述过程还包括在第二环境中提供第二机器人,以及:
从第二机器人接收传感器数据进存储器;
使用所述传感器数据来追踪在所述第二机器人的第二环境中的人;
引导所述第二机器人运动以便维持所述机器人相对于在所述第二环境中的被追踪人的相对位置和定向;以及
使用所述传感器数据来控制所述机器人的运动以便避开障碍。
5.一种制品,包括:
计算机存储介质;
存储在所述计算机存储介质上的计算机程序指令,当所述计算机程序指令被处理设备处理时,指令所述处理设备执行包括以下的过程:
从机器人接收传感器数据进存储器;
使用所述传感器数据来追踪在所述机器人的环境中的对象;
引导所述机器人运动以便维持所述机器人相对于被追踪对象中的一个或多个的相对位置和定向;
使用所述传感器数据来控制所述机器人的运动以便避开障碍。
6.一种计算机器,包括:
对象识别模块,所述对象识别模块具有从机器人的环境接收传感器数据的输入,以及指示在所述环境中识别出的对象的输出;
追踪及跟随模块,所述追踪及跟随模块具有指示要被追踪的被选择的对象的输入,以及指示供所述机器人跟随所述被选择的对象的位置和定向的输出;以及
导航模块,所述导航模块具有接收所述位置和定向的输入,以及引导所述机器人沿着避开障碍的路径运动到期望位置和定向的、对机器人的运动控制系统的输出。
7.如权利要求6所述的计算机器,其特征在于,所述追踪及跟随模块包括对象追踪模块,所述对象追踪模块具有接收有关识别出的对象的信息的输入,以及指示所述被选择的对象是否在预定边界内的输出。
8.如权利要求7所述的计算机器,其特征在于,所述追踪及跟随模块包括位置计算模块,所述位置计算模块具有用于接收指示所述被选择的对象是否在预定边界内的输出的输入,以及为所述机器人提供使所述对象在所述边界内的位置和定向的输出。
9.如权利要求8所述的计算机器,其特征在于,所述追踪及跟随模块包括对象重新获取模块,所述对象重新获取模块具有接收有关所述识别出的对象的信息的输入,以及提供所述期望位置和定向以运动所述机器人来尝试重新获取所述被选择的对象的输出。
10.如权利要求9所述的计算机器,其特征在于,还包括用户界面,所述用户界面向用户提供有关识别出的对象的信息,并且所述用户界面具有允许用户选择所述识别出的对象中的一个的机制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/158,465 US20120316680A1 (en) | 2011-06-13 | 2011-06-13 | Tracking and following of moving objects by a mobile robot |
US13/158,465 | 2011-06-13 | ||
PCT/US2012/041797 WO2012173901A2 (en) | 2011-06-13 | 2012-06-10 | Tracking and following of moving objects by a mobile robot |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103608741A true CN103608741A (zh) | 2014-02-26 |
Family
ID=47293824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280028950.4A Pending CN103608741A (zh) | 2011-06-13 | 2012-06-10 | 由移动机器人来追踪及跟随运动对象 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120316680A1 (zh) |
EP (1) | EP2718778A4 (zh) |
JP (1) | JP2014516816A (zh) |
KR (1) | KR20140031316A (zh) |
CN (1) | CN103608741A (zh) |
WO (1) | WO2012173901A2 (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105717927A (zh) * | 2016-04-13 | 2016-06-29 | 京东方科技集团股份有限公司 | 承载装置及用于所述承载装置的控制方法 |
CN105892493A (zh) * | 2016-03-31 | 2016-08-24 | 纳恩博(北京)科技有限公司 | 一种信息处理方法和移动装置 |
CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
CN106774345A (zh) * | 2017-02-07 | 2017-05-31 | 上海仙知机器人科技有限公司 | 一种进行多机器人协作的方法与设备 |
CN107073711A (zh) * | 2015-09-08 | 2017-08-18 | 深圳市赛亿科技开发有限公司 | 一种机器人跟随方法 |
TWI602433B (zh) * | 2016-04-29 | 2017-10-11 | 和碩聯合科技股份有限公司 | 物體追蹤方法及其無人飛行載具 |
WO2017177978A1 (zh) * | 2016-04-15 | 2017-10-19 | 苏州宝时得电动工具有限公司 | 自动工作系统、移动设备及其控制方法 |
CN107608345A (zh) * | 2017-08-26 | 2018-01-19 | 深圳力子机器人有限公司 | 一种机器人及其跟随方法和系统 |
WO2018018574A1 (zh) * | 2016-07-29 | 2018-02-01 | 罗伯特·博世有限公司 | 人员保护系统及其运行方法 |
CN108369419A (zh) * | 2015-09-10 | 2018-08-03 | X开发有限责任公司 | 使用移动机器人的对象观测来生成时空对象清单并且使用该清单来确定用于移动机器人的监测参数 |
CN108737362A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
CN108780329A (zh) * | 2016-02-29 | 2018-11-09 | 微软技术许可有限责任公司 | 用于稳定运载工具所捕获视频的运载工具轨迹确定 |
CN109416867A (zh) * | 2016-07-04 | 2019-03-01 | 索尼公司 | 机器人、机器人系统和记录介质 |
CN110405767A (zh) * | 2019-08-01 | 2019-11-05 | 深圳前海微众银行股份有限公司 | 智能化展厅的引领方法、装置、设备及存储介质 |
CN110543177A (zh) * | 2019-09-27 | 2019-12-06 | 珠海市一微半导体有限公司 | 一种自主遛娃机器人及自动溜娃方法 |
CN110926476A (zh) * | 2019-12-04 | 2020-03-27 | 三星电子(中国)研发中心 | 一种智能机器人的伴随服务方法及装置 |
CN112654470A (zh) * | 2018-09-06 | 2021-04-13 | Lg电子株式会社 | 机器人清洁器及其控制方法 |
CN112890680A (zh) * | 2019-11-19 | 2021-06-04 | 科沃斯机器人股份有限公司 | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101970962B1 (ko) * | 2012-03-19 | 2019-04-22 | 삼성전자주식회사 | 아기 감시 방법 및 장치 |
JP5356615B1 (ja) * | 2013-02-01 | 2013-12-04 | パナソニック株式会社 | 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法 |
US9367067B2 (en) * | 2013-03-15 | 2016-06-14 | Ashley A Gilmore | Digital tethering for tracking with autonomous aerial robot |
US20150207961A1 (en) * | 2014-01-17 | 2015-07-23 | James Albert Gavney, Jr. | Automated dynamic video capturing |
CN104049633B (zh) * | 2014-06-13 | 2017-05-10 | 深圳市宇恒互动科技开发有限公司 | 一种随动控制方法、随动装置及随动系统 |
CN104038717B (zh) * | 2014-06-26 | 2017-11-24 | 北京小鱼在家科技有限公司 | 一种智能录制系统 |
EP3169977A4 (en) * | 2014-07-20 | 2018-05-16 | Helico Aerospace Industries SIA | Autonomous vehicle operation |
JP6669948B2 (ja) | 2014-09-08 | 2020-03-18 | 日本電産株式会社 | 移動体制御装置及び移動体 |
KR102106889B1 (ko) * | 2014-12-11 | 2020-05-07 | 한화디펜스 주식회사 | 소형통합제어장치 |
KR102314637B1 (ko) * | 2015-03-23 | 2021-10-18 | 엘지전자 주식회사 | 로봇 청소기 및 이를 구비하는 로봇 청소 시스템 |
JP6892393B2 (ja) * | 2015-04-22 | 2021-06-23 | マサチューセッツ インスティテュート オブ テクノロジー | 足接地位置追随装置、その動きを制御する方法、コンピュータ実行可能なプログラム、及びそれを格納したコンピュータ読取可能な非一時的な情報記録媒体 |
HK1202221A2 (zh) * | 2015-05-28 | 2015-09-18 | Solomon Mobile Technology Ltd | 種通過無人機對動態信息點進行拍攝的方法及系統 |
EP3101889A3 (en) | 2015-06-02 | 2017-03-08 | LG Electronics Inc. | Mobile terminal and controlling method thereof |
CN105005306B (zh) * | 2015-07-24 | 2017-08-25 | 杭州德宝威智能科技有限公司 | 机器人表演中复位方法 |
WO2017045116A1 (en) * | 2015-09-15 | 2017-03-23 | SZ DJI Technology Co., Ltd. | System and method for supporting smooth target following |
EP3368957B1 (en) | 2015-10-30 | 2022-02-09 | SZ DJI Technology Co., Ltd. | Systems and methods for uav path planning and control |
US10051839B2 (en) * | 2016-01-13 | 2018-08-21 | Petronics Inc. | Animal exerciser system |
US9868212B1 (en) | 2016-02-18 | 2018-01-16 | X Development Llc | Methods and apparatus for determining the pose of an object based on point cloud data |
DE102016208941A1 (de) | 2016-05-24 | 2017-11-30 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Auswerten eines Wärmebilds und autonomes System |
US11263545B2 (en) | 2016-06-30 | 2022-03-01 | Microsoft Technology Licensing, Llc | Control of cyber-physical systems under uncertainty |
US10229317B2 (en) | 2016-08-06 | 2019-03-12 | X Development Llc | Selectively downloading targeted object recognition modules |
GB2567600B (en) * | 2016-08-29 | 2022-05-04 | Groove X Inc | Autonomously acting robot that recognizes direction of sound source |
US10955838B2 (en) * | 2016-09-26 | 2021-03-23 | Dji Technology, Inc. | System and method for movable object control |
US10884417B2 (en) * | 2016-11-07 | 2021-01-05 | Boston Incubator Center, LLC | Navigation of mobile robots based on passenger following |
CN108072369A (zh) * | 2016-11-16 | 2018-05-25 | 阳光暖果(北京)科技发展有限公司 | 一种可配置策略的移动机器人导航方法 |
KR102286006B1 (ko) * | 2016-11-23 | 2021-08-04 | 한화디펜스 주식회사 | 추종 장치 및 추종 시스템 |
KR101907548B1 (ko) | 2016-12-23 | 2018-10-12 | 한국과학기술연구원 | 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법 |
WO2018148195A1 (en) * | 2017-02-08 | 2018-08-16 | Marquette University | Robotic tracking navigation with data fusion |
WO2018151712A1 (en) * | 2017-02-15 | 2018-08-23 | Ford Global Technologies, Llc | Aerial vehicle-ground vehicle coordination |
WO2018180454A1 (ja) * | 2017-03-28 | 2018-10-04 | 日本電産株式会社 | 移動体 |
WO2018213623A1 (en) * | 2017-05-17 | 2018-11-22 | Sphero, Inc. | Computer vision robot control |
DE102017214650A1 (de) * | 2017-08-22 | 2019-02-28 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Kraftfahrzeugs sowie Kraftfahrzeug |
CN113467448A (zh) * | 2018-06-07 | 2021-10-01 | 科沃斯机器人股份有限公司 | 定点工作方法、自移动机器人及存储介质 |
CN110832419A (zh) * | 2018-07-25 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 一种无人机控制方法、系统及无人机 |
KR102582863B1 (ko) * | 2018-09-07 | 2023-09-27 | 삼성전자주식회사 | 사용자 의도 기반 제스처 인식 방법 및 장치 |
KR102627014B1 (ko) | 2018-10-02 | 2024-01-19 | 삼성전자 주식회사 | 전자 장치 및 제스처 인식 방법 |
CN114779757A (zh) * | 2018-10-10 | 2022-07-22 | 灵动科技(北京)有限公司 | 自动驾驶系统及用于操作自动导引车辆的方法 |
US11292449B2 (en) * | 2018-10-19 | 2022-04-05 | GEOSAT Aerospace & Technology | Unmanned ground vehicle and method for operating unmanned ground vehicle |
KR20200087361A (ko) | 2019-01-03 | 2020-07-21 | 삼성전자주식회사 | 이동 로봇 및 그 구동 방법 |
US11137770B2 (en) * | 2019-04-30 | 2021-10-05 | Pixart Imaging Inc. | Sensor registering method and event identifying method of smart detection system |
US11817194B2 (en) * | 2019-04-30 | 2023-11-14 | Pixart Imaging Inc. | Smart control system |
US11932306B2 (en) | 2019-09-14 | 2024-03-19 | Honda Motor Co., Ltd. | Trajectory planner |
US11927674B2 (en) * | 2019-09-16 | 2024-03-12 | Honda Motor Co., Ltd. | System and method for providing a comprehensive trajectory planner for a person-following vehicle |
WO2022027015A1 (en) * | 2020-07-27 | 2022-02-03 | Brain Corporation | Systems and methods for preserving data and human confidentiality during feature identification by robotic devices |
CN115494882A (zh) * | 2022-10-20 | 2022-12-20 | 泉州装备制造研究所 | 基于电磁定位的移动机器人跟随方法、装置及可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2715931Y (zh) * | 2004-07-13 | 2005-08-10 | 中国科学院自动化研究所 | 一种实现基于物体表面颜色的快速跟踪方法的装置 |
CN101236657A (zh) * | 2008-03-03 | 2008-08-06 | 吉林大学 | 单一运动目标轨迹的跟踪与记录方法 |
US20090052740A1 (en) * | 2007-08-24 | 2009-02-26 | Kabushiki Kaisha Toshiba | Moving object detecting device and mobile robot |
US20100017046A1 (en) * | 2008-03-16 | 2010-01-21 | Carol Carlin Cheung | Collaborative engagement for target identification and tracking |
CN101694716A (zh) * | 2009-10-10 | 2010-04-14 | 北京理工大学 | 一种针对多点目标的立体视觉光学跟踪系统 |
US20110026770A1 (en) * | 2009-07-31 | 2011-02-03 | Jonathan David Brookshire | Person Following Using Histograms of Oriented Gradients |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4245887B2 (ja) * | 2002-09-30 | 2009-04-02 | セコム株式会社 | 搬送ロボット |
JP2004126801A (ja) * | 2002-09-30 | 2004-04-22 | Secom Co Ltd | 搬送ロボット |
JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
JP4792823B2 (ja) * | 2005-06-09 | 2011-10-12 | ソニー株式会社 | ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム |
EP1941411B1 (en) * | 2005-09-30 | 2011-09-14 | iRobot Corporation | Companion robot for personal interaction |
JP4811128B2 (ja) * | 2006-05-25 | 2011-11-09 | トヨタ自動車株式会社 | 自律移動装置 |
US7211980B1 (en) * | 2006-07-05 | 2007-05-01 | Battelle Energy Alliance, Llc | Robotic follow system and method |
JP2008084135A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 移動制御方法、移動ロボットおよび移動制御プログラム |
US20100250022A1 (en) * | 2006-12-29 | 2010-09-30 | Air Recon, Inc. | Useful unmanned aerial vehicle |
US20090180668A1 (en) * | 2007-04-11 | 2009-07-16 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
US8103382B2 (en) * | 2008-04-24 | 2012-01-24 | North End Technologies | Method and system for sharing information through a mobile multimedia platform |
US8340819B2 (en) * | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
US8897920B2 (en) * | 2009-04-17 | 2014-11-25 | Intouch Technologies, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
KR20110003146A (ko) * | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
US20110164108A1 (en) * | 2009-12-30 | 2011-07-07 | Fivefocal Llc | System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods |
US11154981B2 (en) * | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
US9400503B2 (en) * | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
-
2011
- 2011-06-13 US US13/158,465 patent/US20120316680A1/en not_active Abandoned
-
2012
- 2012-06-10 EP EP12800082.5A patent/EP2718778A4/en not_active Withdrawn
- 2012-06-10 KR KR1020137033129A patent/KR20140031316A/ko not_active Application Discontinuation
- 2012-06-10 JP JP2014515894A patent/JP2014516816A/ja active Pending
- 2012-06-10 WO PCT/US2012/041797 patent/WO2012173901A2/en active Application Filing
- 2012-06-10 CN CN201280028950.4A patent/CN103608741A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2715931Y (zh) * | 2004-07-13 | 2005-08-10 | 中国科学院自动化研究所 | 一种实现基于物体表面颜色的快速跟踪方法的装置 |
US20090052740A1 (en) * | 2007-08-24 | 2009-02-26 | Kabushiki Kaisha Toshiba | Moving object detecting device and mobile robot |
CN101236657A (zh) * | 2008-03-03 | 2008-08-06 | 吉林大学 | 单一运动目标轨迹的跟踪与记录方法 |
US20100017046A1 (en) * | 2008-03-16 | 2010-01-21 | Carol Carlin Cheung | Collaborative engagement for target identification and tracking |
US20110026770A1 (en) * | 2009-07-31 | 2011-02-03 | Jonathan David Brookshire | Person Following Using Histograms of Oriented Gradients |
CN101694716A (zh) * | 2009-10-10 | 2010-04-14 | 北京理工大学 | 一种针对多点目标的立体视觉光学跟踪系统 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107073711A (zh) * | 2015-09-08 | 2017-08-18 | 深圳市赛亿科技开发有限公司 | 一种机器人跟随方法 |
CN108369419A (zh) * | 2015-09-10 | 2018-08-03 | X开发有限责任公司 | 使用移动机器人的对象观测来生成时空对象清单并且使用该清单来确定用于移动机器人的监测参数 |
CN113687652A (zh) * | 2015-09-10 | 2021-11-23 | 波士顿动力公司 | 使用时空对象清单确定监测参数的系统和方法 |
CN108780329B (zh) * | 2016-02-29 | 2021-12-31 | 微软技术许可有限责任公司 | 用于稳定运载工具所捕获视频的运载工具轨迹确定 |
CN108780329A (zh) * | 2016-02-29 | 2018-11-09 | 微软技术许可有限责任公司 | 用于稳定运载工具所捕获视频的运载工具轨迹确定 |
CN105892493B (zh) * | 2016-03-31 | 2019-03-01 | 纳恩博(常州)科技有限公司 | 一种信息处理方法和移动装置 |
CN105892493A (zh) * | 2016-03-31 | 2016-08-24 | 纳恩博(北京)科技有限公司 | 一种信息处理方法和移动装置 |
CN105717927A (zh) * | 2016-04-13 | 2016-06-29 | 京东方科技集团股份有限公司 | 承载装置及用于所述承载装置的控制方法 |
US10638820B2 (en) | 2016-04-13 | 2020-05-05 | Boe Technology Group Co., Ltd. | Carrying device and method of controlling the same |
WO2017177978A1 (zh) * | 2016-04-15 | 2017-10-19 | 苏州宝时得电动工具有限公司 | 自动工作系统、移动设备及其控制方法 |
TWI602433B (zh) * | 2016-04-29 | 2017-10-11 | 和碩聯合科技股份有限公司 | 物體追蹤方法及其無人飛行載具 |
US11837064B2 (en) | 2016-07-04 | 2023-12-05 | Sony Group Corporation | Robot, robot system, and storage medium |
CN109416867A (zh) * | 2016-07-04 | 2019-03-01 | 索尼公司 | 机器人、机器人系统和记录介质 |
US11200787B2 (en) | 2016-07-04 | 2021-12-14 | Sony Corporation | Robot, robot system, and storage medium |
WO2018018574A1 (zh) * | 2016-07-29 | 2018-02-01 | 罗伯特·博世有限公司 | 人员保护系统及其运行方法 |
CN106155065A (zh) * | 2016-09-28 | 2016-11-23 | 上海仙知机器人科技有限公司 | 一种机器人跟随方法及用于机器人跟随的设备 |
CN106774345A (zh) * | 2017-02-07 | 2017-05-31 | 上海仙知机器人科技有限公司 | 一种进行多机器人协作的方法与设备 |
CN106774345B (zh) * | 2017-02-07 | 2020-10-30 | 上海仙软信息科技有限公司 | 一种进行多机器人协作的方法与设备 |
CN107608345A (zh) * | 2017-08-26 | 2018-01-19 | 深圳力子机器人有限公司 | 一种机器人及其跟随方法和系统 |
CN108737362B (zh) * | 2018-03-21 | 2021-09-14 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
CN108737362A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
CN112654470A (zh) * | 2018-09-06 | 2021-04-13 | Lg电子株式会社 | 机器人清洁器及其控制方法 |
CN112654470B (zh) * | 2018-09-06 | 2024-01-05 | Lg电子株式会社 | 机器人清洁器及其控制方法 |
US11906979B2 (en) | 2018-09-06 | 2024-02-20 | Lg Electronics Inc. | Plurality of autonomous mobile robots and controlling method for the same |
CN110405767A (zh) * | 2019-08-01 | 2019-11-05 | 深圳前海微众银行股份有限公司 | 智能化展厅的引领方法、装置、设备及存储介质 |
CN110543177A (zh) * | 2019-09-27 | 2019-12-06 | 珠海市一微半导体有限公司 | 一种自主遛娃机器人及自动溜娃方法 |
CN112890680A (zh) * | 2019-11-19 | 2021-06-04 | 科沃斯机器人股份有限公司 | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 |
CN112890680B (zh) * | 2019-11-19 | 2023-12-12 | 科沃斯机器人股份有限公司 | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 |
CN110926476A (zh) * | 2019-12-04 | 2020-03-27 | 三星电子(中国)研发中心 | 一种智能机器人的伴随服务方法及装置 |
CN110926476B (zh) * | 2019-12-04 | 2023-09-01 | 三星电子(中国)研发中心 | 一种智能机器人的伴随服务方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120316680A1 (en) | 2012-12-13 |
WO2012173901A3 (en) | 2013-04-04 |
EP2718778A4 (en) | 2015-11-25 |
WO2012173901A2 (en) | 2012-12-20 |
EP2718778A2 (en) | 2014-04-16 |
KR20140031316A (ko) | 2014-03-12 |
JP2014516816A (ja) | 2014-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103608741A (zh) | 由移动机器人来追踪及跟随运动对象 | |
US20230316682A1 (en) | Beacons for localization and content delivery to wearable devices | |
US9552056B1 (en) | Gesture enabled telepresence robot and system | |
EP3414644B1 (en) | Control system for navigation in virtual reality environment | |
CN109906424B (zh) | 用于虚拟现实系统的输入控制器稳定技术 | |
EP2708982B1 (en) | Method for guiding the user of a controller of a multimedia apparatus to move within recognizable range of the multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof | |
KR102032662B1 (ko) | 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용 | |
US9395764B2 (en) | Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices | |
JP2019535054A (ja) | 拡張/仮想現実環境において仮想キャラクタを配置するための方法およびコンピュータプログラム | |
US11695908B2 (en) | Information processing apparatus and information processing method | |
EP3486749A1 (en) | Provision of virtual reality content | |
US10347026B2 (en) | Information processing apparatus with location based display | |
JP6723417B1 (ja) | 仮想現実システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 | |
EP3264228A1 (en) | Mediated reality | |
EP3528024B1 (en) | Information processing device, information processing method, and program | |
Thrun et al. | Experiences with two deployed interactive tour-guide robots | |
WO2020174554A1 (ja) | 映像表示装置及び映像表示方法 | |
CN111736689B (zh) | 虚拟现实装置、数据处理方法与计算机可读存储介质 | |
JP2017092509A (ja) | テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム | |
Kim et al. | Oddeyecam: A sensing technique for body-centric peephole interaction using wfov rgb and nfov depth cameras | |
EP3702008A1 (en) | Displaying a viewport of a virtual space | |
WO2022091787A1 (ja) | コミュニケーションシステム、ロボット、及び記憶媒体 | |
WO2019054037A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6809267B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
US20120068924A1 (en) | Computer System, Computer System Control Method, Program, And Information Storage Medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150727 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150727 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140226 |