CN107422686A - 用于允许对一个或更多个装置的远程控制的设备 - Google Patents

用于允许对一个或更多个装置的远程控制的设备 Download PDF

Info

Publication number
CN107422686A
CN107422686A CN201710220981.4A CN201710220981A CN107422686A CN 107422686 A CN107422686 A CN 107422686A CN 201710220981 A CN201710220981 A CN 201710220981A CN 107422686 A CN107422686 A CN 107422686A
Authority
CN
China
Prior art keywords
volume
user input
operating personnel
display
cad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710220981.4A
Other languages
English (en)
Other versions
CN107422686B (zh
Inventor
S.G.雷迪什
C.A.弗里曼
M.刘易斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rolls Royce Power Engineering PLC
Original Assignee
Rolls Royce Power Engineering PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rolls Royce Power Engineering PLC filed Critical Rolls Royce Power Engineering PLC
Publication of CN107422686A publication Critical patent/CN107422686A/zh
Application granted granted Critical
Publication of CN107422686B publication Critical patent/CN107422686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output
    • G05B2219/1103—Special, intelligent I-O processor, also plc can only access via processor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40153—Teleassistance, operator assists, controls autonomous robot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40195—Tele-operation, computer assisted manual operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

一种用于允许对一个或更多个装置的远程控制的设备，该设备包括：控制器，其配置成：接收关于第一体积内的操作人员的所感测的位置的位置数据；控制定位于与第一体积不同的第二体积中的显示器，以使用所接收到的位置数据，来显示第一体积的至少一部分的表示内的操作人员的至少一部分的表示；从定位于第二体积中的用户输入装置接收用户输入数据；以及使用所接收到的用户输入数据，来控制定位于第一体积处的第一装置，以执行第一动作。

Description

用于允许对一个或更多个装置的远程控制的设备
技术领域
本公开涉及用于允许对一个或更多个装置的远程控制的设备、方法、计算机程序以及非暂时性计算机可读存储介质。
背景技术
在各种各样的工业中，定位于设施(例如，工厂、制造设施或发电厂)内的操作人员可能要求来自同事的指导和/或信息，以帮助操作人员执行任务。例如，在修理设施中在航空构件上实行修理的技术人员可能要求来自工程师的关于应当如何执行修理的指导。目前，工程师可以访问修理设施而帮助技术人员。然而，在要求工程师在多个设施(其中的一些可能定位于不同的城市或国家)之间往返的情况下，该方案可能相对地昂贵。工程师可以备选地经由电话而口头上传递指令和/或信息。然而，由于工程师不可见正在执行的修理，因而工程师所传递的指令可能对遵循指令的技术人员而言具有挑战性且/或不准确。
发明内容
根据各种各样的示例，提供的是一种用于允许对一个或更多个装置的远程控制的设备，设备包括：控制器，其配置成：接收关于第一体积内的操作人员的所感测的位置的位置数据；控制定位于与第一体积不同的第二体积中的显示器，以使用所接收到的位置数据，来显示第一体积的至少一部分的表示内的操作人员的至少一部分的表示；从定位于第二体积中的用户输入装置接收用户输入数据；以及使用所接收到的用户输入数据，来控制定位于第一体积处的第一装置，以执行第一动作。
第一装置可以包括通信装置。第一动作可以包括将信息传送至操作人员。
第一装置可以包括投影仪或显示器。第一动作可以包括对操作人员显示信息。
第一装置可以包括电声换能器。第一动作可以包括给操作人员提供声波，以将信息传达给操作人员。
第一动作可以包括第一装置的部分或全部的物理移动。例如，第一装置可以包括用于移动第一装置的部分或全部的一个或更多个致动器(诸如，一个或更多个伺服马达)或联接至该一个或更多个致动器。
第一装置可以包括激光器。第一动作可以包括将激光器定向和启动，以朝向目标发射激光束。
第一装置可以包括机器人。第一动作可以包括操作机器人。
控制器可以配置成使用所接收到的用户输入数据，来控制第一体积处的第二装置，以执行与第一动作不同的第二动作。
显示器可以包括虚拟现实(VR)耳机。
控制器可以配置成接收与第一体积相关联的环境数据。
控制器可以配置成：接收请求与将由操作人员执行的过程有关的信息的更多的用户输入数据；使用更多的用户输入数据，来检索过程信息；以及控制显示器，以显示所检索到的过程信息。
控制器可以配置成：接收请求定位于第一体积内的物品的计算机辅助设计(CAD)模型的另外的用户输入数据；使用另外的用户输入数据，来检索所请求到的计算机辅助设计(CAD)模型；以及控制显示器，以显示所检索到的计算机辅助设计(CAD)模型的至少一部分。
控制器可以配置成将所接收到的位置数据和所接收到的用户输入数据存储于存储器中。
第一体积可以是制造设施的至少一部分或发电厂的至少一部分。
操作人员可以是人或机器人。
根据各种各样的示例，提供的是一种允许对一个或更多个装置的远程控制的方法，该方法包括：接收关于第一体积内的操作人员的所感测的位置的位置数据；控制定位于与第一体积不同的第二体积中的显示器，以使用所接收到的位置数据，来显示第一体积的至少一部分的表示内的操作人员的至少一部分的表示；从定位于第二体积中的用户输入装置接收用户输入数据；以及使用所接收到的用户输入数据，来控制定位于第一体积处的第一装置，以执行第一动作。
第一装置可以包括通信装置。控制第一装置可以包括控制与操作人员的信息的通信。
第一装置可以包括投影仪或显示器。控制第一装置可以包括控制对操作人员的信息的显示。
第一装置可以包括电声换能器。控制第一装置可以包括对给操作人员提供声波，从而将信息传达给操作人员的过程进行控制。
第一动作可以包括第一装置的部分或全部的物理移动。
第一装置可以包括激光器。第一动作可以包括将激光器定向和启动，以朝向目标发射激光束。
第一装置可以包括机器人。第一动作可以包括操作机器人。
该方法可以进一步包括使用所接收到的用户输入数据，来控制第一体积处的第二装置，以执行与第一动作不同的第二动作。
显示器可以包括虚拟现实(VR)耳机。
该方法可以进一步包括接收与第一体积相关联的环境数据。
该方法可以进一步包括：接收请求与将由操作人员执行的过程有关的信息的更多的用户输入数据；使用更多的用户输入数据，来检索过程信息；以及控制显示器，以显示所检索到的过程信息。
该方法可以进一步包括：接收请求定位于第一体积内的物品的计算机辅助设计(CAD)模型的另外的用户输入数据；使用另外的用户输入数据，来检索所请求到的计算机辅助设计(CAD)模型；以及控制显示器，以显示所检索到的计算机辅助设计(CAD)模型的至少一部分。
该方法可以进一步包括控制存储器中的所接收到的位置数据和所接收到的用户输入数据的存储。
第一体积可以是制造设施的至少一部分或发电厂的至少一部分。
操作人员可以是人或机器人。
根据各种各样的示例，提供计算机程序，当由计算机读取时，该计算机程序促使执行如前面的段落中的任一段中所描述的方法。
根据各种各样的示例，提供非暂时性计算机可读存储介质，该介质包括：计算机可读指令，当由计算机读取时，这些计算机可读指令促使执行如前面的段落中的任一段中所描述的方法。
技术人员将意识到，除了互相排斥的情况之外，关于上文的方面中的任一个而描述的特征都可以加上必要的变更而适用于任何其他方面。此外，除了互相排斥的情况之外，本文中所描述的任何特征都可以适用于任何方面，且/或与本文中所描述的任何其他特征组合。
附图说明
现在，将参考附图而仅经由示例来描述实施例，在附图中：
图1图示根据各种各样的示例的用于允许对一个或更多个装置的远程控制的设备的示意图；
图2图示根据各种各样的示例的允许对一个或更多个装置的远程控制的方法的流程图；
图3图示来自图1中所图示的第二体积内的显示器的示例的输出；
图4图示根据各种各样的示例的另一方法的流程图；以及
图5图示根据各种各样的示例的又一方法的流程图。
具体实施方式
在以下的描述中，术语‘连接’和‘联接’意味着在操作上连接和联接。应当意识到，可能存在所提到的特征(不包括介入构件)之间的任何数量的介入构件。
图1图示根据各种各样的示例的设备10的示意图。设备包括控制器12、传感器布置13(包括第一传感器14、第二传感器16以及第三传感器18)、第四传感器20、第五传感器22、第六传感器24、显示器26、投影仪28、激光器设备30、机器人32、第七传感器34、第八传感器36、第九传感器38、用户输入装置40以及显示器42。图1还图示操作人员44、物品46以及用户48。
在一些示例中，设备10可以是模块。如本文中所使用的，用词‘模块’是指随后且可能由另一制造商或终端用户包括一个或更多个特征的装置或设备。例如，在设备10是模块的情况下，设备10可以仅包括控制器12，并且，可以由另一制造商或由终端用户添加剩余的特征。
传感器布置13、第四传感器20、第五传感器22、第六传感器24、显示器26、投影仪28、激光器设备30、机器人32、操作人员44以及物品46定位于第一体积49内或第一体积49处。经由示例，第一体积49可以是制造设施的至少一部分、发电厂的至少一部分或工厂的至少一部分。
第七传感器34、第八传感器36、第九传感器38、用户输入装置40、显示器42以及用户48定位于第二体积51内或第二体积51处。第二体积51与第一体积49不同，并且，可以定位于建筑物的与第一体积49不同的部分中；可以定位于与第一体积49不同的建筑物中，可以定位于国家的与第一体积49不同的部分中，或可以定位于与第一体积49不同的国家。
控制器12可以定位于第一体积49中，或可以定位于第二体积51中，或可以定位于与第一体积49和第二体积51不同的体积中(即，控制器12可以定位于第三体积中)。例如，控制器12可以定位于不同的建筑物中，或可以定位于国家的不同的部分中，或可以定位于与第一体积49和/或第二体积51不同的国家。控制器12可以定位于单个位置处，或可以跨过多个位置分布。
控制器12、传感器布置13、第四传感器20、第五传感器22、第六传感器24、显示器26、投影仪28、激光器设备30、机器人32、第七传感器34、第八传感器36、第九传感器38、用户输入装置40以及显示器42可以经由无线链路而彼此联接，且因此，可以包括收发器电路系统和一个或更多个天线。另外或备选地，控制器12、传感器布置13、第四传感器20、第五传感器22、第六传感器24、显示器26、投影仪28、激光器设备30、机器人32、第七传感器34、第八传感器36、第九传感器38、用户输入装置40以及显示器42可以经由有线链路而彼此联接，且因此，可以包括接口电路系统(诸如通用串行总线(USB)插口)。应当意识到，控制器12、传感器布置13、第四传感器20、第五传感器22、第六传感器24、显示器26、投影仪28、激光器设备30、机器人32、第七传感器34、第八传感器36、第九传感器38、用户输入装置40以及显示器42可以经由有线链路和无线链路的任何组合而彼此联接。
控制器12可以包括促使执行本文中所描述且如图2、图4和图5中所图示的方法的任何合适的电路系统。控制器12可以包括：控制电路系统；和/或处理器电路系统；和/或至少一个专用集成电路(ASIC)；和/或至少一个现场可编程门阵列(FPGA)；和/或单处理器或多处理器体系结构；和/或串行/并行体系结构；和/或至少一个可编程逻辑控制器(PLC)；和/或至少一个微处理器；和/或至少一个微控制器；和/或中央处理单元(CPU)；和/或图形处理单元(GPU)，以执行方法。
在各种各样的示例中，控制器12可以包括至少一个处理器50和至少一个存储器52。存储器52存储计算机程序54，计算机程序54包括如下的计算机可读指令：当由处理器50读取时，促使执行本文中所描述且如图2、图4和图5中所图示的方法。计算机程序54可以是软件或固件，或可以是软件和固件的组合。
处理器50可以包括至少一个微处理器，并且，可以包括单核处理器，可以包括多个处理器核心(诸如，双核处理器或四核处理器)，或可以包括多个处理器(这些处理器中的至少一个可以包括多个处理器核心)。
存储器52可以是任何合适的非暂时性计算机可读存储介质、数据存储装置或多个数据存储装置，并且，可以包括硬盘和/或固态存储器(诸如，闪速存储器)。存储器52可以是永久性不可移除式存储器，或可以是可移除式存储器(诸如，通用串行总线(USB)闪盘驱动器或安全数字卡)。存储器可以包括：本地存储器，其在计算机程序的实际运行的期间采用；大容量存储装置；以及高速缓存存储器，其提供至少一些计算机可读或计算机可用的程序代码的暂时存储，以减少在代码的运行的期间，可以从大容量存储装置检索代码的次数。
计算机程序54可以存储于非暂时性计算机可读存储介质56上。计算机程序54可以从非暂时性计算机可读存储介质56传递至存储器52。非暂时性计算机可读存储介质56可以是例如USB闪盘驱动器、安全数字(SD)卡、光盘(诸如，高密度磁盘(CD)、数字通用磁盘(DVD)或蓝光盘)。在一些示例中，计算机程序54可以经由信号58(其可以是无线信号或有线信号)而传递至存储器52。
输入/输出装置可以直接地或通过介入式输入/输出控制器而与控制器12联接。还可以将各种各样的通信适配器与控制器12联接，从而允许设备10通过介入式私有网络或公共网络而与其他设备或远程打印机或存储装置联接。非限制的示例包括这样的通信适配器的调制解调器和网络适配器。
传感器布置13配置成至少感测第一体积49内的至少操作人员44的位置。第一传感器14、第二传感器16和第三传感器18可以包括用于感测操作人员44的位置的任何合适的传感器(或多个传感器)。例如，第一传感器14、第二传感器16和第三传感器18可以由三维(3D)激光器扫描仪、红外传感器和数码相机(包括电荷耦合装置(CCD)传感器，和/或互补金属氧化物半导体(CMOS)传感器)的任何组合提供。在一些示例中，第一传感器14、第二传感器16和第三传感器18可以是微软Kinect v2传感器。第一传感器14、第二传感器16和第三传感器18可以定位于第一体积49内和/或第一体积49周围的各种各样的不同的位置处，以感测至少操作人员44的位置。控制器12配置成从传感器布置13接收位置数据。
应当意识到，传感器布置13可以包括任何数量的传感器，并且，传感器布置13不限于仅包括第一传感器14、第二传感器16和第三传感器18。例如，传感器布置13可以仅包括可以在第一体积49内或在第一体积49周围固定或可移动的单个传感器。在其他示例中，传感器布置13可以包括定位于第一体积49的周边的周围的相对大的数量的传感器(例如，十个或更多个传感器)。
第四传感器20、第五传感器22和第六传感器24配置成感测与第一体积49相关联的一个或更多个环境参数。例如，第四传感器20、第五传感器22和第六传感器24可以是数字温度计、辐射传感器(诸如，盖革计数器)、气体探测器(例如，二氧化碳探测器或一氧化碳探测器)以及湿度传感器的任何组合。控制器12配置成从第四传感器20、第五传感器22和第六传感器24接收环境数据。
应当意识到，设备10可以包括比第四传感器20、第五传感器22和第六传感器24更多或更少的环境传感器。在一些示例中，设备10可能不包括任何环境传感器。
显示器26可以是用于对操作人员44显示信息的任何合适的装置。例如，显示器26可以包括液晶显示器(LCD)、发光二极管(LED)显示器(诸如，有源矩阵有机发光二极管(AMOLED)显示器)、薄膜晶体管(TFT)显示器或等离子体显示器。显示器26可以在第一体积49内为静态的(例如，显示器26可以安装于墙上或桌上)，或可以在第一体积49内为可移动的。例如，显示器26可以集成于操作人员44所佩戴的耳机或眼镜内，并且，可以配置成为操作人员44 提供增强现实经历。控制器12配置成控制显示器26，以显示信息。
投影仪28配置成经由二维(2D)图像或经由全息图像而对操作人员44显示信息。控制器12配置成控制投影仪28的运行，以显示信息。
激光器设备30可以包括激光器和一个或更多个致动器，这些致动器用于改变激光器的定向和/或位置。控制器12配置成控制激光器设备30的运行。例如，控制器12可以启动和停用激光器，并且，可以对激光器进行重新定向和重新定位。
机器人32可以配置成执行各种各样的动作。例如，机器人32可以包括用于加工物品46的一个或更多个加工工具、和/或用于获得物品46的图像的一个或更多个数码相机和/或用于指向物品46的一部分的一个或更多个指向装置。控制器12配置成控制机器人32的运行。
操作人员44可以是人，或可以是机器人。例如，操作人员44可以是物品46的修理、制造、检查或组装中所涉及的人。经由另一示例，操作人员44可以是物品46的修理、制造、检查或组装中所涉及的自主式机器人或半自主式机器人。在一些示例中，在第一体积49内，可能存在多个操作人员44。
设备10可以另外包括定位于第一体积49内的第一电声换能器60和定位于第二体积51内的第二电声换能器62。第一及第二电声换能器60、62可以是以下的装置的任何组合：‘固定’电话(即，与公共交换电话网连接的电话)；移动蜂窝电话；以及通过互联网协议而实现的语音(VoIP)装置。操作人员44和用户48可以分别使用第一及第二电声换能器60、62来彼此通信。在各种各样的示例中，第一及第二电声换能器60、62可以经由控制器12而通信，并且，控制器12可以将会话的记录存储于存储器52中。
第七传感器34、第八传感器36和第九传感器38可以包括用于获得用户48的图像和/或位置数据的任何合适的传感器或多个传感器。例如，传感器34、36、38可以包括数码相机、红外传感器、激光器、虚拟现实外围网络(VRPN)装置的任何组合。在一些示例中，传感器34、36、38可以包括多个Kinect v2传感器。控制器12配置成从传感器34、36、38接收图像数据和/或位置数据。
用户输入装置40可以包括用于允许用户48给控制器12提供输入的任何合适的装置或多个装置。例如，用户输入装置可以包括键盘、小键盘、触摸板、触摸屏显示器以及计算机鼠标中的一个或更多个。控制器12配置成从用户输入装置40接收信号。
显示器42可以是用于对用户48显示信息的任何合适的装置。例如，显示器42可以包括以下的装置中的一个或更多个：液晶显示器(LCD)、发光二极管(LED)显示器(诸如，有源矩阵有机发光二极管(AMOLED)显示器)、薄膜晶体管(TFT)显示器或等离子体显示器。显示器42可以在第二体积51内为静态的(例如，显示器42可以安装于墙上或桌上)，或可以在第二体积51内为可移动的(例如，显示器42可以集成于用户48所佩戴的耳机或眼镜内)。在一些示例中，显示器42可以集成于可以由用户48佩戴的虚拟现实耳机内。控制器12配置成控制显示器42，以显示信息。
用户48是定位于第二体积51内的人，并且，可以是操作人员44正在第一体积49内执行的活动的方面的专家。例如，在第一体积49是航空设施的至少一部分的情况下，用户48可以是航空工程师。在一些示例中，在第二体积51内，可能存在多个用户48，这些用户48各自使用用户输入装置40和显示器42。
在以下的段落中，参考图2至图5，描述设备10的运行。
在方框64，该方法包括接收关于第一体积49内的所感测的操作人员44的位置的位置数据。例如，控制器12可以从传感器布置13接收第一体积49内的操作人员44和物品46的位置数据。在方框64，控制器12还可以从第四传感器20、第五传感器22和第六传感器24中的一个或更多个接收环境数据。
在方框66，该方法包括控制定位于第二体积51中的显示器42，从而使用在方框64接收到的位置数据，来显示第一体积49的至少一部分的表示内的操作人员44的至少一部分的表示。例如，控制器12可以读取存储于存储器52中的数据68，其中数据68限定第一体积49的三维模型。然后，控制器12可以使用在方框64接收到的数据，来确定第一体积49的三维模型内的操作人员44和物品46的位置。然后，控制器12可以控制显示器42，以显示第一体积49的表示内的操作人员44的表示和物品46的表示。
在一些示例中，控制器12可以配置成根据在方框44接收到的位置数据，确定操作人员44的多个身体部分的位置。例如，在传感器布置13包括多个Kinect v2传感器的情况下，控制器12可以确定操作人员44的各种各样的身体部分的定位和定向，且然后，控制显示器42，使得在第一体积49的表示中，对身体部分准确地进行定位和定向。用户48可以观察显示器42，以至少观察第一体积49的表示内的操作人员44的表示。
图3图示来自第二体积51内的显示器42的示例的输出。输出包括第一体积49的表示49’、操作人员44的表示44’(还可以被称为化身)、物品46(在本示例中，为风扇叶片)的表示46’以及加工工具(在本示例中，为砂带磨削轮)的表示70’。第一体积49的表示49’内的表示44’、46’、70’的位置和定向与操作人员44、物品46以及加工工具70的位置和定向准确地相对应。
应当意识到，可以按某一频率执行方框64和方框66，使得至少操作人员44的表示被认为是由用户48在显示器42的输出中连续地更新。例如，可以按六十赫兹或更高的频率执行方框64和方框66，使得用户48认识到操作人员44的表示44’，以流畅地移动。
在方框72，该方法包括从定位于第二体积51中的用户输入装置40接收用户输入数据。例如，控制器12可以从用户输入装置40接收用户输入数据。
用户48可以操作用户输入装置40，以便改变显示器42中所显示的视图。例如，用户48可以控制用户输入装置40，以将视图放大或缩小，将视图沿横向移动，或使显示器42中所显示的视图旋转。控制器12可以接收用户输入数据，且然后，按照对用户输入装置40的输入而控制显示器40，以显示第一体积49和操作人员44的表示的更新后的视图。
在方框74，该方法包括使用在方框72接收到的用户输入数据，来控制定位于第一体积49处的第一装置，以执行第一动作。例如，控制器12可以控制定位于第一体积49处的第一装置，以对操作人员44呈现信息，且/或指导操作人员44，且/或操纵第一体积49内的一个或更多个物品。
例如，控制器12可以使用所接收到的用户输入数据，来控制显示器26，以对操作人员44显示信息。在显示器26是头戴式显示器的情况下，控制器12可以控制显示器26，以在操作人员44的视野中，将一个或更多个图像重叠，使得操作人员44经历增强现实。例如，控制器12可以控制显示器26，以在操作人员44的视野中，将箭头图像重叠，从而指示操作人员44应当执行加工的位置。经由又一示例，控制器12可以控制显示器26，以显示执行任务的操作人员的预先记录的图像，从而教导操作人员44如何执行该任务。
经由另一示例，控制器12可以使用所接收到的用户输入数据，来控制投影仪28以将图像投影，以对操作人员44显示信息。
经由又一示例，控制器12可以使用所接收到的用户输入数据，来控制激光器设备30的运行。例如，控制器12可以控制激光器设备30的致动器(诸如，一个或更多个伺服马达)，以将激光器沿用户输入数据所指定的方向定向，且然后，启动激光器而朝向目标发射激光束。在各种各样的示例中，所发射的激光束可以朝向操作人员44将检查且/或加工的物品46上的位置对准目标的。
经由另一示例，控制器12可以使用所接收到的用户输入数据来控制机器人32的运行。例如，控制器12可以控制机器人32来对物品46执行加工，且/或获得物品46的图像，且/或控制机器人32的一个或更多个指向装置，以用于指向物品46的一部分来指导操作人员44的动作。
在方框76，该方法可以包括使用所接收到的用户输入数据，来控制第一体积49处的第二装置，以执行与第一动作不同的第二动作。例如，控制器12可以控制以下的装置中的任一个：如前面的段落中所描述的显示器26、投影仪28、激光器设备30以及机器人32。
应当意识到，在方框76，该方法可以包括使用所接收到的用户输入数据，来控制第一体积49处的多个装置，以执行各种各样的动作。例如，在方框74和方框76，控制器12可以使用所接收到的用户输入数据，来控制显示器26、投影仪28、激光器设备30以及机器人32。
在方框78，该方法包括将所接收到的位置数据和所接收到的用户输入数据存储于存储器中。例如，控制器12可以将在方框66接收到的位置数据和在方框72接收到的用户输入数据存储于存储器52中。
在一些示例中，除了用户输入装置40之外或代替用户输入装置40，第七传感器34、第八传感器36和第九传感器38可以给控制器12提供用户输入数据(且因此，传感器34、36、38可以被称为用户输入装置)。在第七传感器34、第八传感器36和第九传感器38包括Kinectv2传感器或其他虚拟现实外围网络(VRPN)装置的情况下，用户48可以执行各种各样的手势，以给控制器12提供用户输入数据，且由此控制第一体积49内或第一体积49处的装置。例如，用户48可以执行手势，以控制激光器设备30的定向，且因此选择激光束所对准目标的位置。
然后，该方法可能返回至方框72，或可能结束。
图4图示根据各种各样的示例的另一方法的流程图。
在方框80，该方法包括接收请求与将由操作人员44执行的过程有关的信息的更多的用户输入数据。例如，控制器12可以从用户输入装置40(和/或传感器34、36、38)接收请求与将由操作人员44执行的过程有关的信息的更多的用户输入数据。经由示例，用户48可以接收请求关于过程的帮助的来自操作人员44的电话呼叫。然后，用户48可以操作用户输入装置40，以从企业资源规划(ERP)工具请求信息。
在一些示例中，方框80可以另外或备选地包括接收请求来自存储于中心的数据库的信息的更多的用户输入数据。例如，用户48可以操作用户输入装置40，以请求有限元分析(FEA)结果或产品生命周期管理(PLM)数据。
在方框82，该方法包括使用在方框82接收到的更多的用户输入数据来检索信息。例如，控制器12可以检索存储于存储器52或远程存储器(例如，云存储装置)中的信息84(诸如，过程信息)。
在方框86，该方法包括控制显示器42，以显示所检索到的信息。例如，控制器12可以控制显示器42，以对用户48显示所检索到的过程信息。随后，用户48可以将指令提供给操作人员44(例如，经由显示器26)，从而使用所检索到的过程信息来帮助操作人员44执行任务(如在前面的段落中参考方框72、74、76而描述)。
图5图示根据各种各样的示例的又一方法的流程图。
在方框88，该方法包括接收请求定位于第一体积49内的物品的计算机辅助设计(CAD)模型的另外的用户输入数据。例如，控制器12可以从用户输入装置40(和/或传感器34、36、38)接收请求定位于第一体积49内的物品46的CAD模型的另外的用户输入数据。经由示例，用户48可能希望得知第一体积49中的物品46的内部结构，并且，可以操作用户输入装置40，以请求来自控制器12的物品46的CAD文件。
在方框90，方法包括使用另外的用户输入数据，来检索所请求到的计算机辅助设计(CAD)模型。例如，控制器12可以从存储器52或从远程存储器检索物品46的计算机辅助设计模型92。
在方框94，该方法包括控制显示器42，以显示所检索到的计算机辅助设计(CAD)模型的至少一部分。例如，控制器12可以控制显示器42，以显示在方框90检索到的CAD模型92。随后，用户48可以使用所检索到的CAD模型，来将指令提供给操作人员44(例如，经由显示器26)(例如，以通知操作人员44物品46的内部结构)。
设备10可以提供若干个优点。第一，设备10可以允许用户48实时地远程地观察第一体积49内的操作人员44的动作，且然后，远程地经由第一体积49内的一个或更多个装置而将信息和/或指令提供给操作人员44。第二，设备10可以允许用户48使用机器人32来远程地操纵第一体积49中的物理对象。这在第一体积49为恶劣的环境(诸如，核热室)下可能特别地有利。在这样的示例中，机器人32可以为操作人员44。第三，设备10可以允许用户48观察大量的信息(诸如，过程、数据、CAD模型等)，且然后，以压缩的格式与操作人员44共享该信息。第四，设备10可以将数据(诸如，操作人员44和/或用户48的位置数据)存储于存储器52或远程存储器中，以记录最佳实践，并允许对所采取的动作的质量的审查。
将理解到，本发明不限于上述的实施例，并且，在不背离本文中所描述的概念的情况下，能够作出各种各样的修改和改进。例如，不同的实施例可以采取全硬件的实施例、全软件的实施例或包含硬件和软件元件两者的实施例的形式。经由又一示例，控制器12可以是分布式，并且，包括用于整理来自至少传感器布置13的数据的传感器服务器和用于生成显示器42的输出的虚拟环境服务器，并且，为了从用户输入装置40接收数据，包括第七传感器34、第八传感器36和第九传感器38。
除了互相排斥的情况之外，任何特征都可以单独地采用，或与任何其他特征组合而采用，并且，本公开扩展至本文中所描述的一个或更多个特征的所有的组合和子组合，并包括这些组合。

Claims (21)

1.一种用于允许对一个或更多个装置的远程控制的设备，所述设备包括：
控制器，其配置成：
接收关于第一体积内的操作人员的所感测的位置的位置数据；
控制定位于与所述第一体积不同的第二体积中的显示器，以使用所接收到的位置数据，来显示所述第一体积的至少一部分的表示内的所述操作人员的至少一部分的表示；
从定位于所述第二体积中的用户输入装置接收用户输入数据；以及
使用所接收到的用户输入数据，来控制定位于所述第一体积处的第一装置，以执行第一动作。
2.根据权利要求1所述的设备，其特征在于，所述第一装置包括通信装置，并且，所述第一动作包括将信息传送至所述操作人员。
3.根据权利要求1所述的设备，其特征在于，所述第一装置包括投影仪或显示器，并且，所述第一动作包括对所述操作人员显示所述信息。
4.根据权利要求1所述的设备，其特征在于，所述第一装置包括电声换能器，并且，所述第一动作包括给所述操作人员提供声波，以将所述信息传达给所述操作人员。
5.根据权利要求1所述的设备，其特征在于，所述第一动作包括所述第一装置的部分或全部的物理移动。
6.根据权利要求1所述的设备，其特征在于，所述第一装置包括激光器，并且，所述第一动作包括将所述激光器定向和启动，以朝向目标发射激光束。
7.根据权利要求1所述的设备，其特征在于，所述第一装置包括机器人，并且，所述第一动作包括操作所述机器人。
8.根据权利要求1所述的设备，其特征在于，所述控制器配置成使用所述所接收到的用户输入数据，来控制所述第一体积处的第二装置，以执行与所述第一动作不同的第二动作。
9.根据权利要求1所述的设备，其特征在于，所述显示器包括虚拟现实(VR)耳机。
10.根据权利要求1所述的设备，其特征在于，所述控制器配置成接收与所述第一体积相关联的环境数据。
11.根据权利要求1所述的设备，其特征在于，所述控制器配置成：接收请求与将由所述操作人员执行的过程有关的信息的更多的用户输入数据；使用所述更多的用户输入数据，来检索过程信息；以及控制所述显示器，以显示所检索到的过程信息。
12.根据权利要求1所述的设备，其特征在于，所述控制器配置成：接收请求定位于所述第一体积内的物品的计算机辅助设计(CAD)模型的另外的用户输入数据；使用所述另外的用户输入数据，来检索所请求到的计算机辅助设计(CAD)模型；以及控制所述显示器，以显示所检索到的计算机辅助设计(CAD)模型的至少一部分。
13.根据权利要求1所述的设备，其特征在于，所述控制器配置成将所述所接收到的位置数据和所述所接收到的用户输入数据存储于存储器中。
14.根据前述权利要求中的任一项所述的设备，其特征在于，所述第一体积是制造设施的至少一部分或发电厂的至少一部分。
15.一种允许对一个或更多个装置的远程控制的方法，所述方法包括：
接收关于第一体积内的操作人员的所感测的位置的位置数据；
控制定位于与所述第一体积不同的第二体积中的显示器，以使用所接收到的位置数据，来显示所述第一体积的至少一部分的表示内的所述操作人员的至少一部分的表示；
从定位于所述第二体积中的用户输入装置接收用户输入数据；以及
使用所接收到的用户输入数据，来控制定位于所述第一体积处的第一装置，以执行第一动作。
16.根据权利要求15所述的方法，其特征在于，还包括使用所述所接收到的用户输入数据，来控制所述第一体积处的第二装置，以执行与所述第一动作不同的第二动作。
17.根据权利要求15所述的方法，其特征在于，还包括接收与所述第一体积相关联的环境数据。
18.根据权利要求15所述的方法，其特征在于，还包括：接收请求与将由所述操作人员执行的过程有关的信息的更多的用户输入数据；使用所述更多的用户输入数据，来检索过程信息；以及控制所述显示器，以显示所检索到的过程信息。
19.根据权利要求15所述的方法，其特征在于，还包括：接收请求定位于所述第一体积内的物品的计算机辅助设计(CAD)模型的另外的用户输入数据；使用所述另外的用户输入数据，来检索所述所请求到的计算机辅助设计(CAD)模型；以及控制所述显示器，以显示所检索到的计算机辅助设计(CAD)模型的至少一部分。
20.根据权利要求15所述的方法，其特征在于，还包括控制存储器中的所述所接收到的位置数据和所述所接收到的用户输入数据的存储。
21.根据权利要求15至20中的任一项所述的方法，其特征在于，所述第一体积是制造设施的至少一部分或发电厂的至少一部分。
CN201710220981.4A 2016-04-06 2017-04-06 用于允许对一个或更多个装置的远程控制的设备 Active CN107422686B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1605835.6A GB2549264B (en) 2016-04-06 2016-04-06 Apparatus, methods, computer programs, and non-transitory computer readable storage mediums for enabling remote control of one or more devices
GB1605835.6 2016-04-06

Publications (2)

Publication Number Publication Date
CN107422686A true CN107422686A (zh) 2017-12-01
CN107422686B CN107422686B (zh) 2022-05-03

Family

ID=59895510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710220981.4A Active CN107422686B (zh) 2016-04-06 2017-04-06 用于允许对一个或更多个装置的远程控制的设备

Country Status (3)

Country Link
US (1) US10606340B2 (zh)
CN (1) CN107422686B (zh)
GB (1) GB2549264B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017004626T5 (de) * 2016-09-14 2019-06-06 Erez Halahmi Überwachungssystem und Verfahren zum Kontrollieren des Prozesses der Oberflächenbearbeitung im Bauwesen
CN108881161B (zh) * 2018-05-11 2022-02-25 深圳增强现实技术有限公司 一种基于ar语义标签的远程工作指导方法及系统
US11938907B2 (en) 2020-10-29 2024-03-26 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11874653B2 (en) 2020-10-29 2024-01-16 Oliver Crispin Robotics Limited Systems and methods of servicing equipment
US11915531B2 (en) 2020-10-29 2024-02-27 General Electric Company Systems and methods of servicing equipment
US11935290B2 (en) * 2020-10-29 2024-03-19 Oliver Crispin Robotics Limited Systems and methods of servicing equipment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000055714A1 (en) * 1999-03-15 2000-09-21 Varian Semiconductor Equipment Associates, Inc. Remote assist system
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US20040189675A1 (en) * 2002-12-30 2004-09-30 John Pretlove Augmented reality system and method
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
CN104076949A (zh) * 2013-03-29 2014-10-01 华为技术有限公司 一种激光笔光束同步方法及相关设备、系统
CN104506621A (zh) * 2014-12-24 2015-04-08 北京佳讯飞鸿电气股份有限公司 一种采用视频标注进行远程指导的方法
CN104660995A (zh) * 2015-02-11 2015-05-27 尼森科技（湖北）有限公司 一种救灾救援可视系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2806561B1 (fr) * 2000-03-16 2002-08-09 France Telecom Systeme de tele-assistance a domicile
JP2008107871A (ja) * 2006-10-23 2008-05-08 Yoji Shimizu 作業者遠隔指示システム
WO2009036782A1 (en) * 2007-09-18 2009-03-26 Vrmedia S.R.L. Information processing apparatus and method for remote technical assistance
US9463574B2 (en) * 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
WO2013176758A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
US9946273B2 (en) * 2012-11-15 2018-04-17 Panasonic Intellectual Property Corporation Of America Information providing method and information providing apparatus
WO2014208169A1 (ja) * 2013-06-26 2014-12-31 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
EP2818948B1 (en) * 2013-06-27 2016-11-16 ABB Schweiz AG Method and data presenting device for assisting a remote user to provide instructions
US9626850B2 (en) * 2015-09-02 2017-04-18 Vivint, Inc. Home automation communication system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000055714A1 (en) * 1999-03-15 2000-09-21 Varian Semiconductor Equipment Associates, Inc. Remote assist system
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US20040189675A1 (en) * 2002-12-30 2004-09-30 John Pretlove Augmented reality system and method
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
CN104076949A (zh) * 2013-03-29 2014-10-01 华为技术有限公司 一种激光笔光束同步方法及相关设备、系统
CN104506621A (zh) * 2014-12-24 2015-04-08 北京佳讯飞鸿电气股份有限公司 一种采用视频标注进行远程指导的方法
CN104660995A (zh) * 2015-02-11 2015-05-27 尼森科技（湖北）有限公司 一种救灾救援可视系统

Also Published As

Publication number Publication date
CN107422686B (zh) 2022-05-03
GB2549264B (en) 2020-09-23
US10606340B2 (en) 2020-03-31
US20170293275A1 (en) 2017-10-12
GB2549264A (en) 2017-10-18

Similar Documents

Publication Publication Date Title
CN107422686A (zh) 用于允许对一个或更多个装置的远程控制的设备
Eswaran et al. Challenges and opportunities on AR/VR technologies for manufacturing systems in the context of industry 4.0: A state of the art review
Makhataeva et al. Augmented reality for robotics: A review
Wang et al. A comprehensive survey of augmented reality assembly research
CN109352658B (zh) 工业机器人定位操控方法、系统及计算机可读存储介质
JP7082416B2 (ja) 実世界を表現するリアルタイム３ｄ仮想世界の中でのリアルタイム３ｄ仮想物体の双方向リアルタイム３ｄインタラクティブ操作
US11331803B2 (en) Mixed reality assisted spatial programming of robotic systems
US8902254B1 (en) Portable augmented reality
Ong et al. Augmented reality applications in manufacturing: a survey
JP2023018097A (ja) 人間とロボットの相互作用の拡張現実調整
US8849636B2 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
Novak-Marcincin et al. Augmented reality aided manufacturing
Szafir Mediating human-robot interactions with virtual, augmented, and mixed reality
CN108228345A (zh) 用于交互式认知任务协助的系统和方法
Kokkas et al. An Augmented Reality approach to factory layout design embedding operation simulation
CN107065790A (zh) 用于确定虚拟环境中的虚拟机器人的配置的方法和系统
JP2010042466A (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
EP2842083A1 (en) Systems and methods for creating and utilizing high visual aspect ratio virtual environments
Manou et al. Off-line programming of an industrial robot in a virtual reality environment
Joseph Learning Robotics using Python: Design, simulate, program, and prototype an autonomous mobile robot using ROS, OpenCV, PCL, and Python
Ababsa Augmented reality application in manufacturing industry: Maintenance and non-destructive testing (ndt) use cases
Gong et al. Projection-based augmented reality interface for robot grasping tasks
Ikeda et al. An AR debugging tool for robotics programmers
JP7438680B2 (ja) アクティブポータブルアンカーを有する拡張現実システム
Albuquerque et al. Digital Twins as Foundation for Augmented Reality Applications in Aerospace

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant