CN111975765A - 电子装置、机器人系统和虚拟区域设定方法 - Google Patents

电子装置、机器人系统和虚拟区域设定方法 Download PDF

Info

Publication number
CN111975765A
CN111975765A CN202010428760.8A CN202010428760A CN111975765A CN 111975765 A CN111975765 A CN 111975765A CN 202010428760 A CN202010428760 A CN 202010428760A CN 111975765 A CN111975765 A CN 111975765A
Authority
CN
China
Prior art keywords
robot
gesture
virtual
virtual area
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010428760.8A
Other languages
English (en)
Other versions
CN111975765B (zh
Inventor
山岸友树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Publication of CN111975765A publication Critical patent/CN111975765A/zh
Application granted granted Critical
Publication of CN111975765B publication Critical patent/CN111975765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40146—Telepresence, teletaction, sensor feedback from slave to operator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40314—Simulation of program locally before remote operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明提供电子装置、机器人系统和虚拟区域设定方法。电子装置将真实空间的坐标与虚拟空间的坐标进行了关联。电子装置具备拍摄部、识别部、第一设定部和显示控制部。拍摄部对真实空间的手和机器人进行拍摄，生成拍摄图像，拍摄图像包含手的图像和机器人的图像。识别部基于拍摄图像，识别手的动作所表示的手势。在识别出手势是第一手势的情况下，第一设定部基于手在虚拟空间中的坐标，在虚拟空间中进行机器人的设定。显示控制部显示机器人，使人类能够在视觉上识别机器人。机器人对应于真实空间中用于对机器人的动作进行限制的边界区域。

Description

电子装置、机器人系统和虚拟区域设定方法
技术领域
本发明涉及电子装置、机器人系统和虚拟区域设定方法。
背景技术
有种机器人控制装置基于模拟结果对机器人进行控制。具体来说，机器人控制装置基于模拟结果在虚拟空间中设定对机器人的动作进行限制的区域。
通过模拟装置来执行模拟。模拟装置执行虚拟空间中虚拟机器人的动作模拟。为了使模拟装置执行模拟，需要将机器人进行操作的操作空间进行三维建模。
发明内容
然而，操作空间的三维建模将耗费时间和精力。因此，设定用于对机器人的动作进行限制的区域并不容易。
本发明是鉴于上述课题而作出的，其目的在于提供电子装置、机器人系统和虚拟区域设定方法，通过它们能够容易地设定用于对机器人的动作进行限制的虚拟区域。
本发明的电子装置将真实空间的坐标与虚拟空间的坐标进行了关联。所述电子装置具备拍摄部、识别部、第一设定部和显示控制部。所述拍摄部对所述真实空间的拍摄对象和机器人进行拍摄，生成拍摄图像，所述拍摄图像包含所述拍摄对象的图像和所述机器人的图像。所述识别部基于所述拍摄图像，识别所述拍摄对象的动作所表示的手势。在识别出所述手势是第一手势的情况下，所述第一设定部基于所述拍摄对象在所述虚拟空间中的坐标，在所述虚拟空间中进行虚拟区域的设定。所述显示控制部显示所述虚拟区域，使人类能够在视觉上识别所述机器人。所述虚拟区域对应于所述真实空间中用于对所述机器人的动作进行限制的边界区域。
本发明的机器人系统具备电子装置和机器人控制装置。所述电子装置将真实空间的坐标与虚拟空间的坐标进行了关联。所述机器人控制装置对机器人进行控制。所述电子装置含有拍摄部、识别部、第一设定部和显示控制部。所述拍摄部对所述真实空间的拍摄对象和所述机器人进行拍摄，生成拍摄图像，所述拍摄图像包含所述拍摄对象的图像和所述机器人的图像。所述识别部基于所述拍摄图像，识别所述拍摄对象的动作所表示的手势。在识别出所述手势是第一手势的情况下，所述第一设定部基于所述拍摄对象在所述虚拟空间中的坐标，在所述虚拟空间中进行虚拟区域的设定。所述显示控制部显示所述虚拟区域，使人类能够在视觉上识别所述机器人。所述机器人控制装置含有设定部。所述设定部基于所述虚拟区域，在所述真实空间中设定用于对所述机器人的动作进行限制的边界区域。
本发明的虚拟区域设定方法用于在已与真实空间的坐标关联了的虚拟空间中进行虚拟区域的设定。本发明的虚拟区域设定方法包含：拍摄图像生成步骤，对所述真实空间的拍摄对象和机器人进行拍摄，生成拍摄图像，所述拍摄图像包含所述拍摄对象的图像和所述机器人的图像；手势识别步骤，基于所述拍摄图像，识别所述拍摄对象的动作所表示的手势；虚拟区域设定步骤，在识别出所述手势是第一手势的情况下，基于所述拍摄对象在所述虚拟空间中的坐标，在所述虚拟空间中进行虚拟区域的设定；以及显示步骤，显示所述虚拟区域，使人类能够在视觉上识别所述机器人。所述虚拟区域对应于所述真实空间中用于对所述机器人的动作进行限制的边界区域。
〔发明效果〕
根据本发明的电子装置、机器人系统和虚拟区域设定方法，能够容易地设定用于对机器人的动作进行限制的虚拟区域。
附图说明
图1是本发明实施方式一所涉及的机器人系统。
图2是实施方式一所涉及的头戴式显示器。
图3(a)是实施方式一所涉及的第一手势的例子。
图3(b)是实施方式一所涉及的第一手势的另一例子。
图3(c)是实施方式一所涉及的第一手势的又一例子。
图4是实施方式一所涉及的第二手势。
图5是实施方式一所涉及的第三手势。
图6是实施方式一所涉及的头戴式显示器的控制部动作的部分流程图。
图7是实施方式一所涉及的头戴式显示器的控制部动作的另一部分流程图。
图8是本发明实施方式二所涉及的机器人控制装置。
图9是实施方式二所涉及的机器人控制装置的控制部动作的流程图。
具体实施方式
以下，参照附图对本发明的例示实施方式进行说明。另外，在图中对相同或者相当的部分使用同样的附图标记，不再重复说明。
(实施方式一)
参照图1至图7，对本发明的实施方式一进行说明。根据实施方式一，人类利用混合现实(MR：Mixed Reality)技术能够容易地设定用于对机器人的动作进行限制的虚拟区域。
参照图1，对实施方式一所涉及的机器人系统100的结构进行说明。图1表示机器人系统100。如图1所示，机器人系统100具备头戴式显示器10、网络集线器20、机器人控制装置30和机器人40。头戴式显示器10将真实空间的坐标与虚拟空间的坐标进行了关联。头戴式显示器10相当于“电子装置”的一个例子。
实施方式一中，头戴式显示器10是视频透射式的可穿戴终端。头戴式显示器10佩戴在人类的头部。头戴式显示器10以佩戴者能够在视觉上进行识别的方式进行图像显示。佩戴者相当于“人类”的一个具体例子。
头戴式显示器10具备拍摄部11和显示器14。
拍摄部11对进入头戴式显示器10的佩戴者视野的拍摄对象500进行拍摄。拍摄部11对进入头戴式显示器10的佩戴者视野的机器人40进行拍摄。具体来说，拍摄部11对真实空间的拍摄对象500和真实空间的机器人40进行拍摄，生成拍摄图像，拍摄图像包含拍摄对象500的图像和机器人40的图像。拍摄部11例如具备单个或多个摄像头。摄像头例如含有CMOS(Complementary Metal Oxide Semiconductor)图像传感器或者CCD(Charge CoupledDevice)图像传感器。
实施方式一中，拍摄对象500是佩戴者的手。因此，在以下的说明中，为了便于理解，将拍摄对象500记载为手500。不过，拍摄对象500不限于手，例如也可以是物体。
显示器14以佩戴者能够在视觉上进行识别的方式进行图像显示。显示器14例如含有液晶显示器或者有机EL(Electro Luminescence)之类的显示元件。
实施方式一中，显示器14将拍摄部11所生成的拍摄图像与虚拟空间内的对象进行混合并显示。具体来说，显示器14将拍摄图像所含的手500的图像和机器人40的图像与设定在虚拟空间中的虚拟区域200进行混合并显示。
虚拟区域200是用于对机器人40的动作进行限制的区域。也就是说，虚拟区域200对应于真实空间中用于对机器人40的动作进行限制的边界区域300。具体来说，在真实空间中，边界区域300指出机器人40的操作空间与对机器人40的动作进行限制或者禁止的空间之间的边界。
虚拟区域200和边界区域300的形状不限于平面形状，可以是任意的形状。例如，虚拟区域200和边界区域300的形状也可以是三维形状。例如，三维形状是整体围绕机器人40的形状(例如，四角方形筒形状)或者局部围绕机器人40的形状(例如，L字形状)。
基于手500的特定手势J1，由头戴式显示器10在虚拟空间中进行虚拟区域200的设定。因此，根据实施方式一，能够容易地设定用于对机器人40的动作进行限制的虚拟区域200。以下，特定手势J1记载为“第一手势J1”。
另外，头戴式显示器10对真实空间进行测量，将真实空间的坐标与虚拟空间的坐标进行关联。也就是说，头戴式显示器10能够进行虚拟空间与真实空间的“几何一致性整合(位置整合)”。例如，虚拟空间与真实空间的“几何一致性整合(位置整合)”可以基于由拍摄部11获得的图像来执行(基于标记、基于模型或基于自然特征)、也可以基于由物理传感器(例如，深度传感器、加速度传感器、陀螺仪传感器、磁传感器和/或惯性测量单元)获得的信息来进行，也可以基于由拍摄部11获得的图像和由物理传感器获得的信息来进行。物理传感器安装在头戴式显示器10上。
还有，头戴式显示器10将虚拟区域200在虚拟空间中的坐标变换为真实空间中的坐标，由此计算出对应于虚拟区域200的边界区域300。然后，头戴式显示器10将表示边界区域300的信息(例如，真实空间中的边界区域300的坐标)通过网络集线器20发送给机器人控制装置30。
网络集线器20在头戴式显示器10和机器人控制装置30之间进行中继通信。还有，网络集线器20在机器人40与机器人控制装置30之间进行中继通信。
具体来说，网络集线器20进行与头戴式显示器10的无线通信，进行数据的收发。无线通信的方式只要与头戴式显示器10相同即可，没有特别的限定。另外，网络集线器20也可以与头戴式显示器10进行有线通信。
还有，网络集线器20进行与机器人控制装置30和机器人40的有线通信，进行数据的收发。有线通信的方式只要能够进行数据收发即可，没有特别的限定。另外，网络集线器20也可以与机器人控制装置30和机器人40进行无线通信。
机器人控制装置30通过网络集线器20对机器人40进行控制。具体来说，机器人控制装置30根据机器人40的动作模式，对作为机器人40的驱动源的马达进行旋转控制。根据机器人40执行的每个操作来确定动作模式，动作模式表示机器人40对应于操作的动作。
特别需要指出的是，实施方式一中，机器人控制装置30通过网络集线器20从头戴式显示器10接收真实空间中的边界区域300的信息。然后，机器人控制装置30基于边界区域300对机器人40进行控制。具体来说，机器人控制装置30基于边界区域300对机器人40的动作进行限制。
例如，机器人控制装置30对机器人40进行控制，使机器人40不越过边界区域300。例如，机器人控制装置30对机器人40进行控制，使机器人40一越过边界区域300就停机。例如，机器人控制装置30对机器人40进行控制，使机器人40一越过边界区域300就减速。另外，机器人40越过边界区域300是指机器人40沿着离开机器人40的设置位置的方向越过边界区域300。
例如，在人类或者物体朝向机器人40越过了边界区域300的情况下，机器人控制装置30对机器人40的动作进行限制。具体来说，在人类或者物体朝向机器人40越过了边界区域300的情况下，机器人控制装置30控制机器人40使机器人40的动作停止。
机器人40按照机器人控制装置30的控制进行动作。例如，机器人40对物品进行握持。例如，机器人40将所握持的物品移动到规定的场所。
具体来说，机器人40具有基座部41、臂部42和手部43。臂部42配置在基座部41上。臂部42能够以基座部41为起点在真实空间中自由移动。
具体来说，臂部42具有若干个关节42a和若干个手臂42b。各手臂42b的两端安装了关节42a。手臂42b根据关节42a的驱动进行转动。关节42a由内置马达进行驱动。内置马达由机器人控制装置30进行控制。因此，机器人控制装置30通过控制关节42a的内置马达，对臂部42的动作进行控制。
手部43对物品进行握持。手部43设置在臂部42的顶端部。具体来说，手部43安装在臂部42的顶端部的关节42a上。手部43具有第一指部43a和第二指部43b。手部43通过第一指部43a和第二指部43b的开合，来握持和释放物品。第一指部43a和第二指部43b的开合由手部43的内置马达来执行。手部43的内置马达由机器人控制装置30进行控制。因此，机器人控制装置30通过控制手部43的内置马达，对手部43的动作进行控制。
接下来，参照图2，进一步说明头戴式显示器10。图2是头戴式显示器10。如图2所示，头戴式显示器10还具备控制部12、存储部13和无线通信接口(I/F)15。
无线通信接口15执行与网络集线器20的无线通信。无线通信例如是近距离无线通信。近距离无线通信例如是指通信距离从数米到数十米左右的无线通信。近距离无线通信例如是指按照Bluetooth(日本注册商标)、ZigBee(日本注册商标)或者WiFi之类通信标准的通信。
控制部12对拍摄部11、存储部13、显示器14和无线通信接口15进行控制。控制部12含有CPU(Central Processing Unit)之类的处理器。
存储部13包含存储装置，对数据和计算机程序进行存储。具体来说，存储部13含有半导体存储器之类的主存储装置和半导体存储器、固态硬盘和/或硬盘驱动器之类的辅助存储装置。存储部13也可以包含可移动介质。
控制部12具备识别部12a、第一设定部12b、第二设定部12c和显示控制部12d。具体来说，控制部12的处理器通过执行存储部13的存储装置中存储的计算机程序，作为识别部12a、第一设定部12b、第二设定部12c和显示控制部12d发挥作用。
识别部12a基于拍摄部11所生成的拍摄图像，识别出手500的动作所表示的手势。具体来说，识别部12a识别出拍摄图像中含有的手势图像。在拍摄图像含有手势图像的情况下，识别部12a识别出拍摄图像含有哪种手势图像。具体来说，识别部12a识别出拍摄图像中是否含有第一手势J1。
还有，识别部12a也能够识别出拍摄图像中是否含有第二手势J2。第二手势J2不同于第一手势J1。还有，识别部12a也能够识别出拍摄图像中是否含有第三手势J3。第三手势J3不同于第一手势J1和第二手势J2。而且，识别部12a也能够识别出拍摄图像中是否含有第四手势J4。第四手势J4不同于第一手势J1、第二手势J2和第三手势J3。
在识别部12a识别出手500的手势是第一手势J1的情况下，第一设定部12b基于虚拟空间中的手500的坐标，在虚拟空间中进行虚拟区域200的设定。
其结果，根据实施方式一，通过佩戴者执行第一手势J1，能够容易地设定用于对机器人40的动作进行限制的虚拟区域200。例如，虚拟区域200由虚拟区域200在虚拟空间中的坐标来定义。虚拟区域200在虚拟空间中的坐标是指出虚拟区域200的信息的一个例子。
在识别部12a识别出手500的手势是第二手势J2的情况下，第一设定部12b基于虚拟空间中的手500的坐标，对虚拟区域200的大小进行变更。因此，根据实施方式一，通过佩戴者执行第二手势J2，能够容易地对虚拟区域200在虚拟空间中的大小进行变更。
在识别部12a识别出手500的手势是第三手势J3的情况下，第一设定部12b基于虚拟空间中的手500的坐标，对虚拟区域200的姿态进行变更。因此，根据实施方式一，通过佩戴者执行第三手势J3，能够容易地对虚拟区域200在虚拟空间中的姿态进行变更。
在识别部12a识别出手500的手势是第四手势J4的情况下，第一设定部12b基于虚拟空间中的手500的坐标，移动虚拟区域200。因此，根据实施方式一，通过佩戴者执行第四手势J4，能够容易地对虚拟区域200在虚拟空间中的位置进行变更。
第二设定部12c将虚拟区域200的坐标变换为真实空间中的坐标。坐标的变换只要是已在混合现实技术领域中使用的方法即可，无需进行特别限定。
第二设定部12c基于坐标变换后的虚拟区域200，在真实空间中进行边界区域300的设定。因此，根据实施方式一，基于边界区域300对机器人40进行控制，由此能够容易地对机器人40的动作进行限制。
例如，边界区域300由边界区域300在真实空间中的坐标来定义。边界区域300在真实空间中的坐标是指出真实空间中的边界区域300的信息的一个例子。边界区域300的坐标例如由真实空间中放置机器人40的坐标系来表示。
具体来说，第二设定部12c将坐标变换后的虚拟区域200作为边界区域300设定在真实空间中。坐标变换后的虚拟区域200是以真实空间中的坐标来表示的虚拟区域200。
不过，第二设定部12c也可以基于机器人40的最大可动范围和坐标变换后的虚拟区域200，进行边界区域300的设定。这样的情况下，能够根据机器人40的最大可动范围来设定更适当的边界区域300。表示机器人40的最大可动范围的信息存储在存储部13中。
还有，第二设定部12c也可以基于机器人40的动作模式和坐标变换后的虚拟区域200，为每个动作模式分别设定边界区域300。这样的情况下，能够按照机器人40的动作模式来设定更适当的边界区域300。表示机器人40的动作模式的信息存储在存储部13中。
另外，第二设定部12c也可以基于机器人40的最大可动范围、机器人40的动作模式和坐标变换后的虚拟区域200，进行边界区域300的设定。
显示控制部12d将虚拟区域200进行显示，使佩戴者能够在视觉上识别机器人40。因此，根据实施方式一，佩戴者通过在视觉上识别机器人40和虚拟区域200的同时执行第一手势J1，能够容易地设定虚拟区域200。
同样地，佩戴者通过在视觉上识别机器人40和虚拟区域200的同时执行第二手势J2、第三手势J3或者第四手势J4，能够容易地对虚拟区域200进行大小变更、姿态变更或者位置变更。
实施方式一中，显示控制部12d使显示器14显示虚拟区域200，由此使佩戴者能够在视觉上识别机器人40。具体来说，显示控制部12d将机器人40的图像与虚拟区域200进行叠加。显示控制部12d将叠加后的图像输出到显示器14。
接下来，参照图3(a)～图5，对实施方式一所涉及的手势进行说明。图3(a)～图3(c)表示第一手势J1。第一手势J1是指在虚拟空间中设定虚拟区域200的手势。
图3(a)是指参照图1进行了说明的第一手势J1。如图3(a)所示，第一手势J1是佩戴者将手500沿着第一方向D1移动的手势。
图3(a)的例子中，通过第一手势J1，设定了在第一方向D1上延伸的矩形形状的虚拟区域200。另外，图3(a)的例子中，第一方向D1与垂直方向大致平行，但无需特别的限定。例如，第一方向D1也可以与水平方向大致平行。
图3(b)是第一手势J1的另一例子。如图3(b)所示，第一手势J1是指：佩戴者以右手501的大拇指与食指的指根h1和左手502的大拇指与食指的指根h2沿着第二方向D2相互离开的方式，移动右手501和左手502的手势。
图3(b)的例子中，通过第一手势J1，设定了以指根h1和指根h2为对角线两端部的矩形形状的虚拟区域200。另外，图3(b)的例子中，第二方向D2是右上斜的倾斜方向，但无需特别的限定。例如，第二方向D2也可以是左上斜的倾斜方向。
图3(c)表示第一手势J1的又一例子。如图3(c)所示，第一手势J1是指：佩戴者用手500的食指轻敲空间的所需位置来确定虚拟区域200的角落的手势。图3(c)的例子中，点P1、点P2和点P3被轻敲，由此设定了矩形形状的虚拟区域200。
图4表示第二手势J2。如图4所示，第二手势J2是指如下手势：佩戴者用左手502按住虚拟区域200的左侧，用右手501的食指轻敲虚拟区域200的右侧并沿第三方向D3滑动。通过第二手势J2，虚拟区域200的大小在第三方向D3上发生了变更。另外，用右手501的食指轻敲的也可以不是虚拟区域200的端部。因此，能够使虚拟区域200延展到右手501实际上无法到达的地方。
另外，图4的例子中，第三方向D3是右方向，但无需特别的限定。例如，第三方向D3也可以是左方向。还有，第二手势J2也可以是如下手势：佩戴者用右手501按住虚拟区域200的右侧，用左手502的食指轻敲虚拟区域200的左侧并沿第三方向D3(左方向)滑动。
图5表示第三手势J3。如图5所示，第三手势J3是指如下手势：佩戴者打开手500的大拇指和食指，在虚拟区域200上使手指沿着旋转方向R1旋转。通过第三手势J3，虚拟区域200发生旋转，虚拟区域200的姿态发生变更。另外，图5的例子中，旋转方向R1是逆时针旋转方向，但无需特别限定，也可以是顺时针旋转方向。
接下来，参照图6和图7，对头戴式显示器10所执行的虚拟区域设定方法进行说明。虚拟区域设定方法中，在与真实空间的坐标进行了关联的虚拟空间中设定虚拟区域200。
图6和图7是头戴式显示器10的控制部12的动作流程图。也就是说，图6和图7表示头戴式显示器10的控制部12所执行的虚拟区域设定方法。如图6和图7所示，虚拟区域设定方法包含步骤S101～步骤S113。因此，控制部12执行步骤S101～步骤S113的各处理。
图6和图7的动作是在人类将头戴式显示器10佩戴到头部并启动后开始的。
如图6所示，步骤S101中，控制部12的识别部12a开始从拍摄部11获得拍摄图像。因此，拍摄部11对真实空间的手500和机器人40进行拍摄，生成拍摄图像，拍摄图像包含手500的图像和机器人40的图像。处理前进到步骤S102。
步骤S102中，识别部12a基于拍摄图像，识别出手500的动作所表示的手势。处理前进到步骤S103。
步骤S103中，识别部12a判断手势是否是第一手势J1。在步骤S103中判断手势不是第一手势J1的情况下(步骤S103中的No)，处理前进到步骤S102。另一方面，在步骤S103中判断手势是第一手势J1的情况下(步骤S103中的Yes)，处理前进到步骤S104。
步骤S104中，控制部12的显示控制部12d对应于第一手势J1显示虚拟区域200，由此使佩戴者能够在视觉上识别机器人40。实施方式一中，显示控制部12d使显示器14显示虚拟区域200，由此使佩戴者能够在视觉上识别机器人40。具体来说，显示控制部12d控制显示器14进行机器人40和虚拟区域200的显示。处理前进到步骤S105。
步骤S105中，控制部12的第一设定部12b基于虚拟空间中的手500的坐标，在虚拟空间中进行虚拟区域200的设定。具体来说，在第一手势J1停止的情况下，第一设定部12b基于虚拟空间中的手500的坐标，在虚拟空间中进行虚拟区域200的设定。另外，步骤S104中，也是基于正在执行第一手势J1的手500(也就是说，移动中的手500)在虚拟空间中的坐标，第一设定部12b确定出虚拟区域200。处理前进到步骤S106。
步骤S106中，识别部12a基于拍摄图像进行手势的识别。处理前进到步骤S107。
步骤S107中，识别部12a判断手势是否是第二手势J2。在步骤S107中判断手势不是第二手势J2的情况下(步骤S107中的No)，处理前进到图7的步骤S109。另一方面，在步骤S107中判断手势是第二手势J2的情况下(步骤S107中的Yes)，处理前进到步骤S108。
步骤S108中，第一设定部12b基于第二手势J2对虚拟区域200的大小进行变更。处理前进到图7的步骤S109。
如图7所示，步骤S109中，识别部12a基于拍摄图像进行手势的识别。处理前进到步骤S110。
步骤S110中，识别部12a判断手势是否是第三手势J3。在步骤S110中判断手势不是第三手势J3的情况下(步骤S110中的No)，处理前进到步骤S112。另一方面，在步骤S110中判断手势是第三手势J3的情况下(步骤S110中的Yes)，处理前进到步骤S111。
步骤S111中，第一设定部12b基于第三手势J3，对虚拟区域200的姿态进行变更。处理前进到步骤S112。
步骤S112中，控制部12的第二设定部12c将虚拟区域200的坐标变换为真实空间中的坐标，基于坐标变换后的虚拟区域200进行边界区域300的设定。另外，步骤S112中，第二设定部12c也可以基于坐标变换后的虚拟区域200、机器人40的最大可动范围和/或动作模式，进行边界区域300的设定。处理前进到步骤S113。
步骤S113中，控制部12将表示边界区域300的信息发送给机器人控制装置30。图6和图7的处理结束。
如上所述，参照图1至图7，对本发明实施方式一所涉及的机器人系统100进行了说明。根据实施方式一，头戴式显示器10的佩戴者利用混合现实技术能够容易地进行虚拟区域200和边界区域300的设定。还有，根据实施方式一，无需改变机器人控制装置30的结构，因此能够降低机器人系统100的导入成本。
(实施方式二)
参照图1、图8和图9，对本发明实施方式二进行说明。根据实施方式二，人类利用混合现实技术能够容易地设定用于对机器人40的动作进行限制的虚拟区域200。
实施方式一和实施方式二中，与虚拟区域200对应的边界区域300的设定主体是不同的。具体来说，在实施方式一中，头戴式显示器10基于虚拟区域200进行边界区域300的设定。相对于此，在实施方式二中，机器人控制装置30基于虚拟区域200进行边界区域300的设定。
除了主体不同这点以外，实施方式一与实施方式二是相同的结构。因此，省略实施方式二的结构中与实施方式一的结构相同的结构的说明。
实施方式二的头戴式显示器10进行虚拟区域200的设定，不进行边界区域300的设定。因此，实施方式二的头戴式显示器1O不具备实施方式一的第二设定部12c。因此，实施方式二中，头戴式显示器10执行步骤S101～步骤S111，不执行步骤S112。还有，实施方式二的步骤S113中，头戴式显示器10将表示虚拟区域200的信息(例如，虚拟区域200在虚拟空间中的坐标)发送给机器人控制装置30。
图7是实施方式二所涉及的机器人控制装置30。如图7所示，机器人控制装置30具备控制部31和存储部32。
控制部31对存储部32进行控制。控制部31含有CPU之类的处理器。存储部32包含存储装置，对数据和计算机程序进行存储。具体来说，存储部32含有半导体存储器之类的主存储装置和半导体存储器、固态硬盘和/或硬盘驱动器之类的辅助存储装置。存储部32也可以包含可移动介质。
控制部31含有设定部31a和机器人控制部31b。具体来说，控制部31的处理器通过执行存储部32的存储装置中存储的计算机程序，作为设定部31a和机器人控制部31b发挥作用。
设定部31a执行与图2中的第二设定部12c相同的处理。也就是说，设定部31a基于虚拟区域200，对真实空间中用于对机器人40的动作进行限制的边界区域300进行设定。具体来说，设定部31a从头戴式显示器10接收表示虚拟空间中的虚拟区域200的信息(具体来说，虚拟区域200在虚拟空间中的坐标)。然后，设定部31a将虚拟区域200在虚拟空间中的坐标变换为真实空间中的坐标。坐标的变换使用与实施方式一的第二设定部12c相同的方法。设定部31a基于坐标变换后的虚拟区域200进行边界区域300的设定。另外，设定部31a的处理与图2中的第二设定部12c的处理相同。
还有，设定部31a也可以基于机器人40的最大可动范围和坐标变换后的虚拟区域200，进行边界区域300的设定。这样的情况下，能够根据机器人40的最大可动范围来设定更适当的边界区域300。表示机器人40的最大可动范围的信息存储在存储部32中。
还有，设定部31a也可以基于机器人40的动作模式和坐标变换后的虚拟区域200，为每个动作模式分别设定边界区域300。这样的情况下，能够按照机器人40的动作模式来设定更适当的边界区域300。表示机器人40的动作模式的信息存储在存储部32中。
机器人控制部31b通过网络集线器20基于存储部32中存储的动作模式对机器人40进行控制。特别需要指出的是，实施方式二中，机器人控制部31b基于边界区域300对机器人40的动作进行限制。
接下来，参照图9，对设定边界区域300时的机器人控制装置30的控制部31的处理进行说明。图9的动作在头戴式显示器10发送表示虚拟区域200的信息后开始。
如图8和图9所示，步骤S201中，控制部31的设定部31a从头戴式显示器10接收表示虚拟区域200的信息。处理前进到步骤S202。
步骤S202中，设定部31a基于表示虚拟区域200的信息，进行边界区域300的设定。具体来说，设定部31a基于变换到真实空间坐标后的虚拟区域200，进行边界区域300的设定。另外，步骤S202中，设定部31a也可以基于变换到真实空间坐标后的虚拟区域200、机器人40的最大可动范围和/或动作模式，进行边界区域300的设定。图9的处理结束。
如上所述，参照图8和图9，对本发明实施方式二所涉及的机器人系统100进行了说明。根据实施方式二，人类利用混合现实技术能够容易地进行虚拟区域200和边界区域300的设定。还有，根据实施方式二，机器人控制装置30进行边界区域300的设定，由此能够降低头戴式显示器10上的负荷。
如上所述，参照附图对本发明的实施方式进行了说明。但是，本发明不限于上述的实施方式，可以在不脱离其要旨的范围内以各种方式进行实施(例如，下列(1)和(2))。还有，上述实施方式中公开的若干个结构要素可以适当改变。例如，可以将某一实施方式所示的全结构要素中的结构要素追加到其它实施方式的结构要素中，或者也可以删除某一实施方式所示的全结构要素中的若干结构要素。
还有，为了便于理解本发明，附图中主要对各结构要素进行了示意性地表示，为了方便作图，图示各结构要素的厚度、长度、个数、间隔等可能与实际有出入。还有，上述实施方式所示的各结构要素的结构等只是一个例子，不是特别限定，可以在实质上不脱离本发明效果的范围内进行各种变更。
(1)本发明实施方式中，电子装置是视频透射式的头戴式显示器10，但本发明不限于此。例如，电子装置也可以是光学透射式的头戴式显示器。光学透射式的头戴式显示器使人类直接看到人类的周边环境。这样的情况下，头戴式显示器可以将虚拟区域200投影(成像)在半反射镜之类的光电耦合元件或者人类的视网膜上，也可以使虚拟区域200显示在液晶显示器之类使光透过的显示元件上。另外，在将虚拟区域200投影(成像)在人类视网膜的情况下，不需要图2中的显示器14。还有，电子装置也可以是终端装置。终端装置例如是便携终端装置。便携终端装置例如是智能手机。通过使用智能手机之类的便携终端装置，能够低成本地导入机器人系统100。
(2)本发明实施方式中，利用人类的手500的动作作为手势，但本发明不限于此。例如，也可以利用具有规定形状的操作部件(例如，具有规定形状的笔)的动作作为手势。也就是说，拍摄对象500也可以是操作部件。

Claims (10)

1.一种电子装置，将真实空间的坐标与虚拟空间的坐标进行了关联，其特征在于具备：
拍摄部，对所述真实空间的拍摄对象和机器人进行拍摄，生成拍摄图像，所述拍摄图像包含所述拍摄对象的图像和所述机器人的图像；
识别部，基于所述拍摄图像，识别所述拍摄对象的动作所表示的手势；
第一设定部，在识别出所述手势是第一手势的情况下，基于所述拍摄对象在所述虚拟空间中的坐标，在所述虚拟空间中进行虚拟区域的设定；以及
显示控制部，显示所述虚拟区域，使人类能够在视觉上识别所述机器人，
而且，所述虚拟区域对应于所述真实空间中用于对所述机器人的动作进行限制的边界区域。
2.根据权利要求1所述的电子装置，其特征在于，
在识别出所述手势是不同于所述第一手势的第二手势时，所述第一设定部基于所述拍摄对象在所述虚拟空间中的坐标，改变所述虚拟区域的大小。
3.根据权利要求1或2所述的电子装置，其特征在于，
在识别出所述手势是不同于所述第一手势的第三手势时，所述第一设定部基于所述拍摄对象在所述虚拟空间中的坐标，改变所述虚拟区域的姿态。
4.根据权利要求1或2所述的电子装置，其特征在于，
还具备第二设定部，所述第二设定部将所述虚拟区域的坐标变换为所述真实空间中的坐标，并基于变换后的所述虚拟区域进行所述边界区域的设定。
5.根据权利要求4所述的电子装置，其特征在于，
所述第二设定部基于所述机器人的最大可动范围和所述变换后的虚拟区域，进行所述边界区域的设定。
6.根据权利要求4所述的电子装置，其特征在于，
所述第二设定部基于所述机器人的动作模式和所述变换后的虚拟区域，为每个所述动作模式分别设定所述边界区域。
7.根据权利要求1或2所述的电子装置，其特征在于，
所述电子装置是可穿戴终端。
8.一种机器人系统，
具备电子装置和机器人控制装置，
所述电子装置将真实空间的坐标与虚拟空间的坐标进行了关联，
所述机器人控制装置对机器人进行控制，
所述电子装置含有：
拍摄部，对所述真实空间的拍摄对象和所述机器人进行拍摄，生成拍摄图像，所述拍摄图像包含所述拍摄对象的图像和所述机器人的图像；
识别部，基于所述拍摄图像，识别所述拍摄对象的动作所表示的手势；
第一设定部，在识别出所述手势是第一手势的情况下，基于所述拍摄对象在所述虚拟空间中的坐标，在所述虚拟空间中进行虚拟区域的设定；以及
显示控制部，显示所述虚拟区域，使人类能够在视觉上识别所述机器人，
而且，所述机器人控制装置含有设定部，
所述设定部基于所述虚拟区域，在所述真实空间中设定用于对所述机器人的动作进行限制的边界区域。
9.根据权利要求8所述的机器人系统，其特征在于，
所述设定部基于所述机器人的最大可动范围和所述虚拟区域，进行所述边界区域的设定。
10.一种虚拟区域设定方法，用于在已与真实空间的坐标关联了的虚拟空间中进行虚拟区域的设定，其特征在于包含：
拍摄图像生成步骤，对所述真实空间的拍摄对象和机器人进行拍摄，生成拍摄图像，所述拍摄图像包含所述拍摄对象的图像和所述机器人的图像；
手势识别步骤，基于所述拍摄图像，识别所述拍摄对象的动作所表示的手势；
虚拟区域设定步骤，在识别出所述手势是第一手势的情况下，基于所述拍摄对象在所述虚拟空间中的坐标，在所述虚拟空间中进行虚拟区域的设定；以及
显示步骤，显示所述虚拟区域，使人类能够在视觉上识别所述机器人，
而且，所述虚拟区域对应于所述真实空间中用于对所述机器人的动作进行限制的边界区域。
CN202010428760.8A 2019-05-24 2020-05-20 电子装置、机器人系统和虚拟区域设定方法 Active CN111975765B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019097768A JP7331462B2 (ja) 2019-05-24 2019-05-24 ロボットシステム、ロボット制御方法及び電子装置
JP2019-097768 2019-05-24

Publications (2)

Publication Number Publication Date
CN111975765A true CN111975765A (zh) 2020-11-24
CN111975765B CN111975765B (zh) 2023-05-23

Family

ID=73441747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010428760.8A Active CN111975765B (zh) 2019-05-24 2020-05-20 电子装置、机器人系统和虚拟区域设定方法

Country Status (3)

Country Link
US (1) US11461972B2 (zh)
JP (1) JP7331462B2 (zh)
CN (1) CN111975765B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220009105A1 (en) * 2016-06-06 2022-01-13 Sony Corporation Virtual creature control system and virtual creature control method

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040106916A1 (en) * 2002-03-06 2004-06-03 Z-Kat, Inc. Guidance system and method for surgical procedures with improved feedback
CN1627237A (zh) * 2003-12-04 2005-06-15 佳能株式会社 复合现实感展现方法和装置
WO2012101286A1 (en) * 2011-01-28 2012-08-02 Virtual Proteins B.V. Insertion procedures in augmented reality
CN103153171A (zh) * 2010-08-30 2013-06-12 富士胶片株式会社 医疗信息显示设备、方法和程序
CN103616954A (zh) * 2013-12-06 2014-03-05 Tcl通讯（宁波）有限公司 一种虚拟键盘系统、实现方法及移动终端
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
CN105074617A (zh) * 2013-03-11 2015-11-18 日本电气方案创新株式会社 三维用户界面装置和三维操作处理方法
WO2016113969A1 (ja) * 2015-01-13 2016-07-21 三菱電機株式会社 ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体
CN107247466A (zh) * 2017-06-12 2017-10-13 中山长峰智能自动化装备研究院有限公司 一种机器人头部手势控制方法及系统
WO2018081136A2 (en) * 2016-10-25 2018-05-03 Eugene Gregerson Methods and systems for robot-assisted surgery
CN108247647A (zh) * 2018-01-24 2018-07-06 速感科技（北京）有限公司 一种清洁机器人
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
CN109460150A (zh) * 2018-11-12 2019-03-12 北京特种机械研究所 一种虚拟现实人机交互系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250026A (ja) * 1992-03-05 1993-09-28 Okuma Mach Works Ltd 干渉防止バリアを有する数値制御装置
JPH07239750A (ja) * 1993-12-28 1995-09-12 Canon Inc モデリング方法とその装置
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
US10384347B2 (en) 2016-03-25 2019-08-20 Seiko Epson Corporation Robot control device, robot, and simulation device
JP6743453B2 (ja) 2016-03-30 2020-08-19 セイコーエプソン株式会社 ロボット制御装置、ロボットおよびシミュレーション装置
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN116370090B (zh) * 2017-06-09 2024-04-16 马科外科公司 用于产生反作用力以实现虚拟边界的机器人系统和方法
JP7013766B2 (ja) * 2017-09-22 2022-02-01 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、及び制御方法
JP6601480B2 (ja) * 2017-12-05 2019-11-06 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2020153411A1 (en) * 2019-01-23 2020-07-30 Sony Corporation Medical arm system, control device, control method, and program

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040106916A1 (en) * 2002-03-06 2004-06-03 Z-Kat, Inc. Guidance system and method for surgical procedures with improved feedback
CN1627237A (zh) * 2003-12-04 2005-06-15 佳能株式会社 复合现实感展现方法和装置
CN103153171A (zh) * 2010-08-30 2013-06-12 富士胶片株式会社 医疗信息显示设备、方法和程序
WO2012101286A1 (en) * 2011-01-28 2012-08-02 Virtual Proteins B.V. Insertion procedures in augmented reality
CN104508600A (zh) * 2012-07-27 2015-04-08 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
CN105074617A (zh) * 2013-03-11 2015-11-18 日本电气方案创新株式会社 三维用户界面装置和三维操作处理方法
CN103616954A (zh) * 2013-12-06 2014-03-05 Tcl通讯（宁波）有限公司 一种虚拟键盘系统、实现方法及移动终端
WO2016113969A1 (ja) * 2015-01-13 2016-07-21 三菱電機株式会社 ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体
WO2018081136A2 (en) * 2016-10-25 2018-05-03 Eugene Gregerson Methods and systems for robot-assisted surgery
CN107247466A (zh) * 2017-06-12 2017-10-13 中山长峰智能自动化装备研究院有限公司 一种机器人头部手势控制方法及系统
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
CN108247647A (zh) * 2018-01-24 2018-07-06 速感科技（北京）有限公司 一种清洁机器人
CN109460150A (zh) * 2018-11-12 2019-03-12 北京特种机械研究所 一种虚拟现实人机交互系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220009105A1 (en) * 2016-06-06 2022-01-13 Sony Corporation Virtual creature control system and virtual creature control method
US11826898B2 (en) * 2016-06-06 2023-11-28 Sony Corporation Virtual creature control system and virtual creature control method

Also Published As

Publication number Publication date
CN111975765B (zh) 2023-05-23
US20200372712A1 (en) 2020-11-26
US11461972B2 (en) 2022-10-04
JP7331462B2 (ja) 2023-08-23
JP2020192613A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
US11615884B2 (en) Techniques for virtualized tool interaction
US10384348B2 (en) Robot apparatus, method for controlling the same, and computer program
JP5966510B2 (ja) 情報処理システム
US8355816B2 (en) Action teaching system and action teaching method
US8731276B2 (en) Motion space presentation device and motion space presentation method
EP1435280A2 (en) A method and a system for programming an industrial robot
EP2932358A1 (en) Direct interaction system for mixed reality environments
JP2012146236A (ja) ジェスチャ入力装置
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
KR20200144363A (ko) 로봇 및 그의 구동 방법
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
CN113448343A (zh) 用于设定飞行器的目标飞行路径的方法、系统和程序
CN107133984A (zh) 深度相机与主体设备的标定方法与系统
WO2019120481A1 (en) System and method for determining a transformation representation
JP2009258884A (ja) ユーザインタフェイス
CN111975765B (zh) 电子装置、机器人系统和虚拟区域设定方法
JP2010205031A (ja) 入力位置特定方法、入力位置特定システムおよび入力位置特定用プログラム
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
CN113677412A (zh) 信息处理装置、信息处理方法和程序
EP3718708A1 (en) Operation guiding system
CN113597362A (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
WO2023040897A1 (zh) 一种手术机器人的空间注册位姿计算方法和系统
JP2023056623A (ja) 遠隔検査装置及び遠隔検査方法
JP2023017440A (ja) 画像処理装置
CN116669915A (zh) 控制装置、控制方法、程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant