KR102001214B1 - Apparatus and method for dual-arm robot teaching based on virtual reality - Google Patents

Apparatus and method for dual-arm robot teaching based on virtual reality Download PDF

Info

Publication number
KR102001214B1
KR102001214B1 KR1020170143671A KR20170143671A KR102001214B1 KR 102001214 B1 KR102001214 B1 KR 102001214B1 KR 1020170143671 A KR1020170143671 A KR 1020170143671A KR 20170143671 A KR20170143671 A KR 20170143671A KR 102001214 B1 KR102001214 B1 KR 102001214B1
Authority
KR
South Korea
Prior art keywords
information
robot
virtual reality
point
teaching
Prior art date
Application number
KR1020170143671A
Other languages
Korean (ko)
Other versions
KR20190048589A (en
Inventor
김성수
정한규
김민지
김승연
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020170143671A priority Critical patent/KR102001214B1/en
Publication of KR20190048589A publication Critical patent/KR20190048589A/en
Application granted granted Critical
Publication of KR102001214B1 publication Critical patent/KR102001214B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40122Manipulate virtual object, for trajectory planning of real object, haptic display

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서, 작업자의 포즈 정보를 토대로 생성된 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하면, 제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집한다. 수집한 팔 움직임 정보와 확인한 관절 회전 각도를 토대로 상기 복수의 관절에 구비된 모터에 가해지는 구동 토크를 계산하고, 계산된 구동 토크를 토대로 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성한다. 그리고 생성한 궤적에 따라 로봇 팔의 교시 정보를 디스플레이 한다.A teaching device teaches a two-arm robot implemented in virtual reality, and uses a three-dimensional coordinate system generated based on a worker's pose information to determine joint rotation angles of a plurality of joints of the virtual reality two-arm robot in which the pose information is reflected. If confirmed, the arm movement information of the worker who moved the arm from the first point to the second point is collected. The driving torque applied to the motors of the plurality of joints is calculated based on the collected arm movement information and the identified joint rotation angle, and the trajectory for the robot arm movement from the first point to the second point based on the calculated driving torque. Create Then, the teaching information of the robot arm is displayed according to the generated trajectory.

Description

가상 현실 기반 양팔로봇 교시 장치 및 방법{Apparatus and method for dual-arm robot teaching based on virtual reality}Apparatus and method for dual-arm robot teaching based on virtual reality}

본 발명은 가상 현실 기반 양팔로봇 교시 장치 및 방법에 관한 것이다.The present invention relates to a virtual reality based bipedal robot teaching apparatus and method.

최근 산업 현장에서는 양팔로봇과의 협업에 대한 관심이 증대하고 있다. 현장에서 대부분의 사람은 양팔을 사용하여 작업을 수행하므로 양팔로봇을 사용할 때 사람과 유사한 작업을 수행할 수 있다. 양팔로봇을 이용하여 작업을 수행하기 위해서는 시간에 따라서 로봇 팔의 위치 및 자세를 지정해주는 교시 과정이 필요하다. In recent years, interest in collaboration with both arms robots has increased. Most people in the field work with both arms, so you can do things similar to people when using a two-arm robot. In order to perform work using both arms robots, a teaching process is required to specify the position and posture of the robot arm over time.

로봇의 교시 방법에는 직접 교시와 간접 교시가 있다. 직접 교시는 사람이 직접 로봇의 말단을 잡고 원하는 위치와 자세를 지정해 주는 방식을 의미하고, 이를 제외한 모든 방법이 간접 교시에 해당한다. There are two methods of teaching a robot: direct teaching and indirect teaching. Direct teaching refers to a method in which a person directly grasps the end of a robot and specifies a desired position and posture. All methods except this correspond to indirect teaching.

직접 교시의 경우 사용자가 직관적으로 로봇의 움직임을 제어하기 때문에 쉽게 로봇을 교시할 수 있다. 하지만, 로봇이 취하는 단위 동작들 간의 연결이 부자연스럽고, 하나의 단위 동작에서 다음 단위 동작으로 넘어가기 위한 시간 지연이 발생한다는 문제가 있다. In the case of direct teaching, the robot can be easily taught because the user intuitively controls the movement of the robot. However, there is a problem that the connection between the unit operations that the robot takes is unnatural, and a time delay occurs from one unit operation to the next unit operation.

그리고 간접 교시의 경우 티칭 펜던트를 사용하며 로봇의 움직임을 직접 확인하면서, 로봇 움직임을 단계별로 교시하기 때문에, 로봇의 교시에 시간이 오래 걸린다는 단점이 있다. 이를 보완하기 위해 비전 센서 등을 사용하는 교시 방법이 제안되었으나, 작업의 정확도가 낮다는 문제점이 있다.In the case of indirect teaching, the teaching pendant is used and the robot movement is taught step by step while directly checking the movement of the robot. Therefore, the teaching of the robot takes a long time. In order to compensate for this, a teaching method using a vision sensor and the like has been proposed, but there is a problem in that the accuracy of the work is low.

이와 같은 문제점들을 보완하기 위해서는 사람이 작업을 할 때 양팔의 움직임을 최대한 유사하게 모사하는 양팔로봇용 교시 방법이 필요하다. 동시에 교시 과정을 모니터링 하여 정확도를 높이는 방법이 필요하다. 이는 외팔로봇의 경우 외팔에 대한 교시만 진행하면 되는 반면, 양팔로봇의 경우 한 팔에 대한 다른 팔의 상호작용을 생각하며 교시를 해야 하기 때문에 비효율적이다. 따라서, 양팔을 한 번에 교시할 수 있는 방법이 필요하다.In order to solve these problems, a teaching method for both arms and robots that simulates the movement of both arms as much as possible when a person works. At the same time, there is a need for a method of monitoring the teaching process to increase accuracy. This is inefficient because one-sided robots only need to teach the one-arm, while two-armed robots must teach in consideration of the interaction of the other arm with one arm. Thus, there is a need for a way to teach both arms at once.

따라서, 본 발명은 가상 현실 기반 양팔로봇 교시 장치 및 방법을 제공한다.Accordingly, the present invention provides a virtual reality based bipedal robot teaching apparatus and method.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 가상 현실로 구현된 양팔로봇을 교시하는 장치로서,As an apparatus for teaching a two-armed robot implemented in a virtual reality that is one feature of the present invention for achieving the technical problem of the present invention,

작업자의 움직임에 따라 가상 현실 양팔로봇을 교시하기 위한 교시 정보를 수집하는 교시 디바이스, 상기 교시 정보를 토대로 상기 가상 현실 양팔로봇에 구비된 복수의 관절 각각에 대한 회전 각도를 확인하고, 상기 확인한 회전 각도와 교시 정보를 토대로 결정된 관절 운동에 대한 복수의 관절 각각에 가해지는 구동 토크에 따라 이동 궤적을 생성하는 정보 처리 장치, 그리고 상기 작업자에게 상기 가상 현실 양팔로봇과, 상기 교시 디바이스의 움직임에 따른 가상현실 양팔로봇의 움직임을 제공하는 표시 장치를 포함한다.A teaching device that collects teaching information for teaching a virtual reality two-arm robot according to a worker's movement, and confirms rotation angles of each of the plurality of joints provided in the virtual reality two-arm robot based on the teaching information, and checks the rotation angle. And an information processing device for generating a movement trajectory according to the driving torque applied to each of the plurality of joints for the joint motion determined based on the teaching information, and the virtual reality bi-arm robot and the virtual reality according to the movement of the teaching device. It includes a display device for providing the movement of both arms robot.

상기 교시 정보는 상기 작업자의 손 위치 정보인 3차원 손 위치 좌표 정보와 손목 각도 정보인 4차원 손목 각도 벡터 정보를 포함하는 포즈 정보와, 상기 작업자의 손이 제1 지점에서 제2 지점으로 움직이면, 상기 제1 지점과 제2 지점에 대한 위치 정보를 포함하는 움직임 정보를 포함할 수 있다.The teaching information includes pose information including three-dimensional hand position coordinate information that is the hand position information of the worker and four-dimensional wrist angle vector information that is wrist angle information, and when the worker's hand moves from the first point to the second point, It may include motion information including location information about the first point and the second point.

상기 정보 처리 장치는, 상기 3차원 손 위치 좌표 정보와 4차원 손목 각도 벡터 정보를 상기 가상 현실 양팔로봇에 적용하기 위한 3차원 말단 좌표로 생성하는 말단 좌표 생성 모듈, 상기 3차원 말단 좌표를 토대로 상기 작업자의 포즈 정보가 반영된 로봇 팔을 구성하는 복수의 관절에 대한 관절 회전 각도를 확인하고, 상기 제1 지점과 제2 지점에 대한 위치 정보를 토대로 관절 운동 경로를 결정하는 역학 처리 모듈, 그리고 상기 가상 현실의 양팔로봇에 포즈 정보를 반영하거나 새로운 궤적에 따라 양팔로봇의 로봇 팔이 움직이도록 처리하는 가상 로봇 처리 모듈을 포함할 수 있다.The information processing apparatus includes an end coordinate generation module for generating the 3D hand position coordinate information and the 4D wrist angle vector information as 3D end coordinates for applying to the virtual reality bipedal robot, based on the 3D end coordinates. A dynamics processing module for checking joint rotation angles of a plurality of joints constituting a robot arm in which pose information of a worker is reflected, and determining a joint movement path based on position information of the first and second points, and the virtual It may include a virtual robot processing module that reflects the pose information on the realistic two-arm robot or processes the robot arm of the two-arm robot to move according to the new trajectory.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서,As a method of teaching a two-arm robot implemented in virtual reality, the teaching apparatus, which is another feature of the present invention for achieving the technical problem of the present invention,

작업자의 포즈 정보를 토대로 생성된 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하는 단계, 제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집하고, 수집한 팔 움직임 정보와 상기 확인한 관절 회전 각도를 토대로 상기 복수의 관절에 구비된 모터에 가해지는 구동 토크를 계산하는 단계, 계산된 구동 토크를 토대로 상기 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성하는 단계, 그리고 생성한 궤적에 따라 상기 가상 현실 양팔로봇의 교시 정보를 디스플레이 하는 단계를 포함한다.Confirming joint rotation angles of a plurality of joints of the virtual reality bipedal robot in which the pose information is reflected using a three-dimensional coordinate system generated based on the pose information of the worker, moving the arm from the first point to the second point Collecting arm movement information of an operator and calculating driving torque applied to motors provided in the plurality of joints based on the collected arm movement information and the identified joint rotation angle, the first point based on the calculated driving torque Generating a trajectory for the movement of the robot arm to the second point at, and displaying teaching information of the virtual reality both arms robot according to the generated trajectory.

상기 관절 회전 각도를 확인하는 단계는, 교시 디바이스를 소지한 작업자의 손 위치 정보와 손목 각도 정보를 상기 작업자의 포즈 정보로 수집하는 단계, 상기 손 위치 정보와 손목 각도 정보를 토대로 3차원 좌표계를 추출하는 단계, 그리고 상기 3차원 좌표계를 토대로 상기 가상 현실 양팔로봇이 포즈를 취하면, 상기 복수의 관절 각각에 대한 관절 회전 각도를 확인하는 단계를 포함할 수 있다.The checking of the joint rotation angle may include collecting hand position information and wrist angle information of a worker carrying a teaching device as pose information of the worker, and extracting a 3D coordinate system based on the hand position information and wrist angle information. And when the virtual reality two-armed robot poses based on the three-dimensional coordinate system, identifying joint rotation angles for each of the plurality of joints.

상기 구동 토크를 계산하는 단계는, 교시 디바이스를 소지한 작업자가 팔을 제1 지점에서 제2 지점으로 이동하면, 상기 제1 지점에 대한 좌표 정보와 제2 지점에 대한 좌표 정보를 포함하는 움직임 정보를 수집하여 상기 로봇 팔이 제1 지점에서 제2 지점으로 이동할 수 있는 관절 운동 경로를 결정하는 단계, 그리고 상기 움직임 정보와 상기 확인한 관절 회전 각도 정보를 토대로, 상기 관절에 작용하는 토크를 계산하는 단계를 포함하며, 상기 토크는 역동역학 해석을 통해 계산될 수 있다.The calculating of the driving torque may include: movement information including coordinate information about the first point and coordinate information about the second point when the worker carrying the teaching device moves the arm from the first point to the second point Determining a joint motion path through which the robot arm can move from a first point to a second point, and calculating torque acting on the joint based on the motion information and the identified joint rotation angle information. The torque may be calculated through inverse dynamic analysis.

상기 토크를 계산하는 단계 이후에, 임의의 관절에 대해 계산된 토크가 상기 관절에 구비된 모터에 대해 미리 설정된 최대 토크보다 크다면, 알람을 발생하는 단계, 그리고 상기 알람을 토대로 작업자로부터 새로운 궤적 생성 요청 신호가 발생하면, 상기 제1 지점의 좌표 정보와 상기 제2 지점의 좌표 정보를 토대로 상기 관절 운동 경로에 대한 새로운 궤적을 계산하는 단계를 포함할 수 있다. After calculating the torque, if the torque calculated for any joint is greater than the maximum torque preset for the motor provided in the joint, generating an alarm, and generating a new trajectory from the operator based on the alarm When the request signal is generated, calculating a new trajectory for the joint motion path based on the coordinate information of the first point and the coordinate information of the second point.

본 발명에 따르면 실제 사람이 작업할 때의 움직임과 최대한 유사하게 양팔로봇이 모사할 수 있도록 교시할 수 있으며, 동시에 사용자가 실시간으로 교시 과정을 모니터링 함으로써 양팔로봇 교시의 정확도를 높일 수 있다.According to the present invention, the two-arm robot can be taught to simulate as much as possible when the actual person works, and at the same time, the user can increase the accuracy of the two-arm robot teaching by monitoring the teaching process in real time.

또한, 본 발명에 따르면 사용자가 직관적으로 양팔로봇을 교시할 수 있으며, 양팔로봇의 자세와 각 조인트의 과부하 여부를 토대로 최적의 양팔로봇 움직임 경로를 생성하여 가상 현실을 통해 시뮬레이션 할 수 있다.In addition, according to the present invention, the user can teach both arms robots intuitively, and generate an optimal both arms robot motion path based on the attitude of both arms robots and whether each joint is overloaded to simulate the virtual robot.

도 1은 본 발명의 실시예에 따른 양팔로봇 교시 장치가 구비된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 정보 처리 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 교시 디바이스의 예시도이다.
도 4는 본 발명의 실시예에 따른 양팔로봇 교시 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가상 현실 환경의 예시도이다.
도 6은 본 발명의 실시예에 따른 가상 현실을 통해 제공되는 양팔로봇의 교시 결과에 대한 예시도이다.
1 is an illustration of an environment equipped with a two-armed robot teaching device according to an embodiment of the present invention.
2 is a structural diagram of an information processing apparatus according to an embodiment of the present invention.
3 is an illustration of a teaching device in accordance with an embodiment of the invention.
Figure 4 is a flow chart for a two-armed robot teaching method according to an embodiment of the present invention.
5 is an exemplary diagram of a virtual reality environment according to an embodiment of the present invention.
6 is an exemplary view of the teaching results of both arms robot provided through the virtual reality according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

이하 도면을 참조로 하여, 본 발명의 실시예에 따른 가상 현실 기반 양팔로봇 교시 장치 및 방법에 대해 상세히 설명한다.Hereinafter, a virtual reality-based bipedal robot teaching apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 양팔로봇 교시 장치가 구비된 환경의 예시도이다.1 is an illustration of an environment equipped with a two-armed robot teaching device according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에서는 양팔로봇 교시 장치(100)를 작업자가 로봇 교시를 위해 소지하는 교시 디바이스(110), 작업자가 착용한 표시 장치인 HMD(Head Mounted Display)(120) 그리고 정보 처리 장치(130)를 포함한다. As shown in FIG. 1, in the embodiment of the present invention, the teaching device 110 in which the operator possesses the two-arm robot teaching apparatus 100 for teaching the robot, the head mounted display (HMD) which is a display device worn by the operator ( 120 and the information processing device 130.

본 발명의 실시예에서는 정보 처리 장치(130)를 로봇 교시 시뮬레이션을 위한 프로그램이 설치된 컴퓨터 또는 서버 등의 물리적으로 독립되어 있는 구성 요소를 예로 하여 설명하나, 컴퓨터나 서버에 설치된 프로그램일 수도 있다. In the exemplary embodiment of the present invention, the information processing apparatus 130 will be described by taking physically independent components such as a computer or a server on which a program for robotic teaching simulation is installed as an example.

또한, 본 발명의 실시예에서는 로봇에 두 개의 로봇 팔이 구비되어 있으며, 로봇 팔은 고정되어 있는 기준 구성으로부터 6개의 구성 요소가 6개의 회전 관절(joint)로 연결되어 있는 구조인 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 여기서, 6번째의 구성 요소와 6번째의 회전 관절 부분을 로봇 팔의 '말단 부분'이라 지칭한다. In addition, in the embodiment of the present invention, the robot is provided with two robot arms, and the robot arm is described as an example in which six components are connected by six rotating joints (joints) from a fixed reference configuration. However, it is not necessarily limited to this. Here, the sixth component and the sixth rotational joint portion are referred to as 'end portions' of the robot arm.

그리고 6개의 관절은 회전을 위해 각각 모터가 구비되어 있는 것을 예로 하여 설명한다. 또한, 본 발명의 실시예에 따른 가상 환경의 로봇은 복수개의 축이 구비되어 있는 양팔 로봇을 예로 하여 설명한다.And six joints will be described with an example that each motor is provided for rotation. In addition, the robot of the virtual environment according to an embodiment of the present invention will be described with an example of a two-armed robot having a plurality of axes.

교시 디바이스(110)는 작업자의 손의 포즈와 움직임에 따라 작업자의 양손에 대한 각각의 포즈 정보와 움직임 정보를 수집한다. 여기서 포즈 정보에는 작업자의 손 위치 정보와 손목이 얼마나 휘어져 있는지를 나타내는 손목 각도 정보를 포함하는 것을 예로 하여 설명한다. 또한 움직임 정보에는 작업자의 교시 디바이스(110)를 제1 위치에서 제2 위치로 이동시킬 때의 제1 위치의 위치 정보와 제2 위치의 위치 정보인 궤적 정보를 포함하는 것을 예로 하여 설명한다. The teaching device 110 collects respective pose information and movement information of both hands of the worker according to the pose and movement of the worker's hand. Here, the pose information will be described with an example of including hand position information of the operator and wrist angle information indicating how much the wrist is bent. In addition, the movement information will be described with an example of including the position information of the first position and the trajectory information which is the position information of the second position when the operator's teaching device 110 is moved from the first position to the second position.

교시 디바이스(110)는 수집한 양손의 포즈 정보와 움직임 정보를 정보 처리 장치(130)로 전달한다. 이를 위해 교시 디바이스(110)와 정보 처리 장치(130)는 포즈 정보와 움직임 정보를 송수신할 수 있도록 연결되어 있으며, 연결 형태는 어느 하나의 방법으로 한정하지 않는다. 교시 디바이스(110)에서 수집한 포즈 정보는 가상 현실로 구현된 로봇 팔의 말단 부분의 복수의 관절 각각에 대한 회전 각도를 확인하는데 사용되고, 움직임 정보는 양팔로봇의 로봇 팔의 말단 부분을 제1 위치에서 제2 위치로 이동시키기 위한 궤적을 계산하기 위해 사용된다.The teaching device 110 transmits the collected pose information and the movement information of both hands to the information processing apparatus 130. To this end, the teaching device 110 and the information processing device 130 are connected to transmit and receive pause information and motion information, and the connection form is not limited to any one method. The pose information collected by the teaching device 110 is used to confirm the rotation angles for each of a plurality of joints of the distal end of the robot arm implemented in virtual reality, and the motion information is used to position the distal end of the robot arm of both arms robots in a first position. It is used to calculate the trajectory for moving to the second position in.

정보 처리 장치(130)는 교시 디바이스(110)로부터 수신한 포즈 정보에 포함된 손 위치 정보와 손목 각도 정보를 토대로, 작업자의 포즈 정보를 3차원 좌표계로 추출한다. 그리고 정보 처리 장치(130)는 3차원 좌표계로 추출한 포즈 정보를 토대로, 가상 현실로 구현된 양팔로봇의 팔이 취하고 있는 각 관절의 각도를 확인한다. The information processing apparatus 130 extracts the operator's pose information in the 3D coordinate system based on the hand position information and the wrist angle information included in the pose information received from the teaching device 110. The information processing apparatus 130 checks the angles of the joints of the arms of the two-armed robot, which are implemented in virtual reality, based on the pose information extracted by the three-dimensional coordinate system.

또한, 정보 처리 장치(130)는 교시 디바이스(110)로부터 수신한 움직임 정보를 토대로, 현재 포즈를 취하고 있는 가상 현실에서의 양팔로봇 팔의 관절에 가해지는 토크를 계산한다. 그리고 계산한 토크를 토대로 양팔로봇의 팔이 새로운 궤적을 통해 제1 지점에서 제2 지점으로 이동하도록 하거나 양팔로봇 팔의 관절 회전 각도를 변형하기 위한 각도를 계산한다.In addition, the information processing apparatus 130 calculates torque applied to the joints of the two-armed robot arm in the virtual reality currently posing based on the motion information received from the teaching device 110. Based on the calculated torque, the arms of the two-arm robots are moved from the first point to the second point through the new trajectory, or the angle for modifying the joint rotation angle of the two-arm robot arms is calculated.

정보 처리 장치(130)는 가상 현실의 양팔로봇의 포즈 또는 새로운 궤적으로 제1 지점에서 제2 지점으로 이동하는 팔의 움직임 등의 시뮬레이션을, 작업자가 파악하도록 가상 현실로 처리한다. 교시 작업 환경과 시뮬레이션을 가상 현실로 파악하도록 처리하는 방법은 다양한 방법을 통해 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.The information processing apparatus 130 processes the simulation of the pose of the two-armed robot of the virtual reality or the movement of the arm moving from the first point to the second point with a new trajectory into the virtual reality so that the worker can grasp. The method of processing the teaching work environment and the simulation to be understood as the virtual reality may be performed through various methods, and thus, embodiments of the present invention are not limited to any one method.

HMD(120)는 정보 처리 장치(130)가 양팔로봇의 관점에서 작업자가 보는 것처럼 작업대와 작업 물체를 가상 현실로 제공한다. 또한, HMD(120)는 가상 현실 처리한 궤적을 가상 현실의 양팔로봇과 함께 작업자에게 디스플레이 한다. 여기서, 작업자에게 디스플레이 되는 정보는 양팔로봇의 팔 자세, 양팔로봇의 팔을 구성하는 복수의 조인트 각각의 과부하 여부, 그리고 양팔로봇의 각 관절에 대한 관절 움직임이나 로봇 팔의 이동 경로를 포함한다.The HMD 120 provides a workbench and a work object to the virtual reality as the information processing device 130 sees the worker from the perspective of both arms and robots. In addition, the HMD 120 displays the trajectory processed by the virtual reality together with both arms of the virtual reality to the worker. Here, the information displayed to the operator includes the arm posture of the two-armed robot, whether the plurality of joints constituting the arms of the two-armed robot are overloaded, and the joint movement or the movement path of the robot arm for each joint of the two-armed robot.

이와 같은 환경에서, 교시 디바이스(110)가 수집한 움직임 정보를 처리하는 정보 처리 장치(130)의 구조에 대해 도 2를 참조로 설명한다.In such an environment, the structure of the information processing apparatus 130 for processing the motion information collected by the teaching device 110 will be described with reference to FIG. 2.

도 2는 본 발명의 실시예에 따른 정보 처리 장치의 구조도이다.2 is a structural diagram of an information processing apparatus according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 정보 처리 장치(130)는 인터페이스(131)와 프로세서(132)를 포함한다. 그리고 프로세서(132)는 그 기능에 따라 말단 좌표 생성 모듈(132-1), 역학 처리 모듈(132-2), 궤적 처리 모듈(132-3), 그리고 가상 로봇 처리 모듈(132-4)을 포함한다.As shown in FIG. 2, the information processing device 130 includes an interface 131 and a processor 132. The processor 132 includes an end coordinate generation module 132-1, a dynamics processing module 132-2, a trajectory processing module 132-3, and a virtual robot processing module 132-4 according to its function. do.

인터페이스(131)는 교시 디바이스(110), 그리고 HMD(120)와 연동한다. 인터페이스(131)는 교시 디바이스(110)를 통해 전송되는 포즈 정보와 움직임 정보를 수신한다. 여기서 포즈 정보는 작업자의 손 위치 정보와 손목 각도 정보를 포함한다. 그리고 움직임 정보는 제1 지점의 위치 정보와 제2 지점의 위치 정보를 포함한다.Interface 131 interacts with teaching device 110 and HMD 120. The interface 131 receives pause information and motion information transmitted through the teaching device 110. The pose information includes hand position information and wrist angle information of the operator. The motion information includes position information of the first point and position information of the second point.

인터페이스(131)는 프로세서(132)에서 처리한 가상 현실의 교시 작업 환경 정보를 HMD(120)로 전달한다. 여기서 작업자가 HMD(120)를 통해 확인하는 가상 현실 환경에 대해 도 5를 참조로 먼저 설명한다.The interface 131 transmits the teaching work environment information of the virtual reality processed by the processor 132 to the HMD 120. Here, the virtual reality environment that the worker checks through the HMD 120 will be described with reference to FIG. 5.

도 5는 본 발명의 실시예에 따른 가상 현실 환경의 예시도이다.5 is an exemplary diagram of a virtual reality environment according to an embodiment of the present invention.

도 5의 (a)에 나타낸 바와 같이 정보 처리 장치(130)는 양팔로봇(210)과 로봇의 전방에 작업대(220), 그리고 작업대(220)의 위에 양팔로봇(210)을 이용하여 작업을 수행할 물체(230)가 놓여 있는 것과 같이 가상 현실 환경을 구현한다. As shown in (a) of FIG. 5, the information processing apparatus 130 performs a work using both arms robot 210, a work table 220 in front of the robot, and a two arms robot 210 on the work table 220. The virtual reality environment is implemented as the object 230 to be placed.

작업자는 HMD(120)를 통해 도 5의 (b)에 나타낸 바와 같이 양팔로봇(210)의 관점에서 물체(230)를 보는 것처럼, 작업대(220)와 물체(230)를 확인하게 된다. 도 5의 (a)에 나타낸 양팔로봇(210)의 로봇 팔의 말단 위치는 작업자가 소지한 교시 디바이스(110)의 포즈 정보를 토대로 양팔로봇(210)의 로봇 팔 위치와 손목 관절이 회전한 자세가 반영되어 나타난다.As shown in (b) of FIG. 5 through the HMD 120, the worker checks the work bench 220 and the object 230, as if the object 230 is viewed from the perspective of both arms robot 210. The position of the distal end of the robot arm of the two-arm robot 210 shown in FIG. 5A is a posture in which the robot arm position and the wrist joint of the two-arm robot 210 are rotated based on the pose information of the teaching device 110 carried by the operator. Appears.

상기 도 2를 이어 설명하면, 정보 처리 장치(130)의 말단 좌표 생성 모듈(132-1)은 인터페이스(131)를 통해 수신한 포즈 정보에 포함된 손 위치 정보와 손목 각도 정보를 이용하여 3차원의 말단 좌표를 생성한다. 여기서, 손 위치 정보는 (x, y, z)로 이루어진 3차원 좌표 정보이다. 2, the end coordinate generation module 132-1 of the information processing device 130 uses the hand position information and the wrist angle information included in the pose information received through the interface 131. Generate the end coordinates of. Here, the hand position information is three-dimensional coordinate information consisting of (x, y, z).

그리고, 손목 각도 정보는 작업자의 자세에 따라 회전된 손목을 나타내기 위해 사용되는 것으로, (w, x, y, z)로 이루어진 4차원 벡터 정보이다. 여기서, 3차원 좌표 정보의 각 파라미터와 4차원 벡터 정보의 각 파라미터는 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.The wrist angle information is used to represent the wrist rotated according to the worker's posture, and is 4D vector information including (w, x, y, z). Here, each parameter of the 3D coordinate information and each parameter of the 4D vector information are already known matters, and detailed descriptions thereof will be omitted in the exemplary embodiment of the present invention.

3차원 좌표 정보와 4차원 벡터 정보를 토대로 생성한 3차원의 말단 좌표를 토대로 양팔로봇을 교시하기 위해서, 역학 처리 모듈(132-2)은 작업자가 취하는 자세가 반영된 가상 현실의 양팔로봇의 로봇 팔 말단의 자세와 위치에 따른 관절의 회전각을 알아야 한다. 이를 위해, 역학 처리 모듈(132-2)은 3차원의 말단 좌표를 역기구학 해석을 실행하여, 로봇 팔을 구성하는 복수의 관절 각각에 대한 회전각(joint angle)을 계산한다.In order to teach the two-arm robot based on the three-dimensional end coordinates generated based on the three-dimensional coordinate information and the four-dimensional vector information, the dynamics processing module 132-2 uses the robot arm of the two-arm robot in the virtual reality reflecting the posture of the operator. You should know the rotation angle of the joint according to the position and position of the distal end. To this end, the dynamics processing module 132-2 performs an inverse kinematic analysis of the three-dimensional end coordinates to calculate joint angles for each of the plurality of joints constituting the robot arm.

3차원 말단 좌표를 역기구학 해석을 통해 가상 현실로 구현된 양팔로봇의 관절의 회전각을 계산하기 위해, 역학 처리 모듈(132-2)은 역기구학 해석 방법을 통해 양팔로봇을 구성하는 복수의 관절 각각에 대한 회전각을 계산한다. 역기구학 해석 방법을 통해 복수의 관절 각각에 대한 회전각이 계산되면 가상 로봇 처리 모듈(132-4)은 이를 가상 현실의 양팔로봇에 반영, 작업자와 동일한 포즈가 취해지도록 한다. 작업자와 동일한 포즈를 취하는 가상 현실의 양팔로봇은 디스플레이(133)를 통해 작업자에게 제공될 수도 있다.In order to calculate the rotation angle of the joint of the two-armed robot, which is realized in virtual reality through the inverse kinematic analysis of the three-dimensional end coordinates, the dynamics processing module 132-2 uses the inverse kinematics analysis method to construct the plurality of joints that constitute the two-armed robot Calculate the rotation angle for each. When the rotation angle of each of the plurality of joints is calculated through the inverse kinematic analysis method, the virtual robot processing module 132-4 reflects this on both arms of the virtual reality, so that the same pose as the worker is taken. The two-armed robot in virtual reality posing the same as the worker may be provided to the worker through the display 133.

또한, 역학 처리 모듈(132-2)은 인터페이스(131)가 작업자가 자신의 팔을 제1 지점에서 제2 지점으로 움직인 움직임 정보를 수신하면, 해당 운동을 가상 현실의 양팔로봇에 반영하여 동일한 움직임을 보이도록 하는 관절 운동을 결정한다. 여기서 관절 운동은 로봇 말단 부분이 제1 지점에서 제2 지점으로 이동할 때, 로봇 팔에 구비된 복수의 관절들이 얼마나 회전하는지를 의미하는 회전각을 나타낸다.In addition, when the interface 131 receives movement information of the operator moving his or her arm from the first point to the second point, the dynamics processing module 132-2 reflects the motion on both arms of the virtual reality to the same. Determine the joint movement that makes the movement visible. Here, the joint motion refers to a rotation angle that indicates how much the plurality of joints included in the robot arm rotate when the robot end portion moves from the first point to the second point.

역학 처리 모듈(132-2)은 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터를 역기구학 해석하여 관절 운동을 결정한다. 그리고, 관절 운동을 일으킬 때 필요한 복수의 관절 각각에 구비된 모터의 토크를 계산한다. 계산한 모터의 토크가 미리 설정된 해당 모터의 최대 토크보다 클 경우, 역학 처리 모듈(132-2)은 작업자가 이를 확인할 수 있도록 가상 로봇 처리 모듈(132-4)을 통해 해당 관절에 경고를 표시하여 준다.The dynamics processing module 132-2 may inverse kinematic analysis of the position vector for the first point and the position vector for the second point to determine joint motion. Then, the torque of the motor provided in each of the plurality of joints necessary for generating the joint motion is calculated. If the calculated torque of the motor is larger than the preset maximum torque of the motor, the dynamics processing module 132-2 displays a warning on the joint through the virtual robot processing module 132-4 so that the operator can check it. give.

궤적 처리 모듈(132-3)은 경고가 표시된 관절 운동 경로를 토대로 작업자가 새로운 궤적의 생성을 요청하는 입력 신호를 발생시키면, 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터, 그리고 관절 운동 경로 상의 관절들에 대해 계산된 관절 회전각을 토대로, 새로운 궤적을 새로 생성한다. The trajectory processing module 132-3 generates an input signal for requesting generation of a new trajectory based on a warning joint motion path, and then the position vector for the first point, the position vector for the second point, and the joint Based on the calculated joint rotation angles for the joints on the path of motion, a new trajectory is created.

또는, 궤적 처리 모듈(132-3)은 새로운 궤적을 생성하지 않은 채, 관절의 회전각을 변경시킬 회전각을 계산한다. 여기서, 궤적 처리 모듈(132-3)이 새로운 궤적을 생성하거나 회전각을 계산하는 방법은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.Alternatively, the trajectory processing module 132-3 calculates a rotation angle to change the rotation angle of the joint without generating a new trajectory. Here, since the trajectory processing module 132-3 generates a new trajectory or calculates a rotation angle may be performed through various methods, detailed descriptions are omitted in the exemplary embodiment of the present invention.

가상 로봇 처리 모듈(132-4)은 교시 디바이스(110)가 수집한 포즈 정보와 움직임 정보를 가상 현실의 양팔로봇에 적용하여 정보 처리 장치(130)의 디스플레이(133)를 통해 다른 작업자 또는 사용자들이 양팔로봇의 상태를 확인할 수 있도록 제공한다. The virtual robot processing module 132-4 may apply the pose information and the movement information collected by the teaching device 110 to the two-armed robots of the virtual reality, so that other workers or users may use the display 133 of the information processing device 130. It provides the status of both arms robots.

또한, 가상 로봇 처리 모듈(132-4)은 역학 처리 모듈(132-2)에서 생성한 관절의 회전 각도와 궤적 처리 모듈(132-3)이 생성한 새로운 궤적을, 작업자가 HMD(120) 또는 디스플레이(133)를 통해 가상 현실로 가상 현실 양팔로봇과 함께 확인하도록 가상 현실 처리한다.In addition, the virtual robot processing module 132-4 includes the rotation angle of the joint generated by the dynamic processing module 132-2 and the new trajectory generated by the locus processing module 132-3. Through the display 133, the virtual reality is processed to check the virtual reality with both arms of the robot.

한편, 정보 처리 장치(130)가 관절 각도와 궤적을 확인하기 위해 필요한 정보인 작업자의 손 위치 정보와 손목 정보를 수집하는 교시 디바이스(110)에 대해 도 3을 참조로 설명한다.Meanwhile, the teaching device 110 that collects the hand position information and the wrist information of the operator, which is information necessary for the information processing apparatus 130 to check the joint angle and the trajectory, will be described with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 교시 디바이스의 예시도이다.3 is an illustration of a teaching device in accordance with an embodiment of the invention.

도 3에 도시된 바와 같이, 교시 디바이스(110)는 작업자가 물체를 잡았을 때의 손 모양을 고려하여, 다양한 버튼 중 교시 디바이스(110)의 상단에 위치한 트리거 버튼(111)을 사용하여 가상 현실에서 디스플레이 되고 있는 임의의 물체를 잡을 수 있도록 설정되어 있다. 여기서 교시 디바이스(110)는 작업자가 가상 현실을 통해 시뮬레이션을 확인할 수 있도록 하는 장비(예를 들어, 오큘러스 리프트)를 이용하는 것을 예로 하여 설명한다.As shown in FIG. 3, the teaching device 110 uses the trigger button 111 located at the top of the teaching device 110 in a virtual reality in consideration of the shape of a hand when an operator grabs an object. It is set to catch any object being displayed. Here, the teaching device 110 will be described using an example of using equipment (eg, an oculus lift) that allows an operator to check a simulation through virtual reality.

트리거 버튼(111)의 입력이 발생하면 가상 현실에서의 물체를 양팔로봇이 잡도록 설정하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.When the input of the trigger button 111 occurs, the method for setting the two-arm robot to hold the object in the virtual reality can be executed in various ways, and thus, the embodiment of the present invention is not limited to any one method.

또한, 교시 디바이스(110)에 구비되어 있는 다양한 버튼 중 데이터 저장 버튼(112)이 입력되면, 작업자의 손 위치 정보와 손목 각도 정보가 정보 처리 장치(130)로 전달된다. 이때, 데이터 저장 버튼(112) 중 제1 버튼(112-1)이 눌리면 현재 작업자의 손 위치 정보를 정보 처리 장치(130)로 전달하고, 제2 버튼(112-2)이 눌리면 정보 수집과 전달을 종료하는 것을 예로 하여 설명한다. 본 발명의 실시예에 따라 데이터 저장 버튼(112)의 위치가 어느 하나의 위치로 반드시 한정하지 않는다.In addition, when the data storage button 112 is input among various buttons provided in the teaching device 110, the hand position information and the wrist angle information of the operator are transmitted to the information processing device 130. At this time, when the first button 112-1 of the data storage button 112 is pressed, the current hand position information of the worker is transmitted to the information processing device 130, and when the second button 112-2 is pressed, information collection and transmission is performed. This will be described with an example. According to the exemplary embodiment of the present invention, the position of the data storage button 112 is not necessarily limited to any one position.

이상의 환경에서 정보 처리 장치(130)를 이용하여 양팔로봇을 교시하는 방법에 대해 도 4를 참조로 설명한다.A method of teaching both arms robots using the information processing device 130 in the above environment will be described with reference to FIG. 4.

도 4는 본 발명의 실시예에 따른 양팔로봇 교시 방법에 대한 흐름도이다.Figure 4 is a flow chart for a two-armed robot teaching method according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 정보 처리 장치(130)는 가상 현실로 양팔로봇, 작업대, 그리고 작업 물체를 생성하여 디스플레이 한다(S100). 여기서, 정보 처리 장치(130)가 가상 현실로 양팔로봇과 작업대, 작업 물체를 생성하는 방법은 다양한 형태로 구현될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.As shown in FIG. 4, the information processing device 130 generates and displays both arms, a workbench, and a work object in virtual reality (S100). Here, the method of generating the two-armed robot, the work table, and the work object in the virtual reality may be implemented in various forms, and the embodiment of the present invention is not limited to any one method.

정보 처리 장치(130)는 교시 디바이스(110)로부터 작업자의 포즈 정보를 수집한다(S101). 정보 처리 장치(130)는 S101 단계에서 수집한 포즈 정보를 이용하여 3차원 좌표계를 추출한다(S102). 이와 함께 S101 단계에서 수집된 작업자의 포즈에 따라 가상 현실의 양팔로봇에 반영된 양팔로봇의 각 관절 회전 각도를 확인한다(S103). 여기서, 양팔로봇의 각 관절 회전 각도를 확인하기 위하여, 정보 처리 장치(130)는 S102 단계에서 추출한 3차원 좌표계를 역기구학 해석 방법을 이용하여 관절 회전 각도를 확인한다.The information processing apparatus 130 collects pose information of the worker from the teaching device 110 (S101). The information processing apparatus 130 extracts a three-dimensional coordinate system using the pose information collected in step S101 (S102). In addition, according to the poses of the workers collected in the step S101 to determine the angle of rotation of each joint of the two-arm robot reflected in the two-arm robot of the virtual reality (S103). Here, in order to confirm each joint rotation angle of both arms robot, the information processing device 130 checks the joint rotation angle using the inverse kinematic analysis method of the three-dimensional coordinate system extracted in step S102.

정보 처리 장치(130)가 역기구학 해석을 통해 양팔로봇의 관절 회전 각도를 확인하기 위하여, 다음 수학식 1과 같은 구속 방정식(Φ)을 구성한다.In order for the information processing device 130 to check the joint rotation angle of both arms through the inverse kinematic analysis, the information processing device 130 constructs a constraint equation Φ as shown in Equation 1 below.

Figure 112017107927626-pat00001
Figure 112017107927626-pat00001

여기서, r 6는 로봇의 말단 부분의 위치 벡터,

Figure 112017107927626-pat00002
6는 말단 부분의 물체 고정좌표계로부터 전역좌표계로의 자세변환 행렬, s'6t 말단 부분 물체 고정좌표계에서 표시된 말단 작업부(tool center)까지의 위치 벡터를 나타낸다. 또한 rt 는 말단 작업부의 전역 위치를 나타내며, 교시 디바이스로부터 데이터가 주어진다.Where r 6 is the position vector of the distal part of the robot,
Figure 112017107927626-pat00002
6 shows a state converting matrix, s' 6t-terminal portion of the terminal position to the working portion (tool center) shown in the fixed object coordinate system, the vector in the global coordinate system from the object fixed coordinate system of the terminal portion. R t also represents the global position of the end work, and is given data from the teaching device.

정보 처리 장치(130)는 구속 방정식(Φ)을 복수의 관절 각 변수에 대해 편미분을 수행하여 자코비안을 계산한다. 구속 방정식과 자코비안 행렬을 통해 계산된 각 관절(q)의 변화량은 수학식 2과 같이 표현할 수 있다.The information processing device 130 calculates the Jacobian by performing partial derivatives on the constraint equations Φ for the plurality of joint angle variables. The amount of change in each joint q calculated through the constraint equation and the Jacobian matrix can be expressed by Equation 2.

Figure 112017107927626-pat00003
Figure 112017107927626-pat00003

수학식 2를 통해 각 관절의 각도 변화량을 적용한 뒤, 정보 처리 장치(130)는 순기구학 해석을 수행한다. 그리고 구속 방정식을 구성하여, 구속 방정식의 오차가 미리 정해놓은 범위 안으로 수렴할 때까지 구속 방정식 구성과 각 관절 변화량 계산 단계를 반복한다. 여기서, 정보 처리 장치(130)가 순기구학 해석을 수행하여 각도 변화량을 검증하는 방법은 여러 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.After applying the angle change amount of each joint through Equation 2, the information processing device 130 performs a forward kinematic analysis. Then construct the constraint equation and repeat the constraint equation construction and each joint variation calculation step until the error of the constraint equation converges within the predetermined range. Here, since the information processing apparatus 130 performs the forward kinematic analysis to verify the angle change amount in various ways, the embodiment of the present invention is not limited to any one method.

S130 단계를 통해 양팔로봇의 각 관절 회전 각도가 확인되면, 정보 처리 장치(130)는 교시 디바이스(110)를 소지한 작업자가 제1 지점에서 제2 지점으로 이동하는 움직임 정보를 수집한다(S104). 움직임 정보는 제1 지점에 대한 위치 정보의 3차원 좌표와 제2 지점에 대한 위치 정보의 3차원 좌표를 포함한다.If each joint rotation angle of the two arms robot is confirmed through the step S130, the information processing device 130 collects the movement information that the worker carrying the teaching device 110 moves from the first point to the second point (S104). . The motion information includes three-dimensional coordinates of the position information for the first point and three-dimensional coordinates of the position information for the second point.

정보 처리 장치(130)는 S104 단계에서 수집한 움직임 정보에 따라 양팔로봇의 팔이 제1 지점에서 제2 지점으로 움직일 관절 운동을 계산한다(S105). 관절 운동을 계산하기 위해 정보 처리 장치(130)는 역기구학 방법을 이용한다. The information processing apparatus 130 calculates joint motions in which the arms of the both arms robot move from the first point to the second point according to the motion information collected in step S104 (S105). The information processing device 130 uses an inverse kinematic method to calculate the joint motion.

그리고, 정보 처리 장치(130)는 S103 단계에서 확인된 각 관절 회전 각도를 토대로, 양팔로봇의 팔이 제1 지점에서 제2 지점으로 움직일 경우 관절 운동에 따른 복수의 관절에 구비된 모터에 가해질 토크를 계산한다(S106). Then, the information processing device 130 is based on the angle of rotation of each joint identified in step S103, when the arm of both arms robot moves from the first point to the second point, the torque to be applied to the motor provided in the plurality of joints according to the joint motion To calculate (S106).

즉, 정보 처리 장치(130)는 다음 수학식 3에 나타낸 식을 토대로, 양팔로봇 팔의 관절에 작용하는 반력과 토크를 계산한다.That is, the information processing device 130 calculates the reaction force and torque acting on the joints of both arms of the robot arm based on the equation shown in the following equation (3).

Figure 112017107927626-pat00004
Figure 112017107927626-pat00004

여기서

Figure 112017107927626-pat00005
은 관절 좌표계를 기준으로 표현된 관절 반력 및 토크를 나타내는 항이고, R은 직교 좌표계를 기준으로 관절 반력 및 토크를 나타낸 항이다.here
Figure 112017107927626-pat00005
Is a term representing joint reaction force and torque expressed with respect to the joint coordinate system, and R is a term representing joint reaction force and torque expressed with respect to the Cartesian coordinate system.

정보 처리 장치(130)는 관절 좌표계 기준으로 표현된 벡터와 변환 행렬과의 연산을 통해 직교 좌표계를 기준으로 한 값으로 변환하여, 각 모터에 가해질 토크로 계산한다.The information processing apparatus 130 converts the vector expressed in the joint coordinate system and the transformation matrix into a value based on the Cartesian coordinate system and calculates the torque to be applied to each motor.

정보 처리 장치(130)는 S106 단계에서 계산된 각 모터에 가해지는 구동 토크와 미리 작업자에 의해 입력된 각 모터에 가해지는 최대 토크를 비교한다. 그리고, 임의의 모터에 대해 계산된 구동 토크가 해당 모터에 대해 미리 설정된 최대 토크보다 큰지 확인한다(S107). The information processing apparatus 130 compares the drive torque applied to each motor calculated in step S106 with the maximum torque applied to each motor previously input by the operator. Then, it is checked whether the driving torque calculated for the arbitrary motor is greater than the maximum torque preset for the motor (S107).

만약 계산된 구동 토크가 최대 토크보다 크면, 정보 처리 장치(130)는 알람을 발생시킨다(S108). 알람을 토대로 작업자가 새로운 궤적의 생성을 지시하는 궤적 생성 요청 신호가 입력되면, 정보 처리 장치(130)는 S104 단계에서 수집한 움직임 정보와 S103 단계에서 확인한 각 관절 회전 각도를 토대로, 제1 지점에서 제2 지점으로 로봇 팔이 움직일 새로운 궤적을 생성하거나 각 관절의 회전 각도를 재 계산한다(S109). 그리고 정보 처리 장치(130)는 생성한 궤적을 통해 로봇 팔이 이동하는 형태 즉, 양팔로봇의 교시 정보를 가상 현실을 통해 디스플레이 한다(S110). If the calculated driving torque is greater than the maximum torque, the information processing device 130 generates an alarm (S108). When a locus generation request signal for instructing a worker to generate a new locus based on the alarm is input, the information processing apparatus 130 may determine the location at the first point based on the motion information collected in step S104 and each joint rotation angle checked in step S103. Create a new trajectory to move the robot arm to the second point or recalculates the rotation angle of each joint (S109). In addition, the information processing device 130 displays the teaching information of the two-arm robot, that is, the form in which the robot arm moves through the generated trajectory (S110).

이상의 절차를 통해 가상 현실을 통해 디스플레이 되는 양팔로봇에 대해 도 6을 참조로 설명한다.The two-armed robot displayed through the virtual reality through the above procedure will be described with reference to FIG. 6.

도 6은 본 발명의 실시예에 따른 가상 현실을 통해 제공되는 양팔로봇의 교시 결과에 대한 예시도이다.6 is an exemplary view of the teaching results of both arms robot provided through the virtual reality according to an embodiment of the present invention.

도 6의 (a)에 도시된 바와 같이, 정보 처리 장치(130)는 로봇 교시 과정에서 역기구학 및 역동역학 해석을 통해 양팔로봇의 로봇 팔 각 관절의 회전각과 토크를 출력한다. 그리고, 출력된 데이터를 토대로 각 관절의 회전 각도에 따라 가상 현실의 양팔로봇의 관절을 회전시킨다. 이와 같은 과정을 통해 가상 현실의 양팔로봇을 교시하는 동안, 작업자는 양팔 로봇의 움직임을 디스플레이를 통해 확인할 수 있다.As shown in (a) of FIG. 6, the information processing device 130 outputs rotation angles and torques of the robot arm joints of the two arms robots through inverse kinematics and inverse dynamics analysis in the robot teaching process. Then, the joints of both arms of the virtual reality are rotated according to the rotation angle of each joint based on the output data. While teaching the two-armed robot in virtual reality through this process, the operator can check the movement of the two-armed robot on the display.

그리고 도 6의 (b)에 나타낸 바와 같이, 임의의 관절을 형성하는 모터에 가해지는 구동 토크가 해당 모터에 설정된 최대 토크보다 클 경우, 경고 메시지를 발생시킨다. 본 발명의 실시예에서는 경고 메시지를 해당 모터에 과부하가 발생하였음을 알리는 색 반전 표시의 형태로 제공하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 이를 통해 작업자는 양팔로봇의 복수의 관절에 대한 과부하 여부를 바로 확인할 수 있으며, 새로운 궤적 계획을 수립할 수 있다.And, as shown in Fig. 6 (b), when the drive torque applied to the motor forming any joint is greater than the maximum torque set in the motor, a warning message is generated. In the exemplary embodiment of the present invention, the warning message is provided in the form of a color reversal display indicating that an overload has occurred in the corresponding motor, but is not limited thereto. Through this, the operator can immediately check whether the multiple joints of both arms robots are overloaded and establish a new trajectory plan.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (13)

가상 현실로 구현된 양팔로봇을 교시하는 장치로서,
작업자가 소지하며, 상기 작업자의 손의 움직임에 따른 손의 포즈와 움직임을, 상기 작업자가 착용한 HMD(Head Mounted Display)를 통해 제공되는 가상 현실 양팔로봇을 교시하기 위한 교시 정보로 수집하는 교시 디바이스,
상기 작업자의 손의 포즈와 움직임으로부터 3차원 좌표계를 추출하고,상기 가상 현실 양팔로봇의 팔이 상기 수집한 작업자의 손의 포즈와 움직임을 취할 때, 상기 가상 현실 양팔로봇의 복수의 관절 각각에 대한 회전 각도를 확인하고, 상기 확인한 회전 각도와 상기 교시 디바이스가 수집한 교시 정보를 토대로 결정된 관절 운동으로 상기 복수의 관절 각각에 가해지는 구동 토크에 따라 이동 궤적을 생성하는 정보 처리 장치, 그리고
상기 가상 현실 양팔로봇이 상기 교시 디바이스의 움직임에 따라 움직인 가상현실 양팔로봇의 움직임을 제공하는 상기 HMD
를 포함하는 가상 현실 양팔로봇 교시 장치.
As a device to teach both arms robot implemented in virtual reality,
The teaching device, which the worker possesses, collects the pose and movement of the hand according to the movement of the worker's hand as teaching information for teaching the virtual reality two-armed robot provided through the head mounted display (HMD) worn by the worker. ,
Extracting a three-dimensional coordinate system from the poses and movements of the hand of the worker, and when the arms of the virtual reality bipedal robot take the poses and movements of the collected hand of the worker, for each of a plurality of joints of the virtual reality bipedal robot An information processing apparatus for checking a rotation angle and generating a movement trajectory according to driving torques applied to each of the plurality of joints by a joint motion determined based on the checked rotation angle and the teaching information collected by the teaching device, and
The HMD providing the movement of the virtual reality both arm robot moved by the virtual reality two-arm robot according to the movement of the teaching device
Virtual reality two-armed robot teaching device comprising a.
제1항에 있어서,
상기 교시 정보는 상기 작업자의 손의 위치 정보인 3차원 손 위치 좌표 정보와 손목 각도 정보인 4차원 손목 각도 벡터 정보를 포함하는 포즈 정보와,
상기 작업자의 손이 제1 지점에서 제2 지점으로 움직이면, 상기 제1 지점과 제2 지점에 대한 위치 정보를 포함하는 움직임 정보를 포함하는 가상 현실 양팔로봇 교시 장치.
The method of claim 1,
The teaching information includes pose information including three-dimensional hand position coordinate information, which is position information of the worker's hand, and four-dimensional wrist angle vector information, which is wrist angle information;
And the hand of the worker moves from the first point to the second point, the virtual reality bipedal robot teaching device including motion information including position information about the first point and the second point.
제2항에 있어서,
상기 정보 처리 장치는,
상기 3차원 손 위치 좌표 정보와 4차원 손목 각도 벡터 정보를 상기 가상 현실 양팔로봇에 적용하기 위한 3차원 말단 좌표로 생성하는 말단 좌표 생성 모듈,
상기 3차원 말단 좌표를 토대로 상기 작업자의 포즈 정보가 반영된 로봇 팔을 구성하는 복수의 관절에 대한 관절 회전 각도를 확인하고, 상기 제1 지점과 제2 지점에 대한 위치 정보를 토대로 관절 운동 경로를 결정하는 역학 처리 모듈, 그리고
상기 가상 현실의 양팔로봇에 포즈 정보를 반영하거나 새로운 궤적에 따라 양팔로봇의 로봇 팔이 움직이도록 처리하는 가상 로봇 처리 모듈
을 포함하는 가상 현실 양팔로봇 교시 장치.
The method of claim 2,
The information processing device,
An end coordinate generation module for generating the 3D hand position coordinate information and the 4D wrist angle vector information as 3D end coordinates for applying to the virtual reality both arms robot;
The joint rotation angles of the plurality of joints constituting the robot arm in which the pose information of the operator is reflected are determined based on the three-dimensional distal coordinates, and the joint motion path is determined based on the position information on the first and second points. Dynamics processing module, and
A virtual robot processing module that reflects pose information on both arms of the virtual reality or processes the robot arms of both arms to move according to a new trajectory
Virtual reality two-armed robot teaching device comprising a.
제3항에 있어서,
상기 역학 처리 모듈은,
상기 3차원 말단 좌표에 역기구학 해석 방법을 적용하여 상기 복수의 관절에 대한 관절 회전 각도를 계산하는 가상 현실 양팔로봇 교시 장치.
The method of claim 3,
The dynamics processing module,
And applying an inverse kinematic analysis method to the three-dimensional distal coordinates to calculate joint rotation angles for the plurality of joints.
제4항에 있어서,
상기 역학 처리 모듈은,
상기 관절 운동에 대한 복수의 관절 각각을 형성하는 모터에 대하여, 역동역학 해석을 통해 모터의 토크를 계산하는 가상 현실 양팔로봇 교시 장치.
The method of claim 4, wherein
The dynamics processing module,
A virtual reality bipedal robot teaching apparatus for calculating a torque of a motor through an inverse dynamic analysis for a motor forming each of a plurality of joints for the joint motion.
제5항에 있어서,
상기 역학 처리 모듈은,
상기 계산한 모터의 토크가 미리 설정된 해당 모터의 토크보다 크면, 상기 모터에 대한 경고가 발생하도록 가상 로봇 처리 모듈로 요청하는 가상 현실 양팔로봇 교시 장치.
The method of claim 5,
The dynamics processing module,
And requesting a virtual robot processing module to generate a warning for the motor when the calculated torque of the motor is greater than a preset torque of the corresponding motor.
제6항에 있어서,
상기 경고를 토대로 작업자에 의해 새로운 궤적 생성 요청 신호가 입력되면, 상기 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터, 상기 모터가 구비된 관절의 관절 회전 각도를 기초로, 상기 제1 지점에서 제2 지점으로 로봇 팔이 이동할 새로운 궤적을 생성하는 궤적 처리 모듈
을 포함하는 가상 현실 양팔로봇 교시 장치.
The method of claim 6,
When a new trajectory generation request signal is input by the operator based on the warning, the first position is based on the position vector for the first point, the position vector for the second point, and the joint rotation angle of the joint with the motor. Trajectory processing module to create a new trajectory for the robot arm to move from point to point 2
Virtual reality two-armed robot teaching device comprising a.
제7항에 있어서,
상기 궤적 처리 모듈은,
상기 제1 지점에서 제2 지점으로 로봇 팔이 이동하도록, 계산된 토크가 설정된 토크보다 큰 모터가 구비된 관절의 관절 회전 각도를 재 계산하는 가상 현실 양팔로봇 교시 장치.
The method of claim 7, wherein
The locus processing module,
And recalculate the joint rotation angle of the joint with the motor whose calculated torque is greater than the set torque so that the robot arm moves from the first point to the second point.
교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서,
교시 디바이스를 소지한 작업자의 손 위치 정보와 손목 각도 정보를 포함하는 포즈 정보로부터 추출한 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하는 단계,
제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집하고, 수집한 팔 움직임 정보와 상기 확인한 관절 회전 각도를 토대로 상기 가상 현실 양팔로봇의 복수의 관절에 대응하는 모터의 구동 토크를 계산하는 단계,
계산된 구동 토크를 토대로 상기 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성하는 단계, 그리고
생성한 궤적에 따라 상기 가상 현실 양팔로봇의 교시 정보와 상기 교시 정보를 토대로 이동한 상기 가상 현실 양팔로봇의 변경된 양팔 위치를 상기 작업자가 착용한 HMD(Head Mounted Display)를 통해 디스플레이 하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.
As a teaching device for teaching both arms robot implemented in virtual reality,
Identifying joint rotation angles of a plurality of joints of the virtual reality bipedal robot in which the pose information is reflected using a three-dimensional coordinate system extracted from pose information including hand position information and wrist angle information of a worker with a teaching device; ,
Collecting arm movement information of the worker who moved the arm from the first point to the second point, the drive torque of the motor corresponding to the plurality of joints of the virtual reality both arms robot based on the collected arm movement information and the identified joint rotation angle Calculating the
Generating a trajectory for robot arm movement from the first point to a second point based on the calculated drive torque, and
Displaying the changed arms position of the virtual reality both arms robot moved based on the teaching information and the teaching information of the virtual reality both arms robot according to the generated trajectory through a head mounted display (HMD) worn by the worker;
Virtual reality two-armed robot teaching method comprising a.
제9항에 있어서,
상기 관절 회전 각도를 확인하는 단계는,
상기 손 위치 정보와 손목 각도 정보를 토대로 3차원 좌표계를 추출하는 단계, 그리고
상기 3차원 좌표계를 토대로 상기 가상 현실 양팔로봇이 포즈를 취하면, 상기 복수의 관절 각각에 대한 관절 회전 각도를 확인하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.
The method of claim 9,
Checking the joint rotation angle,
Extracting a 3D coordinate system based on the hand position information and wrist angle information, and
Confirming joint rotation angles for each of the plurality of joints when the virtual reality two-armed robot poses based on the three-dimensional coordinate system;
Virtual reality two-armed robot teaching method comprising a.
제10항에 있어서,
상기 3차원 좌표계에 역기구학 해석 방법을 적용하여 상기 복수의 관절에 대한 관절 회전 각도를 계산하는 가상 현실 양팔로봇 교시 방법.
The method of claim 10,
And applying an inverse kinematic analysis method to the three-dimensional coordinate system to calculate joint rotation angles for the plurality of joints.
제9항에 있어서,
상기 구동 토크를 계산하는 단계는,
교시 디바이스를 소지한 작업자가 팔을 제1 지점에서 제2 지점으로 이동하면, 상기 제1 지점에 대한 좌표 정보와 제2 지점에 대한 좌표 정보를 포함하는 움직임 정보를 수집하여 상기 로봇 팔이 제1 지점에서 제2 지점으로 이동할 수 있는 관절 운동 경로를 결정하는 단계, 그리고
상기 움직임 정보와 상기 확인한 관절 회전 각도 정보를 토대로, 상기 관절에 작용하는 토크를 계산하는 단계
를 포함하며,
상기 토크는 역동역학 해석을 통해 계산되는 가상 현실 양팔로봇 교시 방법.
The method of claim 9,
Calculating the drive torque,
When the worker carrying the teaching device moves the arm from the first point to the second point, the robot arm collects motion information including coordinate information about the first point and coordinate information about the second point. Determining a joint motion path that can move from the point to the second point, and
Calculating torque acting on the joint based on the motion information and the checked joint rotation angle information;
Including;
And said torque is calculated through dynamic dynamics analysis.
제12항에 있어서,
상기 토크를 계산하는 단계 이후에,
임의의 관절에 대해 계산된 토크가 상기 관절에 구비된 모터에 대해 미리 설정된 최대 토크보다 크다면, 알람을 발생하는 단계, 그리고
상기 알람을 토대로 작업자로부터 새로운 궤적 생성 요청 신호가 발생하면, 상기 제1 지점의 좌표 정보와 상기 제2 지점의 좌표 정보를 토대로 상기 관절 운동 경로에 대한 새로운 궤적을 계산하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.
The method of claim 12,
After calculating the torque,
If the torque calculated for any joint is greater than the maximum torque preset for the motor provided in the joint, generating an alarm, and
Calculating a new trajectory for the joint motion path based on the coordinate information of the first point and the coordinate information of the second point when a new trajectory generation request signal is generated from the operator based on the alarm;
Virtual reality two-armed robot teaching method comprising a.
KR1020170143671A 2017-10-31 2017-10-31 Apparatus and method for dual-arm robot teaching based on virtual reality KR102001214B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143671A KR102001214B1 (en) 2017-10-31 2017-10-31 Apparatus and method for dual-arm robot teaching based on virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143671A KR102001214B1 (en) 2017-10-31 2017-10-31 Apparatus and method for dual-arm robot teaching based on virtual reality

Publications (2)

Publication Number Publication Date
KR20190048589A KR20190048589A (en) 2019-05-09
KR102001214B1 true KR102001214B1 (en) 2019-10-01

Family

ID=66546122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143671A KR102001214B1 (en) 2017-10-31 2017-10-31 Apparatus and method for dual-arm robot teaching based on virtual reality

Country Status (1)

Country Link
KR (1) KR102001214B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085727A1 (en) * 2019-10-28 2021-05-06 주식회사 엠앤디 Cutting robot system and simulation method therefor
CN112959330B (en) * 2021-02-02 2022-05-17 浙江大学 Robot double-arm motion man-machine corresponding device and method based on master-slave dynamic motion elements
CN112847380A (en) * 2021-02-24 2021-05-28 宿州赛尔沃德物联网科技有限公司 Teaching method of industrial robot
CN113001548B (en) * 2021-03-15 2022-04-29 安徽工程大学 Robot teaching method based on virtual simulation experience
CN114536351B (en) * 2022-04-27 2022-07-15 季华实验室 Redundant double-arm robot teaching method and device, electronic equipment and system
CN115533896B (en) * 2022-09-20 2023-10-03 南方电网电力科技股份有限公司 Recursive robot double-arm collaborative operation path planning method
CN115781635A (en) * 2022-11-04 2023-03-14 北京镁伽机器人科技有限公司 Robot teaching method and device, electronic device, and storage medium
CN115922728B (en) * 2023-01-03 2023-06-30 之江实验室 Robot pointing motion control method, apparatus, electronic device, and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6282404A (en) * 1985-10-07 1987-04-15 Toshiba Corp Industrial robot
JP2011110621A (en) * 2009-11-24 2011-06-09 Toyota Industries Corp Method of producing teaching data of robot and robot teaching system
KR101941844B1 (en) * 2012-01-10 2019-04-11 삼성전자주식회사 Robot and Control method thereof
JP5716769B2 (en) * 2013-02-21 2015-05-13 株式会社安川電機 Robot simulator, robot teaching apparatus, and robot teaching method

Also Published As

Publication number Publication date
KR20190048589A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102001214B1 (en) Apparatus and method for dual-arm robot teaching based on virtual reality
Whitney et al. Ros reality: A virtual reality framework using consumer-grade hardware for ros-enabled robots
Naceri et al. Towards a virtual reality interface for remote robotic teleoperation
US20200249654A1 (en) Robotic control via a virtual world simulation
JP2012171024A (en) Robot system
Vahrenkamp et al. Workspace analysis for planning human-robot interaction tasks
JP7124440B2 (en) Robot controller and robot system
US20180117764A1 (en) Force control coordinate axis setting device, robot, and force control coordinate axis setting method
WO2022134702A1 (en) Action learning method and apparatus, storage medium, and electronic device
Chen et al. Development of a user experience enhanced teleoperation approach
Nandikolla et al. Teleoperation robot control of a hybrid eeg-based bci arm manipulator using ros
Ponomareva et al. Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment
Omarali et al. Workspace scaling and rate mode control for virtual reality based robot teleoperation
CN113450903B (en) Human body action mapping method and device, computer equipment and storage medium
Guan et al. A novel robot teaching system based on augmented reality
Ma et al. A framework for interactive work design based on digital work analysis and simulation
Piyavichayanon et al. Collision-aware ar telemanipulation using depth mesh
JP2022163836A (en) Method for displaying robot image, computer program, and method for displaying robot image
Piccinelli et al. Trajectory planning using mixed reality: an experimental validation
EP4300231A1 (en) Teaching method and teaching apparatus
Rezeck et al. An immersion enhancing robotic head-like device for teleoperation
Bejczy Virtual reality in robotics
US20220226982A1 (en) Method Of Creating Control Program For Robot, System Executing Processing Of Creating Control Program For Robot, And Non-Transitory Computer-Readable Storage Medium
JPH03287394A (en) Remote handling device
Nandikolla et al. Research Article Teleoperation Robot Control of a Hybrid EEG-Based BCI Arm Manipulator Using ROS

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant