KR102001214B1 - Apparatus and method for dual-arm robot teaching based on virtual reality - Google Patents
Apparatus and method for dual-arm robot teaching based on virtual reality Download PDFInfo
- Publication number
- KR102001214B1 KR102001214B1 KR1020170143671A KR20170143671A KR102001214B1 KR 102001214 B1 KR102001214 B1 KR 102001214B1 KR 1020170143671 A KR1020170143671 A KR 1020170143671A KR 20170143671 A KR20170143671 A KR 20170143671A KR 102001214 B1 KR102001214 B1 KR 102001214B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- robot
- virtual reality
- point
- teaching
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40122—Manipulate virtual object, for trajectory planning of real object, haptic display
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서, 작업자의 포즈 정보를 토대로 생성된 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하면, 제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집한다. 수집한 팔 움직임 정보와 확인한 관절 회전 각도를 토대로 상기 복수의 관절에 구비된 모터에 가해지는 구동 토크를 계산하고, 계산된 구동 토크를 토대로 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성한다. 그리고 생성한 궤적에 따라 로봇 팔의 교시 정보를 디스플레이 한다.A teaching device teaches a two-arm robot implemented in virtual reality, and uses a three-dimensional coordinate system generated based on a worker's pose information to determine joint rotation angles of a plurality of joints of the virtual reality two-arm robot in which the pose information is reflected. If confirmed, the arm movement information of the worker who moved the arm from the first point to the second point is collected. The driving torque applied to the motors of the plurality of joints is calculated based on the collected arm movement information and the identified joint rotation angle, and the trajectory for the robot arm movement from the first point to the second point based on the calculated driving torque. Create Then, the teaching information of the robot arm is displayed according to the generated trajectory.
Description
본 발명은 가상 현실 기반 양팔로봇 교시 장치 및 방법에 관한 것이다.The present invention relates to a virtual reality based bipedal robot teaching apparatus and method.
최근 산업 현장에서는 양팔로봇과의 협업에 대한 관심이 증대하고 있다. 현장에서 대부분의 사람은 양팔을 사용하여 작업을 수행하므로 양팔로봇을 사용할 때 사람과 유사한 작업을 수행할 수 있다. 양팔로봇을 이용하여 작업을 수행하기 위해서는 시간에 따라서 로봇 팔의 위치 및 자세를 지정해주는 교시 과정이 필요하다. In recent years, interest in collaboration with both arms robots has increased. Most people in the field work with both arms, so you can do things similar to people when using a two-arm robot. In order to perform work using both arms robots, a teaching process is required to specify the position and posture of the robot arm over time.
로봇의 교시 방법에는 직접 교시와 간접 교시가 있다. 직접 교시는 사람이 직접 로봇의 말단을 잡고 원하는 위치와 자세를 지정해 주는 방식을 의미하고, 이를 제외한 모든 방법이 간접 교시에 해당한다. There are two methods of teaching a robot: direct teaching and indirect teaching. Direct teaching refers to a method in which a person directly grasps the end of a robot and specifies a desired position and posture. All methods except this correspond to indirect teaching.
직접 교시의 경우 사용자가 직관적으로 로봇의 움직임을 제어하기 때문에 쉽게 로봇을 교시할 수 있다. 하지만, 로봇이 취하는 단위 동작들 간의 연결이 부자연스럽고, 하나의 단위 동작에서 다음 단위 동작으로 넘어가기 위한 시간 지연이 발생한다는 문제가 있다. In the case of direct teaching, the robot can be easily taught because the user intuitively controls the movement of the robot. However, there is a problem that the connection between the unit operations that the robot takes is unnatural, and a time delay occurs from one unit operation to the next unit operation.
그리고 간접 교시의 경우 티칭 펜던트를 사용하며 로봇의 움직임을 직접 확인하면서, 로봇 움직임을 단계별로 교시하기 때문에, 로봇의 교시에 시간이 오래 걸린다는 단점이 있다. 이를 보완하기 위해 비전 센서 등을 사용하는 교시 방법이 제안되었으나, 작업의 정확도가 낮다는 문제점이 있다.In the case of indirect teaching, the teaching pendant is used and the robot movement is taught step by step while directly checking the movement of the robot. Therefore, the teaching of the robot takes a long time. In order to compensate for this, a teaching method using a vision sensor and the like has been proposed, but there is a problem in that the accuracy of the work is low.
이와 같은 문제점들을 보완하기 위해서는 사람이 작업을 할 때 양팔의 움직임을 최대한 유사하게 모사하는 양팔로봇용 교시 방법이 필요하다. 동시에 교시 과정을 모니터링 하여 정확도를 높이는 방법이 필요하다. 이는 외팔로봇의 경우 외팔에 대한 교시만 진행하면 되는 반면, 양팔로봇의 경우 한 팔에 대한 다른 팔의 상호작용을 생각하며 교시를 해야 하기 때문에 비효율적이다. 따라서, 양팔을 한 번에 교시할 수 있는 방법이 필요하다.In order to solve these problems, a teaching method for both arms and robots that simulates the movement of both arms as much as possible when a person works. At the same time, there is a need for a method of monitoring the teaching process to increase accuracy. This is inefficient because one-sided robots only need to teach the one-arm, while two-armed robots must teach in consideration of the interaction of the other arm with one arm. Thus, there is a need for a way to teach both arms at once.
따라서, 본 발명은 가상 현실 기반 양팔로봇 교시 장치 및 방법을 제공한다.Accordingly, the present invention provides a virtual reality based bipedal robot teaching apparatus and method.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 가상 현실로 구현된 양팔로봇을 교시하는 장치로서,As an apparatus for teaching a two-armed robot implemented in a virtual reality that is one feature of the present invention for achieving the technical problem of the present invention,
작업자의 움직임에 따라 가상 현실 양팔로봇을 교시하기 위한 교시 정보를 수집하는 교시 디바이스, 상기 교시 정보를 토대로 상기 가상 현실 양팔로봇에 구비된 복수의 관절 각각에 대한 회전 각도를 확인하고, 상기 확인한 회전 각도와 교시 정보를 토대로 결정된 관절 운동에 대한 복수의 관절 각각에 가해지는 구동 토크에 따라 이동 궤적을 생성하는 정보 처리 장치, 그리고 상기 작업자에게 상기 가상 현실 양팔로봇과, 상기 교시 디바이스의 움직임에 따른 가상현실 양팔로봇의 움직임을 제공하는 표시 장치를 포함한다.A teaching device that collects teaching information for teaching a virtual reality two-arm robot according to a worker's movement, and confirms rotation angles of each of the plurality of joints provided in the virtual reality two-arm robot based on the teaching information, and checks the rotation angle. And an information processing device for generating a movement trajectory according to the driving torque applied to each of the plurality of joints for the joint motion determined based on the teaching information, and the virtual reality bi-arm robot and the virtual reality according to the movement of the teaching device. It includes a display device for providing the movement of both arms robot.
상기 교시 정보는 상기 작업자의 손 위치 정보인 3차원 손 위치 좌표 정보와 손목 각도 정보인 4차원 손목 각도 벡터 정보를 포함하는 포즈 정보와, 상기 작업자의 손이 제1 지점에서 제2 지점으로 움직이면, 상기 제1 지점과 제2 지점에 대한 위치 정보를 포함하는 움직임 정보를 포함할 수 있다.The teaching information includes pose information including three-dimensional hand position coordinate information that is the hand position information of the worker and four-dimensional wrist angle vector information that is wrist angle information, and when the worker's hand moves from the first point to the second point, It may include motion information including location information about the first point and the second point.
상기 정보 처리 장치는, 상기 3차원 손 위치 좌표 정보와 4차원 손목 각도 벡터 정보를 상기 가상 현실 양팔로봇에 적용하기 위한 3차원 말단 좌표로 생성하는 말단 좌표 생성 모듈, 상기 3차원 말단 좌표를 토대로 상기 작업자의 포즈 정보가 반영된 로봇 팔을 구성하는 복수의 관절에 대한 관절 회전 각도를 확인하고, 상기 제1 지점과 제2 지점에 대한 위치 정보를 토대로 관절 운동 경로를 결정하는 역학 처리 모듈, 그리고 상기 가상 현실의 양팔로봇에 포즈 정보를 반영하거나 새로운 궤적에 따라 양팔로봇의 로봇 팔이 움직이도록 처리하는 가상 로봇 처리 모듈을 포함할 수 있다.The information processing apparatus includes an end coordinate generation module for generating the 3D hand position coordinate information and the 4D wrist angle vector information as 3D end coordinates for applying to the virtual reality bipedal robot, based on the 3D end coordinates. A dynamics processing module for checking joint rotation angles of a plurality of joints constituting a robot arm in which pose information of a worker is reflected, and determining a joint movement path based on position information of the first and second points, and the virtual It may include a virtual robot processing module that reflects the pose information on the realistic two-arm robot or processes the robot arm of the two-arm robot to move according to the new trajectory.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 교시 장치가 가상 현실로 구현된 양팔로봇을 교시하는 방법으로서,As a method of teaching a two-arm robot implemented in virtual reality, the teaching apparatus, which is another feature of the present invention for achieving the technical problem of the present invention,
작업자의 포즈 정보를 토대로 생성된 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하는 단계, 제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집하고, 수집한 팔 움직임 정보와 상기 확인한 관절 회전 각도를 토대로 상기 복수의 관절에 구비된 모터에 가해지는 구동 토크를 계산하는 단계, 계산된 구동 토크를 토대로 상기 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성하는 단계, 그리고 생성한 궤적에 따라 상기 가상 현실 양팔로봇의 교시 정보를 디스플레이 하는 단계를 포함한다.Confirming joint rotation angles of a plurality of joints of the virtual reality bipedal robot in which the pose information is reflected using a three-dimensional coordinate system generated based on the pose information of the worker, moving the arm from the first point to the second point Collecting arm movement information of an operator and calculating driving torque applied to motors provided in the plurality of joints based on the collected arm movement information and the identified joint rotation angle, the first point based on the calculated driving torque Generating a trajectory for the movement of the robot arm to the second point at, and displaying teaching information of the virtual reality both arms robot according to the generated trajectory.
상기 관절 회전 각도를 확인하는 단계는, 교시 디바이스를 소지한 작업자의 손 위치 정보와 손목 각도 정보를 상기 작업자의 포즈 정보로 수집하는 단계, 상기 손 위치 정보와 손목 각도 정보를 토대로 3차원 좌표계를 추출하는 단계, 그리고 상기 3차원 좌표계를 토대로 상기 가상 현실 양팔로봇이 포즈를 취하면, 상기 복수의 관절 각각에 대한 관절 회전 각도를 확인하는 단계를 포함할 수 있다.The checking of the joint rotation angle may include collecting hand position information and wrist angle information of a worker carrying a teaching device as pose information of the worker, and extracting a 3D coordinate system based on the hand position information and wrist angle information. And when the virtual reality two-armed robot poses based on the three-dimensional coordinate system, identifying joint rotation angles for each of the plurality of joints.
상기 구동 토크를 계산하는 단계는, 교시 디바이스를 소지한 작업자가 팔을 제1 지점에서 제2 지점으로 이동하면, 상기 제1 지점에 대한 좌표 정보와 제2 지점에 대한 좌표 정보를 포함하는 움직임 정보를 수집하여 상기 로봇 팔이 제1 지점에서 제2 지점으로 이동할 수 있는 관절 운동 경로를 결정하는 단계, 그리고 상기 움직임 정보와 상기 확인한 관절 회전 각도 정보를 토대로, 상기 관절에 작용하는 토크를 계산하는 단계를 포함하며, 상기 토크는 역동역학 해석을 통해 계산될 수 있다.The calculating of the driving torque may include: movement information including coordinate information about the first point and coordinate information about the second point when the worker carrying the teaching device moves the arm from the first point to the second point Determining a joint motion path through which the robot arm can move from a first point to a second point, and calculating torque acting on the joint based on the motion information and the identified joint rotation angle information. The torque may be calculated through inverse dynamic analysis.
상기 토크를 계산하는 단계 이후에, 임의의 관절에 대해 계산된 토크가 상기 관절에 구비된 모터에 대해 미리 설정된 최대 토크보다 크다면, 알람을 발생하는 단계, 그리고 상기 알람을 토대로 작업자로부터 새로운 궤적 생성 요청 신호가 발생하면, 상기 제1 지점의 좌표 정보와 상기 제2 지점의 좌표 정보를 토대로 상기 관절 운동 경로에 대한 새로운 궤적을 계산하는 단계를 포함할 수 있다. After calculating the torque, if the torque calculated for any joint is greater than the maximum torque preset for the motor provided in the joint, generating an alarm, and generating a new trajectory from the operator based on the alarm When the request signal is generated, calculating a new trajectory for the joint motion path based on the coordinate information of the first point and the coordinate information of the second point.
본 발명에 따르면 실제 사람이 작업할 때의 움직임과 최대한 유사하게 양팔로봇이 모사할 수 있도록 교시할 수 있으며, 동시에 사용자가 실시간으로 교시 과정을 모니터링 함으로써 양팔로봇 교시의 정확도를 높일 수 있다.According to the present invention, the two-arm robot can be taught to simulate as much as possible when the actual person works, and at the same time, the user can increase the accuracy of the two-arm robot teaching by monitoring the teaching process in real time.
또한, 본 발명에 따르면 사용자가 직관적으로 양팔로봇을 교시할 수 있으며, 양팔로봇의 자세와 각 조인트의 과부하 여부를 토대로 최적의 양팔로봇 움직임 경로를 생성하여 가상 현실을 통해 시뮬레이션 할 수 있다.In addition, according to the present invention, the user can teach both arms robots intuitively, and generate an optimal both arms robot motion path based on the attitude of both arms robots and whether each joint is overloaded to simulate the virtual robot.
도 1은 본 발명의 실시예에 따른 양팔로봇 교시 장치가 구비된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 정보 처리 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 교시 디바이스의 예시도이다.
도 4는 본 발명의 실시예에 따른 양팔로봇 교시 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가상 현실 환경의 예시도이다.
도 6은 본 발명의 실시예에 따른 가상 현실을 통해 제공되는 양팔로봇의 교시 결과에 대한 예시도이다.1 is an illustration of an environment equipped with a two-armed robot teaching device according to an embodiment of the present invention.
2 is a structural diagram of an information processing apparatus according to an embodiment of the present invention.
3 is an illustration of a teaching device in accordance with an embodiment of the invention.
Figure 4 is a flow chart for a two-armed robot teaching method according to an embodiment of the present invention.
5 is an exemplary diagram of a virtual reality environment according to an embodiment of the present invention.
6 is an exemplary view of the teaching results of both arms robot provided through the virtual reality according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
이하 도면을 참조로 하여, 본 발명의 실시예에 따른 가상 현실 기반 양팔로봇 교시 장치 및 방법에 대해 상세히 설명한다.Hereinafter, a virtual reality-based bipedal robot teaching apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 양팔로봇 교시 장치가 구비된 환경의 예시도이다.1 is an illustration of an environment equipped with a two-armed robot teaching device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에서는 양팔로봇 교시 장치(100)를 작업자가 로봇 교시를 위해 소지하는 교시 디바이스(110), 작업자가 착용한 표시 장치인 HMD(Head Mounted Display)(120) 그리고 정보 처리 장치(130)를 포함한다. As shown in FIG. 1, in the embodiment of the present invention, the
본 발명의 실시예에서는 정보 처리 장치(130)를 로봇 교시 시뮬레이션을 위한 프로그램이 설치된 컴퓨터 또는 서버 등의 물리적으로 독립되어 있는 구성 요소를 예로 하여 설명하나, 컴퓨터나 서버에 설치된 프로그램일 수도 있다. In the exemplary embodiment of the present invention, the
또한, 본 발명의 실시예에서는 로봇에 두 개의 로봇 팔이 구비되어 있으며, 로봇 팔은 고정되어 있는 기준 구성으로부터 6개의 구성 요소가 6개의 회전 관절(joint)로 연결되어 있는 구조인 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 여기서, 6번째의 구성 요소와 6번째의 회전 관절 부분을 로봇 팔의 '말단 부분'이라 지칭한다. In addition, in the embodiment of the present invention, the robot is provided with two robot arms, and the robot arm is described as an example in which six components are connected by six rotating joints (joints) from a fixed reference configuration. However, it is not necessarily limited to this. Here, the sixth component and the sixth rotational joint portion are referred to as 'end portions' of the robot arm.
그리고 6개의 관절은 회전을 위해 각각 모터가 구비되어 있는 것을 예로 하여 설명한다. 또한, 본 발명의 실시예에 따른 가상 환경의 로봇은 복수개의 축이 구비되어 있는 양팔 로봇을 예로 하여 설명한다.And six joints will be described with an example that each motor is provided for rotation. In addition, the robot of the virtual environment according to an embodiment of the present invention will be described with an example of a two-armed robot having a plurality of axes.
교시 디바이스(110)는 작업자의 손의 포즈와 움직임에 따라 작업자의 양손에 대한 각각의 포즈 정보와 움직임 정보를 수집한다. 여기서 포즈 정보에는 작업자의 손 위치 정보와 손목이 얼마나 휘어져 있는지를 나타내는 손목 각도 정보를 포함하는 것을 예로 하여 설명한다. 또한 움직임 정보에는 작업자의 교시 디바이스(110)를 제1 위치에서 제2 위치로 이동시킬 때의 제1 위치의 위치 정보와 제2 위치의 위치 정보인 궤적 정보를 포함하는 것을 예로 하여 설명한다. The
교시 디바이스(110)는 수집한 양손의 포즈 정보와 움직임 정보를 정보 처리 장치(130)로 전달한다. 이를 위해 교시 디바이스(110)와 정보 처리 장치(130)는 포즈 정보와 움직임 정보를 송수신할 수 있도록 연결되어 있으며, 연결 형태는 어느 하나의 방법으로 한정하지 않는다. 교시 디바이스(110)에서 수집한 포즈 정보는 가상 현실로 구현된 로봇 팔의 말단 부분의 복수의 관절 각각에 대한 회전 각도를 확인하는데 사용되고, 움직임 정보는 양팔로봇의 로봇 팔의 말단 부분을 제1 위치에서 제2 위치로 이동시키기 위한 궤적을 계산하기 위해 사용된다.The
정보 처리 장치(130)는 교시 디바이스(110)로부터 수신한 포즈 정보에 포함된 손 위치 정보와 손목 각도 정보를 토대로, 작업자의 포즈 정보를 3차원 좌표계로 추출한다. 그리고 정보 처리 장치(130)는 3차원 좌표계로 추출한 포즈 정보를 토대로, 가상 현실로 구현된 양팔로봇의 팔이 취하고 있는 각 관절의 각도를 확인한다. The
또한, 정보 처리 장치(130)는 교시 디바이스(110)로부터 수신한 움직임 정보를 토대로, 현재 포즈를 취하고 있는 가상 현실에서의 양팔로봇 팔의 관절에 가해지는 토크를 계산한다. 그리고 계산한 토크를 토대로 양팔로봇의 팔이 새로운 궤적을 통해 제1 지점에서 제2 지점으로 이동하도록 하거나 양팔로봇 팔의 관절 회전 각도를 변형하기 위한 각도를 계산한다.In addition, the
정보 처리 장치(130)는 가상 현실의 양팔로봇의 포즈 또는 새로운 궤적으로 제1 지점에서 제2 지점으로 이동하는 팔의 움직임 등의 시뮬레이션을, 작업자가 파악하도록 가상 현실로 처리한다. 교시 작업 환경과 시뮬레이션을 가상 현실로 파악하도록 처리하는 방법은 다양한 방법을 통해 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.The
HMD(120)는 정보 처리 장치(130)가 양팔로봇의 관점에서 작업자가 보는 것처럼 작업대와 작업 물체를 가상 현실로 제공한다. 또한, HMD(120)는 가상 현실 처리한 궤적을 가상 현실의 양팔로봇과 함께 작업자에게 디스플레이 한다. 여기서, 작업자에게 디스플레이 되는 정보는 양팔로봇의 팔 자세, 양팔로봇의 팔을 구성하는 복수의 조인트 각각의 과부하 여부, 그리고 양팔로봇의 각 관절에 대한 관절 움직임이나 로봇 팔의 이동 경로를 포함한다.The
이와 같은 환경에서, 교시 디바이스(110)가 수집한 움직임 정보를 처리하는 정보 처리 장치(130)의 구조에 대해 도 2를 참조로 설명한다.In such an environment, the structure of the
도 2는 본 발명의 실시예에 따른 정보 처리 장치의 구조도이다.2 is a structural diagram of an information processing apparatus according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 정보 처리 장치(130)는 인터페이스(131)와 프로세서(132)를 포함한다. 그리고 프로세서(132)는 그 기능에 따라 말단 좌표 생성 모듈(132-1), 역학 처리 모듈(132-2), 궤적 처리 모듈(132-3), 그리고 가상 로봇 처리 모듈(132-4)을 포함한다.As shown in FIG. 2, the
인터페이스(131)는 교시 디바이스(110), 그리고 HMD(120)와 연동한다. 인터페이스(131)는 교시 디바이스(110)를 통해 전송되는 포즈 정보와 움직임 정보를 수신한다. 여기서 포즈 정보는 작업자의 손 위치 정보와 손목 각도 정보를 포함한다. 그리고 움직임 정보는 제1 지점의 위치 정보와 제2 지점의 위치 정보를 포함한다.
인터페이스(131)는 프로세서(132)에서 처리한 가상 현실의 교시 작업 환경 정보를 HMD(120)로 전달한다. 여기서 작업자가 HMD(120)를 통해 확인하는 가상 현실 환경에 대해 도 5를 참조로 먼저 설명한다.The
도 5는 본 발명의 실시예에 따른 가상 현실 환경의 예시도이다.5 is an exemplary diagram of a virtual reality environment according to an embodiment of the present invention.
도 5의 (a)에 나타낸 바와 같이 정보 처리 장치(130)는 양팔로봇(210)과 로봇의 전방에 작업대(220), 그리고 작업대(220)의 위에 양팔로봇(210)을 이용하여 작업을 수행할 물체(230)가 놓여 있는 것과 같이 가상 현실 환경을 구현한다. As shown in (a) of FIG. 5, the
작업자는 HMD(120)를 통해 도 5의 (b)에 나타낸 바와 같이 양팔로봇(210)의 관점에서 물체(230)를 보는 것처럼, 작업대(220)와 물체(230)를 확인하게 된다. 도 5의 (a)에 나타낸 양팔로봇(210)의 로봇 팔의 말단 위치는 작업자가 소지한 교시 디바이스(110)의 포즈 정보를 토대로 양팔로봇(210)의 로봇 팔 위치와 손목 관절이 회전한 자세가 반영되어 나타난다.As shown in (b) of FIG. 5 through the
상기 도 2를 이어 설명하면, 정보 처리 장치(130)의 말단 좌표 생성 모듈(132-1)은 인터페이스(131)를 통해 수신한 포즈 정보에 포함된 손 위치 정보와 손목 각도 정보를 이용하여 3차원의 말단 좌표를 생성한다. 여기서, 손 위치 정보는 (x, y, z)로 이루어진 3차원 좌표 정보이다. 2, the end coordinate generation module 132-1 of the
그리고, 손목 각도 정보는 작업자의 자세에 따라 회전된 손목을 나타내기 위해 사용되는 것으로, (w, x, y, z)로 이루어진 4차원 벡터 정보이다. 여기서, 3차원 좌표 정보의 각 파라미터와 4차원 벡터 정보의 각 파라미터는 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.The wrist angle information is used to represent the wrist rotated according to the worker's posture, and is 4D vector information including (w, x, y, z). Here, each parameter of the 3D coordinate information and each parameter of the 4D vector information are already known matters, and detailed descriptions thereof will be omitted in the exemplary embodiment of the present invention.
3차원 좌표 정보와 4차원 벡터 정보를 토대로 생성한 3차원의 말단 좌표를 토대로 양팔로봇을 교시하기 위해서, 역학 처리 모듈(132-2)은 작업자가 취하는 자세가 반영된 가상 현실의 양팔로봇의 로봇 팔 말단의 자세와 위치에 따른 관절의 회전각을 알아야 한다. 이를 위해, 역학 처리 모듈(132-2)은 3차원의 말단 좌표를 역기구학 해석을 실행하여, 로봇 팔을 구성하는 복수의 관절 각각에 대한 회전각(joint angle)을 계산한다.In order to teach the two-arm robot based on the three-dimensional end coordinates generated based on the three-dimensional coordinate information and the four-dimensional vector information, the dynamics processing module 132-2 uses the robot arm of the two-arm robot in the virtual reality reflecting the posture of the operator. You should know the rotation angle of the joint according to the position and position of the distal end. To this end, the dynamics processing module 132-2 performs an inverse kinematic analysis of the three-dimensional end coordinates to calculate joint angles for each of the plurality of joints constituting the robot arm.
3차원 말단 좌표를 역기구학 해석을 통해 가상 현실로 구현된 양팔로봇의 관절의 회전각을 계산하기 위해, 역학 처리 모듈(132-2)은 역기구학 해석 방법을 통해 양팔로봇을 구성하는 복수의 관절 각각에 대한 회전각을 계산한다. 역기구학 해석 방법을 통해 복수의 관절 각각에 대한 회전각이 계산되면 가상 로봇 처리 모듈(132-4)은 이를 가상 현실의 양팔로봇에 반영, 작업자와 동일한 포즈가 취해지도록 한다. 작업자와 동일한 포즈를 취하는 가상 현실의 양팔로봇은 디스플레이(133)를 통해 작업자에게 제공될 수도 있다.In order to calculate the rotation angle of the joint of the two-armed robot, which is realized in virtual reality through the inverse kinematic analysis of the three-dimensional end coordinates, the dynamics processing module 132-2 uses the inverse kinematics analysis method to construct the plurality of joints that constitute the two-armed robot Calculate the rotation angle for each. When the rotation angle of each of the plurality of joints is calculated through the inverse kinematic analysis method, the virtual robot processing module 132-4 reflects this on both arms of the virtual reality, so that the same pose as the worker is taken. The two-armed robot in virtual reality posing the same as the worker may be provided to the worker through the
또한, 역학 처리 모듈(132-2)은 인터페이스(131)가 작업자가 자신의 팔을 제1 지점에서 제2 지점으로 움직인 움직임 정보를 수신하면, 해당 운동을 가상 현실의 양팔로봇에 반영하여 동일한 움직임을 보이도록 하는 관절 운동을 결정한다. 여기서 관절 운동은 로봇 말단 부분이 제1 지점에서 제2 지점으로 이동할 때, 로봇 팔에 구비된 복수의 관절들이 얼마나 회전하는지를 의미하는 회전각을 나타낸다.In addition, when the
역학 처리 모듈(132-2)은 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터를 역기구학 해석하여 관절 운동을 결정한다. 그리고, 관절 운동을 일으킬 때 필요한 복수의 관절 각각에 구비된 모터의 토크를 계산한다. 계산한 모터의 토크가 미리 설정된 해당 모터의 최대 토크보다 클 경우, 역학 처리 모듈(132-2)은 작업자가 이를 확인할 수 있도록 가상 로봇 처리 모듈(132-4)을 통해 해당 관절에 경고를 표시하여 준다.The dynamics processing module 132-2 may inverse kinematic analysis of the position vector for the first point and the position vector for the second point to determine joint motion. Then, the torque of the motor provided in each of the plurality of joints necessary for generating the joint motion is calculated. If the calculated torque of the motor is larger than the preset maximum torque of the motor, the dynamics processing module 132-2 displays a warning on the joint through the virtual robot processing module 132-4 so that the operator can check it. give.
궤적 처리 모듈(132-3)은 경고가 표시된 관절 운동 경로를 토대로 작업자가 새로운 궤적의 생성을 요청하는 입력 신호를 발생시키면, 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터, 그리고 관절 운동 경로 상의 관절들에 대해 계산된 관절 회전각을 토대로, 새로운 궤적을 새로 생성한다. The trajectory processing module 132-3 generates an input signal for requesting generation of a new trajectory based on a warning joint motion path, and then the position vector for the first point, the position vector for the second point, and the joint Based on the calculated joint rotation angles for the joints on the path of motion, a new trajectory is created.
또는, 궤적 처리 모듈(132-3)은 새로운 궤적을 생성하지 않은 채, 관절의 회전각을 변경시킬 회전각을 계산한다. 여기서, 궤적 처리 모듈(132-3)이 새로운 궤적을 생성하거나 회전각을 계산하는 방법은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.Alternatively, the trajectory processing module 132-3 calculates a rotation angle to change the rotation angle of the joint without generating a new trajectory. Here, since the trajectory processing module 132-3 generates a new trajectory or calculates a rotation angle may be performed through various methods, detailed descriptions are omitted in the exemplary embodiment of the present invention.
가상 로봇 처리 모듈(132-4)은 교시 디바이스(110)가 수집한 포즈 정보와 움직임 정보를 가상 현실의 양팔로봇에 적용하여 정보 처리 장치(130)의 디스플레이(133)를 통해 다른 작업자 또는 사용자들이 양팔로봇의 상태를 확인할 수 있도록 제공한다. The virtual robot processing module 132-4 may apply the pose information and the movement information collected by the
또한, 가상 로봇 처리 모듈(132-4)은 역학 처리 모듈(132-2)에서 생성한 관절의 회전 각도와 궤적 처리 모듈(132-3)이 생성한 새로운 궤적을, 작업자가 HMD(120) 또는 디스플레이(133)를 통해 가상 현실로 가상 현실 양팔로봇과 함께 확인하도록 가상 현실 처리한다.In addition, the virtual robot processing module 132-4 includes the rotation angle of the joint generated by the dynamic processing module 132-2 and the new trajectory generated by the locus processing module 132-3. Through the
한편, 정보 처리 장치(130)가 관절 각도와 궤적을 확인하기 위해 필요한 정보인 작업자의 손 위치 정보와 손목 정보를 수집하는 교시 디바이스(110)에 대해 도 3을 참조로 설명한다.Meanwhile, the
도 3은 본 발명의 실시예에 따른 교시 디바이스의 예시도이다.3 is an illustration of a teaching device in accordance with an embodiment of the invention.
도 3에 도시된 바와 같이, 교시 디바이스(110)는 작업자가 물체를 잡았을 때의 손 모양을 고려하여, 다양한 버튼 중 교시 디바이스(110)의 상단에 위치한 트리거 버튼(111)을 사용하여 가상 현실에서 디스플레이 되고 있는 임의의 물체를 잡을 수 있도록 설정되어 있다. 여기서 교시 디바이스(110)는 작업자가 가상 현실을 통해 시뮬레이션을 확인할 수 있도록 하는 장비(예를 들어, 오큘러스 리프트)를 이용하는 것을 예로 하여 설명한다.As shown in FIG. 3, the
트리거 버튼(111)의 입력이 발생하면 가상 현실에서의 물체를 양팔로봇이 잡도록 설정하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.When the input of the
또한, 교시 디바이스(110)에 구비되어 있는 다양한 버튼 중 데이터 저장 버튼(112)이 입력되면, 작업자의 손 위치 정보와 손목 각도 정보가 정보 처리 장치(130)로 전달된다. 이때, 데이터 저장 버튼(112) 중 제1 버튼(112-1)이 눌리면 현재 작업자의 손 위치 정보를 정보 처리 장치(130)로 전달하고, 제2 버튼(112-2)이 눌리면 정보 수집과 전달을 종료하는 것을 예로 하여 설명한다. 본 발명의 실시예에 따라 데이터 저장 버튼(112)의 위치가 어느 하나의 위치로 반드시 한정하지 않는다.In addition, when the
이상의 환경에서 정보 처리 장치(130)를 이용하여 양팔로봇을 교시하는 방법에 대해 도 4를 참조로 설명한다.A method of teaching both arms robots using the
도 4는 본 발명의 실시예에 따른 양팔로봇 교시 방법에 대한 흐름도이다.Figure 4 is a flow chart for a two-armed robot teaching method according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 정보 처리 장치(130)는 가상 현실로 양팔로봇, 작업대, 그리고 작업 물체를 생성하여 디스플레이 한다(S100). 여기서, 정보 처리 장치(130)가 가상 현실로 양팔로봇과 작업대, 작업 물체를 생성하는 방법은 다양한 형태로 구현될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.As shown in FIG. 4, the
정보 처리 장치(130)는 교시 디바이스(110)로부터 작업자의 포즈 정보를 수집한다(S101). 정보 처리 장치(130)는 S101 단계에서 수집한 포즈 정보를 이용하여 3차원 좌표계를 추출한다(S102). 이와 함께 S101 단계에서 수집된 작업자의 포즈에 따라 가상 현실의 양팔로봇에 반영된 양팔로봇의 각 관절 회전 각도를 확인한다(S103). 여기서, 양팔로봇의 각 관절 회전 각도를 확인하기 위하여, 정보 처리 장치(130)는 S102 단계에서 추출한 3차원 좌표계를 역기구학 해석 방법을 이용하여 관절 회전 각도를 확인한다.The
정보 처리 장치(130)가 역기구학 해석을 통해 양팔로봇의 관절 회전 각도를 확인하기 위하여, 다음 수학식 1과 같은 구속 방정식(Φ)을 구성한다.In order for the
여기서, r 6는 로봇의 말단 부분의 위치 벡터, 6는 말단 부분의 물체 고정좌표계로부터 전역좌표계로의 자세변환 행렬, s'6t 말단 부분 물체 고정좌표계에서 표시된 말단 작업부(tool center)까지의 위치 벡터를 나타낸다. 또한 rt 는 말단 작업부의 전역 위치를 나타내며, 교시 디바이스로부터 데이터가 주어진다.Where r 6 is the position vector of the distal part of the robot, 6 shows a state converting matrix, s' 6t-terminal portion of the terminal position to the working portion (tool center) shown in the fixed object coordinate system, the vector in the global coordinate system from the object fixed coordinate system of the terminal portion. R t also represents the global position of the end work, and is given data from the teaching device.
정보 처리 장치(130)는 구속 방정식(Φ)을 복수의 관절 각 변수에 대해 편미분을 수행하여 자코비안을 계산한다. 구속 방정식과 자코비안 행렬을 통해 계산된 각 관절(q)의 변화량은 수학식 2과 같이 표현할 수 있다.The
수학식 2를 통해 각 관절의 각도 변화량을 적용한 뒤, 정보 처리 장치(130)는 순기구학 해석을 수행한다. 그리고 구속 방정식을 구성하여, 구속 방정식의 오차가 미리 정해놓은 범위 안으로 수렴할 때까지 구속 방정식 구성과 각 관절 변화량 계산 단계를 반복한다. 여기서, 정보 처리 장치(130)가 순기구학 해석을 수행하여 각도 변화량을 검증하는 방법은 여러 방법으로 실행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.After applying the angle change amount of each joint through
S130 단계를 통해 양팔로봇의 각 관절 회전 각도가 확인되면, 정보 처리 장치(130)는 교시 디바이스(110)를 소지한 작업자가 제1 지점에서 제2 지점으로 이동하는 움직임 정보를 수집한다(S104). 움직임 정보는 제1 지점에 대한 위치 정보의 3차원 좌표와 제2 지점에 대한 위치 정보의 3차원 좌표를 포함한다.If each joint rotation angle of the two arms robot is confirmed through the step S130, the
정보 처리 장치(130)는 S104 단계에서 수집한 움직임 정보에 따라 양팔로봇의 팔이 제1 지점에서 제2 지점으로 움직일 관절 운동을 계산한다(S105). 관절 운동을 계산하기 위해 정보 처리 장치(130)는 역기구학 방법을 이용한다. The
그리고, 정보 처리 장치(130)는 S103 단계에서 확인된 각 관절 회전 각도를 토대로, 양팔로봇의 팔이 제1 지점에서 제2 지점으로 움직일 경우 관절 운동에 따른 복수의 관절에 구비된 모터에 가해질 토크를 계산한다(S106). Then, the
즉, 정보 처리 장치(130)는 다음 수학식 3에 나타낸 식을 토대로, 양팔로봇 팔의 관절에 작용하는 반력과 토크를 계산한다.That is, the
여기서 은 관절 좌표계를 기준으로 표현된 관절 반력 및 토크를 나타내는 항이고, R은 직교 좌표계를 기준으로 관절 반력 및 토크를 나타낸 항이다.here Is a term representing joint reaction force and torque expressed with respect to the joint coordinate system, and R is a term representing joint reaction force and torque expressed with respect to the Cartesian coordinate system.
정보 처리 장치(130)는 관절 좌표계 기준으로 표현된 벡터와 변환 행렬과의 연산을 통해 직교 좌표계를 기준으로 한 값으로 변환하여, 각 모터에 가해질 토크로 계산한다.The
정보 처리 장치(130)는 S106 단계에서 계산된 각 모터에 가해지는 구동 토크와 미리 작업자에 의해 입력된 각 모터에 가해지는 최대 토크를 비교한다. 그리고, 임의의 모터에 대해 계산된 구동 토크가 해당 모터에 대해 미리 설정된 최대 토크보다 큰지 확인한다(S107). The
만약 계산된 구동 토크가 최대 토크보다 크면, 정보 처리 장치(130)는 알람을 발생시킨다(S108). 알람을 토대로 작업자가 새로운 궤적의 생성을 지시하는 궤적 생성 요청 신호가 입력되면, 정보 처리 장치(130)는 S104 단계에서 수집한 움직임 정보와 S103 단계에서 확인한 각 관절 회전 각도를 토대로, 제1 지점에서 제2 지점으로 로봇 팔이 움직일 새로운 궤적을 생성하거나 각 관절의 회전 각도를 재 계산한다(S109). 그리고 정보 처리 장치(130)는 생성한 궤적을 통해 로봇 팔이 이동하는 형태 즉, 양팔로봇의 교시 정보를 가상 현실을 통해 디스플레이 한다(S110). If the calculated driving torque is greater than the maximum torque, the
이상의 절차를 통해 가상 현실을 통해 디스플레이 되는 양팔로봇에 대해 도 6을 참조로 설명한다.The two-armed robot displayed through the virtual reality through the above procedure will be described with reference to FIG. 6.
도 6은 본 발명의 실시예에 따른 가상 현실을 통해 제공되는 양팔로봇의 교시 결과에 대한 예시도이다.6 is an exemplary view of the teaching results of both arms robot provided through the virtual reality according to an embodiment of the present invention.
도 6의 (a)에 도시된 바와 같이, 정보 처리 장치(130)는 로봇 교시 과정에서 역기구학 및 역동역학 해석을 통해 양팔로봇의 로봇 팔 각 관절의 회전각과 토크를 출력한다. 그리고, 출력된 데이터를 토대로 각 관절의 회전 각도에 따라 가상 현실의 양팔로봇의 관절을 회전시킨다. 이와 같은 과정을 통해 가상 현실의 양팔로봇을 교시하는 동안, 작업자는 양팔 로봇의 움직임을 디스플레이를 통해 확인할 수 있다.As shown in (a) of FIG. 6, the
그리고 도 6의 (b)에 나타낸 바와 같이, 임의의 관절을 형성하는 모터에 가해지는 구동 토크가 해당 모터에 설정된 최대 토크보다 클 경우, 경고 메시지를 발생시킨다. 본 발명의 실시예에서는 경고 메시지를 해당 모터에 과부하가 발생하였음을 알리는 색 반전 표시의 형태로 제공하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 이를 통해 작업자는 양팔로봇의 복수의 관절에 대한 과부하 여부를 바로 확인할 수 있으며, 새로운 궤적 계획을 수립할 수 있다.And, as shown in Fig. 6 (b), when the drive torque applied to the motor forming any joint is greater than the maximum torque set in the motor, a warning message is generated. In the exemplary embodiment of the present invention, the warning message is provided in the form of a color reversal display indicating that an overload has occurred in the corresponding motor, but is not limited thereto. Through this, the operator can immediately check whether the multiple joints of both arms robots are overloaded and establish a new trajectory plan.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (13)
작업자가 소지하며, 상기 작업자의 손의 움직임에 따른 손의 포즈와 움직임을, 상기 작업자가 착용한 HMD(Head Mounted Display)를 통해 제공되는 가상 현실 양팔로봇을 교시하기 위한 교시 정보로 수집하는 교시 디바이스,
상기 작업자의 손의 포즈와 움직임으로부터 3차원 좌표계를 추출하고,상기 가상 현실 양팔로봇의 팔이 상기 수집한 작업자의 손의 포즈와 움직임을 취할 때, 상기 가상 현실 양팔로봇의 복수의 관절 각각에 대한 회전 각도를 확인하고, 상기 확인한 회전 각도와 상기 교시 디바이스가 수집한 교시 정보를 토대로 결정된 관절 운동으로 상기 복수의 관절 각각에 가해지는 구동 토크에 따라 이동 궤적을 생성하는 정보 처리 장치, 그리고
상기 가상 현실 양팔로봇이 상기 교시 디바이스의 움직임에 따라 움직인 가상현실 양팔로봇의 움직임을 제공하는 상기 HMD
를 포함하는 가상 현실 양팔로봇 교시 장치.As a device to teach both arms robot implemented in virtual reality,
The teaching device, which the worker possesses, collects the pose and movement of the hand according to the movement of the worker's hand as teaching information for teaching the virtual reality two-armed robot provided through the head mounted display (HMD) worn by the worker. ,
Extracting a three-dimensional coordinate system from the poses and movements of the hand of the worker, and when the arms of the virtual reality bipedal robot take the poses and movements of the collected hand of the worker, for each of a plurality of joints of the virtual reality bipedal robot An information processing apparatus for checking a rotation angle and generating a movement trajectory according to driving torques applied to each of the plurality of joints by a joint motion determined based on the checked rotation angle and the teaching information collected by the teaching device, and
The HMD providing the movement of the virtual reality both arm robot moved by the virtual reality two-arm robot according to the movement of the teaching device
Virtual reality two-armed robot teaching device comprising a.
상기 교시 정보는 상기 작업자의 손의 위치 정보인 3차원 손 위치 좌표 정보와 손목 각도 정보인 4차원 손목 각도 벡터 정보를 포함하는 포즈 정보와,
상기 작업자의 손이 제1 지점에서 제2 지점으로 움직이면, 상기 제1 지점과 제2 지점에 대한 위치 정보를 포함하는 움직임 정보를 포함하는 가상 현실 양팔로봇 교시 장치.The method of claim 1,
The teaching information includes pose information including three-dimensional hand position coordinate information, which is position information of the worker's hand, and four-dimensional wrist angle vector information, which is wrist angle information;
And the hand of the worker moves from the first point to the second point, the virtual reality bipedal robot teaching device including motion information including position information about the first point and the second point.
상기 정보 처리 장치는,
상기 3차원 손 위치 좌표 정보와 4차원 손목 각도 벡터 정보를 상기 가상 현실 양팔로봇에 적용하기 위한 3차원 말단 좌표로 생성하는 말단 좌표 생성 모듈,
상기 3차원 말단 좌표를 토대로 상기 작업자의 포즈 정보가 반영된 로봇 팔을 구성하는 복수의 관절에 대한 관절 회전 각도를 확인하고, 상기 제1 지점과 제2 지점에 대한 위치 정보를 토대로 관절 운동 경로를 결정하는 역학 처리 모듈, 그리고
상기 가상 현실의 양팔로봇에 포즈 정보를 반영하거나 새로운 궤적에 따라 양팔로봇의 로봇 팔이 움직이도록 처리하는 가상 로봇 처리 모듈
을 포함하는 가상 현실 양팔로봇 교시 장치.The method of claim 2,
The information processing device,
An end coordinate generation module for generating the 3D hand position coordinate information and the 4D wrist angle vector information as 3D end coordinates for applying to the virtual reality both arms robot;
The joint rotation angles of the plurality of joints constituting the robot arm in which the pose information of the operator is reflected are determined based on the three-dimensional distal coordinates, and the joint motion path is determined based on the position information on the first and second points. Dynamics processing module, and
A virtual robot processing module that reflects pose information on both arms of the virtual reality or processes the robot arms of both arms to move according to a new trajectory
Virtual reality two-armed robot teaching device comprising a.
상기 역학 처리 모듈은,
상기 3차원 말단 좌표에 역기구학 해석 방법을 적용하여 상기 복수의 관절에 대한 관절 회전 각도를 계산하는 가상 현실 양팔로봇 교시 장치.The method of claim 3,
The dynamics processing module,
And applying an inverse kinematic analysis method to the three-dimensional distal coordinates to calculate joint rotation angles for the plurality of joints.
상기 역학 처리 모듈은,
상기 관절 운동에 대한 복수의 관절 각각을 형성하는 모터에 대하여, 역동역학 해석을 통해 모터의 토크를 계산하는 가상 현실 양팔로봇 교시 장치.The method of claim 4, wherein
The dynamics processing module,
A virtual reality bipedal robot teaching apparatus for calculating a torque of a motor through an inverse dynamic analysis for a motor forming each of a plurality of joints for the joint motion.
상기 역학 처리 모듈은,
상기 계산한 모터의 토크가 미리 설정된 해당 모터의 토크보다 크면, 상기 모터에 대한 경고가 발생하도록 가상 로봇 처리 모듈로 요청하는 가상 현실 양팔로봇 교시 장치.The method of claim 5,
The dynamics processing module,
And requesting a virtual robot processing module to generate a warning for the motor when the calculated torque of the motor is greater than a preset torque of the corresponding motor.
상기 경고를 토대로 작업자에 의해 새로운 궤적 생성 요청 신호가 입력되면, 상기 제1 지점에 대한 위치 벡터와 제2 지점에 대한 위치 벡터, 상기 모터가 구비된 관절의 관절 회전 각도를 기초로, 상기 제1 지점에서 제2 지점으로 로봇 팔이 이동할 새로운 궤적을 생성하는 궤적 처리 모듈
을 포함하는 가상 현실 양팔로봇 교시 장치.The method of claim 6,
When a new trajectory generation request signal is input by the operator based on the warning, the first position is based on the position vector for the first point, the position vector for the second point, and the joint rotation angle of the joint with the motor. Trajectory processing module to create a new trajectory for the robot arm to move from point to point 2
Virtual reality two-armed robot teaching device comprising a.
상기 궤적 처리 모듈은,
상기 제1 지점에서 제2 지점으로 로봇 팔이 이동하도록, 계산된 토크가 설정된 토크보다 큰 모터가 구비된 관절의 관절 회전 각도를 재 계산하는 가상 현실 양팔로봇 교시 장치.The method of claim 7, wherein
The locus processing module,
And recalculate the joint rotation angle of the joint with the motor whose calculated torque is greater than the set torque so that the robot arm moves from the first point to the second point.
교시 디바이스를 소지한 작업자의 손 위치 정보와 손목 각도 정보를 포함하는 포즈 정보로부터 추출한 3차원 좌표계를 이용하여, 상기 포즈 정보가 반영된 가상 현실 양팔로봇의 복수의 관절에 대한 관절 회전 각도를 확인하는 단계,
제1 지점에서 제2 지점으로 팔을 움직인 작업자의 팔 움직임 정보를 수집하고, 수집한 팔 움직임 정보와 상기 확인한 관절 회전 각도를 토대로 상기 가상 현실 양팔로봇의 복수의 관절에 대응하는 모터의 구동 토크를 계산하는 단계,
계산된 구동 토크를 토대로 상기 제1 지점에서 제2 지점으로의 로봇 팔 움직임을 위한 궤적을 생성하는 단계, 그리고
생성한 궤적에 따라 상기 가상 현실 양팔로봇의 교시 정보와 상기 교시 정보를 토대로 이동한 상기 가상 현실 양팔로봇의 변경된 양팔 위치를 상기 작업자가 착용한 HMD(Head Mounted Display)를 통해 디스플레이 하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.As a teaching device for teaching both arms robot implemented in virtual reality,
Identifying joint rotation angles of a plurality of joints of the virtual reality bipedal robot in which the pose information is reflected using a three-dimensional coordinate system extracted from pose information including hand position information and wrist angle information of a worker with a teaching device; ,
Collecting arm movement information of the worker who moved the arm from the first point to the second point, the drive torque of the motor corresponding to the plurality of joints of the virtual reality both arms robot based on the collected arm movement information and the identified joint rotation angle Calculating the
Generating a trajectory for robot arm movement from the first point to a second point based on the calculated drive torque, and
Displaying the changed arms position of the virtual reality both arms robot moved based on the teaching information and the teaching information of the virtual reality both arms robot according to the generated trajectory through a head mounted display (HMD) worn by the worker;
Virtual reality two-armed robot teaching method comprising a.
상기 관절 회전 각도를 확인하는 단계는,
상기 손 위치 정보와 손목 각도 정보를 토대로 3차원 좌표계를 추출하는 단계, 그리고
상기 3차원 좌표계를 토대로 상기 가상 현실 양팔로봇이 포즈를 취하면, 상기 복수의 관절 각각에 대한 관절 회전 각도를 확인하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.The method of claim 9,
Checking the joint rotation angle,
Extracting a 3D coordinate system based on the hand position information and wrist angle information, and
Confirming joint rotation angles for each of the plurality of joints when the virtual reality two-armed robot poses based on the three-dimensional coordinate system;
Virtual reality two-armed robot teaching method comprising a.
상기 3차원 좌표계에 역기구학 해석 방법을 적용하여 상기 복수의 관절에 대한 관절 회전 각도를 계산하는 가상 현실 양팔로봇 교시 방법.The method of claim 10,
And applying an inverse kinematic analysis method to the three-dimensional coordinate system to calculate joint rotation angles for the plurality of joints.
상기 구동 토크를 계산하는 단계는,
교시 디바이스를 소지한 작업자가 팔을 제1 지점에서 제2 지점으로 이동하면, 상기 제1 지점에 대한 좌표 정보와 제2 지점에 대한 좌표 정보를 포함하는 움직임 정보를 수집하여 상기 로봇 팔이 제1 지점에서 제2 지점으로 이동할 수 있는 관절 운동 경로를 결정하는 단계, 그리고
상기 움직임 정보와 상기 확인한 관절 회전 각도 정보를 토대로, 상기 관절에 작용하는 토크를 계산하는 단계
를 포함하며,
상기 토크는 역동역학 해석을 통해 계산되는 가상 현실 양팔로봇 교시 방법.The method of claim 9,
Calculating the drive torque,
When the worker carrying the teaching device moves the arm from the first point to the second point, the robot arm collects motion information including coordinate information about the first point and coordinate information about the second point. Determining a joint motion path that can move from the point to the second point, and
Calculating torque acting on the joint based on the motion information and the checked joint rotation angle information;
Including;
And said torque is calculated through dynamic dynamics analysis.
상기 토크를 계산하는 단계 이후에,
임의의 관절에 대해 계산된 토크가 상기 관절에 구비된 모터에 대해 미리 설정된 최대 토크보다 크다면, 알람을 발생하는 단계, 그리고
상기 알람을 토대로 작업자로부터 새로운 궤적 생성 요청 신호가 발생하면, 상기 제1 지점의 좌표 정보와 상기 제2 지점의 좌표 정보를 토대로 상기 관절 운동 경로에 대한 새로운 궤적을 계산하는 단계
를 포함하는 가상 현실 양팔로봇 교시 방법.The method of claim 12,
After calculating the torque,
If the torque calculated for any joint is greater than the maximum torque preset for the motor provided in the joint, generating an alarm, and
Calculating a new trajectory for the joint motion path based on the coordinate information of the first point and the coordinate information of the second point when a new trajectory generation request signal is generated from the operator based on the alarm;
Virtual reality two-armed robot teaching method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170143671A KR102001214B1 (en) | 2017-10-31 | 2017-10-31 | Apparatus and method for dual-arm robot teaching based on virtual reality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170143671A KR102001214B1 (en) | 2017-10-31 | 2017-10-31 | Apparatus and method for dual-arm robot teaching based on virtual reality |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190048589A KR20190048589A (en) | 2019-05-09 |
KR102001214B1 true KR102001214B1 (en) | 2019-10-01 |
Family
ID=66546122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170143671A KR102001214B1 (en) | 2017-10-31 | 2017-10-31 | Apparatus and method for dual-arm robot teaching based on virtual reality |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102001214B1 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021085727A1 (en) * | 2019-10-28 | 2021-05-06 | 주식회사 엠앤디 | Cutting robot system and simulation method therefor |
CN112959330B (en) * | 2021-02-02 | 2022-05-17 | 浙江大学 | Robot double-arm motion man-machine corresponding device and method based on master-slave dynamic motion elements |
CN112847380A (en) * | 2021-02-24 | 2021-05-28 | 宿州赛尔沃德物联网科技有限公司 | Teaching method of industrial robot |
CN113001548B (en) * | 2021-03-15 | 2022-04-29 | 安徽工程大学 | Robot teaching method based on virtual simulation experience |
CN114536351B (en) * | 2022-04-27 | 2022-07-15 | 季华实验室 | Redundant double-arm robot teaching method and device, electronic equipment and system |
CN115533896B (en) * | 2022-09-20 | 2023-10-03 | 南方电网电力科技股份有限公司 | Recursive robot double-arm collaborative operation path planning method |
CN115781635A (en) * | 2022-11-04 | 2023-03-14 | 北京镁伽机器人科技有限公司 | Robot teaching method and device, electronic device, and storage medium |
CN115922728B (en) * | 2023-01-03 | 2023-06-30 | 之江实验室 | Robot pointing motion control method, apparatus, electronic device, and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6282404A (en) * | 1985-10-07 | 1987-04-15 | Toshiba Corp | Industrial robot |
JP2011110621A (en) * | 2009-11-24 | 2011-06-09 | Toyota Industries Corp | Method of producing teaching data of robot and robot teaching system |
KR101941844B1 (en) * | 2012-01-10 | 2019-04-11 | 삼성전자주식회사 | Robot and Control method thereof |
JP5716769B2 (en) * | 2013-02-21 | 2015-05-13 | 株式会社安川電機 | Robot simulator, robot teaching apparatus, and robot teaching method |
-
2017
- 2017-10-31 KR KR1020170143671A patent/KR102001214B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20190048589A (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102001214B1 (en) | Apparatus and method for dual-arm robot teaching based on virtual reality | |
Whitney et al. | Ros reality: A virtual reality framework using consumer-grade hardware for ros-enabled robots | |
Naceri et al. | Towards a virtual reality interface for remote robotic teleoperation | |
US20200249654A1 (en) | Robotic control via a virtual world simulation | |
JP2012171024A (en) | Robot system | |
Vahrenkamp et al. | Workspace analysis for planning human-robot interaction tasks | |
JP7124440B2 (en) | Robot controller and robot system | |
US20180117764A1 (en) | Force control coordinate axis setting device, robot, and force control coordinate axis setting method | |
WO2022134702A1 (en) | Action learning method and apparatus, storage medium, and electronic device | |
Chen et al. | Development of a user experience enhanced teleoperation approach | |
Nandikolla et al. | Teleoperation robot control of a hybrid eeg-based bci arm manipulator using ros | |
Ponomareva et al. | Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment | |
Omarali et al. | Workspace scaling and rate mode control for virtual reality based robot teleoperation | |
CN113450903B (en) | Human body action mapping method and device, computer equipment and storage medium | |
Guan et al. | A novel robot teaching system based on augmented reality | |
Ma et al. | A framework for interactive work design based on digital work analysis and simulation | |
Piyavichayanon et al. | Collision-aware ar telemanipulation using depth mesh | |
JP2022163836A (en) | Method for displaying robot image, computer program, and method for displaying robot image | |
Piccinelli et al. | Trajectory planning using mixed reality: an experimental validation | |
EP4300231A1 (en) | Teaching method and teaching apparatus | |
Rezeck et al. | An immersion enhancing robotic head-like device for teleoperation | |
Bejczy | Virtual reality in robotics | |
US20220226982A1 (en) | Method Of Creating Control Program For Robot, System Executing Processing Of Creating Control Program For Robot, And Non-Transitory Computer-Readable Storage Medium | |
JPH03287394A (en) | Remote handling device | |
Nandikolla et al. | Research Article Teleoperation Robot Control of a Hybrid EEG-Based BCI Arm Manipulator Using ROS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |