KR100962472B1 - Surgical robot system and control method thereof - Google Patents
Surgical robot system and control method thereof Download PDFInfo
- Publication number
- KR100962472B1 KR100962472B1 KR1020090080195A KR20090080195A KR100962472B1 KR 100962472 B1 KR100962472 B1 KR 100962472B1 KR 1020090080195 A KR1020090080195 A KR 1020090080195A KR 20090080195 A KR20090080195 A KR 20090080195A KR 100962472 B1 KR100962472 B1 KR 100962472B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- robot
- surgical
- rotated
- arm
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00212—Electrical control of surgical instruments using remote controls
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
Abstract
Description
본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 및 그 제어 방법에 관한 것이다.The present invention relates to surgery, and more particularly, to a surgical robot and a control method thereof.
수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.Surgical robot refers to a robot having a function that can replace a surgical operation performed by a surgeon. Such a surgical robot has the advantage of being capable of accurate and precise operation and remote surgery compared to humans.
현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다. Surgical robots currently being developed worldwide include bone surgery robots, laparoscopic surgery robots, and stereotactic surgery robots. The laparoscopic surgical robot is a robot that performs minimally invasive surgery using a laparoscope and a small surgical tool.
복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보는 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.Laparoscopic surgery is an advanced surgical technique that involves surgery after inserting a laparoscope, an endoscope that looks into the belly and drills a hole about 1 cm in the navel area.
최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면 서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.Recent laparoscopic cameras are equipped with a computer chip to provide a clearer and enlarged image than can be seen with the naked eye, and by using a specially designed laparoscopic surgical instruments while viewing the screen through the monitor has been developed enough to be able to perform any operation.
더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 절제 수술이 점차 표준 수술로 인식되어 가는 추세이다.Moreover, laparoscopic surgery has the same range of surgery as laparotomy, but has fewer complications than laparotomy, and can start treatment much faster after the procedure, and it has the advantage of maintaining the stamina or immune function of the patient. have. As a result, laparoscopic resection surgery is increasingly recognized as a standard surgery in the US and Europe.
그러나 복강경 수술은 시술 자체가 기존 개복수술법에 비해서 친숙하지 못한 복강경용 수술기구, 2차원적인 영상 및 미러 이미지(mirror image)와 더불어 직접 손으로 만져보며 수술할 수 없다는 점 등의 어려운 문제점이 있다.Laparoscopic surgery, however, has a difficult problem such that the procedure itself cannot be operated by touching the hand with laparoscopic surgical instruments, two-dimensional images and mirror images, which are not familiar to the conventional laparotomy.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The background art described above is technical information possessed by the inventors for the derivation of the present invention or acquired during the derivation process of the present invention, and is not necessarily a publicly known technique disclosed to the general public before the application of the present invention.
본 발명은, 복강경 등의 수술시 수술용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있는 수술 로봇 시스템 및 그 제어 방법을 제공하는 것이다.The present invention is to provide a surgical robot system and a method of controlling the display screen through the surgical monitor during surgery, such as laparoscope can be suitably controlled to the operator's intention to eliminate the intuition of the surgical process.
또한, 본 발명은 수술용 모니터를 통한 표시 화면의 제어에 부합하도록 로 봇 암이 함께 제어되도록 함으로써 수술자의 직관성 있고 원활한 수술 진행이 가능하도록 하는 수술 로봇 시스템 및 그 제어 방법을 제공하는 것이다.In addition, the present invention is to provide a surgical robot system and its control method to enable the intuitive and smooth operation of the operator by controlling the robot arm to match the control of the display screen through the surgical monitor.
본 발명의 일 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부와, 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부와, 사용자 조작에 따라 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스가 제공된다.According to an aspect of the present invention, as an interface mounted on a master robot for controlling a slave robot including two or more robot arms, each of which is equipped with a surgical tool, an image input from a surgical endoscope A screen display unit for displaying an image image corresponding to a signal, two or more arm operating units provided for controlling two or more robot arms respectively, and controlling the image image to be rotated or inverted in a predetermined direction according to a user's operation and displayed. A master interface of a surgical robot is provided that includes a control unit for controlling a control condition of the robot arm to be updated to conform to the rotated or inverted image image.
수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다.The surgical endoscope may be one or more of laparoscopy, thoracoscopic, arthroscopy, and parenteral.
마스터 인터페이스는 암 조작부에 대한 사용자 조작에 따른 조작신호를 생성하여 슬레이브 로봇으로 전송하고, 제어 조건의 갱신을 위해 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하여 슬레이브 로봇으로 전송하는 조작신호 생성부를 더 포함할 수 있다.The master interface generates an operation signal according to a user's operation on the arm operation unit and transmits it to the slave robot, and adjusts the position of one or more of the robot arm and the surgical tool and changes the arm operation unit corresponding to each robot arm to update the control condition. It may further include an operation signal generation unit for generating an operation signal for one or more of the transmission to the slave robot.
조작신호 생성부는 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따른 암 조작부 변경을 수행할 수 있다. 여기서, 디스플레 이 기반 수술도구 제어는 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 조작신호를 생성할 수 있다.The manipulation signal generator may change the arm manipulation unit according to display-based instrument control. In this case, the display-based surgical tool control is performed such that the surgical tool located on the right side of the rotated image is operated by the arm operating unit located on the right side of the operator, and the surgical tool located on the left side is operated by the arm operating unit located on the left side of the operator. An operation signal for updating can be generated.
조작신호 생성부는 위치 조정을 위한 사용자 조작에 대해 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성할 수 있다.The manipulation signal generator may generate a manipulation signal for positioning one or more of the robot arm and the surgical tool in a predetermined direction regardless of whether the image image is rotated with respect to the user manipulation for position adjustment.
조작신호 생성부는 화상 이미지의 회전각에 부합하여 수술도구가 화상 이미지 내에서 회전 이동하여 위치하도록 하는 조작신호를 생성할 수 있다. The manipulation signal generator may generate a manipulation signal for positioning the surgical tool in the image image in accordance with the rotation angle of the image image.
사용자 조작은 사용자 음성에 의한 조작일 수 있고, 제어부는 사용자 음성을 입력받아 인식 및 해석한 후 미리 지정된 방향으로 화상 이미지가 회전되도록 제어할 수 있다.The user operation may be an operation by a user voice, and the controller may control the image image to be rotated in a predetermined direction after receiving and recognizing and interpreting the user voice.
제어부는 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하고, 연산된 회전각에 부합하도록 화상 이미지가 회전되어 디스플레이되도록 제어할 수 있다. 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 회전각을 연산하기 위한 것일 수 있다.The controller may calculate a rotation angle by an instrument-based display control and control the image image to be rotated and displayed to correspond to the calculated rotation angle. Surgical tool-based display control is for calculating the angle of rotation such that the two surgical instruments form a hypothetical trapezoid or rectangle with hypotenuses and then the upper or lower side of the trapezoid or rectangle is parallel to the horizontal plane of the display screen within the margin of error. Can be.
마스터 인터페이스는 화상 이미지가 미리 지정된 방향으로 회전하도록 하는 사용자 조작을 입력받기 위한 화면회전 조작부를 더 포함할 수 있다.The master interface may further include a screen rotation manipulation unit to receive a user manipulation for rotating the image image in a predetermined direction.
화상 이미지는 화면회전 조작부의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전하여 디스플레이될 수 있다.The image image may be displayed by rotating by a predetermined rotation angle in proportion to the number of operations of the screen rotation manipulation unit.
화상 이미지는 화면회전 조작부의 지속적인 조작 유지 시간 동안 일정한 회전 속도로 미리 지정된 회전 방향으로 회전되어 디스플레이될 수 있다.The image image may be rotated and displayed in a predetermined rotational direction at a constant rotational speed for a continuous operation holding time of the screen rotation manipulation unit.
화면회전 조작부는 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나일 수 있다.The screen rotation manipulation unit may be any one of a pedal, a clutch button, and a voice recognition device.
로봇 암의 복수 개소에 위치 감지 센서가 구비된 경우, 제어부는 각 위치 감지 센서에 의한 센싱값을 이용하여 로봇 암의 연장 방향을 인식하여 화상 이미지의 회전각을 연산할 수도 있다. 이 경우, 제어부는 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향(예를 들어 위쪽)을 향하여 위치되도록 하는 회전각을 연산할 수 있다.When the position detection sensor is provided in a plurality of places of the robot arm, the controller may calculate the rotation angle of the image image by recognizing the extension direction of the robot arm using the sensing value by each position detection sensor. In this case, the controller can calculate the rotation angle so that the front side of the robot arm in the extending direction is positioned in a predetermined direction (for example, upward) on the display screen.
제어부는 천정에 구비된 카메라에 의해 촬영된 이미지를 해석하여 인식된 로봇 암의 연장 방향을 이용하여 화상 이미지의 회전각을 연산할 수도 있다. 이 경우, 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 할 수 있다.The controller may analyze the image photographed by the camera provided in the ceiling and calculate a rotation angle of the image image by using the recognized extension direction of the robot arm. In this case, one or more paints of a predetermined color and a predetermined material may be applied to any one of the entire region, the upper region and the plurality of places of the robot arm.
회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전하도록 제어될 수 있다.The surgical endoscope may be controlled to rotate about its extended direction so that the rotated image image is displayed in accordance with the rotation angle.
제어부는 화면 표시부를 통해 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 더 표시되도록 제어할 수 있다. 방향 지시자는 방향을 지시하는 하나 이상의 문자, 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 등 중 하나 이상으로 구성될 수 있다.The controller may control to further display a direction indicator indicating information according to the rotation of the image image through the screen display unit. The direction indicator may be composed of one or more characters indicating a direction, a three-dimensional figure rotated in accordance with the rotation of the image image, an expanded view of a three-dimensional figure including one or more blocks, a compass, and the like.
제어부는 화상 이미지가 반전되어 디스플레이되도록 제어하는 경우, 화면 표시부를 통해 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어할 수 있다. 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나일 수 있고, 주의적 정보는 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지일 수 있다. 슬레이브 로봇과 마스터 로봇은 일체형으로 통합되어 구성될 수 있다.When the controller controls the image image to be inverted and displayed, the controller may control to display one or more of a direction indicator, a warning message, and cautionary information through the screen display unit. The inversion of the image image may be any of left and right inversion or up and down inversion, and the attentional information may be a border image of a predetermined color for the image image. The slave robot and the master robot may be integrally integrated.
본 발명의 다른 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계와, 화상 이미지의 회전 또는 반전을 지시하기 위한 조작명령을 입력받는 단계와, 조작명령에 따라 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법이 제공된다.According to another aspect of the present invention, a control method of a surgical robot system performed in a master robot for controlling a slave robot including two or more robot arms, each of which is equipped with a surgical tool, corresponding to an image signal input from the surgical endoscope Displaying an image image, receiving an operation command for instructing rotation or inversion of the image image, and controlling the image image to be displayed by being rotated or inverted in a predetermined direction according to the operation command, A control method of a surgical robotic system is provided that includes controlling a control condition of a robotic arm to be updated to conform to an image image.
로봇 암의 제어 조건이 갱신되도록 제어하는 단계는, 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하는 단계와, 조작신호를 슬레이브 로봇으로 전송하는 단계를 포함할 수 있다.The controlling of the control condition of the robot arm to be updated may include generating an operation signal for at least one of adjusting the position of at least one of the robot arm and a surgical tool and changing an arm operation unit corresponding to each of the robot arms; It may include the step of transmitting to the slave robot.
암 조작부 변경은 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따라 수행할 수 있다.Changing the arm control unit may be performed according to display-based instrument control.
디스플레이 기반 수술도구 제어는, 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 것일 수 있다.The display-based surgical tool control updates the surgical tool located on the right side in the rotated image to be manipulated by the arm operator located on the right side of the operator and the surgical tool located on the left side operated by the arm operator located on the left side of the operator. It may be.
위치 조정을 위한 사용자 조작에 대해 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성할 수 있다.An operation signal may be generated to allow one or more of the robot arm and the surgical tool to be adjusted in a predetermined direction with respect to the user's operation for adjusting the position regardless of whether the image image is rotated.
위치 조정은, 화상 이미지의 회전각에 부합하여 수술도구가 화상 이미지 내에서 회전 이동하여 위치하도록 하는 것일 수 있다.The position adjustment may be such that the surgical tool is rotated and positioned within the image image in accordance with the rotation angle of the image image.
조작명령의 입력 횟수에 비례하여 화상 이미지의 회전각이 결정될 수 있다. 또는 조작명령의 지속적인 입력 유지 시간에 비례하여 화상 이미지의 회전각이 결정될 수 있다.The rotation angle of the image image may be determined in proportion to the number of inputs of the operation command. Alternatively, the rotation angle of the image image may be determined in proportion to the continuous input holding time of the operation command.
조작명령을 입력받는 단계는, 사용자 음성을 입력받는 단계와, 입력된 사용자 음성을 인식 및 해석하여 조작명령을 생성하는 단계를 포함할 수 있다.The step of receiving an operation command may include receiving a user voice and generating an operation command by recognizing and interpreting the input user voice.
조작명령은 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나를 통해 입력될 수 있다.The operation command may be input through any one of a pedal, a clutch button, and a voice recognition device.
수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다.The surgical endoscope may be one or more of laparoscopy, thoracoscopic, arthroscopy, and parenteral.
조작명령을 입력받는 단계는, 둘 이상의 로봇 암의 복수 개소에 구비된 위 치 감지 센서로부터 센싱값을 각각 입력받는 단계와, 입력된 센싱값들을 이용하여 로봇 암들의 연장 방향을 인식하여 화상 이미지를 회전하거나 수술용 내시경을 회전하기 위한 회전각을 연산하는 단계와, 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함할 수 있다. 여기서, 회전각은 하나 이상의 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향(예를 들어, 위쪽)을 향하여 위치되도록 하는 값으로 연산될 수 있다.Receiving an operation command, the step of receiving a sensing value from the position detection sensor provided in a plurality of places of two or more robot arms, respectively, and using the input sensing values to recognize the extension direction of the robot arm to obtain an image image Computing a rotation angle for rotating or rotating the surgical endoscope, and receiving the calculated rotation angle as the operation command. Here, the rotation angle may be calculated as a value such that the front of the extension direction of the one or more robot arms is positioned in a predetermined direction (eg, upward) on the display screen.
조작명령을 입력받는 단계는, 천정에 구비된 카메라에 의해 촬영된 이미지를 입력받는 단계와, 입력된 이미지를 해석하여 인식된 로봇 암들의 연장 방향을 이용하여 화상 이미지를 회전하거나 수술용 내시경을 회전하기 위한 회전각을 연산하는 단계와, 연산된 회전각을 조작명령으로서 입력받는 단계를 포함할 수 있다. 여기서, 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포될 수 있다.The step of receiving an operation command includes receiving an image photographed by a camera provided in the ceiling, and rotating the image image or rotating the endoscope using the extension direction of the recognized robot arms by interpreting the input image. Comprising the step of calculating the rotation angle for receiving, and receiving the calculated rotation angle as an operation command. Here, one or more paints of a predetermined color and a predetermined material may be applied to any one of the entire region, the upper region and the plurality of places of the robot arm.
회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전될 수 있다.The surgical endoscope can be rotated about its extended direction so that the rotated image image is displayed in accordance with the rotation angle.
제어하는 단계에서, 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 디스플레이되도록 제어될 수 있다.In the controlling step, the direction indicator indicating the information according to the rotation of the image image may be controlled to be displayed.
방향 지시자는 방향을 지시하는 하나 이상의 문자, 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성될 수 있다.The direction indicator may be composed of one or more characters indicating a direction, a three-dimensional figure rotated in accordance with the rotation of the image image, an expanded view of a three-dimensional figure including one or more blocks, and a compass.
화상 이미지가 미리 지정된 방향으로 반전되어 디스플레이되도록 제어하는 단계에서, 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어될 수 있다.In the controlling of the image image to be inverted and displayed in a predetermined direction, one or more of a direction indicator, a warning message, and caution information may be further displayed.
화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나일 수 있고, 주의적 정보는 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지일 수 있다.The inversion of the image image may be any of left and right inversion or up and down inversion, and the attentional information may be a border image of a predetermined color for the image image.
본 발명의 또 다른 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계와, 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하는 단계와, 연산된 회전각에 따라 화상 이미지가 회전하여 디스플레이되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법이 제공된다.According to another aspect of the present invention, as a control method of a surgical robot system performed in a master robot for controlling a slave robot including two or more robot arms, each of which is equipped with a surgical tool, corresponding to the image signal input from the surgical endoscope Displaying an image image, calculating a rotation angle by an instrument-based display control, and controlling the image image to be rotated and displayed according to the calculated rotation angle. A control method of a surgical robot system is provided.
수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 회전각을 연산하기 위한 것일 수 있다.Surgical tool-based display control is for calculating the angle of rotation such that the two surgical instruments form a hypothetical trapezoid or rectangle with hypotenuses and then the upper or lower side of the trapezoid or rectangle is parallel to the horizontal plane of the display screen within the margin of error. Can be.
수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다.The surgical endoscope may be one or more of laparoscopy, thoracoscopic, arthroscopy, and parenteral.
회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전하도록 제어될 수 있다.The surgical endoscope may be controlled to rotate about its extended direction so that the rotated image image is displayed in accordance with the rotation angle.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예에 따르면, 수술시 수술용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있다.According to an embodiment of the present invention, the display screen through the surgical monitor during surgery can be controlled to suit the intention of the operator to remove the intuition of the surgical process.
또한, 본 발명의 실시예에 따르면, 수술용 모니터를 통한 표시 화면의 제어에 부합하도록 로봇 암이 함께 제어되도록 함으로써 수술자의 직관성 있고 원활한 수술 진행이 가능하다.In addition, according to an embodiment of the present invention, by allowing the robot arm to be controlled together to match the control of the display screen through the surgical monitor, the intuitive and smooth operation of the operator is possible.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the following description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals and redundant description thereof will be omitted. Shall be.
또한, 본 발명의 실시예를 설명함에 있어 본 발명은 수술용 내시경(예를 들어, 복강경, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있는 기술적 사상이지만, 설명의 편의를 위해 복강경이 이용되는 경우를 예로 들어 설명하기로 한다.In addition, in describing the embodiments of the present invention, the present invention is a technical idea that can be used universally in surgery that is used for surgical endoscopes (eg, laparoscopic, thoracoscopic, arthroscopy, parenteral, etc.) For convenience, a case where laparoscope is used will be described as an example.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다. 1 is a plan view showing the overall structure of a surgical robot according to an embodiment of the present invention, Figure 2 is a conceptual diagram showing a master interface of a surgical robot according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 복강경 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조 종하는 마스터 로봇(1)을 포함하여 구성된다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 일체형 로봇의 인터페이스 부분에 상응될 수 있다.1 and 2, the laparoscopic surgical robot system includes a
마스터 로봇(1)의 마스터 인터페이스(4)는 모니터(6), 핸들(10) 및 표시 화면 제어 버튼을 포함한다. 표시 화면 제어 버튼은 클러치 버튼(14) 또는 페달(30)의 형태로 구현될 수 있으며, 클러치 버튼(14)과 페달(30)에 의해 동일한 기능이 수행되도록 구현된 경우 클러치 버튼(14) 및 페달(30) 중 어느 하나만이 마스터 인터페이스(4)에 포함될 수도 있다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.The
마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 두 개의 핸들(10)의 구비하며, 수술자의 핸들(10) 조작에 따른 조작 신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. The
마스터 인터페이스(4)의 모니터(6)에는 복강경(5)에 의해 입력되는 영상이 화상 이미지로 표시된다. 또한, 모니터(6)에는 예시된 바와 같이 환자의 심전도 그래프 등이 부가적으로 더 표시될 수도 있다.The
모니터(6)에 표시되는 화상 이미지는 수술자에 의한 표시 화면 제어 버튼 조작에 의해 시계방향 또는 반시계 방향으로 지정된 회전 각도만큼 회전되어 표시되도록 제어될 수 있다. 이는 복강경(5)이 고정된 위치에서 영상을 입력받아 마스터 인터페이스(4)로 전송하는 경우, 수술 부위에 대한 수술자의 수술 방향과 화상 이미지가 동일한 방향을 지향하지 않아 수술자가 직관적이지 않는 화상 이미지를 참조하여 수술을 진행하는 불편함을 제거하기 위한 것이다. 물론, 복강경(5)이 핸들(10)에 구비되는 클러치 버튼(14) 등의 조작에 의해 그 위치가 조정 제어될 수 있는 경우에도, 모니터(6)에 표시되는 화상 이미지의 표시 형태가 일정하다면 페달(30)의 조작에 의해 그 표시 방향이 시계 방향 또는 반시계 방향으로 회전 제어되도록 할 수도 있을 것이다.The image image displayed on the
또한, 수술자의 표시 화면 제어 버튼 조작에 의해 모니터(6)에 표시되는 화상 이미지의 표시 형태가 변경된 경우, 이에 상응하도록 로봇 암(3)의 위치 또는 기능이 조정되도록 하여 수술자의 직관적인 수술 진행이 가능하도록 할 수 있다.In addition, when the display form of the image image displayed on the
상술한 바와 같이, 본 실시예는 슬레이브 로봇(2)의 위치에 관계없이 수술자가 표시 화면 제어 버튼을 조작함으로써 화상 이미지가 원하는 표시 형태로 변형(예를 들어, 일정 각도만큼의 회전 등)되어 표시되도록 하는 특징을 가지고 있다. 아울러, 슬레이브 로봇(2)의 로봇 암(3)의 위치나 기능도 수술자가 직관적으로 인식할 수 있도록 조정되는 특징도 가지고 있다.As described above, in this embodiment, regardless of the position of the
슬레이브 로봇(2)과 마스터 로봇(1)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작 신호 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 복강경(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.The
슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.The
슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으 며, 수술 부위가 모니터(6)를 통해 화상 이미지로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다.One or
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4a는 본 발명의 일 실시예에 따른 화상 이미지의 표시 형태 조정 과정을 나타낸 화면 표시의 예시도이다. 도 4b는 본 발명의 일 실시예에 따른 회전되지 않은 원(original) 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면이고, 도 4c 및 4d는 종래 기술에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 각각 예시한 도면이며, 도 4e는 본 발명의 일 실시예에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면이다.3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention, Figure 4a is a screen display showing a display mode adjustment process of the image image according to an embodiment of the present invention It is an illustration. 4B is a view illustrating a method of operating an arm control unit performed by referring to an unrotated original image image according to an embodiment of the present invention, and FIGS. 4C and 4D are images rotated 180 degrees according to the prior art. FIG. 4E is a view illustrating an operation method of the arm operation unit performed with reference to an image, and FIG. 4E is a view illustrating an operation method of the arm operation unit performed with reference to an image image rotated 180 degrees according to an embodiment of the present invention. .
도 3을 참조하면, 마스터 로봇(1)은 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 화면회전 조작부(350) 및 제어부(360)를 포함한다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.Referring to FIG. 3, the
영상 입력부(310)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.The
화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 화면 표시부(320)는 모니터(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(320)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(360) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.The
암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 다른 형상으로 형성될 수도 있다.The
상술한 바와 같이, 암 조작부(330)에는 클러치 버튼(14)이 구비될 수 있으며, 클러치 버튼(14)은 표시 화면 제어 버튼으로 기능하도록 설정될 수 있다. 또는, 복강경(5)이 영상을 입력받기 위해 특정 위치에 고정적으로 존재하지 않고, 그 위치 및/또는 영상 입력 각도가 수술자의 조정에 의해 이동되거나 변경될 수 있다면 클러치 버튼(14)은 복강경(5)의 위치 및/또는 영상 입력 각도의 조정을 위해 기능하도록 설정될 수도 있다.As described above, the
조작신호 생성부(340)는 로봇 암(3) 및/또는 복강경(5)의 위치 이동 또는 수술을 위한 조작을 위해 수술부가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.The operation
화면회전 조작부(350)는 수술자가 화면 표시부(320)를 통해 출력되는 화상 이미지가 비직관적으로 표시되는 경우, 화상 이미지를 시계 방향 또는 반시계 방향으로 회전시키기 위한 명령을 수술자로부터 입력받는 수단이다. The screen
도 4a에 예시된 바와 같이, 화면회전 조작부(350)의 조작 횟수에 따라 미리 지정된 회전각도(예를 들어, 15도, 90도, 180도 등) 만큼 회전된 화상 이미지가 화면 표시부(320)에 표시되도록 할 수 있다. 일반적으로, 수술자는 화상 이미지가 180도 단위로 회전(즉, 도 4a에 도시된 (a)와 (c)간의 회전)되도록 제어함이 일반적일 것이나, 화상 이미지를 회전하기 위한 회전각이 이에 제한되지 않음이 도 4a를 참조할 때 쉽게 이해될 수 있을 것이다. As illustrated in FIG. 4A, an image image rotated by a predetermined rotation angle (for example, 15 degrees, 90 degrees, 180 degrees, etc.) according to the number of operations of the screen
이 경우, 화상 이미지가 회전되는 시점마다 로봇 암(3) 각각이 적절한 암 조작부(330)에 의해 제어되도록 로봇 암의 제어 조건이 자동 갱신될 수 있으나, 화상 이미지의 회전에 따른 로봇 암(3)과 암 조작부(330)간의 매칭 관계가 수술자에게 직관적으로 명확하지 않을 수 있으므로 수술자의 지정(예를 들어, 전환버튼의 클릭 등)에 제어 조건이 갱신되도록 할 수도 있다.In this case, the control conditions of the robot arm may be automatically updated so that each of the
이외에도, 화면회전 조작부(350)에 대한 조작을 유지하는 시간동안(예를 들어, 페달(30)을 밟고 있는 시간동안) 미리 지정된 회전방향으로 화상 이미지가 지속적으로 회전하여 표시되도록 하고, 조작이 종료되면 그 시점까지 회전된 회전 각도의 화상 이미지가 화면 표시부(320)에 표시되도록 할 수도 있다. In addition, the image image is continuously rotated and displayed in a predetermined rotational direction during the time for maintaining the operation on the screen rotation operation unit 350 (for example, during the time when the
화면회전 조작부(350)를 이용하여 수술자가 원하는 방향으로 화상 이미지의 표시 형태를 변경한 경우, 수술자의 직관적인 수술 진행이 가능하도록 로봇 암(3)의 위치나 기능은 상응하도록 조정될 수 있다. When the operator changes the display form of the image image in a desired direction using the screen
예를 들어, 수술자가 화상 이미지의 표시 형태를 변경하도록 조작한 경우, 도 4a에 예시된 바와 같이 수술 부위 및 수술 도구가 함께 일정 회전각(예를 들어, 180도)만큼 회전되어 표시될 것이다. 이때, 수술 도구(410)는 수술자가 각 수술 도 구(410)를 제어하기 위한 암 조작부(330)가 어떤 것인지를 직관적으로 인식할 수 있도록 항상 일정한 위치(예를 들어, 도 4a의 (a)에 도시된 수술 도구의 위치)로 위치 조정될 수도 있을 것이다. 이는, 화면 표시부(320)에 표시되는 화상 이미지가 회전되는 각도에 부합하도록 로봇 암 또는/및 수술 도구(410)의 위치가 제어되도록 함으로써 표시 화면상의 오른쪽에 위치한 수술 도구(410)는 항상 수술자의 오른손으로 조작 가능하도록 할 수 있다. For example, if the operator manipulated to change the display form of the image image, the surgical site and the surgical tool would be rotated and displayed by a certain rotational angle (eg, 180 degrees) as illustrated in FIG. 4A. At this time, the
만일, 화면회전 조작부(350)의 조작에 의해 화상 이미지가 180도씩 회전되도록 지정된 경우라면, 이전의 화상 이미지 표시 상태에서는 오른쪽에 위치한 수술 도구(410)로서 수술자의 오른손으로 조작한 수술도구가 현재의 화상 이미지 표시 상태에서는 왼쪽에 위치하여 비직관적인 수술이 이루어질 수도 있다. 이 경우, 표시된 화상 이미지를 기준하여 오른쪽과 왼쪽에 각각 위치한 수술 도구의 제어 권한이 변동되도록 함으로써 화상 이미지의 오른쪽에 위치한 수술도구는 항상 수술자의 오른손에 의해 조정될 수 있도록 설정할 수도 있다. 이 경우, 앞서 수술 도구가 화상 이미지의 회전각에 부합되도록 이동하도록 하는 방법과 비교할 때, 로봇 암(3)의 위치 제어의 필요 없이 각 로봇 암(3)에 대한 제어 권한 변동만으로 동일한 효과를 예측할 수 있게 된다.If the image image is designated to be rotated by 180 degrees by the operation of the screen
화면회전 조작부(350)는 예를 들어, 클러치 버튼(14), 페달(30) 등의 형태로 구현될 수 있으나, 그 형태는 이에 제한되지 않는다. 예를 들어, 화면회전 조작부(350)는 수술자의 음성을 입력받아 입력된 음성을 해석하여 화상 이미지를 시계 방향 또는 반시계 방향으로 회전되어 표시되도록 할 수도 있다. 여기서, 수술자의 음성을 해석하기 위해 음성 인식 기술 등이 이용될 수 있을 것이다.The screen
제어부(360)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(360)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(360)는 화면회전 조작부(350)를 이용한 수술자의 조작이 입력되는 경우 화면 표시부(320)를 통해 입력되는 화상 이미지가 시계 방향 또는 반시계 방향으로 회전하여 표시되도록 제어한다. 이때, 제어부(360)는 수술자의 직관적 수술 진행이 유지되도록 로봇 암(3)의 위치를 제어하거나 각 로봇 암(3)의 제어 권한이 상호 교환되도록 제어할 수 있으며, 이에 부합되는 조작신호가 생성 및 전송되도록 조작신호 생성부(340)를 제어할 수 있다.The
이하, 도 4b 내지 도 4e를 참조하여 화상 이미지의 회전 조작에 따른 암 조작부(330)의 조작 방법을 간단히 설명한다.Hereinafter, an operation method of the
도 4b에는 회전되지 않은 원(original) 화상 이미지의 일 예와 암 조작부(330)의 조작에 따른 각 수술 도구(410a, 410b)의 동작 방향이 도시되어 있다. 또한 암 조작부(330)가 각 수술 도구(410a, 410b)의 동작을 개별적으로 제어하기 위한 두 개의 핸들을 포함하여 구성되고 각 핸들은 그 위치에 따라 핸들 L(Left)과 핸들 R(Right)로 구분되는 경우가 예시적으로 가정되었다.4B illustrates an example of an unrotated original image image and an operation direction of each
핸들 L은 화상 이미지의 좌측에 위치한 수술 도구(410a)의 동작을 제어하고, 핸들 R은 화상 이미지의 우측에 위치한 수술 도구(410b)의 동작을 제어한다. 따라서, 420a 및 420b에 각각 도시된 바와 같이 핸들 L 또는 핸들 R을 앞쪽으로 밀 었을 때 상응하는 수술 도구는 화상 이미지의 상방향으로 이동하도록 제어된다. The handle L controls the operation of the
그러나, 도 4c 내지 도 4e에 예시된 바와 같이 원 화상 이미지가 180도 회전되도록 제어된 경우, 각 수술 도구(410a 및 410b)의 배치 형태까지도 이전의 배치 형태와 180도 회전되어 디스플레이된다.However, when the original image image is controlled to be rotated 180 degrees as illustrated in FIGS. 4C to 4E, even the arrangement of each
이러한 상태에서, 기존의 제어 조건과 동일하게 핸들 L 또는 핸들 R의 조작에 의해 각 수술 도구의 동작이 제어된다면, 수술자는 직관적인 수술 진행이 불가능해진다. 이는, 원 영상에서 우측에 위치하였던 수술 도구(410b)는 180도 회전된 화상 이미지에서는 좌측에 위치하게 되어, 수술자는 사용자 조작에 대해 반대의 결과를 미리 예상하여야 하기 때문이다. 따라서, 도 4c와 같이, 단지 화상 이미지만 180도 회전되어 표시된다면, 수술자는 현재 화상 이미지에서 우측에 위치한 수술도구(410a)를 표시 화면상 위쪽으로 이동시키고자 할 때 좌측에 위치한 핸들 L을 수술자의 몸 쪽으로 당기게 되어 직관적인 수술 진행이 불가능해진다.In this state, if the operation of each surgical tool is controlled by the operation of the handle L or the handle R in the same manner as the existing control conditions, the operator cannot intuitively proceed with the operation. This is because the
또한 수술자에게 수술 진행상의 편의를 제공하기 위한 방안으로 종래의 수술 로봇 시스템은 스왑(swap) 기능을 보유하고 있다. 그러나, 스왑 기능을 이용하더라도 단지 표시 화면 상 우측에 배치된 수술 도구(410a)가 핸들 R에 의해 제어되고, 표시 화면상 좌측에 배치된 수술 도구(410b)가 핸들 L에 의해 제어되는 것에 불과하며, 그 이동이나 제어 방향까지 직관적으로 변경되지는 않는 한계가 있다. 즉, 도 4d에 예시된 바와 같이, 표시 화면상 우측에 배치된 수술 도구(410a)가 핸들 R에 의해 제어되지만, 해당 수술 도구(410a)를 표시 화면상 위쪽 방향으로 움직이고자 할 때 핸들 R은 수술자 쪽으로 당겨져야 하기 때문에 여전히 수술자는 비직 관적인 수술을 진행하여야 하는 문제점이 있다.In addition, the conventional surgical robot system has a swap (swap) function as a way to provide the operator with the convenience of the operation progress. However, even when using the swap function, only the
이에 비해, 본 발명의 실시예에 따른 수술 로봇 시스템은 도 4e에 예시된 바와 같이, 표시 화면상의 수술 도구 배치 방향에 부합하도록 제어 권한이 핸들 L 및 핸들 R에 각각 부여될 뿐 아니라, 수술 도구의 이동이나 조작 방향까지 수술자의 관점에서 직관적인 제어가 가능하도록 하는 장점이 있다.In contrast, in the surgical robot system according to the embodiment of the present invention, as shown in FIG. 4E, not only the control right is given to the handle L and the handle R, respectively, to correspond to the direction of the surgical tool arrangement on the display screen, There is an advantage to enable intuitive control from the operator's point of view up to the movement or manipulation direction.
도 4f 내지 도 4i는 본 발명의 각 실시예에 따른 화상 이미지의 회전에 따른 방향 지시자 표시 방법을 예시한 도면이다.4F to 4I illustrate a method of displaying a direction indicator according to rotation of an image image according to embodiments of the present invention.
각 도면에 예시된 바와 같이, 화면 표시부(320)에 표시되는 화상 이미지의 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 위치들 중 임의의 위치들에 방향 지시자가 표시되도록 할 수 있다.As illustrated in each drawing, the direction indicator may be displayed at any one of the positions of the top, bottom, left, right, top, left, bottom, top, bottom, and the like of the image image displayed on the
도 4f에 예시된 바와 같이, 방향 지시자는 예를 들어, H(Head), F(Foot), L(Left), R(Right), A(Anterior), P(Posterior) 등과 같이 방향을 표시하는 하나 이상의 문자로 구성될 수 있다. As illustrated in FIG. 4F, the direction indicator indicates a direction such as, for example, H (Head), F (Foot), L (Left), R (Right), A (Anterior), P (Posterior), and the like. It can consist of one or more characters.
문자로 구성된 방향 지시자는 표시 화면(또는 화상 이미지)의 4개의 위치(예를 들어, 상, 하, 좌, 우) 또는 2개의 위치(예를 들어, 우, 하) 등에 표시되도록 할 수 있다.The direction indicator composed of letters can be displayed on four positions (eg, up, down, left, right) or two positions (eg, right, bottom) on the display screen (or image image).
도 4f에 예시된 바와 같이 4개의 방향 지시자(450a)가 각 위치에 표시되는 경우, 원 화상 이미지가 표시된 상태에서 방향 지시자는 상측에 H(Head), 하측에 F(Foot), 우측에 L(Left) 및 좌측에 R(Right)이 표시될 수 있다. When four
그러나 원 화상 이미지가 180도 회전하여 표시되는 180도 회전 화상 이미지에서 방향 지시자(450a)는 상측에 F(Foot), 하측에 H(Head), 좌측에 L(Left) 및 우측에 R(Right)이 표시될 수 있다. However, in the 180-degree rotation image image in which the original image is rotated 180 degrees, the
또한, 도 4g 또는/및 도 4h에 예시된 바와 같이, 각 면에 방향 지시자가 기재된 육면체 형태(450b)가 회전하거나 또는 각 블록에 방향 지시자가 기재된 입체 도형의 전개도 형태(450c)로 화상 이미지의 회전 방향을 나타낼 수도 있다. In addition, as illustrated in FIG. 4G and / or 4H, the
또한, 도 4i에 예시된 바와 같이, 방향 지시자는 기본 위치 대비 현재의 회전 방향 및/또는 회전각이 얼마나 되는지 표시하도록 나침반(450d) 등의 형태로 구성될 수도 있다.In addition, as illustrated in FIG. 4I, the direction indicator may be configured in the form of a
물론, 방향 지시자의 표시 방법은 이에 제한되지 않도록 다양할 수 있으며, 수술자가 화면 표시부(320)에 표시되는 화상 이미지가 어느 방향으로 어느 회전각만큼 회전하였는지를 인식할 수 있는 형태이면 충분하다.Of course, the display method of the direction indicator may be variously not limited thereto, and it is sufficient that the operator can recognize which direction the image image displayed on the
도 4j 내지 도 4k는 본 발명의 각 실시예에 따른 화상 이미지의 반전에 따른 주의 정보 표시 방법을 예시한 도면이다.4J to 4K are diagrams illustrating a method of displaying attention information according to inversion of an image image according to each embodiment of the present invention.
앞서 설명한 바와 같이, 화상 이미지는 일정 방향으로 회전되어 화면 표시부(320)에 표시될 수도 있으나, 수술자의 조작 또는 본 명세서에서 설명되는 자동 인식 방법에 의해 도 4j 및 도 4k에 예시된 바와 같이 상하 또는 좌우 반전되어 화면 표시부(320)에 표시될 수도 있다.As described above, the image image may be rotated in a predetermined direction and displayed on the
이 경우에도 표시된 화상 이미지 상에서 왼쪽에 위치된 수술 도구는 수술자 의 왼손(예를 들어, 수술자의 왼쪽에 위치한 암 조작부)에 의해 제어되고, 화상 이미지 상에서 오른쪽에 위치된 수술 도구는 수술자의 오른손(예를 들어, 수술자의 오른쪽에 위치한 암 조작부)에 의해 제어되도록 로봇 암(3) 제어가 이루어진다.Even in this case, the surgical tool located on the left side on the displayed image image is controlled by the operator's left hand (e.g., the cancer control unit located on the operator's left side), and the surgical tool located on the right side on the image image is the operator's right hand (eg For example, the
그러나, 영상 이미지의 회전과는 달리, 상하 또는 좌우 반전의 경우에는 실제 인체의 기하학적 배열(geometry)과 달라지므로 수술자가 혼동할 우려가 있다. 이를 방지하기 위해, 표시 화면상에 경고 메시지(470) 또는 주의적 정보가 표시되도록 함으로써 수술자에게 반전된 영상 이미지임을 통지할 필요가 있다.However, unlike the rotation of the image image, in the case of up, down, left and right inversion, the operator may be confused because it is different from the actual geometry of the human body. To prevent this, it is necessary to notify the operator that the image is inverted by causing the
도 4g 및 도 4h에는 주의적 정보의 일 예로서 특정한 색상의 테두리(480)가 영상의 주변에 표시되어 있다. 주의적 정보는 음향 정보 등으로 적용될 수도 있다.4G and 4H, as an example of cautionary information, a
이외에도, 화상 이미지의 반전에 대한 수술자의 명확한 인식 및 주의를 위해 방향 지시자(450a)가 함께 표시되도록 할 수도 있다.In addition, the
상술한 경고 메시지(470) 및/또는 테두리(480)에 의해 수술 부위가 가려짐이 수술 진행에 나쁜 영향을 미칠 수도 있으므로, 경고 메시지(470) 및/또는 테두리(480)를 반투명 처리하는 등이 방법이 더 이용될 수 있다.Since the cover of the surgical site by the above-described
아울러, 경고 메시지(470)가 수술 부위의 상부에 중첩되어 표시되지 않고, 화면 표시부(320)의 표시 영역 중 수술용 내시경에 의해 촬영된 영상이 표시되는 영역 이외의 영역에 표시되도록 할 수 있다. 또한, 경고 메시지(470)는 수술자의 명확한 이미지 반전을 인식할 수 있도록 일정 주기로 점멸하는 형태로 표시될 수도 있다. In addition, the
이상에서 구체적으로 설명한 바와 같이, 화면 표시 상태에 따라 수술자가 직관적인 수술 도구의 제어가 가능하도록 하는 제어 방식을 본 명세서에서 편의상 디스플레이 기반 수술 도구 제어(Display-based instrument control)라 칭할 수 있다.As described in detail above, a control method for allowing an operator to intuitively control a surgical tool according to a screen display state may be referred to herein as a display-based instrument control for convenience.
디스플레이 기반 수술 도구 제어를 간략히 설명하면, 표시 화면상 화상 이미지의 표시 형태가 어떤 상태이든지(예를 들어, 회전된 상태이든지 반전된 상태이든지 등) 수술도구의 움직임은 표시 화면상에서의 배치와 일관성이 유지된다. 즉, 화상 이미지의 회전 또는 반전과 관계없이 수술자는 일관성있게 화면의 오른쪽에 보이는 수술 도구는 오른손으로 제어하고 화면의 왼쪽에 보이는 수술 도구는 왼손으로 제어할 수 있다.Briefly describing display-based surgical tool control, the movement of the surgical tool is inconsistent with its placement on the display screen, regardless of the state of the display image on the display screen (eg, rotated or inverted). maintain. That is, regardless of the rotation or inversion of the image image, the operator can consistently control the surgical tool visible on the right side of the screen with the right hand and the surgical tool visible on the left side of the screen with the left hand.
도 5는 본 발명의 일 실시예에 따른 표시화면 제어 방법을 나타낸 순서도이다.5 is a flowchart illustrating a display screen control method according to an exemplary embodiment of the present invention.
이하, 본 실시예에 따른 표시화면 제어 방법을 설명함에 있어 각 단계가 도 3을 참조하여 설명한 각 구성 요소에 의해 개별적으로 수행될 수도 있으나, 설명 및 이해의 편의를 위해 마스터 로봇(1)에서 수행되는 것으로 통칭하여 설명한다.Hereinafter, in describing the display screen control method according to the present embodiment, each step may be separately performed by each component described with reference to FIG. 3, but is performed by the
도 5를 참조하면, 마스터 로봇(1)은 단계 510에서 유선 또는 무선 통신망을 통해 복강경(5)으로부터 영상을 수신하고, 단계 520에서 수신한 영상에 상응하는 화상 이미지를 화면 표시부(320)를 통해 출력한다.Referring to FIG. 5, the
단계 530에서, 마스터 로봇(1)은 수술자로부터 화면회전 조작부(350)를 이용한 회전 조작명령이 입력되는지 여부를 판단한다. In
회전 조작명령이 입력되지 않으면, 단계 520으로 다시 진행하며, 수술자는 화면 표시부(320)를 통해 표시되는 화상 이미지를 참조하여 수술 부위에 대한 수술을 진행할 것이다.If the rotation operation command is not input, the process proceeds to step 520 again, and the operator may perform surgery on the surgical site with reference to the image image displayed through the
그러나, 회전 조작명령이 입력되면, 단계 540으로 진행하여 화면 표시부(320)를 통해 표시되는 화상 이미지가 임의의 회전각만큼 회전하여 표시되도록 화상 이미지가 회전되도록 제어한다. 이때, 마스터 로봇(1)은 화상 이미지의 회전에 부합되어 로봇 암(3)이 수술자에 의해 제어될 수 있도록 하기 위한 조작신호를 생성하여 슬레이브 로봇(2)으로 전송할 수 있다.However, when the rotation operation command is input, the flow advances to step 540 to control the image image to be rotated so that the image image displayed through the
이하, 마스터 로봇(1)이 수술자의 화면회전 조작부(350)의 조작에 의해 화상 이미지의 회전 및 로봇 암(3)을 제어하는 과정을 간략히 설명한다.Hereinafter, a process in which the
먼저, 화면 표시부(320)를 통해 표시된 화상 이미지는 화면회전 조작부(350)의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전되어 화면 표시부(320)를 통해 표시되도록 제어될 수 있다. First, the image image displayed through the
이때, 상응하는 회전각만큼 수술 도구가 회전되어 위치되도록 제어될 수 있으며, 이와 같이 제어하기 위한 조작신호는 조작신호 생성부(340)에 의해 생성되어 슬레이브 로봇(2)으로 전송될 수 있다. 물론, 앞서 도 4 등을 참조하여 설명한 바와 같이 수술 도구는 현재의 위치로 유지될지라도 각 수술 도구의 제어 권한이 수술자가 직관적으로 인식할 수 있는 암 조작부로 상응하도록 이전되고, 로봇 암 또는/및 수술 도구의 이동 및 조작 방향이 암 조작부에 대한 수술자의 직관적인 조작 방향에 의해 제어될 수 있다. 이를 통해, 수술자는 직관적으로 인식될 수 있도록 회전된 화상 이미지 및 직관적인 방법에 의해 조작 제어되는 수술 도구를 이용하여 환자에 대한 수술을 진행할 수 있다. In this case, the surgical tool may be controlled to be rotated and positioned by a corresponding rotation angle, and the manipulation signal for controlling in this way may be generated by the
이때 만일, 화면회전 조작부(350)의 조작 횟수에 비례하여 화상 이미지가 180도씩 회전하도록 설정되어 있다면, 화상 이미지가 180도 회전되어 표시된 경우 수술자의 오른손과 왼손에 의해 각각 조작되는 수술 도구가 좌우가 뒤바뀌어 표시될 수 있다. 이때, 제어부(360) 또는 조작신호 생성부(340)는 화상 이미지의 오른쪽에 위치한 수술도구(즉, 기존에 수술자의 왼손에 의해 조작되던 수술도구)가 수술자의 오른손에 의해 조작되도록 각 수술도구(즉, 로봇 암(3))의 제어 권한이 상호간에 교환되도록 하거나 제어 권한의 실질적 교환 없이 동일한 효과가 발생되도록 하는 조작신호(예를 들어, 수술자의 오른손 조작이 화상 이미지 상으로는 오른쪽에 위치하지만 실제적으로는 환자의 왼쪽에 위치한 암을 제어하도록 하는 조작 신호)를 생성하여 슬레이브 로봇(2)으로 전송할 수 있다. 이는, 회전 각도에 관계없이 회전되어 표시된 화상 이미지의 중심 세로선을 기준하여 좌측과 우측에 각각 수술도구가 위치하는 경우 동일하게 적용될 수 있을 것이다. 이를 통해, 실제적으로는 환자의 오른쪽 및 왼쪽에 수술 도구(즉, 로봇 암(3))가 각각 위치할지라도 현재 표시되는 화상 이미지를 기준하여 오른쪽에 위치한 수술도구는 항상 수술자의 오른손에 의해 조작되도록 할 수 있어 수술자의 직관적 인식에 따른 용이한 수술이 가능해진다. At this time, if the image image is set to rotate by 180 degrees in proportion to the number of operations of the screen
다음으로, 화면 표시부(320)를 통해 표시된 화상 이미지는 화면회전 조작부(350)의 조작 유지 시간에 비례하여 일정한 회전속도로 화상 이미지가 회전되어 표시되도록 할 수 있으며, 조작을 중지하는 시점에서의 회전각만큼 회전된 화상 이미지가 화면 표시부(320)를 통해 표시되도록 제어될 수 있다. 이때, 화면회전 조작부(350)의 조작에 의해 화상 이미지가 소프트웨어적으로 회전 제어되지 않고, 일방향으로 연장된 수술용 내시경이 그 연장된 방향을 축으로 하여 기구적으로 회전되도록 함으로써 동일한 작용 효과가 획득될 수도 있다.Next, the image image displayed through the
이 경우에도 앞서 설명한 바와 같이, 수술도구가 상응하는 회전각만큼 회전하도록 하거나, 화상 이미지의 중심선을 기준으로 좌측 및 우측에 각각 위치한 수술도구가 직관적으로 수술자의 왼손 및 오른손에 의해 각각 제어되도록 할 수도 있을 것이다.In this case, as described above, the surgical tool may be rotated by a corresponding rotation angle, or the surgical tools positioned on the left and right sides with respect to the center line of the image image may be intuitively controlled by the operator's left and right hands, respectively. There will be.
상술한 바와 같이, 환자의 수술을 위해 슬레이브 로봇(2)을 원격 제어하는 수술자는 본 실시예에 의하여 직관적으로 인식되는 화상 이미지를 참조하여 원활한 수술을 진행할 수 있다.As described above, the operator who remotely controls the
이제까지 수술자가 화면회전 조작부(350)를 수동 조작하거나 음성 조작하여 화상 이미지가 회전하여 표시되도록 하고 이에 상응하도록 로봇 암(3)이 제어되도록 하는 방법을 중심으로 설명하였다.Up to now, the method has been described based on a method in which an operator manually manipulates or voice operates the screen
그러나, 본 발명은 화상 이미지의 표시 조건 적용 및 로봇 암(3)의 제어가 자동으로 처리되도록 하는 실시예들로 더 구체화될 수도 있다.However, the present invention may be further embodied in embodiments in which the application of the display conditions of the image image and the control of the
즉, 화면 표시부(320)를 통해 표시되는 화상 이미지에서 수술 도구가 어떻게 배치되었는지를 인식하여 화상 이미지의 회전 각도가 자동 연산되어 적용되도록 할 수도 있다. 이때, 영상 입력부(310)를 통해 입력되어 처리된 화상 이미지를 해석하기 위한 영상 해석 기술이 적용될 수 있다. 이러한 화상 이미지 회전 기법을 편의상 수술 도구 기반 디스플레이 제어(Instrument-based display control)라 칭하기로 한다. That is, the rotation angle of the image image may be automatically calculated and applied by recognizing how the surgical tool is arranged in the image image displayed through the
수술도구 기반 디스플레이 제어를 간단히 설명하면, 수술 도구의 위치를 파악하여 최적의 화면이 표시될 수 있도록 화상 이미지의 표시 형태를 변경(예를 들어, 회전)한다. 즉, 수술자가 수술 도구를 어떻게 조작하든지 표시 화면에 표시되는 화상 이미지가 이에 최적화되도록 변경되어 표시된다.Briefly describing the surgical tool-based display control, the position of the surgical tool is identified to change (eg, rotate) the display form of the image image so that an optimal screen is displayed. That is, no matter how the operator operates the surgical tool, the image image displayed on the display screen is changed and displayed to be optimized thereto.
수술 도구 기반 디스플레이 제어에 의한 일 예를 설명하면, 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 화상 이미지가 회전되도록 할 수 있다.As an example of a surgical tool-based display control, two surgical instruments form a hypothetical hypothetical trapezoid or rectangle, and then the image is placed so that the upper or lower side of the trapezoid or rectangle is parallel to the horizontal plane of the display screen within an error range. The image can be rotated.
또한, 로봇 암(3)의 복수의 개소(예를 들어, 로봇 암(3)의 구부러지는 관절부들 중 임의의 개소)에 위치 감지 센서를 각각 장착하고, 위치 감지 센서의 측정값들을 이용하여 로봇 암(3)의 연장방향을 인식하여 로봇 암(3)의 제어 조건이 자동으로 결정되도록(예를 들어, 인식된 연장 방향에서 오른쪽에 위치한 암이 수술자의 오른손에 의해 제어되도록)하고, 그에 연동하여 연장 방향의 앞쪽이 화면 표시부(320)의 상측에 위치하는 화상 이미지가 표시되도록 화상 표시 조건이 지정될 수도 있을 것이다.In addition, a position sensor is mounted on a plurality of points of the robot arm 3 (for example, any of the bent joint portions of the robot arm 3), and the robot is measured using the measured values of the position sensor. Recognizing the extension direction of the
이외에도, 수술실 천정에서 로봇 암을 촬영하고, 그 촬영된 이미지를 해석 하여 암의 연장 방향을 인식할 수도 있을 것이다. 이 경우, 촬영된 이미지의 해석을 용이하게 하기 위해 로봇 암 또는 로봇 암의 복수 개소에 일정 색상 또는/및 재질의 도료가 도포될 수도 있을 것이다.In addition, the robot arm may be photographed from the ceiling of the operating room, and the direction of extension of the arm may be recognized by analyzing the photographed image. In this case, in order to facilitate interpretation of the photographed image, a paint of a predetermined color or / and material may be applied to the robot arm or a plurality of places of the robot arm.
이제까지, 본 명세서에서 본 발명의 실시예들을 참조하여 로봇 암, 수술 도구, 내시경 카메라 등이 그 위치를 유지하는 상태에서 수술자의 직관적 수술이 가능하도록 화상 이미지가 소프트웨어적으로 회전되어 표시되도록 하는 방법을 중심으로 설명하였다. 나아가, 로봇 암이 내시경 카메라를 그 연장된 방향을 축으로 하여 회전시키더라도 동등한 작용 효과를 획득할 수 있다. 이러한 경우에도 본 발명의 기술적 사상이 동일하게 적용될 수 있으므로, 이에 대한 구체적인 설명은 생략한다. Thus far, with reference to embodiments of the present invention, a method for causing an image to be rotated by software is displayed so that the operator can intuitively operate while the robot arm, the surgical tool, the endoscope camera, etc. maintain their positions. The explanation is centered. Furthermore, even if the robot arm rotates the endoscope camera around its extended direction, an equivalent effect can be obtained. In this case as well, the technical spirit of the present invention can be equally applied, and thus a detailed description thereof will be omitted.
상술한 복강경 수술 로봇 시스템의 제어 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.The control method of the above-described laparoscopic robotic robot system may be implemented by a software program. Codes and code segments constituting a program can be easily inferred by a computer programmer in the art. The program is also stored in a computer readable media, and read and executed by a computer to implement the method. The information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명 의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.
도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.1 is a plan view showing the overall structure of a surgical robot according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도. 2 is a conceptual diagram showing a master interface of a surgical robot according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도.Figure 3 is a block diagram schematically showing the configuration of a master robot and a slave robot according to an embodiment of the present invention.
도 4a는 본 발명의 일 실시예에 따른 화상 이미지의 표시 형태 조정 과정을 나타낸 화면 표시의 예시도. 4A is an exemplary view of a screen display showing a display mode adjustment process of an image image according to an embodiment of the present invention.
도 4b는 본 발명의 일 실시예에 따른 회전되지 않은 원(original) 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면.4B is a diagram illustrating a method of manipulating an arm control unit performed with reference to an unrotated original image image according to an embodiment of the present invention.
도 4c 및 4d는 종래 기술에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 각각 예시한 도면.4C and 4D are diagrams each illustrating a method of operating an arm operating unit performed with reference to a 180 degree rotated image image according to the prior art;
도 4e는 본 발명의 일 실시예에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면.4E is a view illustrating a method of operating an arm manipulation unit performed with reference to an image image rotated 180 degrees according to an embodiment of the present invention.
도 4f 내지 도 4i는 본 발명의 각 실시예에 따른 화상 이미지의 회전에 따른 방향 지시자 표시 방법을 예시한 도면.4F-4I illustrate a method of displaying a direction indicator according to rotation of an image image according to each embodiment of the present invention.
도 4j 내지 도 4k는 본 발명의 각 실시예에 따른 화상 이미지의 반전에 따른 주의 정보 표시 방법을 예시한 도면.4J-4K illustrate a method of displaying attention information according to inversion of an image image according to each embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 표시화면 제어 방법을 나타낸 순서도.5 is a flowchart illustrating a display screen control method according to an exemplary embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
1: 마스터 로봇 2: 슬레이브 로봇1: master robot 2: slave robot
3: 로봇 암 4: 마스터 인터페이스3: robot arm 4: master interface
5: 복강경 6: 모니터5: laparoscopic 6: monitor
10: 핸들 14: 클러치 버튼10: handle 14: clutch button
30: 페달 310: 영상 입력부30: pedal 310: video input unit
320: 화면 표시부 330: 암 조작부320: screen display unit 330: arm operation unit
340: 조작신호 생성부 350: 화면회전 조작부340: operation signal generation unit 350: screen rotation operation unit
360: 제어부360: control unit
Claims (19)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090080195A KR100962472B1 (en) | 2009-08-28 | 2009-08-28 | Surgical robot system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090080195A KR100962472B1 (en) | 2009-08-28 | 2009-08-28 | Surgical robot system and control method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090011140A Division KR101038417B1 (en) | 2009-02-11 | 2009-02-11 | Surgical robot system and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100962472B1 true KR100962472B1 (en) | 2010-06-14 |
Family
ID=42369822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090080195A KR100962472B1 (en) | 2009-08-28 | 2009-08-28 | Surgical robot system and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100962472B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012060586A2 (en) * | 2010-11-02 | 2012-05-10 | 주식회사 이턴 | Surgical robot system, and a laparoscope manipulation method and a body-sensing surgical image processing device and method therefor |
CN103188987A (en) * | 2010-11-02 | 2013-07-03 | 伊顿株式会社 | Surgical robot system, and a laparoscope manipulation method and a body-sensing surgical image processing device and method therefor |
KR20140112208A (en) * | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | Surgical robot and method for controlling the same |
KR20150008247A (en) | 2013-07-11 | 2015-01-22 | 현대중공업 주식회사 | Safe Area Ensuring System for Robotic Surgery |
JP2018202189A (en) * | 2012-09-17 | 2018-12-27 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Methods and systems for assigning input devices to teleoperated surgical instrument functions |
KR20210110961A (en) * | 2020-03-02 | 2021-09-10 | 고려대학교 산학협력단 | Camera controller robot based on surgical image recognition and method for adjusting view of camera using the same |
EP4115272A4 (en) * | 2020-03-03 | 2024-04-10 | Verb Surgical Inc | Graphical user guidance for a robotic surgical system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6459926B1 (en) | 1998-11-20 | 2002-10-01 | Intuitive Surgical, Inc. | Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery |
US20040152970A1 (en) * | 2003-01-30 | 2004-08-05 | Mark Hunter | Six degree of freedom alignment display for medical procedures |
US7333642B2 (en) | 1992-01-21 | 2008-02-19 | Sri International, Inc. | Method and apparatus for transforming coordinate systems in a telemanipulation system |
-
2009
- 2009-08-28 KR KR1020090080195A patent/KR100962472B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7333642B2 (en) | 1992-01-21 | 2008-02-19 | Sri International, Inc. | Method and apparatus for transforming coordinate systems in a telemanipulation system |
US6459926B1 (en) | 1998-11-20 | 2002-10-01 | Intuitive Surgical, Inc. | Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery |
US20040152970A1 (en) * | 2003-01-30 | 2004-08-05 | Mark Hunter | Six degree of freedom alignment display for medical procedures |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012060586A3 (en) * | 2010-11-02 | 2012-09-07 | 주식회사 이턴 | Surgical robot system, and laparoscope manipulation method and body-sensing surgical image processing device and method therefor |
CN103188987A (en) * | 2010-11-02 | 2013-07-03 | 伊顿株式会社 | Surgical robot system, and a laparoscope manipulation method and a body-sensing surgical image processing device and method therefor |
WO2012060586A2 (en) * | 2010-11-02 | 2012-05-10 | 주식회사 이턴 | Surgical robot system, and a laparoscope manipulation method and a body-sensing surgical image processing device and method therefor |
CN103188987B (en) * | 2010-11-02 | 2015-08-05 | 伊顿株式会社 | Surgical robot system and laparoscopic procedure method thereof and human body temperature type operation image processing apparatus and method thereof |
US10624706B2 (en) | 2012-09-17 | 2020-04-21 | Intuitive Surgical Operations, Inc. | Methods and systems for assigning input devices to teleoperated surgical instrument functions |
US11160622B2 (en) | 2012-09-17 | 2021-11-02 | Intuitive Surgical Operations, Inc. | Methods and systems for assigning input devices to teleoperated surgical instrument functions |
JP2018202189A (en) * | 2012-09-17 | 2018-12-27 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Methods and systems for assigning input devices to teleoperated surgical instrument functions |
KR20140112208A (en) * | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | Surgical robot and method for controlling the same |
KR102119534B1 (en) | 2013-03-13 | 2020-06-05 | 삼성전자주식회사 | Surgical robot and method for controlling the same |
KR20150008247A (en) | 2013-07-11 | 2015-01-22 | 현대중공업 주식회사 | Safe Area Ensuring System for Robotic Surgery |
KR20210110961A (en) * | 2020-03-02 | 2021-09-10 | 고려대학교 산학협력단 | Camera controller robot based on surgical image recognition and method for adjusting view of camera using the same |
KR102427736B1 (en) * | 2020-03-02 | 2022-07-29 | 고려대학교 산학협력단 | Camera controller robot based on surgical image recognition and method for adjusting view of camera using the same |
EP4115272A4 (en) * | 2020-03-03 | 2024-04-10 | Verb Surgical Inc | Graphical user guidance for a robotic surgical system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101038417B1 (en) | Surgical robot system and control method thereof | |
JP7308936B2 (en) | indicator system | |
KR102501099B1 (en) | Systems and methods for rendering on-screen identification of instruments in teleoperated medical systems | |
US11766308B2 (en) | Systems and methods for presenting augmented reality in a display of a teleoperational system | |
KR100962472B1 (en) | Surgical robot system and control method thereof | |
JP2022116155A (en) | Systems and methods for onscreen identification of instruments in remote control medical system | |
US20180271603A1 (en) | Intelligent surgical tool control system for laparoscopic surgeries | |
JP6856594B2 (en) | Surgical system and display method | |
US11633247B2 (en) | Graphical user guidance for a robotic surgical system | |
JP2022512274A (en) | Navigation support | |
AU2021240407B2 (en) | Virtual console for controlling a surgical robot | |
KR101114232B1 (en) | Surgical robot system and motion restriction control method thereof | |
JP6902639B2 (en) | Surgical system | |
KR101683057B1 (en) | Surgical robot system and motion restriction control method thereof | |
JP7239117B2 (en) | Surgery support device | |
KR101715026B1 (en) | Surgical robot system and motion restriction control method thereof | |
JP2021137667A (en) | Surgery system | |
WO2024006729A1 (en) | Assisted port placement for minimally invasive or robotic assisted surgery | |
JP2024514640A (en) | Blending visualized directly on the rendered element showing blended elements and actions occurring on-screen and off-screen | |
JP2024514884A (en) | Adaptability and tunability of overlay instrument information for surgical systems | |
WO2019035206A1 (en) | Medical system and image generation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130703 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140603 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20150603 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20160603 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20170530 Year of fee payment: 8 |