KR100997194B1 - Remote operation robot system for indirectly providing tactile sensation and control method thereof - Google Patents

Remote operation robot system for indirectly providing tactile sensation and control method thereof Download PDF

Info

Publication number
KR100997194B1
KR100997194B1 KR1020090076257A KR20090076257A KR100997194B1 KR 100997194 B1 KR100997194 B1 KR 100997194B1 KR 1020090076257 A KR1020090076257 A KR 1020090076257A KR 20090076257 A KR20090076257 A KR 20090076257A KR 100997194 B1 KR100997194 B1 KR 100997194B1
Authority
KR
South Korea
Prior art keywords
instrument
force
deformation
displacement
shaft
Prior art date
Application number
KR1020090076257A
Other languages
Korean (ko)
Inventor
이민규
최승욱
원종석
Original Assignee
주식회사 이턴
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이턴 filed Critical 주식회사 이턴
Priority to KR1020090076257A priority Critical patent/KR100997194B1/en
Priority to PCT/KR2010/004953 priority patent/WO2011021788A2/en
Application granted granted Critical
Publication of KR100997194B1 publication Critical patent/KR100997194B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/0469Suturing instruments for use in minimally invasive surgery, e.g. endoscopic surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/06Needles ; Sutures; Needle-suture combinations; Holders or packages for needles or suture materials
    • A61B17/062Needle manipulators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B50/00Containers, covers, furniture or holders specially adapted for surgical or diagnostic appliances or instruments, e.g. sterile covers
    • A61B50/10Furniture specially adapted for surgical or diagnostic appliances or instruments
    • A61B50/13Trolleys, e.g. carts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28Surgical forceps
    • A61B17/29Forceps for use in minimally invasive surgery
    • A61B2017/2926Details of heads or jaws
    • A61B2017/2927Details of heads or jaws the angular position of the head being adjustable with respect to the shaft

Abstract

PURPOSE: A remote surgical operation robot system and a control method thereof are provided to simply sense the deformation of a device for an operation during a remote endoscopic operation process by using an endoscopy image. CONSTITUTION: A remote surgical operation robot system comprises a master robot(1) and a slave robot(2). The slave robot executes a surgical operation by the remote control of the master robot. The master robot comprises a deformation perception part(690). The deformation perception part includes a displacement calculation part(650) and a power calculation part(660). The displacement calculation part calculates the displacement due to the real deformation of a device. The power calculation part determines power corresponding to the displacement based on a modeling which uses the characteristic information of the shaft of the device.

Description

간접적으로 수술감을 제공하는 원격 수술 로봇 시스템 및 그 제어 방법{Remote Operation Robot System for Indirectly Providing Tactile Sensation and Control Method thereof}Remote Operation Robot System for Indirectly Providing Tactile Sensation and Control Method

본 발명은 원격 수술 로봇 시스템 및 그 제어 방법에 관한 것으로서, 특히 복강경 등을 이용한 내시경 수술 시에 로봇 암에 장착된 수술용 인스트루먼트가 인체 조직과 접촉 등에 의하여 발생하는 휨 등의 변형을 내시경 영상에 기초하여 간단히 감지하고 그때의 힘이 로봇 암을 조작하는 수단에 그대로 느껴지도록 함으로써 수술 의사에게 수동 수술에서와 유사한 느낌으로 용이하게 수술을 수행하도록 보조할 수 있는 원격 수술 로봇 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a remote surgical robot system and a control method thereof, in particular, the deformation of the surgical instrument mounted on the robot arm in contact with the human tissue during endoscopic surgery using a laparoscope, based on the endoscope image The present invention relates to a remote surgical robot system and a control method thereof, which can assist a surgeon to easily perform a surgery with a feeling similar to that of a manual surgery by simply sensing and allowing the force to be felt by a means for operating the robot arm. .

의료 기계를 사용하여 피부나 점막 기타 인체 조직의 염증, 종양 등 환부를 자르거나 째거나 기타 조작을 가하여 병을 치료하는 외과적 수술이 많이 이루어지고 있다. 특히, 환부 등 수술 부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 이러한 부작용을 최소화할 수 있는 복강경 수술이 그 응용 범위를 확대하고 있다.BACKGROUND Many surgical procedures have been performed to treat a disease by cutting, slitting, or otherwise manipulating the affected area such as inflammation of the skin, mucous membranes, or other human tissues using a medical machine. In particular, open surgery that incise the skin of the surgical site such as the affected area, open it, and treat, shape, or remove the organs inside it can minimize these side effects in recent years due to problems such as bleeding, side effects, patient pain, and scars. Laparoscopic surgery is expanding its application.

복강경 수술이란 개복 부위를 최소화하면서 수술 도구를 삽입하여 내시경 등으로 체내를 관찰하면서 진행하는 수술을 말하는데, 이를 위하여 인체 내로 삽입되는 인스트루먼트 말단부에 각종 수술 부재(가위, 집게, 클립 등)를 탑재하고, 체내에 삽입 가능하여 체외에서 의사의 수동 조작이 가능하도록 되어 있는 수동(hand-held) 수술 기구가 널리 사용되고 있다.Laparoscopic surgery refers to an operation that proceeds while observing the body with an endoscope or the like by inserting a surgical tool while minimizing an open area. For this purpose, various surgical members (scissors, tongs, clips, etc.) are mounted on the end of the instrument inserted into the human body. Hand-held surgical instruments, which can be inserted into the body and allow a manual operation of a doctor outside the body, are widely used.

한편, 더 나아가서 로봇을 사용한 수술도 대안으로서 각광받고 있는데, 일반적으로, 이러한 수술용 로봇은 의사의 조작에 의해 필요한 신호를 생성하여 전송하는 마스터(master) 로봇과, 마스터 로봇으로부터 신호를 받아 직접 환자에 수술에 필요한 조작을 가하는 슬레이브(slave) 로봇으로 이루어지며, 마스터 로봇과 슬레이브 로봇을 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치한 상태에서 수술을 진행할 수 있다.On the other hand, furthermore, surgery using a robot is also gaining popularity as an alternative. In general, such a surgical robot is a master robot that generates and transmits a signal required by a doctor's operation, and receives a signal from the master robot and directly receives a patient. It consists of a slave (slave) robot to apply the necessary operation to the operation, it can be configured by integrating the master robot and the slave robot, or by configuring each of the separate devices arranged in the operating room.

예를 들어, 로봇을 이용하여 복강경 등을 이용한 내시경 수술을 시행하는 데 있어서, 수술 의사는 복강경 등 내시경을 통하여 수신되는 영상에 의존하여 수술 부위로 인스트루먼트의 말단부를 근접시켜 환부를 시술하게 되므로, 인체 내에서 인스트루먼트의 이동 과정에서 인스트루먼트가 인체 조직에 접촉하여 무리한 힘으로 인체 조직에 상처를 주지는 않는 지 여부 등에 대하여 특별한 느낌없이 수술 의사의 육안 판단에만 의존하여 수술을 진행하게 된다. For example, in performing endoscopic surgery using a laparoscope using a robot, the surgeon relies on an image received through an endoscope, such as a laparoscope, to perform a lesion by bringing the distal end of the instrument closer to the surgical site. During the movement of the instrument within the instrument is in contact with the human tissue and does not hurt the human tissue with excessive force, whether or not depending on the surgeon's visual judgment only proceeds to the operation.

최근에 이러한 문제를 해결하기 위하여, 변형 게이지를 인스트루먼트에 장착시켜 인스트루먼트의 변형을 감지함으로써 인스트루먼트의 상태를 파악하려는 시도가 있다. 그러나, 인스트루먼트는 최소한의 개복 부위를 통해 삽입될 수 있도록 한 정밀 수술도구이므로, 인스트루먼트에 변형 게이지를 장착하고 그 변형에 대한 정보를 외부로 출력하기 위한 수단들을 갖추도록 하기에는 많은 제조 상의 어려움이 있을 뿐만아니라, 제조 비용을 상승시키는 요인이 되고 있다. Recently, in order to solve this problem, there is an attempt to determine the state of an instrument by mounting a strain gauge on the instrument to detect the deformation of the instrument. However, since instruments are precision surgical tools that can be inserted through a minimal open area, there are many manufacturing difficulties to equip the instrument with a strain gage and with means to output information about its deformation to the outside. Rather, it becomes a factor which raises manufacturing cost.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 복강경 등을 이용한 내시경 수술 시에 수술용 인스트루먼트가 인체 내에서 인체 조직과 접촉하는 힘을 수술 의사에게 전달하여 수동 수술에서와 유사한 느낌으로 용이하게 수술을 수행하도록 보조할 수 있는 원격 수술 로봇 시스템 및 그 제어 방법을 제공하는 데 있다.The present invention has been made to solve the above problems, an object of the present invention, in the manual surgery to deliver the force of the surgical instrument in contact with the human tissue in the human body at the time of endoscopic surgery using a laparoscope in the manual surgery It is to provide a remote surgical robot system and a control method thereof that can assist to perform the operation easily with a similar feeling.

또한, 본 발명의 다른 목적은, 복강경 등을 이용한 원격 내시경 수술 시 수술용 인스트루먼트가 인체 조직과 접촉하면서 발생하는 휨 등의 변형을 내시경 영상에 기초하여 간단히 감지할 수 있는 원격 수술 로봇 시스템 및 그 제어 방법을 제공하는 데 있다.In addition, another object of the present invention, a remote surgical robot system that can easily detect the deformation, such as bending caused when the surgical instrument is in contact with human tissue during remote endoscopy using a laparoscope and the control based on the endoscope image and its control To provide a way.

그리고, 본 발명의 또 다른 목적은, 인스트루먼트의 재질, 길이, 두께 등의 특성을 고려하여 인스트루먼트에 발생하는 변형력이 파악되도록 하여 수술 의사에게 필요한 수술 과정의 느낌을 수술의 종류나 수술 환경에 따라 변함없이 전달할 수 있는 원격 수술 로봇 시스템 및 그 제어 방법을 제공하는 데 있다.In addition, another object of the present invention, by considering the characteristics of the material, length, thickness, etc. of the instrument to determine the deformation force generated in the instrument to change the feeling of the surgical procedure required by the surgeon according to the type of surgery or the operating environment It is to provide a remote surgical robot system that can be delivered without a control method.

상기한 과제를 실현하기 위한 본 발명의 일면에 따른, 수술 로봇 제어 방법 은, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 변형에 대한 변위를 산출하고, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 것을 특징으로 한다.Surgical robot control method according to an aspect of the present invention for realizing the above object, during the operation by inserting the instrument into the human body, calculates the displacement for the deformation of the instrument, based on the displacement It is characterized by determining the force received in the human body.

상기 결정된 힘에 따라, 상기 인스트루먼트의 조작 수단의 운동을 위한 구동력에 반력을 가할 수 있다. 상기 조작 수단의 운동에 이용되는 상기 구동력은 모터의 회전력, 유압, 또는 공기압을 포함할 수 있다.According to the determined force, a reaction force can be applied to the driving force for the movement of the operating means of the instrument. The driving force used for the movement of the operation means may include a rotational force, hydraulic pressure, or air pressure of the motor.

내시경으로 획득한 영상에 기초하여 상기 인스트루먼트의 변형에 대한 변위를 산출하여 상기 힘을 결정할 수 있다.The force may be determined by calculating a displacement for deformation of the instrument based on the image acquired by the endoscope.

상기 인스트루먼트의 조작 수단의 조작에 따라 조작 처리 수단에서 생성하는 조작 신호를 이용하여 예측한 상기 인스트루먼트의 말단부의 위치 정보와 내시경으로 획득한 상기 말단부의 실제 위치에 대한 영상으로부터 계산한 상기 말단부의 실제 위치 정보를 비교하여 상기 변형에 대한 상기 변위를 산출할 수 있다.Actual position of the distal end calculated from an image of the position information of the distal end of the instrument predicted using an operation signal generated by the manipulation processing means according to the operation of the instrument operating means and an image of the actual position of the distal end acquired by an endoscope The displacement can be calculated for the deformation by comparing the information.

힘을 받아 변형되기 전의 상기 인스트루먼트의 영상과 변형 후의 상기 인스트루먼트의 영상을 서로 비교하여 변형 전후의 상기 인스트루먼트의 말단부에 대한 상기 변위를 산출할 수도 있다.The displacement of the instrument before and after deformation may be calculated by comparing the image of the instrument before deformation with the force and the image of the instrument after deformation.

상기 결정된 힘의 크기에 대한 정보를 내시경 영상이 디스플레이되는 수단을 통해 표시할 수 있다. Information on the determined magnitude of force may be displayed through means for displaying an endoscope image.

상기 인스트루먼트의 샤프트는 일정 탄성력이 유지되는 재질로 이루어지고 상기 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원될 수 있으며, 상기 인스트루먼트의 샤프트는 하우징 쪽의 기본 재질과 말단부 쪽의 기본 재질 사이 에 변형 정도가 다른 재질을 포함할 수도 있다. 상기 변형 정도가 다른 재질은 상기 기본 재질보다 해당 부분에서 더 잘 굽어질 수 있으며, 상기 변형 정도가 다른 재질은 기본 재질 사이에 일정 간격으로 복수회 형성될 수도 있다.The shaft of the instrument is made of a material that maintains a certain elastic force and can be restored to the original straight state by removing the force causing the deformation, the shaft of the instrument is the base material of the housing side and the base material of the distal end It may also contain materials with different degrees of deformation. The material having a different degree of deformation may be bent better at a corresponding portion than the base material, and the material having a different degree of deformation may be formed a plurality of times at regular intervals between the base materials.

상기 샤프트는 말단부에 형성된 일정 모양의 마커를 가지며, 내시경으로 획득한 영상에서 상기 마커를 이용하여 상기 변위를 산출할 수도 있다.The shaft may have a predetermined shape of a marker formed at the distal end portion, and the displacement may be calculated using the marker in an image acquired by an endoscope.

상기 인스트루먼트의 샤프트에 직선 줄 또는 점선 줄을 포함한 변형 감지 보조 무늬를 가지며, 내시경으로 획득한 영상에서 상기 변형 감지 보조 무늬를 이용하여 상기 변위를 산출할 수도 있다.The strain-assisted auxiliary pattern includes a straight line or a dotted line on the shaft of the instrument, and the displacement may be calculated using the strain-sensitive auxiliary pattern in an image obtained by an endoscope.

상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정할 수 있다.The force corresponding to the displacement may be determined based on modeling using characteristic information including the material, length, and thickness of the shaft of the instrument.

상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 참조하여 상기 힘을 결정한다. 상기 인스트루먼트의 샤프트의 재질, 길이, 또는 두께에 따라 상기 테이블값이 별도로 데이터베이스화될 수도 있다. The force is determined by referring to a table value that has a database of forces for respective displacements of the deformation of the shaft of the instrument. The table values may be separately databased according to the material, length, or thickness of the shaft of the instrument.

복수의 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 복수의 인스트루먼트 중 어느 하나가 다른 인스트루먼트와의 상대적 당김 또는 밀기 동작을 할 때의 상기 인스트루먼트의 상기 변형에 대한 상기 힘을 결정하는 데에도 적용할 수 있다.It is also applied to determining the force for the deformation of the instrument when one of the plurality of instruments performs a relative pulling or pushing operation with another instrument while inserting a plurality of instruments into the human body and undergoing surgery. can do.

또한, 본 발명의 다른 일면에 따른 수술 로봇 제어 방법은, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 조작 수단의 조 작에 대응되는 상기 인스트루먼트의 말단부의 위치를 예측하고 내시경 영상으로부터 상기 말단부의 실제 위치를 계산하여 상기 인스트루먼트의 변형에 대하여 인체 내에서 받는 힘을 결정하는 것을 특징으로 한다.In addition, the surgical robot control method according to another aspect of the present invention, during the operation by inserting the instrument into the human body, predicts the position of the distal end of the instrument corresponding to the operation of the instrument's operation means and from the endoscope image By calculating the actual position of the distal end is characterized in that for determining the force received in the human body for the deformation of the instrument.

또한, 본 발명의 또 다른 일면에 따라, 수술 로봇을 제어하기 위한 변형력 인식 장치는 별도의 독립된 장치로도 구현될 수 있고, 상기 변형력 인식 장치는, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하는 변위 산출 수단; 및 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 힘 결정 수단을 포함한다.In addition, according to another aspect of the present invention, the deformation force recognition device for controlling the surgical robot may be implemented as a separate device, the deformation force recognition device, while inserting the instrument in the human body during the operation Displacement calculation means for calculating a displacement with respect to the deformation of the instrument; And force determining means for determining the force that the instrument receives in the human body based on the displacement.

상기 힘 결정 수단은, 상기 결정한 힘에 따라 상기 인스트루먼트의 조작 수단의 운동을 위한 구동력에 반력을 가할 수 있다.The force determining means may apply a reaction force to the driving force for the movement of the operating means of the instrument in accordance with the determined force.

상기 변위 산출 수단은, 상기 인스트루먼트의 조작 수단의 조작에 따라 조작 처리 수단에서 생성하는 조작 신호를 이용하여 예측한 상기 인스트루먼트의 말단부의 위치 정보와 내시경으로 획득한 상기 말단부의 실제 위치에 대한 영상으로부터 계산한 상기 말단부의 실제 위치 정보를 비교하여 상기 변형에 대한 상기 변위를 산출할 수 있다.The displacement calculation means is calculated from the position information of the distal end portion of the instrument predicted using the operation signal generated by the manipulation processing means in accordance with the operation of the instrument's operation means and an image of the actual position of the distal end portion obtained by the endoscope. The displacement for the deformation can be calculated by comparing the actual positional information of one distal end.

상기 힘 결정 수단은, 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정할 수 있다.The force determining means may determine a force corresponding to the displacement based on modeling using characteristic information including material, length, and thickness of the shaft of the instrument.

상기 힘 결정 수단은, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별 힘의 크기가 저장 수단에 데이터베이스화되어 저장되어 있는 테이블값을 참 조하여 상기 변위에 대한 상기 힘을 결정할 수도 있다.The force determining means may determine the force for the displacement by referring to a table value in which the magnitude of the displacement-specific force for the deformation of the shaft of the instrument is stored in a database stored in the storage means.

또한, 본 발명의 또 다른 일면에 따라, 로봇암에 장착되는 인스트루먼트를 포함하는 슬레이브 로봇과 상기 슬레이브 로봇을 제어하기 위한 마스터 로봇을 포함하는 수술 로봇 시스템에 있어서, 상기 마스터 로봇은, 상기 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하고, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함한다.Further, according to another aspect of the invention, in the surgical robot system comprising a slave robot including an instrument mounted to the robot arm and a master robot for controlling the slave robot, the master robot, the instrument is a human body And a deformation force recognizing means for inserting in and calculating a displacement for deformation of the instrument during the procedure and determining the force the instrument receives in the human body based on the displacement.

또한, 본 발명의 또 다른 일면에 따라, 로봇암에 장착되는 인스트루먼트를 포함하는 슬레이브 로봇과 상기 슬레이브 로봇을 제어하기 위한 마스터 로봇을 포함하는 수술 로봇 시스템에 있어서, 상기 마스터 로봇은, 상기 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 조작 수단의 조작에 대응되는 상기 인스트루먼트의 말단부의 위치를 예측하고 내시경 영상으로부터 상기 말단부의 실제 위치를 계산하여 상기 인스트루먼트의 변형에 대하여 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함한다.Further, according to another aspect of the invention, in the surgical robot system comprising a slave robot including an instrument mounted to the robot arm and a master robot for controlling the slave robot, the master robot, the instrument is a human body During insertion and surgery, the force received in the human body for deformation of the instrument by predicting the position of the distal end of the instrument corresponding to the manipulation of the instrument's manipulation means and calculating the actual position of the distal end from the endoscope image. Deformation force recognition means for determining the.

상기 변형력 인식 수단은, 상기 인스트루먼트의 실제 변형에 대한 영상 해석을 기반으로 변위를 산출하는 변위 산출 수단; 및 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정하는 힘 결정 수단을 포함할 수 있다.The deformation force recognition means may include displacement calculation means for calculating displacement based on an image analysis of actual deformation of the instrument; And force determining means for determining a force corresponding to the displacement based on modeling using characteristic information including material, length, and thickness of the shaft of the instrument.

상기 마스터 로봇은, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 저장하는 저장 수단을 포함하 고, 상기 변형력 인식 수단은, 상기 인스트루먼트의 실제 변형에 대한 영상 해석을 기반으로 변위를 산출하는 변위 산출 수단; 및 상기 변위에 대하여 상기 저장 수단에 저장된 상기 테이블값을 참조하여 상기 힘을 결정하는 힘 결정 수단을 포함한다.The master robot includes storage means for storing a table value of the database of the force for each displacement corresponding to the deformation of the shaft of the instrument, the deformation force recognition means, the image of the actual deformation of the instrument Displacement calculation means for calculating a displacement based on the analysis; And force determining means for determining the force with reference to the table value stored in the storage means with respect to the displacement.

또한, 본 발명의 또 다른 일면에 따라, 하우징을 통해 로봇 암에 장착되고, 샤프트의 말단에 이펙터를 포함하는 수술용 인스트루먼트에 있어서, 상기 샤프트는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되는 것을 특징으로 한다. 상기 변형에 대한 변위의 영상 해석에 기반하여 인체 내에서 받는 힘을 결정하기 위하여 상기 탄성력이 유지되는 재질을 이용한다.In addition, according to another aspect of the invention, the surgical instrument is mounted to the robot arm via a housing, the surgical instrument comprising an effector at the end of the shaft, the shaft is made of a material that maintains a certain elastic force causing deformation Removing the force is characterized in that to restore the original straight state. A material for maintaining the elastic force is used to determine the force received in the human body based on the image analysis of the displacement for the deformation.

상기 샤프트는 하우징 쪽의 기본 재질과 말단부 쪽의 기본 재질 사이에 변형 정도가 다른 재질을 포함할 수 있으며, 상기 변형 정도가 다른 재질은 상기 기본 재질보다 해당 부분에서 더 잘 굽어질 수 있다. 상기 변형 정도가 다른 재질은 기본 재질 사이에 일정 간격으로 복수회 형성될 수도 있다.The shaft may include a material having a different degree of deformation between the base material on the housing side and the base material on the distal end side, and the material having a different degree of deformation may be bent at a portion better than the base material. Materials having different degrees of deformation may be formed a plurality of times at regular intervals between base materials.

상기 샤프트는 말단부에 형성된 일정 모양의 마커를 가지며, 내시경으로 획득한 영상에서 상기 마커가 상기 변형에 대한 변위의 측정에 이용될 수도 있다.The shaft has a certain shape of a marker formed at the distal end, and the marker may be used to measure the displacement with respect to the deformation in the image obtained by the endoscope.

상기 샤프트는 직선 줄 또는 점선 줄을 포함한 변형 감지 보조 무늬를 가지며, 내시경으로 획득한 영상에서 상기 변형 감지 보조 무늬가 상기 변형에 대한 변위의 측정에 이용될 수도 있다.The shaft has a deformation detecting auxiliary pattern including a straight line or a dotted line, and the deformation detecting auxiliary pattern may be used to measure the displacement with respect to the deformation in an image obtained by an endoscope.

상기 인스트루먼트는, 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 샤 프트의 변형에 대한 변위를 측정하고, 상기 변위에 기초하여 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함할 수 있다.The instrument may include deformation force recognizing means for measuring a displacement of the shaft against deformation of the shaft and determining a force received in the human body based on the displacement while the surgery is performed in the human body.

상기 인스트루먼트는, 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 조작 수단의 조작에 대응되는 상기 인스트루먼트의 말단부의 위치를 예측하고 내시경 영상으로부터 상기 말단부의 실제 위치를 계산하여 상기 인스트루먼트의 변형에 대하여 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함할 수 있다. While the instrument is inserted into the human body and undergoes surgery, the instrument predicts the position of the distal end of the instrument corresponding to the manipulation of the instrument's manipulation means, and calculates the actual position of the distal end from the endoscope image, thereby deforming the instrument. It may include a deformation force recognition means for determining the force received in the human body.

상기 변형력 인식 수단은, 상기 인스트루먼트의 변형에 대한 변위를 산출하는 변위 산출 수단; 및 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 힘 결정 수단을 포함할 수 있다.The deformation force recognition means may include displacement calculation means for calculating a displacement with respect to the deformation of the instrument; And force determining means for determining a force received by the instrument in the human body based on the displacement.

상기 힘 결정 수단은 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정할 수 있다.The force determining means may determine the force corresponding to the displacement based on the modeling using the characteristic information including the material, length and thickness of the shaft of the instrument.

상기 인스트루먼트는, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 저장하는 저장 수단을 더 포함하고, 상기 저장 수단에 저장된 상기 테이블값을 참조하여 상기 힘을 결정할 수 있다. 상기 저장 수단은, 상기 인스트루먼트의 샤프트의 재질, 길이, 또는 두께에 따라 상기 테이블값이 별도로 데이터베이스화할 수도 있다.The instrument further comprises storage means for storing a table value, the database value of the force for each displacement of the deformation of the shaft of the instrument, the table value stored in the storage means to determine the force Can be. The storage means may be a database of the table value separately according to the material, length, or thickness of the shaft of the instrument.

본 발명에 따른 원격 수술 로봇 시스템 및 그 제어 방법에 따르면, 복강경 등을 이용한 내시경 수술 시에 수술용 인스트루먼트가 인체 내에서 인체 조직과 접촉하는 힘을 수술 의사에게 전달하여 수동 수술에서와 유사한 느낌으로 용이하게 수술을 수행하도록 보조할 수 있다.According to the remote surgical robot system according to the present invention and a control method thereof, when the endoscopic surgery using a laparoscope, etc., the surgical instrument transmits the force of contact with the human tissue in the human body to the surgeon, thereby making it easy to feel similar to manual surgery. To perform the surgery.

또한, 본 발명에 따른 원격 수술 로봇 시스템 및 그 제어 방법에 따르면, 복강경 등을 이용한 원격 내시경 수술 시 수술용 인스트루먼트가 인체 조직과 접촉하면서 발생하는 휨 등의 변형을 내시경 영상에 기초하여 간단히 감지할 수 있다.In addition, according to the remote surgical robot system according to the present invention and a control method thereof, it is possible to simply detect the deformation, such as bending caused when the surgical instrument is in contact with human tissue during remote endoscopy using a laparoscope, based on the endoscope image have.

그리고, 본 발명에 따른 원격 수술 로봇 시스템 및 그 제어 방법에 따르면, 인스트루먼트의 재질, 길이, 두께 등의 특성을 고려하여 인스트루먼트에 발생하는 변형력이 파악되도록 하여 수술 의사에게 필요한 수술 과정의 느낌을 수술의 종류나 수술 환경에 따라 변함없이 전달할 수 있다.In addition, according to the remote surgical robot system and the control method according to the present invention, in consideration of the characteristics of the material, length, thickness, etc. of the instrument to determine the deformation force generated in the instrument to determine the feeling of the surgical procedure required by the surgeon It can be delivered unchanged depending on the type or surgical environment.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings which illustrate preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 원격 수술 로봇 시스템을 설명하기 위한 사시도이다.1 is a perspective view for explaining a remote surgical robot system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 원격 수술 로봇 시스템은 마스터 로봇(1)과 마스터 로봇(1)의 원격 제어를 받아 수술대에 누워있는 환자에게 수 술을 행하는 슬레이브 로봇(2)을 포함한다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 슬레이브 로봇(2)에 포함되는 마스터 인터페이스(4)는 마스터 로봇(1)과 일체화된 로봇 시스템의 인터페이스 부분에 해당할 수 있다.Referring to Figure 1, the remote surgical robot system according to an embodiment of the present invention is a slave robot (2) performing the operation to the patient lying on the operating table under the remote control of the master robot (1) and the master robot (1) It includes. The master robot 1 and the slave robot 2 are not necessarily separated into separate devices that are physically independent, but may be integrated into one unit and may be integrated into one unit. In this case, the master interface 4 included in the slave robot 2 may be included. ) May correspond to the interface portion of the robot system integrated with the master robot 1.

마스터 로봇(1)은 수술 과정을 모니터링하는 수단(6)이나 슬레이브 로봇(2)의 로봇 암(8,9)을 조작하기 위한 핸들 형태의 조작 수단(10) 및 슬레이브 로봇(2)의 전반적인 제어를 위한 제어장치(도 6참조) 등이 구비된 마스터 인터페이스(4)를 포함하고, 슬레이브 로봇(2)은 수술용 로봇 암(8)에 장착된 인스트먼트나 복강경용 로봇 암(9)에 장착된 복강경 등 내시경을 포함한다. The master robot 1 controls the operating means 10 and the overall control of the slave robot 2 in the form of a handle for manipulating the surgical procedure 6 or the robot arms 8, 9 of the slave robot 2. And a master interface 4 provided with a control device (see FIG. 6), and the slave robot 2 includes an instrument or a laparoscope robot arm 9 mounted on the surgical robot arm 8. It includes an endoscope, such as a mounted laparoscope.

마스터 로봇(1)과 슬레이브 로봇(2)은 전용선으로 연결될 수 있으며, 또는 유선 통신망 또는 무선 통신망을 통해 상호 통신하여 조작 신호, 복강경 등 내시경을 통해 획득된 영상 등을 송수신할 수 있다. The master robot 1 and the slave robot 2 may be connected by a dedicated line, or may communicate with each other through a wired communication network or a wireless communication network to transmit and receive an operation signal, an image obtained through an endoscope such as a laparoscope, and the like.

마스터 로봇(1)의 모니터링 수단(6)은 복강경 등 내시경으로부터 획득된 영상을 화상 이미지로 표시한다. 모니터링 수단(6)은 하나 또는 복수의 디스플레이 수단으로 구성될 수 있으며, 각 디스플레이 수단에 수술 시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 예를 들어, 복수의 디스플레이 수단을 통해 환자의 상태를 나타내는 지표, 예를 들어, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보가 영역별로 나뉘어져 출력될 수도 있다. 이러한 생체 정보를 마스터 로봇(1)으로 제공하기 위해, 슬레이브 로봇(2)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈, 심전도 측정 모듈 등을 포함할 수 있으며, 각 모듈에 의해 측정된 생체 정보는 아날로그 신호 또는 디지털 신호의 형태로 슬레이브 로봇(2)에서 마스터 로봇(1)으로 전송되어, 마스터 로봇(1)이 각 디스플레이 수단을 통해 수신된 해당 생체 정보를 디스플레이할 수 있다.The monitoring means 6 of the master robot 1 displays an image obtained from an endoscope, such as a laparoscope, as an image image. The monitoring means 6 may be composed of one or a plurality of display means, and the information necessary for the operation may be individually displayed on each display means. For example, an indicator indicating a patient's condition, for example, biometric information such as body temperature, pulse rate, respiration, and blood pressure may be divided and output through regions. In order to provide such biometric information to the master robot 1, the slave robot 2 may include a body temperature measuring module, a pulse measuring module, a respiratory measuring module, a blood pressure measuring module, an electrocardiogram measuring module, and the like. The measured biometric information is transmitted from the slave robot 2 to the master robot 1 in the form of an analog signal or a digital signal, so that the master robot 1 can display the corresponding biometric information received through each display means.

조작 수단(10)은 수술자가 양손에 각각 파지하여 조작할 수 있도록 핸들 형태로 구현될 수 있으며, 수술자가 조작 수단(10)을 조작함에 따라 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(8,9)이 제어될 수 있다. 예를 들어, 조작 수단(10)의 움직임을 제어하는 처리 수단은 모터의 회전력이나 유압 또는 공기압 등 다양한 구동력을 이용하여 조작 수단(10)이 부드럽게 한정된 범위에서 움직일 수 있도록 제어할 수 있으며, 이때 해당 조작 신호를 발생시켜 로봇 암(8,9)이 조작 수단(10)의 움직임에 따라 일정 비율로 같은 운동을 하도록 할 수 있다. 로봇 암(8,9)의 운동에도 모터의 회전력이나 유압 또는 공기압 등을 이용할 수 있으며, 해당 조작 신호에 따라 부드럽게 한정된 범위에서 움직일 수 있다. 이에 따라, 수술자가 조작 수단(10)을 조작할 때, 로봇 암(8, 9)에 장착된 인스트루먼트의 위치 이동, 회전, 절단 작업 등이 수행될 수 있다. 조작 수단(10)은 메인 핸들(main handle)과 서브 핸들(sub handle) 등 복수의 핸들로 구성될 수도 있으며, 핸들 형태이외에도 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(8,9)이나 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 대신하여 사용될 수 있다.The operation means 10 may be implemented in the form of a handle so that the operator can operate by holding each of the two hands, the operation signal is transmitted to the slave robot (2) as the operator operates the operation means 10, the robot arm ( 8, 9) can be controlled. For example, the processing means for controlling the movement of the manipulation means 10 may control the manipulation means 10 to move smoothly in a limited range using various driving forces such as rotational force, hydraulic pressure or air pressure of the motor, By generating an operation signal, the robot arms 8 and 9 can be made to perform the same movement at a constant rate according to the movement of the operation means 10. The rotational force of the motor, the hydraulic pressure or the pneumatic pressure can also be used for the movement of the robot arms 8 and 9, and can be moved smoothly in a limited range according to the operation signal. Accordingly, when the operator manipulates the operation means 10, the position movement, rotation, cutting operation, etc. of the instruments mounted on the robot arms 8, 9 can be performed. The operation means 10 may be composed of a plurality of handles such as a main handle and a sub handle, and in addition to the handle type, the robot arm of the slave robot 2 such as a joystick type, a keypad, a trackball, and a touch screen. (8,9) or other input means for operating other surgical equipment may be used instead.

슬레이브 로봇(2)의 로봇 암(8,9)은 다자유도를 가지고 구동되도록 구현될 수 있다. 로봇 암(8,9)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구인 인스트루먼트(instrument)(20)(도 2참조), 인스트루먼트(20)를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 인스트루먼트(20)를 회전시키는 피치 구동부, 인스트루먼트(20)를 길이 방향으로 이동시키는 이송 구동부와, 인스트루먼트(20)를 회전시키는 회전 구동부를 포함하고, 인스트루먼트(20)의 말단부에는 수술 병변을 잡거나, 절개 또는 절단하는 구동부인 이펙터(effector)가 구비된다. 다만, 로봇 암(8,9)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 조작 수단(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다. 또한, 로봇 암(8,9)은 환자를 수술하기 위하여 하나 이상이 이용될 수 있으며, 수술 부위가 모니터링 수단(6)을 통해 화상 이미지로 표시되도록 하기 위한 복강경용 로봇 암(9)과 해당 복강경 등 내시경은 독립된 별도의 슬레이브 로봇으로 구현될 수도 있다. The robot arms 8, 9 of the slave robot 2 can be implemented to be driven with multiple degrees of freedom. The robot arms 8 and 9 rotate, for example, an instrument 20 (see FIG. 2), which is a surgical instrument inserted into a patient's surgical site, and rotates the instrument 20 in the yaw direction according to the surgical position. A rocking drive unit to be rotated, a pitch driving unit to rotate the instrument 20 in a pitch direction orthogonal to the rotational drive of the rocking drive unit, a feed drive unit to move the instrument 20 in the longitudinal direction, and a rotation to rotate the instrument 20. It includes a drive unit, the distal end of the instrument 20 is provided with an effector (effector) that is a drive for grasping, cutting or cutting surgical lesions. However, the configuration of the robot arms 8 and 9 is not limited thereto, and it should be understood that this example does not limit the scope of the present invention. In addition, the actual control process such that the robot arm 3 rotates and moves in a corresponding direction by the operator operating the manipulation means 10 is somewhat distanced from the gist of the present invention, and thus detailed description thereof will be omitted. . In addition, one or more robot arms 8 and 9 may be used to operate the patient, and the laparoscopic robot arm 9 and the corresponding laparoscope for causing the surgical site to be displayed as an image image through the monitoring means 6. The dorsal endoscope may be implemented as an independent separate slave robot.

또한, 본 발명의 일실시예로서 복강경을 사용하는 수술 로봇 시스템에 대하여 설명하지만, 이에 한정되는 것은 아니며, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경, 예를 들어, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등이 이용되는 수술들에 대하여도 범용적으로 유사하게 실시될 수 있다.In addition, a description will be given of a surgical robot system using a laparoscope as an embodiment of the present invention, but is not limited thereto. Embodiments of the present invention are various surgical endoscopes other than the laparoscope, for example, thoracoscopic, arthroscopic, The same may be done universally with respect to surgery in which the parenteral, cystoscopy, rectal, duodenum, mediastinal, cardiac, etc. are used.

도 2는 본 발명의 일실시예에 따른 슬레이브 로봇(2)을 나타내는 사시도이 다.2 is a perspective view showing a slave robot 2 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 슬레이브 로봇(2)은, 수술 조작을 위한 수술용 로봇암의 선단부에 인스트루먼트(20)가 장착될 수 있도록 결합된커플링 구조를 포함한다. Referring to FIG. 2, the slave robot 2 according to an embodiment of the present invention includes a coupling structure coupled to allow the instrument 20 to be mounted at the distal end of the surgical robot arm for a surgical operation.

도 3은 본 발명의 일실시예에 따른 인스트루먼트(20)를 나타내는 사시도이다.3 is a perspective view showing the instrument 20 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 인스트루먼트(20)는 하우징(30), 이펙터(38), 및 샤프트(40)를 포함한다. 각각의 인스트루먼트(20)는 다른 로봇 암이나 인스트루먼트와의 간섭을 최소화하기 위한 커플링 구조로 결합되는데, 예를 들어, 로봇 암의 선단부에 결합되어 있는 소정 어댑터에 인스트루먼트(20)의 하우징(30)을 끼워 넣는 방식으로 인스트루먼트(20)가 로봇 암의 선단부에 장착될 수 있다. 하우징(30)에 일방향으로 연장되는 샤프트(40)의 말단부에는 이펙터(38)가 결합되어 있다. 원격 수술 과정에서 샤프트(40)가 수술 부위 내에 삽입되며, 이펙터(38)는 마스터 로봇(1)의 제어에 따라 수술 부위 근처에서 수술에 필요한 집게 동작, 절단, 절개 등 각종 조작을 하게 된다.Referring to FIG. 3, the instrument 20 according to an embodiment of the present invention includes a housing 30, an effector 38, and a shaft 40. Each instrument 20 is coupled in a coupling structure to minimize interference with other robot arms or instruments, for example, the housing 30 of the instrument 20 to a predetermined adapter coupled to the tip of the robot arm. The instrument 20 may be mounted to the front end of the robot arm by inserting it. The effector 38 is coupled to the distal end of the shaft 40 extending in one direction to the housing 30. In the remote surgery process, the shaft 40 is inserted into the surgical site, and the effector 38 performs various operations such as forceps, cutting, and incision necessary for the surgery near the surgical site under the control of the master robot 1.

샤프트(40)는 하우징(30)을 통해 전달되는 구동력을 이펙터(38)에 전달하는 기능을 수행할 수 있으며, 이를 위해 튜브 형태의 샤프트(40)의 내부에 수용된 와이어(50)가 이펙터(38)의 각 운동 요소에 필요한 구동력을 전달함으로써 이펙터(38)가 수술에 필요한 동작을 수행할 수 있게 된다. 특히, 샤프트(40)는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원될 수 있고, 본 발명에 따라 이와 같은 샤프트(40)의 변형에 대한 변위에 기반하여 인체 내에서 받는 힘을 결정하고자 한다. 이펙터(38)는 수술 부위에 삽입되어 집게 동작이나 절단 동작 등을 수행하는 구성요소로서, 한 쌍의 죠(jaw)가 힌지축을 중심으로 결합되고 각 죠 및 힌지축에는 와이어가 연결되는 구조로 이루어질 수 있다. The shaft 40 may perform a function of transmitting the driving force transmitted through the housing 30 to the effector 38, and for this purpose, the wire 50 received inside the shaft 40 in the form of a tube is applied to the effector 38. By transmitting the driving force necessary for each of the motion elements of the) it is possible for the effector 38 to perform the operation required for surgery. In particular, the shaft 40 is made of a material that maintains a certain elastic force can be restored to the original straight state by removing the force causing the deformation, according to the present invention to the displacement of the shaft 40 such deformation Based on this, we want to determine the force received in the body. Effector 38 is a component that is inserted into the surgical site to perform a forceps operation or a cutting operation, a pair of jaws are coupled around the hinge axis and each jaw and the hinge axis is made of a structure connected to the wire Can be.

도 4는 본 발명의 일실시예에 따른 복강경(내시경) 영상의 사진이다. 도 4와 같이, 마스터 로봇(1)의 조작 수단(10)을 조작하여 슬레이브 로봇(2)에 장착된 인스트루먼트(20)를 수술 부위에 근접시키거나 인스트루먼트(20)를 이용하여 수술하는 동안의 과정이, 복강경 등 내시경으로 획득한 영상에 따라 디스플레이 수단(6)에 표시될 수 있다. 4 is a photograph of a laparoscope (endoscopic) image according to an embodiment of the present invention. As shown in FIG. 4, a procedure during operating the instrument 20 mounted on the slave robot 2 in close proximity to the surgical site by operating the manipulation means 10 of the master robot 1 or by using the instrument 20 for surgery. This may be displayed on the display means 6 according to an image obtained by an endoscope such as a laparoscope.

도 5는 본 발명의 일실시예에 따른 인스트루먼트(20)의 샤프트(40)에서의 변형을 나타내는 도면이다.5 is a diagram showing the deformation in the shaft 40 of the instrument 20 according to one embodiment of the invention.

도 5와 같이, 마스터 로봇(1)의 조작 수단(10)을 조작하여 슬레이브 로봇(2)에 장착된 인스트루먼트(20)를 수술 부위에 근접시켜 수술을 진행하는 동안에, 인스트루먼트(20)의 말단부의 이펙터(38)가 인체 조직, 예를 들어, 뼈, 근육, 각종 장기를 들어 올리는 과정 등에서 인스트루먼트(20)의 샤프트(40)가 휘어지는 변형을 일으킬 수 있다. 도 5에는 인스트루먼트(20)를 이용해 장기를 들어 올리는 그림을 예시하였으나 이에 한정되지 않으며 인스트루먼트(20)를 이용해 장기를 누르거나 잡아 당기는 과정 등에서도 인스트루먼트(20), 즉, 샤프트(40)가 변형을 일으킬 수 있다. 수동 수술에 경험있는 의사는 인스트루먼트(20)를 인체내에 삽입하면서 이동 중의 위치감, 말단부 이펙터(38)가 인체 조직에 접촉하거나 이펙터(38)를 이용해 장기를 누르거나 잡아 당기거나 들어 올릴 때 작용력이나 촉감을 느끼면서 쉽게 수술을 진행할 수 있었지만, 본 발명과 같은 원격 로봇을 이용한 수술 중에도 이러한 위치감, 작용력, 촉감을 수술 의사가 간접적으로 느낄 수 있도록 하기 위하여, 인스트루먼트(20)의 샤프트(40)의 변형, 예를 들어, 굽은 정도 또는 각도(θ) 등의 변위를 측정하여 이러한 변위에 기초하여 인스트루먼트(20)가 인체 내에서 받는 힘을 파악하여 수술 의사에게 알려줄 수 있다. 도 15와 같이 상기 결정된 힘의 크기에 대한 정보를 숫자나 그래프 등으로 내시경 영상이 디스플레이되는 수단을 통해 표시할 수도 있으며, 또는 인스트루먼트(20)의 조작 수단(10)에 그에 맞게 반력(또는 반발력)이 가해져 수술자에게 느껴지도록 할 수도 있다. 예를 들어, 인스트루먼트(20)의 변형에 대응하여 결정된 힘에 따라, 조작 수단(10)의 운동에 이용되는 모터의 회전력에 반력을 주어 수술 의사가 조작 수단(10)을 움직일 때 해당 반력이 느껴지게 하여 수동 수술을 진행하는 것과 유사한 수술감을 간접적으로 느끼도록 할 수 있다. 조작 수단(10)의 운동에 유압, 공기압 등 다른 구동력이 이용될 때에도 유사한 방법으로 조작 수단(10)의 해당 구동력에 반력을 가하여 이를 수술의사가 느끼도록 할 수 있다.As shown in FIG. 5, while the operation 20 of the master robot 1 is operated to bring the instrument 20 mounted on the slave robot 2 close to the surgical site and undergo surgery, the distal end portion of the instrument 20 is operated. Effector 38 may cause deformation of the shaft 40 of the instrument 20 in the process of lifting the human tissue, such as bone, muscle, various organs. 5 illustrates an example of lifting an organ using the instrument 20, but the present invention is not limited thereto, and the instrument 20, that is, the shaft 40 may be deformed even in a process of pressing or pulling the organ using the instrument 20. Can cause. Doctors who are experienced in manual surgery may be able to insert the instrument 20 into the human body while positioning it while moving, or when the distal effector 38 contacts the human tissue or uses the effector 38 to press, pull or lift the organ. Surgery could be easily performed while feeling the touch, but in order to allow the surgeon to indirectly feel such a sense of position, force, and touch even during surgery using a remote robot such as the present invention, the shaft 40 of the instrument 20 Deformation, for example, the degree of bending or the displacement of the angle (θ) and the like to measure the force received by the instrument 20 in the human body based on this displacement can be informed to the surgeon. As shown in FIG. 15, the information about the determined magnitude of force may be displayed through a means for displaying an endoscope image by numbers or graphs, or the reaction force (or repulsive force) according to the manipulation means 10 of the instrument 20. This may be applied to make it felt by the operator. For example, according to the force determined corresponding to the deformation of the instrument 20, the reaction force is felt when the surgeon moves the operation means 10 by giving a reaction force to the rotational force of the motor used for the movement of the operation means 10. It may be indirectly felt, similar to performing a manual operation. When other driving force such as hydraulic pressure or pneumatic pressure is used for the movement of the manipulation means 10, the surgeon may feel it by applying a reaction force to the corresponding driving force of the manipulation means 10 in a similar manner.

이와 같이 인스트루먼트(20), 즉, 말단부 이펙터(38)가 구비된 샤프트(40)를 인체 내에 삽입하여 수술하는 동안에 샤프트(40)의 변형에 따라 조작 수단(10)이 힘을 받는 느낌을 제공하기 위하여, 이하에서 다양한 방식으로 이를 구현하는 장치의 구성과 동작에 대하여 설명한다. 하기하는 바와 같이, 수술 중 인스트루먼 트(20)의 이동 시에 인스트루먼트(20)의 굽어지는 변형 정도나 각도 등 변위를 영상 해석 방법으로 간단히 측정 계산함으로써 조작 수단(10)에 힘이 느껴지게 하는 수단이나 방식을 다양한 형태로 구현할 수 있다.Thus inserting the instrument 20, that is, the shaft 40 with the distal end effector 38 into the human body to provide a feeling that the operating means 10 is subjected to a force in accordance with the deformation of the shaft 40 during surgery. To this end, the configuration and operation of a device for implementing the same in various ways will be described below. As will be described below, by measuring and calculating the displacement, such as the degree of bending deformation or the angle of the instrument 20 during the movement of the instrument 20 during the operation by a simple image analysis method, the force to feel the operating means 10 Means and methods can be embodied in various forms.

도 6은 본 발명의 일실시예에 따른 원격 수술 로봇 시스템을 설명하기 위한 블록도이다.6 is a block diagram illustrating a remote surgery robot system according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 원격 수술 로봇 시스템은, 마스터 로봇(1) 및 슬레이브 로봇(2)을 포함한다. 슬레이브 로봇(2)은 수술용 로봇암(8)에 장착되는 인스트루먼트(20)와 복강경용 로봇암(9)에 장착되는 복강경 등의 내시경(21)을 포함한다. 마스터 로봇(1)은 마스터 인터페이스(4), LCD 등 디스플레이 수단(6), 및 암 조작부(10)를 포함하고, 마스터 인터페이스(4)는 제어부(610), 메모리(611), 영상 입력부(620), 화면 표시부(630), 조작 처리부(640) 및 변형력 인식 수단(690)을 포함한다. 변형력 인식 수단(690)은 변위 산출부(650), 힘 결정부(660)를 포함한다.Referring to FIG. 6, the remote surgical robot system according to an embodiment of the present invention includes a master robot 1 and a slave robot 2. The slave robot 2 includes an instrument 20 mounted on the surgical robot arm 8 and an endoscope 21 such as a laparoscope mounted on the laparoscopic robot arm 9. The master robot 1 includes a master interface 4, a display means 6 such as an LCD, and an arm operating unit 10. The master interface 4 includes a control unit 610, a memory 611, and an image input unit 620. ), A screen display unit 630, a manipulation processing unit 640 and the deformation force recognition means 690. The deformation force recognition means 690 includes a displacement calculator 650 and a force determiner 660.

인스트루먼트(20)는 도 1과 같이 슬레이브 로봇(2)의 수술용 로봇암(8)에 장착되고, 복강경 등의 내시경(21)은 슬레이브 로봇(2)의 복강경용 로봇암(9)에 장착된다. LCD 등 디스플레이 수단(6)은 수술 과정을 모니터링하기 위한 수단으로서 복강경 등의 내시경(21)이 획득한 영상에 기초하여 해당 영상을 표시하며, 암(arm) 조작부(10)는 핸들 형태로서 슬레이브 로봇(2)의 로봇암(8,9)의 위치 및 기능을 수술자가 조작할 수 있도록 하기 위한 수단이고, 암 조작부(10)의 조작에 따라 조작 처리부(640)가 해당 조작 신호를 생성함으로써 슬레이브 로봇(2)의 로봇암(8,9)에 장착된 인스트루먼트(20)의 운동을 제어할 수 있다. 조작 처리부(640)는 모터의 회전력이나 유압 또는 공기압 등 다양한 구동력을 이용하여 암 조작부(10)가 부드럽게 한정된 범위에서 움직일 수 있도록 제어할 수 있으며, 조작 처리부(640)의 해당 조작 신호의 발생은 슬레이브 로봇(2)의 로봇암(8,9)에 장착된 인스트루먼트(20)가 일정 비율로 같은 방향의 운동을 일으킬 수 있다. 로봇 암(8,9)의 운동에도 모터의 회전력이나 유압 또는 공기압 등을 이용할 수 있으며, 해당 조작 신호에 따라 부드럽게 한정된 범위에서 움직일 수 있다. The instrument 20 is mounted on the surgical robot arm 8 of the slave robot 2 as shown in FIG. 1, and the endoscope 21 such as a laparoscope is mounted on the laparoscopic robot arm 9 of the slave robot 2. . The display means 6 such as an LCD displays a corresponding image based on an image acquired by the endoscope 21 such as a laparoscope as a means for monitoring a surgical procedure, and the arm operation unit 10 is a slave robot in the form of a handle. Means for allowing the operator to manipulate the position and function of the robot arms 8 and 9 of (2), and the slave processing unit 640 generates a corresponding operation signal according to the operation of the arm operating unit 10, thereby causing the slave robot to operate. The movement of the instrument 20 mounted in the robot arms 8 and 9 of (2) can be controlled. The manipulation processing unit 640 may control the arm manipulation unit 10 to move smoothly in a limited range by using various driving forces such as a rotational force, hydraulic pressure, or pneumatic pressure of the motor, and the generation of a corresponding manipulation signal of the manipulation processing unit 640 is slaved. The instruments 20 mounted on the robot arms 8, 9 of the robot 2 can cause movement in the same direction at a constant rate. The rotational force of the motor, the hydraulic pressure or the pneumatic pressure can also be used for the movement of the robot arms 8 and 9, and can be moved smoothly in a limited range according to the operation signal.

제어부(610)는 위와 같은 마스터 인터페이스(4)를 구성하는 메모리(611), 영상 입력부(620), 화면 표시부(630), 조작 처리부(640) 및 변형력 인식 수단(690) 등의 전반적인 제어를 담당하는 프로세서에 해당하며, 위와 같은 마스터 인터페이스(4)의 구성 요소들의 일부를 포함하여 해당 기능이 수행되도록 할 수도 있다. 위와 같은 마스터 인터페이스(4)의 구성요소들은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. The controller 610 is responsible for overall control of the memory 611, the image input unit 620, the screen display unit 630, the manipulation processor 640, and the deformation force recognition means 690 constituting the master interface 4 as described above. This corresponds to a processor, and may include a part of the components of the master interface 4 as described above to perform the corresponding function. The components of the master interface 4 as described above may be implemented in hardware, software, or a combination thereof.

메모리(611)에는 인스트루먼트(20), 즉, 샤프트(40)의 굽은 정도나 굽은 각도 등의 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 저장한다. 도 7에는 이와 같이 데이터베이스화되는 변위별 힘의 크기에 대한 예가 도시되어 있다. 하기하는 바와 같이, 인스트루먼트(20), 즉, 샤프트(40)의 재질, 길이, 또는 두께에 따라 같은 변위에 대하여 힘을 받는 정도가 다를 수 있으므로, 이와 같은 샤프트(40)의 재질, 길이, 또는 두께 등을 고려하여 참조되도록 메모리(611)에는 각각에 대하여 테이블값(변위별 힘의 크기)이 별도로 데이터베이스화 되어 저장될 수도 있다. 이와 같은 테이블값은 탄성체로 된 인스트루먼트(20), 즉, 샤프트(40)가 실제 변형하는 정도를 실측하여 이를 바탕으로 실제 받는 힘과 유사한 값으로 데이터베이스화될 수 있다. The memory 611 stores a table value in which the magnitude of the force is databased for each displacement corresponding to the deformation of the instrument 20, that is, the bending degree or the bending angle of the shaft 40. Figure 7 shows an example of the magnitude of the displacement-specific force that is databased as described above. As will be described below, since the degree of force applied for the same displacement may vary depending on the material, length, or thickness of the instrument 20, that is, the shaft 40, the material, length, or the like of the shaft 40. In order to refer to the memory 611 in consideration of the thickness and the like, a table value (a magnitude of force for each displacement) may be separately stored in a database. Such a table value may be databased to a value similar to the actual force received based on the measurement of the degree of actual deformation of the elastic body 20, that is, the shaft 40.

영상 입력부(620)는 슬레이브 로봇(2)의 내시경(21)에 구비된 소정 카메라를 통해 획득된 영상 정보를 수신하며, 화면 표시부(630)는 영상 입력부(620)로부터의 영상 신호에 기초하여 해당 영상을 디스플레이 수단(6)을 통해 디스플레이 할 수 있도록 처리한다. The image input unit 620 receives image information acquired through a predetermined camera provided in the endoscope 21 of the slave robot 2, and the screen display unit 630 corresponds to the image signal based on the image signal from the image input unit 620. The image is processed to be displayed through the display means 6.

변위 산출부(650)는 인스트루먼트(20), 즉, 샤프트(40)를 인체 내에 삽입하여 수술을 진행하는 동안에, 인스트루먼트(20), 즉, 샤프트(40)가 인체 조직에 접촉한 후의 변형(예를 들어, 장기를 누르기, 잡아 당기기, 또는 들어 올리기 등의 과정에서의 변형)에 대한 변위를 측정할 수 있다. 변위 산출부(650)는 내시경(21)으로 획득한 영상에 기초하여 다양한 방식으로 영상을 해석함으로써 인스트루먼트(20), 즉, 샤프트(40)의 변형에 대한 해당 변위를 측정할 수 있다. The displacement calculator 650 is a deformation after the instrument 20, that is, the shaft 40 is in contact with the human tissue during the operation by inserting the instrument 20, that is, the shaft 40 into the human body (for example, For example, deformation in the process of pressing, pulling, or lifting an organ can be measured. The displacement calculator 650 may measure the corresponding displacement with respect to the deformation of the instrument 20, that is, the shaft 40 by analyzing the image in various ways based on the image acquired by the endoscope 21.

힘 결정부(660)는 변위 산출부(650)가 측정하여 산출한 변위에 기초하여 인스트루먼트(20)가 인체 내에서 받는 힘을 결정할 수 있다. 힘 결정부(660)는 인스트루먼트(20)의 샤프트(40)의 재질, 길이, 두께 등의 특성 정보를 이용한 모델링에 기초하여 실시간으로 해당 변위에 대한 힘을 결정할 수 있다. 예를 들어, 모델링 함수 f(재질, 길이, 두께 등 특성 정보와 변위)의 변수가 되는 해당 특성 정보와 변위만 정해지면 힘 결정부(660)는 위와 같은 모델링 함수에 따라 변위별 힘을 산출할 수 있다.The force determiner 660 may determine the force that the instrument 20 receives in the human body based on the displacement calculated by the displacement calculator 650. The force determiner 660 may determine the force for the corresponding displacement in real time based on modeling using characteristic information such as material, length, and thickness of the shaft 40 of the instrument 20. For example, if only the corresponding characteristic information and the displacement, which are variables of the modeling function f (material information such as material, length, thickness, and displacement) are determined, the force determining unit 660 may calculate the displacement-specific force according to the above modeling function. Can be.

이외에도, 힘 결정부(660)는 도 7과 같이 메모리(611)에 데이터베이스화된 테이블값을 참조하여 변위 산출부(650)가 측정하여 산출한 변위에 대응된 힘의 크기에 대한 테이블값을 추출할 수도 있고, 이와 같이 추출된 힘을 수술 의사에게 알려줄 수 있다. 이때 힘 결정부(660)는 인스트루먼트(20)의 샤프트(40)의 재질, 길이, 두께 등에 따라 메모리(611)에 데이터베이스화된 적절한 테이블값을 참조하여 해당 힘을 추출할 수도 있다. 도 14와 같이 상기 결정된 힘의 크기에 대한 정보는 내시경 영상이 디스플레이되는 수단을 통해 표시될 수도 있으며, 또는 암 조작부(10)에 해당 반력이 가해지도록 할 수도 있다.In addition, the force determiner 660 extracts a table value for the magnitude of the force corresponding to the displacement measured by the displacement calculator 650 with reference to the table values databased in the memory 611 as shown in FIG. 7. In addition, the extracted force can be informed to the surgeon. In this case, the force determining unit 660 may extract the corresponding force by referring to an appropriate table value databased in the memory 611 according to the material, length, thickness, and the like of the shaft 40 of the instrument 20. As shown in FIG. 14, the information about the determined magnitude of force may be displayed through a means for displaying an endoscope image, or a corresponding reaction force may be applied to the arm manipulation unit 10.

도 8은 도 5와 같은 인스트루먼트(20)의 변형에 대한 힘의 크기를 결정하는 방법을 설명하기 위한 흐름도이다. FIG. 8 is a flowchart illustrating a method of determining the magnitude of the force for deformation of the instrument 20 as shown in FIG. 5.

도 8을 참조하면, 먼저, 수술 의사는 인스트루먼트(20)를 인체 내에 삽입하여 수술 부위에 근접시키기 위하여 암 조작부(10)를 조작하기 시작한다(S11). 암 조작부(10)를 조작하여 인스트루먼트(20)를 인체 내에 삽입하는 동안 또는 인스트루먼트(20)를 이용한 수술 과정 동안에, 인스트루먼트(20), 즉, 이펙터(38) 또는 샤프트(40) 등 인스트루먼트(20)의 구성 요소가 인체 조직에 접촉될 때, 도 5와 같이 샤프트(40)는 힘을 받는 만큼 굽어질 수 있다(S12). 예를 들어, 인스트루먼트(20)의 이펙터(38)를 이용해 장기를 누르거나, 잡아 당기거나, 또는 들어 올리기 등의 과정에서 샤프트(40)는 힘을 받는 만큼 굽어질 수 있다.Referring to FIG. 8, first, the surgeon inserts the instrument 20 into the human body and starts to operate the cancer manipulation unit 10 to approach the surgical site (S11). While inserting the instrument 20 into the human body by operating the arm manipulation unit 10 or during a surgical procedure using the instrument 20, the instrument 20 such as the effector 38 or the shaft 40, etc. When the component of the contact with the human tissue, as shown in Figure 5 the shaft 40 can be bent by the force (S12). For example, the shaft 40 may be bent as much as the force is applied in the process of pressing, pulling, or lifting an organ using the effector 38 of the instrument 20.

이때 변위 산출부(650)는 인스트루먼트(20), 즉, 샤프트(40)의 변형에 대한 영상을 분석하기 시작한다(S13). 기본적으로 암 조작부(10)의 조작에 따라 조작 처 리부(640)가 해당 조작 신호, 예를들어, 상하/좌우/앞뒤 등의 운동 정보를 생성함으로써 슬레이브 로봇(2)의 로봇암(8,9)에 장착된 인스트루먼트(20)의 운동을 제어하므로, 변위 산출부(650)는 조작 처리부(640)로부터의 조작 신호를 이용하여 인스트루먼트(20)의 말단부, 즉, 이펙터(38)의 위치 정보(예를 들어, 내시경 영상에서의 수평 및 수직 위치)를 예측할 수 있으며, 또한 변위 산출부(650)는 샤프트(40)의 변형 후의 영상, 즉, 인스트루먼트(20)의 말단부의 실제 위치에 대한 영상을 영상 입력부(620)를 통해 수신하여 인스트루먼트(20)의 말단부, 즉, 이펙터(38)의 실제 위치 정보(예를 들어, 내시경 영상에서의 수평 및 수직 위치)를 계산할 수 있다. 이에 따라, 변위 산출부(650)는 조작 신호로부터 예측한 위치 정보와 실제 위치에 대한 영상으로부터 계산한 실제 위치 정보를 비교하여 샤프트(40)가 굽어지는 정도나 각도 등의 변위를 산출할 수 있다(S14).At this time, the displacement calculator 650 begins to analyze the image of the deformation of the instrument 20, that is, the shaft 40 (S13). Basically, according to the operation of the arm operating unit 10, the operation processing unit 640 generates the corresponding operation signals, for example, movement information such as up, down, left and right, front and rear, and the robot arms 8 and 9 of the slave robot 2. Since the movement of the instrument 20 mounted on the () is controlled, the displacement calculation unit 650 uses the operation signal from the manipulation processing unit 640, that is, the positional information (that is, the position information of the effector 38) of the instrument 20. For example, the horizontal and vertical positions in the endoscope image) can be predicted, and the displacement calculator 650 may also display an image after deformation of the shaft 40, that is, an actual position of the distal end portion of the instrument 20. Received through the image input unit 620 may calculate the actual position information (eg, horizontal and vertical position in the endoscope image) of the end of the instrument 20, that is, the effector 38. Accordingly, the displacement calculator 650 may calculate displacements such as the degree or angle of bending the shaft 40 by comparing the position information predicted from the manipulation signal with the actual position information calculated from the image of the actual position. (S14).

샤프트(40)는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인(인체 조직에 접촉 등)이 되는 힘을 제거하면 본래의 직진 상태로 복원될 수 있으므로, 변위 산출부(650)는 위와 같은 방법으로 샤프트(40)의 변형되기 전 단부쪽의 직진성과 샤프트(40)의 단부쪽이 굽어져 변형된 후의 샤프트(40)의 굽은 정도를 계산할 수 있다. 샤프트(40)의 단부나 기타 인체 조직 등에 의하여 힘을 받게 되면 샤프트(40)의 단부쪽은 직진성을 잃게 되고, 힘의 크기에 따라 그 굽은 정도, 즉 변위가 달라지게 된다. 여기서 변위는 도 5와 같이 샤프트(40)의 직진 시에 단부가 가리키는 방향과 변형 시에 단부가 가리키는 방향 사이의 각도 또는 샤프트(40)의 직진 시에 단부가 가리키는 점과 변형 시에 단부가 가리키는 점 사이의 거리 등으로 계산될 수 있다. The shaft 40 is made of a material that maintains a certain elastic force, so if the force causing the deformation (contact with the human tissue, etc.) can be removed, the shaft 40 can be restored to its original straight state. The straightness of the end side before the shaft 40 is deformed and the degree of bending of the shaft 40 after the end side of the shaft 40 is bent and deformed can be calculated. When the force is received by the end of the shaft 40 or other human tissues, the end of the shaft 40 loses the straightness, and the degree of bending, that is, the displacement is changed according to the magnitude of the force. Here, the displacement is an angle between the direction pointed by the end when the shaft 40 is straight and the direction pointed by the end when the shaft 40 is deformed, or the point indicated by the end point when the shaft 40 is straight and the end point when the shaft 40 is deformed as shown in FIG. 5. The distance between the points can be calculated.

이와 같은 변형 정도를 좀 더 쉽게 파악할 수 있도록 하기 위하여, 도 9와 같이, 샤프트(40)(샤프트의 외형)의 중간 부분(하우징 쪽의 기본 재질과 말단부 쪽의 기본 재질 사이)에 기본 재질보다 변형 정도가 다른 재질(91)을 둘 수도 있다. 기본 재질은 변형이 쉽게 일어나지 않는 단단한(rigid) 재질일 수도 있고, 다른 재질(91) 부분은 플렉서블 재질로 하여 기본 재질 보다는 더 잘 굽어지도록 하여 해당 부분에서 샤프트(40)의 변형량이 커지도록 할 수 있다. 이때, 수술 목적에 적합하도록 다양한 어플리케이션에서 플렉서블 부분(91)을 기본 재질 사이에 일정 간격으로 복수의 위치에 형성될 수 있으며, 그 길이나 탄성력도 해당 목적에 적합하도록 선택되어 제조될 수 있다.In order to more easily understand the degree of such deformation, as shown in FIG. 9, deformation in the middle portion (between the base material on the housing side and the base material on the distal end side) of the shaft 40 (outer shape of the shaft) than the base material is shown. It is also possible to have a material 91 of different degrees. The base material may be a rigid material that is not easily deformed, and the other material 91 may be a flexible material so that it bends better than the base material so that the deformation amount of the shaft 40 increases in the portion. have. In this case, the flexible portion 91 may be formed at a plurality of positions at regular intervals between the base materials in various applications to suit the surgical purpose, and the length or elastic force may be selected and manufactured to suit the corresponding purpose.

또한, 변위 산출부(650)가 인스트루먼트(20), 즉, 샤프트(40)의 변형 전과 비교된 변형 후의 변위를 좀 더 잘 측정할 수 있도록 하기 위하여, 도 10과 같이 인스트루먼트(20)의 말단부, 예를 들어, 샤프트(40)의 끝에 마커(marker)(92)를 둘 수도 있다. 마커(92)는 원주를 따라 복수개가 형성될 수도 있다. 변위 산출부(650)가 영상 입력부(620)를 통해 인스트루먼트(20)의 말단부의 실제 위치에 대한 영상을 수신하는 경우에, 영상 입력부(620)를 통해 수신되는 내시경(21) 영상은 수술 부위 주변의 장기 환경이나 내시경(21)에 장착된 카메라의 해상도 등에 따라 화질이 저하될 수 있으므로, 변위 산출부(650)는 영상 입력부(620)를 통해 수신하는 영상을 해석 시, 즉, 샤프트(40)의 직진성 판단이나 변형 판단 시에 오류를 일으킬 가능성도 있다. 따라서, 샤프트(40)의 끝에 원형, 네모, 별모양 등 일정 모양의 마 커(92)를 검정색 또는 파랑색 등 선명한 색상으로 형성해 놓은 경우에, 변위 산출부(650)는 마커(92)에 대한 위치 산출을 통해 해당 실제 위치 정보를 좀 더 정확하게 산출할 수 있다. 이에 따라, 변위 산출부(650)는 조작 신호로부터 예측한 위치 정보와 마커(92)의 실제 위치에 대한 영상으로부터 계산한 실제 위치 정보를 비교하여 샤프트(40)가 굽어지는 정도나 각도 등의 변위를 산출할 수 있다(S14).In addition, in order to allow the displacement calculator 650 to measure the displacement after deformation compared to the deformation of the instrument 20, that is, the shaft 40, the distal end of the instrument 20, as shown in FIG. For example, a marker 92 may be placed at the end of the shaft 40. A plurality of markers 92 may be formed along the circumference. When the displacement calculator 650 receives an image of the actual position of the distal end of the instrument 20 through the image input unit 620, the image of the endoscope 21 received through the image input unit 620 is around the surgical site. The image quality may be deteriorated according to the long-term environment of the camera or the resolution of the camera mounted on the endoscope 21, so that the displacement calculator 650 may analyze the image received through the image input unit 620, that is, the shaft 40. It is possible to cause an error in the straightness judgment or the deformation judgment. Therefore, when the marker 92 of a certain shape such as a circle, a square, or a star is formed in a vivid color such as black or blue at the end of the shaft 40, the displacement calculation unit 650 may be used for the marker 92. By calculating the position, the actual position information can be calculated more accurately. Accordingly, the displacement calculator 650 compares the position information predicted from the manipulation signal with the actual position information calculated from the image of the actual position of the marker 92, and the displacement of the shaft 40 such as the degree or angle of bending the shaft 40. It can be calculated (S14).

이외에도, 도 11과 같이, 샤프트(40)의 길이 방향으로 복수의 직선 줄 등의 변형 감지 보조 무늬(93)를 형성하여 변위 산출부(650)의 변위 계산을 보조하도록 할 수 있다. 여기서, 샤프트(40)의 길이 방향으로 직선 줄이 형성된 것을 예시하였으나, 이에 한정되는 것은 아니며 기타 점선 줄 등 좀 더 뚜렷한 영상으로 영상 해석을 보조할 다양한 변형 감지 보조 무늬(93)를 형성하여 이용할 수도 있다. 예를 들어, 변위 산출부(650)는 직선 줄이나 점선 줄 등의 변형 감지 보조 무늬(93)의 굽은 정도를 계산하여 샤프트(40)의 변형 전 직선일 때와 비교된 변형 후의 변위를 산출할 수 있다(S14).In addition, as shown in FIG. 11, the deformation detecting auxiliary pattern 93, such as a plurality of straight lines, may be formed in the longitudinal direction of the shaft 40 to assist the displacement calculation of the displacement calculator 650. Here, an example in which a straight line is formed in the longitudinal direction of the shaft 40 is illustrated. However, the present invention is not limited thereto, and various deformation detecting auxiliary patterns 93 may be formed and used to assist image analysis with a more distinct image such as a dotted line. have. For example, the displacement calculator 650 may calculate the degree of bending of the deformation detecting auxiliary pattern 93 such as a straight line or a dotted line to calculate a displacement after deformation compared to a straight line before deformation of the shaft 40. It may be (S14).

다른 방법으로는, 변위 산출부(650)는 인스트루먼트(20), 즉, 샤프트(40)의 변형 전과 후의 영상을 비교하기 위하여, 영상 입력부(620)를 통해 샤프트(40)의 변형 전의 영상과 인체 조직에 의해 힘을 받은 후 샤프트(40)의 변형 후의 영상을 수신할 수 있으며, 이와 같은 해석에 필요한 영상을 캡쳐하여 비교함으로써 인스트루먼트(20), 즉, 샤프트(40)가 인체 조직에 접촉하여 굽어지는 정도나 각도 등의 변위를 측정하여 산출할 수도 있다(S14). 예를 들어, 변위 산출부(650)는 인체 조직에 의해 힘을 받아 변형되기 전의 인스트루먼트(20), 즉, 샤프트(40)의 영상과 그 변형 후의 인스트루먼트(20), 즉, 샤프트(40)의 영상을 서로 비교하여 샤프트(40)가 변형된 해당 변위, 예를 들어, 변형 전후의 샤프트(40) 끝점의 변화된 거리나 변형 전후의 샤프트(40) 말단의 변화된 방향의 각도를 산출할 수도 있다.Alternatively, the displacement calculator 650 may compare the image before deformation of the shaft 40 and the human body through the image input unit 620 to compare the image before and after the deformation of the instrument 20, that is, the shaft 40. After receiving the force by the tissue, the image after the deformation of the shaft 40 can be received, and by capturing and comparing the images necessary for such an analysis, the instrument 20, that is, the shaft 40 contacts and bends the human tissue. It is also possible to calculate by measuring the displacement, such as the degree of loss or angle (S14). For example, the displacement calculator 650 may be an image of the instrument 20 before being deformed under the force of the human tissue, that is, the shaft 40, and the image of the instrument 20 after the deformation, that is, the shaft 40. The images may be compared to each other to calculate the corresponding displacement in which the shaft 40 is deformed, for example, the changed distance of the end of the shaft 40 before and after deformation or the angle of the changed direction of the shaft 40 end before and after deformation.

한편, 변위 산출부(650)가 샤프트(40)의 변형에 대한 변위를 산출하면, 이에 따라 힘 결정부(660)는 인스트루먼트(20)의 샤프트(40)의 재질, 길이, 두께 등의 특성에 대한 정보에 기초하여 실시간으로 해당 변위에 대한 힘을 결정할 수 있다. 예를 들어, 샤프트(40)의 재질, 길이, 두께 등의 특성에 대한 정보와 변위를 변수로 하는 소정 모델링 함수, 예를 들어, f(재질, 길이, 두께 등 특성 정보와 변위)를 이용하여, 힘 결정부(660)는 해당 변위에 대하여 그에 대응되는 힘을 실시간 산출할 수 있다.On the other hand, if the displacement calculation unit 650 calculates the displacement with respect to the deformation of the shaft 40, the force determining unit 660 according to the characteristics, such as the material, length, thickness, etc. of the shaft 40 of the instrument 20 Based on the information, the force for the displacement can be determined in real time. For example, using a predetermined modeling function that takes information on characteristics such as material, length and thickness of the shaft 40 and displacement as variables, for example, f (characteristic information such as material, length, thickness, and displacement). The force determining unit 660 may calculate a force corresponding to the displacement in real time.

다른 예로서, 도 7과 같이 메모리(611)에 미리 저장된 변위별 힘의 크기를 데이터베이스화한 테이블값을 참조하여 위의 변위 산출 결과와 매칭되거나 가장 근사한 에러를 갖는 힘의 크기에 대한 테이블값을 추출하여 인스트루먼트(20)가 인체 내에서 받는 힘을 결정할 수도 있다(S15). 이때 힘 결정부(660)는 인스트루먼트(20)의 샤프트(40)의 재질, 길이, 두께 등에 따라 메모리(611)에 데이터베이스화된 적절한 테이블값을 참조하여 해당 힘을 추출할 수도 있다.As another example, as shown in FIG. 7, a table value for the magnitude of the force having the closest or most similar error to the above displacement calculation result is referenced by referring to a table value having a database of the magnitude of the force for each displacement stored in the memory 611 as shown in FIG. 7. By extracting the instrument 20 may determine the force received in the human body (S15). In this case, the force determining unit 660 may extract the corresponding force by referring to an appropriate table value databased in the memory 611 according to the material, length, thickness, and the like of the shaft 40 of the instrument 20.

이때 도 14와 같이 상기 결정된 힘의 크기에 대한 정보를 내시경 영상이 디스플레이되는 수단을 통해 표시할 수도 있으며, 또는 암 조작부(10)에 해당 반력이 가해지도록 할 수도 있다. In this case, as shown in FIG. 14, information about the determined magnitude of force may be displayed through a means for displaying an endoscope image, or a corresponding reaction force may be applied to the arm manipulation unit 10.

예를 들어, 위와 같이 인스트루먼트(20)가 인체 내에서 받는 힘이 결정되면, 해당 결정된 힘은 조작 처리부(640)로 전달될 수 있고, 조작 처리부(640)는 암 조작부(10)의 운동에 대하여 샤프트(40)의 변형 전 보다 모터의 회전력이나 유압 또는 공기압 등의 구동력이 적게 발생되도록 반력을 가할 수 있다. 이와 같은 반력은 힘 결정부(660)가 결정한 힘에 비례할 수 있으며, 이에 따라, 수술 의사는 인스트루먼트(20)의 변형이 없을 때 암 조작부(10)의 조작 시의 느낌과 인스트루먼트(20)의 변형이 있을 때 암 조작부(10)의 조작 시의 느낌이 다름을 인지할 수 있다. 수술 의사로서는 암 조작부(10)의 조작에 반력을 느낌으로써 인스트루먼트(20)의 변형을 인지하게 되고, 수술 부위나 기타 인체 조직의 접촉에 의한 상해가 발생하지 않도록 조심하면서 수술을 진행 할 수 있게 된다. For example, as described above, when the force received by the instrument 20 in the human body is determined, the determined force may be transmitted to the manipulation processing unit 640, and the manipulation processing unit 640 may perform the movement of the arm manipulation unit 10. Reaction force may be applied to generate less driving force such as rotational force, hydraulic pressure, or air pressure of the motor than before the shaft 40 is deformed. Such a reaction force may be proportional to the force determined by the force determining unit 660, and thus, the surgeon may feel and feel the operation of the arm operating unit 10 when there is no deformation of the instrument 20. When there is a deformation, it can be recognized that the feeling at the time of manipulation of the arm operation part 10 is different. The surgeon can recognize the deformation of the instrument 20 by feeling a reaction force in the operation of the cancer operation unit 10, and proceed with surgery while being careful not to cause injury due to contact of the surgical site or other human tissues. .

이외에도, 도 12와 같이 인스트루먼트(20) 2개 또는 그 이상을 인체 내에 삽입하여 수술을 진행하는 동안에 대하여도 응용하여 위와 같은 힘을 결정할 수 있다. 예를 들어, 삽입된 인스트루먼트들 중 어느 하나 이상이 실밥 매듭을 위하여 좌우로 당김 동작을 하거나 2개의 인스트루먼트를 이용해 장기를 잡을 때와 같이 다른 인스트루먼트와의 상대적 당김(또는 밀기) 동작 시에, 변위 산출부(650)가 해당 인스트루먼트의 변형에 대한 변위를 측정할 수 있고, 이에 따라 힘 결정부(660)가 측정된 변위에 기초하여 메모리(611)에 데이터베이스화된 테이블값을 참조하여 해당 인스트루먼트가 인체 내에서 받는 힘을 결정할 수 있다. 이에 따라 도 14와 같이 해당 힘의 크기에 대한 정보가 내시경 영상이 디스플레이되는 수단을 통해 해당 인스트루먼트들에 대하여 표시될 수 있으며, 암 조작부(10)의 해당 조작 수단에 반력을 줄 수도 있다.In addition, as shown in FIG. 12, two or more instruments 20 may be inserted into the human body and applied to the same during the surgery to determine the above force. For example, when one or more of the inserted instruments is pulled to the left or right for a seam knot or when a relative pull (or push) operation with another instrument is performed, such as when holding an organ with two instruments, The unit 650 may measure the displacement with respect to the deformation of the instrument, and accordingly, the force determining unit 660 refers to the table value databased in the memory 611 based on the measured displacement, so that the instrument is a human body. You can determine the strength within you. Accordingly, as shown in FIG. 14, the information on the magnitude of the force may be displayed on the corresponding instruments by means of displaying the endoscope image, and may give a reaction force to the corresponding manipulation means of the arm manipulation unit 10.

위에서, 본 발명의 일실시예에 따른 인스트루먼트(20)는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인(인체 조직에 접촉, 장기 누르기, 잡아 당기기, 누르기, 다른 인스트루먼트와의 당김/밀기 동작 등)이 되는 힘을 제거하면 본래의 직진 상태로 복원될 수 있는 재질로 이루어진 샤프트(40)를 구비함을 설명하였다. 이와 같이 샤프트(40)가 탄성력이 유지되는 재질로 이루어진 것은, 인체 내에 삽입되어 수술 진행 동안에 인체 내에서 받는 힘에 의하여 일으키는 변형 정도를 변위 산출부(650)에 의하여 영상 해석으로 산출할 수 있게 하고, 이에 따라 힘 결정부(660)는 해당 변위에 대하여 인스트루먼트(20)가 인체 내에서 받는 힘을 결정하도록 하기 위함이었다. Above, the instrument 20 according to an embodiment of the present invention is made of a material that maintains a certain elastic force causes the deformation (contact with human tissue, long-term pressing, pulling, pressing, pulling / pushing with other instruments, etc.) It has been described that the shaft 40 is made of a material that can be restored to the original straight state by removing the force. The shaft 40 is made of a material that maintains the elastic force, it is inserted into the human body to be able to calculate the degree of deformation caused by the force received in the human body during the operation proceeds by the displacement calculation unit 650 by image analysis Therefore, the force determining unit 660 was to determine the force received by the instrument 20 in the human body with respect to the displacement.

또한, 도 9와 같이, 인스트루먼트(20)는 샤프트(40)의 변형 정도를 좀 더 쉽게 파악할 수 있도록 하기 위하여, 샤프트(40)의 중간 부분(하우징 쪽의 기본 샤프트 재질과 말단부 쪽의 기본 샤프트 재질 사이)에 기본 재질보다 좀 더 잘 굽어지는 플렉서블 부분(91)을 적절한 위치에 한 번 이상 둘 수도 있으며, 또한, 도 10과 같이, 변위 산출부(650)가 인스트루먼트(20), 즉, 샤프트(40)의 변형에 대한 해당 변위를 좀 더 잘 측정할 수 있도록 하기 위하여, 인스트루먼트(20)의 말단부, 예를 들어, 샤프트(40)의 끝에 마커(marker)(92)를 둘 수도 있다. In addition, as shown in Figure 9, the instrument 20, in order to more easily determine the degree of deformation of the shaft 40, the middle portion of the shaft 40 (base shaft material of the housing side and the base shaft material of the distal end side) The flexible portion 91, which bends better than the base material, may be placed at an appropriate position one or more times. In addition, as shown in FIG. 10, the displacement calculator 650 may include the instrument 20, that is, the shaft ( In order to be able to better measure the corresponding displacement with respect to the deformation of 40, a marker 92 may be placed at the distal end of the instrument 20, for example at the end of the shaft 40.

이외에도, 도 11과 같이, 인스트루먼트(20)의 샤프트(40)에는 길이 방향으로 복수의 직선 줄이나 점선 줄 등의 다양한 변형 감지 보조 무늬(91)가 형성되어 있을 수 있으며, 이는 변위 산출부(650)에서 변위 계산을 보조하도록 할 수 있다. 변형 감지 보조 무늬는 영상의 화질 저하 시에도 잘 보일 수 있도록 검정색, 파랑색 등의 굵은 실선이나 점선으로 될 수 있으며, 이때 샤프트(40)의 바탕 색은 흰색이나 회색 등 변형 감지 보조 무늬가 더 잘 보이게 하는 색상으로 선택되어 제조될 수 있다. 즉, 변위 산출부(650)가 영상 입력부(620)를 통해 수신되는 내시경(21) 영상에서 샤프트(40)에 형성된 위와 같은 변형 감지 보조 무늬에 대하여 직진성 판단이나 변형 판단을 수행함으로써 영상의 화질 저하 등의 문제에 따른 변위 산출부(650)의 변위 계산에 오류를 감소시킬 수 있다.In addition, as shown in Figure 11, the shaft 40 of the instrument 20 may be formed with a variety of deformation detection auxiliary pattern 91, such as a plurality of straight lines or dotted lines in the longitudinal direction, which is the displacement calculation unit 650 ) Can assist in calculating displacement. The distortion detection auxiliary pattern may be a thick solid line or a dotted line such as black or blue so that the distortion detection auxiliary pattern may be easily seen even when the image quality is deteriorated. It can be selected and produced in the colors that make it visible. That is, the displacement calculator 650 deteriorates the image quality of the image by performing the straightness determination or the deformation determination on the deformation detecting auxiliary pattern formed on the shaft 40 in the endoscope 21 image received through the image input unit 620. Errors in the displacement calculation of the displacement calculator 650 may be reduced due to a problem such as the above.

도 13과 같이 인스트루먼트(20)에는 도 6에서 설명된 변형력 인식 수단(690)이 하우징(30) 등 적절한 위치에 장착될 수도 있다. 이때에는 도 6에서 변형력 인식 수단(690)이 제거되거나 동작을 멈추고 마스터 인터페이스(4)의 제어부(610)를 통하여 인스트루먼트(20)에 장착된 변형력 인식 수단(690)으로 필요한 신호가 송신될 수 있으며, 변형력 인식 수단(690)으로부터 제어부(610)로 필요한 신호가 수신될 수 있다. 즉, 변형력 인식 수단(690)은 도 6과 같은 변위 산출부(650)와 힘 결정부(660)를 포함할 수 있다.As shown in FIG. 13, the deformation force recognition means 690 described with reference to FIG. 6 may be mounted at an appropriate position such as the housing 30. In this case, the strain force recognition means 690 may be removed or stopped in FIG. 6, and a necessary signal may be transmitted to the strain force recognition means 690 mounted on the instrument 20 through the control unit 610 of the master interface 4. The necessary signal may be received from the strain recognizing means 690 to the controller 610. That is, the deformation force recognition means 690 may include a displacement calculator 650 and a force determiner 660 as shown in FIG. 6.

이에 따라, 인스트루먼트(20), 즉, 샤프트(40)를 인체 내에 삽입하여 수술을 진행하는 동안에, 인스트루먼트(20)에 장착된 변형력 인식 수단(690)의 변위 산출부(650)는 도 8의 S14 단계와 유사한 방법으로 인체 조직에 접촉된 후의 샤프트(40)의 변형에 대한 변위를 측정할 수 있으며, 인스트루먼트(20)에 장착된 변형력 인식 수단(690)의 힘 결정부(660)는 도 8의 S15 단계와 유사한 방법으로 상기 변위에 기초하여 인체 내에서 받는 힘을 결정할 수 있다.Accordingly, the displacement calculation unit 650 of the deformation force recognition means 690 mounted to the instrument 20 during the operation by inserting the instrument 20, that is, the shaft 40 into the human body, is S14 of FIG. 8. In a similar manner to the step, the displacement of the shaft 40 after contact with the human tissue can be measured, and the force determining unit 660 of the deformation force recognition means 690 mounted to the instrument 20 is shown in FIG. In a similar manner to the step S15 can determine the force received in the human body based on the displacement.

또한, 도 13과 같이, 복수의 인스트루먼트를 사용하는 수술에서도 응용되어, 인스트루먼트(20)에 장착된 변형력 인식 수단(690)의 변위 산출부(650)는 다른 인스트루먼트와의 상대적 당김(또는 밀기) 동작 시의 샤프트(40)의 변형에 대한 변위를 측정할 수 있으며, 인스트루먼트(20)에 장착된 변형력 인식 수단(690)의 힘 결정부(660)는 해당 변위에 기초하여 인체 내에서 받는 힘을 결정할 수 있다. 여기서, 힘 결정부(660)는 인스트루먼트(20)의 샤프트(40)의 길이, 재질, 두께 등을 반영하여 메모리(611)를 참조하여 변위 산출부(650)가 측정한 변위에 해당하는 힘을 결정할 수도 있다. 또한, 필요한 경우, 도 6의 메모리(611)를 변형력 인식 수단(690)과 연결되도록 인스트루먼트(20) 내부에 장착하여 힘 결정부(660)가 해당 힘의 결정에 참조하도록 할 수도 있다. 이와 같이 인스트루먼트(20) 내부에 장착되는 메모리(611)와 변형력 인식 수단(690), 경우에 따라서는 제어부(610)의 일부 기능 등은 근거리 통신이 가능한 IC 칩 형태 또는 RFID 태그 형태로 구현되어 장착될 수도 있다.In addition, as shown in FIG. 13, it is also applied to surgery using a plurality of instruments, so that the displacement calculation unit 650 of the deformation force recognition means 690 mounted to the instrument 20 has a relative pulling (or pushing) operation with other instruments. The displacement with respect to the deformation of the shaft 40 of the city can be measured, and the force determining unit 660 of the deformation force recognition means 690 mounted to the instrument 20 determines the force received in the human body based on the displacement. Can be. Here, the force determining unit 660 reflects the length, material, thickness, and the like of the shaft 40 of the instrument 20 and refers to the force corresponding to the displacement measured by the displacement calculator 650 with reference to the memory 611. You can also decide. In addition, if necessary, the memory 611 of FIG. 6 may be mounted inside the instrument 20 so as to be connected to the deformation force recognition means 690 so that the force determiner 660 may refer to the determination of the force. As such, some functions of the memory 611 and the deformation force recognition means 690, and in some cases, the controller 610, which are mounted in the instrument 20, may be implemented in the form of an IC chip or an RFID tag capable of short-range communication. May be

위에서도 기술한 바와 같은 메모리(611)와 변형력 인식 수단(690) 및 변형력 인식 수단(690)의 동작을 위한 제어부(610)의 일부 기능 등은 도 6과 같이 마스터 로봇(1)에 장착되어 동작하는 것은 아니며, 도 13과 같이 인스트루먼트(20)의 하우징(30)에도 장착될 수 있고, 경우에 따라서는 독립적으로 구성되어 슬레이브 로봇(2)의 로봇 암(8) 등 다른 장치에 장착되어 동작되도록 할 수도 있다. As described above, some functions of the control unit 610 for operating the memory 611, the deformation force recognition means 690, and the deformation force recognition means 690 may be mounted and operated in the master robot 1 as shown in FIG. 6. It may be mounted on the housing 30 of the instrument 20 as shown in FIG. 13, and in some cases, may be independently configured to be mounted and operated on another device such as the robot arm 8 of the slave robot 2. It may be.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사 용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, optimal embodiments have been disclosed in the drawings and the specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not intended to limit the scope of the present invention as defined in the claims or the claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

도 1은 본 발명의 일실시예에 따른 원격 수술 로봇 시스템을 설명하기 위한 사시도이다.1 is a perspective view for explaining a remote surgical robot system according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 슬레이브 로봇을 나타내는 사시도이다.2 is a perspective view showing a slave robot according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 인스트루먼트를 나타내는 사시도이다.3 is a perspective view showing an instrument according to an embodiment of the present invention.

도 4는 본 발명의 일실시예에 따른 내시경 영상의 사진이다.4 is a photograph of an endoscope image according to an embodiment of the present invention.

도 5는 본 발명의 일실시예에 따른 인스트루먼트의 샤프트에서의 변형을 나타내는 도면이다.5 is a view showing the deformation in the shaft of the instrument according to an embodiment of the present invention.

도 6은 본 발명의 일실시예에 따른 원격 수술 로봇 시스템을 설명하기 위한 블록도이다.6 is a block diagram illustrating a remote surgery robot system according to an embodiment of the present invention.

도 7은 본 발명의 일실시예에 따라 인스트루먼트의 변위별로 데이터베이스화한 힘의 크기를 설명하기 위한 도면이다.7 is a view for explaining the magnitude of the force database by the displacement of the instrument according to an embodiment of the present invention.

도 8은 도 5와 같은 인스트루먼트의 변형에 대한 힘의 크기를 결정하는 방법을 설명하기 위한 흐름도이다.FIG. 8 is a flowchart for describing a method of determining a magnitude of force for deformation of an instrument as shown in FIG. 5.

도 9는 본 발명의 다른 실시예에 따른 인스트루먼트의 구조를 설명하기 위한 도면이다.9 is a view for explaining the structure of the instrument according to another embodiment of the present invention.

도 10은 본 발명의 또 다른 실시예에 따른 인스트루먼트의 구조를 설명하기 위한 도면이다.10 is a view for explaining the structure of the instrument according to another embodiment of the present invention.

도 11은 본 발명의 또 다른 실시예에 따른 인스트루먼트의 구조를 설명하기 위한 도면이다.11 is a view for explaining the structure of the instrument according to another embodiment of the present invention.

도 12는 환부 묶기 동작에 대한 수술 과정의 일례를 설명하기 위한 도면이다.12 is a view for explaining an example of the surgical procedure for the wound binding operation.

도 13은 본 발명의 다른 실시예에 따른 인스트루먼트의 구조를 설명하기 위한 도면이다.13 is a view for explaining the structure of the instrument according to another embodiment of the present invention.

도 14는 인스트루먼트에 가해지는 힘의 크기에 대한 정보를 표시하는 디스플레이 화면의 일례이다.14 is an example of a display screen displaying information on the magnitude of the force applied to the instrument.

<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

1: 마스터 로봇1: master robot

2: 슬레이브 로봇2: slave robot

3: 로봇 암3: robot arm

6: 마스터 인터페이스6: master interface

10: 암조작부10: cancer control unit

20: 인스트루먼트20: Instrument

38: 이펙터(effector)38: effector

40: 샤프트(shaft)40: shaft

Claims (40)

수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 내시경으로 획득한 영상에 기초하여 상기 인스트루먼트의 변형에 대한 변위를 산출하여 상기 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method, characterized in that for determining the force by calculating the displacement for the deformation of the instrument based on the image obtained by the endoscope. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 상기 인스트루먼트의 조작 수단의 조작에 따라 조작 처리 수단에서 생성하는 조작 신호를 이용하여 예측한 상기 인스트루먼트의 말단부의 위치 정보와 내시경으로 획득한 상기 말단부의 실제 위치에 대한 영상으로부터 계산한 상기 말단부의 실제 위치 정보를 비교하여 상기 변형에 대한 상기 변위를 산출하는 것을 특징으로 하는 수술 로봇 제어 방법.Actual position of the distal end calculated from an image of the position information of the distal end of the instrument predicted using an operation signal generated by the manipulation processing means according to the operation of the instrument operating means and an image of the actual position of the distal end acquired by an endoscope And comparing the information to calculate the displacement with respect to the deformation. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 힘을 받아 변형되기 전의 상기 인스트루먼트의 영상과 변형 후의 상기 인스트루먼트의 영상을 서로 비교하여 변형 전후의 상기 인스트루먼트의 말단부에 대한 상기 변위를 산출하는 것을 특징으로 하는 수술 로봇 제어 방법.And comparing the image of the instrument before the deformation with the force and the image of the instrument after the deformation to calculate the displacement with respect to the distal end of the instrument before and after deformation. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 상기 결정된 힘의 크기에 대한 정보를 내시경 영상이 디스플레이되는 수단을 통해 표시하는 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method characterized in that to display the information on the determined magnitude of the force through the means that the endoscope image is displayed. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 상기 인스트루먼트의 샤프트는 말단부에 형성된 일정 모양의 마커를 가지며, 내시경으로 획득한 영상에서 상기 마커를 이용하여 상기 변위를 산출하는 것을 특징으로 하는 수술 로봇 제어 방법.The shaft of the instrument has a marker of a predetermined shape formed at the distal end, surgical robot control method, characterized in that for calculating the displacement using the marker in the image obtained by the endoscope. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 상기 인스트루먼트의 샤프트에 직선 줄 또는 점선 줄을 포함한 변형 감지 보조 무늬를 가지며, 내시경으로 획득한 영상에서 상기 변형 감지 보조 무늬를 이용하여 상기 변위를 산출하는 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method characterized in that it has a deformation detecting auxiliary pattern including a straight line or a dotted line on the shaft of the instrument, the displacement is calculated using the deformation detecting auxiliary pattern in the image obtained by the endoscope. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어 방법.And a force corresponding to the displacement based on modeling using characteristic information including material, length, and thickness of the shaft of the instrument. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the operation by inserting the instrument into the human body, 상기 인스트루먼트의 변형에 대한 변위를 산출하고,Calculate displacements for deformation of the instrument, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하되,Determine the force the instrument receives within the human body based on the displacement, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 참조하여 상기 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어 방법.And determining the force with reference to a table value having a database of force values for respective displacements of the deformation of the shaft of the instrument. 제8항에 있어서,The method of claim 8, 상기 인스트루먼트의 샤프트의 재질, 길이, 또는 두께에 따라 상기 테이블값이 별도로 데이터베이스화된 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method characterized in that the table values are separately databased according to the material, length, or thickness of the shaft of the instrument. 제1항 내지 제8항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 8, 상기 결정된 힘에 따라, 상기 인스트루먼트의 조작 수단의 운동을 위한 구동력에 반력을 가하는 것을 특징으로 하는 수술 로봇 제어 방법.According to the determined force, the surgical robot control method, characterized in that for applying a reaction force to the driving force for the movement of the operating means of the instrument. 제10항에 있어서, 상기 조작 수단의 운동에 이용되는 상기 구동력은 모터의 회전력, 유압, 또는 공기압을 포함하는 것을 특징으로 하는 수술 로봇 제어 방법.The surgical robot control method according to claim 10, wherein the driving force used for the movement of the operation means includes a rotational force, hydraulic pressure, or air pressure of a motor. 제1항 내지 제8항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 8, 상기 인스트루먼트의 샤프트는 일정 탄성력이 유지되는 재질로 이루어지고 상기 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되는 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method characterized in that the shaft of the instrument is made of a material that maintains a certain elastic force and is restored to its original straight state by removing the force causing the deformation. 제12항에 있어서,The method of claim 12, 상기 인스트루먼트의 샤프트는 하우징 쪽의 기본 재질과 말단부 쪽의 기본 재질 사이에 변형 정도가 다른 재질을 포함하는 것을 특징으로 하는 수술 로봇 제어 방법.And the shaft of the instrument includes a material having a different degree of deformation between the base material of the housing side and the base material of the distal end side. 제13항에 있어서, The method of claim 13, 상기 변형 정도가 다른 재질은 상기 기본 재질보다 해당 부분에서 더 잘 굽어지는 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method characterized in that the material of different deformation degree is bent better in the corresponding portion than the base material. 제13항에 있어서,The method of claim 13, 상기 변형 정도가 다른 재질은 기본 재질 사이에 일정 간격으로 복수회 형성된 것을 특징으로 하는 수술 로봇 제어 방법.Surgical robot control method characterized in that the material having a different degree of deformation is formed a plurality of times at regular intervals between the base material. 삭제delete 제1항 내지 제8항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 8, 복수의 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에,During the surgery by inserting a plurality of instruments into the human body, 상기 복수의 인스트루먼트 중 어느 하나가 다른 인스트루먼트와의 상대적 당김 또는 밀기 동작을 할 때의 상기 인스트루먼트의 상기 변형에 대한 상기 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어 방법.And determining the force for the deformation of the instrument when any one of the plurality of instruments makes a relative pull or push operation with another instrument. 수술 로봇 제어 방법에 있어서,In the surgical robot control method, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 조작 수단의 조작에 대응되는 상기 인스트루먼트의 말단부의 위치를 예측하고 내시경 영상으로부터 상기 말단부의 실제 위치를 계산하여 상기 인스트루먼트의 변형에 대하여 인체 내에서 받는 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어 방법.During the operation by inserting an instrument into the human body, the position of the distal end of the instrument corresponding to the operation of the instrument's manipulation means is predicted, and the actual position of the distal end is calculated from an endoscope image to calculate the position of the distal end in the human body. Surgical robot control method, characterized in that for determining the force received. 수술 로봇을 제어하기 위한 변형력 인식 장치에 있어서,In the deformation force recognition device for controlling the surgical robot, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for inserting an instrument into the human body to calculate displacement for deformation of the instrument during surgery; And 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 힘 결정 수단을 포함하고,Force determining means for determining a force received by the instrument in the human body based on the displacement; 상기 변위 산출 수단은, 상기 인스트루먼트의 조작 수단의 조작에 따라 조작 처리 수단에서 생성하는 조작 신호를 이용하여 예측한 상기 인스트루먼트의 말단부의 위치 정보와 내시경으로 획득한 상기 말단부의 실제 위치에 대한 영상으로부터 계산한 상기 말단부의 실제 위치 정보를 비교하여 상기 변형에 대한 상기 변위를 산출하는 것을 특징으로 하는 수술 로봇 제어를 위한 변형력 인식 장치.The displacement calculation means is calculated from the position information of the distal end portion of the instrument predicted using the operation signal generated by the manipulation processing means in accordance with the operation of the instrument's operation means and an image of the actual position of the distal end portion obtained by the endoscope. Deformation force recognition device for controlling the surgical robot, characterized in that for calculating the displacement for the deformation by comparing the actual position information of the one end. 수술 로봇을 제어하기 위한 변형력 인식 장치에 있어서,In the deformation force recognition device for controlling the surgical robot, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for inserting an instrument into the human body to calculate displacement for deformation of the instrument during surgery; And 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 힘 결정 수단을 포함하고,Force determining means for determining a force received by the instrument in the human body based on the displacement; 상기 힘 결정 수단은, 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어를 위한 변형력 인식 장치.And the force determining means determines the force corresponding to the displacement based on modeling using the characteristic information including the material, length, and thickness of the shaft of the instrument. 수술 로봇을 제어하기 위한 변형력 인식 장치에 있어서,In the deformation force recognition device for controlling the surgical robot, 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for inserting an instrument into the human body to calculate displacement for deformation of the instrument during surgery; And 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 힘 결정 수단을 포함하고,Force determining means for determining a force received by the instrument in the human body based on the displacement; 상기 힘 결정 수단은, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별 힘의 크기가 저장 수단에 데이터베이스화되어 저장되어 있는 테이블값을 참조하여 상기 변위에 대한 상기 힘을 결정하는 것을 특징으로 하는 수술 로봇 제어를 위한 변형력 인식 장치.And the force determining means determines the force for the displacement with reference to a table value in which the magnitude of the displacement-specific force for the deformation of the shaft of the instrument is stored in a database in a storage means. Strain recognition device for robot control. 제19항 내지 제21항 중 어느 한 항에 있어서,The method according to any one of claims 19 to 21, 상기 힘 결정 수단은, 상기 결정한 힘에 따라 상기 인스트루먼트의 조작 수단의 운동을 위한 구동력에 반력을 가하는 것을 특징으로 하는 수술 로봇 제어를 위한 변형력 인식 장치.And the force determining means applies a reaction force to a driving force for the movement of the operating means of the instrument according to the determined force. 로봇암에 장착되는 인스트루먼트를 포함하는 슬레이브 로봇과 상기 슬레이브 로봇을 제어하기 위한 마스터 로봇을 포함하는 수술 로봇 시스템에 있어서,In the surgical robot system comprising a slave robot including an instrument mounted to the robot arm and a master robot for controlling the slave robot, 상기 마스터 로봇은, 상기 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하고, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함하고,The master robot includes deformation force recognition means for inserting the instrument into the human body to calculate a displacement for deformation of the instrument during the operation, and determine the force the instrument receives in the human body based on the displacement. and, 상기 변형력 인식 수단은,The deformation force recognition means, 상기 인스트루먼트의 실제 변형에 대한 영상 해석을 기반으로 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for calculating a displacement based on an image analysis of actual deformation of the instrument; And 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정하는 힘 결정 수단을 포함하는 것을 특징으로 하는 수술 로봇 시스템.And force determining means for determining a force corresponding to the displacement based on modeling using characteristic information including material, length, and thickness of the shaft of the instrument. 로봇암에 장착되는 인스트루먼트를 포함하는 슬레이브 로봇과 상기 슬레이브 로봇을 제어하기 위한 마스터 로봇을 포함하는 수술 로봇 시스템에 있어서,In the surgical robot system comprising a slave robot including an instrument mounted to the robot arm and a master robot for controlling the slave robot, 상기 마스터 로봇은, 상기 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안의 상기 인스트루먼트의 변형에 대한 변위를 산출하고, 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 변형력 인식 수단; 및 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 저장하는 저장 수단을 포함하고,The master robot includes: deformation force recognition means for inserting the instrument into a human body to calculate a displacement for deformation of the instrument during an operation, and determining a force that the instrument receives in the human body based on the displacement; And storage means for storing a table value database of the magnitude of force for each displacement of the deformation of the shaft of the instrument, 상기 변형력 인식 수단은,The deformation force recognition means, 상기 인스트루먼트의 실제 변형에 대한 영상 해석을 기반으로 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for calculating a displacement based on an image analysis of actual deformation of the instrument; And 상기 변위에 대하여 상기 저장 수단에 저장된 상기 테이블값을 참조하여 상기 힘을 결정하는 힘 결정 수단을 포함하는 것을 특징으로 하는 수술 로봇 시스템.And force determining means for determining the force with reference to the table value stored in the storage means with respect to the displacement. 로봇암에 장착되는 인스트루먼트를 포함하는 슬레이브 로봇과 상기 슬레이브 로봇을 제어하기 위한 마스터 로봇을 포함하는 수술 로봇 시스템에 있어서,In the surgical robot system comprising a slave robot including an instrument mounted to the robot arm and a master robot for controlling the slave robot, 상기 마스터 로봇은,The master robot, 상기 인스트루먼트를 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 조작 수단의 조작에 대응되는 상기 인스트루먼트의 말단부의 위치를 예측하고 내시경 영상으로부터 상기 말단부의 실제 위치를 계산하여 상기 인스트루먼트의 변형에 대하여 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함하는 것을 특징으로 하는 수술 로봇 시스템.During the operation by inserting the instrument into the human body, the position of the distal end of the instrument corresponding to the manipulation of the operating means of the instrument is predicted, and the actual position of the distal end is calculated from an endoscope image to calculate the human body with respect to the deformation of the instrument. And a deformation force recognition means for determining a force received therein. 제25항에 있어서, The method of claim 25, 상기 변형력 인식 수단은,The deformation force recognition means, 상기 인스트루먼트의 실제 변형에 대한 영상 해석을 기반으로 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for calculating a displacement based on an image analysis of actual deformation of the instrument; And 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정하는 힘 결정 수단을 포함하는 것을 특징으로 하는 수술 로봇 시스템.And force determining means for determining a force corresponding to the displacement based on modeling using characteristic information including material, length, and thickness of the shaft of the instrument. 제25항에 있어서, The method of claim 25, 상기 마스터 로봇은,The master robot, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 저장하는 저장 수단을 포함하고,Storage means for storing a table value database of the magnitude of the force for each displacement of the deformation of the shaft of the instrument, 상기 변형력 인식 수단은,The deformation force recognition means, 상기 인스트루먼트의 실제 변형에 대한 영상 해석을 기반으로 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for calculating a displacement based on an image analysis of actual deformation of the instrument; And 상기 변위에 대하여 상기 저장 수단에 저장된 상기 테이블값을 참조하여 상기 힘을 결정하는 힘 결정 수단을 포함하는 것을 특징으로 하는 수술 로봇 시스템.And force determining means for determining the force with reference to the table value stored in the storage means with respect to the displacement. 하우징을 통해 로봇 암에 장착되고, 샤프트의 말단에 이펙터를 포함하는 수술용 인스트루먼트에 있어서,In a surgical instrument mounted to the robot arm through the housing, the surgical instrument comprising an effector at the end of the shaft, 상기 샤프트는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되고,The shaft is made of a material that maintains a constant elastic force is restored to the original straight state when removing the force causing the deformation, 상기 변형에 대한 변위의 영상 해석에 기반하여 인체 내에서 받는 힘을 결정하기 위하여 상기 탄성력이 유지되는 재질을 이용하는 것을 특징으로 하는 인스트루먼트.An instrument, characterized in that for using the material is maintained the elastic force to determine the force received in the human body based on the image analysis of the displacement for the deformation. 하우징을 통해 로봇 암에 장착되고, 샤프트의 말단에 이펙터를 포함하는 수술용 인스트루먼트에 있어서,In a surgical instrument mounted to the robot arm through the housing, the surgical instrument comprising an effector at the end of the shaft, 상기 샤프트는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되고,The shaft is made of a material that maintains a constant elastic force is restored to the original straight state when removing the force causing the deformation, 상기 샤프트는 말단부에 형성된 일정 모양의 마커를 가지며, 내시경으로 획득한 영상에서 상기 마커가 상기 변형에 대한 변위의 측정에 이용되는 것을 특징으로 하는 인스트루먼트.The shaft has a certain shape of the marker formed on the distal end, the instrument characterized in that the marker is used to measure the displacement for the deformation in the image obtained by the endoscope. 하우징을 통해 로봇 암에 장착되고, 샤프트의 말단에 이펙터를 포함하는 수술용 인스트루먼트에 있어서,In a surgical instrument mounted to the robot arm through the housing, the surgical instrument comprising an effector at the end of the shaft, 상기 샤프트는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되고,The shaft is made of a material that maintains a constant elastic force is restored to the original straight state when removing the force causing the deformation, 상기 샤프트는 직선 줄 또는 점선 줄을 포함한 변형 감지 보조 무늬를 가지며, 내시경으로 획득한 영상에서 상기 변형 감지 보조 무늬가 상기 변형에 대한 변위의 측정에 이용되는 것을 특징으로 하는 인스트루먼트.The shaft has a deformation detecting auxiliary pattern including a straight line or a dotted line, the deformation detection auxiliary pattern in the image obtained by the endoscope, characterized in that for measuring the displacement of the deformation. 하우징을 통해 로봇 암에 장착되고, 샤프트의 말단에 이펙터를 포함하는 수술용 인스트루먼트에 있어서,In a surgical instrument mounted to the robot arm through the housing, the surgical instrument comprising an effector at the end of the shaft, 상기 샤프트는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되고,The shaft is made of a material that maintains a constant elastic force is restored to the original straight state when removing the force causing the deformation, 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 샤프트의 변형에 대한 변위를 측정하고, 상기 변위에 기초하여 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함하는 것을 특징으로 하는 인스트루먼트.And a deformation force recognizing means for measuring a displacement against deformation of the shaft and determining a force received in the human body based on the displacement during insertion and operation in the human body. 하우징을 통해 로봇 암에 장착되고, 샤프트의 말단에 이펙터를 포함하는 수술용 인스트루먼트에 있어서,In a surgical instrument mounted to the robot arm through the housing, the surgical instrument comprising an effector at the end of the shaft, 상기 샤프트는 일정 탄성력이 유지되는 재질로 이루어져 변형의 원인이 되는 힘을 제거하면 본래의 직진 상태로 복원되고,The shaft is made of a material that maintains a constant elastic force is restored to the original straight state when removing the force causing the deformation, 인체 내에 삽입하여 수술을 진행하는 동안에, 상기 인스트루먼트의 조작 수단의 조작에 대응되는 상기 인스트루먼트의 말단부의 위치를 예측하고 내시경 영상으로부터 상기 말단부의 실제 위치를 계산하여 상기 인스트루먼트의 변형에 대하여 인체 내에서 받는 힘을 결정하는 변형력 인식 수단을 포함하는 것을 특징으로 하는 인스트루먼트.During insertion and operation in the human body, the position of the distal end of the instrument corresponding to the operation of the instrument's manipulation means is predicted, and the actual position of the distal end is calculated from the endoscope image to receive the internal deformation of the instrument. An instrument comprising strain force recognition means for determining a force. 제32항에 있어서, 33. The method of claim 32, 상기 변형력 인식 수단은,The deformation force recognition means, 상기 인스트루먼트의 변형에 대한 변위를 산출하는 변위 산출 수단; 및Displacement calculation means for calculating a displacement with respect to the deformation of the instrument; And 상기 변위에 기초하여 상기 인스트루먼트가 인체 내에서 받는 힘을 결정하는 힘 결정 수단을 포함하는 것을 특징으로 하는 인스트루먼트.And force determining means for determining the force the instrument receives in the human body based on the displacement. 제33항에 있어서, 34. The method of claim 33, 상기 힘 결정 수단은 상기 인스트루먼트의 샤프트의 재질, 길이, 두께를 포함한 특성 정보를 이용한 모델링에 기초하여 상기 변위에 대응되는 힘을 결정하는 것을 특징으로 하는 인스트루먼트.And the force determining means determines the force corresponding to the displacement based on the modeling using the characteristic information including the material, the length and the thickness of the shaft of the instrument. 제33항에 있어서,34. The method of claim 33, 상기 인스트루먼트의 샤프트의 상기 변형에 대한 해당 변위별로 힘의 크기를 데이터베이스화한 테이블값을 저장하는 저장 수단을 더 포함하고,Storage means for storing a table value database of the magnitude of the force for each displacement of the deformation of the shaft of the instrument, 상기 힘 결정 수단은 상기 저장 수단에 저장된 상기 테이블값을 참조하여 상기 힘을 결정하는 것을 특징으로 하는 인스트루먼트.The force determining means determines the force with reference to the table value stored in the storage means. 제35항에 있어서,36. The method of claim 35 wherein 상기 저장 수단은,The storage means, 상기 인스트루먼트의 샤프트의 재질, 길이, 또는 두께에 따라 상기 테이블값이 별도로 데이터베이스화된 것을 특징으로 하는 인스트루먼트.The table value is separately databased according to the material, length, or thickness of the shaft of the instrument. 제28항 내지 제32항 중 어느 한 항에 있어서,33. The method according to any one of claims 28 to 32, 상기 샤프트는 하우징 쪽의 기본 재질과 말단부 쪽의 기본 재질 사이에 변형 정도가 다른 재질을 포함하는 것을 특징으로 하는 인스트루먼트.And the shaft comprises a material having a different degree of deformation between the base material on the housing side and the base material on the distal end side. 제37항에 있어서, The method of claim 37, 상기 변형 정도가 다른 재질은 상기 기본 재질보다 해당 부분에서 더 잘 굽어지는 것을 특징으로 하는 인스트루먼트.The material having a different degree of deformation may be better bent in a corresponding portion than the base material. 제37항에 있어서, 상기 변형 정도가 다른 재질은 기본 재질 사이에 일정 간격으로 복수회 형성된 것을 특징으로 하는 인스트루먼트. 38. The instrument of claim 37, wherein the material having a different degree of deformation is formed a plurality of times at regular intervals between the base materials. 삭제delete
KR1020090076257A 2009-08-18 2009-08-18 Remote operation robot system for indirectly providing tactile sensation and control method thereof KR100997194B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090076257A KR100997194B1 (en) 2009-08-18 2009-08-18 Remote operation robot system for indirectly providing tactile sensation and control method thereof
PCT/KR2010/004953 WO2011021788A2 (en) 2009-08-18 2010-07-28 Remote surgical robot system and method for controlling same, for providing indirect surgical feel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090076257A KR100997194B1 (en) 2009-08-18 2009-08-18 Remote operation robot system for indirectly providing tactile sensation and control method thereof

Publications (1)

Publication Number Publication Date
KR100997194B1 true KR100997194B1 (en) 2010-11-30

Family

ID=43410210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090076257A KR100997194B1 (en) 2009-08-18 2009-08-18 Remote operation robot system for indirectly providing tactile sensation and control method thereof

Country Status (2)

Country Link
KR (1) KR100997194B1 (en)
WO (1) WO2011021788A2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101181613B1 (en) 2011-02-21 2012-09-10 윤상진 Surgical robot system for performing surgery based on displacement information determined by user designation and control method therefor
KR101267914B1 (en) 2011-10-25 2013-05-27 서울대학교산학협력단 Contol Apparatus for surgical robot
WO2014105509A1 (en) * 2012-12-31 2014-07-03 General Electric Company Systems and methods for remote control of a non-destructive testing system
US9770300B2 (en) 2013-09-04 2017-09-26 Samsung Electronics Co., Ltd. Surgical robot and control method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130015441A (en) * 2011-08-03 2013-02-14 주식회사 이턴 Surgical robot system
CN111712174A (en) 2018-02-15 2020-09-25 柯惠Lp公司 Sheath assembly for rigid endoscope

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585458B1 (en) * 2004-04-13 2006-06-07 국립암센터 Laparoscopic surgery robot system
KR100778387B1 (en) * 2006-12-26 2007-11-28 한국과학기술원 Surgery robot for laparoscope with multi-degree of freedoms and force measurement method thereof
US20080004632A1 (en) * 2002-08-13 2008-01-03 Sutherland Garnette R Microsurgical robot system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060106369A1 (en) * 2004-11-12 2006-05-18 Desai Jaydev P Haptic interface for force reflection in manipulation tasks
US8092397B2 (en) * 2006-02-22 2012-01-10 Hansen Medical, Inc. Apparatus for measuring distal forces on a working instrument
EP2037794B1 (en) * 2006-06-13 2021-10-27 Intuitive Surgical Operations, Inc. Minimally invasive surgical system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004632A1 (en) * 2002-08-13 2008-01-03 Sutherland Garnette R Microsurgical robot system
KR100585458B1 (en) * 2004-04-13 2006-06-07 국립암센터 Laparoscopic surgery robot system
KR100778387B1 (en) * 2006-12-26 2007-11-28 한국과학기술원 Surgery robot for laparoscope with multi-degree of freedoms and force measurement method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101181613B1 (en) 2011-02-21 2012-09-10 윤상진 Surgical robot system for performing surgery based on displacement information determined by user designation and control method therefor
WO2012115360A3 (en) * 2011-02-21 2012-12-13 Yoon Sang Jin Surgical robot system for performing surgery based on displacement information determined by the specification of the user, and method for controlling same
US9179980B2 (en) 2011-02-21 2015-11-10 Rimscience Co., Ltd. Surgical robot system for performing surgery based on displacement information determined by the specification of the user, and method for controlling same
KR101267914B1 (en) 2011-10-25 2013-05-27 서울대학교산학협력단 Contol Apparatus for surgical robot
WO2014105509A1 (en) * 2012-12-31 2014-07-03 General Electric Company Systems and methods for remote control of a non-destructive testing system
US9588515B2 (en) 2012-12-31 2017-03-07 General Electric Company Systems and methods for remote control of a non-destructive testing system
US9770300B2 (en) 2013-09-04 2017-09-26 Samsung Electronics Co., Ltd. Surgical robot and control method thereof

Also Published As

Publication number Publication date
WO2011021788A3 (en) 2011-06-16
WO2011021788A2 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
KR102387222B1 (en) Graphical user interface for displaying guidance information during video-guided procedures
US11607280B2 (en) Apparatus and method for using a remote control system in surgical procedures
KR102437404B1 (en) Systems and methods for controlling surgical instruments
KR102542848B1 (en) Systems and methods for display of pathological data in an image guided procedure
KR102171873B1 (en) Haptic glove and Surgical robot system
JP3230615B2 (en) Palpation device
US9622825B2 (en) Robotic system for flexible endoscopy
EP2434977B1 (en) Robotic system for flexible endoscopy
US9123155B2 (en) Apparatus and method for using augmented reality vision system in surgical procedures
EP2052691B1 (en) Medical device
JP4776944B2 (en) Robot guide catheter
KR100997194B1 (en) Remote operation robot system for indirectly providing tactile sensation and control method thereof
EP3503834A1 (en) Systems and methods for monitoring patient motion during a medical procedure
US10245111B2 (en) Operation support device
JP5024785B2 (en) Arm system mounted on an endoscopic device
EP2116174A1 (en) Endoscope device
KR20210005901A (en) Systems and methods related to elongated devices
JP7127128B2 (en) Surgical robot system and its surgical instrument
JP2012529970A (en) Virtual measurement tool for minimally invasive surgery
JP7144800B2 (en) Manipulative pressure detection device, human body model for manipulative training, manipulative training system, laparoscopic surgery support system
JP4875784B2 (en) Medical equipment
WO2015005072A1 (en) Surgical assistance robot
WO2018217431A1 (en) Robotic surgical system with automated guidance
JP6875690B1 (en) Surgical robot and control unit for surgical robot
AU2005200375A1 (en) Robotically guided catheter

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 9