CN102869310A - 操作输入装置以及机械手系统 - Google Patents

操作输入装置以及机械手系统 Download PDF

Info

Publication number
CN102869310A
CN102869310A CN201180021874XA CN201180021874A CN102869310A CN 102869310 A CN102869310 A CN 102869310A CN 201180021874X A CN201180021874X A CN 201180021874XA CN 201180021874 A CN201180021874 A CN 201180021874A CN 102869310 A CN102869310 A CN 102869310A
Authority
CN
China
Prior art keywords
input device
display
operating portion
relative position
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180021874XA
Other languages
English (en)
Other versions
CN102869310B (zh
Inventor
小川量平
岸宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN102869310A publication Critical patent/CN102869310A/zh
Application granted granted Critical
Publication of CN102869310B publication Critical patent/CN102869310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Position Input By Displaying (AREA)

Abstract

通过简易的结构防止操作部的可移动范围受限制。提供操作输入装置（1），其具备：显示器（5）；操作部（7），其操作该显示器（5）上所显示的显示物（2）；头戴部（6），其佩戴于操作者（B）的头部（C）；相对位置传感器（9、12），其检测该头戴部（6）或者操作部（7）中的一方相对于另一方的相对位置和相对姿势；控制部（8），其根据该相对位置传感器（9、12）所检测出的相对位置和相对姿势的变化，使显示器（5）内所显示的显示物（2）动作。

Description

操作输入装置以及机械手系统
技术领域
本发明涉及操作输入装置以及机械手系统。
背景技术
现公知有将对显示器和操作部的位置进行检测的传感器设置于天花板的虚拟体验型游戏装置（例如，参照专利文献1）。
现有技术文献
专利文献
专利文献1:日本特开2000－126462号公报
发明内容
发明所要解决的课题
但是，通过设置于天花板的空间传感器对显示器和操作部的位置以及姿势进行检测的方法，可应用于在天花板与显示器和操作部之间没有障碍物的专用的房间中，但是在照明装置和仪器等设备作为障碍物而存在的手术室中难以应用，存在可移动范围受限制这样的问题。在现有技术的方法中，通过固定于天花板的空间传感器取得具有各自的坐标系的显示器和操作部的位置和姿势信息，由此根据显示器和操作部各自的空间传感器坐标系中的位置/姿势信息，取得显示器和操作部的相对位置关系，所以存在坐标转换的运算复杂且耗时间这样的问题。
本发明是鉴于上述的事情而进行的，其目的是提供一种能够通过简易的结构防止操作部的可移动范围受限制的操作输入装置和机械手系统。
用于解决课题的方法
为了达到上述目的，本发明提供以下的方法。
本发明的一种方式提供一种操作输入装置，其具备：显示器；操作部，其对该显示器上显示的显示物进行操作；头戴部，其佩戴于操作者的头部；相对位置传感器，其检测该头戴部或者所述操作部中的一方相对于另一方的相对位置和相对姿势；以及控制部，其根据该相对位置传感器所检测出的相对位置和相对姿势的变化使所述显示器内显示的显示物动作。
根据上述方式，将头戴部佩戴于头部的操作者在一边观察显示器所显示的标示物一边对操作部进行操作时，通过相对位置传感器检测出头戴部或者操作部中的一方相对于另一方的相对位置和相对姿势，通过控制部来根据检测出的相对位置和相对姿势的变化使显示器内显示的显示物动作。由于检测佩戴于操作者头部的头戴部与该操作者所操作的操作部的相对位置和相对姿势，所以与在天花板和墙面具备传感器的以往的方法不同，能够防止操作部的可移动范围由于其他障碍物而受限制。
在上述方式中，所述显示器固定于所述头戴部，使得所述头戴部佩戴于所述操作者的头部时所述显示器配置于所述操作者的眼前。
由此，佩戴了头戴部的操作者能够一边观察配置于眼前的显示器显示的显示物一边操作。通过将显示器佩戴于操作者的头部，使操作者能够移动。
在上述方式中，所述相对位置传感器具备：标志，其设置于所述头戴部或者所述操作部中的一方；以及摄像部，其设置于所述头戴部或者所述操作部中的另一方，拍摄所述标志。
由此，通过设置于另一方的摄像部来拍摄设置于头戴部或者操作部中的一方的标志，能够直接检测出头戴部与操作部的相对位置。通过将固定于头戴部的显示器放置于操作者眼前，能够取得以操作者的视野为基准的视线坐标系下的操作部的相对位置/姿势信息，所以显示器上显示的显示物和显示该显示物的视线坐标系的转换可省略或者变得容易。由此，减低了运算量，能够进行高速处理，并且能够进行直观的操作。
在上述方式中，可以具备1个所述摄像部。
在该情况下，所述标志设置于不在同一平面上配置的至少4处即可。
由此，根据全部4处标志的位置变化能够检测出头戴部与操作部的相对姿势的变化，根据4处标志的标志间位置的变化能够检测出头戴部与操作部的相对位置的变化。
在上述方式中，也可以具备2个以上的所述摄像部。
在该情况下，所述标志设置于不在同一直线上配置的至少3处即可。
由此，根据全部3处标志的位置变化能够检测出头戴部与操作部的相对姿势的变化，根据3处标志的标志间位置的变化能够检测出头戴部与操作部的相对位置的变化。
在上述方式中，所述相对位置传感器可以具备能够取得操作者的视线的视线检测传感器。由此，能够更准确地取得操作者的视线与操作部的相对位置。
在上述方式中，在所述头戴部或者所述操作部中的至少一方，可具备检测在其空间坐标系中的位移信息的空间传感器。
由此，根据具备空间传感器的头戴部或者操作部的空间坐标系中的位移信息、以及头戴部与操作部的相对位置和相对姿势，能够提高显示器内显示的显示物的动作的精度。
能够判别头戴部与操作部之间的相对位置或者相对姿势的变化是否是由于头戴部或者操作部中的一方产生位移而产生，能够更准确地通过控制部控制显示物的动作。
在上述方式中，所述显示器固定于空间坐标系并且具备显示器用标志，该显示器用标志被设置于所述头戴部或者所述操作部中的所述另一方的所述摄像部拍摄。
由此，通过摄像部拍摄固定于空间坐标系的显示器所具备的显示器用标志，能够检测出显示器相对于摄像部的角度和位置。由此，即使操作者相对于显示器发生移动，也能够调节显示物的角度和方向，使显示物的坐标相对于操作者的视线坐标系能够始终保持固定。
本发明的一种方式提供了一种机械手系统，其具备上述任一操作输入装置、作为所述显示物的机械手以及取得所述显示器所显示的所述显示物的影像的观察装置。
由此，机械手的影像作为观察装置所取得的显示物而显示于显示器，控制部根据操作输入装置所具备的操作部与头戴部的相对位置和相对姿势的变化使机械手动作。由此，能够防止操作部的可移动范围由于其他障碍物而受限制，并且能够通过机械手进行处置。
发明效果
根据本发明，能够通过简易的结构防止操作部的可移动范围受限制，起到使繁琐的坐标转换所产生的计算成本降低这样的效果。
附图说明
图1是示出本发明的一个实施方式的机械手系统的整体结构图。
图2是示出图1的机械手系统所具备的本实施方式的操作输入装置的框图。
图3是示出图2的操作输入装置的变形例的整体结构图。
图4是示出图2的操作输入装置的其他变形例的整体结构图。
图5是示出图2的操作输入装置的其他变形例的整体结构图。
具体实施方式
以下，参照附图对本发明的一个实施方式的操作输入装置和机械手系统进行说明。
如图1所示，本实施方式的机械手系统1具备：插入患者A的体内的机械手2、拍摄该机械手2的影像的内窥镜（观察装置）3以及本实施方式的操作输入装置4。
在图1所示的例中，设置了2个机械手2，他们分别能够通过电动机2a分别改变其姿势、位置和动作状态。内窥镜3也能够通过电动机3a改变其姿势、位置和动作状态。
本实施方式的操作输入装置4具备：显示部（显示器）5，其显示内窥镜3所取得的患者A的体内的机械手2的影像；头戴型显示器（头戴部：以下称为HMD（HeadMounted Display头戴显示器））6，其佩戴于操作者B的头部C；操作部7，其由操作者B来操作；控制部8，其根据操作部7的操作使机械手2动作。
HMD6构成为以佩戴于操作者B的头部C的状态，将显示部5配置于操作者B眼前。HMD6具备：CCD之类的摄像部（相对位置传感器）9，其具有能够以佩戴于操作者B的头部C的状态来拍摄操作者B的头部C前方的视野；以及加速度传感器（空间传感器）10，其检测HMD6的空间坐标系中的加速度。
如图2所示，HMD6具有发送部11，对摄像部9所拍摄的图像信号和加速度传感器10所检测出的HMD6的空间坐标系中的加速度信号进行无线发送。
操作者B将操作部7持于手中，通过进行操作，能够操作机械手2和内窥镜3。4个发光的LED（标志：相对位置传感器）12被固定于操作部7，并被配置于不在同一平面上配置的位置。操作部7具备对机械手2和内窥镜3的操作输入信号进行无线发送的发送部13。
控制部8具备收发部14，该收发部14通过输入内窥镜3所取得的图像信号，对其进行处理后发送至HMD6，使设置于HMD6的显示部5显示所拍摄的图像。
控制部8通过接收部14接收从HMD6无线发送来的图像信号和加速度信号以及从操作部7无线发送来的操作输入信号，生成用于使机械手2动作的控制信号，根据生成的控制信号使机械手2的电动机2a动作，使机械手2移动或者使动作状态发生变化。根据这些控制信号，能够使内窥镜3的电动机3a动作，使内窥镜3移动或者使动作状态发生变化。
具体地说，控制部8处理设置于HMD6的摄像部9所取得的图像，根据摄像部9所拍摄的操作部7上的LED12的位置和间隔，计算出操作部7相对于HMD6的相对位置和相对姿势。控制部8根据设置于HMD6的加速度传感器10所输出的加速度信号，计算出空间坐标系中的HMD6的位置和姿势。
当操作部7相对于HMD6的相对位置和相对姿势发生变化时，控制部8根据来自加速度传感器10的加速度信号，判定其是来源于HMD6的位移还是来源于操作部7的位移，对来源于HMD6的位移的部分产生用于移动内窥镜3的控制信号，对来源于操作部7的位移部分产生机械手的控制信号。
即，无论在HMD6固定而操作部7发生位移情况下还是在操作部7固定而HMD6发生位移情况下，都能够改变摄像部9所取得的LED12的位置和间隔。但是，对于加速度传感器10所检测出的HMD6的位移量部分，由于是操作者B为了移动头部C而产生，因此根据基于该HMD6的位移量的控制信号来控制内窥镜3，能够将去除了HMD6的位移量的操作部7的位移部分作为控制信号，使机械手2动作。内窥镜3的动作能够通过对HMD6的位移设置滤波器和阈值，来选择停止和动作等的控制模式。
这样，根据本实施方式的机械手系统1和操作输入装置4，由于在佩戴于操作者B的头部C的HMD6上配置有摄像部9，该摄像部9检测操作者B手中所持的操作部7相对于HMD6的相对位置和相对姿势，所以即使操作者B移动，也不会由于照明和仪器等的障碍物而遮挡两者间的空间，能够防止操作部7的移动范围受限制。即，操作者B能够以自由的位置、自由的姿势来操作机械手2。
通过设置于HMD6的摄像部9，能够直接取得操作部7相对于固定于HMD6的操作者B的视线坐标系的相对3维信息。其结果是，减轻了控制部8中的坐标转换，具有能够高速地进行运算这样的优点。
通过在HMD6上安装能够取得操作者视线的视线检测传感器18，能够更准确地取得操作者的视线和操作部的相对位置。
在本实施方式中，例举了具备作为相对位置传感器而设置于HMD6的摄像部9以及设置于操作部7的4个LED12的示例，但也可以取而代之，将摄像部9设置于操作部7，将LED12设置于HMD6。
通过设置2个摄像部9，可以将安装于操作部7或HMD6的LED取为3个点而取得相对位置。在该情况下，LED即标志被配置于不在同一直线上配置的位置而固定。此外，标志为至少3处即可。此外，可以设置2个以上的摄像部。
将由加速度传感器10构成的空间传感器设置于HMD6，但也可以取而代之，设置于操作部7。
对于加速度传感器10，可以设置于HMD6和操作部7双方。由此，即使在摄像部9发生动作故障的情况下，也能够操作。通过使用一方的加速度传感器10的检测值，对相对位置和相对姿势进行校正，具有能够提高检测精度这样的优点。
在将加速度传感器10设置于HMD6和操作部7双方情况下，可以通过摄像部9和至少1个标志来检测相对位置，也可以通过加速度传感器10取得相对姿势。
通过无线发送将来自操作部7和HMD6的信号发送至控制部8，但也可以取而代之，如图3所示那样，通过布线15使HMD6和操作部7与控制部8连接，通过有线来发送。也可以如图4所示那样，将控制部8佩戴于操作者B，使操作者B能够更自由地移动。
在本实施方式中，例举了具有作为头戴部而配置于操作者B眼前的显示部5的HMD6，但也可以取而代之，如图5所示那样，仅将摄像部9和加速度传感器10固定于操作者B的头部C，对于显示部5采用空间坐标系固定的外置型的显示器16。在该情况下，由于操作者B的移动，操作者B和显示器16的相对位置关系和相对角度发生变化，所以如果不变更显示，则操作者B必须将显示器16所显示的机械手2的运动在大脑内进行转换来理解。
因此，将与上述相同的LED（显示器用标志）17设置于显示器16，通过设置于操作者B的头部C的摄像部9和加速度传感器10，也能检测出操作者B的头部C与显示器16的相对位置关系，通过变更显示，即使不在大脑内进行转换，也能够以相对于操作者B始终相同的状态来显示机械手2的动作。
在本实施方式中，作为标志，示例了不在同一平面上配置的4个LED12，但也可以取而代之，采用荧光标记和其他任意的标志。
也可以设置5个以上的标志。
在本实施方式中，作为空间传感器示例了加速度传感器10，但也可以取而代之，采用陀螺仪传感器或速度传感器。此外，它们的组合也可以。
标号说明
A患者
B操作者
C头部
1机械手系统
2机械手（显示物）
3内窥镜（观察装置）
4操作输入装置
5显示部（显示器）
6HMD（头戴型显示器，头戴部）
7操作部
8控制部
9摄像部（相对位置传感器）
10加速度传感器（空间传感器）
12LED（标志，相对位置传感器）
15布线
16显示器
17标志（显示器用标志）
18视线检测传感器

Claims (11)

1.一种操作输入装置，其具备：
显示器；
操作部，其对该显示器上显示的显示物进行操作；
头戴部，其佩戴于操作者的头部；
相对位置传感器，其检测该头戴部或者所述操作部中的一方相对于另一方的相对位置和相对姿势；以及
控制部，其根据该相对位置传感器所检测出的相对位置和相对姿势的变化使所述显示器内显示的显示物动作。
2.根据权利要求1所述的操作输入装置，其中，
所述显示器固定于所述头戴部，使得所述头戴部佩戴于所述操作者的头部时所述显示器配置于所述操作者的眼前。
3.根据权利要求1所述的操作输入装置，其中，
所述相对位置传感器具备：标志，其设置于所述头戴部或者所述操作部中的一方；以及摄像部，其设置于所述头戴部或者所述操作部中的另一方，拍摄所述标志。
4.根据权利要求3所述的操作输入装置，其中，
所述操作输入装置具备1个所述摄像部。
5.根据权利要求4所述的操作输入装置，其中，
所述标志设置于不在同一平面上配置的至少4处。
6.根据权利要求3所述的操作输入装置，其中，
所述操作输入装置具备2个以上的所述摄像部。
7.根据权利要求6所述的操作输入装置，其中
所述标志设置于不在同一直线上配置的至少3处。
8.根据权利要求1所述的操作输入装置，其中，
所述相对位置传感器具备能够取得操作者的视线的视线检测传感器。
9.根据权利要求1所述的操作输入装置，
所述头戴部或者所述操作部中的至少一方具备检测其空间坐标系中的位移信息的空间传感器。
10.根据权利要求3所述的操作输入装置，其中，
所述显示器固定于空间坐标系并且具备显示器用标志，该显示器用标志被设置于所述头戴部或者所述操作部中的所述另一方的所述摄像部拍摄。
11.一种机械手系统，其具备：
权利要求1至权利要求10中的任一项所述的操作输入装置；
作为所述显示物的机械手；以及
取得所述显示器所显示的所述显示物的影像的观察装置。
CN201180021874.XA 2010-05-10 2011-03-04 操作输入装置以及机械手系统 Active CN102869310B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010108344A JP5704833B2 (ja) 2010-05-10 2010-05-10 操作入力装置およびマニピュレータシステム
JP2010-108344 2010-05-10
PCT/JP2011/055050 WO2011142165A1 (ja) 2010-05-10 2011-03-04 操作入力装置およびマニピュレータシステム

Publications (2)

Publication Number Publication Date
CN102869310A true CN102869310A (zh) 2013-01-09
CN102869310B CN102869310B (zh) 2016-06-08

Family

ID=44914223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180021874.XA Active CN102869310B (zh) 2010-05-10 2011-03-04 操作输入装置以及机械手系统

Country Status (5)

Country Link
US (1) US9361818B2 (zh)
EP (1) EP2570890A4 (zh)
JP (1) JP5704833B2 (zh)
CN (1) CN102869310B (zh)
WO (1) WO2011142165A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103921265A (zh) * 2013-01-16 2014-07-16 株式会社安川电机 机器人示教系统和机器人示教方法
CN105188592A (zh) * 2013-03-15 2015-12-23 Sri国际公司 超灵巧型手术系统
CN105868569A (zh) * 2016-04-15 2016-08-17 福建水立方三维数字科技有限公司 一种产科护理虚拟仿真平台及其操作方法
CN106232048A (zh) * 2014-04-24 2016-12-14 柯惠Lp公司 机器人接口定位确定系统及方法
CN106781972A (zh) * 2016-12-27 2017-05-31 泉州医学高等专科学校 基于vr技术的胎儿平产接生模拟系统及方法
CN108698239A (zh) * 2016-02-25 2018-10-23 奥林巴斯株式会社 操纵器系统及其控制方法
CN109195544A (zh) * 2016-07-14 2019-01-11 直观外科手术操作公司 计算机辅助式远程操作系统中的次级器械控制
CN109498162A (zh) * 2018-12-20 2019-03-22 深圳市精锋医疗科技有限公司 提升沉浸感的主操作台及手术机器人
CN110788836A (zh) * 2018-08-03 2020-02-14 发那科株式会社 协同动作辅助装置
CN112822480A (zh) * 2020-12-31 2021-05-18 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9943372B2 (en) 2005-04-18 2018-04-17 M.S.T. Medical Surgery Technologies Ltd. Device having a wearable interface for improving laparoscopic surgery and methods for use thereof
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US9757206B2 (en) 2011-08-21 2017-09-12 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US9795282B2 (en) 2011-09-20 2017-10-24 M.S.T. Medical Surgery Technologies Ltd Device and method for maneuvering endoscope
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP6323974B2 (ja) * 2012-05-18 2018-05-16 オリンパス株式会社 手術支援装置
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
CN103699209A (zh) * 2012-09-27 2014-04-02 联想(北京)有限公司 一种输入设备
US9066323B2 (en) 2012-11-15 2015-06-23 Hewlett-Packard Development Company, L.P. Ad Hoc network connection
BR112015022187A2 (pt) 2013-03-14 2017-07-18 Stanford Res Inst Int ferramentas cirúrgicas minimamente invasivas
US20150187198A1 (en) * 2013-12-27 2015-07-02 Aaron G. Silverberg Orientation Measurement And Guidance Of Manually Positioned Objects
WO2016005988A1 (en) * 2014-07-10 2016-01-14 M.S.T. Medical Surgery Technologies Ltd. Improved interface for laparoscopic surgeries - movement gestures
KR101645392B1 (ko) 2014-08-13 2016-08-02 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
CN113017836A (zh) * 2015-02-20 2021-06-25 柯惠Lp公司 手术室和手术部位感知
JP6788327B2 (ja) * 2015-02-27 2020-11-25 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
WO2016171757A1 (en) 2015-04-23 2016-10-27 Sri International Hyperdexterous surgical system user interface devices
WO2016190057A1 (ja) * 2015-05-22 2016-12-01 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
CN108025445A (zh) 2015-07-23 2018-05-11 斯里国际 机器人臂及机器人手术系统
ITUB20153938A1 (it) * 2015-09-28 2017-03-28 Marco Raoul Marini Dispositivo per endoscopia
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN108472090B (zh) * 2015-12-29 2021-06-18 皇家飞利浦有限公司 用于控制外科手术机器人的系统、控制单元和方法
CN106175650A (zh) * 2016-06-29 2016-12-07 上海波鸿医疗器械科技有限公司 一种穿戴型腔镜虚拟显示系统
CN106137399B (zh) * 2016-08-31 2018-09-04 北京术锐技术有限公司 一种基于嵌入式计算机的手术机器人集成控制系统
US10492873B2 (en) * 2016-10-25 2019-12-03 Novartis Ag Medical spatial orientation system
JPWO2018143360A1 (ja) * 2017-02-03 2019-12-26 良夫 川又 相対位置検出システム及び画像表示システム
US11409091B2 (en) * 2019-12-31 2022-08-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11607287B2 (en) 2019-12-31 2023-03-21 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11864841B2 (en) 2019-12-31 2024-01-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
JP2024003621A (ja) * 2022-06-27 2024-01-15 川崎重工業株式会社 手術支援システムおよび手術支援システムの制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3273038B2 (ja) * 1999-11-17 2002-04-08 株式会社ナムコ 仮想体験型ゲーム装置
CN1373969A (zh) * 1999-07-13 2002-10-09 瑟吉维森有限公司 立体视频观察和图象放大系统
US20050203367A1 (en) * 2001-06-13 2005-09-15 Ahmed Syed N Guide system
CN1676286A (zh) * 2004-04-02 2005-10-05 李朝辉 生物信息随动即时示教控制机器人
CN101664339A (zh) * 2005-01-24 2010-03-10 直观外科手术公司 机器人手术的模块化机械手支架

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110735A (ja) 1993-10-14 1995-04-25 Nippon Telegr & Teleph Corp <Ntt> 装着型ペン入力装置
JP3482228B2 (ja) * 1993-11-02 2003-12-22 オリンパス株式会社 視線検出によるマニピュレータ制御システム
JP3610110B2 (ja) 1995-02-23 2005-01-12 オリンパス株式会社 医療用マニピュレータ
JP3816599B2 (ja) * 1996-10-29 2006-08-30 オリンパス株式会社 体腔内処置観察システム
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2000279425A (ja) * 1999-03-30 2000-10-10 Olympus Optical Co Ltd ナビゲーション装置
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
JP2002269567A (ja) * 2001-03-13 2002-09-20 Canon Inc 動き検出方法
HU0401034D0 (en) 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
GB2464092A (en) * 2008-09-25 2010-04-07 Prosurgics Ltd Surgical mechanism control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373969A (zh) * 1999-07-13 2002-10-09 瑟吉维森有限公司 立体视频观察和图象放大系统
JP3273038B2 (ja) * 1999-11-17 2002-04-08 株式会社ナムコ 仮想体験型ゲーム装置
US20050203367A1 (en) * 2001-06-13 2005-09-15 Ahmed Syed N Guide system
CN1676286A (zh) * 2004-04-02 2005-10-05 李朝辉 生物信息随动即时示教控制机器人
CN101664339A (zh) * 2005-01-24 2010-03-10 直观外科手术公司 机器人手术的模块化机械手支架

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103921265A (zh) * 2013-01-16 2014-07-16 株式会社安川电机 机器人示教系统和机器人示教方法
US10987192B2 (en) 2013-03-15 2021-04-27 Sri International Hyperdexterous surgical system
CN105188592B (zh) * 2013-03-15 2018-07-27 Sri国际公司 超灵巧型手术系统
US10299883B2 (en) 2013-03-15 2019-05-28 Sri International Hyperdexterous surgical system
US10383699B2 (en) 2013-03-15 2019-08-20 Sri International Hyperdexterous surgical system
US10376337B2 (en) 2013-03-15 2019-08-13 Sri International Hyperdexterous surgical system
CN105188592A (zh) * 2013-03-15 2015-12-23 Sri国际公司 超灵巧型手术系统
CN109171977A (zh) * 2013-03-15 2019-01-11 Sri国际公司 超灵巧型手术系统
CN106232048B (zh) * 2014-04-24 2019-05-03 柯惠Lp公司 机器人接口定位确定系统及方法
CN106232048A (zh) * 2014-04-24 2016-12-14 柯惠Lp公司 机器人接口定位确定系统及方法
CN108698239A (zh) * 2016-02-25 2018-10-23 奥林巴斯株式会社 操纵器系统及其控制方法
CN105868569A (zh) * 2016-04-15 2016-08-17 福建水立方三维数字科技有限公司 一种产科护理虚拟仿真平台及其操作方法
CN109195544A (zh) * 2016-07-14 2019-01-11 直观外科手术操作公司 计算机辅助式远程操作系统中的次级器械控制
CN109195544B (zh) * 2016-07-14 2021-07-20 直观外科手术操作公司 计算机辅助式远程操作系统中的次级器械控制
US11672616B2 (en) 2016-07-14 2023-06-13 Intuitive Surgical Operations, Inc. Secondary instrument control in a computer-assisted teleoperated system
CN106781972A (zh) * 2016-12-27 2017-05-31 泉州医学高等专科学校 基于vr技术的胎儿平产接生模拟系统及方法
CN110788836A (zh) * 2018-08-03 2020-02-14 发那科株式会社 协同动作辅助装置
CN109498162A (zh) * 2018-12-20 2019-03-22 深圳市精锋医疗科技有限公司 提升沉浸感的主操作台及手术机器人
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
CN112822480A (zh) * 2020-12-31 2021-05-18 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
US11819755B2 (en) 2020-12-31 2023-11-21 Qingdao Pico Technology Co., Ltd. VR system and positioning and tracking method of VR system

Also Published As

Publication number Publication date
US9361818B2 (en) 2016-06-07
CN102869310B (zh) 2016-06-08
JP2011237987A (ja) 2011-11-24
US20130063580A1 (en) 2013-03-14
EP2570890A4 (en) 2016-12-07
EP2570890A1 (en) 2013-03-20
WO2011142165A1 (ja) 2011-11-17
JP5704833B2 (ja) 2015-04-22

Similar Documents

Publication Publication Date Title
CN102869310A (zh) 操作输入装置以及机械手系统
EP3165939B1 (en) Dynamically created and updated indoor positioning map
US10679360B2 (en) Mixed motion capture system and method
KR101389894B1 (ko) 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
US8681095B2 (en) Operation input unit and manipulator system
JP4989660B2 (ja) モーションキャプチャー装置およびそれに係る方法
WO2010057304A8 (en) Hands-free pointer system
TW200718202A (en) Surveillance camera system, remote-controlled monitoring device, control method, and their control program
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
EP2743133A3 (en) Camera system
CA3059064C (en) Visual tracking of peripheral devices
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
EP3213799A1 (en) Tracker device of virtual reality system
WO2018232266A3 (en) SYSTEMS AND METHODS FOR INJURY PREVENTION AND REHABILITATION
US20210157394A1 (en) Motion tracking system and method
US20230244312A1 (en) Detection device and detection method
SE524278C2 (sv) Förfarande vid övervakning av en individs rörelse i och kring byggnader, rum och liknande.
JP2006276651A (ja) 動作検出装置および手話動作検出システム
CN111095168A (zh) 视觉和惯性运动跟踪
KR101672710B1 (ko) 증강현실을 이용한 실내 위치 모니터링 시스템
US11369866B2 (en) Position tracking apparatus and method
CN109388132B (zh) 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质
US20230236218A1 (en) System and methods for motion tracking
EP3832435A1 (en) Motion tracking system and method
TW202125166A (zh) 觸覺回饋裝置及其操作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant