CN113613847A - 控制设备及主从系统 - Google Patents

控制设备及主从系统 Download PDF

Info

Publication number
CN113613847A
CN113613847A CN202080023350.3A CN202080023350A CN113613847A CN 113613847 A CN113613847 A CN 113613847A CN 202080023350 A CN202080023350 A CN 202080023350A CN 113613847 A CN113613847 A CN 113613847A
Authority
CN
China
Prior art keywords
unit
point
slave
coordinate system
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080023350.3A
Other languages
English (en)
Other versions
CN113613847B (zh
Inventor
糸谷侑纪
横山一树
青山幸治
宫本敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113613847A publication Critical patent/CN113613847A/zh
Application granted granted Critical
Publication of CN113613847B publication Critical patent/CN113613847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/741—Glove like input devices, e.g. "data gloves"
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35503—Eye tracking associated with head mounted display to detect eye position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40617—Agile eye, control position of camera, active vision, pan-tilt camera, follow object

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

提供了一种控制设备，该控制设备包括控制单元，该控制单元计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系，并且控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。

Description

控制设备及主从系统
技术领域
本公开涉及一种控制设备及主从系统。
背景技术
近年来，作为用于执行内窥镜手术等的手术系统，已知能够在不在患者体内进行大切口的情况下接近患部的主从系统(以下，也被称为主从系统)。在这样的主从系统中，例如医生的操作者(用户)操作包括输入接口的主单元，并且根据操作者对主单元的操作远程操作包括诸如钳、镊子或内窥镜的医疗器械的从属单元。例如，从属单元被配置为臂设备，在该臂设备中在远端保持手术工具，并且可以改变手术工具在腹腔中的位置或姿势。
关于主从系统，已经研究了一种向用户(观察者)呈现图像以能够直观地操作从属单元的方法。例如，下面的专利文献1公开了一种用于基于用户佩戴的头戴式显示器的位置和姿势来控制从侧相机(slave-side camera)的位置和姿势的技术。
现有技术文献
专利文献
专利文献1：日本专利申请公开号2004-213673
发明内容
本发明要解决的问题
然而，根据诸如专利文献1的各种技术，已经存在用户(观察者)无法直观地观察主从系统中的对象的可能性。例如，根据用于根据主侧用户的面部的方向平移从侧相机的技术等，用户不能像从对象的上下左右各个方向环顾一样观察对象，因此不能说直观性是足够的。
因此，本公开是针对上述情况做出的，并且提供了一种新颖和改进的控制设备和主从系统，使得用户(观察者)能够更直观地观察主从系统中的对象。
问题的解决方案
根据本公开，提供了一种控制设备，包括控制单元，控制单元计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系，并且控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。
此外，根据本公开，提供了一种主从系统，包括从属单元、用于操作从属单元的主单元和控制单元，控制单元
计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系，并且控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。
附图说明
图1是示出根据本实施例的主从系统的配置示例的框图。
图2是示出根据本实施例的主单元的示例的视图。
图3是示出根据本实施例的从属单元的示例的视图。
图4是示出根据本实施例的显示单元的立体显示的示例的说明图。
图5是示出根据本实施例的显示单元的立体显示的示例的说明图。
图6是示出根据本实施例的显示单元的立体显示的示例的说明图。
图7是示出根据本实施例的显示单元的立体显示的示例的说明图。
图8是从横向(与X轴方向相反的方向)观察用户观看显示在显示表面上的对象的状态时的图。
图9是从横向(在与X'轴方向相反的方向)观察成像单元对对象成像的状态时的图。
图10当从上方(在与Y轴方向相反的方向)观察用户观看显示在显示表面上的对象的状态时的图。
图11是从上方(沿与Y'轴方向相反的方向观察成像单元正在对对象成像的状态时的图。
图12是用于说明在第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度不同的情况下的应对方法的图。
图13是用于说明在第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度不同的情况下的应对方法的图。
图14是示出根据本实施例的控制单元的配置示例的框图。
图15是示出根据本实施例的主从系统的每个配置的处理流程示例的流程图。
图16是示出根据本实施例的控制单元的硬件配置示例的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能配置的部件由相同的附图标记表示，并且省略冗余描述。
注意，将按以下顺序给出描述。
1.背景
2.实施例
2.1.系统配置示例
2.2.控制单元的控制示例
2.3.控制单元的配置示例
2.4.每个配置的处理流程示例
2.5.控制单元的硬件配置示例
3.结论
<1.背景>
在描述本公开的实施例之前，首先将描述创建了本公开的实施例的背景。
如上所述，近年来，主从系统已经被用于内窥镜手术等领域。然后，对于主从系统，已经研究了如上述专利文献1中描述的技术中的向用户(观察者)呈现图像以使从属单元能够直观地操作的方法。
然而，根据于诸如专利文献1的各种技术，存在观察者无法直观地观察主从系统中的对象的情况。例如，根据用于根据主侧用户的面部的方向平移从侧相机的技术等，用户不能像从对象的上下左右各个方向环顾一样观察对象，因此不能说直观性是足够的。
鉴于上述情况，本公开者创造了根据本公开的技术。根据本公开的实施例的控制设备计算观察显示在显示单元(例如，显示器)上的对象的用户(观察者)的眼睛与主侧三维坐标系中的第一点之间的第一位置关系，并且控制对对象成像的成像单元(例如相机)，使得成像单元与从侧三维坐标系中的第一点相对应的第二点之间的第二位置关系对应于第一位置关系。例如，根据本实施例的控制设备获取关于用户的眼睛相对于主侧三维坐标系中的第一点的第一观察方向的信息，并且控制第二观察方向，使得成像单元50相对于从侧三维坐标系中的第二点的第二观察方向对应于第一观察方向。
结果，用户可以通过改变眼睛的位置来观察对象从对象的上、下、左、右各个方向环顾，使得用户可以更直观地观察对象。
此外，已经进行了关于如何获取图像并将图像提供给用户以在主从系统中实现更直观操作的研究。例如，当感知到主单元和从属单元平行移动时，用户可以直观地执行操作。相反，当感知到主单元和从属单元在不同方向上移动时，用户需要在考虑主单元与从属单元的运动方向之间的关系的同时执行操作，这使得很难执行直观操作。这一事件被称为“心理旋转”。根据本实施例的控制设备通过执行控制以不产生心理旋转来实现直观操作。
以下，详细说明本实施方式的控制设备的控制。
<2.实施例>
(2.1.系统配置示例)
上面已经描述了导致创建本实施例的背景。接下来，将描述根据本实施例的主从系统1的配置示例。注意，将假设根据本实施例的主从系统1是用于内窥镜手术等的手术系统来给出描述，但是主从系统1的类型没有特别限制。例如，主从系统1可以是远程控制机器人的机器人控制系统。
图1是示出根据本实施例的主从系统1的配置示例的框图。如图1所示，主从系统1包括主单元10、从属单元20、检测单元30、臂40、成像单元50、显示单元60和控制单元70。注意，根据本实施例的控制设备仅要求至少包括上述配置中的控制单元70。
主单元10是主从系统1中的主侧设备。主单元10可以是机械手(具有包括被动关节的连杆机构的机器人)，该机械手具有包括被动关节和连接到关节的连杆的一个或两个或更多个关节，并且用于操作从属单元20。
图2是示出根据本实施例的主单元10的示例的视图。在图2所示的示例中，主单元10包括设置在连接到被动关节的连杆上的操作体110和测量施加到操作体110的力的力传感器120。这里，根据本实施例的力传感器120的示例包括能够测量施加到操作体110的力的任何传感器，例如，“任何类型的力传感器，例如使用应变计的类型”和“任何类型的触觉传感器，例如通过利用压电元件、麦克风等测量振动而获得触觉的类型”。此外，主单元10包括例如运动传感器，用于在与每个关节对应的位置处测量关节的运动。
在本实施例中，操作体110是主单元10的输入接口，并且用户可以通过移动操作体110的位置的操作来移动(远程操作)从属单元20的位置。
注意，图2示出了设置在主单元10中的操作体110是触针型操作设备的示例，但是根据本实施例的操作体110不限于图2所示的示例。本实施例的操作体110的示例包括具有任何形状的操作设备，例如手套型操作设备。此外，根据本实施例的操作体110可以是适用于触觉设备的任何操作设备。此外，主单元10可以具有可以更换操作体110的结构。注意，根据本实施例的主单元10的配置不限于图2所示的示例，并且可以是任何配置。
从属单元20是主从系统1中的从侧设备。从属单元20可以是机械手(具有包括主动关节的连杆机构的机器人)，该机械手具有一个或两个或更多个主动关节和连接到主动关节的连杆，以用于响应于对主单元10的输入操作而移动。此外，从属单元20包括例如驱动机构，以用于在与每个主动关节相对应的位置处驱动主动关节。驱动机构的示例包括马达和驱动器。这样的驱动机构可以由稍后描述的控制单元70控制。
图3是示出根据本实施例的从属单元20的示例的视图。在图3所示的示例中，作为从属单元20的臂的远端部的远端部210包括接触部211，其中，手术工具与患者接触，并且用户通过操作主单元10来远程控制接触部211的位置。注意，图3示出了示例，并且根据本实施例的从属单元20的配置不限于图3的示例。此外，在本实施例中，假设从属单元20是现实对象(即从侧的空间是现实空间)，但是本发明不限于此，从属单元20可以是虚拟对象(即从侧的空间是虚拟空间)。例如，本公开可应用于手术模拟器等，并且作为虚拟对象的从属单元20可通过主单元10的操作来控制。
检测单元30被配置为检测用户(观察者)的眼睛。例如，检测单元30具有成像功能，并且可以通过对成像获取的图像进行分析来检测图像中出现的用户的眼睛。此时，可以将跟踪器(用于跟踪用户的眼睛的设备)、标记器(用于检测用户的眼睛的标记)等附接在用户的眼睛附近，从而可以准确地检测用户的眼睛(例如，用户佩戴眼镜式设备，其上附有跟踪器或标记器)。注意，由检测单元30检测用户的眼睛的方法不必限于此。此外，由检测单元30检测的目标可以是相当于眼睛的目标(例如，眼睛附近的点等)。在检测到用户的眼睛的情况下，检测单元30向控制单元70提供能够指定眼睛在主侧三维坐标系中的位置的信息(以下，被称为检测信息)。例如，检测信息可以是眼睛在主侧三维坐标系中的位置坐标。
臂40支撑成像单元50，并且具有能够控制成像单元50的位置和姿势的配置。例如，臂40可以是机械手(具有包括主动关节的连杆机构的机器人)，该机械手具有包括主动关节和连接到主动关节的连杆的一个或两个或更多个关节，并且可以由稍后描述的控制单元70控制。
成像单元50被配置为通过成像获取患部的图像。假设成像单元50是能够获取立体图像的立体相机，但不必限于此，并且例如可以是内窥镜等。根据本实施例的成像单元50可以包括变焦机构，并且能够改变成像倍率(变焦倍率)。此外，如上所述，成像单元50由臂40支撑，并且通过控制臂40的关节的角度等来改变成像单元50的位置和姿势。成像单元50的成像处理可以由稍后描述的控制单元70控制。
显示单元60被配置为基于稍后描述的控制单元70的控制来显示立体图像。例如，显示单元60可以是能够显示立体图像的立体显示器。此外，假设显示单元60安装在固定设备上(即，用户的眼睛与显示在显示单元60上的图像之间的位置关系根据用户的位置和姿势而改变)。当显示单元60安装在固定设备上时，例如，如在显示单元60安装在头戴式显示器上的情况下，解决了立体图像不能被多人共享的问题和视野被显示器遮挡的问题。
控制单元70被配置为控制包括在主从系统1中的每个其他部件。控制单元70通过任何通信方法连接到包括在主从系统1中的每个其他部件。例如，控制单元70从主单元10接收由包括在主单元10中的传感器测量的信息，并且基于接收的信息获取主单元10的指定位置。然后，控制单元70基于主单元10的指定位置、偏移(细节将在稍后描述)等来控制从属单元20的指定位置(例如，接触部211的位置)。这里，“主单元10的指定位置”是由主单元10确定的位置，并且例如可以是由用户指定的输入到主单元10的(主单元10的)位置。此外，“从属单元20的指定位置”是由主单元10的指定位置确定的位置，并且可以是例如由用户输入到主单元10指定的(从属单元20的)位置。即，通过用户操作主单元10，可以确定从属单元20在主从系统1上的位置。注意，“指定位置”不必限于由用户的意图指定的位置。例如，“主单元10的指定位置”可以是简单地由主单元10的位置确定的位置(同样适用于“从属单元20的指定位置”)。
此外，根据本实施例的控制单元70执行控制以实现用户的直观观察和直观操作。以下，将详细描述控制单元70的控制。
注意，图1所示的配置仅仅是示例，并且根据本实施例的主从系统1的配置示例不必限于图1的示例。例如，可以在从侧提供语音获取单元(例如，立体声麦克风)，并且可以在主侧提供输出由语音获取单元获取的从侧语音的语音输出单元(例如，扬声器、耳机等)。此外，利用这些配置，可以在主侧再现从侧的声场。
(2.2.控制单元的控制示例)
上面已经描述了根据本实施例的主从系统1的配置示例。接下来，将描述根据本实施例的控制单元70的控制示例。
(对象显示控制)
首先，将描述对象显示控制。
在如本实施例中向用户提供立体显示的情况下，为了增强用户感觉到的立体感和仿佛对象存在于同一空间中的感觉(下文中，也被称为共存的感觉)，例如，期望增加由右眼视觉识别的图像和由左眼视觉识别的图像在水平方向上的位移引起的视差量。
图4至图7是示出根据本实施例的显示单元60的立体显示的示例的说明图。控制单元70可以使对象以图4至图7所示的各种模式显示在显示单元60上。
例如，在图4所示的示例中，在显示单元60的显示表面610附近显示立体对象OB。在图4所示的示例中，当用户从视点E11观察时，对象OB包括在视场F11中，并且当用户从视点E12观察时，对象OB包括在视场F12中。在图5所示的示例中，对象OB布置在显示单元60的显示表面610的前侧。在图5所示的示例中，当用户从视点E21观察时，对象OB包括在视场F21中，并且当用户从视点E22观察时，对象OB的上部分包括在视场F22中。在图6所示的示例中，对象OB布置在显示单元60的显示表面610的背侧。在图6所示的示例中，当用户从视点E31观察对象OB时，对象OB包括在视场F31中。另一方面，当用户从视点E32观察对象OB时，即使用户的视场是视场F32和视场F33组合的范围，但在显示表面610的背侧显示对象OB，并且因此，用户观察对象OB的视场被限制在视场F32。
在图4至图6所示的示例中，显示单元60被安装成使得显示单元60的显示表面610垂直于现实空间中的水平面。另一方面，在图7所示的示例中，显示单元60被安装成使得显示单元60的显示表面610相对于现实空间中的水平面倾斜(非垂直)。此外，在图7所示的示例中，对象OB被布置成在相对于水平面竖立的同时与显示表面610相交。
通过这样的配置，可以进一步给出对象OB存在于与用户相同的空间中的共存的感觉，而不使用户感觉到显示表面610。此外，与图4至图6所示的示例相比，通过在抑制视差量的同时布置地板表面和墙表面，可以给出充分的立体感，并且能够抑制用户的负担。此外，如图7所示，在用户从视点E1观察对象OB的情况下，对象OB包括在视场F1中，并且在用户从视点E2观察对象OB的情况下，对象OB包括在视场F2中。因此，用户可以从更宽的视点位置观察对象OB。
如上所述，控制单元70可以根据图4至图7的模式中的任何一种在显示单元60上显示对象OB。以下，作为示例，将描述对象OB被布置成在如图7所示相对于水平面竖立的同时与显示表面610相交的情况作为示例。
(用于直观观察的控制)
接下来，将描述主从系统1中用于直观观察的控制。
根据本实施例的控制单元70计算观察显示单元60上显示的对象的用户(观察者)的眼睛与主侧三维坐标系中的第一点之间的第一位置关系，并且控制成像单元50，使得从侧三维坐标系中对对象成像的成像单元50与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。
例如，控制单元70获取关于主侧三维坐标系中用户(观察者)的眼睛相对于第一点的第一观察方向的信息，并且控制第二观察方向，使得从侧三维坐标系中成像单元50相对于第二点的第二观察方向与第一观察方向相对应。
这里，“第二点”是在从侧三维坐标系中用作成像单元50的控制的基准的点，并且也被称为“枢轴点”。例如，第二点可以是从属单元20中的一个作用点(例如，图3所示的接触部211的远端部等)、从属单元20中的两个作用点之间的中心点(例如，在使用图3所示的两个从属单元20的情况下，每个从属单元20的接触部211的中心点等)、包括在对象中的点(例如，对象的中心点等)、成像单元50的聚焦点、以及包括在从属单元20的操作区域中的点(例如，从属单元20的操作区域的中心点等)中的任何一个。注意，第二点不必限于此。
“第一点”是主侧三维坐标系中与第二点(枢轴点)相对应的点。如图4至图7所示，可以将第一点设置为主侧三维坐标系中的任何点，只要该点在用户可以观察对象的视场内即可。例如，当第二点是对象的中心点时，第一点与由显示单元60立体显示的对象的中心点重合。这同样适用于第二点不是对象的中心点的情况。
将参考图8至图11详细描述通过控制单元70对成像单元50的控制示例。注意，在图8至图11中，对象OB被简化并由直线表示。图8至图11示出了对象OB和第一点P被设置在显示表面610上的示例，但是如上所述，这些可以被设置在用户视场中的任何位置。
图8是从横向(与X轴方向相反的方向)观察用户观看显示在显示表面610上的对象OB的状态时的图。如图8所示，在主侧三维坐标系(XYZ坐标系)的YZ平面中，在特定时间T11处连接用户的眼睛E和第一点P的线G11与对象OB形成的角度为90度。在随后的时间T12，假设用户的眼睛E的位置在主侧三维坐标系中的YZ平面上发生变化。具体地，假设在时间T12处由连接用户的眼睛E和第一点P的线G12与对象OB形成的角度在YZ平面中改变为θ。
随着从时间T11到时间T12的变化，控制单元70控制第二观察方向，使得从侧三维坐标系(X'Y'Z'坐标系)中成像单元50相对于第二点的第二观察方向与第一观察方向(用户的眼睛E相对于第一点P的观察方向)基本相同。
将参照图9给出具体描述。图9是从横向(与X'轴方向相反的方向)观察成像单元50正在对对象OB成像的状态时的图。如图9所示，在从侧三维坐标系(X'Y'Z'坐标系)的Y'Z'平面中，在特定时间T11处连接成像单元50和第二点P'的线S11与对象OB形成的角度为90度，该角度与在图8中的时间T11处连接用户眼睛E和第一点P的线G11与对象OB形成的角度相同。此外，在时间T11处连接成像单元50和第二点P'的线S11的长度可以与图8中在时间T11处连接用户的眼睛E和第一点P的线G11的长度基本相同。
在随后的时间T12处，由Y'Z'平面上连接成像单元50和第二点P'的线S12与对象OB形成的角度为θ，该角度与在图8中的时间T12处连接用户的眼睛E和第一点P的线G12与对象OB形成的角度相同。此外，在时间T12处连接成像单元50和第二点P'的线S12的长度可以与图8中在时间T12处连接用户的眼睛E和第一点P的线G12的长度基本相同。
这同样适用于从不同于图8和图9的情况的角度观看的情况。将参照图10和图11给出具体描述。图10是从上方(在与Y轴方向相反的方向)观察用户观看显示在显示表面610上的对象OB的状态时的图。如图10所示，在主侧三维坐标系(XYZ坐标系)的XZ平面中，在特定时间T13处连接用户的眼睛E和第一点P的线G13与对象OB形成的角度为90度。在随后的时间T14，假设用户的眼睛E的位置在主侧三维坐标系中的XZ平面上发生变化。具体地，假设由在时间T14处连接用户的眼睛E和第一点P的线G14与对象OB形成的角度在XZ平面中改变为Φ。
图11是从上方(沿与Y'轴方向相反的方向)观看成像单元50正在对对象OB成像的状态时的图。如图11所示，在从侧三维坐标系(X'Y'Z'坐标系)的X'Z'平面中，在特定时间T13处连接成像单元50和第二点P'的线S13与对象OB形成的角度为90度，该角度与在图10中的时间T13处连接用户眼睛E和第一点P的线G13与对象OB形成的角度相同。此外，在时间T13处连接成像单元50和第二点P'的线S13的长度可以与图10中在时间T13处连接用户的眼睛E和第一点P的线G13的长度基本相同。
在随后的时间T14处，由X'Z'平面上的连接成像单元50和第二点P'的线S14与对象OB形成的角度为Φ，该角度与在图10中的时间T14处连接用户的眼睛E和第一点P的线G14与对象OB形成的角度相同。此外，在时间T14处连接成像单元50和第二点P'的线S14的长度可以与图10中在时间T14处连接用户的眼睛E和第一点P的线G14的长度基本相同。
例如，控制单元70分析由成像单元50获取的图像以检测在图像中出现的第二点P'，并且识别第二点P'在从侧三维坐标系中的位置坐标和从成像单元50到第二点P'的方向，从而能够进行如参考图8至图11所描述的控制。结果，用户可以通过改变眼睛E的位置来观察对象OB以从对象OB的上、下、左、右的各个方向环顾(例如，即使在双手都在操作主单元10时的情况下)，使得用户可以更直观地观察对象OB。
(用于直观操作的控制)
接下来，将描述主从系统1中用于直观操作的控制。
如上所述，为了实现直观操作，需要不产生心理旋转的控制。因此，下面将描述不发生心理旋转的条件。
将主侧三维坐标系中的参考坐标定义为O，将主单元10的指定位置坐标定义为M，将从侧三维坐标系中的参考坐标定义为O'，将从属单元20的指定位置坐标定义为S，并且使用这些坐标来表示旋转矩阵R。例如，O MR表示从O到M的旋转矩阵，O' SR表示从O'到S的旋转矩阵，M SR表示从M到S的旋转矩阵。也可以说，这些旋转矩阵R是用于三维坐标系转换的偏移。具体地，M SR也可以说是用于从主单元10的三维坐标系转换到从属单元20的三维坐标系的偏移。在用户使用主单元10执行输入VM的情况下，基于以下公式1的旋转矩阵，将输入VM转换为从属单元20的输出VS。VM和VS分别是基于O和O'的向量。
[数学式1]
Figure BDA0003273348540000131
不发生心理旋转的条件是，在用户操作主单元10时的从属单元20的操作方向与成像单元50(例如，相机)和显示单元60(例如，显示器)的坐标转换操作的主单元10的操作方向基本相同。也就是说，心理旋转不发生的条件是下面的公式2成立。
[数学式2]
Figure BDA0003273348540000132
注意，在公式2中，针对成像单元50(例如，相机)的三维坐标系中的指定位置坐标由C表示，针对显示单元60(例如，显示器)的三维坐标系中的指定位置坐标由D表示。然而，设置C和D使得成像单元50的右和左、上和下以及法线方向与显示单元60的右和左、上和下以及法线方向重合。此外，S CR表示从S到C的旋转矩阵(用于从从属单元20的三维坐标系转换到成像单元50的三维坐标系的偏移)，C DR表示从C到D的旋转矩阵(用于从成像单元50获取的图像的三维坐标系转换到显示单元60的三维坐标系的偏移)，D MR表示从D到M的旋转矩阵(用于从显示单元60的三维坐标系转换到主单元10的三维坐标系的偏移)。具体地，C DR表示在由成像单元50获取的图像被转换并显示在显示单元60上的情况下的转换，并且在转换时图像不旋转的情况下(换句话说，在仅执行图像倍率的改变、图像的剪切等的情况下)，C DR成为单位矩阵。
当将上述公式1代入公式2时，作为不发生心理旋转的条件，得到以下公式3。这里，I表示单位矩阵。
[数学式3]
Figure BDA0003273348540000141
控制单元70在执行参照图8至图11描述的用于直观观察的控制的同时控制参数，以满足上述公式3。具体地，在执行参考图8至图11描述的用于直观观察的控制的情况下，成像单元50的位置根据眼睛的位置的变化而变化，因此，S CR变化。例如，控制单元70根据S CR的变化来改变C DR或M SR，以满足公式3(换句话说，控制单元70通过控制参数来动态地改变M SR、S CR或C DR)。注意，由控制单元70控制的参数仅要求是作用于每个偏移的任何信息。
例如，在仅改变C DR的情况下(换句话说，在通过软件处理旋转图像的情况下)，如果用户的眼睛没有位于旋转图像的前面，则立体显示的对象失真，从而抑制直观观察和直观操作。具体地，当显示单元60安装在固定设备上时，用户的眼睛与显示单元60之间的位置关系不是恒定的，这引起问题。因此，控制单元70通过参照图8至图11描述的用于直观观察的控制，根据眼睛的位置的变化(即，通过改变S CR)来改变成像单元50的位置，从而使得旋转图像与用户眼睛之间的位置关系适当。结果，控制单元70可以使用户在视觉上不失真地识别立体显示的对象，从而可以实现直观观察和直观操作。此外，物理地旋转显示单元60(例如，显示器)(即，改变D MR)是大规模操作，因此具有较高的难度级别。然而，如上所述，通过动态地改变M SR、S CR或C DR，控制单元70可以更容易地实现直观观察和直观操作。注意，在控制单元70可以物理地旋转显示单元60(例如，显示器)的情况下，控制单元70可以通过控制参数来动态地改变D MR。此外，在对主单元10执行力反馈的情况下，用户可以感知到与经由主单元10施加到从属单元20的力相同方向的力。
(用于匹配重力方向的控制)
即使通过上述处理防止了心理旋转的发生，在相对于重力方向的第一观察方向(用户的眼睛相对于第一点的观察方向)与相对于重力方向的第二观察方向(成像单元50相对于第二点的观察方向)不同的情况下，当用户观看显示在显示单元60上的对象OB时的表观重力方向与实际重力方向不同。
因此，控制单元70可以控制第二观察方向，使得第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度基本相同。例如，假设图8中与Y轴方向相反的方向和图9中与Y'轴方向相反的方向是重力方向。此时，如图8和图9所示，可以控制第二观察方向，使得相对于重力方向的第一观察方向与相对于重力方向的第二观察方向在时间T11时彼此为90度，在时间T12时彼此为θ度。结果，当用户观看显示在显示单元60上的对象OB时，控制单元70可以使表观重力方向与实际重力方向基本相同。此外，在对主单元10执行力反馈的情况下，在用户使用从属单元20握住对象的情况下，用户可以经由主单元10感知施加到对象上的重力(重力的方向和大小)。注意，可以适当地改变水平方向的偏移(即，可以适当地改变图10中的XZ轴与图11中的X'Z'轴之间的对应关系)。
此外，在第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度不同的情况下，控制单元70可以基于这些角度之间的差异，通过软件处理、通过在C DR中反映重力方向上的旋转分量来旋转图像。
这将参考图12和图13进行描述。图12的A是从横向(与X'轴方向相反的方向)观看时成像单元50对对象OB成像的状态的图。此外，假设与Y'轴方向相反的方向是重力方向。此外，假设对象OB是玩偶，并且在对象OB的头部设置第二点P'。此时，假设第二观察方向(成像单元50相对于第二点的观察方向)相对于重力方向的角度为θ。图12的B是示出在图12的A的状态下由成像单元50获取的图像V的图。
图13的B是从横向(与X轴方向相反的方向)观察用户观看显示在显示表面610上的对象OB的状态时的图(为了方便省略显示表面610)。此外，假设与Y轴方向相反的方向是重力方向。此外，类似于图12，假设对象OB是玩偶，并且在对象OB的头部设置对应于第二点P'的第一点P。此时，假设第一观察方向(用户眼睛E相对于第一点P的观察方向)相对于重力方向的角度为θ'，与θ不同。
在这种情况下，控制单元70通过软件处理使成像单元50获取的图像V绕X轴旋转。图13的B是示出通过控制单元70的控制在显示表面610上显示的图像的图，并且通过处理，显示在显示表面610上的对象OB的立体图像在重力方向上比处理前的对象OB的立体图像更明显地压缩。如上所述，尽管在立体图像中发生失真，但是控制单元70可以通过处理使表观重力方向和实际重力方向基本相同。
(2.3.控制单元的配置示例)
上面已经描述了根据本实施例的控制单元70的控制示例。接下来，将参照图14描述根据本实施例的控制单元70的配置示例。
图14是示出根据本实施例的控制单元70的配置示例的框图。如图14所示，控制单元70包括角度计算单元710、成像控制单元720、显示控制单元730、偏移控制单元740和主从控制单元750。
角度计算单元710被配置为计算由连接用户的眼睛和第一点的线与对象形成的角度。具体地，在检测单元30检测到用户的眼睛的情况下，角度计算单元710基于从检测单元30提供的检测信息，识别用户的眼睛在主侧三维坐标系中的位置坐标。然后，角度计算单元710计算由连接用户的眼睛和第一点的线与对象形成的角度。例如，角度计算单元710计算如图8所示的在主侧三维坐标系(XYZ坐标系)的YZ平面上连接用户眼睛E和第一点P的线G11、G12与对象OB形成的角度，以及如图10所示的在XZ平面上连接用户眼睛E和第一点P的线G13、G14与对象OB形成的角度。然后，角度计算单元710向成像控制单元720和显示控制单元730提供关于角度的信息(以下，被称为角度信息)。应当注意，角度信息可以用作关于第一观察方向的信息。
成像控制单元720被配置为控制成像单元50(例如，相机)的成像。例如，成像控制单元720基于从角度计算单元710提供的角度信息来控制支撑成像单元50的臂40，以控制第二观察方向。具体地，如参照图8至图11所描述，成像控制单元720控制臂40，使得主侧三维坐标系中用户的眼睛与第一点之间的第一位置关系对应于从侧三维坐标系中成像单元50与第二点之间的第二位置关系。在臂40具有一个或两个或更多个关节以及连接到该关节的连杆的情况下，成像控制单元720通过执行逆运动学计算等来计算每个关节角度。成像控制单元720通过向臂40提供关于计算出的关节角度等的信息来控制臂40。随着控制臂40并且第二观察方向改变，作为上述偏移类型的S CR改变。
此外，在从稍后描述的偏移控制单元740提供关于偏移的信息(以下，被称为偏移信息)的情况下，成像控制单元720可以基于偏移信息来控制S CR。注意，成像控制单元720的控制内容不限于此。例如，在景深中存在余量的情况下，成像控制单元720可以改变成像单元50在前后方向上相对于对象的位置，以再现运动视差，其中，随着成像单元50接近对象，对象看起来更大。
显示控制单元730被配置为控制显示单元60的显示内容。具体地，显示控制单元730基于从角度计算单元710提供的角度信息来转换图像(例如，旋转转换等)，使得通过成像单元50的成像获取的图像是从用户眼睛的位置观看时的图像。因此，作为上述偏移类型的C DR改变。然后，显示控制单元730将转换后的图像输出到显示单元60。
此外，在从稍后描述的偏移控制单元740提供偏移信息的情况下，显示控制单元730可以基于偏移信息来控制C DR。注意，显示控制单元730的控制内容不限于此。例如，在成像单元50可以获取对象的深度信息的情况下，显示控制单元730可以使用深度信息重建(模拟)对象，并且将包括重建对象的图像输出到显示单元60。结果，消除了图像的失真，并且可以实现更直观的观察。此外，显示控制单元730可以通过改变显示倍率来适当地放大或缩小通过成像单元50的成像获取的图像。当改变显示倍率时，在立体图像中发生失真，但是上述成像控制单元720可以通过根据显示倍率控制成像单元50与对象之间的距离来消除或减小失真。
偏移控制单元740被配置为控制每个偏移。具体地，当用户的面部(或眼睛)处于预定位置(例如，显示单元60的前表面等)时，偏移控制单元740对于满足上述公式3的每个偏移(M SR、S CR、C DR和D MR)保持两个或更多个组合。然后，偏移控制单元740根据用户的输入等(例如，使用踏板等的输入)来改变针对每个偏移的组合。结果，在面部处于预定位置(例如，显示单元60的前表面等)的状态下，用户可以在满足公式3的情况下(即，在防止心理旋转的发生的情况下)改变成像单元50的角度，而不移动面部。偏移控制单元740将偏移信息提供给成像控制单元720、显示控制单元730和主从控制单元750。
主从控制单元750被配置为基于用户对主单元10的输入来控制从属单元20。具体地，主从控制单元750基于主单元10的指定位置来控制从属单元20的指定位置，主单元10的指定位置基于由主单元10传输的信息和从偏移控制单元740提供的偏移(M SR)指定。
这里，主从控制单元750可以基于第二点(枢轴点)来控制从属单元20。例如，主从控制单元750可以控制从属单元20，使得基于第二点限制从属单元20的指定位置。具体地，主从控制单元750可以控制从属单元20，使得从属单元20的指定位置朝着第二点(例如，从属单元20的操作区域的中心点等)移动。注意，在主从控制单元750以这种方式限制从属单元20的指定位置的情况下(尽管不必限于这种情况)，也可以类似地限制主单元10的指定位置。主从控制单元750可以通过组合第二点和主从控制信息的双边控制来控制主单元10和从属单元20。结果，主单元10与从属单元20的指定位置之间的对应关系得以维持，使得用户可以容易地执行操作。其他内容可以类似于现有主从系统中的从属单元的控制，因此将省略其详细描述。
上面已经描述了控制单元70的配置示例。注意，参照图14描述的上述配置仅仅是示例，并且控制单元70的配置不限于这样的示例。例如，控制单元70可以不必包括图14中所示的所有配置，或者可以包括图14中未示出的配置。此外，控制单元70的配置可以根据规格和操作灵活地修改。
(2.4.每个配置的处理流程示例)
上面已经描述了根据本实施例的控制单元70的配置示例。接下来，将参照图15描述根据本实施例的主从系统1的每个配置的处理流程示例。图15是示出根据本实施例的主从系统1的每个配置的处理流程示例的流程图。
在步骤S1000中，偏移控制单元740设置每个偏移(M SR、S CR、C DR和D MR)。例如，偏移控制单元740根据用户的输入等(例如，使用脚踏板的输入等)，为每个偏移从两个或更多个组合中选择并设置一个组合。
在步骤S1004中，检测单元30检测用户的眼睛。例如，检测单元30具有成像功能，并且通过对成像获取的图像进行分析来检测图像中出现的用户的眼睛。
在步骤S1008中，角度计算单元710计算由连接用户的眼睛和第一点的线与对象形成的角度。例如，角度计算单元710计算如图8所示的在主侧三维坐标系(XYZ坐标系)的YZ平面上连接用户眼睛E和第一点P的线G11、G12与对象OB形成的角度，以及如图10所示的在XZ平面上连接用户眼睛E和第一点P的线G13、G14与对象OB形成的角度。然后，角度计算单元710基于计算结果生成角度信息，并将该角度信息提供给成像控制单元720。
在步骤S1012中，成像控制单元720基于从角度计算单元710提供的角度信息执行成像控制。具体地，如参照图8至图11所描述，成像控制单元720控制臂40，使得主侧三维坐标系中用户的眼睛与第一点之间的第一位置关系对应于从侧三维坐标系中成像单元50与第二点之间的第二位置关系，从而控制成像单元50的位置和姿势。
在步骤S1016中，显示控制单元730执行显示控制。具体地，显示控制单元730转换通过成像单元50成像获取的图像，使得该图像是从用户眼睛的位置观看时的图像，并且将转换后的图像输出到显示单元60。结果，当从用户眼睛的位置观看时，适当的立体图像显示在显示单元60上。
如果已经进行了用于更新偏移的输入(例如，用户使用踏板等的输入)(步骤S1020/是)，则偏移控制单元740根据步骤S1024中的输入更新偏移。当不执行用于更新偏移的输入时(步骤S1020/否)，不执行步骤S1024的处理(偏移更新处理)。
然后，当用户的操作正在继续时(步骤S1028/是)，重复地继续步骤S1004至S1024的处理。当用户的操作没有继续时(步骤S1028/否)，一系列处理结束。
注意，上面描述的流程图中的每个步骤不必按照所描述的顺序按时间序列进行处理。即，流程图中的每个步骤可以以不同于所描述顺序的顺序进行处理，或者可以并行地进行处理。
(2.5.控制单元硬件配置示例)
上面已经描述了根据本实施例的主从系统1的每个部件的处理流程示例。接下来，将参照图16描述根据本实施例的硬件配置示例。图16是示出根据本实施例的控制单元70的硬件配置示例的框图。根据本实施例的控制单元70的信息处理通过以下描述的软件和硬件的协作来实现。
如图16所示，控制单元70包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外，控制单元70包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。控制单元70可以包括诸如DSP或ASIC的处理电路来代替COU901或与其相结合。
CPU 901用作算术处理设备和控制设备，并且根据各种程序控制控制单元70中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接到外部总线904b，例如外围组件互连/接口(PCI)总线。注意，主机总线904a、桥接器904和外部总线904b不一定需要分开配置，并且这些功能可以在一条总线上实现。
例如，输入设备906由用户向其输入信息的设备实现，例如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆。此外，输入设备906可以是例如使用红外线或其他无线电波的遥控设备，或者可以是控制单元70的操作的外部连接设备，例如移动电话或PDA。此外，输入设备906可以包括例如输入控制电路等，该输入控制电路基于用户使用上述输入设备输入的信息生成输入信号，并将输入信号输出到CPU 901。通过操作输入设备906，用户可以向控制单元70输入各种类型的数据并给出处理操作的指令。
输出设备907包括能够视觉或听觉地向用户通知所获取的信息的设备。这种设备的示例包括显示装置，例如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯，以及音频输出设备，例如扬声器和耳机和打印机设备。输出设备907输出例如由控制单元70执行的各种处理获得的结果。具体地，显示设备以文本、图像、表格和图形等各种格式可视地显示由控制单元70执行的各种处理获得的结果。另一方面，音频输出设备将包括再现的音频数据、声音数据等的音频信号转换为模拟信号，并以音频地方式输出模拟信号。
存储设备908是作为可以包括在控制单元70中的存储单元的示例而形成的用于数据存储的设备。存储设备908例如由诸如HDD、半导体存储设备、光存储设备、磁光存储设备等磁存储设备来实现。存储设备908可以包括存储介质、将数据记录在存储介质中的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中数据的删除设备等。存储设备908存储由CPU 901执行的程序、各种数据、从外部获取的各种数据等。
驱动器909是用于存储介质的读取器/写入器，并且内置或外部附接到控制单元70。驱动器909读取记录在诸如安装磁盘、光盘、磁光盘或半导体存储器的可移动存储介质中的信息，并将该信息输出到RAM 903。此外，驱动器909还可以将信息写入可移动存储介质。
连接端口911是连接到外部设备的接口，并且是连接到能够通过例如通用串行总线(USB)等传输数据的外部设备的连接端口。
通信设备913例如是由用于连接到网络920的通信设备等形成的通信接口。通信设备913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信设备913可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信设备913可以根据诸如TCP/IP的预定协议向因特网和其它通信设备发送和从因特网和其它通信设备接收信号等。
注意，网络920是从连接到网络920的设备传输的信息的有线或无线传输路径。例如，网络920可以包括公共网络，例如互联网、电话网络或卫星通信网络，或者包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。此外，网络920可以包括专线网络，例如互联网协议虚拟专用网络(IP-VPN)。
上面已经描述了能够实施根据本实施例的控制单元70的功能的硬件配置示例。上述部件中的每一个可以使用通用构件来实现，或者可以通过专用于每个部件的功能的硬件来实现。因此，可以根据执行本实施例时的技术水平适当地改变要使用的硬件配置。
注意，用于实现如上所述的根据本实施例的控制单元70的每个功能的计算机程序可以创建并安装在PC等上。此外，还可以提供存储这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，例如，可以经由网络来分发上述计算机程序，而不使用记录介质。
<3.结论>
如上所述，根据本实施例的控制设备计算观察显示单元60上显示的对象的用户(观察者)的眼睛与主侧三维坐标系中的第一点之间的第一位置关系，以及控制成像单元50，使得成像对象的成像单元50与对应于从侧三维坐标系中的第一点的第二点之间的第二位置关系对应于第一位置关系。结果，用户可以通过改变眼睛的位置来观察对象从对象的上、下、左、右各个方向环顾，使得用户可以更直观地观察对象。
此外，根据本实施例的控制设备通过控制参数以满足上述公式3，以防止心理旋转的发生。结果，用户可以执行直观操作。
尽管已经参照附图详细描述了本公开的优选实施例，但本公开的技术范围不限于这样的示例。显然，在本公开的技术领域具有普通知识的人可以在权利要求书中描述的技术思想的范围内构思各种改变示例或修改示例，并且自然理解这些也属于本公开的技术范围。
此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本说明书的描述，根据本公开的技术可以表现出对于本领域技术人员来说显而易见的其他效果。
请注意，以下配置也属于本公开的技术范围。
(1)
一种控制设备，包括控制单元，该控制单元：
计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系；以及
控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系相对应。
(2)
根据(1)的控制设备，其中，控制单元：
获取关于主侧三维坐标系中观察者的眼睛相对于第一点的第一观察方向的信息；并且
相对于第二点控制成像单元的第二观察方向，使得第二观察方向与从侧三维坐标系中的第一观察方向相对应。
(3)
根据(2)的控制设备，其中
控制单元控制第二观察方向，使得第二观察方向与第一观察方向基本相同。
(4)
根据(3)的控制设备，其中
控制单元控制第二观察方向，使得第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度基本相同。
(5)
根据(2)至(4)的任一个的控制设备，其中
控制单元通过控制支撑成像单元的臂来控制第二观察方向。
(6)
根据(2)至(5)的任一个的控制设备，其中
当M SR是用于从接收来自观察者的输入的主单元的三维坐标系转换到基于输入控制的从属单元的三维坐标系的旋转矩阵，S CR是用于从用于从属单元的三维坐标系转换到用于成像单元的三维坐标系的旋转矩阵，C DR是用于从用于成像单元的三维坐标系转换到用于显示单元的三维坐标系的旋转矩阵，D MR是用于从用于显示单元的三维坐标系转换到用于主单元的三维坐标系的旋转矩阵，I是单位矩阵时，控制单元控制参数以满足公式4：
[数学式4]
Figure BDA0003273348540000251
(7)
根据(6)的控制设备，其中
控制单元通过控制参数动态地改变M SR、S CR或C DR。
(8)
根据(6)或(7)的控制设备，其中
控制单元基于第一观察方向相对于重力方向的角度与第二观察方向相对于重力方向的角度之间的差，在C DR中反映重力方向上的旋转分量。
(9)
根据(1)至(8)的任一个的控制设备，其中
第二点是从属单元中的一个作用点、从属单元中的两个作用点之间的中心点、包括在对象中的点、成像单元的聚焦点和包括在从属单元的操作区域中的点中的任何一个。
(10)
根据(1)至(9)的任一个的控制设备，其中
控制单元基于第二点来控制从属单元。
(11)
根据(1)至(10)的任一个的控制设备，其中
显示单元安装在固定设备上。
(12)
根据(1)至(11)的任一个的控制设备，其中
从侧的空间是现实空间或虚拟空间。
(13)
一种主从系统，包括：
从属单元；
主单元，用于操作从属单元；以及
控制单元，其
计算在主侧三维坐标系中观察显示在显示单元上的对象的观察者的眼睛与第一点之间的第一位置关系，以及
控制对对象成像的成像单元，使得从侧三维坐标系中成像单元与对应于第一点的第二点之间的第二位置关系与第一位置关系XIANGDUIYING。
参考符号列表
1 主从系统
10 主单元
20 从属单元
30 检测单元
40 臂
50 成像单元
60 显示单元
610 显示表面
70 控制单元
710 角度计算单元
720 成像控制单元
730 显示控制单元
740 偏移控制单元
750 主从控制单元。

Claims (13)

1.一种控制设备，包括控制单元，所述控制单元：
计算在主侧三维坐标系中观察者的眼睛与第一点之间的第一位置关系，所述眼睛观察显示在显示单元上的对象；并且
控制对所述对象成像的成像单元，使得在从侧三维坐标系中所述成像单元与对应于所述第一点的第二点之间的第二位置关系与所述第一位置关系相对应。
2.根据权利要求1所述的控制设备，其中，所述控制单元：
获取关于所述主侧三维坐标系中所述观察者的眼睛相对于所述第一点的第一观察方向的信息；并且
控制所述从侧三维坐标系中所述成像单元相对于所述第二点的第二观察方向，使得所述第二观察方向与所述第一观察方向相对应。
3.根据权利要求2所述的控制设备，其中，
所述控制单元控制所述第二观察方向，使得所述第二观察方向与所述第一观察方向基本相同。
4.根据权利要求3所述的控制设备，其中，
所述控制单元控制所述第二观察方向，使得所述第一观察方向相对于重力方向的角度与所述第二观察方向相对于所述重力方向的角度基本相同。
5.根据权利要求2所述的控制设备，其中，
所述控制单元通过控制支撑所述成像单元的臂来控制所述第二观察方向。
6.根据权利要求2所述的控制设备，其中，
当M SR是用于从接收来自所述观察者的输入的主单元的三维坐标系转换到基于所述输入而受控制的从属单元的三维坐标系的旋转矩阵，S CR是用于从所述从属单元的所述三维坐标系转换到所述成像单元的三维坐标系的旋转矩阵，C DR是用于从所述成像单元的所述三维坐标系转换到所述显示单元的三维坐标系的旋转矩阵，D MR是用于从所述显示单元的所述三维坐标系转换到所述主单元的所述三维坐标系的旋转矩阵，并且I是单位矩阵时，所述控制单元控制参数以满足公式1：
[数学式1]
Figure FDA0003273348530000021
7.根据权利要求6所述的控制设备，其中，
所述控制单元通过控制所述参数，来动态地改变所述M SR、所述S CR或所述C DR。
8.根据权利要求6所述的控制设备，其中，
所述控制单元基于所述第一观察方向相对于重力方向的角度与所述第二观察方向相对于所述重力方向的角度之间的差，在所述C DR中反映所述重力方向上的旋转分量。
9.根据权利要求1所述的控制设备，其中，
所述第二点是从属单元中的一个作用点、所述从属单元中的两个作用点之间的中心点、包括在所述对象中的点、所述成像单元的聚焦点、以及包括在所述从属单元的操作区域中的点中的任一者。
10.根据权利要求1所述的控制设备，其中，
所述控制单元基于所述第二点控制从属单元。
11.根据权利要求1所述的控制设备，其中，
所述显示单元安装在固定设备上。
12.根据权利要求1所述的控制设备，其中，
从侧的空间是现实空间或虚拟空间。
13.一种主从系统，包括：
从属单元；
主单元，用于操作所述从属单元；以及
控制单元：
计算在主侧三维坐标系中观察者的眼睛与第一点之间的第一位置关系，所述眼睛观察显示在显示单元上的对象，并且
控制对所述对象成像的成像单元，使得在从侧三维坐标系中所述成像单元与对应于所述第一点的第二点之间的第二位置关系与所述第一位置关系相对应。
CN202080023350.3A 2019-03-29 2020-03-12 控制设备及主从系统 Active CN113613847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-067046 2019-03-29
JP2019067046A JP2020162916A (ja) 2019-03-29 2019-03-29 制御装置及びマスタスレーブシステム
PCT/JP2020/010797 WO2020203139A1 (ja) 2019-03-29 2020-03-12 制御装置及びマスタスレーブシステム

Publications (2)

Publication Number Publication Date
CN113613847A true CN113613847A (zh) 2021-11-05
CN113613847B CN113613847B (zh) 2024-03-19

Family

ID=72668695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023350.3A Active CN113613847B (zh) 2019-03-29 2020-03-12 控制设备及主从系统

Country Status (5)

Country Link
US (1) US11582438B2 (zh)
EP (1) EP3950231B1 (zh)
JP (1) JP2020162916A (zh)
CN (1) CN113613847B (zh)
WO (1) WO2020203139A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240342920A1 (en) 2021-04-30 2024-10-17 Sony Group Corporation Control system, control method, and camera control device
CN113349939B (zh) * 2021-07-12 2023-03-21 哈尔滨思哲睿智能医疗设备股份有限公司 被动主手式主从控制手术机器人的性能测试方法及系统
JPWO2023140120A1 (zh) * 2022-01-21 2023-07-27
JP2024003621A (ja) * 2022-06-27 2024-01-15 川崎重工業株式会社 手術支援システムおよび手術支援システムの制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253773A (ja) * 1994-03-16 1995-10-03 Hitachi Ltd 立体型表示装置
JPH09147142A (ja) * 1995-11-24 1997-06-06 Nippon Telegr & Teleph Corp <Ntt> 表示方法及び装置
US20030198393A1 (en) * 2002-04-19 2003-10-23 International Business Machines Corporation Foveal priority in stereoscopic remote viewing system
US20080297590A1 (en) * 2007-05-31 2008-12-04 Barber Fred 3-d robotic vision and vision control system
WO2014156250A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステム
WO2017094844A1 (ja) * 2015-12-04 2017-06-08 リバーフィールド株式会社 操作システム
US20170172675A1 (en) * 2014-03-19 2017-06-22 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
WO2017210101A1 (en) * 2016-06-03 2017-12-07 Covidien Lp Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display
CN108369477A (zh) * 2015-12-22 2018-08-03 索尼公司 信息处理装置、信息处理方法和程序

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US8682489B2 (en) * 2009-11-13 2014-03-25 Intuitive Sugical Operations, Inc. Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
US8996173B2 (en) * 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US20160314711A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
US20160314717A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station coupled to remote surgeon trainee and instructor stations and associated methods
US10188552B2 (en) * 2015-08-14 2019-01-29 The Johns Hopkins University Surgical system providing hands-free control of a surgical tool
WO2017091704A1 (en) * 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays
US11682319B2 (en) * 2016-03-10 2023-06-20 Intuitive Surgical Operations, Inc. Fake blood for use in simulated surgical procedures
CN117717411A (zh) * 2016-11-04 2024-03-19 直观外科手术操作公司 在计算机辅助远程操作外科手术中的可重新配置的显示器
KR102633401B1 (ko) * 2016-11-11 2024-02-06 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템
WO2018217951A1 (en) * 2017-05-24 2018-11-29 Camplex, Inc. Surgical visualization systems and displays
US11369443B2 (en) * 2019-06-27 2022-06-28 Cilag Gmbh International Method of using a surgical modular robotic assembly

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253773A (ja) * 1994-03-16 1995-10-03 Hitachi Ltd 立体型表示装置
JPH09147142A (ja) * 1995-11-24 1997-06-06 Nippon Telegr & Teleph Corp <Ntt> 表示方法及び装置
US20030198393A1 (en) * 2002-04-19 2003-10-23 International Business Machines Corporation Foveal priority in stereoscopic remote viewing system
US20080297590A1 (en) * 2007-05-31 2008-12-04 Barber Fred 3-d robotic vision and vision control system
WO2014156250A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステム
CN105101905A (zh) * 2013-03-29 2015-11-25 奥林巴斯株式会社 主从系统
US20170172675A1 (en) * 2014-03-19 2017-06-22 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
WO2017094844A1 (ja) * 2015-12-04 2017-06-08 リバーフィールド株式会社 操作システム
CN108369477A (zh) * 2015-12-22 2018-08-03 索尼公司 信息处理装置、信息处理方法和程序
WO2017210101A1 (en) * 2016-06-03 2017-12-07 Covidien Lp Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display

Also Published As

Publication number Publication date
EP3950231A4 (en) 2022-06-08
US20220060678A1 (en) 2022-02-24
EP3950231B1 (en) 2024-07-10
CN113613847B (zh) 2024-03-19
US11582438B2 (en) 2023-02-14
WO2020203139A1 (ja) 2020-10-08
EP3950231A1 (en) 2022-02-09
JP2020162916A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN113613847B (zh) 控制设备及主从系统
US20230029639A1 (en) Medical device system for remote monitoring and inspection
Barfield et al. Basic concepts in wearable computers and augmented reality
US11331045B1 (en) Systems and methods for mitigating neuromuscular signal artifacts
JP2018198750A (ja) 医療用システム、医療用支持アームの制御装置、および医療用支持アームの制御方法
US10564717B1 (en) Apparatus, systems, and methods for sensing biopotential signals
WO2020006002A1 (en) Gaze based interface for augmented reality environment
Sinclair et al. TouchMover 2.0-3D touchscreen with force feedback and haptic texture
US11630520B1 (en) Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems
Poston et al. The virtual workbench: Dextrous VR
CN118202321A (zh) 控制与虚拟对象的交互
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
US10656710B1 (en) Apparatus, systems, and methods for sensing biopotential signals via compliant electrodes
CN110199244B (zh) 信息处理设备、信息处理方法以及程序
US20210325683A1 (en) Virtual reality systems and methods
AU2008329571A1 (en) A system and method for providing remote indication
US11538315B2 (en) Tactile sensation presenting device and tactile sensation presenting system
US20220161414A1 (en) Control device and master-slave system
Pielot et al. Tangible user interface for the exploration of auditory city maps
JP6922743B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117063142A (zh) 用于自适应输入阈值化的系统和方法
WO2022202021A1 (ja) 力覚デバイスの制御装置、制御方法、及び制御システム
JP2010224207A (ja) 視覚刺激付与装置、及び生体情報計測システム
Wieben Virtual and augmented reality in medicine
KR20150014127A (ko) 수술 시뮬레이팅 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant