CN111886113A - 控制装置、控制方法以及主从系统 - Google Patents

控制装置、控制方法以及主从系统 Download PDF

Info

Publication number
CN111886113A
CN111886113A CN201980020936.1A CN201980020936A CN111886113A CN 111886113 A CN111886113 A CN 111886113A CN 201980020936 A CN201980020936 A CN 201980020936A CN 111886113 A CN111886113 A CN 111886113A
Authority
CN
China
Prior art keywords
slave
control
movable range
image
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020936.1A
Other languages
English (en)
Inventor
糸谷侑纪
増田大雅
宫本敦史
若菜和仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111886113A publication Critical patent/CN111886113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[问题]提供一种控制装置、控制方法以及主从系统。[解决方案]该控制装置设置有检测器,其检测用于操作从装置的主装置是否在运动范围限制内,以及控制器,其基于检测结果来控制与从装置的控制有关的从参数和与基于图像捕获显示的图像有关的图像参数。

Description

控制装置、控制方法以及主从系统
技术领域
本公开涉及控制装置、控制方法以及主从系统。
背景技术
近年来,作为在进行内窥镜手术的情况下使用的操作系统,已知一种主从模式系统(以下也称为“主从系统”),其使得可以接近患部而不对患者的身体做大切口。在这样的主从系统中,诸如医生的外科医生(用户)操作包括输入接口的主装置,并且根据外科医生对主装置的操作来远程控制包括诸如钳子或镊子的医疗器械的从装置。从装置例如被配置为具有保持在前端的手术器械的臂装置,并且能够改变手术器械在腹部中的位置或姿势。
如上所述的主从系统使用显示由内窥镜等获取的患部的图像的显示装置,并且外科医生通过在观看显示在显示装置上的图像的同时操作来进行手术(例如,参见以下专利文献1)。
引用列表
专利文献
专利文献1:日本未审查专利申请公开第2013-17513号
发明内容
本发明要解决的问题
在如上所述的主从系统中,期望一种机制来进一步减轻用户的负担。
解决问题的手段
根据本公开,提供了一种控制装置,包括:检测器,其检测用于从装置的操作的主装置是否位于可移动范围限制处;以及控制器,其基于检测结果来控制与从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
另外,根据本公开,提供了一种控制方法,包括:检测用于从装置的操作的主装置是否位于可移动范围限制处,并且基于检测结果来控制与从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
另外,根据本公开,提供了一种主从系统,包括:从装置;主装置,用于从装置的操作;以及包括检测器和控制器的控制装置,该检测器检测主装置是否位于可移动范围限制处,并且该控制器基于检测结果来控制与从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
发明效果
如上所述,根据本公开,可以进一步减轻操作主从系统的用户的负担。
应注意,上述效果不必是限制性的。除了上述效果之外或代替上述效果,可以施加本说明书中指示的任何效果或可以从本说明书中理解的其他效果。
附图说明
[图1]是根据本公开的第一实施方式的主从系统1000的示意性配置图。
[图2]示出了根据同一实施方式的从装置10的示例。
[图3]示出了根据同一实施方式的主装置20的示例。
[图4]是用于描述根据同一实施方式的控制装置50的减小控制的概念图。
[图5]示出了在基于是否已经到达可移动范围限制的检测结果执行减小控制的同时由显示装置40显示的显示图像的示例。
[图6]三维地示出了在执行减小控制的情况下的可移动范围和操作区域。
[图7]是用于描述根据本实施方式的控制装置50的偏移控制的概念图。
[图8]示出了在基于是否已经到达可移动范围限制的检测结果执行偏移控制的同时由显示装置40显示的显示图像的示例。
[图9]三维地示出了在执行偏移控制的情况下的可移动范围和操作区域。
[图10]是示出根据同一实施方式的控制装置50的功能配置示例的框图。
[图11]是示出根据同一实施方式的控制装置50的操作的流程图。
[图12]是根据本公开的第二实施方式的主从系统2000的示意性配置图。
[图13]是示出根据同一实施方式的偏移控制的示例的概念图。
[图14]是示出根据同一实施方式的控制装置50的操作的流程图。
[图15]是用于描述变形例1的说明图。
[图16]是用于描述变形例1的说明图。
[图17]是用于描述变形例1的说明图。
[图18]是用于描述变形例2的说明图。
[图19]是用于描述变形例3的说明图。
[图20]是用于描述变形例4的说明图。
[图21]是用于描述变形例4的说明图。
[图22]是用于描述变形例4的说明图。
[图23]是用于描述变形例4的说明图。
[图24]是用于描述变形例4的说明图。
[图25]是用于描述变形例4的说明图。
[图26]是用于描述变形例5的说明图。
[图27]是用于描述变形例5的说明图。
[图28]是示出硬件配置示例的说明图。
具体实施方式
以下参考附图详细描述本公开的优选实施方式。应注意,在本说明书和附图中,具有基本上相同的功能配置的组件由相同的参考数字表示,并且因此省略其冗余描述。
另外,在本说明书和附图中,存在通过在相同的参考数字之后添加不同的字母来区分具有基本上相同的功能配置的多个组件的情况。然而,在不需要特别区分具有基本上相同的功能配置的多个组件的情况下,仅附有相同的参考数字。
应注意,按以下顺序给出描述。
<<1.背景>>
<<2.第一实施方式>>
<<3.第二实施方式>>
<<4.变形例>>
<<5.硬件配置示例>>
<<6.结论>>
<<1.背景>>
在描述本公开的实施方式之前,首先描述创建本公开的实施方式的背景。
近年来,已经在内窥镜手术等中使用了作为主从模式操作系统的主从系统。主从系统包括主装置和从装置。主装置是用于操作从装置的装置,并且包括要由诸如医生(以下也称为“用户”)的外科医生操作的输入接口。另外,从装置包括诸如钳子或镊子的医疗器械,并且根据用户对主装置的操作来远程操作。
在主从系统中,可以控制在主装置中输入的移动量(以下简称为“主装置的移动量”)和从装置中的医疗器械等的移动量(以下简称为“从装置的移动量”)以彼此对应。例如,根据主装置的移动量来控制从装置,以使从装置的移动量与主装置的移动量的比率恒定。在本说明书中,主装置的移动量与对应的从装置的移动量的比率被称为“操作倍率”。
另外,主装置和从装置中的每一个具有原点,并且从与主装置中的原点相对应的从装置中的点到从装置中的原点的偏移距离在本说明书中被称为“操作偏移”。包括在主装置中的输入接口的可移动范围(以下也简称为“主装置的可移动范围”)和通过对主装置的操作而从装置的医疗器械等可移动的区域(以下也简称为“操作区域”)可以基于操作倍率和操作偏移彼此对应。因此,操作区域随着操作倍率的增大而变小,并且操作区域根据偏移而移动。
应注意,在本说明书中,与从装置的控制有关的参数(诸如操作倍率和操作偏移)被统称为“从参数”。应注意,从参数可以包括除了操作倍率和操作偏移之外的与从装置的控制有关的参数。
在主从系统中,操作倍率可以是动态可设置的。例如,将操作倍率设置为较大使得可以在放大的精细区域上执行工作。然而,无论操作倍率如何,主装置的可移动范围都是固定的;因此,将操作倍率设置为较大可以导致操作区域变小并且较大的移动变得困难的可能性。另外,在操作倍率被设置为较大的情况下,为了在从装置中执行较大且较快的动作,需要在主装置中执行较大且较快的动作,并且这样的动作可能变得困难。
因此,在从装置中,例如,为了同时执行需要迅速的极其精细的动作和较大的动作,期望无缝地改变操作倍率。然而,为了改变现有的主从系统中的操作倍率,需要中断从装置的远程控制或者需要使用除了诸如踏板的主装置之外的输入设备,这导致用户的大负担。
另外,为了移动操作区域而不改变操作倍率,期望改变操作偏移。例如,无论已经到达主装置的可移动范围限制,为了使包括在从装置中的医疗器械在相同方向上进一步移动而不改变操作倍率,期望改变操作偏移。可移动范围限制是不允许主位置在特定方向上移动的位置或接近这样的位置的位置。应注意,尽管稍后描述主装置的可移动范围限制,但是主装置的可移动范围限制例如可以是包括在主装置中的输入接口的可移动范围限制。
在现有的主从系统中,同样为了改变操作偏移,需要中断从装置的远程控制,并且需要使用除了主装置之外的输入设备,这导致用户负担增加的因素。
另外,如上所述的主从系统使用显示装置,该显示装置显示基于内窥镜等的成像获取的患部的图像,并且外科医生在观看显示在显示装置上的图像的同时操作主装置。因此,即使可以如上所述改变操作倍率或操作偏移而不对用户施加负担,为了允许用户舒适地执行操作,也期望改变显示在显示装置上的图像的倍率(以下也称为“图像倍率”)或图像的偏移(以下也称为“图像偏移”)。
应注意,在本说明书中,与基于成像显示的图像有关的参数(诸如图像倍率和图像偏移)被统称为“图像参数”。应注意,图像参数可以包括除了图像倍率和图像偏移之外的与基于成像显示的图像有关的参数。
在现有的主从系统中,同样为了改变这样的图像参数,用户的明确且有意的操作是必要的。此外,同样为了改变这样的图像参数,需要中断从装置的远程控制,并且需要使用除了主装置之外的输入设备,这导致用户负担增加的因素。
因此,已经以上述情况作为单个观点创建了本公开的相应实施方式。在根据以下描述的每个实施方式的主从系统中,检测主装置是否已经到达可移动范围限制,并且基于检测结果来控制操作倍率或操作偏移。这样的配置使得可以适当地改变操作倍率或操作偏移而不中断从装置的远程控制并且不使用除了主装置之外的输入设备,并且使得可以减轻用户的负担。另外,在根据以下描述的每个实施方式的主从系统中,还基于主装置是否位于可移动范围限制处的检测结果来控制图像倍率或图像偏移。这样的配置使得可以根据操作倍率或操作偏移的变化自动地改变图像倍率或图像偏移,并且使得可以进一步减轻用户的负担。以下依次详细描述具有这样的效果的本公开的相应实施方式。应注意,在根据以下描述的每个实施方式的主从系统中,检测主装置的主位置是否已经到达可移动范围限制。
<<2.第一实施方式>>
<2-1.系统配置>
图1是根据本公开的第一实施方式的主从系统1000的示意性配置图。如图1所示,主从系统1000是包括从装置10、主装置20、成像装置30、显示装置40和控制装置50的主从模式操作系统。
从装置10是主从系统1000中的从侧装置。从装置10例如可以是用于与主装置20的输入操作相关联地移动的机器人(具有包括主动关节的链路机构的机器人)。从装置10包括一个或两个或多个主动关节和耦接到该主动关节的链路。另外,从装置10包括例如用于在与主动关节相对应的相应位置处驱动主动关节的驱动机构。上述驱动机构的示例包括电动机和驱动器。驱动机构可以由稍后将描述的控制装置50控制。
图2示出了说明根据本实施方式的从装置10的示例的示图。在图2所示的示例中,前端部110是从装置10的臂的前端部,并且包括接触部112,在该接触部112,手术器械与患者接触。用户操作主装置20以远程控制接触部112的位置。在下文中,包括在从装置10中的接触部112的位置也简称为“从位置”。另外,在本实施方式中,上述从装置10的操作区域例如可以与接触部112通过对主装置的操作而可移动的区域相对应。
应注意,图2所示的示例仅是一个示例,并且根据本实施方式的从装置10的配置不限于图2所示的示例。
主装置20是主从系统1000中的主侧装置。主装置20例如可以是包括一个或两个或多个包括被动关节的关节和耦接到该关节的链路的机器人(具有包括被动关节的链路机构的机器人)。图3示出了根据本实施方式的主装置20的示例。
在图3所示的示例中,主装置20包括操作体210和力传感器220。操作体210被设置到耦接到被动关节的链路上。力传感器220测量施加到操作体210上的力。这里,根据本实施方式的力传感器220的示例包括能够测量施加到操作体210的力的任何传感器,诸如“具有任何系统(诸如使用应变计的系统)的力感传感器”或“具有任何系统(诸如通过使用压电元件、麦克风等测量振动而获得触感的系统)的触觉传感器”。另外,主装置20包括例如运动传感器,该运动传感器用于在与关节相对应的相应位置处测量关节的运动。
在本实施方式中,操作体210是主装置20的输入接口,并且用户能够通过移动操作体210的位置的操作来移动(远程控制)上述接触部112的位置。在下文中,包括在主装置20中的操作体210的位置也简称为“主位置”。另外,在本实施方式中,主装置20的可移动范围是指操作体210的可移动范围,并且主装置20的可移动范围限制是指操作体210的可移动范围限制。
应注意,图3示出了其中设置到主装置20的操作体210是触针形操作设备的示例,但是,根据本实施方式的操作体210不限于图3所示的示例。根据本实施方式的操作体210的示例包括具有任何形状的操作设备,诸如手套形操作设备。另外,根据本实施方式的操作体210可以是可应用于触觉设备的任何操作设备。另外,主装置20可以具有其中操作体210是可更换的配置。应注意,根据本实施方式的主装置20的配置不限于图3所示的示例,并且可以具有任何配置。
成像装置30包括通过成像获取患部的图像的成像单元32。成像单元32可以包括例如内窥镜等。另外,成像单元32可以包括立体相机。
根据本实施方式的成像装置30具有变焦机构,并且可以使成像单元32的变焦倍率(成像倍率)可变。另外,成像装置30包括例如抓握成像单元32的机械臂,并且成像单元32的位置和姿势可以改变。成像单元32的变焦倍率以及成像单元32的位置和姿势可以由稍后将描述的控制装置50控制。
显示装置40显示从稍后将描述的控制装置50输出的图像。显示装置40可以是安装型显示器或安装在用户的头部上的HMD(头戴式显示器)。
控制装置50是控制包括在主从系统1000中的每个其他装置的装置。控制装置50以任何通信方案耦接到包括在主从系统1000中的每个其他装置。例如,控制装置50从主装置20接收由包括在主装置20中的传感器测量的信息,并且基于所接收的信息获取主位置(包括在主装置20中的操作体210的位置)。然后,控制装置50基于所获取的主位置以及上述操作倍率和操作偏移来控制从位置(包括在从装置10中的接触部112)。
另外,根据本实施方式的控制装置50检测主装置20是否已经到达可移动范围限制,并且基于检测结果来控制从参数和图像参数。应注意,如上所述,从参数是与从装置10的控制有关的参数,并且包括操作倍率和操作偏移。另外,图像参数是与基于成像装置30的成像显示在显示装置40上的图像有关的参数,并且包括图像倍率和图像偏移。应注意,在本实施方式中,图像倍率是指成像装置30的变焦倍率,并且可以通过用于移动包括在成像装置30中的成像单元32的位置的控制来执行图像偏移的控制。
利用这样的配置,控制从参数和图像参数而不中断从装置10的远程控制并且不需要使用除了主装置20之外的输入设备的操作,从而减轻用户的负担。以下描述基于这样的主装置是否已经到达可移动范围限制的检测结果来控制从参数和图像参数。
<2-2.基于是否已经到达可移动范围限制的检测结果的控制>
在检测到主装置20已经到达可移动范围限制的情况下,根据本实施方式的控制装置50执行操作倍率和图像倍率的减小控制(以下也简称为“减小控制”)和操作偏移和图像偏移的控制(以下也简称为“偏移控制”)中的至少一个。例如,可以根据用户对主装置20的操作来切换控制装置50执行减小控制还是偏移控制,并且稍后描述用于这种切换的操作。
以下,参考图4至图6描述根据本实施方式的控制装置50的减小控制,并且然后参考图7至图9描述根据本实施方式的控制装置50的偏移控制。
图4是用于描述根据本实施方式的控制装置50的减小控制的概念图。图4示出了包括在主装置中的操作体210的可移动范围的中心CM和操作体210的可移动范围的边界BM。另外,图4示出了包括在从装置10中的接触部112的可移动范围的中心CS和接触部112的可移动范围的边界BS。
如上所述,控制装置50可以基于操作倍率和操作偏移来控制从装置10,以将从装置10的接触部112移动到与主位置相对应的位置。在图4所示的示例中,可以由控制装置50控制操作倍率而不改变操作偏移。在图4所示的示例中,操作偏移为0;然而,可以采用预先添加操作偏移的状态。然后,可以根据操作倍率的控制来改变与主装置20的可移动范围相对应的从装置10的操作区域的大小。
在图4所示的状态T11下,与主装置20的可移动范围相对应的从装置10的操作区域的边界是边界BV11。另外,状态T11下的操作区域的中心与接触部112的可移动范围的中心CS一致。
另外,图4还示出了由成像装置30的成像单元32捕获图像的成像范围。应注意,在本实施方式中,成像范围可以是显示在显示装置40上的显示范围。在图4所示的示例中,状态T11下的成像范围R11包括从装置10的整个操作区域。另外,在图4所示的示例中,成像范围R11的中心与接触部112的可移动范围的中心CS和操作区域的中心一致。
另外,包括在主装置20中的操作体210能够在边界BM内移动可移动范围,并且状态T11下的操作体210的位置被指示为主位置PM11。另外,在状态T11下,从装置10被控制为将从装置10的接触部112移动到与主位置PM11相对应的从位置PS11。
这里,如图4所示,状态T11下的主位置PM11与操作体210的可移动范围的边界BM接触,并且主位置(即,操作体210)不能在远离可移动范围的中心CM的方向上进一步移动。在主位置位于主位置不能以这样的方式在特定方向上移动的位置或靠近该位置的位置的情况下,在本说明书中,检测到主装置20已经到达可移动范围限制。
在图4的状态T11下,主装置20已经到达可移动范围限制;因此,从位置PS11与对应于主装置20的可移动范围的从装置10的操作区域的边界BV11接触。然而,从从位置PS11到接触部112的可移动范围的边界BS的距离较大,并且作为从装置10自身的性能,可以使接触部112在远离中心CS的方向上进一步移动。
因此,在检测到主装置20已经到达可移动范围限制的情况下,根据本实施方式的控制装置50可以执行用于减小操作倍率和图像倍率两者的减小控制。应注意,在本说明书中,“控制操作倍率和图像倍率两者”可以是指基本上同时控制操作倍率和图像倍率以使操作倍率的变化率和图像倍率的变化率彼此基本上相同。这样的配置使得可以增大操作区域并且增大成像范围而无需用户进行额外的操作。此外,根据本实施方式的控制装置50在执行减小控制的同时,控制从装置10以保持在主装置20的可移动范围中的主位置与根据从装置的操作倍率和操作偏移计算出的操作区域中的从位置之间的关系。这样的配置使得可以在执行减小控制的同时使从装置10的接触部112在远离操作区域的中心的方向上移动,并且执行减小控制而不中断从装置10的接触部112的操作。
在图4所示的示例中,通过控制装置50的减小控制来进行从状态T11到状态T12的转变。应注意,图4示出了用户没有将主位置从状态T11移动到状态T12并且状态T11下的主位置PM11与状态T12下的主位置PM12相同的示例。
在状态T12下,与主装置20的可移动范围相对应的从装置10的操作区域大于状态T11下的操作区域,并且状态T12下的操作区域的边界BV12存在于状态T11下的边界BV11的外部。应注意,在图4所示的示例中,在从状态T11到T12的转变中,操作偏移不改变;因此,状态T12下的操作区域的中心也与接触部112的可移动范围的中心CS一致。
如上所述,根据本实施方式的控制装置50在执行减小控制的同时,控制从装置10以保持在主装置20的可移动范围中的主位置与根据从装置10的操作倍率和操作偏移计算出的操作区域中的从位置之间的关系。因此,根据操作区域的增大,状态T12下的从位置PS12移动到与状态T11下的从位置PS11不同的位置。具体地,状态T12下的从位置PS12在远离接触部112的状态T11下的操作区域的中心(接触部112的可移动范围的中心CS)的方向上移动。这样的移动方向与从主装置20的可移动范围的中心CM到主位置PM12的方向相对应;因此,这种控制被认为是给用户带来较少不适并且反映用户的意图的控制。
另外,如上所述,根据本实施方式的控制装置50控制图像倍率以及操作倍率。状态T12下的成像范围R12大于状态T11下的成像范围R11。如上所述,根据本实施方式的控制装置50执行减小控制,以使操作倍率的变化率和图像倍率的变化率彼此基本上相同;因此,即使在状态T12下,成像范围R12也包括从装置10的整个操作区域。应注意,在图4所示的示例中,图像偏移在从状态T11到状态T12的转变中不改变;因此,状态T12下的成像范围R12的中心也与接触部112的可移动范围的中心CS和操作区域的中心一致。利用这样的配置,用户在执行减小控制的同时不会失去对从位置PS12(即,从装置10的接触部112)的跟踪。
图5示出了在基于主装置20是否已经到达可移动范围限制的检测结果执行减小控制的同时由显示装置40显示的显示图像的示例。图5示出了分别在图4所示的状态T11和状态T12下显示在显示装置40上的显示图像G11和显示图像G12。
在状态T11下显示的显示图像G11是通过将用户界面G111至G114叠加在通过由成像装置30捕获图4所示的成像范围的图像而获取的捕获图像V11上而获取的图像。类似地,在状态T12下显示的显示图像G12是通过将用户界面G121至G124叠加在通过由成像装置30捕获图4所示的成像范围R12的图像而获取的捕获图像V12上而获取的图像。应注意,与捕获图像V11相比,捕获图像V12是通过捕获更宽范围的图像而获取的图像。另外,例如,控制装置50可以执行叠加用户界面G111至G114和G121至G124的处理。
用户界面G111和G121各自指示操作区域的边界,并且分别是图4所示的操作区域的可视化边界BV11和BV12。显示用户界面G111和G121允许用户掌握操作区域。另外,如上所述,执行减小控制以使操作倍率的变化率和图像倍率的变化率从状态T11到状态T12彼此基本上相同,这使用户界面G111的位置和用户界面G121的位置在屏幕上彼此基本上相同。屏幕上的操作区域总是固定的;因此,屏幕上的主位置与从位置(接触部112的位置)之间的关系总是固定的,这使得用户可以更容易地掌握操作区域并且更直观地执行操作。
另外,用户界面G112和G122各自指示操作倍率。如上所述,在从状态T11到状态T12的转变中执行减小控制;因此,如图5所示,由用户界面G122指示的操作倍率(2倍)小于由用户界面G112指示的操作倍率(4倍)。
另外,用户界面G113和G123是用于增大操作倍率和图像倍率的操作的按钮。例如,用户操作主装置20以将从位置叠加在用户界面G113和G123上,从而执行用于增大操作倍率和图像倍率的增大控制。应注意,增大操作不限于该示例,并且可以通过任何其他操作来执行增大控制。
另外,用户界面G114和G124是用于基于检测是否已经到达可移动范围限制来切换控制模式的操作的按钮(以下也简称为“控制模式”)。例如,用户操作主装置20以将从位置叠加在用户界面G114和G124上,从而切换控制模式。在本实施方式中,存在包括稍后将描述的减小控制和偏移控制的两种控制模式,并且例如可以通过偏移控制标志的开(ON)或关(OFF)来切换控制模式。在图5所示的示例中,控制模式是减小控制,并且在执行切换控制模式的操作的情况下,偏移控制标志被打开,并且控制模式被切换为稍后将描述的偏移控制。
应注意,图4和图5二维地示出了可移动范围和操作区域,但是实际上,可移动范围和操作区域可以三维地表示。图6三维地示出了在执行减小控制时的可移动范围和操作区域。图6示出了主装置20的可移动范围的边界BM、从装置10的可移动范围的边界BS以及与主装置20的可移动范围相对应的从装置10的操作区域的边界BV。如图6所示,在执行减小控制以减小操作倍率的情况下,可以三维地增大操作区域。
以上已经描述了根据本实施方式的控制装置50的减小控制。接下来,参考图7至图9描述根据本实施方式的控制装置50的偏移控制。
图7是用于描述根据本实施方式的控制装置50的偏移控制的概念图。在图7所示的组件中,与参考图4描述的组件相同的组件由相同的参考数字表示,并且因此省略其冗余描述。
如上所述,控制装置50可以基于操作倍率和操作偏移来控制从装置10以将从装置10的接触部112移动到与主位置相对应的位置。在图7所示的示例中,可以由控制装置50控制操作偏移而不改变操作倍率。然后,可以根据操作偏移的控制来移动与主装置20的可移动范围相对应的从装置10的操作区域。
在图7所示的状态T21下,与主装置20的可移动范围相对应的从装置10的操作区域的边界是边界BV21。另外,状态T21下的操作区域的中心与接触部112的可移动范围的中心CS一致。另外,在图7所示的示例中,由成像装置30的成像单元32捕获图像的成像范围R21的中心与接触部112的可移动范围的中心CS和操作区域的中心一致。
另外,包括在主装置20中的操作体210能够在边界BM内移动可移动范围,并且状态T21下的操作体210的位置被指示为主位置PM21。另外,在状态T21下,从装置10被控制为将从装置10的接触部112移动到与主位置PM21相对应的从位置PS21。
这里,如图7所示,状态T21下的主位置PM21与操作体210的可移动范围的边界BM接触,并且主装置20已经到达可移动范围限制。在状态T21下,主装置20已经到达可移动范围限制;因此,从位置PS21与对应于主装置20的可移动范围的从装置10的操作区域的边界BV21接触。然而,从从位置PS21到接触部112的可移动范围的边界BS的距离较大,并且作为从装置10自身的性能,可以使接触部112在远离中心CS的方向上进一步移动。
因此,在检测到主装置20已经到达可移动范围限制的情况下,根据本实施方式的控制装置50可以执行用于控制操作偏移和图像偏移两者的偏移控制。应注意,在本说明书中,“控制操作偏移和图像偏移两者”可以是指基本上同时控制操作偏移和图像偏移以使实际空间中的操作区域的移动方向和移动量与显示范围(在本实施方式中为成像范围)的移动方向和移动量基本上相同。这样的配置使得可以移动操作区域而无需用户进行额外的操作,并且还可以移动显示范围(成像范围)以跟随该操作区域。
在主装置20已经到达可移动范围限制的情况下,认为用户具有在远离操作区域的中心的方向上移动从位置的意图。例如,在从操作区域的中心朝向从位置的方向上移动操作区域使得可以实现从位置的这种移动。因此,根据本实施方式的控制装置50可以执行偏移控制,以在从操作区域的中心朝向从位置的方向上移动操作区域和显示范围。此外,根据本实施方式的控制装置50在执行偏移控制的同时,控制从装置10以保持在主装置20的可移动范围中的主位置与根据从装置10的操作倍率和操作偏移计算出的操作区域中的从位置之间的关系。这样的配置使得可以在执行偏移控制的同时使从装置10的接触部112在远离操作区域的中心的方向上移动,并且执行减小控制而不中断从装置10的接触部112的操作。
在图7所示的示例中,通过控制装置50的减小控制来进行从状态T21到状态T22的转变。应注意,图7示出了用户没有将主位置从状态T21移动到状态T22并且状态T21下的主位置PM21与状态T22下的主位置PM22相同的示例。
在状态T22下,与主装置20的可移动范围相对应的从装置10的操作区域被移动到与状态T21下的操作区域不同的位置。具体地,状态T22下的操作区域的中心CV22在从状态T21下的操作区域的中心(接触部112的可移动范围的中心CS)朝向从位置PS21的方向上移动。另外,类似地,状态T22下的操作区域的边界BV22也在与操作区域的中心CV22相似的方向上移动。应注意,在图7所示的示例中,在从状态T21到状态T22的转变中,操作倍率不改变;因此,状态T21下的操作区域的大小(边界BV21的大小)与状态T22下的操作区域的大小(边界BV22的大小)相同。
如上所述,根据本实施方式的控制装置50在执行偏移控制的同时,控制从装置10以保持在主装置20的可移动范围中的主位置与根据从装置10的操作倍率和操作偏移计算出的操作区域中的从位置之间的关系。因此,根据操作区域的移动,状态T22下的从位置PS22移动到与状态T22下的从位置PS21不同的位置。具体地,状态T22下的从位置PS22在远离状态T21下的操作区域的中心(接触部112的可移动范围的中心CS)的方向上移动。这样的移动方向与从主装置20的可移动范围的中心CM到主位置PM22的方向相对应;因此,这种控制被认为是给用户带来较少不适并且反映用户的意图的控制。
另外,如上所述,根据本实施方式的控制装置50控制图像偏移以及操作偏移。状态T22下的成像范围R22移动到与状态T21下的成像范围R21不同的位置。如上所述,在本实施方式中,控制图像偏移以使实际空间中的操作区域的移动方向和移动量与成像范围的移动方向和移动量基本上相同。因此,即使在状态T22下,成像范围R22也包括从装置10的整个操作区域,并且状态T22下的成像范围R22的中心与操作区域的中心CV22一致。利用这样的配置,用户在执行偏移控制的同时不会失去对从位置PS22(即,从装置10的接触部112)的跟踪。应注意,在图7所示的示例中,在从状态T21到状态T22的转变中,图像倍率不改变;因此,状态T22下的成像范围R22的大小与状态T21下的成像范围R21的大小相同。
图8示出了在基于是否已经到达可移动范围限制的检测结果执行偏移控制的同时由显示装置40显示的显示图像的示例。图8示出了分别在图7所示的状态T21和状态T22下显示在显示装置40上的显示图像G21和显示图像G22。
在状态T21下显示的显示图像G21是通过将用户界面G211至G214叠加在通过由成像装置30捕获图7所示的成像范围R21的图像而获取的捕获图像V21上而获取的图像。类似地,在状态T12下显示的显示图像G22是通过将用户界面G221至G224叠加在通过由成像装置30捕获图7所示的成像范围R22的图像而获取的捕获图像V22上而获取的图像。
用户界面G211和G221各自指示操作区域的边界,并且分别是图7所示的操作区域的可视化边界BV21和BV22。显示用户界面G211和G221允许用户掌握操作区域。另外,如上所述,执行偏移控制以使实际空间中的操作区域的移动方向和移动量与从状态T21到状态T22的成像范围的移动方向和移动量基本上相同,这使用户界面G211的位置和用户界面G221的位置在屏幕上彼此基本上相同。屏幕上的操作区域总是固定的;因此,屏幕上的主位置与从位置(接触部112的位置)之间的关系总是固定的,这使得用户可以更容易地掌握操作区域并且更直观地执行操作。
另外,用户界面G212和G222各自指示操作倍率。如上所述,操作倍率在从状态T21到状态T22的转变中不改变;因此,如图8所示,由用户界面G212指示的操作倍率(4倍)与由用户界面G222指示的操作倍率(4倍)相同。
用户界面G213和G223与参考图5描述的用户界面G113和G123基本上相同,并且这里不再描述。
另外,用户界面G214和G224是用于与参考图5所述的用户界面G114和G124一样切换控制模式的操作的按钮。例如,用户操作主装置20以将从位置叠加在用户界面G214和G224上,从而切换控制模式。在图8所示的示例中,控制模式是偏移控制,并且在执行切换控制模式的操作的情况下,偏移控制标志被关闭,并且控制模式被切换到减小控制。
应注意,图7和图8二维地示出了可移动范围和操作区域,但是实际上,可移动范围和操作区域可以三维地表示。图9三维地示出了在执行偏移控制时的可移动范围和操作区域。图9示出了主装置20的可移动范围的边界BM、从装置10的可移动范围的边界BS以及与主装置20的可移动范围相对应的从装置10的操作区域的边界BV。如图6所示,在执行偏移控制的情况下,移动操作区域,并且成像单元32也在与操作区域的移动方向基本上相同的移动方向上移动与操作区域的移动量基本上相同的移动量。
<2-3.控制装置的配置>
以上已经描述了根据本实施方式的控制装置50基于是否已经到达可移动范围限制的检测结果的控制。接下来,给出可以实现以上参考图10描述的控制的根据本实施方式的控制装置50的功能配置的描述。图10是示出根据本实施方式的控制装置50的功能配置示例的框图。
参考图10,根据本实施方式的控制装置50包括通信单元510、检测器520和控制器530。
通信单元510是在控制装置50与另一装置之间进行通信的通信接口。通信单元510支持任何无线通信协议或任何有线通信协议,并且直接或经由未示出的网络执行与已经参考图1描述的从装置10、主装置20、成像装置30和显示装置40的通信。
检测器520基于由通信单元510接收的来自主装置20的信息来检测主装置20是否已经到达可移动范围限制。如上所述,在本实施方式中,主装置20的可移动范围限制是指作为包括在主装置20中的输入接口的操作体210的可移动范围限制。另外,主装置20的可移动范围限制是操作体210在特定方向上不可移动的状态或接近这种状态的状态。
例如,在基于从主装置20接收的信息指定的主位置(操作体210的位置)与操作体210的可移动范围的边界(图4和图7所示的边界BM)接触的情况下,检测器520可以检测到主装置20已经到达可移动范围限制。例如,检测器520根据设置在包括在主装置20中的关节处的编码器的测量值(例如,关节角度)来计算主位置。可选地,例如,在主位置存在于距操作体210的可移动范围的边界预定距离范围内的情况下,检测器520可以检测到主装置20已经到达可移动范围限制。可选地,在主装置20本身具有发送指示主装置20已经到达可移动范围限制的信息的功能的情况下,检测器520可以基于由通信单元510接收的来自主装置20的信息来检测主装置20已经到达可移动范围限制。可选地,在基于从主装置20接收的信息指定的操作体210的位置与目前显示在显示装置40上的屏幕的屏幕端接触或接近的情况下,检测器520可以检测到主装置20已经到达可移动范围限制。另外,检测器520可以基于从预定原点到主位置的距离来检测主装置20是否已经到达可移动范围限制。例如,在检测器520监测从预定原点到主位置的距离并且该距离与从预定原点到可移动范围的边界的距离一致的情况下,检测器520可以检测主装置20已经到达可移动范围限制。
检测器520将是否已经到达可移动范围限制的检测结果输出到控制器530。
控制器530控制图1所示的从装置10、成像装置30和显示装置40。另外,如参考图4至图9所描述的,根据本实施方式的控制器530基于检测器520对主装置20是否已经到达可移动范围限制的检测结果来控制从参数和图像参数两者。控制器530具有倍率控制器531、偏移控制器533、主从控制器535、成像控制器537和显示控制器539的功能。
倍率控制器531执行操作倍率和图像倍率的控制。倍率控制器531将操作倍率输出到主从控制器535,并且将图像倍率输出到成像控制器537。例如,如参考图4至图6所描述的,在检测器520检测到主装置20已经到达可移动范围限制的情况下,倍率控制器531执行操作倍率和图像倍率的减小控制。另外,在检测器520检测到主装置20已经到达可移动范围限制的同时,倍率控制器531可以连续地执行操作倍率和图像倍率的减小控制。
例如,如上所述,倍率控制器531可以基本上同时控制操作倍率和图像倍率。利用这样的配置,用户不必根据操作倍率的变化来执行与所显示的图像有关的附加操作,从而减轻用户的负担。
另外,倍率控制器531可以控制操作倍率和图像倍率以使操作倍率的变化率和图像倍率的变化率彼此基本上相同。利用这样的配置,保持了操作区域的大小与显示范围的大小(其与本实施方式中的成像范围相同)之间的关系,这使得用户可以更舒适地执行操作。
另外,如参考图4所描述的,倍率控制器531可以控制操作倍率和图像倍率以使操作区域的中心和所显示的图像的中心(本实施方式中的成像范围的中心)彼此一致。利用这样的配置,操作区域的中心位置在用户看到的屏幕上不改变;因此,不太可能给用户带来不适。
另外,如参考图5所描述的,倍率控制器531可以根据预定增大操作来执行用于增大操作倍率和图像倍率的增大控制。另外,如参考图5所描述的,预定增大操作可以是基于用户对主装置20的输入的操作。利用这样的配置,用户能够增大操作倍率和图像倍率而不使用除了主装置20之外的输入设备。
偏移控制器533执行操作偏移和图像偏移的控制。偏移控制器533将操作偏移输出到主从控制器535,并且将图像偏移输出到成像控制器537。例如,如参考图7至图9所描述的,在检测器520检测到主装置20已经到达可移动范围限制的情况下,偏移控制器533执行操作偏移和图像偏移的控制(偏移控制)。另外,在检测器520检测到主装置20已经到达可移动范围限制的同时,倍率控制器531可以连续地执行操作偏移和图像偏移的控制。
另外,如参考图7所描述的,偏移控制器533可以基本上同时控制操作偏移和图像偏移。利用这样的配置,用户不必根据操作偏移的变化来执行与所显示的图像有关的附加操作,从而减轻用户的负担。
另外,如参考图7所描述的,偏移控制器533可以控制操作偏移和图像偏移以使与主装置20的可移动范围相对应的从装置10的操作区域的移动方向和移动量与所显示的图像的显示范围(其与本实施方式中的成像范围相同)的移动方向和移动量基本上相同。利用这样的配置,保持了操作区域的位置与显示范围的位置(其与本实施方式中的成像范围相同)之间的关系,这使得用户可以更舒适地执行操作。
另外,如参考图7所描述的,偏移控制器533可以控制操作偏移和图像偏移以使操作区域的中心和所显示的图像的中心(在本实施方式中的成像范围的中心)彼此一致。利用这样的配置,操作区域的中心位置在用户看到的屏幕上不改变;因此,不太可能给用户带来不适。
主从控制器535基于根据由通信单元510接收的来自主装置20的信息指定的主位置、由倍率控制器531控制的操作倍率和由偏移控制器533控制的操作偏移来执行从装置10的控制(主从控制)。
应注意,除了应用由倍率控制器531控制的操作倍率和由偏移控制器533控制的操作偏移之外,根据本实施方式的主从控制器535的主从控制可以与现有主从系统中的从装置的控制类似,并且因此省略其详细描述。
成像控制器537基于由倍率控制器531控制的图像倍率和由偏移控制器533控制的图像偏移来执行成像装置30的控制(成像控制)。例如,在本实施方式中,图像倍率可以是成像装置的变焦倍率(成像倍率),并且成像控制器537可以控制成像装置的变焦倍率以将由倍率控制器531控制的图像倍率应用于成像控制。另外,在本实施方式中,成像控制器537可以通过执行包括在成像装置30中的机械臂的驱动控制来移动成像单元32,以将图像偏移应用于成像控制。
显示控制器539基于通过成像装置30的成像获取的捕获图像来生成显示在显示装置40上的显示图像。例如,根据本实施方式的显示控制器539可以执行将参考图5和图8描述的用户界面G111至G114和G211至G214叠加在捕获图像上以生成显示图像的处理。
以上已经描述了控制器530所具有的相应功能。上述控制器530所具有的相应功能允许实现如参考图4至图9所描述的基于是否已经到达可移动范围限制的检测结果的从参数和图像参数的控制。
应注意,控制器530可以根据基于用户对主装置20的输入的操作来确定要经受控制的从参数和图像参数的组合。在本实施方式中,要经受控制的从参数和图像参数的组合是上述操作倍率和图像倍率的组合以及上述操作偏移和图像偏移的组合(其分别与上述倍率控制器531的减小控制和偏移控制器533的偏移控制相对应)中的一个。例如,控制器530可以根据参考图5描述的操作在上述倍率控制器531的减小控制与偏移控制器533的偏移控制之间切换控制模式。如上所述,控制器530可以例如通过偏移控制标志的开或关来管理控制模式。利用这样的配置,用户能够切换控制模式而不使用除了主装置20之外的输入设备。
应注意,用于确定要经受控制的从参数和图像参数的组合的操作不限于参考图5描述的示例。例如,在主位置已经到达参考图6和图9描述的操作区域的可移动范围上限(从位置在操作区域中与成像单元32侧接触)的情况下,可以执行减小控制。
<2-4.控制装置的操作>
以上已经描述了根据本实施方式的控制装置50的功能配置。接下来,给出根据本实施方式的控制装置50的操作的描述。图11是示出根据本实施方式的控制装置50的操作的流程图。应注意,图11主要示出了与本实施方式的特性有关的处理,并且根据本实施方式的控制装置50可以执行图11中未示出的处理(例如,在未检测到已经到达可移动范围限制的情况下的主从控制处理)。
参考图11,首先获取主位置(S102)。应注意,关于主位置的信息可以从主装置20发送到控制装置50,或者可以基于由通信单元510接收的来自主装置20的信息来指定。
接下来,控制器530基于主位置确定是否执行增大操作(S104)。例如,如参考图5所描述的,增大操作可以是将用于显示在显示装置40上的增大操作的按钮和从位置彼此叠加在屏幕上的操作。
在执行增大操作的情况下(S104中为是),控制器530的倍率控制器531执行操作倍率和图像倍率的增大控制(S106)。然后,控制器530的主从控制器535将操作倍率应用于主从控制,并且控制器530的成像控制器537根据图像倍率来控制成像装置30(S108)。
相对照地,在不执行增大操作的情况下(S104中为否),检测器520检测主位置是否已经到达可移动范围限制(主装置20是否已经到达可移动范围限制)(S110)。在未检测到主位置已经到达可移动范围限制的情况下(S110中为否),处理结束。
在检测器520检测到主位置已经到达可移动范围限制并且偏移控制标志为开的情况下(S110中为是,并且S112中为是),处理进入步骤S114。在步骤S114中,控制器530的偏移控制器533根据主位置来控制操作偏移和图像偏移两者。此后,主从控制器535将操作偏移应用于主从控制,并且成像控制器537根据图像偏移来控制成像装置30(S116)。
在检测器520检测到主位置已经到达可移动范围限制并且偏移控制标志为关的情况下(S110中为是,并且S112中为否),处理进入步骤S118。在步骤S118中,倍率控制器531执行操作倍率和图像倍率的减小控制。此后,主从控制器535将操作倍率应用于主从控制,并且成像控制器537根据图像倍率来控制成像装置30(S120)。
<2-5.效果>
以上已经描述了本公开的第一实施方式。根据上述第一实施方式,控制装置50的控制器530检测主装置20是否已经到达可移动范围限制,并且基于是否已经到达可移动范围限制的检测结果来控制从参数和图像参数。这样的配置使得可以继续用户期望的操作而不中断从装置10的远程控制并且不使用除了主装置之外的输入设备,并且减轻用户的负担。
<<3.第二实施方式>>
在上述第一实施方式中,已经描述了主从系统1000包括一个从装置10和一个主装置20的示例。然而,本技术不限于该示例,并且包括在主从系统中的从装置的数量和主装置的数量可以是多个。
作为本公开的第二实施方式,以下描述包括两个从装置和两个主装置的主从系统2000。应注意,根据本实施方式的主从系统2000的配置与根据上述第一实施方式的主从系统1000的配置部分地基本上相同,并且在适当省略其冗余描述的同时进行描述。
<3-1.系统配置>
图12是根据本公开的第二实施方式的主从系统2000的示意性配置图。如图12所示,主从系统2000是包括从装置10L和10R、主装置20L和20R、成像装置30、显示装置40和控制装置50的主从模式操作系统。
在图12所示的主从系统2000中,从装置10L与主装置20L彼此对应,并且从装置10R与主装置20R彼此对应。
从装置10L和从装置10R是主从系统2000中的从侧装置。从装置10L可以由控制装置50根据对主装置20L的输入操作来控制,并且从装置10R可以由控制装置50根据对主装置20R的输入操作来控制。应注意,例如,从装置10L和从装置10R的配置可以类似于根据参考图2描述的第一实施方式的从装置10的配置。
主装置20L和主装置20R是主从系统2000中的主侧装置。主装置20L可以用于从装置10L的操作,并且主装置20R可以用于从装置10R的操作。例如,主装置20L可以由用户的左手操作,而主装置20R可以由用户的右手操作。应注意,例如,主装置20L和主装置20R的配置可以类似于根据参考图3描述的第一实施方式的主装置20的配置。
根据本实施方式的成像装置30和显示装置40的配置与根据第一实施方式的成像装置30和显示装置40的配置相同,并且这里不再描述。
根据本实施方式的控制装置50是控制包括在主从系统2000中的每个其他装置的装置。根据本实施方式的控制装置50的功能配置与根据图10所示的第一实施方式的控制装置50的功能配置相似,但是某些块的功能可以不同。参考图10,以下主要描述根据本实施方式的控制装置50的功能配置与根据第一实施方式的控制装置50的功能配置的不同之处。
<3-2.控制装置的配置>
与根据第一实施方式的通信单元510一样,根据本实施方式的通信单元510是在根据本实施方式的控制装置50与另一装置之间进行通信的通信接口。
与根据第一实施方式的检测器520一样,根据本实施方式的检测器520基于由通信单元510接收的来自主装置20的信息来检测主装置是否已经到达可移动范围限制。然而,如上所述,根据本实施方式的主从系统2000包括多个主装置20L和20R。因此,根据本实施方式的检测器520可以独立地检测多个主装置20L和20R中的每一个是否已经到达可移动范围限制。
与根据第一实施方式的控制器530一样,控制器530控制图12所示的从装置10L和10R、成像装置30和显示装置40。另外,与根据第一实施方式的控制器530一样,根据本实施方式的控制器530基于检测器520对主装置20L或主装置20R是否已经到达可移动范围限制的检测结果来控制从参数和图像参数两者。在图10所示的控制器530的功能中,根据本实施方式的成像控制器537和显示控制器539的功能与根据第一实施方式的成像控制器537和显示控制器539的功能基本上相同。以下描述根据本实施方式的倍率控制器531、偏移控制器533和主从控制器535的功能与第一实施方式中的功能的不同之处。
与根据第一实施方式的倍率控制器531一样,根据本实施方式的倍率控制器531执行左侧和右侧共用的操作倍率和图像倍率的控制。在检测器520检测到主装置20L和主装置20R中的至少一个已经到达可移动范围限制的情况下,根据本实施方式的倍率控制器531可以执行操作倍率和图像倍率的减小控制。
与根据第一实施方式的偏移控制器533一样,根据本实施方式的偏移控制器533执行左侧和右侧共用的操作偏移和图像偏移的控制。在检测器520检测到主装置20L和主装置20R中的至少一个已经到达可移动范围限制的情况下,根据本实施方式的偏移控制器533可以执行操作偏移和图像偏移的控制。另外,在检测器520检测到主装置20L已经到达可移动范围限制的情况下,根据本实施方式的偏移控制器533可以基于主装置20L的主位置(以下也称为“左主位置”)执行操作偏移和图像偏移的控制。此外,在检测器520检测到主装置20R已经到达可移动范围限制的情况下,根据本实施方式的偏移控制器533可以基于主装置20R的主位置(以下也称为“右主位置”)执行操作偏移和图像偏移的控制。
与根据第一实施方式的主从控制器535一样,根据本实施方式的主从控制器535基于主位置、由倍率控制器531控制的操作倍率和由倍率控制器531控制的操作偏移来执行主从控制。然而,如上所述,根据本实施方式的主从系统2000包括多个从装置10L和10R以及多个主装置20L和20R。因此,根据本实施方式的主从控制器535可以基于主装置20L的主位置来控制从装置10L,并且可以基于主装置20R的主位置来控制从装置10R。
以上已经描述了控制器530所具有的相应功能。顺便提及,与根据上述第一实施方式的控制器530一样,根据本实施方式的控制器530可以根据基于用户对主装置的输入的操作来确定要经受控制的从参数和图像参数的组合。例如,根据本实施方式的控制器530可以根据参考图5描述的操作在上述放大控制器531的减小控制与偏移控制器533的偏移控制之间切换控制模式。
然而,如上所述,根据本实施方式的主从系统2000包括多个主装置20L和20R;因此,与第一实施方式中描述的示例相比,它们的组合使得可以容易地输入更复杂的操作。因此,根据本实施方式的控制器530可以根据基于对多个主装置20L和20R的输入的操作来确定要经受控制的从参数和图像参数的组合。
例如,根据本实施方式的控制器530可以基于左主位置与右主位置之间的关系来切换控制模式(即,确定要经受控制的从参数和图像参数的组合)。例如,根据本实施方式的控制器530可以根据从左主位置到右主位置的距离是否小(例如,该距离等于或小于预定阈值)来切换控制模式。
可选地,根据本实施方式的控制器530可以基于从装置10L的从位置(以下也称为“左从位置”)与从装置10R的从位置(以下也称为“右从位置”)之间的关系来切换控制模式。例如,根据本实施方式的控制器530可以根据从左从位置到右从位置的距离是否小(例如,该距离等于或小于预定阈值)来切换控制模式。
参考图13,作为一个示例,以下描述在检测器520检测到主装置20L和主装置20R中的至少一个已经到达可移动范围限制并且从左主位置到右主位置的距离小的情况下执行偏移控制的示例。
图13是示出根据本实施方式的偏移控制的示例的概念图。在图13所示的组件中,与参考图4描述的组件相同的组件由相同的参考数字表示,并且因此省略其冗余描述。应注意,为了便于描述,图13所示的示例指示从装置10L的可移动范围与从装置10R的可移动范围彼此一致并且主装置20L的可移动范围与主装置20R的可移动范围彼此一致的示例,但是本技术不限于该示例。
在图13所示的状态T31下,分别与主装置20L和主装置20R的可移动范围相对应的从装置10L和从装置10R的每个操作区域的边界是边界BV31。另外,状态T31下的每个操作区域的中心与从装置10L和从装置10R的每个可移动范围的中心CS一致。另外,在图13所示的示例中,通过成像装置30的成像单元32的成像捕获图像的成像范围R31的中心与从装置10L和从装置10R的每个可移动范围的中心CS和每个操作区域的中心一致。
状态T31下的主装置20L的左主位置和主装置20R的右主位置分别表示为左主位置PM31L和右主位置PM31R。另外,在状态T31下,从装置10L和从装置10R被控制为分别将从装置10L的左主位置和从装置10R的右主位置移动到与左主位置PM31L和右主位置PM31R相对应的左从位置PS31L和右从位置PS31R。
另外,在图13所示的状态T31下,左主位置PM31L与主装置20L的可移动范围的边界BM接触,并且主装置20L已经到达可移动范围限制。此外,在图13所示的状态T31下,右主位置PM31R不与主装置20R的可移动范围的边界BM接触,而是存在于左主位置PM31L附近。
因此,在图13所示的示例中,通过基于检测左主位置PM31L是否已经到达可移动范围限制的偏移控制进行从状态T31到状态T32的转变。应注意,图13示出了用户没有将主位置从状态T31移动到状态T32并且状态T31下的左主位置PM31L和右主位置PM31R与状态T32下的左主位置PM32L和右主位置PM32R相同的示例。
在状态T32下,与主装置20L和20R的可移动范围相对应的从装置10L和10R的操作区域移动到与状态T31下的操作区域不同的位置。具体地,状态T32下的每个操作区域的中心CV32在从状态T31下的每个操作区域的中心(从装置10L和10R的每个可移动范围的中心CS)朝向左从位置PS31L的方向上移动。另外,类似地,状态T32下的每个操作区域的边界BV32也在与每个操作区域的中心CV32的方向相似的方向上移动。应注意,在图13所示的示例中,在从状态T31到状态T32的转变中,操作倍率不改变;因此,状态T31下的每个操作区域的大小(边界BV31的大小)与状态T32下的每个操作区域的大小(边界BV32的大小)相同。
以上已经描述了根据本实施方式的由控制器530执行偏移控制的示例。应注意,在上述示例中,在检测器520检测到主装置20L和主装置20R中的至少一个已经到达可移动范围限制并且从左主位置到右主位置的距离较大的情况下,可以执行操作倍率和图像倍率的减小控制。
另外,根据基于对多个主装置20L和20R的输入的操作来确定要经受控制的从参数和图像参数的组合的方法不限于上述示例,并且可以采用各种方法。例如,在左主位置和右主位置两者都已经到达可移动范围限制的情况下,可以根据左主位置与右主位置之间的位置关系来确定要经受控制的从参数和图像参数的组合。例如,在左主位置已经到达右侧的可移动范围限制并且右主位置已经到达左侧的可移动范围限制的情况下,可以执行操作倍率和图像倍率的减小控制。此外,在左主位置已经到达左侧的可移动范围限制并且右主位置已经到达右侧的可移动范围限制的情况下,可以执行操作倍率和图像倍率的增大控制。
<3-3.控制装置的操作>
以上已经描述了根据本实施方式的控制装置50的功能配置。接下来,给出根据本实施方式的控制装置50的操作的描述。图14是示出根据本实施方式的控制装置50的操作的流程图。应注意,图14主要示出了与本实施方式的特性有关的处理,并且根据本实施方式的控制装置50可以执行图14中未示出的处理(例如,在未检测到已经到达可移动范围限制的情况下的主从控制处理)。
参考图14,首先获取左主位置和右主位置(S202)。接下来,控制器530基于左主位置和右主位置来确定是否执行增大操作(S204)。例如,如参考图5所描述的,增大操作可以是将用于显示在显示装置40上的增大操作的按钮和从位置彼此叠加在屏幕上的操作。
在执行增大操作的情况下(S204中为是),控制器530的倍率控制器531执行操作倍率和图像倍率的增大控制(S206)。然后,控制器530的主从控制器535将操作倍率应用于主从控制,并且控制器530的成像控制器537根据图像倍率来控制成像装置30(S208)。
相对照地,在不执行增大操作的情况下(S204中为否),检测器520检测左主位置或右主位置是否已经到达可移动范围限制(S210)。在左主位置和右主位置均未到达可移动范围限制的情况下(S210中为否),处理结束。
在检测器520检测到左主位置或右主位置已经到达可移动范围限制并且左主位置和右主位置彼此接近的情况下(S210中为是,并且S212中为是),处理进入步骤S214。在步骤S214中,控制器530的偏移控制器533根据检测到的主位置已经到达左主位置和右主位置的可移动范围限制来控制操作偏移和图像偏移。此后,主从控制器535将操作倍率应用于主从控制,并且成像控制器537根据图像倍率来控制成像装置30(S216)。
在检测器520检测到左主位置或右主位置已经到达可移动范围限制并且左主位置和右主位置彼此不接近的情况下(S210中为是,并且S212中为否),处理进入步骤S218。在步骤S218中,倍率控制器531执行操作倍率和图像倍率的减小控制。此后,主从控制器535将操作倍率应用于主从控制,并且成像控制器537根据图像倍率来控制成像装置30(S220)。
<<4.变形例>>
以上已经描述了本公开的实施方式。下面描述根据本公开的一些变形例。应注意,以下描述的相应变形例可以单独地应用于本公开的每个实施方式,或者可以组合地应用于本公开的每个实施方式。另外,可以应用相应变形例来代替上述本公开的实施方式中描述的配置,或者可以应用除了上述本公开的实施方式中描述的配置之外的相应变形例。
<4-1.变形例1>
在上述实施方式中,已经给出了图像倍率被应用于成像装置30的变焦倍率的控制并且图像偏移被应用于包括在成像装置30中的成像单元32的移动的示例的描述;然而,本技术不限于该示例。例如,在显示控制器539裁剪(剪切)捕获图像的部分区域(显示范围)以生成显示图像的情况下,显示控制器539可以基于图像倍率和图像偏移来确定裁剪区域(显示范围)。
在这种情况下,图像倍率可以是捕获图像的大小与裁剪区域的大小的比率。另外,图像偏移可以用于确定裁剪区域的位置。
另外,在执行操作倍率和图像倍率的减小控制的情况下,控制器530可以划分显示图像并且生成显示图像以具有带有不同的图像倍率的显示区域。例如,显示控制器539可以生成显示图像以在从位置周围的部分中具有减小的图像倍率并且在除了该部分之外的部分中具有保持的图像倍率。参考图15至图17描述这样的示例。图15至图17中的每一个是用于描述生成显示图像以在从位置周围的部分中具有增大的图像倍率并且在除了该部分之外的部分中具有保持的图像倍率的示例的说明图。
在图15和图16所示的组件中,与参考图4描述的组件相同的组件由相同的参考数字表示,并且因此省略其冗余描述。
在图15所示的状态T41下,与主装置20的可移动范围相对应的从装置10的操作区域的边界是边界BV41。另外,图15还示出了显示在显示装置40上的显示范围R41。应注意,尽管图15未示出成像范围,但是成像范围至少大于显示范围R41,并且例如可以包括从装置10的整个可移动范围。在图15所示的示例中,状态T41下的显示范围R41包括从装置10的整个操作区域。另外,在图15所示的示例中,成像范围R41的中心与接触部112的可移动范围的中心CS和操作区域的中心一致。
另外,包括在主装置20中的操作体210能够在边界BM内移动可移动范围,并且状态T41下的操作体210的位置被指示为主位置PM41。另外,在状态T41下,从装置10被控制为将从装置10的接触部112移动到与主位置PM11相对应的从位置PS41。
在图15的状态T41下,主装置20已经到达可移动范围限制;因此,控制器530可以减小操作倍率。然而,在图15所示的示例中,控制器530可以设置两个图像倍率,包括保持图像倍率的图像倍率和减小图像倍率的图像倍率。
在图15所示的示例中,通过这种减小控制来进行从状态T41到状态T42的转变。应注意,图15示出了用户没有将主位置从状态T41移动到状态T42并且状态T41下的主位置PM41与状态T42下的主位置PM42相同的示例。
应注意,例如,操作倍率的减小控制可以类似于参考图4描述的操作倍率的减小控制。因此,在状态T42下,与主装置20的可移动范围相对应的从装置10的操作区域大于状态T41下的操作区域,并且状态T42下的操作区域的边界BV42存在于状态T41下在边界BV41的外部。另外,根据操作区域的增大,状态T42下的从位置PS42移动到与状态T41下的从位置PS41不同的位置。具体地,状态T42下的从位置PS42在远离接触部112的状态T41下的操作区域的中心(接触部112的可移动范围的中心CS)的方向上移动。
然而,如上所述,在图15中,控制器530可以设置两个图像倍率。在状态T42下,示出了第一显示范围R421和第二显示范围R422。第一显示范围R421基于在减小控制之前和减小控制之后保持图像倍率的图像倍率,并且第二显示范围R422基于从减小控制之前的图像倍率到减小控制之后减小的图像倍率。
接下来,如在图16所示的状态T43下,在主位置PM43移动的情况下,从位置PS43也根据主位置PM43的这种移动而移动。在图16所示的状态T43下,保持操作倍率;因此,状态T43下的操作区域的边界BV43与状态T42下的操作区域的边界BV42一致。这里,如在状态T43下一样,在从位置PS43被包括在第一显示范围R431中的情况下,控制器530可以执行增大控制。
在图16所示的示例中,通过这种增大控制来进行从状态T43到状态T44的转变。应注意,图16示出了用户没有将主位置从状态T43移动到状态T44并且状态T43下的主位置PM43与状态T44下的主位置PM44相同的示例。
在状态T44下,通过增大控制来增大操作倍率,并且将操作区域的边界BV44的大小恢复为与例如图15所示的状态T41下的操作区域的边界BV41的大小相同的大小。另外,在状态T44下,从位置PS44位于与主位置PM41相对应的位置。此外,在状态T44下,控制器530基于保持图像倍率的图像倍率将显示范围R44设置为裁剪区域。
图17示意性地示出了在参考图15和图16描述的状态T41至T44下显示在显示装置40上的图像分别作为显示图像G41至G44。参考图17,在状态T41下显示的显示图像G41包括显示范围R41的图像。
另外,在状态T42下,如上所述存在两个显示范围;因此,显示在显示装置40上的画面被划分。具体地,在状态T42下显示的显示图像G42在保持图像倍率的第一显示范围R421的图像的右上角的部分中包括减小图像倍率的第二显示范围R422的图像。类似地,在状态T43下显示的显示图像G43在保持图像倍率的第一显示范围R431的图像的右上角的部分中包括减小图像倍率的第二显示范围R432的图像。
此外,在状态T44下,仅存在一个显示范围;因此,屏幕的划分结束。在状态T44下显示的显示图像G44包括具有与状态T41下的显示范围R41中的图像倍率相同的图像倍率的显示范围R44的图像。
已经给出了在执行操作倍率和图像倍率的减小控制的情况下,控制器530划分屏幕(显示图像)并且生成显示图像以具有带有不同的图像倍率的显示区域的示例的描述。根据上述示例,可以在保持中心部分中的图像倍率的同时减小并检查从位置周围的部分中的图像倍率,并且执行操作。此外,在从位置返回到可移动范围内的情况下,执行操作倍率和图像倍率的增大控制,并且结束屏幕的划分,这使得可以执行平稳的操作而无需执行附加的操作。应注意,划分屏幕(显示图像)的方法不限于图17所示的示例。
<4-2.变形例2>
在上述实施方式中,已经给出了根据用户的操作在操作倍率和图像倍率的控制与操作偏移和图像偏移的控制之间执行切换的示例的描述;然而,本技术不限于该示例。可以同时执行操作倍率和图像倍率的控制以及操作偏移和图像偏移的控制。参考图18将这样的示例描述为变形例2。图18是用于描述变形例2的说明图。
图18示出了从装置10和成像单元32的可移动范围BS。另外,图18示出了可以通过控制器530的控制来实现的从装置10的操作区域BV51至BV54。控制器530可以执行偏移控制以使操作区域沿着成像单元32的成像方向D移动,并且还执行减小控制或增大控制,从而实现操作区域BV51至BV54之间的转变。
例如,在检测到主装置20已经到达可移动范围限制的情况下,如果从位置位于从装置10的操作区域的成像单元32侧(图18中的顶侧),则控制器530可以执行增大控制,并且还执行偏移控制以使操作区域在图18中向上方向上移动。另外,在检测到主装置20已经到达可移动范围限制的情况下,如果从位置位于与从装置10的操作区域的成像单元32相对的一侧(图18中的底侧),则控制器530可以执行减小控制,并且还执行偏移控制以使操作区域在图18中向下方向上移动。在背侧(图18的底侧)执行更精细的工作的情况下,这种控制可能是有效的。另外,在这种情况下,控制器530根据在成像方向D上的操作偏移来执行成像单元32的聚焦控制,这使得例如可以始终聚焦在操作区域的中心。
<4-3.变形例3>
在上述实施方式中,已经给出了主装置20的可移动范围仅包括作为主装置20可物理操作的区域的可移动范围的示例的描述;然而,本技术不限于该示例。例如,主装置20的可移动范围可以包括第一可移动范围和第二可移动范围。第一可移动范围是主装置20可物理操作的区域,并且第二可移动范围是小于第一可移动范围并且存在于第一可移动范围中的区域。第一可移动范围也称为“机械可移动范围(机械可移动范围(mechanical movablerange))”。第二可移动范围例如是由软件确定的区域。因此,在下文中,第二可移动范围也称为“软件可移动范围(软件上的可移动范围)”。
另外,在上述实施方式中,已经给出了仅基于机械可移动范围来检测主装置20是否已经到达可移动范围限制的示例的描述;然而,本技术不限于该示例。例如,可以基于机械可移动范围和软件可移动范围来检测主装置20是否已经到达可移动范围限制。具体地,在主位置位于机械可移动范围与软件可移动范围之间的区域中的情况下,检测器520可以检测主位置已经到达可移动范围限制。参考图19将这样的示例描述为变形例3。图19是用于描述机械可移动范围和软件可移动范围的说明图。图19示出了主装置20的机械边界MBM和软件边界SBM。
机械可移动范围是图19所示的机械边界MBM内的区域。例如,机械可移动范围可以根据包括在主装置20中的链路的长度和关节的可旋转角度的范围等计算为主装置20的前端(例如,操作体210的前端)可物理操作的区域。用户能够在机械可移动范围内自由地移动操作体210。应注意,在用户围绕机械边界MBM移动操作体210以将操作体210移动到机械可移动范围外的情况下,操作体210有可能损坏。因此,期望防止操作体210被用户移动到机械可移动范围外。
因此,在本变形例中,如果用于缩小主装置20的可移动范围的软件边界SBM设置在机械边界MBM的内部,则是足够的。软件可移动范围是图19所示的软件边界SBM内的区域。例如,如图19所示,软件边界SBM被设置为小于机械边界MBM的区域。具体地,软件边界SBM可以被计算为机械边界MBM被缩小预定区域的区域。
注意,在本变形例中,在主装置20位于机械可移动范围与软件可移动范围之间(图19所示的机械边界MBM与软件边界SBM之间)的反馈区域FA中的情况下,检测器520检测到主装置20已经到达可移动范围限制。例如,检测器520根据设置在包括在主装置20中的关节处的编码器的测量值来计算操作体210的前端的位置。在计算出的操作体210的前端的位置位于反馈区域FA中的位置的情况下,检测器520检测到主装置20已经到达可移动范围限制。相对照地,在计算出的操作体210的前端的位置不位于反馈区域FA中的位置的情况下,检测器520检测到主装置20尚未到达可移动范围限制。应注意,即使在计算出的操作体210的前端的位置与软件边界SBM接触的情况下,检测器520也可以检测到主装置20已经到达可移动范围限制。
此外,在本变形例中,在基于反馈区域FA检测到主装置20已经到达可移动范围限制的情况下,控制器530执行力反馈控制以使操作体210在与用户的移动方向相反的方向上移动。例如,在检测到操作体210已经移动到反馈区域FA中以到达可移动范围限制的情况下,控制器530通过力反馈控制将操作体210移动到软件可移动范围。此时,期望控制器530向操作体210提供比由用户输入到操作体210的力更大的力。
利用这样的配置,操作体210不会移动到机械可移动范围外。这使得可以防止由于操作体210移动到机械可移动范围外而引起的主装置20的物理损坏。此外,防止主装置20的物理损坏使得可以在用户操作操作体210的情况下提高安全性。
另外,这样的配置使得控制器530可以向用户提供好像操作体210被推回的感觉。此外,用户具有好像操作体210被推回的感觉,这使得用户可以直观地理解不可能将操作体210移动超出操作体210被推回的位置。
<4-4.变形例4>
在上述实施方式中,已经给出了在主装置20的可移动范围的边界BM具有圆柱形状的情况下,如果操作体210已经到达圆柱的侧面并且因此检测到主装置20已经到达可移动范围限制,则执行减小控制的示例的描述;然而,本技术不限于该示例。例如,在操作体210已经到达存在于与远离接触目标的方向相对应的方向上的主装置20的可移动范围的边界BM的一个区域并且因此检测到主装置20已经到达可移动范围限制的情况下,控制器530可以执行减小控制。
接触目标的示例包括手术中患者的患部(诸如皮肤、器官和血管)。远离接触目标的方向是从装置10的接触部112远离存在于从装置10侧的接触目标移动的方向。具体地,在接触部112位于接触目标上方的情况下,远离接触目标的方向是接触部112向上移动的方向。另外,在接触部112位于接触目标下方的情况下,接触部112远离接触目标移动的方向是接触部112向下移动的方向。应注意,以下描述了远离接触目标的方向是接触部112向上移动的方向的示例;然而,远离接触目标的方向不限于该示例。
与远离接触目标的方向相对应的方向例如是在从装置10的接触部112在远离存在于从装置10侧的接触目标的方向上移动的情况下用户移动操作体210的方向。具体地,在接触部112在接触部112向上移动的方向上远离接触目标移动的情况下,与远离接触目标的方向相对应的方向是操作体210向上移动的方向。另外,在接触部112在接触部112向下移动的方向上远离接触目标移动的情况下,与远离接触目标的方向相对应的方向是操作体210向下移动的方向。应注意,以下描述了与远离接触目标的方向相对应的方向是操作体210的向上移动方向的示例;然而,与远离接触目标的方向相对应的方向不限于该示例。
例如,如图19所示,假设主装置20的可移动范围的边界BM具有圆柱形状;由箭头90指示的方向是远离接触目标的方向;并且软件边界SBM的底面UB是一个区域。此时,在操作体210已经到达软件边界SBM的底面UB并且因此检测到主装置20已经到达可移动范围限制的情况下,控制器530执行减小控制。这样的配置使得可以增大操作区域并且增大成像范围,而无需用户进行额外的操作。因此,用户能够在观看指示宽范围的图像的同时移动操作体210。
应注意,主装置20的可移动范围的边界BM的形状不限于圆柱,并且可以是任何形状。例如,主装置20的可移动范围的边界BM可以具有球形形状,或者诸如截锥、四棱柱或三棱柱的形状。在主装置20的可移动范围的边界BM具有球形形状的情况下,可以将远离接触目标的方向上的部分区域设置为一个区域。
另外,通过向上移动操作体210来显示指示宽范围的图像使得用户可以在比显示指示窄范围的图像的情况更宽的范围中识别操作体210周围的状态。因此,用户向上移动操作体210并且然后左右移动操作体210,这使得可以比左右移动操作体210而不向上移动操作体210的情况更安全地移动操作体210。
这里,参考图20至图27描述在主装置20的可移动范围的边界BM包括机械边界MBM和软件边界SBM的情况下控制器530的控制。具体地,以下描述在操作体210向上移动时操作体210已经到达存在于操作体210的垂直向上移动方向上的主装置20的可移动范围的边界BM并且因此检测到主装置20已经到达可移动范围限制的情况下的减小控制的示例。此外,还描述了在减小控制之后执行操作体210的操作和增大操作的情况下的偏移控制和增大控制的示例。
<4-4-1.可移动范围限制时减小控制>
首先,参考图20和图21,给出了在操作体210向上移动并且因此检测到主装置20已经到达可移动范围限制的情况下的控制器530的减小控制的示例。图20是用于描述在操作体210向上移动并且因此检测到主装置20已经到达可移动范围限制的情况下的减小控制的示图。图21是在从Y轴方向观察图20的情况下的示图。
图20和图21示出了主装置20的操作体210的软件可移动范围的中心CM、主装置20的可移动范围的机械边界MBM、软件边界SBM和反馈区域FA。另外,图21示出了包括在从装置10中的接触部112的可移动范围的中心CS和接触部112的可移动范围的边界BS。应注意,以下描述在操作体210的前端的位置与软件边界SBM接触的情况下检测到主装置20已经到达可移动范围限制的示例。
如上所述,控制装置50可以基于操作倍率和操作偏移来控制从装置10以将从装置10的接触部112移动到与主位置相对应的位置。在图20和图21所示的示例中,可以由控制装置50控制操作倍率而不改变操作偏移。在图20和图21所示的示例中,操作偏移为0;然而,可以采用预先添加操作偏移的状态。然后,可以根据操作倍率的控制来改变与主装置20的可移动范围相对应的从装置10的操作区域的大小。
在图20和图21所示的状态T61下,与主装置20的可移动范围相对应的从装置10的操作区域的边界是边界BV61。另外,状态T61下的操作区域的中心与接触部112的可移动范围的中心CS一致。
另外,图20还示出了由成像装置30的成像单元32捕获图像的成像范围。在图20和图21所示的示例中,状态T61下的成像范围R61包括从装置10的整个操作区域。另外,在图20和图21所示的示例中,成像范围R61的中心与接触部112的可移动范围的中心CS和操作区域的中心一致。
另外,主装置20的操作体210在软件边界SBM内的可移动范围内可移动,并且状态T61下的操作体210的位置被指示为主位置PM61。另外,在状态T61下,从装置10被控制为将从装置10的接触部112的位置移动到与主位置PM61相对应的从位置PS61。
如图21所示,状态T61下的主位置PM61与软件边界SBM接触;因此,操作体210已经到达可移动范围限制。在图21的状态T61下,操作体210已经到达可移动范围限制;因此,从位置PS61与对应于主装置20的可移动范围的从装置10的操作区域的边界BV61接触。因此,在检测到主装置20已经到达可移动范围限制的情况下,控制器530执行用于减小操作倍率和图像倍率两者的减小控制。
在图20和图21所示的示例中,通过控制器530的减小控制来进行从状态T61到状态T62的转变。应注意,图20和图21示出了用户没有将主位置从状态T61移动到状态T62并且状态T61下的主位置PM61与状态T62下的主位置PM62相同的示例。
在状态T62下,与主装置20的可移动范围相对应的从装置10的操作区域大于状态T61下的操作区域,并且状态T62下的操作区域的边界BV62存在于状态T61下的边界BV61外。应注意,在图20和图21所示的示例中,在从状态T61到状态T62的转变中,操作偏移不改变;因此,状态T62下的操作区域的中心也与接触部112的可移动范围的中心CS一致。
如上所述,根据本变形例的控制装置50在执行减小控制的同时,控制从装置10以保持在主装置20的可移动范围中的主位置与根据从装置10的操作倍率和操作偏移计算出的操作区域中的从位置之间的关系。因此,根据操作区域的增大,状态T62下的从位置PS62移动到与状态T61下的从位置PS61不同的位置。具体地,状态T62下的从位置PS62在远离接触部112的状态T61下的操作区域的中心(接触部112的可移动范围的中心CS)的方向上移动。这样的移动方向与从主装置20的可移动范围的中心CM到主位置PM62的方向相对应;因此,这种控制被认为是给用户带来较少不适并且反映用户的意图的控制。
另外,如上所述,根据本变形例的控制装置50控制图像倍率以及操作倍率。状态T62下的成像范围R62大于状态T61下的成像范围R61。如上所述,根据本变形例的控制装置50执行减小控制,以使操作倍率的变化率和图像倍率的变化率彼此基本上相同;因此,即使在状态T62下,成像范围R62也包括从装置10的整个操作区域。应注意,在图20和图21所示的示例中,图像偏移在从状态T61到状态T62的转变中不改变;因此,状态T62下的成像范围R62的中心也与接触部112的可移动范围的中心CS和操作区域的中心一致。利用这样的配置,用户在执行减小控制的同时不会失去对从位置PS62(即,从装置10的接触部112)的跟踪。
<4-4-2.减小控制之后的增大控制和偏移控制>
接下来,参考图22和图23,给出了在减小控制之后执行操作体210的操作和增大操作的情况下的控制器530的增大控制和偏移控制的描述。图22是用于描述在操作体210向上移动并且因此检测到主装置20已经到达可移动范围限制的情况下在减小控制之后执行操作体210的操作和增大操作的情况下的增大控制和偏移控制的示图。图23是在从Y轴方向观察图22的情况下的示图。应注意,在图22和图23所示的组件中,与参考图20和图21描述的组件相同的组件由相同的参考数字表示,并且因此省略其冗余描述。另外,图22和图23所示的状态T62指示与图20和图21所示的状态T62相同的状态。
在图22和图23所示的示例中,通过用户对操作体210的操作和增大操作来进行从状态T62到状态T63的转变。例如,用户首先操作操作体210以移动主位置。具体地,用户使操作体210在X轴方向和Z轴方向上移动,以将主位置从状态T62下的主位置PM62移动到状态T63下的主位置PM63。随着主位置的移动,从装置10的从位置从状态T62下的从位置PS62移动到状态T63下的从位置PS63-1。
在移动主位置之后,用户将增大操作输入到主装置20。用户操作例如脚踏板以将增大操作输入到主装置20。在用户输入增大操作的情况下,控制器530执行用于增大操作倍率和图像倍率两者的增大控制。应注意,增大操作可以由控制器530自动执行。例如,当检测到用户停止操作体210的移动时,控制器530可以执行增大控制。
此外,控制器530在执行增大控制的同时还执行与从装置的从位置相对应的偏移的控制。例如,与上述第一实施方式一样,假设主从系统1000包括一个从装置10和一个主装置20。在这种情况下,控制器530设置操作偏移以使从装置10的前端(例如,接触部112的前端)的位置和操作区域的中心的位置彼此相同。具体地,如图22中的状态T63所示,控制器530设置操作偏移以使从位置PS63-1和操作区域BV63的中心的位置彼此相同。应注意,从装置10的前端的位置例如可以根据设置在包括在从装置10中的关节处的编码器的测量值来计算。
在偏移的控制中,控制器530将图像偏移设置为与操作偏移相同。具体地,如图22中的状态T63所示,控制器530设置图像偏移以使从位置PS63-1和图像区域R63的中心的位置彼此相同。因此,执行增大控制和偏移控制以使从装置10的前端的位置和成像范围R63的中心的位置彼此一致。利用这样的配置,用户在执行增大控制的同时不会失去对从位置PS63(即,从装置10的接触部112)的跟踪。
另外,与上述第二实施方式一样,假设主从系统2000包括两个从装置10和两个主装置20。在这种情况下,控制器530将从装置10R和从装置10L中的每一个的中心设置为操作偏移的位置。具体地,控制器530设置操作偏移以使连接从装置10R的前端的位置和从装置10L的前端的位置的直线的中心的位置与操作区域的中心(BV63的中心)的位置彼此相同。应注意,从装置10R的前端的位置例如可以根据设置在包括在从装置10R中的关节处的编码器的测量值来计算。另外,从装置10L的前端的位置例如可以根据设置在包括在从装置10L中的关节处的编码器的测量值来计算。
此外,控制器530将图像偏移设置为与操作偏移相同。因此,执行增大控制和偏移控制以使连接从装置10R的前端的位置和从装置10L的前端的位置的直线的中心的位置与成像范围R63的中心的位置彼此一致。利用这样的配置,用户在执行增大控制的同时不会失去对从位置PS63(即,从装置10的接触部112)的跟踪。
增大控制和偏移控制之后的状态是图22和图23所示的状态T63。如图22和图23所示,增大控制中的操作倍率的变化使状态T62下的操作区域的大小(边界BV62的大小)和状态T63下的操作区域的大小(边界BV63的大小)彼此不同。具体地,通过增大控制来增大操作倍率,这使边界BV63的大小小于状态T62下的边界BV62。因此,与状态T63下的主装置20的可移动范围相对应的从装置10的操作区域变得小于状态T62下的操作区域。
另外,如图22和图23所示,通过增大控制来改变图像倍率使状态T62下的成像范围R62和状态T63下的成像范围R63的大小彼此不同。具体地,通过增大控制来增大图像倍率,这使状态T63下的成像范围R63小于状态T62下的成像范围R62。如上所述,根据本变形例的控制装置50执行增大控制以使操作倍率的变化率和图像倍率的变化率彼此基本上相同;因此,即使在状态T63下,成像范围R63也包括从装置10的整个操作区域。利用这样的配置,用户在执行增大控制的同时不会失去对从位置PS63(即,从装置10的接触部112)的跟踪。
另外,如图22和图23所示,通过偏移控制改变操作偏移,与主装置20的可移动范围相对应的从装置10的状态T63下的操作区域移动到与状态T62下的操作区域不同的位置。具体地,状态T63下的操作区域的中心从状态T62下的操作区域的中心(接触部112的可移动范围的中心CS)朝向从位置PS63-1移动。另外,类似地,与状态T63下的主装置20的可移动范围相对应的从装置10的操作区域的边界BV63也在与操作区域的中心类似的方向上移动。
另外,如图22和图23所示,通过偏移控制改变图像偏移,状态T63下的成像范围R63移动到与状态T62下的成像范围R62不同的位置。如上所述,在本变形例中,控制图像偏移以使实际空间中的操作区域的移动方向和移动量与成像范围的移动方向和移动量基本上相同。因此,即使在状态T63下,成像范围R63也包括从装置10的整个操作区域,并且在状态T63下成像范围R63的中心与操作区域的中心一致。利用这样的配置,用户在执行偏移控制的同时不会失去对从位置PS63(即,从装置10的接触部112)的跟踪。
应注意,控制器530可以在执行增大控制的同时移动从装置10的从位置PS63-1的位置。例如,控制器530移动从位置PS63-1以使主装置20的软件边界SBM的中心与主位置PM63之间的位置关系和从装置10的操作区域BV63的中心与从位置PS63-1之间的位置关系彼此对应。具体地,如图22和图23所示,控制器530将从位置PS63-1移动到从位置PS63-2。利用这样的配置,在增大控制之后,不太可能给用户带来关于主装置20的主位置PM63与从装置10的从位置PS63-2之间的位置关系的不适。
<4-4-3.控制装置50的操作>
这里,参考图24和图25,给出了在执行上述检测是否已经到达可移动范围限制、减小控制、增大控制以及偏移控制的情况下的控制装置50的操作的描述。
(在主从系统1000的情况下的处理流程)
图24是示出包括一个从装置10和一个主装置20的主从系统1000中的控制装置50的操作的流程图。
参考图24,首先获取主位置(S300)。应注意,关于主位置的信息可以从主装置20发送到控制装置50,或者可以基于由通信单元510接收的来自主装置20的信息来指定。
接下来,控制器530确定是否检测到主装置20已经在操作体210的向上移动方向上到达可移动范围限制(S302)。在未检测到主装置20已经到达可移动范围限制的情况下(S302中为否),重复获取主位置(S300)和检测是否已经到达可移动范围限制(S302)。
相对照地,在检测到主装置20已经到达可移动范围限制的情况下(S302中为是),控制器530的倍率控制器531执行操作倍率和图像倍率的减小控制(S304)。然后,控制器530的主从控制器535将操作倍率应用于主从控制,并且控制器530的成像控制器537根据图像倍率来控制成像装置30(S306)。
在控制成像装置30之后,控制器530确定是否执行由用户移动主位置的操作(S308)。在未执行由用户移动主位置的操作的情况下(S308中为否),控制器530确定是否执行用户的增大操作(S312)。
相对照地,在执行由用户移动主位置的操作的情况下(S308中为是),控制器530的主从控制器535根据主位置来移动从装置10的从位置(S310)。此后,控制器530确定是否执行用户的增大操作(S312)。
在不执行增大操作的情况下(S312中为否),处理结束。相对照地,在执行增大操作的情况下(S312中为是),控制器530的倍率控制器531执行操作倍率和图像倍率的增大控制(S314)。接下来,控制器530的主从控制器535将操作倍率应用于主从控制,并且控制器530的成像控制器537根据图像倍率来控制成像装置30(S316)。接下来,控制器530的偏移控制器533将从装置10的前端位置设置为操作偏移的位置和图像偏移的位置(S318)。此后,主从控制器535将操作偏移应用于主从控制,并且成像控制器537根据图像偏移来控制成像装置30(S320)。
(在主从系统2000的情况下的处理流程)
图25是示出包括两个从装置10和两个主装置20的主从系统2000中的控制装置50的操作的流程图。
参考图25,首先获取左主位置和右主位置(S400)。接下来,控制器530基于左主位置和右主位置来确定是否检测到主装置20R和主装置20L中的至少一个已经在向上移动方向上到达可移动范围限制(S402)。
在未检测到已经到达可移动范围限制的情况下(S402中为否),重复获取左主位置和右主位置(S400)和检测是否已经到达可移动范围限制(S402)。
相对照地,在检测到已经到达可移动范围限制的情况下(S402中为是),控制器530的倍率控制器531执行操作倍率和图像倍率的减小控制(S404)。此后,控制器530的主从控制器535将操作倍率应用于主从控制,并且控制器530的成像控制器537根据图像倍率来控制成像装置30(S406)。
在控制成像装置30之后,控制器530确定是否执行由用户移动主位置的操作(S408)。在未执行由用户移动主位置的操作的情况下(S408中的否),控制器530确定是否执行用户的增大操作(S412)。
相对照地,在执行由用户移动主位置的操作的情况下(S408中为是),控制器530的主从控制器535根据主位置来移动从装置10的从位置(S410)。此后,控制器530确定是否执行用户的增大操作(S412)。
在不执行增大操作的情况下(S412中的否),处理结束。相对照地,在执行增大操作的情况下(S412中为是),控制器530的倍率控制器531执行操作倍率和图像倍率的增大控制(S414)。接下来,控制器530的主从控制器535将操作倍率应用于主从控制,并且控制器530的成像控制器537根据图像倍率来控制成像装置30(S416)。接下来,控制器530的偏移控制器533将连接左从位置和右从位置的直线的中心的位置设置为操作偏移的位置和图像偏移的位置(S418)。此后,主从控制器535将操作偏移应用于主从控制,并且成像控制器537根据图像偏移来控制成像装置30(S420)。
<4-5.变形例5>
在上述变形例4中,已经给出了控制装置50按照检测是否已经到达可移动范围限制、减小控制、增大控制以及偏移控制的顺序执行处理直到增大控制和偏移控制的示例的描述;然而,本技术不限于该示例。在增大控制和偏移控制之后,检测到主装置20已经到达可移动范围限制的情况下,控制装置50可以再次执行减小控制。
以下描述在增大控制和偏移控制之后,检测到主装置20已经到达可移动范围限制的情况下,控制器530在再次执行减小控制中的控制。具体地,给出在操作体210向上移动并且因此检测到主装置20已经到达可移动范围限制的情况下的减小控制的描述。
图26是用于描述在增大控制之后,操作体210向上移动并且因此检测到主装置20已经到达可移动范围限制的情况下的减小控制的示图。图27是在从Y轴方向观察图26的情况下的示图。应注意,在图26和图27所示的组件中,与参考图20至图23描述的组件相同的组件由相同的参考数字表示,并且因此省略其冗余描述。另外,图26和图27所示的状态T63指示与图22和图23所示的状态T63相同的状态。
在图26和图27所示的示例中,在增大控制和偏移控制之后,操作体210向上移动并且因此检测到主装置20已经到达可移动范围限制的情况下,通过减小控制来进行从状态T63到状态T64的转变。例如,在控制器530的增大控制和偏移控制之后,用户执行使操作体210向上移动的操作。具体地,用户使操作体210在Z方向上向上移动,以将主位置从状态T63下的主位置PM63移动到状态T64下的主位置PM64。随着主位置的移动,从装置10的从位置从状态T63下的从位置PS63-2移动到状态T64下的从位置PS64-1。
如图26和图27所示,状态T64下的主位置PM64与软件边界SBM接触;因此,操作体210已经到达可移动范围限制。在图27的状态T64下,操作体210已经到达可移动范围限制;因此,从位置PS64-1与对应于主装置20的可移动范围的从装置10的操作区域的边界BV64接触。在以这种方式检测到主装置20已经到达可移动范围限制的情况下,控制器530执行用于减小操作倍率和图像倍率两者的减小控制。
减小控制之后的状态是图26和图27所示的状态T64。如图26和图27所示,通过减小控制来改变操作倍率使状态T63下的操作区域的大小(边界BV63的大小)和状态T64下的操作区域的大小(边界BV64的大小)彼此不同。具体地,通过减小控制来减小操作倍率,这使边界BV64的大小大于状态T63下的边界BV63。因此,与状态T64下的主装置20的可移动范围相对应的从装置10的操作区域变得大于在状态T63下的操作区域。
另外,如图26和图27所示,通过减小控制来改变图像倍率使状态T63下的成像范围R63的大小和状态T64下的成像范围R64的大小彼此不同。具体地,通过增大控制来减小图像倍率,这使状态T64下的成像范围R64大于状态T63下的成像范围R63。如上所述,根据本变形例的控制装置50执行增大控制以使操作倍率的变化率和图像倍率的变化率彼此基本上相同;因此,即使在状态T64下,成像范围R64也包括从装置10的整个操作区域。利用这样的配置,用户在执行减小控制的同时不会失去对从位置PS64(即,从装置10的接触部112)的跟踪。
应注意,与图26和图27所示的示例一样,控制装置50可以不改变偏移控制中的操作偏移。在不改变操作偏移的情况下,与主装置20的可移动范围相对应的从装置10的状态T64下的操作区域保持与状态T63下的操作区域相同的位置。具体地,状态T64下的操作区域的中心保持与状态T63下的操作区域的中心相同的位置。另外,类似地,与T64状态下的主装置20的可移动范围相对应的从装置10的操作区域的边界BV64的中心保持与状态T63下操作区域的边界BV63的中心相同的位置。
应注意,在不改变偏移控制中的操作偏移的状态下执行减小控制的情况下,从装置10的操作区域的边界BV64可以延伸出从装置10的可移动范围的边界BS。因此,控制装置50计算操作倍率和图像倍率并且执行减小控制以防止从装置10的操作区域的边界BV64延伸出从装置10的可移动范围的边界BS。
另外,与图26和图27所示的示例一样,控制装置50可以不改变偏移控制中的图像偏移。在不改变图像偏移的情况下,状态T64下的成像范围R64保持与状态T63下的成像范围R63相同的位置。如上所述,在本变形例中,控制图像偏移以使实际空间中的操作区域的移动方向和移动量与成像范围的移动方向和移动量基本上相同。因此,即使在状态T64下,成像范围R64也包括从装置10的整个操作区域,并且状态T64下成像范围R64的中心与操作区域的中心一致。利用这样的配置,用户在执行偏移控制的同时不会失去对从位置PS64(即,从装置10的接触部112)的跟踪。
应注意,控制器530可以在执行减小控制的同时移动从装置10的从位置PS64-1的位置。例如,控制器530移动从位置PS64-1以使主装置20的软件边界SBM的中心与主位置PM64之间的位置关系和从装置10的操作区域BV64的中心与从位置PS64-1之间的位置关系彼此对应。具体地,如图26和图27所示,控制器530将从位置PS64-1移动到从位置PS64-2。利用这样的配置,在增大控制之后,不太可能给用户带来关于主装置20的主位置PM64与从装置10的从位置PS64-2之间的位置关系的不适。
应注意,在增大控制和偏移控制之后,检测到主装置20已经到达可移动范围限制的情况下,除了减小控制之外,控制装置50还可以执行偏移控制。例如,控制装置50执行减小控制和偏移控制以将增大控制和偏移控制之前的状态恢复到相同状态。
作为一个示例,存在控制装置50执行减小控制和偏移控制以将作为图22和图23所示的增大控制和偏移控制之后的状态的状态T63恢复到与作为增大控制和偏移控制之前的状态的状态T62相同的状态的示例。具体地,控制器530执行用于改变操作倍率和图像倍率的减小控制,以使减小控制之后的操作区域和成像范围的大小分别与状态T62下的操作区域(边界BV62内的区域)和成像范围R62的大小相同。另外,控制器530执行用于改变操作偏移和图像偏移的偏移控制,以使偏移控制之后的操作区域和成像范围的中心的位置与状态T62下的操作区域(边界BV62内的区域)和成像范围R62的中心的位置相同。这样的配置使得控制装置50可以将状态恢复到与增大控制和偏移控制之前的状态相同的状态。
<<5.硬件配置示例>>
以上已经描述了本公开的实施方式。最后,参考图28描述根据本公开的实施方式的硬件配置。图28是示出根据本公开的实施方式的控制装置50的硬件配置的示例的框图。通过以下描述的软件与硬件之间的协作来实现根据本公开的实施例的控制装置50的信息处理。
如图28所示,控制装置50包括CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903和主机总线904a。另外,控制装置50包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、耦接端口911和通信装置913。控制装置50可以包括代替CPU 901的诸如DSP或ASIC的处理电路或者与CPU 901一起包括诸如DSP或ASIC的处理电路。
CPU 901用作算术处理装置和控制装置,并且根据各种程序来控制控制装置50的整体操作。另外,CPU 901可以是微处理器。ROM 902存储要由CPU 901使用的程序、算术参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。例如,CPU 901可以形成检测器520和控制器530。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a彼此耦接。主机总线904a经由桥接器904耦接到诸如PCI(外围组件互连/接口)总线的外部总线904b。应注意,主机总线904a、桥接器904和外部总线904b不必必须分别包括,并且其功能可以在单个总线中实现。
输入装置906例如由用户通过其输入信息的装置(诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和操纵杆)来实现。另外,输入装置906可以是例如使用红外线或其他电波的远程控制装置,或者是支持控制装置50的操作的诸如移动电话或PDA的外部耦接装置。此外,输入装置906例如可以包括输入控制电路等,其基于由用户使用上述输入装置输入的信息来生成输入信号,并且将所生成的输入信号输出到CPU 901。控制装置50的用户操作输入装置906,这使得可以将各种数据输入到控制装置50,或者指示控制装置50执行处理操作。
输出装置907包括能够视觉地或听觉地向用户通知所获取的信息的装置。这样的装置的示例包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置和灯的显示装置,诸如扬声器和耳机的音频输出装置,打印机装置等。输出装置907输出例如通过由控制装置50执行的各种处理获取的结果。具体地,显示装置以诸如文本、图像、表格和图形的各种形式视觉地显示通过由控制装置50执行的各种处理获取的结果。同时,音频输出装置将包括再现的音频数据、声学数据等的音频信号转换为模拟信号,并听觉地输出该模拟信号。
存储装置908是用于数据存储的装置,其形成为控制装置50的存储单元的示例。例如,存储装置908通过诸如HDD的磁存储单元设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。存储装置908可以包括存储介质、在该存储介质中记录数据的记录装置、从该存储介质读出数据的读取装置、删除记录在该存储介质中的数据的删除装置等。存储装置908存储要由CPU 901执行的程序、各种数据、从外部获取的各种数据等。
驱动器909是用于存储介质的读取器/写入器,并且结合在控制装置50中或外部地附接到控制装置50。驱动器909读出记录在诸如磁盘、光盘、磁光盘或安装在其上的半导体存储器的可移动存储介质中的信息,并且将该信息输出到RAM 903。另外,驱动器909也能够将信息写入可移动存储介质中。
耦接端口911是耦接到外部装置的接口,并且是能够例如通过USB(通用串行总线)等发送数据的外部设备的耦接端口。
通信装置913是通信接口,包括例如用于耦接到网络920的通信设备等。通信装置913的示例包括用于有线或无线LAN(局域网)、LTE(长期演进)、蓝牙(注册商标)或WUSB(无线USB)的通信卡等。另外,通信装置913可以是用于光学通信的路由器、用于ADSL(非对称数字用户线)的路由器、用于各种通信的调制解调器等。例如,该通信装置913例如能够根据诸如TCP/IP的预定协议将信号发送到因特网和另一通信设备和从因特网和另一通信设备接收信号等。通信装置913可以例如形成通信单元510。
应注意,网络920是用于从耦接到网络920的装置发送的信息的有线或无线传输路径。例如,网络920可以包括诸如因特网、电话网络或卫星通信网络的公共网络以及包括以太网(注册商标)的各种LAN(局域网)、WAN(广域网)等。另外,网络920可以包括诸如IP-VPN(互联网协议-虚拟专用网络)的专用网络。
以上已经描述了使得可以实现根据本公开的实施方式的控制装置50的功能的硬件配置的示例。上述相应组件可以通过使用通用构件来实现,或者可以通过专用于相应组件的功能的硬件来实现。因此,可以在执行本公开的实施方式时根据技术水平适当地改变要使用的硬件配置。
应注意,可以创建用于实现如上所述的根据本公开的实施方式的控制装置50的每个功能的计算机程序,并且将该计算机程序安装在PC等中。另外,还可以提供一种其中存储有这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。另外,上述计算机程序可以例如经由网络而不使用记录介质来分发。
<<6.结论>>
如上所述,根据本公开的实施方式,可以进一步减轻用户执行主从系统的操作的负担。
以上已经参考附图详细描述了本公开的优选实施方式,但是本公开的技术范围不限于这样的实施方式。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改,并且应当理解,它们将自然地落入本公开的技术范围内。
例如,在上述实施方式中,已经描述了显示在显示装置40上的包括在显示图像中用于增大操作或切换控制模式的操作的按钮的示例;然而,本技术不限于该示例。例如,只要用户知道用于这种操作的位置,就可以不显示按钮。可选地,按钮可以被半透明地显示。
另外,在上述实施方式中,已经描述了增大操作和切换控制模式的操作是基于用户对主装置20的输入的操作的示例;然而,本技术不限于该示例。增大操作和切换控制模式的操作可以是使用诸如脚踏板的任何其他输入设备的操作。
另外,在成像单元32的目的地或从位置的目的地处存在障碍物的情况下,可以控制成像单元32的移动或从位置的移动以避开障碍物。
另外,本文描述的效果仅是说明性和示例性的,而不是限制性的。即,除了上述效果之外或代替上述效果,根据本公开的技术还可以施加根据本文的描述对于本领域技术人员显而易见的其他效果。
应注意,以下配置也落入本公开的技术范围内。
(1)
一种控制装置,包括:
检测器,其检测用于从装置的操作的主装置是否位于可移动范围限制处;以及
控制器,其基于检测结果控制与从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
(2)
根据(1)的控制装置,其中,
从参数包括指示从装置的移动量与主装置的移动量的比率的操作倍率。
图像参数包括指示与图像有关的倍率的图像倍率,并且
控制器基本上同时控制操作倍率和图像倍率。
(3)
根据(2)的控制装置,其中,控制器控制操作倍率和图像倍率以使操作倍率的变化率与图像倍率的变化率彼此基本上相同。
(4)
根据(2)或(3)的控制装置,其中,在检测到主装置位于可移动范围限制处的情况下,控制器执行用于减小操作倍率和图像倍率的减小控制。
(5)
根据(4)的控制装置,其中,在检测到主装置位于可移动范围限制处时,控制器连续地执行减小控制。
(6)
根据(4)的控制装置,其中,在检测到主装置已经到达在与远离接触目标的方向相对应的方向上存在的主装置的可移动范围的边界的一个区域的情况下,控制器执行减小控制。
(7)
根据(2)至(4)中的任一项的控制装置,其中,控制器根据预定的增大操作来执行用于增大操作倍率和图像倍率的增大控制。
(8)
根据(7)的控制装置,其中,控制器在执行增大控制的同时还执行与从装置的位置相对应的偏移的控制。
(9)
根据(7)的控制装置,其中,增大操作包括基于用户对主装置的输入的操作。
(10)
根据(1)至(9)中任一项的控制装置,其中,
从参数包括操作偏移,其指示从与主装置中的原点相对应的从装置中的点到从装置中的原点的偏移距离,
图像参数包括指示图像的偏移的图像偏移,并且
控制器基本上同时控制操作偏移和图像偏移。
(11)
根据(10)的控制装置,其中,控制器控制操作偏移和图像偏移以使与主装置在实际空间中的可移动范围相对应的从装置的移动方向和移动量与图像上的显示范围的移动方向和移动量基本上相同。
(12)
根据(10)或(11)的控制装置,其中,在检测到主装置位于可移动范围限制处的情况下,控制器控制操作偏移和图像偏移。
(13)
根据(12)的控制装置,其中,在检测到主装置位于可移动范围限制处时,控制器连续地执行操作偏移和图像偏移的控制。
(14)
根据(1)至(13)中任一项的控制装置,其中,
主装置的可移动范围包括第一可移动范围和第二可移动范围,第一可移动范围是主装置可物理操作的区域,并且第二可移动范围是小于第一可移动范围并且存在于第一可移动范围内的区域,并且
在主装置位于第一可移动范围与第二可移动范围之间的区域中的情况下,检测器检测到主装置位于可移动范围限制处。
(15)
根据(14)的控制装置,其中,在检测到主装置位于可移动范围限制处的情况下,控制器将主装置移动到第二可移动范围中。
(16)
根据(1)至(15)中的任一项的控制装置,其中,控制器执行从参数和图像参数的控制以使与主装置的可移动范围相对应的从装置的操作区域的中心与图像的中心一致。
(17)
根据(1)至(16)中任一项的控制装置,其中,控制器根据基于用户对主装置的输入的操作来确定要控制的从参数和图像参数的组合。
(18)
根据(17)的控制装置,其中,控制器根据基于用户对多个主装置的输入的操作来确定要控制的从参数和图像参数的组合。
(19)
根据(1)至(18)中任一项的控制装置,其中,
检测器检测多个主装置是否位于可移动范围限制处,并且
在检测到多个主装置中的至少一个主装置位于可移动范围限制处的情况下,控制器控制从参数和图像参数。
(20)
一种控制方法,包括:
检测用于从装置的操作的主装置是否位于可移动范围限制处,并且
基于检测结果来控制与从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
(21)
一种主从系统,包括:
从装置;
主装置,用于从装置的操作;以及
包括检测器和控制器的控制装置,该检测器检测主装置是否位于可移动范围限制处,并且该控制器基于检测结果来控制与从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
参考标记列表
10 从装置
20 主装置
30 成像装置
32 成像单元
40 显示装置
50 控制装置
110 前端部
112 接触部
210 操作体
220 力传感器
510 通信单元
520 检测器
530 控制器
531 倍率控制器
533 偏移控制器
535 主从控制器
537 成像控制器
539 显示控制器
1000 主从系统。

Claims (21)

1.一种控制装置,包括:
检测器,检测用于从装置的操作的主装置是否位于可移动范围限制处;以及
控制器,基于检测结果来控制与所述从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
2.根据权利要求1所述的控制装置,其中,
所述从参数包括指示所述从装置的移动量与所述主装置的移动量的比率的操作倍率,
所述图像参数包括指示与所述图像有关的倍率的图像倍率,并且
所述控制器基本上同时控制所述操作倍率和所述图像倍率。
3.根据权利要求2所述的控制装置,其中,所述控制器控制所述操作倍率和所述图像倍率以使所述操作倍率的变化率与所述图像倍率的变化率彼此基本上相同。
4.根据权利要求2所述的控制装置,其中,在检测到所述主装置位于所述可移动范围限制处的情况下,所述控制器执行用于减小所述操作倍率和所述图像倍率的减小控制。
5.根据权利要求4所述的控制装置,其中,在检测到所述主装置位于所述可移动范围限制处时,所述控制器连续地执行所述减小控制。
6.根据权利要求4所述的控制装置,其中,在检测到所述主装置已经到达在与远离接触目标的方向相对应的方向上存在的所述主装置的可移动范围的边界的一个区域的情况下,所述控制器执行所述减小控制。
7.根据权利要求2所述的控制装置,其中,所述控制器根据预定的增大操作来执行用于增大所述操作倍率和所述图像倍率的增大控制。
8.根据权利要求7所述的控制装置,其中,所述控制器在执行所述增大控制的同时还执行与所述从装置的位置相对应的偏移的控制。
9.根据权利要求7所述的控制装置,其中,所述增大操作包括基于用户对所述主装置的输入的操作。
10.根据权利要求1所述的控制装置,其中,
所述从参数包括操作偏移,所述操作偏移指示从与所述主装置中的原点相对应的所述从装置中的点到所述从装置中的原点的偏移距离,
所述图像参数包括指示所述图像的偏移的图像偏移,并且
所述控制器基本上同时控制所述操作偏移和所述图像偏移。
11.根据权利要求10所述的控制装置,其中,所述控制器控制所述操作偏移和所述图像偏移以使与所述主装置在实际空间中的可移动范围相对应的从装置的移动方向和移动量与所述图像上的显示范围的移动方向和移动量基本上相同。
12.根据权利要求10所述的控制装置,其中,在检测到所述主装置位于所述可移动范围限制处的情况下,所述控制器控制所述操作偏移和所述图像偏移。
13.根据权利要求12所述的控制装置,其中,在检测到所述主装置位于所述可移动范围限制处时,所述控制器连续地执行所述操作偏移和所述图像偏移的控制。
14.根据权利要求1所述的控制装置,其中,
所述主装置的可移动范围包括第一可移动范围和第二可移动范围,所述第一可移动范围是所述主装置能够物理操作的区域,并且所述第二可移动范围是小于所述第一可移动范围并且存在于所述第一可移动范围内的区域,并且
在所述主装置位于所述第一可移动范围与所述第二可移动范围之间的区域中的情况下,所述检测器检测到所述主装置位于所述可移动范围限制处。
15.根据权利要求14所述的控制装置,其中,在检测到所述主装置位于所述可移动范围限制处的情况下,所述控制器将所述主装置移动到所述第二可移动范围中。
16.根据权利要求1所述的控制装置,其中,所述控制器执行所述从参数和所述图像参数的控制以使与所述主装置的可移动范围相对应的所述从装置的操作区域的中心与所述图像的中心一致。
17.根据权利要求1所述的控制装置,其中,所述控制器根据基于用户对所述主装置的输入的操作来确定要控制的所述从参数和所述图像参数的组合。
18.根据权利要求17所述的控制装置,其中,所述控制器根据基于用户对多个主装置的输入的操作来确定要控制的所述从参数和所述图像参数的组合。
19.根据权利要求1所述的控制装置,其中,
所述检测器检测多个主装置是否位于所述可移动范围限制处,并且
在检测到所述多个主装置中的至少一个主装置位于所述可移动范围限制处的情况下,所述控制器控制所述从参数和所述图像参数。
20.一种控制方法,包括:
检测用于从装置的操作的主装置是否位于可移动范围限制处,并且
基于检测结果来控制与所述从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
21.一种主从系统,包括:
从装置;
主装置,用于所述从装置的操作;以及
包括检测器和控制器的控制装置,所述检测器检测所述主装置是否位于可移动范围限制处,并且所述控制器基于检测结果来控制与所述从装置的控制有关的从参数和与基于成像显示的图像有关的图像参数。
CN201980020936.1A 2018-03-28 2019-03-04 控制装置、控制方法以及主从系统 Pending CN111886113A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018-061789 2018-03-28
JP2018061789 2018-03-28
JP2019007798 2019-01-21
JP2019-007798 2019-01-21
PCT/JP2019/008433 WO2019188022A1 (ja) 2018-03-28 2019-03-04 制御装置、制御方法、及びマスタスレーブシステム

Publications (1)

Publication Number Publication Date
CN111886113A true CN111886113A (zh) 2020-11-03

Family

ID=68059025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020936.1A Pending CN111886113A (zh) 2018-03-28 2019-03-04 控制装置、控制方法以及主从系统

Country Status (4)

Country Link
US (1) US11992942B2 (zh)
EP (1) EP3763488A4 (zh)
CN (1) CN111886113A (zh)
WO (1) WO2019188022A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112155613B (zh) * 2020-09-14 2021-10-22 武汉联影智融医疗科技有限公司 一种微创医疗手术设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001150368A (ja) * 1999-11-24 2001-06-05 Olympus Optical Co Ltd マニピュレータ制御装置
US20100161129A1 (en) * 2008-12-23 2010-06-24 Intuitive Surgical, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
CN103608150A (zh) * 2011-07-15 2014-02-26 奥林巴斯株式会社 机械手系统
CN106456148A (zh) * 2014-03-19 2017-02-22 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
US20170245954A1 (en) * 2014-08-27 2017-08-31 Distalmotion Sa Surgical system for microsurgical techniques
US20180025666A1 (en) * 2016-07-21 2018-01-25 Auris Surgical Robotics, Inc. System with emulator movement tracking for controlling medical devices

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61146482A (ja) * 1984-12-20 1986-07-04 工業技術院長 異構造異自由度バイラテラル・マスタスレイブ・マニピユレ−タの制御装置
JP2824134B2 (ja) * 1990-08-13 1998-11-11 株式会社日立製作所 異構造マスタスレーブマニピュレータの制御装置
JP3668269B2 (ja) * 1995-01-10 2005-07-06 オリンパス株式会社 体腔内手術用マニピュレータ装置
JP3539645B2 (ja) 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US6714839B2 (en) * 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
JP2001334481A (ja) * 2000-05-30 2001-12-04 Olympus Optical Co Ltd マニピュレータ制御装置
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
JP5800610B2 (ja) 2011-07-07 2015-10-28 オリンパス株式会社 医療用マスタスレーブマニピュレータ
JP6586079B2 (ja) * 2014-03-28 2019-10-02 ソニー株式会社 アーム装置、及びプログラム
JP6471446B2 (ja) * 2014-10-01 2019-02-20 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001150368A (ja) * 1999-11-24 2001-06-05 Olympus Optical Co Ltd マニピュレータ制御装置
US20100161129A1 (en) * 2008-12-23 2010-06-24 Intuitive Surgical, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
CN103608150A (zh) * 2011-07-15 2014-02-26 奥林巴斯株式会社 机械手系统
CN106456148A (zh) * 2014-03-19 2017-02-22 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
US20170245954A1 (en) * 2014-08-27 2017-08-31 Distalmotion Sa Surgical system for microsurgical techniques
US20180025666A1 (en) * 2016-07-21 2018-01-25 Auris Surgical Robotics, Inc. System with emulator movement tracking for controlling medical devices

Also Published As

Publication number Publication date
EP3763488A1 (en) 2021-01-13
US20210008709A1 (en) 2021-01-14
WO2019188022A1 (ja) 2019-10-03
US11992942B2 (en) 2024-05-28
EP3763488A4 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
US20240099791A1 (en) Roboticized Surgery System with Improved Control
JP6180692B1 (ja) 医療用マニピュレータシステム
US8002694B2 (en) Master-slave manipulator system
JP2019523663A (ja) ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体
JP2020532383A (ja) 手術ロボットシステムのためのカメラ制御
CN106714722A (zh) 用于控制机器人手术系统的动态输入缩放
WO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
JP2016531008A (ja) ロボットの作業領域を定める方法及び装置
US11582438B2 (en) Control device and master slave system
WO2017119351A1 (ja) 内視鏡装置及び内視鏡装置の動作制御方法
US11517395B2 (en) Control device, control method, and surgical system
CN111886113A (zh) 控制装置、控制方法以及主从系统
US11975448B2 (en) Control device and master-slave system
KR102221089B1 (ko) 수술용 슬레이브 암을 원격으로 제어하는 방법 및 시스템
US20220164027A1 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
JP6138262B2 (ja) 医療機器
JP2018084667A (ja) 駆動制御装置およびそれを有するレンズ装置およびレンズ操作装置
US20220321803A1 (en) Medical observation system, control device, and control method
JP6869787B2 (ja) 医療用観察装置、および状態通知方法
CN113041521B (zh) 用于操控聚焦超声手术器械的操控系统及手术系统
WO2023038127A1 (ja) 推論装置、情報処理方法、及びコンピュータプログラム
JP2020134796A (ja) 撮影システム
JP2022187377A (ja) 制御装置、光学装置、操作装置、及び電子機器
JP2004096292A (ja) 追尾雲台
JP2018143339A (ja) 医療用観察装置、および制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination