CN110461208B - 控制装置、外部装置、医学观察系统、控制方法、显示方法和程序 - Google Patents

控制装置、外部装置、医学观察系统、控制方法、显示方法和程序 Download PDF

Info

Publication number
CN110461208B
CN110461208B CN201880020041.3A CN201880020041A CN110461208B CN 110461208 B CN110461208 B CN 110461208B CN 201880020041 A CN201880020041 A CN 201880020041A CN 110461208 B CN110461208 B CN 110461208B
Authority
CN
China
Prior art keywords
display
image
unit
touch position
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880020041.3A
Other languages
English (en)
Other versions
CN110461208A (zh
Inventor
高井基行
须藤贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of CN110461208A publication Critical patent/CN110461208A/zh
Application granted granted Critical
Publication of CN110461208B publication Critical patent/CN110461208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

提供了一种即使在操作者的手不可用的情况下也能够对操作者所期望的位置执行预定处理的控制装置。控制装置9设置有：图像处理单元92，用于处理由成像单元54生成的图像信号，并且由此生成用于显示的显示图像；发送/接收单元94，用于将由图像处理单元92生成的显示图像发送到显示装置7和具有显示功能并且能够双向通信的外部装置11，并接收包括从外部装置11发送的显示图像的至少一个位置的指令信号；以及控制单元98，用于根据来自外部装置11的指令信号对显示图像的触摸位置执行预定处理。

Description

控制装置、外部装置、医学观察系统、控制方法、显示方法和 程序
技术领域
本发明涉及用于对主体成像和处理主体的图像数据的控制装置、外部装置、医学观察系统、控制方法、显示方法和程序。
背景技术
传统上，在内窥镜中，已知一种能够执行自动调焦的自动聚焦(AF)处理的技术(参见专利文献1)。在该技术中，基于由成像单元生成的成像信号计算聚焦评估，并且根据计算结果控制聚焦机构的驱动，使得聚焦与成像信号对应的图像的中心区域。
引文列表
专利文献
专利文献1：JP 2017-568A
发明内容
技术问题
然而，在上述专利文献1中，处理兼容区域被固定到中心区域。因此，当需要执行可由内窥镜执行的各种处理时，诸如医生和内窥镜医师的内窥镜的操作者需要移动内窥镜，使得期望处理的位置位于显示监视器的中心，此外，在对患者进行治疗期间移动到在显示监视器上显示的显示图像的中心区域，并且因此，存在操作变得复杂的问题，例如暂时将诸如由操作者抓握的镊子或高频手术刀的治疗工具放置在另一个地方。
鉴于以上描述提出本公开的技术，并且本发明的目的是即使在操作者的手不可用的情况下，也提供能够对操作者所希望的位置执行预定处理的控制装置、外部装置、医学观察系统、控制方法、显示方法和程序。
问题的解决方案
为了解决上述问题并实现该目的，根据本公开的控制装置包括：图像处理单元，其被配置为处理由成像单元生成的图像信号以生成用于显示的显示图像；视频输出单元，其被配置为将图像处理单元生成的显示图像输出到显示装置；发送/接收单元，其被配置为将由图像处理单元生成的显示图像发送到外部装置，并且从外部装置接收至少包括显示图像中的一个触摸位置的指令信号，该外部装置具有显示功能并且能够双向通信；以及控制单元，其被配置为根据指令信号对显示图像的触摸位置进行预定处理。
此外，根据本公开的上述控制装置还包括电子变焦单元，该电子变焦单元被配置为通过执行截取和放大显示图像中的预定区域的放大处理来生成放大图像，其中，控制单元被配置为使得电子变焦单元对包括触摸位置的区域执行放大处理以生成放大图像，并使视频输出单元将放大的图像输出到显示装置。
此外，在根据本公开的上述控制装置中，控制单元包括：确定单元，其被配置为确定包括由电子变焦单元截取的触摸位置的区域是否为预定分辨率或更高；以及变焦控制单元，其被配置为当确定单元确定包括触摸位置的区域不是预定分辨率或更高时，改变由电子变焦单元截取的区域，以便在显示图像中包括触摸位置。
此外，在根据本公开的上述控制装置中，指令信号还包括彼此不同的两个触摸位置，以及变焦控制单元被配置为根据彼此不同的两个触摸位置之间的距离改变由电子变焦单元截取的区域的大小。
此外，在根据本公开的上述控制装置中，成像单元的有效像素数为八百万像素或更多，显示装置具有31英寸或更大的监视器尺寸，并且电子变焦单元被配置为以满足两百万像素或更高的分辨率生成放大的图像。
此外，在根据本公开的上述控制装置中，指令信号还包括随着时间流逝而移动的触摸位置的轨迹信息，显示图像包括主体图像和除了主体图像外的掩模区域，以及控制单元被配置为使视频输出单元基于轨迹信息改变主体图像的显示位置并将主体图像输出到显示装置。
此外，根据本公开的上述控制装置还包括电子变焦单元，该电子变焦单元被配置为通过执行截取和放大显示图像中的预定区域的放大处理来生成放大图像，其中，控制单元被配置为使得电子变焦单元对包括触摸位置的主体图像的区域执行放大处理以生成放大图像，并使视频输出单元将放大图像输出到显示装置。
此外，在根据本公开的上述控制装置中，控制单元被配置为控制具有聚焦机构的透镜单元的驱动，来使透镜单元根据指令信号聚焦在显示图像的位置处，该聚焦机构能够通过移动一个或多个透镜来调节焦点。
此外，在根据本公开的上述控制装置中，控制单元被配置为控制内窥镜中的弯曲单元的驱动，来根据指令信号将远端部朝向显示装置的位置弯曲，该内窥镜单元包括设置有成像单元的远端部和能够在竖直和水平方向上弯曲远端部的弯曲单元。
此外，在根据本公开的上述控制装置中，控制单元被配置为控制支撑单元的驱动，以使得成像单元中的成像视场的中心根据指令信号指向显示图像的触摸位置，支撑单元被配置为至少保持成像单元并能够移动地支撑成像单元。
此外，根据本公开的外部装置包括：显示单元，其被配置为显示与从控制装置发送的图像信号对应的显示图像；触摸面板，其以叠加的方式设置在显示单元的显示区域上，并且被配置为检测外部物体所接触的触摸位置，并输出包括触摸位置的指令信号；以及显示控制单元，其被配置为基于从触摸面板输出的指令信号，将指示包括触摸位置并满足预定分辨率的区域的区域信息显示在显示单元上，以叠加在显示图像上。
此外，根据本公开的上述外部装置还包括：确定单元，其被配置为确定包括触摸位置的区域是否为预定分辨率或更高，其中，显示控制单元被配置为当确定单元确定包括触摸位置的区域不是预定分辨率或更高时，改变区域信息的叠加位置以包括触摸位置，以及在显示单元上显示区域信息。
此外，根据本公开的医学观察系统包括：图像处理单元，其被配置为处理由成像单元生成的图像信号以生成用于显示的显示图像；视频输出单元，其被配置为将图像处理单元生成的显示图像输出到显示装置；发送/接收单元，其能够发送显示图像并从外部接收信息；外部装置，包括：显示单元，其被配置为显示从发送/接收单元发送的显示图像；以及触摸面板，其被设置为叠加在显示单元的显示区域上，被配置为检测外部物体所接触的触摸位置，并输出包括至少一个触摸位置的指令信号；以及控制单元，其被配置为根据指令信号对显示图像的触摸位置执行预定处理。
此外，根据本公开的控制方法包括：图像处理步骤，处理由成像单元生成的图像信号以生成用于显示的显示图像；发送步骤，将在图像处理步骤中生成的显示图像发送到显示装置和具有显示功能并且能够进行双向通信的外部装置中的每者；接收步骤，从外部装置接收至少包括显示图像中的一个触摸位置的指令信号；以及控制步骤，根据指令信号对显示图像的触摸位置执行预定处理。
此外，一种由外部装置执行的根据本公开的显示方法，该外部装置包括：显示单元，其显示与从控制装置发送的图像信号对应的显示图像；以及触摸面板，其以叠加的方式设置在显示单元的显示区域上、检测外部物体所接触的触摸位置并输出包括触摸位置的指令信号，所述显示方法包括显示控制步骤，基于从触摸面板输出的指令信号，将指示包括触摸位置并满足预定分辨率的区域的区域信息显示在显示单元上，以叠加在显示图像上。
此外，根据本公开的程序使控制装置执行：图像处理步骤，处理由成像单元生成的图像信号以生成用于显示的显示图像；发送步骤，将在图像处理步骤中生成的显示图像发送到显示装置和具有显示功能并且能够进行双向通信的外部装置中的每者；接收步骤，从外部装置接收至少包括显示图像中的一个触摸位置的指令信号；以及控制步骤，根据指令信号对显示图像的触摸位置执行预定处理。
此外，根据本公开的程序使得外部装置执行显示控制步骤，该外部装置包括：显示单元，其显示与从控制装置发送的图像信号对应的显示图像；以及触摸面板，其以叠加的方式设置在显示单元的显示区域上、检测外部物体所接触的触摸位置并输出包括触摸位置的指令信号，在显示控制步骤中，基于从触摸面板输出的指令信号将指示包括触摸位置并满足预定分辨率的区域的区域信息显示在显示单元上，以叠加在显示图像上。
本发明的有益效果
根据本公开，即使在操作者的手不可用的情况下，也可以对操作者期望的位置执行预定处理。
附图说明
图1为示出根据第一实施例的医学观察系统的示意性配置的示意图。
图2为示出根据第一实施例的医学观察系统中设置的摄像头、控制装置和外部装置的功能配置的框图。
图3为示出由根据第一实施例的医学观察系统执行的处理的概要的示意图。
图4为示出由根据第一实施例的显示装置和外部装置显示的显示图像的示例的视图。
图5为示意性地示出根据第一实施例的外部装置的触摸面板上的操作的视图。
图6为示出由根据第一实施例的显示装置显示的放大图像的示例的视图。
图7为示出由根据第一实施例的控制装置执行的处理的概要的流程图。
图8为示出图7的协同处理的概要的流程图。
图9A为示意性地描述根据第一实施例的第一确定单元的确定方法的视图。
图9B为示意性地描述根据第一实施例的第一确定单元的确定方法的视图。
图9C为示意性地描述根据第一实施例的由变焦控制单元进行的区域变化的视图。
图10为示出由根据第一实施例的外部装置执行的处理的概要的流程图。
图11A为示意性地示出由根据第一实施例的外部装置的显示单元显示的图像的示例的视图。
图11B为示意性地示出由根据第一实施例的外部装置的显示单元显示的图像的示例的视图。
图12A为示出由根据第一实施例的外部装置显示的另一图像的示例的视图。
图12B为示出由根据第一实施例的外部装置显示的其他图像的示例的视图。
图13A为示出由根据第一实施例的外部装置显示的图像的示例的视图。
图13B为示出由根据第一实施例的显示装置显示的图像的示例的视图。
图14A为示出由根据第一实施例的外部装置显示的另一图像的示例的视图。
图14B为示出由根据第一实施例的显示装置显示的其他图像的示例的视图。
图14C为示出由根据第一实施例的显示装置显示的其他图像的示例的视图。
图15为示出由根据第二实施例的医学观察系统执行的处理的概要的示意图。
图16为示出由根据第二实施例的控制装置执行的协同处理的概要的流程图。
图17为示出根据第三实施例的医学观察系统的示意性配置的示意图。
图18为示出根据第三实施例的医学观察系统中设置的插入部、摄像头和控制装置的功能配置的框图。
图19为示出由根据第三实施例的医学观察系统执行的处理的概要的示意图。
图20为示出由根据第三实施例的控制装置执行的协同处理的概要的流程图。
图21为示出根据第四实施例的医学观察系统的示意性配置的示意图。
图22为示出根据第四实施例的医学观察系统中包括的观察装置和控制装置的功能配置的框图。
图23为示出由根据第四实施例的医学观察系统执行的处理的概要的示意图。
图24为示出由根据第四实施例的控制装置执行的协同处理的概要的流程图。
具体实施方式
在下文中，将参考附图详细描述用于执行本发明的模式(下文中，称为“实施例”)。顺便提及，本发明不受以下实施例的限制。另外，以下描述中提及的各个附图仅以示意性方式示出了形状、大小和位置关系，使得可以理解本发明的内容的程度。也就是说，本发明不仅限于各个附图中所示的形状、大小和位置关系。
(第一实施例)
[医学观察系统的示意性配置]
图1为示出根据第一实施例的医学观察系统的示意性配置的示意图。
图1所示的医学观察系统1为医疗领域中用于捕获诸如活体的受试者内部的装置。顺便提及，使用图1所示的刚性内窥镜(插入部2)的刚性内窥镜系统被描述为第一实施例中的医学观察系统1，但是医学观察系统1不限于此，并且可以为柔性内窥镜系统。
如图1所示，医学观察系统1包括插入部2、光源装置3、光导4、摄像头5(内窥镜成像装置)、第一传输电缆6、显示装置7、第二传输电缆8、控制装置9、第三传输电缆10和外部装置11。
插入部2为刚性的或至少部分柔性的并且具有细长的形状，并且插入诸如患者的受试者中。在插入部2的内部设置有使用一个或多个透镜构成并形成观察图像的光学系统。
光导4的一端与光源装置3连接，光源装置3在控制装置9的控制下发射(提供)光以照射主体内部至光导4的一端。
光导4的一端可拆卸地与光源装置3连接，并且其另一端可拆卸地连接到插入部2。光导4将从光源装置3提供的光从一端传输到另一端，并将光提供给插入部2。
插入部2的目镜部21可拆卸地与摄像头5连接。摄像头5在控制装置9的控制下捕获由插入部2形成的主体图像(观察图像)以生成图像信号，并将图像信号转换为电信号或光信号并输出转换后的信号。
第一传输电缆6的一端经由连接器CN1与控制装置9可拆卸地连接，并且其另一端经由连接器CN2与摄像头5连接。第一传输电缆6将从摄像头5输出的图像信号发送到控制装置9，并将从控制装置9输出的控制信号、同步信号、时钟信号、电源等中的每者发送到摄像头5。
在控制装置9的控制下，显示装置7基于由控制装置9处理的视频信号和关于医学观察系统1的各种类型的信息显示观察图像。显示装置7使用液晶、有机电致发光(EL)等进行配置。另外，显示装置7的监视器尺寸为31英寸或更大，并且优选地为55英寸或更大。顺便提及，在第一实施例中，显示装置7配置有31英寸或更大的监视器尺寸，但是不限于此，并且可以配置有其他监视器尺寸。如果监视器尺寸能够显示图像，则可以使用任何监视器尺寸，例如，具有两百万像素或更高的分辨率(例如，所谓的1920×1080像素的2K分辨率)，优选地八百万像素或更高的分辨率(例如，所谓的3840×2160像素的4K分辨率)，并且更优选地，32兆像素或更高的分辨率(例如，所谓的7680×4320像素的8K分辨率)。
第二传输电缆8的一端可拆卸地与显示装置7连接，并且其另一端与控制装置9可拆卸地连接。第二传输电缆8将由控制装置9处理的视频信号发送到显示装置7。
控制装置9包括中央处理单元(CPU)、各种存储器等，并且根据记录在存储器(未示出)中的程序，经由第一传输电缆6、第二传输电缆8和第三传输电缆10中的每者整体地控制光源装置3、摄像头5和显示装置7的操作。另外，控制装置9根据预定的无线通信标准与外部装置11双向地通信各种类型的信息。
第三传输电缆10的一端可拆卸地与光源装置3连接，并且其另一端与控制装置9可拆卸地连接。第三传输电缆10将控制信号从控制装置9发送到光源装置3。
外部装置11接收并显示从控制装置9发送的视频信号，并将根据用户的操作输入的各种类型的信息发送到控制装置9。使用诸如移动终端和移动电话的装置、可以接收用户的操作的外部监视器等来实现外部装置11。顺便提及，在第一实施例中描述了外部装置11和控制装置9以无线方式执行双向通信的示例，但是本发明不限于此，并且可以以有线方式执行双向通信。
接下来，将描述摄像头5、控制装置9和外部装置11的功能配置。图2为示出医学观察系统1中设置的摄像头5、控制装置9和外部装置11的功能配置的框图。顺便提及，图2未示出摄像头5和控制装置9之间的连接器CN1和CN2以及第一传输电缆6以及光源装置3和显示装置7的功能配置，以便于描述。
[摄像头的配置]
首先，将描述摄像头5的功能配置。
如图2所示，摄像头5包括透镜单元51、透镜驱动单元52、透镜位置检测单元53、成像单元54和通信单元55。
透镜单元51使用沿光轴可移动的多个透镜进行配置，并且在成像单元54(成像元件541)的成像表面上形成由插入部2会聚的主体图像。透镜单元51包括：聚焦透镜511，其使用一个或多个透镜进行配置并沿光轴移动以调节焦距；以及变焦透镜512，其使用一个或多个透镜进行配置并沿光轴移动以改变视角。另外，透镜单元51还设置有使聚焦透镜511沿光轴移动的聚焦机构(未示出)和沿光轴移动变焦透镜512的变焦机构(未示出)。
透镜驱动单元52包括操作上述透镜单元51的聚焦机构和变焦机构的马达521，以及驱动马达521的驱动器522。透镜驱动单元52在稍后描述的控制装置9的控制下调节透镜单元51的焦点或改变视角。
透镜位置检测单元53使用诸如光电断路器的位置检测传感器进行配置，并且检测光轴上的聚焦透镜511的透镜位置和光轴上的变焦透镜512的透镜位置。透镜位置检测单元53经由第一传输电缆6将检测结果输出到控制装置9。
成像单元54通过接收由透镜单元51形成的主体图像并在稍后描述的控制装置9的控制下执行光电转换来生成图像信号。成像单元54包括成像元件541和信号处理单元542。
成像元件541使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器等进行配置，其光学地接收由插入部2会聚并由透镜单元51形成的主体图像并将接收到的主体图像转换为电信号(模拟信号)。成像元件541的有效像素数为八百万像素或更高(例如，所谓的3840×2160像素的4K分辨率)，并且优选地为32兆像素或更高(例如，所谓的7680×4320像素的8K分辨率)。
信号处理单元542对来自成像元件541的图像信号(模拟电信号)执行信号处理，并输出数字图像信号(RAW信号(数字信号))。例如，对于来自成像元件541的图像信号(模拟电信号)，信号处理单元542执行信号处理，诸如去除复位噪声的处理、将放大图像信号的模拟增益相乘的处理、以及A/D转换。
通信单元55用作将从成像单元54输出的图像信号(数字RAW信号)经由第一传输电缆6发送到控制装置9的发送器。例如，通信单元55使用高速串行接口进行配置，该高速串行接口经由第一传输电缆6与控制装置9以1Gbps或更高的传输速率执行图像信号的通信。
[控制装置的配置]
接下来，将描述控制装置9的配置。
如图2所示，控制装置9包括通信单元91、图像处理单元92和视频输出单元93、发送/接收单元94、输入单元95、输出单元96、记录单元97和控制单元98。
通信单元91用作接收器，其经由第一传输电缆6接收从摄像头5(通信单元55)输出的图像信号(数字RAW信号)。通信单元91使用例如以1Gbps或更高的传输速率与通信单元55执行图像信号的通信的高速串行接口进行配置。
在控制单元98的控制下，图像处理单元92对从摄像头5输出并由通信单元91接收的图像信号执行预定图像处理，并将图像信号输出到视频输出单元93。具体地，图像处理单元92将图像信号乘以放大信号的数字增益。另外，图像处理单元92对乘以数字增益后的图像信号执行RAW处理，诸如光学黑减法处理和去马赛克处理，并将这样的RAW信号(图像信号)转换为RGB信号(图像信号)。此外，图像处理单元92对RGB信号(图像信号)执行RGB处理，诸如RGB值分别乘以增益、RGB伽马校正和YC转换(将RGB信号转换为亮度信号和色差信号(Y，CB/CR信号))的白平衡调节处理。另外，图像处理单元92包括电子变焦单元921。
电子变焦单元921生成放大图像的图像信号，该放大图像通过在控制单元98的控制下通过截取预定区域来执行放大预定区域的放大处理并执行尺寸调节处理而生成，并将生成的信号输出到视频输出单元93。
在控制单元98的控制下，视频输出单元93执行屏幕显示(OSD)处理等以生成用于显示的显示图像(视频信号)，在该显示图像上已叠加与医学观察系统1相关的各种类型的信息，并将生成的图像输出到显示装置7。
在控制单元98的控制下，发送/接收单元94将视频信号和各种类型的信息发送到外部装置11，并根据预定的通信标准将从外部装置11接收到的各种类型的信息输出到控制单元98。这里，预定通信标准为无线保真(Wi-Fi)(注册商标)通信、蓝牙(注册商标)通信、使用5G无线、4G无线或3G无线的通信、全球微波接入互操作性(WiMAX)通信中的任何通信方案。当然，其他已知的通信标准可以用作通信标准。
输入单元95使用诸如鼠标、键盘和触摸面板的操作装置进行配置，并且接收由诸如医生的用户执行的用户操作。然后，输入单元95将对应于用户操作的操作信号输出到控制单元98。
输出单元96在控制单元98的控制下输出各种类型的信息。输出单元96使用扬声器、显示监视器、打印机等进行配置。
记录单元97记录由医学观察系统1执行的各种程序和正在处理的信息。记录单元97使用同步动态随机存取存储器(SDRAM)、闪存等进行配置。
控制单元98整体控制医学观察系统1的每个单元。控制单元98使用CPU等进行配置。控制单元98包括驱动控制单元981、第一确定单元982、变焦控制单元983和第一显示控制单元984。
驱动控制单元981控制透镜驱动单元52和成像单元54的每个驱动。具体地，驱动控制单元981通过驱动透镜驱动单元52来调节透镜单元51的焦点位置，以沿着光轴移动聚焦透镜511。
第一确定单元982确定包括触摸位置并且由电子变焦单元921截取的区域是否为预定分辨率或更高。这里，预定分辨率为两百万像素或更高的分辨率(所谓的1920×1080像素的2K分辨率)，优选地为八百万像素或更高的分辨率(例如，所谓的3840×2160像素的4K分辨率)。
当第一确定单元982确定包括从外部装置11接收的指令信号中包括的触摸位置的区域不是预定分辨率或更高时，变焦控制单元983改变要被电子变焦单元921截取的区域，以便在显示图像中包括触摸位置。
第一显示控制单元984控制图像处理单元92和视频输出单元93以控制显示装置7的显示模式。另外，第一显示控制单元984使视频输出单元93将由电子变焦单元921生成的放大图像输出到显示装置7。此外，当通过变焦控制单元983改变要截取的区域时，第一显示控制单元984使电子变焦单元921执行放大处理，以通过截取改变的区域并执行尺寸调节处理来生成放大的图像。
[外部装置的配置]
接下来，将描述外部装置11的配置。
如图2所示，外部装置11包括发送/接收单元111、显示单元112、触摸面板113、输入单元114、记录单元115和装置控制单元116。
在装置控制单元116的控制下，发送/接收单元111根据与控制装置9的发送/接收单元94相同的通信标准将各种类型的信息发送到控制装置9，并将从控制装置9接收到的各种类型的信息输出到装置控制单元116或显示单元112。
显示单元112显示由发送/接收单元111接收到的各种类型的信息。具体地，显示单元112显示与由发送/接收单元111从控制装置9接收的视频信号对应的显示图像。显示单元112使用液晶、有机EL等进行配置。
触摸面板113被设置为叠加在显示单元112的显示区域上，检测外部物体所接触的位置，并将与该位置对应的信号输出到装置控制单元116。具体地，触摸面板113从外部检测用户的触摸位置，并且将根据检测到的位置的位置信号(坐标信号)输出到装置控制单元116。另外，触摸面板113检测多点触摸操作，例如使得诸如用户的手指和触笔的指针与触摸面板113的检测区域接触的触摸操作，在预定时间内两次或更多次触摸触摸面板113的轻击操作，在预定时间(例如，一秒)或更长时间内用指针按压触摸位置的长按操作，在与触摸面板113接触的状态下滑动指针的滑动操作(轻扫操作)或轻弹操作，在指针与触摸面板113的检测区域中的两个不同位置接触的状态下减小指针之间的距离的捏合操作或者在与两个点接触的状态下增加指针之间的距离的捏放操作，以及在触摸面板113的检测区域中将一个指针设置为旋转中心并且在两个指针之间可滑动地旋转另一个指针的旋转操作。当然，触摸面板113可以检测根据检测区域上的指针的轨迹形成的诸如圆形、椭圆形和多边形的形状、数字、字符等。
输入单元114接收与外部装置11相关的各种操作的输入。输入单元114使用开关、按钮等进行配置。
记录单元115记录由外部装置11执行的各种程序和正在处理的信息。记录单元115使用SDRAM、闪存等进行配置。
装置控制单元116整体控制外部装置11的各个单元。装置控制单元116使用CPU等进行配置。装置控制单元116包括第二确定单元116a、第二显示控制单元116b和通信控制单元116c。
第二确定单元116a确定包括触摸位置的区域是否为预定分辨率或更高。这里，预定分辨率为两百万像素或更高的分辨率(所谓的1920×1080像素的2K分辨率)，优选地为八百万像素或更高的分辨率(例如，所谓的3840×2160像素的4K分辨率)。
第二显示控制单元116b控制显示单元112的显示模式。具体地，在显示单元112上显示与由发送/接收单元111接收的视频信号对应的显示图像。另外，第二显示控制单元116b基于从触摸面板113输出的指令信号，将指示包括用户的触摸位置并且满足预定分辨率的区域的区域信息显示在显示单元112上，以叠加在显示图像上。此外，当第二确定单元116a确定包括触摸位置的区域不是预定分辨率或更高时，第二显示控制单元116b改变区域信息的叠加位置以在显示单元112上包括触摸位置并显示区域信息。
通信控制单元116c控制发送/接收单元111。具体地，通信控制单元116c使发送/接收单元111将包括触摸面板113已经接收到输入的触摸位置的指令信号发送到控制装置9。
[医学观察系统的处理]
接下来，将描述由医学观察系统1执行的处理。图3为示出由医学观察系统1执行的处理的概要的示意图。
如图3所示，首先，摄像头5将通过插入部2捕获的图像信号输出到控制装置9(步骤S1)。
随后，控制装置9基于从摄像头5输出的图像信号生成视频信号，并将视频信号发送到显示装置7和外部装置11中的每者(步骤S2)。具体地，控制装置9将与图4所示的视频信号对应的显示图像LV1(实时取景图像)发送到显示装置7和外部装置11中的每者。结果，显示装置7和外部装置11可以在基本相同的时刻显示显示图像LV1。
此后，外部装置11将与触摸面板113已经接收到输入的位置信号对应的指令信号发送到控制装置9(步骤S3)。具体地，如图5所示，外部装置11经由触摸面板113向控制装置9发送指令信号，该指令信号给出关于放大包括用户U1触摸的触摸位置的区域的指令。
然后，控制装置9基于来自外部装置11的指令信号将通过将包括用户U1触摸的触摸位置的区域进行放大而获得的视频信号(放大图像)发送到显示装置7(步骤S4)。具体地，如图6所示，控制装置9基于来自外部装置11的指令信号，将与通过将包括用户U1触摸的触摸位置的区域进行放大而获得的视频信号对应的放大图像P1发送到显示装置7。结果，即使在诸如洁净区中的医生和内窥镜医师的操作者的手无法可用的情况下，也可以在第三方(诸如护士、主治医生和助手)在非洁净区中操作外部装置11时，对操作者期望的位置执行预定处理，例如放大处理。此外，操作者可以在不将插入部2移动到使用治疗工具等对患者等对象进行治疗的位置附近的情况下放大期望的区域，并且因此，不仅可以减轻污垢或活体对插入部2(内窥镜)的附着，而且可以减少插入部2(内窥镜)的位置的调节和移动的步骤。
[控制装置的处理]
接下来，将描述由控制装置9执行的处理。图7为示出由控制装置9执行的处理的概要的流程图。
如图7所示，首先，驱动控制单元981使成像单元54执行成像(步骤S101)，并使图像处理单元92基于由成像单元54生成的图像信号生成视频图像(步骤S102)。
随后，第一显示控制单元984使视频输出单元93将视频信号发送到显示装置7，并使发送/接收单元94将视频信号发送到外部装置11(步骤S103)。
此后，当发送/接收单元94从外部装置11接收到指令信号时(步骤S104：是)，控制装置9执行协同处理，该协同处理根据从外部装置11发送的指令信号彼此协同地执行预定处理(步骤S105)。在步骤S105之后，控制装置9前进到稍后描述的步骤S106。稍后将描述协同处理的细节。另一方面，当发送/接收单元94没有从外部装置11接收到指令信号时(步骤S104：否)，控制装置9前进到稍后描述的步骤S106。
随后，当输入单元95接收到结束输入时(步骤S106：是)，控制装置9结束本处理。另一方面，当输入单元95没有接收到结束输入时(步骤S106：否)，控制装置9返回到上述步骤S101。
[协同处理]
接下来，将描述图7的步骤S105中描述的协同处理的细节。图8为示出协同处理的概要的流程图。
如图8所示，首先，驱动控制单元981使成像单元54执行成像(步骤S201)。
随后，第一确定单元982确定包括触摸位置并且由电子变焦单元921截取的区域是否为预定分辨率或更高(步骤S202)。具体地，如图9A所示，第一确定单元982确定包括由用户U1在外部装置11的显示单元112显示的显示图像LV1上经由触摸面板113触摸的触摸位置的区域R1是否为预定的分辨率或更高。在这种情况下，第一确定单元982确定以触摸位置为中心的区域是否为预定分辨率或更高。当第一确定单元982确定包括由电子变焦单元921截取的触摸位置的区域为预定分辨率或更高时(步骤S202：是)，控制装置9前进到稍后描述的步骤S204。
当第一确定单元982在步骤S202中确定包括由电子变焦单元921截取的触摸位置的区域不是预定分辨率或更高时(步骤S202：否)，控制装置9前进到稍后描述的步骤S203。具体地，如图9B所示，当包括由用户U1在由外部装置11的显示单元112显示的显示图像LV1上经由触摸面板113触摸的触摸位置的区域R1不是预定分辨率或更高时，例如，当用户U1触摸显示图像LV1的角落并且包括这样的触摸位置的区域R2低于预定分辨率时，第一确定单元982确定包括由电子变焦单元921截取的触摸位置的区域不是预定分辨率或更高。
随后，变焦控制单元983改变电子变焦单元921要截取的区域(步骤S203)。具体地，如图9C所示，变焦控制单元983将由电子变焦单元921截取的区域改变为具有预定分辨率或更高分辨率的区域R3。因此，即使当用户U1触摸显示图像LV1的角落或低于预定分辨率的位置时，也可以保持显示装置7显示的显示图像的图像质量。在步骤S203之后，控制装置9前进到步骤S204。
随后，第一显示控制单元984使电子变焦单元921从显示图像中截取包括根据指令信号的位置的区域，并执行放大处理以生成放大图像(步骤S204)。具体地，第一显示控制单元984使电子变焦单元921执行放大处理，以截取并放大包括与指令信号对应的位置的预定区域，从而生成通过放大包括触摸位置的区域而获得的放大图像的视频信号。
此后，第一显示控制单元984使视频输出单元93将由电子变焦单元921生成的放大图像(放大的视频信号，例如，图6的上述放大图像P1)发送到显示装置7，并使发送/接收单元94将视频信号(图4的显示图像LV1)发送到外部装置11(步骤S205)。结果，显示装置7显示图6的上述放大图像P1，并且外部装置11显示图4的显示图像LV1，并且因此，操作者可以在确认通过放大期望位置获得的放大图像的同时对对象进行治疗，而无需调节插入部2的成像方向。
随后，当从输入单元95或外部装置11接收到结束操作的输入时(步骤S206：是)，控制装置9返回到图7的主程序。具体地，这里，结束操作对应于例如触摸面板113从外部装置11检测到新触摸位置并接收指令信号的情况，对应于输入单元95或输入单元114接收到用于结束放大图像的指令信号的输入的情况，对应于从外部装置11接收到用于给出关于缩小放大图像的指令的指令信号的情况等。
在步骤S204中，当输入单元114或触摸面板113尚未接收到结束操作的输入时(步骤S206：否)，控制装置9返回步骤S201。
[外部装置的处理]
接下来，将描述由外部装置11执行的处理。图10为示出由外部装置11执行的处理的概要的流程图。
如图10所示，当发送/接收单元111从控制装置9接收显示图像(视频信号)时(步骤S301：是)，第二显示控制单元116b使显示单元112显示与从控制装置9接收到的视频信号对应的显示图像(步骤S302)。
随后，当在触摸面板113上存在触摸操作时(步骤S303：是)，第二确定单元116a确定包括触摸位置的区域是否为预定分辨率或更高(步骤S304)。具体地，第二确定单元116a执行与上述图8中的第一确定单元982相同的确定。当第二确定单元116a确定包括触摸位置的区域为预定分辨率或更高时(步骤S304：是)，第二显示控制单元116b在显示单元112上显示指示包括触摸位置并满足预定分辨率的区域的区域信息，以用于叠加在显示图像LV1上(步骤S305)。具体地，如图11A所示，第二显示控制单元116b在显示单元112上显示指示包括触摸位置并且满足预定分辨率的区域的区域信息F1，以用于叠加在显示图像LV1上。结果，当控制装置9执行电子变焦时，外部装置11的用户U1可以直观地掌握截取区域。在步骤S305之后，外部装置11前进到稍后描述的步骤S307。
当第二确定单元116a在步骤S304中确定包括触摸位置的区域不是预定分辨率或更高时(步骤S304：否)，第二显示控制单元116b改变指示包括触摸位置并满足预定分辨率的区域的区域信息，并在显示单元112上显示改变的区域信息以用于叠加在显示图像LV1上(步骤S306)。具体地，如图11B所示，第二显示控制单元116b将指示包括触摸位置并满足预定分辨率的区域的区域信息F1的显示位置改变(移动)到显示图像LV1上的满足预定分辨率的位置，并在显示单元112上显示待叠加在显示图像LV1上的区域信息F1。结果，当控制装置9执行电子变焦时，外部装置11的用户U1可以直观地掌握截取区域，并且即使当用户U1已触摸显示图像LV1的角落或低于预定分辨率的位置时，可以防止由于强调和显示了电子变焦的截取区域造成的误操作。
随后，通信控制单元116c将包括触摸面板113已经接收到输入的触摸位置的指令信号发送到控制装置9(步骤S307)。
此后，当输入单元114或触摸面板113接收到给出结束指令的指令信号的输入时(步骤S308：是)，外部装置11结束该过程。另一方面，当输入单元114或触摸面板113没有接收到给出结束指令的指令信号的输入时(步骤S308：否)，外部装置11返回到上述步骤S301。
在步骤S301中，当发送/接收单元111尚未从控制装置9接收到视频信号时(步骤S301：否)，外部装置11前进到步骤S303。
在步骤S303中，当触摸面板113上没有触摸操作时(步骤S303：否)，外部装置11前进到步骤S308。
根据上述第一实施例，第一显示控制单元984使电子变焦单元921执行放大处理，以截取和放大包括根据来自显示图像的指令信号的位置的区域，并生成放大图像，并且使视频输出单元93将放大的图像(放大的视频信号)输出到显示装置7。因此，即使在操作者的手不可用的情况下，也可以在治疗期间容易地放大和显示期望的感兴趣区域。
另外，根据第一实施例，变焦控制单元983改变被电子变焦单元921截取的区域，以便当第一确定单元982确定包括在从外部装置11输入的指令信号中包括的触摸位置的区域不是预定分辨率或更高分辨率时，在显示图像中包括触摸位置。因此，显示装置7可以显示满足显示装置7的分辨率的放大图像。
顺便提及，第一显示控制单元984使显示装置7在第一实施例中存在来自外部装置11的指令信号时显示放大图像P1，但是本发明不限于此，并且显示装置7可以执行以各种显示模式的显示。例如，如图12A所示，第一显示控制单元984可以使视频输出单元93将整个图像的显示图像LV1叠加在放大图像P1上，并将叠加的显示图像LV1发送到显示装置7。结果，操作者可以在观看当前放大图像P1的同时在鸟瞰图中观看显示图像LV1的同时执行处理。当然，如图12B所示，第一显示控制单元984可以使视频输出单元93将整个图像的放大图像P1和显示图像LV1并行发送到显示装置7。
另外，在第一实施例中，包括触摸面板113触摸的触摸位置的区域被放大，但是本发明不限于此，并且可以执行电子变焦以在触摸面板113上放大或缩小根据捏放操作或捏合操作确定的区域。例如，如图13A所示，当外部装置11的用户U1在彼此不同的两个位置处触摸触摸面板113时，通信控制单元116c使发送/接收单元111发送包括两个不同的触摸位置的指令信号。结果，如图13B所示，变焦控制单元983根据两个不同触摸位置之间的距离设置由电子变焦单元921截取的区域的大小。然后，第一显示控制单元984使电子变焦单元921执行放大处理，以截取和放大由变焦控制单元983设置的区域，并生成放大图像P1。当然，变焦控制单元983可以根据两个不同触摸位置之间的距离来改变由电子变焦单元921截取的区域的大小。在这种情况下，第一确定单元982可以确定由电子变焦单元921截取的区域是否为预定分辨率或更高，并且变焦控制单元983可以基于第一确定单元982的确定结果和两个不同触摸位置之间的距离来设置由电子变焦单元921截取的区域的大小。
另外，在第一实施例中，第一显示控制单元984使视频输出单元93分别向显示装置7和外部装置11输出相同分辨率的视频信号，但是本发明不限于此，视频输出单元93可以分别向显示装置7和外部装置11输出具有不同分辨率的视频信号。例如，当成像元件541具有32兆像素(所谓的8K分辨率)或更高时，第一显示控制单元984可以使视频输出单元93向显示装置7输出八百万像素(所谓的4K分辨率)的视频信号并向外部装置11输出32兆像素(所谓的8K分辨率)的视频信号。在这种情况下，外部装置11的第二显示控制单元116b可以使显示单元112以叠加的方式显示与由显示装置7显示的显示图像的区域相对应的帧。结果，外部装置11的用户可以直观地掌握显示在显示装置7上的显示图像的区域，并且在手术期间确认成像视场外的感兴趣区域的同时向操作者发送建议。当然，当成像元件541具有32兆像素(所谓的8K分辨率)或更高时，第一显示控制单元984可以使视频输出单元93向显示装置7输出32兆像素(所谓的8K分辨率)的视频信号并向外部装置11输出8百万像素(所谓的4K分辨率)的视频信号，并且可以根据输入单元95接收到的操作在适当时改变要输出到显示装置7和外部装置11的视频信号的像素数量。
另外，在第一实施例中，根据来自外部装置11的指令信号在显示装置7上显示放大的图像，但是例如可以改变在显示图像中反映的有效图像的显示位置。具体地，当存在触摸显示图像LV10的有效图像LV11(主体图像)并在触摸面板113上执行将被触摸图像移动到右侧的滑动操作(箭头A1)时，在外部装置11的显示单元112显示如图14A所示的显示图像LV10的情况下，通信控制单元116c使发送/接收单元111向控制装置9发送包括触摸位置和触摸位置随着时间流逝而移动的轨迹信息的指令信号。在这种情况下，如图14B所示，控制装置9的第一显示控制单元984使视频输出单元93将有效图像LV11已经移动到中心的显示图像LV20发送到显示装置7。结果，即使当由于插入部2和摄像头5之间的松散连接和有效图像LV11的显示位置被掩模M1(掩模区域)移位而发生图像偏心接触故障时，有效图像LV11也可以显示在显示装置7的中心。此外，如图14C所示，控制装置9的第一显示控制单元984可以使电子变焦单元921生成通过放大有效图像LV11而获得的有效图像LV21(主体图像)并且使视频输出单元93将有效图像LV21已经移动到中心的显示图像LV30发送到显示装置7。结果，即使当由于插入部2和摄像头5之间的松散连接而发生图像偏心时，也可以在显示装置7的中心显示有效图像LV21。此外，由于有效图像LV21被放大并显示在显示装置7上，因此可以防止掩模M1(掩模区域)的不足。
另外，在第一实施例中，变焦控制单元983改变被电子变焦单元921截取的区域，以便当第一确定单元982确定包括在从外部装置11输入的指令信号中包括的触摸位置的区域不是预定分辨率或更高分辨率时，在显示图像中包括触摸位置，但是本发明不限于此，并且可以进行各种改变。例如，当第一确定单元982确定包括在从外部装置11输入的指令信号中包括的触摸位置的区域不是预定分辨率或更高分辨率的区域时，变焦控制单元983可以将包括触摸位置和显示图像的中心的区域改变并设置为由电子变焦单元921截取的区域。当然，变焦控制单元983可以在显示图像上使用已知技术中的模板匹配等来检测部分地包括治疗工具的远端的区域，并且将包括这样的检测区域和触摸位置的区域改变并设置为由电子变焦单元921截取的区域。
(第二实施例)
接下来，将描述第二实施例。第二实施例具有与根据上述第一实施例的医学观察系统1相同的配置，并且在由医学观察系统执行的整体处理和由控制装置执行的协同处理方面与第一实施例不同。具体地，通过放大包括由外部装置11触摸的触摸位置的区域而获得的放大图像被显示在上述第一实施例中的显示装置7上，但是在第二实施例中，执行控制以将聚焦透镜511的焦点设置为外部装置11触摸的触摸位置上。在下文中，将描述由根据第二实施例的医学观察系统执行的整体处理和由控制装置执行的协同处理。顺便提及，与根据上述第一实施例的医学观察系统1的配置相同的配置将由相同的附图标记表示，并且将省略其描述。
[医学观察系统的处理]
图15为示出由根据第二实施例的医学观察系统1执行的处理的概要的示意图。在图15中，步骤S10和S11分别对应于上述图3的步骤S1和S2。
在步骤S12中，外部装置11向控制装置9发送指令信号，以将焦点设置在触摸面板113已经接收到输入的位置。
随后，控制装置9驱动聚焦透镜511，使得摄像头5的聚焦透镜511被聚焦在触摸面板113已经接收到输入的与从外部装置11接收到的指令信号相对应的位置处(步骤S13)。结果，控制装置9可以生成显示图像，其中焦点被设置为外部装置11的用户触摸的位置。
[协同处理]
接下来，将描述由控制装置9执行的协同处理。图16为示出由控制装置9执行的协同处理的概要的流程图。
如图16所示，首先，驱动控制单元981驱动透镜驱动单元52，使得聚焦透镜511被聚焦在与由发送/接收单元94接收到的指令信号对应的位置处(步骤S401)。结果，可以将焦点设置在外部装置11的用户触摸的位置处。
随后，驱动控制单元981使成像单元54对由透镜单元51形成的主体图像进行成像(步骤S402)。
此后，第一显示控制单元984使视频输出单元93将视频信号发送到显示装置7，并使发送/接收单元94将视频信号发送到外部装置11(步骤S403)。步骤S404对应于上述图8的步骤S206。在步骤S404之后，控制装置9返回到上述图7的主程序。
根据上述第二实施例，驱动控制单元981驱动透镜驱动单元52，使得聚焦透镜511被聚焦在与发送/接收单元94接收到的指令信号对应的位置，并且因此，即使在操作员的手不可用的情况下，操作者页可以将焦点设置在所期望的位置。
顺便提及，在第二实施例中，透镜单元51被聚焦在与从外部装置11接收到的指令信号对应的位置，但是本发明不限于此。例如，控制装置9可以基于与从外部装置11接收到的指令信号对应的位置改变图像处理单元92的图像处理参数(例如，对比度、饱和度、颜色、结构增强等)、由光源装置3发出的照明光的亮度和测光区域。
另外，在第二实施例中，预定信息(例如，数字、字符、标记、符号等)可以叠加在与由第一显示控制单元984从外部装置11接收到的指令信号对应的位置处。具体地，患者信息(例如，姓名、性别、医疗症状和年龄)可以叠加在与第一显示控制单元984从外部装置11接收到的指令信号对应的位置上。
另外，在第二实施例中，透镜单元51可以被聚焦在与从外部装置11接收到的指令信号对应的位置处，以及包括与来自第一实施例的电子变焦单元921的指令信号对应的位置的区域被放大的视频信号可以被发送到显示装置7。结果，可以在显示装置7上显示通过单个操作聚焦的放大图像。
(第三实施例)
接下来，将描述第三实施例。第三实施例具有根据上述第一实施例的医学观察系统1的插入部2的不同配置，并且在由医学观察系统执行的整体处理和由控制装置执行的协同处理方面与第一实施例不同。在下文中，将描述根据第三实施例的医学观察系统的配置，并且然后，将按此顺序描述由医学观察系统执行的整体处理以及由控制装置执行的协同处理。顺便提及，与根据上述第一实施例的医学观察系统1的配置相同的配置将由相同的附图标记表示，并且将省略其描述。
[医学观察系统的示意性配置]
图17为示出根据第三实施例的医学观察系统的示意性配置的示意图。图17所示的医学观察系统1A包括插入部2A，而不是根据上述第一实施例的医学观察系统1的插入部2(内窥镜)。
插入部2A为刚性的或至少部分柔性的并且具有细长的形状，并且插入诸如患者的主体中。另外，插入部2A包括弯曲单元23，该弯曲单元23在控制装置9的控制下使远端部22沿预定方向弯曲。另外，插入部2A设置有光学系统，该光学系统使用一个或多个透镜进行配置并在插入部2内部形成观察图像。
接下来，将描述插入部2A、摄像头5和控制装置9的功能配置。图18为示出在医学观察系统1A中设置的插入部2A、摄像头5和控制装置9的功能结构的框图。顺便提及，图18未示出摄像头5和控制装置9之间的连接器CN1和CN2以及第一传输电缆6以及光源装置3、显示装置7和外部装置11的功能配置，以便于描述。
[插入部的配置]
将描述插入部2A的功能配置。
如图18所示，插入部2A至少包括弯曲单元23和光学系统25。
弯曲单元23使用多个弯曲件构造，并且在竖直方向和水平方向上弯曲。弯曲单元23的一端与远端部22连接(参见图16)，并且另一端与主体部24连接(参见图16)。弯曲单元23在控制装置9的控制下使远端部22在竖直方向和水平方向上弯曲。
光学系统25使用一个或多个透镜进行配置，并且经由摄像头5的透镜单元51在摄像头5的成像元件541的光接收表面上形成主体图像(观察图像)。
[医学观察系统的处理]
接下来，将描述由医学观察系统1A执行的处理。图19为示出由医学观察系统1A执行的处理的概要的示意图。步骤S20和S21分别对应于上述图3中的步骤S1和S2。
在步骤S22中，外部装置11向控制装置9发送指令信号，以使插入部2A的远端部22在触摸面板113已经接收到输入的位置处弯曲。
随后，控制装置9驱动弯曲单元23，使得插入部2A的远端部22指向触摸面板113已经接收到输入的与从外部装置11接收到的指令信号相对应的位置(步骤S23)。结果，控制装置9可以将通过对由外部装置11的用户触摸的位置成像而获得的显示图像输出到显示装置7。
[协同处理]
接下来，将描述由控制装置9执行的协同处理。图20为示出由控制装置9执行的协同处理的概要的流程图。
如图19所示，驱动控制单元981首先驱动弯曲单元23，使得插入部2A的远端部22指向与输入到触摸面板113并从外部装置11接收到的指令信号对应的位置(步骤S501)。结果，可以将成像方向改变为外部装置11的用户触摸的位置。步骤S502至S504分别对应于上述图16中的步骤S402至S404。在步骤S504之后，控制装置9返回到上述图7的主程序。
根据上述第三实施例，驱动控制单元981驱动弯曲单元23，使得插入部2A的远端部22指向触摸面板113已经接收到输入与从外部装置11接收的指令信号对应的位置，并且因此，即使在操作者的手不可用的情况下，也可以将插入部2A(内窥镜)的观察方向改变为操作者所期望的位置。
顺便提及，在第三实施例中已经描述了可以在竖直和水平方向上弯曲的插入部2A(内窥镜)，但是本发明也可以应用于插入部2A和摄像头5被集成并且可以改变远端的视场方向的视频内窥镜型内窥镜。另外，只要可以改变观察方向，本发明也可以应用于其他装置。例如，本发明还可应用于保持第一实施例的上述插入部2在竖直和水平方向、前后方向和旋转方向上可移动的镜架。在这种情况下，当驱动控制单元981根据触摸面板113已经接收到输入的与从外部装置11接收到的指令信号相对应的位置来控制镜体支架的驱动单元时，即使在操作者的手不可用的情况下，也可以将插入部2(内窥镜)的观察方向改变为操作者所期望的位置。当然，可以根据触摸面板113已经接收到输入的与从外部装置11接收到的指令信号相对应的位置来控制设置在除了镜架之外的操纵器中的多个致动器。
(第四实施例)
接下来，将描述第四实施例。尽管本发明应用于使用上述第一实施例中的刚性内窥镜(插入部2)的医学观察系统1，但是在第四实施例中，本发明应用于使用手术显微镜的医学观察系统，该手术显微镜放大并捕获在主体内部(活体内部)或主体表面(活体表面)中的预定视场区域。顺便提及，与根据上述第一实施例的医学观察系统1的配置类似的配置将由相同的附图标记表示，并且在以下描述中将省略或简化其描述。
[医学观察系统的示意性配置]
图21为示出根据第四实施例的医学观察系统的示意性配置的示意图。图21所示的医学观察系统1B包括光源装置3、光导4、第一传输电缆6、显示装置7和第二传输电缆8、控制装置9、第三传输电缆10、外部装置11和观察装置30。
[显微镜装置的示意性配置]
图21所示的观察装置30为具有作为显微镜的功能的医用手术显微镜装置，其放大并观察待观察主体的微小部分。观察装置30包括：显微镜单元40，其观察待观察主体的微小部分；支撑单元60，其与显微镜单元40的近端部连接并可旋转地支撑显微镜单元40；以及基座单元70，其可旋转地保持支撑单元60的近端部并且可在地板上移动。
显微镜单元40包括：光学系统，其具有圆柱形外观并且在其内部具有变焦功能和聚焦功能；成像元件(未示出)，其接收由光学系统形成的主体图像并执行光电转换以生成图像信号；以及发光单元(未示出)，其向待观察对象发出照明光。另外，构成输入单元的各种开关设置在显微镜单元40的侧表面上，该输入单元接收观察装置30的操作指令的输入。盖玻璃(未示出)设置在显微镜单元40的下端部的孔表面中，以保护内部光学系统等。诸如操作者的用户移动显微镜单元40，改变显微镜单元40的角度，改变观察装置30的模式，或者在操作处于夹持显微镜单元的状态下的各种开关的同时执行变焦或聚焦操作40。因此，用户可以直观地掌握光学系统的光轴方向或显微镜单元40的成像视场的中心方向，并且可以容易地将显微镜单元40移动到期望位置。顺便提及，显微镜单元40的形状不限于圆柱形，并且可以为例如多边形圆柱形。
在支撑单元60中，第一关节61、第一臂71、第二关节62、第二臂72、第三关节63、第三臂73、第四关节64、第四臂74、第五关节65、第五臂75和第六关节66从远端侧(显微镜单元40侧)依次连接。
第一关节61将远端侧的显微镜单元40保持为能够绕与显微镜单元40的光轴一致的第一轴线O1旋转，并且由第一臂71保持在固定于近端侧的第一臂71的远端部的状态下。
第二关节62保持第一臂71以能够绕与远端侧的第一轴线O1正交的第二轴线O2旋转，并且由第二臂72保持在近端侧。类似地，第三关节63至第六关节66分别在远端侧可旋转地保持第二臂72至第四臂74，并且保持在分别固定于近端侧的第三臂73至第五臂75的远端部的状态下。
第六关节66将第五臂75可旋转地保持在远端侧，并且保持固定于基端侧的基座单元70的状态下。
第二臂72至第五臂75可分别绕第三轴线O3至第六轴线O6旋转。第四轴线O4和第五轴线O5中的每者平行于第二轴线O2。第三轴线O3与第四轴线O4正交，并且第五轴线O5与第六轴线O6正交。
第一关节61至第六关节66中的每者具有电磁制动器(未示出)，其阻止显微镜单元40和第一臂71至第五臂75在远端侧上的每次旋转，以及角度传感器(未示出)，其用作检测单元。响应于显微镜单元40的输入单元(未示出)接收输入的释放指令，释放电磁制动器。当电磁制动器被释放时，显微镜单元40和第一臂71至第五臂75可分别相对于第一关节61至第六关节66旋转。在下文中，显微镜单元40和第一臂71至第五臂75分别相对于第一关节61至第六关节66可旋转的状态被称为全自由模式。顺便提及，可以应用空气制动器来代替电磁制动器。
第一关节61至第六关节66设置有致动器(未示出)，以辅助显微镜单元40和第一臂71至第五臂75的每次旋转。另外，第一关节61至第六关节66设置有各种传感器(未示出)，其用作检测每个关节的位置、速度、加速度、旋转角度、旋转速度、旋转加速度、生成的扭矩等中的至少一些的检测单元。
具有上述构造的支撑单元60总共实现六个自由度的运动，包括显微镜单元40中的三个平移自由度和三个旋转自由度。
接下来，将描述观察装置30的功能配置。图22为示出医学观察系统1B中包括的观察装置30和控制装置9的功能配置的框图。顺便提及，图22未示出观察装置30和控制装置9之间的连接器CN1和CN2以及第一传输电缆6以及光源装置3、显示装置7和外部装置11的功能配置，以便于描述。
[观察装置的功能配置]
将描述观察装置30的功能配置。
如图22所示，观察装置30至少包括显微镜单元40、通信单元55、支撑单元60、驱动单元80和检测单元90。
显微镜单元40包括：成像单元41，其放大并捕获作为对象的待观察对象的图像，以生成图像信号；发光单元42，其利用从光源装置3提供的照明光照射待观察对象。
成像单元41包括：具有变焦和聚焦功能的光学系统；成像元件541，其接收由光学系统形成的待观察对象的图像，并进行光电转换以生成图像信号；以及信号处理单元542。由成像元件541生成的成像信号经由第一传输电缆6发送到控制装置9。顺便提及，可以通过对由成像元件541生成的成像信号执行E/O转换来将光信号发送到控制装置9。
发光单元42具有使用一个或多个透镜进行配置的照明光学系统。发光单元42在与成像单元41的成像方向相同的方向上经由光导4发出从光源装置3提供的照明光。顺便提及，通过为显微镜单元40提供发光二极管(LED)、激光光源等，可以在发光单元42中省略光导4和光源装置3的光透射。
如上述图21所示，支撑单元60可旋转地支撑显微镜单元40。支撑单元60总共实现六个自由度的运动，包括显微镜单元40中的三个平移自由度和三个旋转自由度。
驱动单元80包括电磁制动器和提供给上述第一关节61至第六关节66中的每者的致动器。根据输入单元在全自由模式下的操作期间接收到输入的释放指令释放电磁制动器。致动器基于检测单元90的状态检测结果，根据稍后描述的控制装置9发送的控制信号进行操作。
检测单元90按顺序检测观察装置30的状态信息。观察装置30的状态信息包括关于成像单元41的位置、焦点和变焦的信息，关于第一关节61至第六关节66的位置、速度、加速度、旋转角度、旋转速度、旋转加速度和生成的扭矩中的至少一些的信息，关于第一臂71至第五臂75的位置、速度和加速度中的至少一些的信息，以及关于诸如视场移动模式(枢转操作模式)和所有自由模式的操作的信息。检测单元90具有各种传感器以检测这种类型的信息。具体地，检测单元90包括第一角度传感器单元901至第六角度传感器单元906，其分别检测第一臂71至第五臂75(第一轴线O1至第六轴线O6)相对于参考方向的角度。这里，参考方向为当观察装置30(第一臂71至第五臂75)安装在地板上的情况被设定为基准时的重力方向(竖直方向)。即，将假设参考方向为0度来描述第四实施例。当然，参考方向根据观察装置30(第一臂71至第五臂75)的安装位置而改变。例如，在观察装置30(第一臂71至第五臂75)的安装位置为天花板悬架的情况下，参考方向与在地板安装的情况下相差180度。另外，在观察装置30(第一臂71至第五臂75)的安装位置固定至墙壁(固定至垂直墙壁)的情况下，参考方向与在地板安装的情况下相差90度。顺便提及，当由第一角度传感器单元901检测到的第一轴线O1的方向和成像单元41的成像方向相同时，可以省略第一角度传感器单元901。
这里，视场移动模式(枢转操作模式)为在顶部的一个点处于被固定在成像单元41的成像视场的中心方向上的一个点处的情况下，显微镜单元40通过支撑单元60在锥形表面上的移动而移动的枢转操作，并且也称为点锁定操作。视场移动模式的枢转轴线为锥体高度方向上的中心轴线。在视场移动模式中，固定点和成像单元41之间的距离保持恒定。例如，在手术时，选择手术部位作为上述固定点。根据上述视场移动模式，可以从不同角度等距地观察手术部位，并且因此，用户可以更准确地掌握手术部位。
[医学观察系统的处理]
接下来，将描述由医学观察系统1B执行的处理。图23为示出由医学观察系统1B执行的处理的概要的示意图。步骤S30和S31分别对应于上述图3中的步骤S1和S2。
在步骤S32中，外部装置11将指令信号发送到控制装置9，使得触摸面板113已经接收到输入的位置变为显微镜单元40的观察视场的中心。
随后，驱动单元80被驱动，使得显微镜单元40的观察视场的中心指向触摸面板113已经接收到输入的与从外部装置11接收到的指令信号对应的位置，从而经由支撑单元60移动显微镜单元40的视场(步骤S33)。结果，控制装置9可以将显微镜单元40的观察视场的中心引导到外部装置11的用户触摸的位置。
[协同处理]
接下来，将描述由控制装置9执行的协同处理。图24为示出由控制装置9执行的协同处理的概要的流程图。
如图24所示，驱动控制单元981首先驱动驱动单元80以移动支撑单元60，使得显微镜单元40的观察视场的中心位于触摸面板113已经接收到输入的与从外部装置11接收到的指令信号对应的触摸位置处，从而移动显微镜单元40的视场，使得显微镜单元40的成像视场的中心指向触摸位置(步骤S601)。结果，可以将显微镜单元40的观察视场的中心与外部装置11的用户触摸的位置对准。步骤S602和S603分别对应于上述图16中的步骤S402和S403。在步骤S603之后，控制装置9返回到上述图7的主程序。
根据上述第四实施例，当驱动控制单元981驱动驱动单元80以移动支撑单元60时移动显微镜单元40的视场，使得显微镜单元40的观察视场的中心指向触摸面板113已经接收到输入的与从外部装置11接收到的指令信号对应的位置，并且因此，即使在操作者的手不可用的情况下，也可以将显微镜单元40的观察视场移动到操作者期望的位置。当然，驱动控制单元981可以驱动驱动单元80以移动支撑单元60，使得显微镜单元40的观察视场的中心与触摸面板113已经接收到输入的对应于从外部装置11接收到的指令信号的位置一致。
另外，在第四实施例中，驱动控制单元981将显微镜单元40的视场移动到触摸面板113已经接收到输入的与从外部装置11接收到的指令信号对应的触摸位置，但是本发明不限于此，并且观察装置30的模式可以改变。在这种情况下，驱动控制单元981可以基于触摸面板113已经接收到输入的从外部装置11接收到的指令信号中包括的触摸位置和触摸位置的轨迹信息来改变观察装置30的模式。例如，当触摸位置的轨迹绘制圆形时，驱动控制单元981可以将观察装置30的模式设置为视场移动模式，并且当触摸位置的轨迹绘制多边形时，可以将观察装置30的模式设置为全自由模式。
(其他实施例)
尽管在本说明书中医学观察系统的治疗描述中使用诸如“第一”、“其后”、“随后”和“然后”的表达清楚地描述了每个步骤的上下文，但是实现这些实施例所需的步骤的顺序并不是由那些表达式唯一定义。也就是说，本说明书中描述的医学观察系统的顺序可以在不引起矛盾的范围内改变。
另外，本发明不直接限于上述实施例，并且在不脱离本发明实施阶段的要旨的范围内，可以对其部件进行修改和实施。另外，通过适当地组合在上述实施例中公开的多个部件，可以形成各种发明。例如，可以从上述实施例中描述的所有部件中删除一些部件。此外，各个实施例中描述的部件可以适当地组合。
另外，在说明书或附图中至少一次描述的与更广泛或同义的不同术语一起描述的术语可以用说明书或附图中的任何地方的不同术语代替。以这种方式，在不脱离本发明的主旨的范围内可以进行各种修改和应用。
以这种方式，本发明可以包括本文未描述的各种实施例，并且可以在由所附权利要求指定的技术构思的范围内进行各种设计更改。
附图标记列表
1、1A、1B 医学观察系统
2、2A 插入部
3 光源装置
4 光导
5 摄像头
6 第一传输电缆
7 显示装置
8 第二传输电缆
9 控制装置
10 第三传输电缆
11 外部装置
22 远端部
23 弯曲单元
24 主体部
25 光学系统
30 观察装置
40 显微镜单元
41、54 成像单元
42 发光单元
51 透镜单元
52 透镜驱动单元
60 支撑单元
80 驱动单元
92 图像处理单元
93 视频输出单元
94、111 发送/接收单元
98 控制单元
112 显示单元
113 触摸面板
114 输入单元
115 记录单元
116 装置控制单元
116a 第二确定单元
116b 第二显示控制单元
116c 通信控制单元
511 聚焦透镜
512 变焦透镜
541 成像元件
542 信号处理单元
921 电子变焦单元
981 驱动控制单元
982 第一确定单元
983 变焦控制单元
984 第一显示控制单元。

Claims (16)

1.一种控制装置，包括：
图像处理单元，被配置为处理由成像单元生成的图像信号，以生成用于显示的显示图像；
视频输出单元，被配置为将由所述图像处理单元生成的所述显示图像输出到显示装置；
发送/接收单元，被配置为将由所述图像处理单元生成的所述显示图像发送到外部装置，并且从所述外部装置接收至少包括所述显示图像中的一个触摸位置的指令信号，所述外部装置具有显示功能并且能够双向通信；以及
控制单元，被配置为根据所述指令信号对所述显示图像的所述触摸位置执行预定处理，
所述控制装置还包括：
电子变焦单元，被配置为通过执行截取和放大所述显示图像中的预定区域的放大处理来生成放大图像，
其中，所述控制单元被配置为使所述电子变焦单元对包括所述触摸位置的区域执行所述放大处理以生成所述放大图像，并使所述视频输出单元将所述放大图像输出到所述显示装置，
其中，所述显示图像是实时取景图像。
2.根据权利要求1所述的控制装置，其中，
所述控制单元包括：
确定单元，被配置为确定包括由所述电子变焦单元截取的触摸位置的区域是否为预定分辨率或更高；以及
变焦控制单元，被配置为当所述确定单元确定包括所述触摸位置的区域不是所述预定分辨率或更高时，改变要由所述电子变焦单元截取的区域，以便包括所述显示图像中的所述触摸位置。
3.根据权利要求2所述的控制装置，其中，
所述指令信号还包括彼此不同的两个所述触摸位置，以及
所述变焦控制单元被配置为根据彼此不同的两个所述触摸位置之间的距离来改变由所述电子变焦单元截取的区域的大小。
4.根据权利要求1至3中任一项所述的控制装置，其中，
所述成像单元的有效像素数为八百万像素或更多，
所述显示装置的监视器尺寸为31英寸或更大，以及
所述电子变焦单元被配置为生成满足两百万像素或更高的分辨率的所述放大图像。
5.根据权利要求1所述的控制装置，其中，
所述指令信号还包括随时间流逝而移动的所述触摸位置的轨迹信息，
所述显示图像包括主体图像和除所述主体图像外的掩模区域，以及
所述控制单元被配置为使所述视频输出单元基于所述轨迹信息改变所述主体图像的显示位置并将所述主体图像输出到所述显示装置。
6.根据权利要求5所述的控制装置，还包括：
电子变焦单元，被配置为通过执行截取和放大所述显示图像中的预定区域的放大处理来生成放大图像，
其中，所述控制单元被配置为使所述电子变焦单元对包括所述触摸位置的所述主体图像的区域执行所述放大处理以生成所述放大图像，并使所述视频输出单元将所述放大图像输出到所述显示装置。
7.根据权利要求1所述的控制装置，其中，
所述控制单元被配置为控制具有聚焦机构的透镜单元的驱动，来使所述透镜单元根据所述指令信号聚焦在所述显示图像的一位置处，所述聚焦机构能够通过移动一个或多个透镜来调节焦点。
8.根据权利要求1所述的控制装置，其中，
所述控制单元被配置为控制包括远端部和弯曲单元的内窥镜中的所述弯曲单元的驱动，来根据所述指令信号将所述远端部朝向所述显示装置的位置弯曲，所述远端部设置有所述成像单元，所述弯曲单元能够在竖直方向和水平方向上弯曲所述远端部。
9.根据权利要求1所述的控制装置，其中，
所述控制单元被配置为控制支撑单元的驱动，以使得所述成像单元中的成像视场的中心根据所述指令信号指向所述显示图像的触摸位置，所述支撑单元被配置为至少保持所述成像单元并能够移动地支撑所述成像单元。
10.一种外部装置，包括：
显示单元，被配置为显示与从控制装置发送的图像信号对应的显示图像；
触摸面板，以叠加的方式设置在所述显示单元的显示区域上，并且被配置为检测外部物体所接触的触摸位置，并输出包括所述触摸位置的指令信号；以及
显示控制单元，被配置为基于从所述触摸面板输出的指令信号，将指示包括所述触摸位置并满足预定分辨率的区域的区域信息显示在所述显示单元上，以叠加在所述显示图像上，其中
放大图像是通过执行截取和放大所述显示图像中的预定区域的放大处理来生成的，并且，
所述放大图像是对包括所述触摸位置的区域执行所述放大处理以生成的，并且所述放大图像被输出到显示装置，
其中，所述显示图像是实时取景图像。
11.根据权利要求10所述的外部装置，还包括：
确定单元，被配置为确定包括所述触摸位置的区域是否为预定分辨率或更高，
其中，所述显示控制单元被配置为
当所述确定单元确定包括所述触摸位置的区域不是所述预定分辨率或更高时，改变所述区域信息的叠加位置以包括所述触摸位置，以及
在所述显示单元上显示所述区域信息。
12.一种医学观察系统，包括：
图像处理单元，被配置为处理由成像单元生成的图像信号，以生成用于显示的显示图像；
视频输出单元，被配置为将由所述图像处理单元生成的所述显示图像输出到显示装置；
发送/接收单元，能够发送所述显示图像并从外部接收信息；
外部装置，包括：
显示单元，被配置为显示从所述发送/接收单元发送的所述显示图像；以及
触摸面板，被设置为叠加在所述显示单元的显示区域上，被配置为检测外部物体所接触的触摸位置，并输出包括至少一个所述触摸位置的指令信号；
控制单元，被配置为根据所述指令信号对所述显示图像的所述触摸位置执行预定处理；以及
电子变焦单元，被配置为通过执行截取和放大所述显示图像中的预定区域的放大处理来生成放大图像，
其中，所述控制单元被配置为使所述电子变焦单元对包括所述触摸位置的区域执行所述放大处理以生成所述放大图像，并使所述视频输出单元将所述放大图像输出到所述显示装置，
其中，所述显示图像是实时取景图像。
13.一种控制方法，包括：
图像处理步骤，处理由成像单元生成的图像信号以生成用于显示的显示图像；
发送步骤，将在所述图像处理步骤中生成的所述显示图像发送到显示装置和具有显示功能并且能够进行双向通信的外部装置中的每者；
接收步骤，从所述外部装置接收至少包括所述显示图像中的一个触摸位置的指令信号；以及
控制步骤，根据所述指令信号对所述显示图像的触摸位置执行预定处理，其中
放大图像是通过执行截取和放大所述显示图像中的预定区域的放大处理来生成的，并且，
所述放大图像是对包括所述触摸位置的区域执行所述放大处理以生成的，并且所述放大图像被输出到显示装置，
其中，所述显示图像是实时取景图像。
14.一种由外部装置执行的显示方法，所述外部装置包括：显示单元，显示与从控制装置发送的图像信号对应的显示图像；以及触摸面板，以叠加的方式设置在所述显示单元的显示区域上、检测外部物体所接触的触摸位置并输出包括所述触摸位置的指令信号，所述显示方法包括：
显示控制步骤，基于从所述触摸面板输出的指令信号，将指示包括所述触摸位置并满足预定分辨率的区域的区域信息显示在所述显示单元上，以叠加在所述显示图像上，其中
放大图像是通过执行截取和放大所述显示图像中的预定区域的放大处理来生成的，并且，
所述放大图像是对包括所述触摸位置的区域执行所述放大处理以生成的，并且所述放大图像被输出到显示装置，
其中，所述显示图像是实时取景图像。
15.一种存储程序的存储介质，所述程序使控制装置执行以下步骤：
图像处理步骤，处理由成像单元生成的图像信号以生成用于显示的显示图像；
发送步骤，将在所述图像处理步骤中生成的所述显示图像发送到显示装置和具有显示功能并且能够进行双向通信的外部装置中的每者；
接收步骤，从所述外部装置接收至少包括所述显示图像中的一个触摸位置的指令信号；以及
控制步骤，根据所述指令信号对所述显示图像的所述触摸位置执行预定处理，其中
放大图像是通过执行截取和放大所述显示图像中的预定区域的放大处理来生成的，并且，
所述放大图像是对包括所述触摸位置的区域执行所述放大处理以生成的，并且所述放大图像被输出到显示装置，
其中，所述显示图像是实时取景图像。
16.一种存储程序的存储介质，所述程序使外部装置执行显示控制步骤，所述外部装置包括：显示单元，显示与从控制装置发送的图像信号对应的显示图像；以及触摸面板，以叠加的方式设置在所述显示单元的显示区域上、检测外部物体所接触的触摸位置并输出包括所述触摸位置的指令信号，
在所述显示控制步骤中，基于从所述触摸面板输出的指令信号将指示包括所述触摸位置并满足预定分辨率的区域的区域信息显示在所述显示单元上，以叠加在所述显示图像上，其中
放大图像是通过执行截取和放大所述显示图像中的预定区域的放大处理来生成的，并且，
所述放大图像是对包括所述触摸位置的区域执行所述放大处理以生成的，并且所述放大图像被输出到显示装置，
其中，所述显示图像是实时取景图像。
CN201880020041.3A 2017-03-29 2018-02-16 控制装置、外部装置、医学观察系统、控制方法、显示方法和程序 Active CN110461208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017064842 2017-03-29
JP2017-064842 2017-03-29
PCT/JP2018/005568 WO2018179979A1 (ja) 2017-03-29 2018-02-16 制御装置、外部機器、医療用観察システム、制御方法、表示方法およびプログラム

Publications (2)

Publication Number Publication Date
CN110461208A CN110461208A (zh) 2019-11-15
CN110461208B true CN110461208B (zh) 2022-10-11

Family

ID=63674971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020041.3A Active CN110461208B (zh) 2017-03-29 2018-02-16 控制装置、外部装置、医学观察系统、控制方法、显示方法和程序

Country Status (5)

Country Link
US (1) US11202010B2 (zh)
EP (1) EP3603480A4 (zh)
JP (1) JP7146735B2 (zh)
CN (1) CN110461208B (zh)
WO (1) WO2018179979A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087904A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 手術アームシステム及び手術アーム制御システム
WO2020075254A1 (ja) * 2018-10-11 2020-04-16 オリンパス株式会社 内視鏡システム及び表示画像生成方法
JP7235532B2 (ja) * 2019-02-25 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000319A (ja) * 2003-06-10 2005-01-06 Olympus Corp 内視鏡システム
CN103315698A (zh) * 2013-06-19 2013-09-25 上海世音光电仪器有限公司 用于内窥镜摄像系统的远程控制服务系统
JP2015133725A (ja) * 2015-02-17 2015-07-23 オリンパス株式会社 撮像装置、撮像方法およびプログラム
CN106037619A (zh) * 2016-07-08 2016-10-26 张学军 耳鼻喉内窥镜设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273876A (zh) * 2005-04-18 2008-10-01 M.S.T.医学外科技术有限公司 摄像头保持设备及其保持方法
US20100145146A1 (en) * 2005-12-28 2010-06-10 Envisionier Medical Technologies, Inc. Endoscopic digital recording system with removable screen and storage device
JP2008099874A (ja) 2006-10-19 2008-05-01 Pentax Corp 内視鏡プロセッサおよび内視鏡システム
CN101558987B (zh) * 2009-05-22 2011-03-23 朱俭 一种带护套的指尖视频诊治镜
JP2011024901A (ja) 2009-07-28 2011-02-10 Hoya Corp 電子内視鏡システムおよび調光信号補正方法
JP2011152302A (ja) 2010-01-28 2011-08-11 Hoya Corp 電子内視鏡システム
JP2011212150A (ja) 2010-03-31 2011-10-27 Hoya Corp 内視鏡プロセッサおよび内視鏡ユニット
JP5419783B2 (ja) 2010-04-02 2014-02-19 キヤノン株式会社 画像再生装置及び画像再生装置の制御方法
KR20130055675A (ko) * 2010-09-08 2013-05-28 코비디엔 엘피 영상 조립체를 갖는 카테터
JP2012090785A (ja) 2010-10-27 2012-05-17 Hoya Corp 電子内視鏡装置
CN102058387B (zh) * 2011-01-31 2012-05-30 广州宝胆医疗器械科技有限公司 一种新型三维立体电子胆道镜系统及其使用方法
WO2012153736A1 (ja) 2011-05-12 2012-11-15 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2013026664A (ja) 2011-07-15 2013-02-04 Olympus Imaging Corp 外部機器、カメラシステム、撮像方法およびプログラム
JP5156853B2 (ja) * 2011-09-30 2013-03-06 シャープ株式会社 印刷システム
DE102012205165A1 (de) * 2012-03-29 2013-10-02 Fiagon Gmbh Medizinisches System mit einer Lageerfassungseinrichtung zum Erfassen der Position und Orientierung eines Instruments
JP6157063B2 (ja) 2012-05-31 2017-07-05 キヤノン株式会社 医療器具
JP5890302B2 (ja) * 2012-12-25 2016-03-22 株式会社コナミデジタルエンタテインメント ゲーム機、それに用いられる制御方法及びコンピュータプログラム
US20160331213A1 (en) 2013-10-31 2016-11-17 Optimede Inc. Portable inspection system
CN104679394A (zh) * 2013-11-26 2015-06-03 中兴通讯股份有限公司 一种预览界面选定区域放大的方法和装置
JP2015181586A (ja) * 2014-03-20 2015-10-22 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置、カメラヘッド、及び制御装置
JP6659090B2 (ja) * 2014-08-11 2020-03-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びコンピュータプログラム
CN104382549A (zh) 2014-10-30 2015-03-04 刘佳 口腔医疗方法及系统
JP2016214637A (ja) 2015-05-22 2016-12-22 Hoya株式会社 画像処理装置
JP6892087B2 (ja) 2015-06-12 2021-06-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像取得システムおよび医療用撮像装置
JP6625357B2 (ja) 2015-07-17 2019-12-25 オリンパス株式会社 内視鏡装置
JP6675202B2 (ja) * 2016-01-15 2020-04-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、及び医療用観察システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000319A (ja) * 2003-06-10 2005-01-06 Olympus Corp 内視鏡システム
CN103315698A (zh) * 2013-06-19 2013-09-25 上海世音光电仪器有限公司 用于内窥镜摄像系统的远程控制服务系统
JP2015133725A (ja) * 2015-02-17 2015-07-23 オリンパス株式会社 撮像装置、撮像方法およびプログラム
CN106037619A (zh) * 2016-07-08 2016-10-26 张学军 耳鼻喉内窥镜设备

Also Published As

Publication number Publication date
EP3603480A4 (en) 2020-04-01
WO2018179979A1 (ja) 2018-10-04
JPWO2018179979A1 (ja) 2020-02-06
US11202010B2 (en) 2021-12-14
US20210152747A1 (en) 2021-05-20
CN110461208A (zh) 2019-11-15
EP3603480A1 (en) 2020-02-05
JP7146735B2 (ja) 2022-10-04

Similar Documents

Publication Publication Date Title
CN110461208B (zh) 控制装置、外部装置、医学观察系统、控制方法、显示方法和程序
US11510751B2 (en) Medical observation apparatus
US20190339836A1 (en) Information processing apparatus, method, and program
US11403741B2 (en) Video signal processing apparatus, video signal processing method, and program
JP7034636B2 (ja) 医療用観察装置、および医療用観察システム
JPWO2019012857A1 (ja) 撮像装置、画像生成方法
JP2019033917A (ja) 内視鏡システム
US11503980B2 (en) Surgical system and surgical imaging device
EP3357235B1 (en) Information processing apparatus, multi-camera system and non-transitory computer-readable medium
US20200015655A1 (en) Medical observation apparatus and observation visual field correction method
CN110536629B (zh) 手术图像处理设备、图像处理方法和手术系统
US20190281233A1 (en) Image processing device, setting method, and program
CN108885335B (zh) 医用立体观察装置、医用立体观察方法以及程序
WO2018087977A1 (ja) 情報処理装置、情報処理方法、プログラム
CN109937567B (zh) 图像处理装置和方法以及非暂态计算机可读介质
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
US20200059608A1 (en) Image processing device, control method, and program
WO2019049595A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7235532B2 (ja) 医療用画像処理装置、画像処理方法およびプログラム
US20220256096A1 (en) Image processing device, image processing method, and program
US20210099627A1 (en) Imaging apparatus, image sensor unit, camera unit, and control method
JP2020151407A (ja) 画像処理装置及び医療用観察システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant