CN113543741A - 控制装置和医学观察系统 - Google Patents

控制装置和医学观察系统 Download PDF

Info

Publication number
CN113543741A
CN113543741A CN202080017727.4A CN202080017727A CN113543741A CN 113543741 A CN113543741 A CN 113543741A CN 202080017727 A CN202080017727 A CN 202080017727A CN 113543741 A CN113543741 A CN 113543741A
Authority
CN
China
Prior art keywords
processing
section
voice recognition
recognition
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080017727.4A
Other languages
English (en)
Inventor
山口一博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Publication of CN113543741A publication Critical patent/CN113543741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/508Supports for surgical instruments, e.g. articulated arms with releasable brake mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0487Special user inputs or interfaces
    • A61B2560/0493Special user inputs or interfaces controlled by voice
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • A61B90/25Supports therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Robotics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本公开的在对观察目标的医用观察装置进行电控制的控制装置中,控制装置包括:语音识别部,识别从外部输入的语音;识别信息处理部,基于语音识别部的识别结果来确定由医用观察装置待执行的处理;开关输入接收部,响应于对开关进行的操作来接收操作信号的输入;以及控制部,通过检测到由开关输入接收部接收的第一操作信号时或者在获取到与由识别信息处理部确定的处理相关的信息,开始由语音识别部进行语音识别处理,并允许医用观察装置执行由识别信息处理部确定的处理,并且通过检测第二操作信号,停止由医用观察装置待执行的处理。

Description

控制装置和医学观察系统
技术领域
本公开涉及一种控制装置,该控制装置控制用于观察例如观察目标的显微部分的医用观察装置。本公开还涉及一种医学观察系统。
背景技术
过去,光学显微镜系统已知为用于在显微部分上进行手术期间观察观察目标的显微部分(microscopic part)(诸如,患者的脑部或心脏)的医用观察系统。现有的光学显微镜系统包括支持部和显微镜部。支持部包括多个臂部并且具有总共六个移动自由度,即,三个平移自由度和三个旋转自由度。显微镜部布置在支持部的前端上,并且设置有成像元件和用于放大显微部分的放大光学系统。
顺便提及,在不需要外科医生将视线从手术部位或监视器移开的情况下,要求上述光学显微镜系统由外科医生的语音控制。然而,需要持续驱动的功能(诸如,变焦比和焦距调整以及视野移动)难以单独由语音完全控制。已知存在通过使用语音输入装置和持续输入装置(诸如,脚踏开关)的组合来解决上述控制问题的技术(例如,参考PTL 1)。该技术使得外科医生能够控制需要持续驱动的功能,而这些功能单独由语音不容易控制。
[引用列表]
[专利文献]
[PTL 1]
JP 2004-24869A
发明内容
[技术问题]
然而,根据PTL 1,麦克风连接至语音识别设备,而脚踏开关连接至用于控制显微镜部的控制装置。由于麦克风和脚踏开关连接至不同的设备,因此产生的设备配置是复杂的。
进一步,在通过语音识别调用功能之后,通过脚踏开关或其他输入装置输入操作。因此,需要大量的时间来执行操作。
本公开是鉴于上述情况而完成的。本公开的目的在于提供一种控制装置和医用观察系统,该控制装置和医用观察系统可以通过使用简单的配置在短时间段内完成基于语音识别的语音识别和处理,并且容易地停止处理。
[问题的解决方案]
为了解决上述问题并实现上述目的,根据本公开,提供了一种控制装置,该控制装置对被配置为捕获观察目标的图像的医用观察装置进行电控制,并且该控制装置包括语音识别部、识别信息处理部、开关输入接收部以及控制部。语音识别部识别从外部输入的语音。基于语音识别部的识别结果,识别信息处理部确定由医用观察装置待执行的处理。基于对开关进行的操作,开关输入接收部接收操作信号的输入。在检测到由开关输入接收部接收的第一操作信号时或者在获取到与由识别信息处理部确定的处理相关的信息时,控制部使语音识别部开始语音识别处理并且使医用观察装置执行由识别信息处理部确定的处理。进一步,在检测到第二操作信号时,控制部停止由医用观察装置待执行的处理。
根据上述本公开,控制装置被配置为:使得基于对开关进行的操作,开关输入接收部接收作为操作信号的输入值的输入;并且使得在检测到由开关输入接收部接收的输入值的第一改变时,控制部使语音识别部开始语音识别处理并且使医用观察装置执行由识别信息处理部确定的处理,并且在检测到输入值的第二变化时,控制部停止由医用观察装置待执行的处理。
根据上述本公开,控制装置被配置为:使得第一操作信号和第二操作信号用作不同的操作信号并且对应于对开关进行的不同操作。
根据上述本公开,控制装置被配置为:使得第一操作信号和第二操作信号用作相同的操作信号并且对应于对开关进行的相似操作。
根据上述本公开,控制装置被配置为:使得在输入值从开关的初始值改变为除初始值以外的值的情况下,控制部开始语音识别处理并且使医用观察装置执行处理;并且使得在输入值改变为初始值的情况下,控制部停止由医用观察装置待执行的处理。
根据上述的本公开,控制装置被配置为:使得根据由开关输入接收部接收的操作信号,控制部改变医用观察装置的驱动速度。
根据上述本公开,控制装置被配置为:使得在由于输入值改变为初始值而在停止由医用观察装置待执行的处理之后的预设时间段内输入值从初始值改变的情况下,控制部使医用观察装置执行与停止之前进行的先前处理相反的处理。
根据上述本公开,控制装置被配置为:使得在输入值从开关的初始值改变为除初始值以外的值的情况下,控制部开始语音识别处理并且使医用观察装置执行处理;并且使得在输入值再次从初始值改变为除初始值以外的值的情况下,控制部停止由医用观察装置待执行的处理。
根据上述的本公开,控制装置被配置为:使得在按下开关时,开关输入接收部接收输出的操作信号的输入;使得当持续按下开关时,控制部使医用观察装置持续执行由识别信息处理部确定的处理;并且使得在释放开关的情况下,控制部使医用观察装置停止由识别信息处理部确定的处理。
根据上述本公开,控制装置被配置为:使得在语音识别部的语音识别结果与第一识别信息一致的情况下,控制部启用后续的语音识别处理;并且使得在语音识别部的语音识别结果与第二识别信息一致的情况下,控制部禁用后续的语音识别处理。
根据上述本公开,控制装置被配置为:使得在语音识别部的语音识别结果与第一识别信息一致的情况下,控制部启用后续的语音识别处理;并且使得在自启用语音识别部的语音识别处理起经过预设时间段之后,控制部禁用除第一识别信息以外的语音识别结果。
根据上述的本公开,控制装置被配置为:使得基于语音识别部的识别结果,识别信息处理部确定其中医用观察装置移动成像区域的方向;并且使得基于由识别信息处理部确定的移动方向,控制部使医用观察装置移动成像区域。
根据上述的本公开,控制装置被配置为:使得基于语音识别部的识别结果,识别信息处理部确定医用观察装置的图像放大倍率;并且使得基于由识别信息处理部确定的放大倍率,控制部改变医用观察装置的图像放大倍率。
根据本公开,提供了一种医用观察系统,该医用观察系统包括成像部、支持部、语音识别部、识别信息处理部、开关、开关输入接收部、以及控制部。成像部能够捕获观察目标的放大图像。支持部包括多个臂部和连接多个臂部的多个接合部,并且在支持部的前端处支持成像部。语音识别部识别从外部输入的语音。基于语音识别部的识别结果,识别信息处理部确定由成像部或支持部待执行的处理。基于对开关进行的操作,开关输出操作信号。开关输入接收部接收来自开关的输入。在检测到由开关输入接收部接收的第一操作信号时或者在获取到与由识别信息处理部确定的处理相关的信息时,控制部使语音识别部开始语音识别处理并且使成像部或支持部执行由识别信息处理部确定的处理。在检测到第二操作信号时,控制部停止由成像部或支持部待执行的处理。
[公开的效果]
本公开使得可以通过使用简单的配置在短时间段内完成基于语音识别的语音识别和处理,并且容易地停止处理。
附图说明
[图1]图1是示出根据第一实施方式的医用观察系统的外部配置的立体图。
[图2]图2是示出根据第一实施方式的医用观察系统中的控制装置的配置的框图。
[图3]图3是示出通过使用根据第一实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图4]图4是示出通过使用根据第二实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图5]图5是示出通过使用根据本公开的第三实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图6]图6是示出通过使用根据本公开的第四实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图7]图7是示出通过使用根据本公开的第五实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图8]图8是示出通过使用根据第五实施方式的变形例的医用观察系统进行的驱动处理的实例的时序图。
[图9]图9是示出通过使用根据本公开的第六实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图10]图10是示出通过使用根据第六实施方式的变形例的医用观察系统进行的驱动处理的实例的时序图。
[图11]图11是示出通过使用根据本公开的第七实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图12]图12是示出通过使用根据本公开的第八实施方式的医用观察系统进行的驱动处理的实例的时序图。
[图13]图13是示出通过使用根据第八实施方式的变形例的医用观察系统进行的驱动处理的实例的时序图。
[图14]图14是示出通过使用根据本公开的第九实施方式的医用观察系统进行的驱动处理的实例的时序图。
具体实施方式
现在将参考附图对用于实现本公开的最佳方式(在下文称为实施方式)进行描述。应当注意,附图仅是示意性的并且在尺寸关系和比率上彼此不同。
(第一实施方式)
图1是示出根据第一实施方式的医用观察系统的配置的图。图1中所描绘的医用观察系统1包括医用观察装置(在下文称为观察装置)2、控制装置3、以及显示设备4。观察装置2能够用作捕获观察目标的微结构的放大图像的显微镜。控制装置3提供对医用观察系统1的操作综合控制。显示设备4显示由观察装置2捕获的图像。
观察装置2包括基座部5、支持部6、以及显微镜部7。基座部5能够在地板表面上移动。支持部6由基座部5支持。显微镜部7呈柱状,布置在支持部6的前端上,并且被配置为捕获观察目标的显微部分的放大图像。进一步,观察装置2与光源设备8连接。光源设备8通过包括例如光纤的光导件81向观察装置2供应照明光。光源设备8在控制装置3的控制下发出照明光。
在观察装置2中,包括用于在控制装置3与显微镜部7之间的信号传输的信号线(同轴缆线)的传输缆线、用于将照明光从光源设备8引导至显微镜部7的导光缆线以及各种其他缆线布置在基座部5与显微镜部7之间。缆线沿支持部6布置。由细线形成的同轴缆线的直径比导光缆线小。
支持部6包括第一接合部11、第一臂部21、第二接合部12、第二臂部22、第三接合部13、第三臂部23、第四接合部14、第四臂部24、第五接合部15、第五臂部25、以及第六接合部16。
支持部6包括四组两个臂部和一个接合部。接合部将一个(朝向前端定位的)臂部与另一(朝向基座端定位的)臂部枢转地耦接。更具体地,四组包括:具有第一臂部21、第二接合部12以及第二臂部22的组;具有第二臂部22、第三接合部13以及第三臂部23的组;具有第三臂部23、第四接合部14以及第四臂部24的组;以及具有第四臂部24、第五接合部15以及第五臂部25的组。
在第一接合部11的前端枢转地保持显微镜部7并且基座端紧固至第一臂部21的前端的状态下,第一接合部11由第一臂部21保持。第一接合部11具有圆筒形状,并且以使其围绕第一轴线O1枢转的方式保持显微镜部7。第一轴线O1是高度方向上的中心轴线。第一臂部21具有从第一接合部11的侧面向在与第一轴线O1正交的方向上延伸的形状。
在第二接合部12的前端枢转地保持第一臂部21并且基座端紧固至第二臂部22的前端的状态下,第二接合部12由第二臂部22保持。第二接合部12具有圆筒形状,并且以使其围绕第二轴线O2枢转的方式保持第一臂部21。第二轴线O2是高度方向的中心轴线,并且与第一轴O1正交。第二臂部22的形状形成为基本上相似于字母L,并且在L字状形竖直线部分的端处耦接至第二接合部12。
在第三接合部13的前端枢转地保持第二臂部22的L字状水平线部分并且基座端紧固至第三臂部23的前端的状态下,第三接合部13由第三臂部23保持。第三接合部13具有圆筒形状,并且以使其围绕第三轴线O3枢转的方式保持第二臂部22。第三轴线O3是高度方向的中心轴线,与第二轴线O2正交,并且与其中第二臂部22延伸的方向平行。第三臂部23的前端呈圆筒状,并且基座端具有在与圆筒状的前端的高度方向正交的方向上形成的通孔。第三接合部13经由通孔由第四接合部14枢转地保持。
在第四接合部14的前端枢转地保持第三臂部23并且基座端紧固至第四臂部24的状态下,第四接合部14由第四臂部24保持。第四接合部14具有圆筒形状,并且以使其围绕第四轴线04枢转的方式保持第三臂部23。第四轴线O4是高度方向的中心轴线,并且与第三轴线O3正交。
第五接合部15以前端枢转地保持第四接合部24并且基座端紧固至第五臂部25的状态安装。第五接合部15具有圆筒形状,并且以使其围绕第五轴线05枢转的方式保持第四臂部24。第五轴线O5是高度方向的中心轴线,并且与第四轴线O4平行。第五臂部25具有L字状部分和棒状部分。棒状部分从L字状水平线部分向下延伸。第五接合部15的基座端安装在第五臂部25的L字状竖直线部分的端上。
第六接合部16以前端枢转地保持第五臂部25并且基座端紧固至基座部5的上表面的状态安装。第六接合部16具有圆筒形状,并且以使其围绕第六轴线06枢转的方式保持第五臂部25。第六轴线O6是高度方向的中心轴线,并且与第五轴线O5正交。第五臂部25的棒状部分的基座端安装在第六接合部16的前端上。
具有上述配置的支持部6在显微镜部7中提供总共六个移动自由度,即,三个平移自由度和三个旋转自由度。
第一至第六接合部11至16具有分别禁止显微镜部7和第一至第五臂部21至25枢转的电磁制动器。当按下附接至显微镜部7的臂操作开关(稍后描述)时,释放电磁制动器以允许显微镜部7和第一至第五臂部21至25枢转。应当注意,可以使用空气制动器代替电磁制动器。
除了上述电磁制动器以外,接合部还包含编码器和致动器。例如,例如,当编码器包含在第一接合部11中时,编码器检测围绕第一轴线O1的旋转角度。致动器包括电动机(诸如,伺服马达),并且在控制装置3的控制下,致动器被驱动以使相关联的接合部旋转预定角度。例如,根据围绕旋转轴线(第一至第六轴线O1至O6)中的每个的旋转角度,每个接合部中的旋转角度由控制装置3设定为显微镜部7所需的值。如上所描述的,当控制致动器的驱动时,具有主动驱动机构(诸如,致动器)的接合部形成主动旋转轴线。
显微镜部7具有圆筒形外壳,并且包括成像部、臂操作开关、以及杆。成像部捕获观察目标的放大图像。臂操作开关接收释放第一至第六接合部11至16的电磁制动器的操作输入,以便允许接合部枢转。杆能够改变成像部72的放大倍率和相对于观察目标的焦距。成像部包括由CCD(电荷耦接设备)或CMOS(互补金属氧化物半导体)形成的两个成像元件。成像元件生成具有相互视差并且用于三维图像生成的成像信号。成像信号作为数字信号输出。可以采用替代配置来包含仅一个成像元件并且生成用于二维图像生成的成像信号。例如,成像部还包括:光学系统,用于向成像元件引导光;放大光学系统,用于改变图像放大倍率(变焦比);以及快门,用于控制曝光时间。此外,成像部包含用于移动光学系统透镜的致动器和编码器。成像部中的光学系统能够在控制装置3的控制下通过允许透镜移动来改变变焦比、调整焦距以及改变一些其他成像设定。进一步,显微镜部7设置有作为按钮开关的臂操作开关。当由用户按下臂操作开关时,释放第一至第六接合部11至16的电磁制动器。
控制装置3接收从观察装置2输出的成像信号并且对接收的成像信号进行预定的信号处理,以生成用于显示目的的三维图像数据。应当注意,控制装置3可以安装在基座部5中并且用作观察装置2的组成部分。控制装置3连接至麦克风91和脚踏开关92。麦克风91输入用户的语音。脚踏开关92由用户的脚操作(即,按压),以便输入基于按下的信号。
图2是示出根据第一实施方式的医用观察系统中的控制装置的配置的框图。控制装置3包括图像处理部31、语音识别部32、识别信息处理部33、输入部34、脚踏开关输入接收部35、输出部36、存储部37、以及控制部38。应当注意,例如,控制装置3可以另外包括电源部(未描绘),该电源部生成用于驱动观察装置2、、控制装置3、麦克风91以及脚踏开关92的电源电压并且向控制装置3的每个部和观察装置2供应所生成的电源电压。
图像处理部31对从显微镜部7输出的成像信号进行噪声去除处理或其他信号处理,并且如果需要,进行A/D转换信号处理。基于信号处理后的成像信号,图像处理部31生成显示设备4用于显示目的的图像信号。图像处理部31对成像信号执行预定的信号处理,以生成包括用于显示目的的图像信号,该图像信号对应于被摄体图像的信号。在这种情况下,图像处理部31进行已知的各种图像处理(诸如,检测处理、插值处理、颜色校正处理、颜色增强处理、以及轮廓增强处理)。图像处理部31将所生成的图像信号输出至显示设备4。
进一步,图像处理部31可以另外包括AF处理部和AF计算部。AF处理部根据输入的帧成像信号输出每个帧的预定AF估计值。AF计算部进行AF计算处理,以便根据从AF处理部输出的每个帧的AF估计值来选择最适合的帧或聚焦透镜位置作为对焦位置。
语音识别部32检测用户输入至麦克风91的语音,并且对输入的语音进行识别处理。语音识别部32将输入至麦克风91的语音的特征量与存储在存储部37中并与识别结果相关联的识别模型进行比较,并且接收语言系列作为识别结果。更具体地,在向麦克风91输入“向右(Rightward)”的情况下,语音识别部分32根据特征量和识别模型将输入的话语识别为“向右”,并且然后将识别结果输出至识别信息处理部33。
识别信息处理部33从语音识别部32获取识别结果,并且基于识别结果确定处理。识别信息处理部33参考存储部37以基于识别结果确定处理。识别信息处理部33将基于识别结果确定的处理描述输出至控制部38。例如,在由识别结果指示“向右”的情况下,控制部38向右移动显微镜部7的成像区域。当显微镜部7移动时,由显微镜部7使用的成像区域移动。在这种情况下,基于成像元件与显示设备4的显示方位之间的关系,预设显微镜部7相对于其成像区域的方位(向右、向左、向上、或向下)。在不改变显微镜部7的操作距离和变焦比的情况下,控制部38驱动各个接合部以仅成像区域向右移动的方式移动显微镜部7的位置。进一步,在由识别结果指示“放大”或“缩小”的情况下,控制部38驱动显微镜部7的放大光学系统。例如,在由识别结果指示“放大”的情况下,控制部38提供控制以增加放大光学系统的变焦比。这改变了由显微镜部7进行成像的放大倍率。
输入部34通过使用用户接口(诸如,键盘、鼠标、触摸面板)来实现,并且被配置为接收各种信息的输入。
脚踏开关输入接收部35检测由用户按下脚踏开关92,并且然后接收来自脚踏开关92的输入。脚踏开关输入接收部35将基于按下的操作信号输入至控制部38。
例如,输出部36由扬声器、打印机、显示器等实现,并且被配置为输出各种信息。
存储部37由半导体存储器(诸如,闪存或DRAM(动态随机存取存储器))构成,并且例如被配置为记录语音识别表和处理表。通过将通信信息数据(例如,通信格式信息)与语音特征量和识别模型相关联来创建语音识别表。通过将语音识别结果和处理描述相关联来创建处理表。应当注意,例如,存储部37可以记录由控制部38待执行的各种程序。
控制部38提供控制(诸如,包括控制装置3和观察装置2的各个组件部的驱动控制以及相对于各个组件部的信息的输入/输出控制)。控制部38参考存储部37中记录的通信信息数据(例如,通信格式信息),生成控制信号,并且因而将所生成的控制信号传输至观察装置2。
应当注意,控制部38生成用于显微镜部7和控制装置3的同步信号和时钟。用于显微镜部7的同步信号(例如,用于规定成像时间的同步信号)和时钟通过未描绘的缆线传输至显微镜部7。然后基于所传输的同步信号和时钟驱动显微镜部7。
上述的图像处理部31、语音识别部32、识别信息处理部33、脚踏开关输入接收部35以及控制部38各自通过使用(诸如,用于执行特定功能的各种运算电路)专用的处理器来实现。例如,专用处理器可以是通用处理器或ASIC(专用集成电路),诸如,具有其中记录程序的内部存储器(未描绘)的CPU(中央处理单元)。进一步,专用处理器可以是FPGA(现场可编程门阵列(未描绘)),一种可编程集成电路。应当注意,在采用FPGA进行配置的情况下,可编程集成电路的FPGA可以通过使用从包含的存储器读取的配置数据进行配置。
显示设备4接收由控制装置3生成的三维图像数据,并且显示对应于三维图像数据的三维图像。上述显示设备4设置有包括液晶或有机EL(电致发光)的显示面板。应当注意,除了显示设备4之外,可以包含用于通过使用例如扬声器或打印机输出信息的输出设备。
以下提供了通过使用如上述配置的医学观察系统1进行的手术的概述。在用户(即,外科医生)对患者的头部进行手术的情况下,外科医生佩戴三维图像观看眼镜,抓握显微镜部7,并且在按压显微镜部7的臂操作开关并且观看由显示设备4显示的三维图像的同时将显微镜部7移动至期望位置。在确定显微镜部7的成像区域时,外科医生释放臂操作开关。这样激活第一至第六接合部11至16的电磁制动器以固定显微镜部7的成像区域。在此之后,例如,外科医生将放大倍率和焦距调整至观察目标。由于显示设备4显示三维图像,外科医生能够通过三维图像来三维地掌握手术部位。在此之后,外科医生根据需要操作麦克风91和脚踏开关92以调整显微镜部7的位置、放大倍率和焦距。
现在将参考图3对由控制装置3针对麦克风91(语音识别)和脚踏开关92进行的操作处理进行描述。图3是示出通过使用根据第一实施方式的医用观察系统进行的驱动处理的实例的时序图。图3的时序图示出由脚踏开关92输入的输入值(模拟值)、话语、以及控制信号(速度)。第一实施方式在按下脚踏开关92时开始语音输入识别处理,并且基于识别结果执行处理。在按下脚踏开关92时,维持基于识别结果的处理。
更具体地,在检测到按下(踩下)脚踏开关92时,脚踏开关输入接收部35基于按下量将模拟值输出至控制部38。在图3的实例中,用户在时刻T11踩下脚踏开关92。在这种情况下,脚踏开关92的按下量的增加使模拟值在脚踏开关92未踩下的情况下使用的模拟值(初始值V0)减少。
在检测到在时刻T11按下脚踏开关92时,控制部38通过使用麦克风91开始进行语音识别处理。用户踩下脚踏开关92,并且然后向麦克风91输入语音。在图3中所描绘的实例中,用户向麦克风91输入“向右”。
当在时刻T12向麦克风91输入“向右”时,在直到时刻T13的时间段内,语音识别部32进行识别处理,并且识别信息处理部33确定待执行的处理。在第一实施方式中,语音信号“向右”对应于第一操作信号。第一操作信号是在语音输入时生成的信号。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T13之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38提供控制,使得用于移动显微镜部7的驱动速度随着脚踏开关92的按下量的增加(随着模拟值的减小)而增加。应当注意,例如,在输入的话语被识别为“向右”并且在显微镜部7在时刻T13与时刻T14之间向右移动的同时输入不同的话语,并且输入的不同的话语被识别为“向上(Upward)”的情况下,控制部38可以进行例如下列处理中的一种:
-忽略在踩下脚踏开关92之后接收到的除初始语音输入以外的语音输入。
-切换至用于“向上”移动显微镜部7的控制。
-将显微镜部7倾斜地“向右上(Upper Rightward)”移动。
在此之后,当在时刻T14释放脚踏开关92时,显微镜7停止移动。即使在没有踩下脚踏开关92的同时用户在时刻T14之后朝向麦克风91发出语音(例如,“向右”),也不执行语音识别处理或识别信息处理。在第一实施方式中,第二操作信号对应于当释放脚踏开关92时检测初始值V0时获得的检测信号。第一实施方式通过使用基于语音输入的第一操作信号和基于脚踏开关92的操作的第二操作信号来提供控制。
如上所描述的,第一实施方式被配置为:使得在当踏入脚踏开关92时输入的模拟值改变为除初始值V0以外的值的情况下,控制部38检测第一变化并且开始语音识别处理。同时,在当释放脚踏开关92时模拟值返回到初始值V0的情况下,控制部38检测第二改变并且停止基于语音识别的处理。
在按下脚踏开关92的状态下,上面已经描述的第一实施方式接收来自麦克风91的语音输入并且基于识别结果执行处理。在此之后,第一实施方式在按下脚踏开关92时维持基于识别结果的处理,并且在释放脚踏开关92时停止处理。根据第一实施方式,在按下脚踏开关92时,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
应当注意,已经参考显微镜部7的移动速度随着脚踏开关92的按下量而变化的实例描述了第一实施方式。然而,显微镜部7可以替代地以预定恒定速度移动。进一步,脚踏开关92可以输出数字值(诸如,二进制或三进制值),而不是图3中所描绘的模拟值。
进一步,已经参考其中控制装置3包括脚踏开关输入接收部35、语音识别部32、识别信息处理部33以及存储部37的实例描述了第一实施方式。替代地,然而,脚踏开关输入接收部35、语音识别部32、识别信息处理部33、存储部37的一些或全部可以与控制装置3分离。
(第二实施方式)
现在将参考图4描述第二实施方式。图4是示出通过使用根据第二实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第二实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复描述。下面描述与第一实施方式的处理的不同之处。
当检测到脚踏开关92被按下(踏下)时,脚踏开关输入接收部35将基于按下量的模拟值输出至控制部38。在图4的实例中,用户在时刻T21踩下脚踏开关92。在这种情况下,脚踏开关92的按下量的增加使模拟值在脚踏开关92未踏下的情况下使用的模拟值(初始值V0)减少。
在检测到在时刻T21按下脚踏开关92时,控制部38通过使用麦克风91开始进行语音识别处理。用户踩下脚踏开关92,并且然后向麦克风91输入语音。在图4中所描绘的实例中,用户向麦克风91输入“向右”。
当在时刻T22向麦克风91输入“向右”时,在直到时刻T23的时间段内,语音识别部32进行识别处理,并且识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T23之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38提供控制,使得用于移动显微镜部7的速度随着脚踏开关92的按下量的增加(随着模拟值的减小)而增加。
在此之后,当在时刻T24释放脚踏开关92时,显微镜7停止移动。
当在时刻T24之后的预设时间范围内(时间段RT)在时刻T25再次踩下脚踏开关92时,控制部38恢复移动显微镜部7。在这种情况下,控制部38在与其中再次按下脚踏开关之前显微镜部7移动的方向相反的方向上移动显微镜部7(在这种情况下为“向左”)。即使当在相反方向上移动显微镜部7时,控制部38也提供控制,使得用于移动显微镜部7的速度随着脚踏开关92的按下量的增加(随着模拟值的减小)而增加。
将在再次按下脚踏开关92时显微镜部7在相反方向上移动的时间范围(时间段RT)设定为例如在0.5秒以上至2.0秒以下之间的值。可以在等待时间之后设定时间段RT用于避免由于抖动引起的识别错误。
在此之后,当在时刻T26释放脚踏开关92时,显微镜7停止移动。
上面已经描述的第二实施方式在按下脚踏开关92的状态下接收来自麦克风91的语音输入,并且基于识别结果执行处理。在此之后,第二实施方式在按下脚踏开关92时维持基于识别结果的处理,并且当释放脚踏开关92时停止处理。进一步,当在预设的时间范围(时间段RT)内再次按下脚踏开关92时,第二实施方式执行与先前的处理相反的处理。根据第二实施方式,在按下脚踏开关92时,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。此外,在再次按下脚踏开关92时,第二实施方式执行相反的处理。因此,通过操作脚踏开关92,能够简单地微调处理。
(第三实施方式)
现在将参考图5描述第三实施方式。图5是示出通过使用根据第三实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第三实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
当检测到按下(踏下)脚踏开关92时,脚踏开关输入接收部35将基于按下量的模拟值输出至控制部38。在图5的实例中,用户在时刻T31踩下脚踏开关92。在这种情况下,脚踏开关92的按下量的增加使模拟值从在未踏下脚踏开关92的情况下使用的模拟值(初始值V0)减少。
在检测到在时刻T31按下脚踏开关92时,控制部38通过使用麦克风91开始进行语音识别处理。用户踩下脚踏开关92,并且然后向麦克风91输入语音。在图5中所描绘的实例中,用户向麦克风91输入“向右”。
当在时刻T32向麦克风91输入“向右”时,在直到时刻T23的时间段内,语音识别部32进行识别处理,并且识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T33之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38提供控制,使得用于移动显微镜部7的速度随着脚踏开关92的按下量的增加(随着模拟值的减小)而增加。
在此之后,当在时刻T34释放脚踏开关92时,显微镜7停止移动。
当在时刻T34之后的预设时间范围内(时间段RT)在时刻T35再次踩下脚踏开关92时,控制部38恢复移动显微镜部7。在这种情况下,控制部38在其中与再次按下脚踏开关之前显微镜部7移动的方向相反的方向上移动显微镜部7(在这种情况下为“向左”)。当在相反方向上移动显微镜部7时,在不考虑脚踏开关92的按下量的情况下,第三实施方式以恒定速度移动显微镜部7。在这种情况下,待设定的速度是例如最大或最小可控速度、最大速度的50%、或用于上次驱动的最大速度或最小速度。应当注意,在图5中所描绘的实例中设定了最大可控速度。
在此之后,当在时刻T36释放脚踏开关92时,显微镜7停止移动。
上面已经描述的第三实施方式在按下脚踏开关92的状态下接收来自麦克风91的语音输入,并且基于识别结果执行处理。在此之后,第三实施方式当按下脚踏开关92时维持基于识别结果的处理,并且在释放脚踏开关92时停止处理。进一步,当在预设的时间范围(时间段RT)内再次按下脚踏开关92时,第三实施方式执行与先前的处理相反的处理。根据第三实施方式,在按下脚踏开关92时,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。此外,在再次按下脚踏开关92时,第三实施方式执行相反的处理。因此,通过操作脚踏开关92,能够简单地微调处理。
(第四实施方式)
现在将参考图6描述第四实施方式。图6是示出通过使用根据第四实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第四实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
当检测到按下(踏下)脚踏开关92时,脚踏开关输入接收部35将基于按下量的模拟值输出至控制部38。在图6的实例中,用户在时刻T41踩下脚踏开关92并且立即释放脚踏开关。因此,由脚踏开关92输入的输入值(模拟值)从初始值(V0)暂时减小,并且然后返回到初始值(V0)。
在检测到在时刻T41按下脚踏开关92时,控制部38通过使用麦克风91开始进行语音识别处理。用户踩下脚踏开关92,并且然后向麦克风91输入语音。在图6中所描绘的实例中,用户向麦克风91输入“向右”。
当在时刻T42向麦克风91输入“向右”时,在直到时刻T43的时间段内,语音识别部32进行识别处理,并且识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T43之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,在检测到在时刻T44按下脚踏开关92时,控制部38停止显微镜部7的移动。
如上所描述的,第四实施方式被配置为:使得在踩下脚踏开关92时输入的模拟值改变为除初始值V0以外的情况下,控制部38检测第一变化并且开始语音识别处理。同时,在按下脚踏开关92时输入的模拟值再次改变为除初始值V0以外的值的情况下,控制部38检测第二变化并且停止基于语音识别的处理。
上面已经描述的第四实施方式在检测到脚踏开关92的按下时接收来自麦克风91的语音输入,并且基于识别结果执行处理。在此之后,第四实施方式维持基于识别结果的处理,并且在检测到再次按下脚踏开关92时停止处理。根据第四实施方式,在按下脚踏开关92(其作为触发器)时,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第五实施方式)
现在将参考图7描述第五实施方式。图7是示出通过使用根据第五实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第五实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
在第五实施方式中,语音输入接收处于始终被允许的状态。更具体地,与基于脚踏开关92的按下确定是否处理语音输入的早先描述的第一至第四实施方式不同,第五实施方式始终允许对所输入的语音进行语音识别处理。
当在时刻T51向麦克风91输入“向右”时,在直到时刻T52的时间段内,控制部38使语音识别部32进行识别处理并且使识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T52之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,在检测到在时刻T53按下脚踏开关92时,控制部38停止显微镜部7的移动。第五实施方式在检测到按下脚踏开关92之后立即停止显微镜部7的移动。
上面已经描述的第五实施方式接收来自麦克风91的语音输入并且基于识别结果执行处理。在此之后,第五实施方式维持基于识别结果的处理,并且在检测到按下脚踏开关92时停止处理。根据第五实施方式,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以通过使用简单的结构在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第五实施方式的变形例)
现在将参考图8描述第五实施方式的变形例。图8是示出通过使用根据第五实施方式的变形例的医用观察系统进行的驱动处理的实例的时序图。在本变形例中,与第五实施方式的情况一样,语音输入接收处于始终被允许的状态。
当在时刻T51向麦克风91输入“向右”时,在直到T52的时段内,控制部38使语音识别部32进行识别处理并且使识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T52之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,在检测到按下脚踏开关92时,控制部38停止显微镜部7的移动。本变形例在时刻T54释放脚踏开关92之后立即停止显微镜部7的移动。
上述变形例接收来自麦克风91的语音输入,并且基于识别结果执行处理。在此之后,变形例维持基于识别结果的处理,并且在检测到按下脚踏开关92时停止处理。根据变形例,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第六实施方式)
现在将参考图9描述第六实施方式。图9是示出通过使用根据第六实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第六实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
在由所识别的语音指示的词或词序列(即,多个词的组合)与预设的词或词序列匹配的情况下,第六实施方式允许与驱动相关的语音识别处理。更具体地,与基于按下脚踏开关92开始语音识别处理的早先描述的第一至第四实施方式不同,第六实施方式能够在基于语音输入的识别之后对所输入的语音进行识别处理。在这种情况下,诸如“打开(ON)”或“开始(Start)”之类的词可以用作允许语音识别的词,并且诸如“启用语音识别(Enable voicerecognition)”之类的词序列可以用作允许语音识别的词序列。应当注意,假设词包括例如后置助词和助动词。用于指示允许语音识别处理的词或词序列对应于第一识别信息。下面以输入“打开”为实例来描述第六实施方式。
当在时刻T61向麦克风91输入“打开”时,控制部38允许语音识别部32进行识别处理并且允许识别信息处理部分33执行处理。
在此之后,当在时刻T62向麦克风91输入“向右”时,在直到时刻T63的时间段内,控制部38使语音识别部32执行识别处理并且使识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T63之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,在检测到在时刻T64按下脚踏开关92时,控制部38停止显微镜部7的移动。第六实施方式在检测到按下脚踏开关92之后立即停止显微镜部7的移动。
上面已经描述的第六实施方式接收来自麦克风91的语音输入并且基于识别结果执行处理。在此之后,第六实施方式维持基于识别结果的处理,并且在检测到按下脚踏开关92时停止处理。根据第六实施方式,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第六实施方式的变形例)
现在将参考图10描述第六实施方式的变形例。图10是示出通过使用根据第六实施方式的变形例的医用观察系统进行的驱动处理的实例的时序图。与第六实施方式的情况一样,本变形例允许根据预设词或输入的语句对输入的语音进行识别处理。
当在时刻T61向麦克风91输入“打开”时,控制部38允许语音识别部32进行识别处理并且允许识别信息处理部分33执行处理。
在此之后,当在时刻T62向麦克风91输入“向右”时,在直到时刻T63的时间段内,控制部38使语音识别部32执行识别处理并且使识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T63之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,当在时刻T64检测到按下脚踏开关92时,控制部38停止显微镜部7的移动。
当在由脚踏开关92停止驱动之后的时刻T65向麦克风91输入“关闭(OFF)”时,控制部38禁止语音识别部32进行行后续的识别处理。这禁用由语音输入指定的识别结果。替代地,例如,可以设定“终止(Terminate)”或“禁用语音识别(Disable voice recognition)”。指定禁止语音识别处理的词或词序列对应于第二识别信息。在禁止语音识别处理期间的时间段内,仅启用对启用语音识别的词或词序列的识别以及基于这种识别的处理的执行(语音识别启用设定)。
上述变形例接收来自麦克风91的语音输入,并且基于识别结果执行处理。在此之后,变形例维持基于识别结果的处理,并且在检测到按下脚踏开关92时停止处理。根据变形例,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第七实施方式)
现在将参考图11描述第七实施方式。图11是示出通过使用根据第七实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第七实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
与第六实施方式的情况相同,基于预设的词或词序列,第七实施方式允许与驱动相关的语音识别处理。进一步,当在开始允许语音识别处理或者停止驱动显微镜部7之后经过预设的时间段时,控制部38再次禁止语音识别处理。
应当注意,当在移动开始之后经过预设的时间段时,第七实施方式停止显微镜部7的移动。当在允许之后经过预设的时间段时或者当在停止显微镜部7的驱动之后经过预设的时间段时,第七实施方式再次禁止语音识别处理。
当在时刻T71向麦克风91输入“打开”时,控制部38允许语音识别部32进行识别处理并且允许识别信息处理部分33执行处理。
在此之后,当在时刻T72向麦克风91输入“向右”时,在直到时刻T73的时间段内,控制部38使语音识别部32执行识别处理并且使识别信息处理部33确定待执行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T73之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,在时刻T73之后经过预设时间段时到达的时刻T74,控制部38停止显微镜部7的移动并且禁止语音识别部32进行后续的识别处理。在第七实施方式中,指示经过时间的信号对应于第二操作信号。
上面已经描述的第七实施方式接收来自麦克风91的语音输入并且基于识别结果执行处理。在此之后,第七实施方式维持基于识别结果的处理,并且当经过预设的时间段时停止处理。根据第七实施方式,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
应当注意,第七实施方式中的控制部38可以在时刻T74停止显微镜部7的移动之后禁止语音输入。
(第八实施方式)
现在将参考图12描述第八实施方式。图12是示出通过使用根据第八实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第八实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
与第六实施方式的情况一样,基于预设词或词序列,第八实施方式允许与驱动相关的语音识别处理。进一步,与第七实施方式的情况一样,当在开始允许语音识别处理或者停止显微镜部7的驱动之后经过预设的时间段时,控制部38再次禁止语音识别处理。
当在时刻T81向麦克风91输入“打开”时,控制部38允许语音识别部32进行识别处理并且允许识别信息处理部分33执行处理。
在此之后,当在时刻T82向麦克风91输入“向右”时,在直到时刻T84的时间段内,控制部38使语音识别部32执行识别处理并且使识别信息处理部33确定待执行的处理。在这种情况下,进行设定以禁止在比时刻T84早的时间T83进行语音识别处理。即使在设定禁止期间的时间段内,只要在允许语音识别处理的时间段内开始相关语音输入,控制部也允许识别信息处理部33继续处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T84之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,当在时刻T85检测到脚踏开关92被按下时,控制部38停止显微镜部7的移动。如上所描述的,即使在禁止语音识别处理期间的时间段内,第八实施方式也继续进行基于来自脚踏开关92的输入的停止处理。在禁止语音识别处理期间的时间段内启用用于停止驱动的指令,在例如遇到故障或显微镜部7将与其他器材或患者接触的紧急情况下尤其有用。应当注意,当在开始驱动之后经过预设的时间段时,可以停止显微镜部7的驱动。进一步,在时刻T83之后,可以停止显微镜部7的驱动。
上面已经描述的第八实施方式接收来自麦克风91的语音输入并且基于识别结果执行处理。在此之后,第八实施方式维持基于识别结果的处理,并且在检测到按下脚踏开关92时停止处理。根据第八实施方式,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第八实施方式的变形例)
现在将参考图13描述第八实施方式的变形例。图13是示出通过使用根据第八实施方式的变形例的医用观察系统进行的驱动处理的实例的时序图。与第八实施方式的情况相同,本变形例在允许语音识别处理的期间的时间段内对开始输入的语音进行持续处理。进一步,本变形例根据语音识别停止显微镜部7的移动。
当在时刻T81向麦克风91输入“打开”时,控制部38允许语音识别部32进行识别处理并且允许识别信息处理部分33执行处理。
在此之后,当在时刻T82向麦克风91输入“向右”时,在直到时刻T84的时间段内,控制部38使语音识别部32执行识别处理并且使识别信息处理部33确定待执行的处理。在这种情况下,在进行设定以禁止在比时刻T84早的时间T83的语音识别处理的情况下,控制部38允许识别信息处理部33即使在禁止语音识别处理的时间段内也继续处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T84之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。
在此之后,当在时刻T86识别出“停止(stop)”时,控制部38停止显微镜部7的移动。如上所描述的,即使在禁止语音识别处理期间的时间段内,本变形例也在驱动期间对处理相关的语音命令持续进行识别处理。在本变形例中,第一操作信号和第二操作信号都用作在语音输入时并且基于相同操作而生成的信号。
在禁止语音识别处理期间的时间段内启用用于驱动期间的处理的指令,在例如由语音识别错误引起故障或显微镜部7即将与其他器材或患者接触的紧急情况下尤其有用。应当注意,当在开始驱动之后经过预设的时间段时,可以停止显微镜部7的驱动。进一步,在时刻T83之后,可以停止显微镜部7的驱动。
上述变形例接收来自麦克风91的语音输入,并且基于识别结果执行处理。在此之,变形例维持基于识别结果的处理,并且在检测到语音识别的停止指令时停止处理。根据变形例,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
(第九实施方式)
现在将参考图14描述第九实施方式。图14是示出通过使用根据第九实施方式的医用观察系统进行的驱动处理的实例的时序图。根据第九实施方式的医用观察系统的配置与早先描述的根据第一实施方式的医用观察系统1的配置相同,并且省略重复说明。下面描述与第一实施方式的处理的不同之处。
在第九实施方式中,与第五实施方式的情况一样,语音输入接收处于始终被允许的状态。进一步,控制部38根据语音识别控制显微镜部7的驱动开始和停止。
当在时刻T91向麦克风91输入“向右”时,在直到时刻T92的时间段内,控制部38使语音识别部32进行识别处理并且使识别信息处理部33确定待进行的处理。
识别信息处理部33确定待执行的处理。在这种情况下,当所确定的处理是用于向右移动显微镜部7时,控制部38在时刻T92之后将控制信号输出至各个部以根据需要驱动各个接合部来向右移动显微镜部7。在这种情况下,控制部38以恒定速度移动显微镜部7。恒定速度以与早先已经描述的第三实施方式相似的方式设定。
在此之后,当在时刻T93识别出“停止”时,控制部38停止显微镜部7的移动。
上面已经描述的第九实施方式接收来自麦克风91的语音输入并且基于识别结果执行处理。在此之后,第九实施方式维持基于识别结果的处理,并且在检测到语音识别的停止指令时停止处理。根据第九实施方式,在开始语音识别与停止处理之间的时间段内进行的处理在控制装置3(其控制显微镜部7和支持部6)内统一控制。这使得可以采用简单的配置在短时间段内完成从语音识别到基于语音识别的驱动的处理,并且容易地停止处理。
虽然已经描述了用于实践本发明的实施方式,但是本发明不限于前述实施方式。例如,支持部6替代地包括至少一组两个臂部和适配于将一个臂部分枢转地耦接至另一臂部的一个接合部就足够了。
应当注意,第一至第四实施方式已经参考通过操作脚踏开关92来控制在语音识别开始与驾驶停止之间的时间段内进行的处理的实例进行了描述。然而,可以采用替代配置以使用例如手动操作的开关而不是脚踏操作的开关。进一步,脚踏开关92例如也可以由压力传感器或加速度传感器替代。
进一步,已经参考通过按下脚踏开关92输入的输入值小于初始值的实例描述了第一至第四实施方式。然而,可以采用替代配置使得取决于按下量的输入值大于初始值。可以采用另一替代配置,使得脚踏开关92输出数字值(诸如,二进制或三进制值),而不是模拟值。
进一步,第一至第四实施方式可以替代地被配置为使得控制部38在语音识别开始与驱动停止之间的时间段内保持麦克风91开启,并且在其他时间段期间保持麦克风91关闭。这防止在除语音识别时间段以外的时间段内输入话语。另一替代方案是在语音识别时间段内升高麦克风91的输入音量,并且在除语音识别时间段以外的时间段内降低麦克风91的输入音量或使麦克风91静音(无声)。
进一步,已经参考麦克风91和脚踏开关92有线连接至控制装置3的实例描述了第一至第四实施方式。然而,可以采用替代配置使得麦克风91和脚踏开关92无线连接至控制装置3。应当注意,观察装置2和控制装置3既可以无线连接,也可以有线连接。
进一步,已经参考包含一组麦克风91和脚踏开关92的实例描述了第一至第四实施方式。然而,可以包含多组麦克风91和脚踏开关92。例如,替代方案是为外科医生提供第一组,为助理外科医生提供第二组,并且为护士提供第三组,并且定义每个操作输入的优先级。
进一步,第一至第四实施方式可以替代地被配置为使得在识别到话语时,控制装置3从输出部36发出光或语音以通知用户话语被识别。还应当注意,显示设备4可以显示指示话语识别的消息。
进一步,可以采用替代配置使得医用观察装置悬挂在安装有医用观察装置的房间的天花板上。
进一步,已经参考控制装置3与观察装置2分开布置的实例来描述第一至第四实施方式。然而,控制装置3可以内置于基座部5中。
进一步,已经参考支持部6保持显微镜部7的实例描述了第一至第四实施方式。然而,代替显微镜部7,支持部6可以保持被配置为能够捕获图像的构件。例如,支持部6的前端也可以适配于保持硬性内窥镜或软性内窥镜。在支持部6保持内窥镜的情况下,基座部5和支持部6用作内窥镜支架。
如上所描述的,在不背离所附权利要求中描述的技术构思的情况下,本发明可以包括例如各种实施方式。
[工业实用性]
如上所描述的,根据本公开的控制装置和医用观察系统在采用简单的配置、在短时间段内完成从语音识别到基于语音识别的驱动的处理、以及容易地停止驱动中是有用的。
[附图标记列表]
1:医用观察系统
2:医学观察装置
3:控制装置
4:显示设备
5:基座部
6:支持部
7:显微镜部
8:光源设备
11:第一接合部
12:第二接合部
13:第三接合部
14:第四接合部
15:第五接合部
16:第六接合部
21:第一臂部
22:第二臂部
23:第三臂部
24:第四臂部
25:第五臂部
31:图像处理部
32:语音识别部
33:识别信息处理部
34:输入部
35:脚踏开关输入接收部
36:输出部
37:存储部
38:控制部
91:麦克风
92:脚踏开关。

Claims (14)

1.一种用于对捕获观察对象的医用观察装置进行电控制的控制装置,所述控制装置包括:
语音识别部,识别从外部输入的语音;
识别信息处理部,基于所述语音识别部的识别结果来确定由所述医用观察装置待执行的处理;
开关输入接收部,基于对开关进行的操作来接收操作信号的输入;以及
控制部,在检测到由所述开关输入接收部接收的第一操作信号时或者在获取到与由所述识别信息处理部确定的处理相关的信息时,所述控制部使所述语音识别部开始语音识别处理并且使所述医用观察装置执行由所述识别信息处理部确定的处理,并且在检测到第二操作信号时,所述控制部停止由所述医用观察装置待执行的处理。
2.根据权利要求1所述的控制装置,
其中,所述开关输入接收部接收基于对所述开关进行的操作的输入值的输入来作为所述操作信号,并且
在检测到由所述开关输入接收部接收的所述输入值的第一变化时,所述控制部使所述语音识别部开始语音识别处理并且使所述医用观察装置执行由所述识别信息处理部确定的处理,并且在检测到所述输入值的第二变化时,所述控制部停止由所述医用观察装置待执行的处理。
3.根据权利要求1所述的控制装置,
其中,所述第一操作信号和所述第二操作信号用作不同的操作信号并且对应于对所述开关进行的不同操作。
4.根据权利要求1所述的控制装置,
其中,所述第一操作信号和所述第二操作信号用作相同的操作信号并且对应于对所述开关进行的相似操作。
5.根据权利要求2所述的控制装置,
其中,在所述输入值从所述开关的初始值改变为除所述初始值以外的值的情况下,所述控制部开始所述语音识别处理并且使所述医用观察装置执行处理,并且
在所述输入值改变为所述初始值的情况下,所述控制部停止由所述医用观察装置待执行的处理。
6.根据权利要求1所述的控制装置,
其中,所述控制部根据由所述开关输入接收部接收的所述操作信号来改变所述医用观察装置的驱动速度。
7.根据权利要求5所述的控制装置,
其中,在由于所述输入值改变为所述初始值而在停止由所述医用观察装置待执行的所述处理之后的预设时间段内,在所述输入值从所述初始值改变的情况下,所述控制部使所述医用观察装置执行与所述停止之前进行的先前处理相反的处理。
8.根据权利要求5所述的控制装置,
其中,在所述输入值从所述开关的所述初始值改变为除所述初始值以外的值的情况下,所述控制部开始所述语音识别处理并且使所述医用观察装置执行处理,并且
在所述输入值再次从所述初始值改变为除所述初始值以外的值的情况下,所述控制部停止由所述医用观察装置待执行的处理。
9.根据权利要求1所述的控制装置,
其中,所述开关输入接收部接收在按下所述开关时输出的操作信号的输入,
当持续按下所述开关时,所述控制部使所述医用观察装置持续执行由所述识别信息处理部确定的处理,并且
在释放所述开关的情况下,所述控制部使所述医用观察装置停止由所述识别信息处理部确定的处理。
10.根据权利要求1所述的控制装置,
其中,在所述语音识别部的语音识别结果与第一识别信息一致的情况下,所述控制部启用后续的语音识别处理,并且
在所述语音识别部的语音识别结果与第二识别信息一致的情况下,所述控制部禁用后续的语音识别处理。
11.根据权利要求1所述的控制装置,
其中,在所述语音识别部的语音识别结果与第一识别信息一致的情况下,所述控制部启用后续的语音识别处理,并且
在自启用所述语音识别部的所述语音识别处理起经过预设时间段之后,所述控制部禁用除所述第一识别信息以外的语音识别结果。
12.根据权利要求1所述的控制装置,
其中,基于所述语音识别部的识别结果,所述识别信息处理部确定其中所述医用观察装置移动成像区域的方向,并且
基于由所述识别信息处理部确定的移动方向,所述控制部使所述医用观察装置移动所述成像区域。
13.根据权利要求1所述的控制装置,
其中,基于所述语音识别部的识别结果,所述识别信息处理部确定所述医用观察装置的成像放大倍率,并且
基于由所述识别信息处理部确定的所述放大倍率,所述控制部改变所述医用观察装置的所述成像放大倍率。
14.一种医用观察系统,包括:
成像部,能够捕获观察目标的放大图像;
支持部,包括多个臂部和连接所述多个臂部的多个接合部,并且在所述支持部的前端处支持所述成像部;
语音识别部,识别从外部输入的语音;
识别信息处理部,基于所述语音识别部的识别结果来确定由所述成像部或所述支持部待执行的处理;
开关,基于对所述开关的操作输出操作信号;
开关输入接收部,接收来自所述开关的输入;以及
控制部,在检测到由所述开关输入接收部接收的第一操作信号时或者在获取到与由所述识别信息处理部确定的处理相关的信息时,所述控制部使所述语音识别部开始语音识别处理并且使所述成像部或所述支持部执行由所述识别信息处理部确定的处理,并且在检测到第二操作信号时,所述控制部停止由所述成像部或所述支持部待执行的处理。
CN202080017727.4A 2019-03-22 2020-02-05 控制装置和医学观察系统 Pending CN113543741A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019055706 2019-03-22
JP2019-055706 2019-03-22
PCT/JP2020/004438 WO2020195204A1 (ja) 2019-03-22 2020-02-05 制御装置及び医療用観察システム

Publications (1)

Publication Number Publication Date
CN113543741A true CN113543741A (zh) 2021-10-22

Family

ID=72611777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017727.4A Pending CN113543741A (zh) 2019-03-22 2020-02-05 控制装置和医学观察系统

Country Status (5)

Country Link
US (1) US20220141376A1 (zh)
EP (1) EP3932358B1 (zh)
JP (1) JPWO2020195204A1 (zh)
CN (1) CN113543741A (zh)
WO (1) WO2020195204A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4912388A (en) * 1985-08-02 1990-03-27 Canon Kabushiki Kaisha Drive control device operating a drive mechanism
JP2000116670A (ja) * 1999-11-12 2000-04-25 Olympus Optical Co Ltd 手術用顕微鏡
WO2018159155A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
US20180338813A1 (en) * 2017-05-26 2018-11-29 Sony Olympus Medical Solutions Inc. Medical observation apparatus and zoom control method
WO2018216302A1 (ja) * 2017-05-26 2018-11-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、処理方法、および医療用観察システム
US20190015175A1 (en) * 2016-03-28 2019-01-17 Sony Olympus Medical Solutions Inc. Medical observation apparatus, driving control method, medical observation system, and support arm apparatus
US20190053857A1 (en) * 2016-02-24 2019-02-21 Sony Corporation Medical information processing apparatus, information processing method, and medical information processing system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62166312A (ja) * 1986-01-18 1987-07-22 Canon Inc 音声を用いた駆動制御装置
JP2001108906A (ja) * 1999-10-01 2001-04-20 Topcon Corp 手術用顕微鏡
US9711160B2 (en) * 2012-05-29 2017-07-18 Apple Inc. Smart dock for activating a voice recognition mode of a portable electronic device
US11439473B2 (en) * 2015-10-09 2022-09-13 Sony Corporation Surgical control apparatus, surgical control method, and program
KR102411766B1 (ko) * 2017-08-25 2022-06-22 삼성전자주식회사 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4912388A (en) * 1985-08-02 1990-03-27 Canon Kabushiki Kaisha Drive control device operating a drive mechanism
JP2000116670A (ja) * 1999-11-12 2000-04-25 Olympus Optical Co Ltd 手術用顕微鏡
US20190053857A1 (en) * 2016-02-24 2019-02-21 Sony Corporation Medical information processing apparatus, information processing method, and medical information processing system
US20190015175A1 (en) * 2016-03-28 2019-01-17 Sony Olympus Medical Solutions Inc. Medical observation apparatus, driving control method, medical observation system, and support arm apparatus
WO2018159155A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
US20180338813A1 (en) * 2017-05-26 2018-11-29 Sony Olympus Medical Solutions Inc. Medical observation apparatus and zoom control method
WO2018216302A1 (ja) * 2017-05-26 2018-11-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、処理方法、および医療用観察システム

Also Published As

Publication number Publication date
JPWO2020195204A1 (zh) 2020-10-01
EP3932358B1 (en) 2023-11-22
EP3932358A1 (en) 2022-01-05
EP3932358A4 (en) 2022-04-13
WO2020195204A1 (ja) 2020-10-01
US20220141376A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
EP3449859B1 (en) Control device, control method and surgical system
JP2016512084A5 (zh)
US20160175057A1 (en) Assistance device for imaging support of a surgeon during a surgical operation
EP3530228B1 (en) Microscope device and control method
EP3603562B1 (en) Medical observation apparatus and observation field correction method
JP6546361B1 (ja) 手術支援装置
JP2015107249A (ja) 内視鏡の制御方法及び内視鏡システム
JP2006247289A (ja) 電動湾曲内視鏡装置
JP2021003531A (ja) 手術支援システム、制御装置及び制御方法
JPH10309258A (ja) 体腔内観察装置
WO2018216501A1 (ja) 制御装置、制御方法、および手術システム
JP2018075674A (ja) 関節駆動用アクチュエータ
CN106061354A (zh) 医疗系统
US11606505B2 (en) Medical observation apparatus and medical observation system
WO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
CN113543741A (zh) 控制装置和医学观察系统
JP2020151406A (ja) 医療用保持装置及び医療用観察システム
US11375878B2 (en) Information presentation system including a flexible tubular insertion portion
JP7178081B2 (ja) 医療用ドローンシステム
US11743579B2 (en) Control device and medical observation system
JP2017035279A (ja) 歯科治療ユニット
JP2004199004A (ja) 音声入力医用制御システム
US20210297576A1 (en) Control apparatus and medical observation system
WO2021116846A1 (en) Control system for an endoscopic device and method of controlling an endoscopy system
JPH11305145A (ja) 内視鏡装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination