CN103460281A - 内窥镜手术系统 - Google Patents
内窥镜手术系统 Download PDFInfo
- Publication number
- CN103460281A CN103460281A CN2012800149710A CN201280014971A CN103460281A CN 103460281 A CN103460281 A CN 103460281A CN 2012800149710 A CN2012800149710 A CN 2012800149710A CN 201280014971 A CN201280014971 A CN 201280014971A CN 103460281 A CN103460281 A CN 103460281A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- voice recognition
- sound
- peripherals
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002674 endoscopic surgery Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 119
- 230000002093 peripheral effect Effects 0.000 claims abstract description 73
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 42
- 238000001356 surgical procedure Methods 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 27
- 238000001839 endoscopy Methods 0.000 claims description 18
- 230000033228 biological regulation Effects 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 230000008676 import Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 9
- 238000002192 cholecystectomy Methods 0.000 description 6
- 208000005646 Pneumoperitoneum Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000001015 abdomen Anatomy 0.000 description 4
- 230000001954 sterilising effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 208000010749 gastric carcinoma Diseases 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 201000000498 stomach carcinoma Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0324—Details of processing therefor
- G10L21/034—Automatic adjustment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
Abstract
在内窥镜手术系统(3)中,存储部(50)按每个内窥镜手术的手术操作者以及手法,对应关联地存储用于控制外围设备的命令以及命令是否分别有效或者无效。显示I/F(51)接收对手术操作者以及手法的指定。输入声音信号变换部(62)识别所输入的声音来进行字符串化。声音识别判断部(59)参照存储部(50)来判断在输入声音信号变换部(62)中得到的字符串是否与关于通过显示I/F(51)指定的手术操作者以及手法而被设定为有效的命令一致。控制部(41)停止将由声音识别判断部(59)判断为无效的命令发送到对应的外围设备的发送处理。
Description
技术领域
本发明涉及具有通过声音识别对所连接的外围设备进行控制的功能的内窥镜手术系统。
背景技术
在使用内窥镜装置的内窥镜手术中,通常手术操作者两手持握着插入到体腔内的处置用具来进行处置。在手术操作者在手术过程中要变更外围设备的参数等的情况下,还有时委托助手等操作处于非灭菌区域的操作面板等或者按压设置在手术操作者的跟前处(灭菌区域)的开关等来能够进行操作。但是,存在无法委托其他人操作而手术操作者自己要进行微妙的调整的情况、由于处置用具的位置或朝向而难以进行操作的情况。
作为解决这种问题的方法,存在以下技术,即在内窥镜手术系统中具备声音识别功能,根据手术操作者以声音输入的命令,来实现对外围设备的参数变更等(例如,专利文献1)。
例如在专利文献1所公开的技术中,以模式识别为基础进行声音识别。即,预先将声音命令登记到系统,将手术操作者发出的声音命令与所登记的声音命令进行比较。在由手术操作者输入的声音命令与所登记的声音命令相互一致的情况下,识别该声音命令。
关于声音识别技术,例如公开了以下技术:算出所输入的声音的水平数据(level Data)(声音的大小)与前一次获取到的等级数据的差,进行基于差与基准值的比较结果的处理(例如,专利文献2)。另外,还公开了以下技术:对音素识别后的数据进行识别试验,计测识别率(例如,专利文献3)。关于对通过声音输入的内容进行声音识别处理的技术,还公开了以下技术:根据初始字符和字符数来确定使用者进行声音输入得到的名词(例如,专利文献4)。
专利文献1:日本特开2002-122391号公报
专利文献2:日本特开2004-199004号公报
专利文献3:日本特开平07-146696号公报
专利文献4:日本特开2003-228394号公报
发明内容
发明要解决的问题
根据以往的声音识别技术,如果手术操作者不按照所登记的方式发出命令,则导致产生命令的不识别、误识别。也就是说,存在以下问题:由于发出声音命令的手术操作者不同而在系统中难以识别命令,或者根据命令的种类不同,由于声音与其它命令类似,因此识别到与手术操作者期望的命令不同的命令。但是,在手术现场进行声音操作时,由误识别导致的误操作的影响非常大,因此必须避免。
用于解决问题的方案
本发明的方式之一的内窥镜手术系统具有通过声音识别对所连接的外围设备进行控制的功能,其特征在于,具备:存储部,其按每个内窥镜手术的手术操作者以及手法来对应关联地存储用于控制上述外围设备的命令以及上述命令各自是有效还是无效;指定部,其接收对上述手术操作者以及手法的指定;变换部,其识别所输入的声音并将输入的声音字符串化;判断部,其参照上述存储部,判断在上述变换部中得到的字符串是否与通过上述指定部指定的手术操作者以及手法的被设定为有效的命令一致;以及发送部,其停止将由上述判断部判断为无效的命令发送到对应的外围设备的发送处理。
另外,本发明的另一方式之一的内窥镜手术系统具有通过声音识别对所连接的外围设备进行控制的功能,其特征在于,具备:存储部,其按每个内窥镜手术的手术操作者以及手法,来对应关联地存储用于控制上述外围设备的命令以及上述命令各自是有效还是无效;指定部,其接收对上述手术操作者以及手法的指定;变换部,其识别所输入的声音并将所输入的声音字符串化;判断部,其参照上述存储部,来判断在上述变换部中得到的字符串是否与通过上述指定部指定的手术操作者以及手法的被设定为有效的命令一致;以及发送部,其将由上述判断部判断为一致的命令发送到对应的外围设备。
另外,本发明的另一方式之一的内窥镜手术系统具有通过声音识别对所连接的外围设备进行控制的功能,其特征在于,具备:存储部,其按每个内窥镜手术的手术操作者以及手法,来对应关联地存储用于控制上述外围设备的命令以及上述命令各自是有效还是无效;指定部,其接收用于识别进行内窥镜手术的房间的信息;变换部,其识别所输入的声音并将所输入的声音字符串化;判断部,其参照上述存储部,来判断在上述变换部中得到的字符串是否与通过上述指定部指定的房间的被设定为有效的命令一致;以及发送部,其将由上述判断部判断为一致的命令发送到对应的外围设备。
发明的效果
根据本发明,在具有通过声音识别来对所连接的外围设备进行控制的功能的内窥镜手术系统中,通过将不使用的命令设为无效,避免检测错误输入的声音命令,能够有效地防止由命令的误识别而导致的设备的误操作。
附图说明
图1是第一实施方式所涉及的内窥镜手术系统的整体结构图。
图2是第一实施方式所涉及的系统控制器的框图。
图3是第一实施方式所涉及的控制部的功能框图。
图4是说明登记声音识别命令的有效或无效的方法的图。
图5是例示按每个手术操作者信息以及手法信息来设定的声音操作设定信息的图。
图6是例示按每个手术操作者信息、手法信息和场景来设定的声音操作设定信息的图。
图7是表示第一实施方式所涉及的系统控制器的控制部通过声音识别来对外围设备进行控制的处理的流程图。
图8是表示操作面板所显示的画面例的图(其1)。
图9是表示操作面板21所显示的画面例的图(其2)。
图10是说明第二实施方式所涉及的对根据声音信号的波形而得到的字符串进行声音识别判断的方法的图。
图11是表示第二实施方式所涉及的系统控制器的控制部通过声音识别对外围设备进行控制的处理的流程图。
图12是第三实施方式所涉及的控制部的功能框图。
图13是表示第三实施方式所涉及的系统控制器的控制部通过声音识别对外围设备进行控制的处理的流程图。
图14是表示第四实施方式所涉及的系统控制器的控制部通过声音识别对外围设备进行控制的处理的流程图。
具体实施方式
下面,参照附图详细说明本发明的实施方式。
<第一实施方式>
图1是本实施方式所涉及的内窥镜手术系统的整体结构图。图1示出的内窥镜手术系统3在手术室2内与患者48躺卧的病床10一起配置。内窥镜手术系统3具有第一手推车11和第二手推车12,分别搭载了使用于内窥镜手术的设备等。
第一手推车11载置电手术刀装置13、气腹装置14、内窥镜用摄像装置15、光源装置16和磁带录像机(以下称为VTR)17等装置类以及储气罐18。
内窥镜用摄像装置15经由摄像机线缆31a与第一内窥镜31相连接。
光源装置16经由光导31b与第一内窥镜相连接。
VTR17对在第一内窥镜31等中获取到的内窥镜图像进行记录等。
储气罐18填充了使用于内窥镜手术的二氧化碳等气体。
电手术刀装置13、气腹装置14是使用于内窥镜手术的医疗设备,这些设备构成为能够按照来自所连接的系统控制器22的操作命令来进行控制参数的变更等。
另外,第一手推车装置11载置显示装置19、(第一)集中显示面板20、操作面板21等。
显示装置19是用于显示内窥镜图像等的装置,例如使用电视监视器。集中显示面板20是能够将在内窥镜手术系统3中处理的所有数据选择性地进行显示的显示单元。操作面板21例如由液晶显示器等显示部和在显示部上一体地设置的触摸传感器等构成,是处于非灭菌区域(不清洁区域)的护士等对内窥镜手术系统3的各外围设备等进行操作的集中操作装置。
并且,第一手推车装置11载置系统控制器22。如上所述,系统控制器22对与内窥镜手术系统3相连接的各种外围设备进行控制。在图1的结构例中,系统控制器22经由未图示的通信线路与电手术刀13、气腹装置14、内窥镜用摄像装置15、光源装置16和VTR17相连接。系统控制器22能够连接头戴型的麦克风33。系统控制器22对由从麦克风33输入的手术操作者的声音得到的命令的输入进行识别,按照所识别的命令,对所连接的各种外围设备发送操作命令,从而控制外围设备。
另外,RFID(Radio Frequency IDentification:射频识别)终端35设置在第一手推车11,根据嵌入于第一内窥镜31、电手术刀13等处置用具等的ID(IDentification:识别)标签以无线方式对个体识别信息进行读取和写入。
第二手推车12载置内窥镜用摄像装置23、光源装置24、图像处理装置25、显示装置26以及(第二)集中显示面板27。
内窥镜用摄像装置23经由摄像机线缆32a与第二内窥镜32相连接。
光源装置24经由光导32b与第二内窥镜32相连接。
显示装置26是用于显示由内窥镜用照相机23捕捉到的内窥镜图像的装置,例如使用电视监视器。集中显示面板27是能够将在内窥镜手术系统3中处理的所有数据选择性地进行显示的显示单元。
内窥镜用摄像装置23、光源装置24以及图像处理装置25经由未图示的通信线路与载置在第二手推车12的中继部件28相连接。中继部件28经由中继线缆29与上述系统控制器22相连接。
这样,系统控制器22对载置在第一手推车11的电手术刀装置13、气腹装置14、内窥镜用摄像装置15、光源装置16以及VTR17、载置在第二手推车12的内窥镜用摄像装置23、光源装置24以及图像处理装置25进行集中控制。因此,在系统控制器22与这些装置之间进行通信时,系统控制器22构成为在操作面板21的液晶显示器中能够显示连接中的装置的设定状态、操作开关等的设定画面。系统控制器22构成为,通过期望的操作开关被触摸而对规定区域的触摸传感器进行操作由此能够进行变更设定值等操作输入。
远程控制器30是由处于灭菌区域的手术操作者即主刀医师等进行操作的第二集中操作装置。远程控制器30经由系统控制器22对与系统控制器22通信中的其它装置的操作进行控制。
此外,系统控制器22经由线缆9与患者监视系统4相连接。系统控制器22对在患者监视系统4中保持的生物体信息进行分析,能够将分析结果显示在期望的显示装置。
另外,系统控制器22设置有在图1中未图示的红外线通信端口等通信单元。红外线通信端口等通信单元例如设置在显示装置19等的附近即容易照射红外线的位置,在与系统控制器22之间通过线缆进行连接。
图1示出的内窥镜手术系统3的系统控制器22当判断为根据手术操作者经由麦克风33输入的声音输入了用于控制规定的外围设备的声音命令时,将对应的操作命令发送至外围设备。在判断对所输入的声音是否输入了声音命令时,仅对预先作为声音命令被设定为“有效”的声音命令进行声音识别,将对应的操作命令发送至外围设备。
下面,具体说明本实施方式所涉及的内窥镜手术系统3的系统控制器22对所输入的声音进行声音识别而对外围设备发送操作命令并进行控制的方法。
此外,在以下说明中,针对所输入的声音,将识别为用于操作外围设备的声音命令的声音设为“声音识别命令”,将经由通信线路发送至外围设备的命令设为“操作命令”。
图2是本实施方式所涉及的系统控制器22的框图。图2示出的系统控制器22具有通信接口(以下称为通信I/F)40、A/D变换部45、显示接口(以下称为显示I/F)51、存储部50以及控制部41。
A/D变换部45将从与系统控制器相连接的麦克风33输入的模拟的声音信号变换为数字信号。
显示I/F51是使操作面板21显示GUI(Graphical User Interface:图形用户接口)并将来自操作面板21的由使用者的触摸操作产生的信号传输到控制部41时的接口。显示I/F51例如接收利用内窥镜手术系统3的手术操作者、手术操作者所使用的手法等的指定。
通信I/F40是与内窥镜用摄像装置15、光源装置16、气腹装置14以及电手术刀装置13等外围设备之间的通信接口。在图2中仅记载了在图1中与系统控制器22直接进行连接的装置,省略记载了经由中继线缆29、中继部件28进行连接的装置。
控制部41经由通信I/F40获取内窥镜用摄像装置15等所连接的装置(外围设备)的参数,经由显示I/F51显示在操作面板21。另外,控制部41根据在显示I/F51中接收到的对操作面板21的触摸操作的信号、从A/D变换部45输入的声音信号,经由通信I/F40发送操作命令,控制外围设备。在识别到从麦克风33输入了声音识别命令的情况下,控制部41使对应的操作命令经由显示I/F51显示在操作面板21。而且,控制部41根据操作命令,经由通信I/F40对外围设备进行控制。
存储部50存储控制部41执行外围设备的控制等所需的信息。具体地说,存储有如下等信息:表示与用于与根据经由A/D变换部45输入的声音信号得到的字符串进行比较的声音识别命令、用于识别手术操作者或手法的信息以及声音识别命令对应地将声音识别命令被设定为有效或无效。参照图5、图6等详细说明存储在存储部50的这些信息。
图3是本实施方式所涉及的控制部41的功能框图。如图3所示,在本实施方式中,控制部41具有声音识别控制部58,声音识别控制部58具有输入声音信号变换部62和声音识别判断部59。
声音识别控制部58使从图2的A/D变换部45输入的声音信号在输入声音信号变换部62中字符串化。而且,声音识别判断部59根据图2的存储部50所存储的信息,判断通过声音识别变换部62的变换处理得到的字符串是否与被设定为有效的声音识别命令一致。以下还将声音识别判断部59的判断称为声音识别判断。
在本实施方式所涉及的内窥镜手术系统3中,在存储部50中预先登记按每个手术操作者以及手法能够控制外围设备的声音识别命令为有效或无效。在声音识别控制部58中,将根据所输入的声音信号得到的字符串与登记在存储部50的信息进行比较,在判断为字符串与作为声音识别命令被设定为有效的命令一致的情况下,控制部41将对应的操作命令发送至外围设备。在判断为字符串与作为声音识别命令被设定为有效的命令不一致的情况下,在操作命令与作为声音识别命令被设定为无效的命令一致的情况下,控制部41停止将对应的操作命令发送至外围设备的处理。
图4是说明登记声音识别命令的有效或无效的方法的图。在图4中,通过系统控制器22预先准备的GUI,在操作面板21的显示部中例示如下的画面:用于由使用者设定规定的手术操作者以规定的手法使用的声音识别命令是否分别有效或无效。
图4示出将与手术操作者等经由操作面板21指定的手术操作者信息52和手法信息53相对应的声音命令的设定画面打开的样子。手术操作者信息52是指对进行内窥镜手术的手术操作者进行识别的信息,手法信息53是指对在内窥镜手术中使用的手法进行识别的信息。通过图4示出的操作面板21的画面等,在手术操作者信息52所表示的手术操作者“医生A”进行手法信息53所表示的“腹腔镜胆囊切除术(Laparoscopic Cholecystectomy)”的手术时,关于能够从系统控制器22发送至外围设备的各个操作命令,将声音识别设定为有效或无效。
由此,例如在手术操作者进行规定的手法时将希望使用声音识别功能来进行外围设备的控制的声音识别命令设定为有效,将必要性低的声音识别命令设定为无效。在图4的例子中,在手术操作者医生A进行腹腔镜胆囊切除术时,将声音识别命令55中的“释放”设定为有效,另一方面,将“定格”设定为无效。由此,在手术操作者医生A在腹腔镜胆囊切除术的过程中使用“释放”的声音识别命令的情况下,防止在系统控制器22中将该“释放”误识别为“定格”这一情况。
将通过图4例示的画面来设定的信息存储到存储部50。在以下说明中,将通过图4例示的画面来设定的信息中的声音识别命令55和与该声音识别命令55对应的有效或无效状态56设为“声音操作设定信息”。如上所述,声音操作设定信息是指按每个能够通过声音识别而发送至外围设备的操作命令和对应的声音识别命令来对应地设定在系统控制器22中是否根据声音识别进行外围设备的控制(有效或者无效)的信息。
图5是例示按每个手术操作者信息52和手法信息53设定的声音操作设定信息的图。
例如,即使在手术操作者信息52中设定表示同一手术操作者的“医生A”,也如果在手法信息53中设定分别不同的手法“腹腔镜胆囊切除术”和“LADG(腹腔镜辅助远端胃大部切除早期胃癌)”,则即使是同一声音识别命令55,也能够分别按每个手法来设定有效或无效状态56。如果手术操作者信息52设定了相互不同的手术操作者“医生A”、“医生B”,则即使是同一声音识别命令55,也能够分别对手术操作者设定有效或无效状态56。
关于声音操作设定信息,不仅构成为按每个手术操作者信息52和手法信息53来设定,并且也可以构成为按每个手术的进行阶段来设定声音识别命令55的有效或无效。在以后的说明中,将手术的进行阶段设为“场景”。
图6是例示按每个手术操作者信息52、手法信息53以及场景来设定的声音操作设定信息的图。图6示出在手术操作者医生A进行腹腔镜胆囊切除术时根据其阶段、具体地说对“开腹”的场景和“缝合”的场景分别设定声音识别命令55的有效或无效状态56的例子。图6的场景信息54是用于识别场景的信息。
例如,在开腹场景中,有效地设定用于对所使用的电手术刀装置13进行控制的声音识别命令55。在图6的例子中,在场景信息54“开腹”的声音操作设定信息中,将声音识别命令55中的、在开腹场景中利用的“电手术刀输出上升”、“电手术刀输出下降”设定为“有效”。其另一方面,在之后的缝合场景中,不需要电手术刀装置13的控制。因此,在图6的例子中,在场景信息54“缝合”的声音操作设定信息中,将同一声音识别命令55“电手术刀输出上升”、“电手术刀输出下降”设定为“无效”。
这样,按每个场景信息54,将该场景所需的声音识别命令55设定为有效,并且将不需要的声音识别命令55设定为无效,由此有效地防止所输入的声音命令被误识别为不需要的声音识别命令55这一情况。
图7是表示本实施方式所涉及的系统控制器22的控制部41通过声音识别进行外围设备的控制的处理的流程图。控制部41以系统控制器22被启动的情况为契机开始图7示出的处理。
首先,在步骤S1中,根据手术操作者登录时输入的信息来确定手术操作者信息52。图8的画面80A是在步骤S1中操作面板21所显示的画面例。显示在系统控制器22中登记的一个以上的手术操作者信息52的列表81。当对从列表81中选择的手术操作者信息52的登录进行识别时,控制部41判断为登录的识别的手术操作者信息52得到了确定。
在步骤S2中确定手法信息。图8的画面80B是在步骤S2中操作面板21所显示的画面例。关于在步骤S1中指定的手术操作者信息52,在存储部50显示登记有声音操作设定信息的一个以上的手法信息53的列表82。当从列表82中选择表示在内窥镜手术使用的手法的手法信息53时,判断为所选择的手法信息53得到了确定。
在步骤S3中,决定与在步骤S1和步骤S2中指定的手术操作者信息52和手法信息53对应的有效的声音识别命令55。为了决定有效的声音识别命令55,首先从存储部50读出与手术操作者信息52和手法信息53对应的声音操作设定信息。
图8的画面80C是在步骤S3中操作面板21所显示的画面例。显示从存储部50读出的、与所指定的手术操作者信息52和手法信息53对应的声音操作设定信息。在画面中的声音识别命令列表83中显示存储部50所登记的声音识别命令55的一部分以及对应的有效或无效状态56。
当手术操作者等使用者按下设定按钮84时,控制部41决定有效的声音识别命令55。即,控制部41在以后的处理中根据画面80C中所显示的声音操作设定信息来判断声音识别命令55的有效或无效。
在步骤S4中,判断是否设定场景。图8的画面80D是在步骤S4中操作面板21所显示的画面例。在手术操作者等使用者按下画面80D的设定按钮85的情况下,判断为进行场景设定。在不进行场景设定的情况下,不特别进行处理,使处理转移到步骤S7。在进行场景设定的情况下,进入到步骤S5。
在步骤S5中,从作为声音操作设定信息设定的场景中接收一个场景的选择。图9是表示在步骤S5中操作面板21所显示的画面例的图。画面80E显示与在步骤S1和步骤S2中指定的手术操作者信息52和手法信息53有关的、在存储部30中登记过的每个场景的声音操作设定信息的列表91。当通过操作面板21从列表91中选择一个场景并按下设定按钮92时,进入到步骤S6。
在步骤S6中,决定与在步骤S5选择的场景对应的有效的声音识别命令55。即,控制在以后的处理中根据与所选择的场景信息54对应的声音操作设定信息来判断声音识别命令55的有效或无效。在步骤S6中,去除在步骤S3等中上述设定的声音操作设定信息。
在步骤S7中,判断是否存在声音输入。在不存在声音输入的情况下,返回到步骤S4。在存在声音输入的情况下,进入到步骤S8。
在步骤S8中,将输入的声音信号的信号波形进行字符串化。关于将数字声音信号波形进行字符串化的技术使用公知的技术。
在步骤S9中,将在步骤S8中得到的字符串与在步骤S3或者步骤S6中设定的声音操作设定信息的声音识别命令55进行比较,判断字符串是否与在有效或无效状态56中设定为“有效”的声音识别命令55一致。在是声音识别命令55中不存在的字符串的情况下,使处理转移到步骤S11,同样地,在是被设定为“无效”的声音识别命令55的情况下,也不将命令信号发送至设备,使处理转移到步骤S11。在有效的声音识别命令55中存在一致的命令的情况下,进入到步骤S10。
在步骤S10中,将与字符串对应的操作命令发送至对应的外围设备。在接收到操作命令的外围设备中执行与操作命令相应的控制处理。
在步骤S11中,判断内窥镜手术是否结束。在手术过程中的情况下,返回到步骤S4。在由手术操作者等使用者对操作面板21进行操作而识别到手术结束这一情况的情况下,结束处理。
如上所述,根据本实施方式所涉及的内窥镜手术系统3,按每个手术操作者、手法(和场景),来预先设定表示按通过声音识别来控制外围设备的每个声音识别命令55为有效或者无效的信息。在将所输入的声音信号进行字符串化来进行声音识别时,在字符串与被设定为有效的声音识别命令55一致的情况下,发送与外围设备对应的操作命令。能够将对于手术操作者、手法、场景来说必要性高的声音识别命令设定为有效,将必要性低的声音识别命令设定为无效。由此,即使在存在声音类似的声音识别命令的情况下,也由于在必要性低的情况下设定为无效而无视成为无效的声音识别命令55,使得将操作命令发送至外围设备的处理停止,因此有效地防止声音识别命令的误识别。而且,通过防止声音识别命令的误识别,能够有效地防止对外围设备发送错误的操作命令。
<第二实施方式>
在上述实施方式中,根据通过所输的声音得到的字符串是否与在声音操作设定信息中被设定为有效的声音识别命令55一致,来进行声音识别判断。与之相比,在本实施方式中不同点在于,即使通过所输入的声音得到的字符串与声音识别命令55不完全一致,也以满足规定的条件这一情况为条件进行声音识别判断。
下面,以与第一实施方式不同的点为中心,说明本实施方式所涉及的内窥镜手术系统3通过声音识别进行外围设备的控制的方法。
在本实施方式中,内窥镜手术系统3的结构、系统控制器22和控制部41的结构与上述实施方式相同,与图1~图3相同,因此在此省略说明。
在本实施方式中,与在上述实施方式中说明的图5、图6示出的声音操作设定信息分开地,为了进行声音识别判断处理而存储表示声音识别命令55的一部分和将声音识别命令55进行字符串化的情况下的字符数的信息。而且,根据从输入到系统控制器22的声音信号的波形得到的字符串中的、规定部位的字符和字符串整体的字符数与所存储的信息一致到什么程度,来进行声音识别。在以下说明中,将在与基于波形得到的字符串进行比较中使用的信息、即按每个声音识别命令55而将声音识别命令55的一部分字符以及命令整体的字符数对应得到的信息设为部分比较用信息。
图10是说明参照声音识别命令的部分比较用信息对基于声音信号的波形得到的字符串进行声音识别判断的方法的图。
如图10所示,在部分比较用信息95中,与声音识别命令68对应地,按每个声音识别命令设定有初始字符69、最后字符70、字符数71以及字符数阈值72。
对部分比较用信息95中的初始字符69和最后字符70分别设定以字符串表示声音识别命令68的情况下的第一个字符和最后字符。将字符数71设定为以字符串表示声音识别命令68的情况下的字符数。将字符数阈值72设定为相对于字符数71占规定比例的字符数。在图10示出的实施例中,将字符数71中的二分之一的字符数设定为字符数阈值71。在声音识别判断中为了与将声音信息进行字符串化而得到的命令的字符数进行比较而使用字符数阈值72。
在图10中的输入声音64中保存基于声音信号波形得到的字符串。关于输入声音64,也求出字符串的初始字符、最后字符以及字符数,保存到图10的初始字符65、最后字符66以及字符数67。在以下本实施方式的说明中将输入声音64、初始字符65、最后字符66以及字符数67设为输入信息94。
具体地说明使用图10示出的信息来如何进行声音识别判断。
图11是表示本实施方式所涉及的系统控制器22的控制部41通过声音识别进行外围设备的控制的处理的流程图。参照图11,具体说明根据图10示出的输入信息94和部分比较用信息95来基于输入声音64对操作命令进行声音识别而控制外围设备的方法。此外,控制部41开始进行图11的处理与上述实施方式同样地以系统控制器22的启动为契机。在图11中进行了省略,但是启动系统控制器22而执行图7的步骤S1~步骤S6的处理之后,转移到图11的步骤S21的处理。即,读出与手术操作者信息52、手法信息53等对应的声音操作设定信息,决定有效的声音识别命令55之后执行图11的处理。
首先,在步骤S21中,判断是否存在声音的输入。在不存在声音的输入的情况下,待机到声音输入到系统控制器22的控制部41为止。在存在声音的输入的情况下,进入到步骤S22。
在步骤S22中,将所输入的声音信号的信号波形进行字符串化。
在步骤S23中,根据在步骤S22中得到的字符串算出字符数。然后,在步骤S24中从字符串提取初始字符和最后字符。将在步骤S23和步骤S24中得到的字符数、最初和最后字符作为图10的输入信息94的字符数67、初始字符65以及最后字符66,来与基于输入声音(得到的字符串)64对应关联地存储。
在步骤S25中,判断在部分比较用信息95所保存的信息中是否存在与输入信息94的初始字符65一致的初始字符69。在不存在一致的初始字符69的情况下,使处理转移到步骤S29。在存在一致的初始字符69的情况下,进入到步骤S26。
在步骤S26中,判断在部分比较用信息95所保存的信息中是否存在与提取的最后字符66一致的最后字符70。在此,参照与在步骤S25中判断为与初始字符65一致的初始字符69对应的声音识别命令68的最后字符70,判断输入信息94的最后字符66与最后字符70是否相互一致。在输入信息94中的最后字符66与比较对象的最后字符70彼此一致的情况下,使处理转移到步骤S29。在输入信息94中的最后字符66与比较对象的最后字符70彼此一致的情况下,进入到步骤S27。
在步骤S27中,将输入信息94中的字符数67与在步骤S26中最后字符70与输入信息94中的最后字符67一致的声音识别命令68的字符数阈值72进行比较。在字符数67低于字符数阈值72的情况下,使处理转移到步骤S29。在字符数67为字符数阈值72以上的情况下,进入到步骤S28。
步骤S28和步骤S29与图7的步骤S10和步骤S11的处理分别相同。
此外,在图11的步骤S27中,判断输入声音64的字符数67是否超过部分比较用信息95中的比较对象的声音识别命令68的字符数阈值72、即输入声音64的字符数67是否超过字符数71的二分之一。在输入声音64的字符数67占声音识别命令68的字符数的固定比例以上的情况下,即使输入声音64与声音识别命令68不完全一致,也在声音识别判断中判断声音识别命令的有效或无效判断。例如参照图5、图6的声音操作设定信息来进行声音识别命令的有效或无效的判断。声音识别命令的有效或无效的判断方法的详细情况与上述实施方式的说明中说明的情况相同。
图10中的、(1)表示输入声音64与声音识别命令68一致的情况,(2)表示输入声音64与声音识别命令68不一致的情况。参照图10说明通过本实施方式判断与输入声音对应的声音识别命令的处理的效果。
如(1)所示,如果输入声音64的字符串与声音识别命令68一致,则即使通过图7示出的上述实施方式所涉及的方法来进行声音识别判断,手术操作者等使用者也能够通过声音输入进行期望的外围设备的控制。但是,如(2)所示,在输入声音64无法如手术操作者等使用者期望的那样被识别的情况下,通过本实施方式所涉及的方法进行声音识别判断来能够进行外围设备的控制。
具体地说,如(2)所示,即使在输入声音64的字符串被识别为“でんぴめすすーりょあぷ(电手术刀出上升)”的情况下,初始字符65“で”和最后字符66“ぷ”也分别与声音识别命令68“電気メス出力アップ(电手术刀输出上升)”的初始字符69和最后字符70一致。另外,输入声音64的字符数67被识别为10字符,与“電気メス出力アップ(电手术刀输出提高)”的字符数“12字符”不同。即使在这种情况下,超过声音识别命令68“电手术刀输出提高”的字符数阈值72即“6字符”。因此,即使输入声音64的字符串与声音识别命令不完全一致,通过输入声音64也能够判断为输入了声音识别命令“電気メス出力アップ(电手术刀输出提高)”。
关于字符数多的声音识别命令68等,由于噪声等无法正确地收集中途的声音,有时被识别为错误的字符或者漏掉字符。即使在这种情况下,例如如果是如最初和最后字符那样的部分字符一致且字符数接近固定以上声音识别命令,则该声音识别命令被判断为声音输入而进行声音识别判断,由此声音识别命令被判断为不识别的频率降低。
这样,在本实施方式所涉及的内窥镜手术系统3中,在进行声音识别将操作命令发送至外围设备时,不需要输入声音64全部与声音识别命令68一致。判断是否存在输入声音64的一部分(在上述例子中最初和最后的各一个字符)与声音识别命令68中的对应的部位彼此一致且输入声音64的字符数占声音识别命令68的字符数的固定比例以上的声音识别命令68。在满足条件的声音识别命令68被包含在部分比较用信息的情况下,对满足条件的声音识别命令68进行声音识别判断。即使输入声音64的全部字符不是与声音识别命令68完全一致,也能够进行声音识别判断,将对应的操作命令发送至外围设备。由此,除了上述实施方式所涉及的声音识别判断处理的效果以外,能够进一步提高声音识别命令的识别率。
此外,在上述实施例中,将字符串中的初始字符以及最后字符与声音识别命令的初始字符以及最后字符进行比较,但是并不限定于此。另外,要比较的字符并不限定于字符串中的每一个字符。并且,在上述实施例中,作为字符数阈值72设定了声音识别命令68的字符数的二分之一,但是作为阈值并不限定于声音识别命令68的字符数的二分之一。另外,在上述实施例中,将输入声音64的字符数与阈值进行比较,但是,例如如果是在系统控制器22中能够识别输入声音的声音数的结构,则也可以将输入声音64的声音数与根据声音识别命令68的声音数设定的阈值进行比较。
<第三实施方式>
在上述实施方式中,对从图1等的麦克风33输入的声音直接进行处理而在声音识别判断处理中利用。与之相比,在本实施方式中的不同点在于,系统控制器22在将从麦克风33输入的声音调整为适当的音量之后进行声音识别判断处理。
下面,以与第一实施方式不同的点为中心,说明本实施方式所涉及的内窥镜手术系统3通过声音识别进行外围设备的控制的方法。
在本实施方式中,内窥镜手术系统3的结构、系统控制器22的结构与上述实施方式相同,与图1和图2相同,因此在此省略说明。
图12是控制部41的功能框图。图12示出的控制部41在声音识别控制部58中除了具备输入声音信号变换部62和声音识别判断部59以外还具备输入音量调整部63,这一点与上述实施方式不同。
输入音量调整部63根据从图2的A/D变换部45输入的数字声音信号的波形来测量音量,调整音量以使测量得到的音量在规定的范围内。调整音量得到的声音信号被输入到输入声音信号变换部62。输入声音信号变换部62和声音识别判断部59的动作与上述实施方式相同。
参照流程图进一步详细说明本实施方式所涉及的声音识别判断方法。
图13是表示本实施方式所涉及的系统控制器22的控制部41通过声音识别进行外围设备的控制的处理的流程图。参照图13,具体说明调整声音信号的音量之后进行声音识别判断的方法。此外,控制部41开始进行图13的处理与上述实施方式同样地以系统控制器22的启动为契机。另外,在图13中进行了省略,但是在启动系统控制器22而执行图7的步骤S1~步骤S6的处理之后,转移到图13的步骤S31的处理。即,在读出与手术操作者信息52、手法信息53等对应的声音操作设定信息并决定有效的声音识别命令55之后执行图13的处理。
首先,在步骤S31中,判断是否存在声音的输入。与图11的步骤S21同样地,在不存在声音的输入的情况下,待机到声音被输入到系统控制器22的控制部41为止,在存在声音的输入的情况下,进入到下一个步骤。
在步骤S32中,根据从A/D变换部45输入到控制部41的数字声音信号波形来测量输入音量。关于输入音量的测量技术使用公知的技术。
在步骤S33中,判断测量得到的音量是否满足预先存储在存储部50中的音量基准值。音量基准值例如包含适合于声音识别的音量的上限值和下限值。在音量满足音量基准值的情况下,不特别进行处理,进入到步骤S35。在音量不满足音量基准值的情况下,进入到步骤S34。
在步骤S34中,增减输入声音信号以使输入声音数据的音量满足音量基准值。
步骤S35以后的处理与图7的步骤8以后的处理相同。
这样,根据本实施方式所涉及的内窥镜手术系统3,在需要的情况下进行调整以使所输入的声音信号的音量满足音量基准值之后,执行声音识别判断处理,通过声音识别进行外围设备的控制。例如在输入音量小的情况下,维持原有的音量难以使输入声音字符串化,有时被判断为不识别,但是本实施方式有效地防止该情况。另外,即使在输入音量大的情况下,也能够将输入音量调整为适合于声音识别的软件的范围内。由此,除了上述实施方式所涉及的声音识别判断处理的效果以外,还能够有效地防止被判断为不识别的概率下降。
此外,在上述实施例中,对第一实施方式所涉及的声音识别判断处理应用调整音量的处理,但是并不限定于此。例如,也可以对第二实施方式所涉及的声音判断处理应用音量调整处理。
<第四实施方式>
在第一实施方式中,按每个手术操作者、手法、场景来能够设定声音识别命令的有效或无效。与之相比,在本实施方式中不同点在于,按每个手术室能够设定声音识别命令的有效或无效。
下面,与第一实施方式不同的点为中心,说明本实施方式所涉及的内窥镜手术系统3通过声音识别进行外围设备的控制的方法。
在本实施方式中,内窥镜手术系统3的结构、系统控制器22和控制部41的结构与上述实施方式相同,与图1~图3相同,因此在此省略说明。
但是,在本实施方式中,预先登记在存储部50的声音操作设定信息构成为能够按识别手术室的每个手术室信息来设定每个声音识别命令55的有效或无效状态56。例如,手术所需的外围设备等根据内窥镜手术的种类不同而不同,因此有时按每个手术室分别设置适合于特定的手术的设备。在这种情况下,按每个手术室、即内窥镜手术的种类来将必要性高的声音识别命令55设定为有效,将不需要的命令设定为无效,由此更有效地防止误识别。
在实施例中,还构成能够设定每个场景的声音识别命令55的有效或无效状态56。下面,参照流程图具体地说明在适合于特定的手术的手术室中按每个场景决定有效的声音识别命令55而进行声音识别判断而进行外围设备的控制的方法。
图14是表示本实施方式所涉及的系统控制器22的控制部41通过声音识别进行外围设备的控制的处理的流程图。控制部41经由显示I/F51等以对手术操作者进入到规定的手术室的情况、设置于规定的手术室内的系统控制器22被启动的情况进行检测这一情况为契机开始进行图14示出的处理。当读出与手术室对应的声音操作信息时,系统控制器22的控制部41执行步骤S41的处理。
在步骤S41中,决定有效的声音识别命令55。有效的声音识别命令55的决定方法与图7的步骤S3的说明相同。
在步骤S42中,判断是否进行场景设定。如上所述,按每个手术室或者每个场景来设定声音操作设定信息。在不进行场景设定的情况下,不特别进行处理,使处理转移到步骤S45。在进行场景设定的情况下,进入到步骤S43。
步骤S43以后的处理与图7的步骤S5以后的处理相同。
这样,根据本实施方式所涉及的内窥镜手术系统3,能够使用每个手术室的声音操作信息来判断声音识别命令55的有效或无效。将在特定的手术中常使用的声音识别命令设定为有效,将几乎不使用的声音识别命令设定为无效,由此得到与第一实施方式所涉及的内窥镜手术系统3相同的效果。
除此以外,本发明在不脱离本发明的宗旨的范围内还能够进行各种改进和变更。例如,可以从上述各实施方式示出的整体结构删除几个结构要素,也可以进一步适当地组合各实施方式的不同的结构要素。
并且,在上述第一~第四内窥镜手术系统3中,例如也可以具备以下结构:具备检测或测量手术操作者的视线的单元以及声音操作用的监视器,在手术操作者进行声音操作时,通过观察声音操作用监视器而声音操作变为有效。有效地防止由于手术操作者的声音通过图1的麦克风33在未考虑基于外围设备的操作的情况下的对话等而错误地进行声音识别判断并对外围设备发送错误的操作命令而进行错误动作这一情况。
Claims (6)
1.一种内窥镜手术系统,具有通过声音识别对所连接的外围设备进行控制的功能,其特征在于,具备:
存储部,其按每个内窥镜手术的手术操作者以及手法来对应关联地存储用于控制上述外围设备的命令以及上述命令各自是有效还是无效;
指定部,其接收对上述手术操作者以及手法的指定;
变换部,其识别所输入的声音并将输入的声音字符串化;
判断部,其参照上述存储部,判断在上述变换部中得到的字符串是否与通过上述指定部指定的手术操作者以及手法的被设定为有效的命令一致;以及
发送部,其停止将由上述判断部判断为无效的命令发送到对应的外围设备的发送处理。
2.根据权利要求1所述的内窥镜手术系统,其特征在于,
还具备场景指定部,该场景指定部接收对上述内窥镜手术的场景的指定,
上述存储部按每个上述手术操作者以及手法来存储每个上述场景中的上述命令各自是有效还是无效,
在上述场景指定部中接收到场景的情况下,上述判断部判断上述字符串是否与通过上述指定部接收到的手术操作者以及手法的、所接收到的该场景的、在上述存储部中被设定为有效的命令一致。
3.根据权利要求1或2所述的内窥镜手术系统,其特征在于,
上述判断部根据在上述变换部中得到的字符串是否与在上述存储部中存储的命令部分一致以及该字符串的字符数或者声音数是否占该存储部中存储的命令的字符数或者声音数的规定比例以上,来判断该字符串是否与在该存储部中被设定为有效的命令一致。
4.根据权利要求1或2所述的内窥镜手术系统,其特征在于,
还具备调整部,该调整部测量所输入的声音的音量,并调整音量以使测量得到的该音量在规定的范围内,
上述变换部对由上述调整部调整音量后得到的声音进行字符串化的处理。
5.一种内窥镜手术系统,具有通过声音识别对所连接的外围设备进行控制的功能,其特征在于,具备:
存储部,其按每个内窥镜手术的手术操作者以及手法,来对应关联地存储用于控制上述外围设备的命令以及上述命令各自是有效还是无效;
指定部,其接收对上述手术操作者以及手法的指定;
变换部,其识别所输入的声音并将所输入的声音字符串化;
判断部,其参照上述存储部,来判断在上述变换部中得到的字符串是否与通过上述指定部指定的手术操作者以及手法的被设定为有效的命令一致;以及
发送部,其将由上述判断部判断为一致的命令发送到对应的外围设备。
6.一种内窥镜手术系统,具有通过声音识别对所连接的外围设备进行控制的功能,其特征在于,具备:
存储部,其按每个窥镜手术的手术操作者以及手法,来对应关联地存储用于控制上述外围设备的命令以及上述命令各自是有效还是无效;
指定部,其接收用于识别进行内窥镜手术的房间的信息;
变换部,其识别所输入的声音并将所输入的声音字符串化;
判断部,其参照上述存储部,来判断通过上述变换部得到的字符串是否与通过上述指定部指定的房间的被设定为有效的命令一致;以及
发送部,其将由上述判断部判断为一致的命令发送到对应的外围设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-233559 | 2011-10-25 | ||
JP2011233559 | 2011-10-25 | ||
PCT/JP2012/076906 WO2013061857A1 (ja) | 2011-10-25 | 2012-10-18 | 内視鏡手術システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103460281A true CN103460281A (zh) | 2013-12-18 |
CN103460281B CN103460281B (zh) | 2015-12-23 |
Family
ID=48167689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280014971.0A Active CN103460281B (zh) | 2011-10-25 | 2012-10-18 | 内窥镜手术系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8903728B2 (zh) |
EP (1) | EP2665059B1 (zh) |
JP (1) | JP5326066B1 (zh) |
CN (1) | CN103460281B (zh) |
WO (1) | WO2013061857A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106128457A (zh) * | 2016-08-29 | 2016-11-16 | 昆山邦泰汽车零部件制造有限公司 | 一种对话机器人的控制方法 |
CN106328137A (zh) * | 2016-08-19 | 2017-01-11 | 镇江惠通电子有限公司 | 语音控制方法、装置及系统 |
CN107209918A (zh) * | 2015-01-28 | 2017-09-26 | 奥林巴斯株式会社 | 检查业务辅助系统 |
CN108652675A (zh) * | 2018-02-11 | 2018-10-16 | 江苏金羿智芯科技有限公司 | 一种基于人工智能的内窥镜图像去雾系统 |
CN111712209A (zh) * | 2017-12-11 | 2020-09-25 | 奥林巴斯株式会社 | 集中控制装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6102588B2 (ja) * | 2013-07-10 | 2017-03-29 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9767795B2 (en) * | 2013-12-26 | 2017-09-19 | Panasonic Intellectual Property Management Co., Ltd. | Speech recognition processing device, speech recognition processing method and display device |
US10339928B2 (en) | 2014-10-24 | 2019-07-02 | Sony Interactive Entertainment Inc. | Control device, control method, program and information storage medium |
WO2016063564A1 (ja) * | 2014-10-24 | 2016-04-28 | 株式会社ソニー・コンピュータエンタテインメント | 制御装置、制御方法、プログラム及び情報記憶媒体 |
JP2018054850A (ja) * | 2016-09-28 | 2018-04-05 | 株式会社東芝 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
CN108055617B (zh) * | 2017-12-12 | 2020-12-15 | 广东小天才科技有限公司 | 一种麦克风的唤醒方法、装置、终端设备及存储介质 |
WO2019116644A1 (ja) * | 2017-12-13 | 2019-06-20 | オリンパス株式会社 | 内視鏡システムおよび制御方法 |
JP2020190756A (ja) * | 2020-08-24 | 2020-11-26 | ヤマハ株式会社 | 管理装置およびプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175095A (ja) * | 1997-12-11 | 1999-07-02 | Hitachi Medical Corp | 医用診断装置 |
US20020002465A1 (en) * | 1996-02-02 | 2002-01-03 | Maes Stephane Herman | Text independent speaker recognition for transparent command ambiguity resolution and continuous access control |
US6463361B1 (en) * | 1994-09-22 | 2002-10-08 | Computer Motion, Inc. | Speech interface for an automated endoscopic system |
JP2004199004A (ja) * | 2002-12-20 | 2004-07-15 | Olympus Corp | 音声入力医用制御システム |
US20040236871A1 (en) * | 2003-05-22 | 2004-11-25 | Bruce Waxman | Surgical safety procedure and apparatus |
US20040260562A1 (en) * | 2003-01-30 | 2004-12-23 | Toshihiro Kujirai | Speech interaction type arrangements |
WO2006057839A1 (en) * | 2004-11-23 | 2006-06-01 | Medical Digital Developers Llc | Medical media capture system and method |
CN101146177A (zh) * | 2006-09-12 | 2008-03-19 | 索尼株式会社 | 视频信号生成装置、视频信号接收装置以及视频信号生成和接收系统 |
US20090177477A1 (en) * | 2007-10-08 | 2009-07-09 | Nenov Valeriy I | Voice-Controlled Clinical Information Dashboard |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3438293B2 (ja) | 1993-09-30 | 2003-08-18 | 株式会社明電舎 | 音声認識における単語テンプレートの自動作成方法 |
US6911916B1 (en) * | 1996-06-24 | 2005-06-28 | The Cleveland Clinic Foundation | Method and apparatus for accessing medical data over a network |
US5893064A (en) * | 1997-05-14 | 1999-04-06 | K2 Interactive Llc | Speech recognition method and apparatus with voice commands and associated keystrokes |
DE69712485T2 (de) * | 1997-10-23 | 2002-12-12 | Sony Int Europe Gmbh | Sprachschnittstelle für ein Hausnetzwerk |
US6587824B1 (en) * | 2000-05-04 | 2003-07-01 | Visteon Global Technologies, Inc. | Selective speaker adaptation for an in-vehicle speech recognition system |
JP3383640B2 (ja) | 2000-10-13 | 2003-03-04 | スーパーマリンガスタービン技術研究組合 | 熱交換器 |
JP2002123291A (ja) | 2000-10-18 | 2002-04-26 | Olympus Optical Co Ltd | システム制御装置 |
JP2002132283A (ja) * | 2000-10-25 | 2002-05-09 | Olympus Optical Co Ltd | 医療用制御システム |
JP3678360B2 (ja) | 2002-01-31 | 2005-08-03 | 日本電信電話株式会社 | 音声入力を利用する漢字文字列特定装置およびその方法 |
US7249025B2 (en) * | 2003-05-09 | 2007-07-24 | Matsushita Electric Industrial Co., Ltd. | Portable device for enhanced security and accessibility |
US7373248B2 (en) * | 2004-09-10 | 2008-05-13 | Atx Group, Inc. | Systems and methods for off-board voice-automated vehicle navigation |
US8014756B1 (en) * | 2007-02-28 | 2011-09-06 | Intuit Inc. | Mobile authorization service |
-
2012
- 2012-10-18 CN CN201280014971.0A patent/CN103460281B/zh active Active
- 2012-10-18 EP EP12844263.9A patent/EP2665059B1/en active Active
- 2012-10-18 JP JP2013518032A patent/JP5326066B1/ja active Active
- 2012-10-18 WO PCT/JP2012/076906 patent/WO2013061857A1/ja active Application Filing
-
2013
- 2013-04-19 US US13/866,697 patent/US8903728B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6463361B1 (en) * | 1994-09-22 | 2002-10-08 | Computer Motion, Inc. | Speech interface for an automated endoscopic system |
US20020002465A1 (en) * | 1996-02-02 | 2002-01-03 | Maes Stephane Herman | Text independent speaker recognition for transparent command ambiguity resolution and continuous access control |
JPH11175095A (ja) * | 1997-12-11 | 1999-07-02 | Hitachi Medical Corp | 医用診断装置 |
JP2004199004A (ja) * | 2002-12-20 | 2004-07-15 | Olympus Corp | 音声入力医用制御システム |
US20040260562A1 (en) * | 2003-01-30 | 2004-12-23 | Toshihiro Kujirai | Speech interaction type arrangements |
US20040236871A1 (en) * | 2003-05-22 | 2004-11-25 | Bruce Waxman | Surgical safety procedure and apparatus |
WO2006057839A1 (en) * | 2004-11-23 | 2006-06-01 | Medical Digital Developers Llc | Medical media capture system and method |
CN101146177A (zh) * | 2006-09-12 | 2008-03-19 | 索尼株式会社 | 视频信号生成装置、视频信号接收装置以及视频信号生成和接收系统 |
US20090177477A1 (en) * | 2007-10-08 | 2009-07-09 | Nenov Valeriy I | Voice-Controlled Clinical Information Dashboard |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209918A (zh) * | 2015-01-28 | 2017-09-26 | 奥林巴斯株式会社 | 检查业务辅助系统 |
CN107209918B (zh) * | 2015-01-28 | 2020-11-13 | 奥林巴斯株式会社 | 检查业务辅助系统 |
CN106328137A (zh) * | 2016-08-19 | 2017-01-11 | 镇江惠通电子有限公司 | 语音控制方法、装置及系统 |
CN106128457A (zh) * | 2016-08-29 | 2016-11-16 | 昆山邦泰汽车零部件制造有限公司 | 一种对话机器人的控制方法 |
CN111712209A (zh) * | 2017-12-11 | 2020-09-25 | 奥林巴斯株式会社 | 集中控制装置 |
CN111712209B (zh) * | 2017-12-11 | 2024-03-08 | 奥林巴斯株式会社 | 集中控制装置 |
CN108652675A (zh) * | 2018-02-11 | 2018-10-16 | 江苏金羿智芯科技有限公司 | 一种基于人工智能的内窥镜图像去雾系统 |
Also Published As
Publication number | Publication date |
---|---|
US8903728B2 (en) | 2014-12-02 |
JPWO2013061857A1 (ja) | 2015-04-02 |
WO2013061857A1 (ja) | 2013-05-02 |
EP2665059A4 (en) | 2014-09-10 |
JP5326066B1 (ja) | 2013-10-30 |
US20130281987A1 (en) | 2013-10-24 |
EP2665059B1 (en) | 2016-02-10 |
EP2665059A1 (en) | 2013-11-20 |
CN103460281B (zh) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103460281A (zh) | 内窥镜手术系统 | |
JP4681908B2 (ja) | 手術機器コントローラ及びそれを用いた手術システム | |
US20080122924A1 (en) | Technique image recording control system, technique image recording control method and operation system | |
JP5356633B1 (ja) | 医療用内視鏡システム | |
CN106067891B (zh) | 用于提供车辆服务的方法和装置 | |
US8010368B2 (en) | Surgical system controlling apparatus and surgical system controlling method | |
US8154589B2 (en) | Medical operation system for verifying and analyzing a medical operation | |
US11483515B2 (en) | Image recording and reproduction apparatus, image recording method, and endoscope system | |
JP5307524B2 (ja) | 医療支援制御システム | |
JP2007080094A (ja) | アプリケーション起動管理システム | |
US10993608B2 (en) | Endoscope system and control method | |
CN104853690A (zh) | 医疗辅助装置以及医疗设备的分场景设定信息的处理方法 | |
JP2015073610A (ja) | 回診支援端末、回診台車および回診支援サーバ | |
CN109843206B (zh) | 集中控制装置 | |
CN113077446A (zh) | 一种交互方法、装置、设备和介质 | |
JP4464526B2 (ja) | 内視鏡装置の操作システム | |
JP2008264313A (ja) | 内視鏡システム | |
JP2004065822A (ja) | 遠隔診断システム | |
JP2007082630A (ja) | 統合手術室制御システム | |
KR100604582B1 (ko) | 사용자의 생체 신호를 이용하여 홈 가전기기를 제어하는 휴대용 통신 단말기 | |
JP2002336184A (ja) | 内視鏡システム | |
US20230248468A1 (en) | Medical display system, control method, and control device | |
JP2006255237A (ja) | テレビジョン受像システム、リモートコントローラおよびテレビジョン受像機 | |
JP2008093088A (ja) | 超音波診断装置 | |
CN113296722A (zh) | 显示一体机的控制方法、装置、计算机存储介质及显示一体机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20151116 Address after: Tokyo, Japan, Japan Applicant after: Olympus Corporation Address before: Tokyo, Japan, Japan Applicant before: Olympus Medical Systems Corp. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |