JP2006218230A - Medical system - Google Patents

Medical system Download PDF

Info

Publication number
JP2006218230A
JP2006218230A JP2005036967A JP2005036967A JP2006218230A JP 2006218230 A JP2006218230 A JP 2006218230A JP 2005036967 A JP2005036967 A JP 2005036967A JP 2005036967 A JP2005036967 A JP 2005036967A JP 2006218230 A JP2006218230 A JP 2006218230A
Authority
JP
Japan
Prior art keywords
medical
vocabulary
voice
character string
medical device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005036967A
Other languages
Japanese (ja)
Inventor
Kiyoshi Sekiguchi
潔志 関口
Masahide Yamaki
正英 八巻
Takechiyo Nakamitsu
竹千代 中満
Masaru Ito
賢 伊藤
Hiroyuki Ushifusa
浩行 牛房
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005036967A priority Critical patent/JP2006218230A/en
Publication of JP2006218230A publication Critical patent/JP2006218230A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a medical system having a dictation function creating text data with less waste information, capable of associating them with other data, and creating the highly usable text data as treatment record data. <P>SOLUTION: This medical system which comprises a plurality of medical devices, and a medical device control device connected to the medical devices and controlling the medical devices solves the problem by having a sound input means for inputting sound, a sound/string conversion means recognizing the sound input from the sound input means and converting the sound into strings, a medical-related lexicon storage means storing a medical-related lexicon, or the lexicon related to medical care, and a medical lexicon extraction means extracting the medical-related lexicon from phonetic letters indicating the sound converted into the strings by the sound/string conversion means. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、TVカメラ、気腹器、ソノサージ、電気メス、結石破砕装置、VTR、プリンタ等の周辺機器を集中操作パネルやリモコンで集中制御することが可能で、またディクテーション機能により音声をテキストに変換して電子カルテ等に使用するコントローラーを持つ医療用システムに関する。   The present invention enables centralized control of peripheral devices such as a TV camera, insufflator, sonosurge, electrosurgical unit, stone crushing device, VTR, printer, etc. with a central operation panel or remote control, and voice is converted into text by a dictation function. The present invention relates to a medical system having a controller that is used for electronic medical records after conversion.

近年では内視鏡を用いた外科手術が行われている。この内視鏡外科手術では、腹腔内を膨張させるために用いる気腹装置や手技を行うための処置装置等を用いて、ある生体組織の切除をしたり、または高周波焼灼装置を用いて止血をしたりする場合、内視鏡で観察しながらこれらの処置を行うことができる。   In recent years, a surgical operation using an endoscope has been performed. In this endoscopic surgery, a pneumothorax device used to inflate the abdominal cavity, a treatment device for performing a procedure, etc. are used to excise a living tissue or to stop hemostasis using a high-frequency cautery device. If so, these treatments can be performed while observing with an endoscope.

また、これら複数の各種機器を備えた内視鏡手術システムにおいて、複数の装置を容易に操作、制御することができ、またシステムの操作力性を向上させるため、例えば、表示パネル、遠隔操作装置、集中操作パネル、マイク等の機器を備えている(例えば、特許文献1、特許文献2。)。   Further, in an endoscopic surgery system provided with these various devices, a plurality of devices can be easily operated and controlled, and in order to improve the operability of the system, for example, a display panel, a remote control device, etc. And a central operation panel, a microphone, and the like (for example, Patent Document 1 and Patent Document 2).

表示パネルは、術者が滅菌域で各種機器の設定状態を確認するための表示手段であって、例えば液晶パネルなどである。遠隔操作装置は、術者が滅菌域で操作し各種機器の機能または設定値を変更するための遠隔操作手段であって、例えばリモコン(リモートコントローラ)である。集中操作パネルは、術者の指示に従って看護師等の補助者が非滅菌域で操作し各種機器の機能または設定値を変更するための各機器の操作スイッチをタッチパネルに設けた集ものである。マイクは、音声で各種機器を操作するために用いられる(例えば、特許文献2。)。   The display panel is a display means for the operator to check the setting state of various devices in the sterilization area, and is, for example, a liquid crystal panel. The remote operation device is a remote operation means for an operator to operate in a sterilization area and change functions or set values of various devices, and is, for example, a remote controller (remote controller). The central operation panel is a collection in which operation switches of each device are provided on the touch panel for an assistant such as a nurse to operate in a non-sterile area in accordance with an operator's instruction to change the function or set value of various devices. The microphone is used for operating various devices by voice (for example, Patent Document 2).

上記の通り、最近では、音声認識によりユーザの発音を認識し、接続機器の操作を行う機能(音声コマンド制御機能)や、術中・検査中に術者が発音した所見内容を音声認識しテキストデータに変換し電子カルテ等の作成に役立てるディクテーション(Dictation)機能を備える内視鏡システムが存在する。
特開2002−336184号公報 特開2001−344346号公報
As described above, recently, voice recognition has been used to recognize user's pronunciation and operate connected devices (voice command control function), as well as voice data that recognizes the findings made by the surgeon during and during surgery. There is an endoscope system provided with a dictation function that is used for creating an electronic medical record or the like after being converted into a medical record.
JP 2002-336184 A JP 2001-344346 A

しかしながら、従来用いられているディクテーション機能は、発話した言葉を全てテキスト変換してしまうため、不要な言葉(例えば、助手への指示の言葉等)等の無駄な情報が多くなってしまうという問題があった。   However, the conventionally used dictation function converts all the spoken words into text, so there is a problem that unnecessary information such as unnecessary words (for example, words for instructions to the assistant) increases. there were.

さて、図11は、従来の内視鏡手術システムにより出力されるレポートの一例を示す。このレポートは、左側に日時が出力され、右側にその日時に対応してディクテーションされたテキストが出力されている。この場合、ディクテーションされたテキストは出力されても、実際にそのテキストの内容を行ったかどうかが明確でない。すなわち、従来、作成したテキストデータを他のデータと関連付ける事が出来ず、処置記録データとしての有用性が低かった。   FIG. 11 shows an example of a report output by a conventional endoscopic surgery system. In this report, the date and time are output on the left side, and the dictated text is output on the right side. In this case, even if the dictated text is output, it is not clear whether the text has actually been processed. That is, conventionally, the created text data cannot be associated with other data, and the usefulness as treatment record data has been low.

上記課題に鑑み、本発明では、ディクテーション機能で作成したテキストデータに無駄な情報が少なく、また他のデータと関連付けることができ、処置記録データとしての有用性の高いテキストデータを作成する事が可能なディクテーション機能を有する医療用システムを提供する。   In view of the above problems, in the present invention, text data created by the dictation function has little useless information, can be associated with other data, and text data highly useful as treatment record data can be created. A medical system having an excellent dictation function is provided.

上記課題は、特許請求の範囲の請求項1に記載の発明によれば、複数の医療機器と、該医療機器と接続され該医療機器を制御する医療機器制御装置とから構成される医療用システムにおいて、音声が入力される音声入力手段と、前記音声入力手段により入力された前記音声を認識して、該音声を文字列化する音声文字列化手段と、医療に関する語彙である医療関連語彙が格納されている医療関連語彙格納手段と、前記医療関連語彙手段に格納されている前記医療関連語彙に基づいて、前記音声文字列化手段により文字列化された音声を示す音声文字から該医療関連語彙を抽出する医療語彙抽出手段と、を備えることを特徴とする医療用システムを提供することによって達成できる。   According to the first aspect of the present invention, there is provided a medical system including a plurality of medical devices and a medical device control device connected to the medical devices and controlling the medical devices. , Voice input means for inputting voice, voice character string converting means for recognizing the voice input by the voice input means and converting the voice into a character string, and a medical related vocabulary which is a vocabulary related to medical care Medical-related vocabulary storage means stored on the basis of the medical-related vocabulary stored in the medical-related vocabulary means, and the medical-related This can be achieved by providing a medical system characterized by comprising medical vocabulary extracting means for extracting vocabulary.

上記課題は、特許請求の範囲の請求項2に記載の発明によれば、前記音声文字列化手段は、前記音声入力手段により入力された前記音声を認識して、該音声を文字列化した文章から語彙を抽出することを特徴とする請求項1に記載の医療用システムを提供することによって達成できる。   According to the second aspect of the present invention, the voice character string converting unit recognizes the voice input by the voice input unit and converts the voice into a character string. This can be achieved by providing the medical system according to claim 1, wherein a vocabulary is extracted from a sentence.

上記課題は、特許請求の範囲の請求項3に記載の発明によれば、前記医療関連語彙格納手段は、前記医療機器の操作状況に関する語彙群、前記医療機器に関する語彙群、医療具に関する語彙群、及び手技に関する語彙群のうち少なくともいずれかの語彙群が格納されていることを特徴とする請求項1に記載の医療用システムを提供することによって達成できる。   According to the third aspect of the present invention, the medical related vocabulary storage means includes a vocabulary group related to the operation status of the medical device, a vocabulary group related to the medical device, and a vocabulary group related to the medical device. The medical system according to claim 1, wherein at least one vocabulary group among the vocabulary groups related to the procedure and the procedure is stored.

上記課題は、特許請求の範囲の請求項4に記載の発明によれば、前記医療用システムは、さらに、前記医療機器の操作履歴情報が格納される操作履歴格納手段と、前記操作履歴情報と、前記医療関連語彙抽出手段により抽出した前記医療関連語彙とを関連付ける関連付け手段と、を備えることを特徴とする請求項1に記載の医療用システムを提供することによって達成できる。   According to the fourth aspect of the present invention, the medical system further includes an operation history storage unit that stores operation history information of the medical device, and the operation history information. The medical system according to claim 1, further comprising an association unit that associates the medical-related vocabulary extracted by the medical-related vocabulary extraction unit.

上記課題は、特許請求の範囲の請求項5に記載の発明によれば、前記複数の医療機器のうち少なくとも1つは内視鏡であり、前記医療用システムは、内視鏡システムであることを特徴とする請求項1に記載の医療用システムを提供することによって達成できる。   According to the invention described in claim 5, at least one of the plurality of medical devices is an endoscope, and the medical system is an endoscope system. This can be achieved by providing a medical system according to claim 1.

上記課題は、特許請求の範囲の請求項6に記載の発明によれば、複数の医療機器を制御する医療機器制御装置において、音声が入力される音声入力手段と、前記音声入力手段により入力された前記音声を認識して、該音声を文字列化する音声文字列化手段と、医療に関する語彙である医療関連語彙が格納されている医療関連語彙格納手段と、前記医療関連語彙手段に格納されている前記医療関連語彙に基づいて、前記音声文字列化手段により文字列化された音声を示す音声文字から該医療関連語彙を抽出する医療語彙抽出手段と、を備えることを特徴とする医療機器制御装置を提供することによって達成できる。   According to the sixth aspect of the present invention, in the medical device control apparatus that controls a plurality of medical devices, the above-described problem is input by the voice input unit that inputs voice and the voice input unit. A voice character string converting means for recognizing the voice and converting the voice into a character string; a medical related vocabulary storing means storing a medical related vocabulary as a medical vocabulary; and a medical related vocabulary means. A medical vocabulary extracting means for extracting the medical related vocabulary from the speech characters indicating the speech converted into a character string by the speech character string converting means based on the medical related vocabulary. This can be achieved by providing a control device.

上記課題は、特許請求の範囲の請求項7に記載の発明によれば、前記音声文字列化手段は、前記音声入力手段により入力された前記音声を認識して、該音声を文字列化した文章から語彙を抽出することを特徴とする請求項6に記載の医療機器制御装置を提供することによって達成できる。   According to the seventh aspect of the present invention, the voice character string converting unit recognizes the voice input by the voice input unit and converts the voice into a character string. The vocabulary is extracted from the sentence, which can be achieved by providing the medical device control device according to claim 6.

上記課題は、特許請求の範囲の請求項8に記載の発明によれば、前記医療関連語彙格納手段は、前記医療機器の操作状況に関する語彙群、前記医療機器に関する語彙群、医療具に関する語彙群、及び手技に関する語彙群のうち少なくともいずれかの語彙群が格納されていることを特徴とする請求項6に記載の医療機器制御装置を提供することによって達成できる。   According to an eighth aspect of the present invention, the medical-related vocabulary storage means includes a vocabulary group related to an operation status of the medical device, a vocabulary group related to the medical device, and a vocabulary group related to a medical device. The medical device control device according to claim 6, wherein at least one vocabulary group among vocabulary groups related to procedures and procedures is stored.

上記課題は、特許請求の範囲の請求項9に記載の発明によれば、前記医療機器制御装置は、さらに、前記医療機器の操作履歴情報が格納される操作履歴格納手段と、前記操作履歴情報と、前記医療関連語彙抽出手段により抽出した前記医療関連語彙とを関連付ける関連付け手段と、を備えることを特徴とする請求項6に記載の医療機器制御装置を提供することによって達成できる。   According to the ninth aspect of the present invention, the medical device control apparatus further includes an operation history storage unit that stores operation history information of the medical device, and the operation history information. And a means for associating the medical-related vocabulary extracted by the medical-related vocabulary extracting means with a medical device control device according to claim 6.

上記課題は、特許請求の範囲の請求項10に記載の発明によれば、音声を入力し、前記音声を認識して、該音声を文字列化し、予め登録された医療に関する語彙である医療関連語彙に基づいて、前記文字列化された音声を示す音声文字から該医療関連語彙を抽出し、前記医療関連語彙を記録することを特徴とする医療情報管理方法を提供することによって達成できる。   According to the invention described in claim 10, the subject is a medical-related vocabulary relating to medical care that is input in advance, recognizes the speech, characterizes the speech, and is registered in advance. This can be achieved by providing a medical information management method characterized in that, based on a vocabulary, the medical related vocabulary is extracted from a phonetic character indicating the characterized speech and the medical related vocabulary is recorded.

上記課題は、特許請求の範囲の請求項11に記載の発明によれば、さらに、前記医療機器の操作履歴情報と、前記抽出した前記医療関連語彙とを関連付けて記録することを特徴とする請求項10に記載の医療情報管理方法を提供することによって達成できる。   According to the eleventh aspect of the present invention, the subject is further recorded by associating the operation history information of the medical device and the extracted medical-related vocabulary. It can achieve by providing the medical information management method of claim | item 10.

本発明の医療用システムによれば、ディクテーション機能で作成したテキストデータに不要な語彙が無く、また、そのテキストデータを他の情報と連携させる事が出来る様になり、ディクテーション機能で作成したテキストデータの有用性が向上する。   According to the medical system of the present invention, there is no unnecessary vocabulary in the text data created by the dictation function, and the text data can be linked with other information. The text data created by the dictation function Improves usability.

<第1の実施形態>
図1は、本実施形態における内視鏡手術システムの全体構成を示す。内視鏡手術システム1は、患者30が横たわる患者ベッド19の両側に、第1の内視鏡手術システム2及び第2の内視鏡手術システム3が配置されている。
<First Embodiment>
FIG. 1 shows an overall configuration of an endoscopic surgery system in the present embodiment. In the endoscopic surgery system 1, a first endoscopic surgery system 2 and a second endoscopic surgery system 3 are arranged on both sides of a patient bed 19 on which a patient 30 lies.

これらの内視鏡手術システム2,3には、観察、検査、処置、記録などを行う複数の内視鏡周辺機器がそれぞれ第1の医療用トロリー12及び第2の医療用トロリー25に搭載されている。また、患者ベッド19の周辺には、可動スタンドが配置され、その可動スタンドには内視鏡表示パネル20が搭載されている。   In these endoscopic surgery systems 2 and 3, a plurality of endoscope peripheral devices that perform observation, examination, treatment, recording, and the like are mounted on the first medical trolley 12 and the second medical trolley 25, respectively. ing. A movable stand is disposed around the patient bed 19, and an endoscope display panel 20 is mounted on the movable stand.

第1の医療用トロリー12には、最上段の天板のトロリートッププレート41、中段に設けられたトロリー棚40、最下段の底板部から構成されている。トロリートッププレート41には、内視鏡表示パネル11とシステムコントローラ22が配置されている。トロリー棚40にはVTR17、ビデオプロセッサ16、内視鏡光源装置15が配置されている。底板部には、送気装置(気腹装置)14、電気メス装置13が配置されている。また、第1の医療用トロリー12のアーム部には、集中操作パネル33、集中表示パネル21が配置されている。また、第1の医療用トロリー12には、例えば不図示の超音波観測装置、またはプリンタ等を搭載しても良い。   The first medical trolley 12 includes a trolley top plate 41 that is the topmost top plate, a trolley shelf 40 that is provided in the middle level, and a bottom plate portion that is the lowest level. The endoscope display panel 11 and the system controller 22 are disposed on the trolley top plate 41. On the trolley shelf 40, the VTR 17, the video processor 16, and the endoscope light source device 15 are arranged. An air feeding device (pneumoconiosis device) 14 and an electric knife device 13 are arranged on the bottom plate portion. Further, a central operation panel 33 and a central display panel 21 are disposed on the arm portion of the first medical trolley 12. The first medical trolley 12 may be equipped with, for example, an ultrasonic observation apparatus (not shown) or a printer.

集中操作パネル33は、非滅菌域に配置され看護師等が各医療機器の操作を集中して行うものであって、図示しないマウスとタッチパネル等のポインティングデバイスを有したものであり、医療機器を集中管理・制御・操作するものである。   The centralized operation panel 33 is arranged in a non-sterile area, and a nurse or the like concentrates the operation of each medical device, and has a mouse and a pointing device such as a touch panel (not shown). Centralized management, control and operation.

それぞれの医療機器は、図示しないシリアルインターフェイスケーブルを介してシステムコントローラ22と接続され、双方向通信を行うことができる。また、システムコントローラ22には、マイク50を接続接続することができる。   Each medical device is connected to the system controller 22 via a serial interface cable (not shown) and can perform two-way communication. A microphone 50 can be connected to the system controller 22.

システムコントローラ22は、マイク50から入力された音声を後述する音声認識回路46及びCPU55(図2参照)により認識する。そして、その音声を認識後にシステムコントローラ22は、術者の音声により各機器を制御、もしくは認識結果をテキストとして表示したり、出力したりすることができる。   The system controller 22 recognizes the voice input from the microphone 50 by a voice recognition circuit 46 and a CPU 55 (see FIG. 2) described later. Then, after recognizing the voice, the system controller 22 can control each device by the surgeon's voice, or can display or output the recognition result as text.

内視鏡光源装置15は、照明光を伝送するライトガイドケーブルを介して第1の内視鏡31に接続されている。内視鏡光源装置15の照明光は、第1の内視鏡31のライトガイドに供給されると、この第1の内視鏡31の挿入部が刺入された患者3の腹部内の患部等を照明する。   The endoscope light source device 15 is connected to the first endoscope 31 via a light guide cable that transmits illumination light. When the illumination light of the endoscope light source device 15 is supplied to the light guide of the first endoscope 31, the affected part in the abdomen of the patient 3 into which the insertion part of the first endoscope 31 is inserted. Illuminate etc.

この第1の内視鏡31の接眼部には、撮像素子を備えた第1のカメラヘッド31aが装着されている。第1のカメラヘッド31a内の撮像素子を用いて、第1の内視鏡31の観察光学系による患部等の光学像が撮像される。そうすると、その撮像した光学像データがカメラケーブルを介してビデオプロセッサ16に伝送される。その光学像データはビデオプロセッサ16内の信号処理回路で信号処理されて、映像信号が生成される。そして、その映像信号がシステムコントローラ22を介して内視鏡表示パネル11に出力されて、内視鏡表示パネル11に患部等の内視鏡画像が表示される。   A first camera head 31 a provided with an image sensor is attached to the eyepiece portion of the first endoscope 31. An optical image of an affected area or the like is captured by the observation optical system of the first endoscope 31 using the imaging element in the first camera head 31a. Then, the captured optical image data is transmitted to the video processor 16 via the camera cable. The optical image data is signal-processed by a signal processing circuit in the video processor 16 to generate a video signal. Then, the video signal is output to the endoscope display panel 11 via the system controller 22, and an endoscopic image of the affected part or the like is displayed on the endoscope display panel 11.

システムコントローラ22には、図示しないMO等の外部媒体記録装置が内蔵されている。これにより、システムコントローラ22は、外部記録媒体(MO)に記録された画像を読み出して、内視鏡表示パネル11に出力して表示させることができる。また、システムコントコーラ22には、図示しない病院内に設けられたネットワーク(院内ネット)と図示しないケーブルで接続されている。これにより、システムコントローラ22は、院内ネット上の画像データ等を取得して第1の内視鏡表示パネル11に出力して表示させることができる。   The system controller 22 incorporates an external medium recording device such as an MO (not shown). Thereby, the system controller 22 can read the image recorded on the external recording medium (MO), and can output and display it on the endoscope display panel 11. The system controller 22 is connected to a network (hospital network) provided in a hospital (not shown) by a cable (not shown). As a result, the system controller 22 can acquire image data on the in-hospital network, and output and display the image data on the first endoscope display panel 11.

気腹装置14には、例えばCO2等のガスボンベ18が接続されている。そして、この気腹装置14から患者30に延びた気腹チューブ14aを介して患者30の腹部内にCO2ガスを供給できる。 For example, a gas cylinder 18 such as CO 2 is connected to the insufflation apparatus 14. Then, CO 2 gas can be supplied into the abdomen of the patient 30 through an insufflation tube 14 a extending from the insufflation apparatus 14 to the patient 30.

第2の医療用トロリー25には、最上段の天板のトロリートッププレート43、中段に設けられたトロリー棚42、最下段の底板部から構成されている。トロリートッププレート43には、内視鏡表示パネル35と中継ユニット28が配置されている。トロリー棚42にはVTR62、ビデオプロセッサ27、内視鏡光源装置26が配置されている。底板部には、その他の医療機器、例えば、超音波処置装置、砕石装置、ポンプ、シェーバ等が搭載されている。それぞれの機器は、図示しないケーブルで中継ユニット28に接続され、双方向の通信が可能になっている。   The second medical trolley 25 includes a trolley top plate 43 that is the topmost top plate, a trolley shelf 42 that is provided in the middle level, and a bottom plate portion that is the lowest level. An endoscope display panel 35 and a relay unit 28 are disposed on the trolley top plate 43. On the trolley shelf 42, a VTR 62, a video processor 27, and an endoscope light source device 26 are arranged. Other medical devices such as an ultrasonic treatment device, a lithotripsy device, a pump, and a shaver are mounted on the bottom plate portion. Each device is connected to the relay unit 28 by a cable (not shown) so that bidirectional communication is possible.

内視鏡光源装置26は、照明光を伝送するライトガイドケーブルを介して第2の内視鏡32に接続されている。内視鏡光源装置26の照明光が、第2の内視鏡32のライトガイドに供給される。そうすると、この第2の内視鏡32の挿入部が刺入された患者30の腹部内の患部等を照明する。   The endoscope light source device 26 is connected to the second endoscope 32 via a light guide cable that transmits illumination light. Illumination light from the endoscope light source device 26 is supplied to the light guide of the second endoscope 32. If it does so, the affected part etc. in the abdomen of the patient 30 in which the insertion part of this 2nd endoscope 32 was inserted will be illuminated.

この第2の内視鏡32の接眼部には、撮像素子を備えた第2のカメラヘッド32aが装着されている。第2のカメラヘッド32a内の撮像素子を用いて、第2の内視鏡32の観察光学系による患部等の光学像が撮像される。そうすると、その撮像した光学像データがカメラケーブルを介してビデオプロセッサ27に伝送される。その光学像データはビデオプロセッサ27内の信号処理回路で信号処理されて、映像信号が生成される。そして、その映像信号がシステムコントローラ22を介して内視鏡表示パネル35に出力されて、内視鏡表示パネル35に患部等の内視鏡画像が表示される。   A second camera head 32 a equipped with an image sensor is attached to the eyepiece of the second endoscope 32. An optical image of the affected area or the like by the observation optical system of the second endoscope 32 is picked up using the image pickup element in the second camera head 32a. Then, the captured optical image data is transmitted to the video processor 27 via the camera cable. The optical image data is signal-processed by a signal processing circuit in the video processor 27 to generate a video signal. Then, the video signal is output to the endoscope display panel 35 via the system controller 22, and an endoscopic image of the affected part or the like is displayed on the endoscope display panel 35.

システムコントローラ22と中継ユニット28は中継ケーブル29で接続されている。
さらに、システムコントローラ22は、術者が滅菌域から機器操作を行う術者用無線リモートコントローラ(以下、リモコンと記す)24により制御することもできる。また、第1の医療用トロリー12,第2の医療用トロリー25には、その他の機器(例えば、プリンタ、超音波観測装置等)も搭載することができる。
The system controller 22 and the relay unit 28 are connected by a relay cable 29.
Furthermore, the system controller 22 can also be controlled by a radio remote controller for an operator (hereinafter referred to as a remote controller) 24 that allows the operator to operate the device from the sterilization area. The first medical trolley 12 and the second medical trolley 25 can also be equipped with other devices (for example, a printer, an ultrasonic observation device, etc.).

図2は、図1の内視鏡手術システムを構成する各医療機器の接続関係を示すブロック図である。同図に示すように、集中操作パネル33、リモコン24、VTR17、ビデオプロセッサ16、内視鏡光源装置15、気腹装置14、電気メス装置13、プリンタ60(図1では不図示)、及び超音波観察装置61(図1では不図示)はそれぞれ通信ケーブル38によりシステムコントローラ22の通信インターフェース(以下、インターフェースをI/Fと称する)51と接続されている。システムコントローラ22とこれらの各装置間では、データの送受が行われる。   FIG. 2 is a block diagram showing a connection relationship between medical devices constituting the endoscopic surgery system of FIG. As shown in the figure, a centralized operation panel 33, a remote control 24, a VTR 17, a video processor 16, an endoscope light source device 15, an insufflation device 14, an electric scalpel device 13, a printer 60 (not shown in FIG. 1), and a super The sound wave observation device 61 (not shown in FIG. 1) is connected to a communication interface (hereinafter, the interface is referred to as I / F) 51 of the system controller 22 by a communication cable 38. Data is transmitted and received between the system controller 22 and each of these devices.

また、VTR17、内視鏡表示パネル11、ビデオプロセッサ16、プリンタ60及び超音波観測装置61は、映像ケーブル39によりシステムコントローラ22のディスプレイI/F52と接続されており、映像信号を送受できるようになっている。   The VTR 17, the endoscope display panel 11, the video processor 16, the printer 60, and the ultrasonic observation device 61 are connected to the display I / F 52 of the system controller 22 through the video cable 39 so that video signals can be transmitted and received. It has become.

VTR62、ビデオプロセッサ27、内視鏡光源装置26、シェーバ63(図1では不図示)、ポンプ64(図1では不図示)、超音波処理装置65(図1では不図示)は、通信ケーブル38により中継ユニット28に接続されている。中継ユニット28とこれらの各装置間では、データの送受が行われる。また、内視鏡表示パネル35、ビデオプロセッサ27及びVTR62は、映像ケーブル39により中継ユニット28と接続されており、映像信号を送受できるようになっている。   The VTR 62, the video processor 27, the endoscope light source device 26, the shaver 63 (not shown in FIG. 1), the pump 64 (not shown in FIG. 1), and the ultrasonic processing device 65 (not shown in FIG. 1) are connected to the communication cable 38. To the relay unit 28. Data transmission / reception is performed between the relay unit 28 and each of these devices. Further, the endoscope display panel 35, the video processor 27, and the VTR 62 are connected to the relay unit 28 by a video cable 39 so that a video signal can be transmitted and received.

また、中継ユニット28は、ケーブル29(図1参照)によりシステムコントローラ22と接続されている。中継ユニット28は、ケーブル29内の通信ケーブル38を介してシステムコントローラ22の通信I/F51に接続されている。また、中継ユニット28は、ケーブル29内の映像ケーブル39を介してシステムコントローラ22のディスプレイI/F52に接続されている。   The relay unit 28 is connected to the system controller 22 by a cable 29 (see FIG. 1). The relay unit 28 is connected to the communication I / F 51 of the system controller 22 via the communication cable 38 in the cable 29. The relay unit 28 is connected to the display I / F 52 of the system controller 22 via the video cable 39 in the cable 29.

システムコントローラ22は、通信I/F51、ディスプレイI/F52の他に、集中操作パネルI/F53、音声合成回路57、CPU55、メモリ59、スピーカ58、音声認識回路56、リモコンI/F54を備えている。   In addition to the communication I / F 51 and the display I / F 52, the system controller 22 includes a centralized operation panel I / F 53, a voice synthesis circuit 57, a CPU 55, a memory 59, a speaker 58, a voice recognition circuit 56, and a remote control I / F 54. Yes.

音声認識回路56は、マイク50からの音声信号を認識するものである。音声認識回路56は、A/D変換器と、入力音声メモリと、ナビゲーションコマンドメモリ、ディクテーション用のメモリ等から構成される。A/D変換器51では、マイク50からの音声信号をA/D変換する。入力音声メモリ52では、A/D変換器51でA/D変換された入力音声データを記憶する。ナビゲーションコマンドメモリには、CPU55が入力音声メモリに記憶された音声データが所定のコマンドデータであるかどうかを比較するためのナビゲーションコマンドデータを格納している。ディクテーション用のメモリには、CPU55が入力音声メモリに記憶された音声データが所定のディクテーションテキストデータ(ディクテーションテキストデータ:音声をディクテーション機能により音声認識させてテキスト化したデータのことをいう。以下、同じ)と一致するかを比較するための音声文言テーブル(図4で詳述する)を格納している。   The voice recognition circuit 56 recognizes a voice signal from the microphone 50. The voice recognition circuit 56 includes an A / D converter, an input voice memory, a navigation command memory, a dictation memory, and the like. The A / D converter 51 A / D converts the audio signal from the microphone 50. The input voice memory 52 stores the input voice data that has been A / D converted by the A / D converter 51. The navigation command memory stores navigation command data for the CPU 55 to compare whether or not the voice data stored in the input voice memory is predetermined command data. In the dictation memory, the CPU 55 stores the voice data stored in the input voice memory as predetermined dictation text data (dictation text data: data obtained by converting voice into voice by the dictation function. The same applies hereinafter. ) Is stored as a voice message table (detailed in FIG. 4).

リモコンI/F54は、リモコン24とのデータの送受を行うものである。音声合成回路57は、音声を合成しスピーカ58より音声を発せさせるものである。集中操作パネルI/F53は、集中操作パネル33とのデータの送受を行うものである。これら各回路がCPU55により制御されている。   The remote control I / F 54 transmits / receives data to / from the remote control 24. The voice synthesizing circuit 57 synthesizes voice and causes the speaker 58 to emit voice. The centralized operation panel I / F 53 is used to send and receive data to and from the centralized operation panel 33. These circuits are controlled by the CPU 55.

また、システムコントローラ22には外部記録媒体が接続可能となっており、CPU55より画像データを外部記録媒体(図示せず)に記録・再生できる。また、システムコントローラ22は、不図示のネットワークI/Fを備えている。これにより、WAN(ワールドエリアネットワーク)、LAN(ローカルエリアネットワーク)、インターネット、イントラネット、エクストラネット等のネットワークにも接続することができ、これら外部のネットワークとの間でデータの送受ができる。   Further, an external recording medium can be connected to the system controller 22, and image data can be recorded / reproduced by the CPU 55 on an external recording medium (not shown). Further, the system controller 22 includes a network I / F (not shown). Accordingly, it is possible to connect to a network such as a WAN (World Area Network), a LAN (Local Area Network), the Internet, an Intranet, and an Extranet, and data can be transmitted to and received from these external networks.

図3は、本実施形態におけるシステムコントローラ22の内部構成の機能ブロック図を示す。制御部101は、CPU55に相当するものである。音声認識部102は、音声認識回路56に相当するものである。音声文言テーブル格納部103は、音声認識回路56に内蔵の記憶装置であり、上述したディクテーション用のメモリに相当する。記憶部104は、メモリ59に相当するものである。これらは、バスによって接続されている。   FIG. 3 shows a functional block diagram of the internal configuration of the system controller 22 in the present embodiment. The control unit 101 corresponds to the CPU 55. The voice recognition unit 102 corresponds to the voice recognition circuit 56. The voice message table storage unit 103 is a storage device built in the voice recognition circuit 56 and corresponds to the dictation memory described above. The storage unit 104 corresponds to the memory 59. These are connected by a bus.

音声認識部102では、マイク50から入力された音声をテキスト化して、そのテキスト化された文字列から助詞、助動詞等を取り除き、文言(語彙)を抽出する。音声文言テーブル格納部103は、後述する図4のテキスト変換可能な音声文言テーブルが格納されている。制御部101では、音声認識部102で抽出された文言と音声文言テーブルに格納されている文言との比較処理を行う。記憶部104には、制御部101で比較処理された結果の情報が出力される。   The voice recognition unit 102 converts the voice input from the microphone 50 into text, removes particles, auxiliary verbs, and the like from the text string, and extracts a word (vocabulary). The voice message table storage unit 103 stores a voice message table that can be converted into text shown in FIG. 4 to be described later. The control unit 101 performs a comparison process between the words extracted by the voice recognition unit 102 and the words stored in the voice message table. Information about the result of the comparison processing performed by the control unit 101 is output to the storage unit 104.

図4は、本実施形態におけるテキスト変換可能な音声文言テーブル110の一例を示す。本実施形態では、音声文言のカテゴリの一例として、「日時」、「操作」、「所見」、「医療材料」、「手技」、「その他」を用いた。そして、各カテゴリには、テキスト変換の対象となる複数のテキスト化された文言が格納されている。   FIG. 4 shows an example of a voice message table 110 that can be converted into text in this embodiment. In the present embodiment, “date and time”, “operation”, “findings”, “medical material”, “procedure”, and “others” are used as examples of the category of the voice wording. Each category stores a plurality of textualized words to be converted into text.

カテゴリ「日時」には、例えば、「年」、「月」、「日」、「時」、「分」、「秒」、月〜日曜日の各曜日(例えば、火等)、「曜日」、等の文言が格納されている。
カテゴリ「操作」には、例えば、「気腹」、「電気メス切開」、「電気メス凝固」、「ソノサージ切開」、「ソノサージ凝固」、等の文言が格納されている。
The category “date and time” includes, for example, “year”, “month”, “day”, “hour”, “minute”, “second”, Monday to Sunday (for example, Tuesday), “day of the week”, Etc. are stored.
In the category “operation”, for example, words such as “pneumothorax”, “electrical knife incision”, “electrical knife coagulation”, “sonosurge incision”, “sonosurge coagulation” are stored.

カテゴリ「所見」には、例えば、「出血量」、「血圧」、「心拍数」、等の文言が格納されている。
カテゴリ「医療材料」には、例えば、「トロッカー」、「麻酔」、「ラパロスコープ」、「鉗子」、「クリップ」、等の文言が格納されている。
In the category “findings”, for example, words such as “blood loss”, “blood pressure”, and “heart rate” are stored.
In the category “medical material”, for example, words such as “trocar”, “anesthesia”, “rapaloscope”, “forceps”, “clip”, and the like are stored.

カテゴリ「手技」には、例えば、「胆嚢摘出術」、「下結腸切除術」、等の文言が格納されている。
カテゴリ「その他」には、例えば、0〜9の数値、「多い」、「少ない」、「高い」、「低い」、「正常」、「開始」、「終了」、「挿入」、「個」、等の文言が格納されている。
In the category “procedure”, for example, words such as “cholecystectomy” and “lower colectomy” are stored.
For the category “others”, for example, numerical values of 0 to 9, “large”, “small”, “high”, “low”, “normal”, “start”, “end”, “insert”, “piece” , Etc. are stored.

これらは、あくまでも一例であり、様々な症例に対応する医療用語、処置の進行にかかわる文言、周辺環境に関する文言、または当該システムを使用している施設独自の用語等、用途に応じた文言を格納しても良い。また、ディクテーションテキストデータ共に、ディクテーションした時刻(例えば、システムコントローラ22のシステム時刻等)を記録してもよい。   These are just examples, and medical terms corresponding to various cases, words related to the progress of treatment, words related to the surrounding environment, or terms specific to the facility using the system are stored. You may do it. Also, the time of dictation (for example, the system time of the system controller 22) may be recorded together with the dictation text data.

図5は、本実施形態におけるテキスト化した音声から所定の文言を抽出するフローを示す。まず、発話があるまで当該フローは待ち状態となっている(ステップ1で「No」へ進む。以下、ステップをSと称する)。発話があると(S1で「Yes」へ進む。)、マイク50を介して音声が音声認識部102に入力される。   FIG. 5 shows a flow for extracting a predetermined word from voiced text in the present embodiment. First, the flow is in a waiting state until there is an utterance (goes to “No” in step 1; hereinafter, step is referred to as S). When there is an utterance (proceed to “Yes” in S1), the voice is input to the voice recognition unit 102 via the microphone 50.

音声認識部102では、入力された音声を文字列に変換する(以下、ディクテーションテキストという)(S2)。ここでは、マイク50から入力された音声をテキスト化して、そのテキスト化された文字列(ディクテーションテキスト)から助詞、助動詞等を取り除いた文言(語彙)のみを抽出する。音声認識部102は、抽出した文言を制御部へ出力する。   The speech recognition unit 102 converts the input speech into a character string (hereinafter referred to as dictation text) (S2). Here, the voice input from the microphone 50 is converted into text, and only words (vocabulary) obtained by removing particles, auxiliary verbs, and the like from the text string (dictation text) extracted. The voice recognition unit 102 outputs the extracted wording to the control unit.

次に、制御部101では、S2で抽出された文言と、音声文言テーブル110に登録されている文言を照合する(S3)。S3での比較の結果、一致する文言があれば(S4で「Yes」へ進む)、S2で抽出された文言を記憶部104に記憶する(S5)。S3での比較の結果、一致しなければ(S4で「No」へ進む)、そのS2で抽出した文言を破棄する(S6)。   Next, the control unit 101 collates the word extracted in S2 with the word registered in the voice word table 110 (S3). As a result of the comparison in S3, if there is a matching word (proceed to "Yes" in S4), the word extracted in S2 is stored in the storage unit 104 (S5). As a result of the comparison in S3, if they do not match (go to “No” in S4), the wording extracted in S2 is discarded (S6).

なお、S2、S3において所定の文言を抽出する方法は、これに限定されず、例えば、抽出未処理のディクテーションテキストについて、音声文言テーブルに格納された各文言と文字列比較することにより、所定の文言を抽出しても良い。また、本フローは発話の度に実行してもよいし、または、連続する発話を音声入力メモリに一旦格納し、所定時間経過後にまとめて実行するようにしてもよい。   In addition, the method of extracting a predetermined word in S2 and S3 is not limited to this. For example, for a dictation text that has not been extracted, a predetermined character string is compared with each word stored in the speech word table. The wording may be extracted. Further, this flow may be executed for each utterance, or continuous utterances may be temporarily stored in the voice input memory and collectively executed after a predetermined time has elapsed.

図6は、本実施形態における入力される音声に基づいて記憶部に記憶されたテキストデータを示す。図6(a)は、手術室内でのドクターの発話の一例である。この発話がマイク50に入力される。図6(b)は、図5のフローに基づいて、記憶部104にファイルとして出力されたテキストデータを示す。   FIG. 6 shows text data stored in the storage unit based on the input voice in the present embodiment. FIG. 6A is an example of a doctor's utterance in the operating room. This utterance is input to the microphone 50. FIG. 6B shows text data output as a file to the storage unit 104 based on the flow of FIG.

図6(a)では、「えー、」、「現在」、「ただいまより、」、「を」、「します。」、「皆さん準備はよいですか?」等の不要な文言があるが、図6(b)ではそれらが除去され、「2004年9月8日9時30分」、「胆嚢摘出術」、「開始」等の必要な文言のみ記録されている。   In Fig. 6 (a), there are unnecessary words such as "Eh,", "Present", "From now", "O", "I will do it", "Is everyone ready?" In FIG. 6B, they are removed, and only necessary words such as “September 8, 2004, 9:30”, “cholecystectomy”, “start” and the like are recorded.

以上より、ディクテーション機能によりドクター等の発話した文字列から無駄な文言が無くなり(すなわち、必要な文字列のみ抽出される)、短いテキストデータとなる為、手術内容がわかり易く、修正等も容易に行え、有用性が向上する。   From the above, the dictation function eliminates unnecessary wording from the character string spoken by the doctor (ie, only the necessary character string is extracted), and the text becomes short text data, making it easy to understand the operation and make corrections. , Improve usability.

また、このテキストデータをプリントアウトする場合、テキストのフォントや色をカテゴリに基づいて変更することで、所定のカテゴリや文言を識別できるようにしても良い。例えば、「開始」という文言のみを赤色で表示したりしてもよい。   When printing out this text data, a predetermined category or wording may be identified by changing the font or color of the text based on the category. For example, only the word “start” may be displayed in red.

また、このテキストデータに基づいて、消耗品使用状況や、課金対象診察行為等を検索し、手術にかかったコストを自動計算するようにしてもよい。例えば、図6(b)でいえば、「胆嚢摘出術」からこの課金対象診察行為に対するコストを算出することができ、また、「電気メス切開」、「トロッカー」、「気腹」、「鉗子」等の文言から機器や処置具の使用状況を把握することができる。   In addition, based on the text data, the consumable usage status, the chargeable medical examination, and the like may be searched to automatically calculate the cost of the operation. For example, in FIG. 6 (b), the cost for this chargeable medical examination can be calculated from “cholecystectomy”, and “electric scalpel incision”, “trocar”, “pneumothorax”, “forceps” The usage status of the device and the treatment tool can be grasped from the words such as “”.

<第2の実施形態>
本実施形態では、第1の実施形態にて作成されたディクテーションテキストデータに操作ログを追記してレポート出力する場合について説明する。
<Second Embodiment>
In the present embodiment, a case will be described in which an operation log is added to the dictation text data created in the first embodiment and a report is output.

図7は、本実施形態におけるシステムコントローラ22の内部構成の機能ブロック図を示す。図7は、図3のシステムコントローラ22にログ記録部120を追加したものである。ログ記録部120には、図1及び図2で説明した各種医療機器(例えば、気腹装置14、電気メス装置13等)の動作に関するログデータが逐次記録されている。ログデータの内容は、少なくとも医療機器がどのような動作をしたかという情報とその動作をした日時が含まれる。   FIG. 7 shows a functional block diagram of the internal configuration of the system controller 22 in the present embodiment. FIG. 7 is obtained by adding a log recording unit 120 to the system controller 22 of FIG. In the log recording unit 120, log data related to the operations of various medical devices (for example, the pneumoperitoneum 14, the electric knife 13 and the like) described in FIGS. 1 and 2 are sequentially recorded. The content of the log data includes at least information about what operation the medical device has performed and the date and time when the operation has been performed.

制御部101では、第1の実施形態で抽出したディクテーションテキストデータとそのディクテーションした日時情報とを共に出力したファイルを生成し、さらに、その日時に対応する医療機器の操作ログをそのファイルに追加する処理を行う。   The control unit 101 generates a file in which both the dictation text data extracted in the first embodiment and the dictated date / time information are output, and further adds an operation log of the medical device corresponding to the date / time to the file. Process.

図8は、本実施形態において、出力されたレポートの一例を示す。レポート130の左側の列130aには、日付及び時刻が出力される。レポート130の中央の列130bには、その日付及び時刻に対応するディクテーションテキスト(図5のフローによる処理後のディクテーションテキスト)が出力される。レポート130の右側の列130cには、その日付及び時刻に対応する操作ログ(医療機器を操作したときのログデータ)が出力される。   FIG. 8 shows an example of the output report in the present embodiment. In the column 130a on the left side of the report 130, the date and time are output. In the center column 130b of the report 130, the dictation text corresponding to the date and time (the dictation text after processing according to the flow of FIG. 5) is output. In the column 130c on the right side of the report 130, an operation log (log data when operating the medical device) corresponding to the date and time is output.

このレポート130を見てみると、例えば、日付/時刻「2004/07/27 11:30AM」にディクテーションテキスト「電気メス切開」(ここでは、電気メスを用いて開腹することを意味する)が出力されている。さらに、操作ログとして、「電気メスモノポーラ出力」が出力されている。   Looking at this report 130, for example, the date / time “2004/07/27 11:30 AM” is output with the dictation text “electric scalpel incision” (in this case, means using an electric scalpel to open) Has been. Furthermore, “electrical female monopolar output” is output as the operation log.

日付/時刻とディクテーションテキストのみでは、実際にディクテーションテキストの内容通りの操作を行ったかどうかは不明であるが、本実施形態のように、その裏づけとなる医療機器の操作ログを日付/時刻に対応付けて同一ファイルに出力することができる。   Although it is unclear whether the actual operation according to the contents of the dictation text has been performed with only the date / time and the dictation text, the operation log of the medical device that supports it is supported by the date / time as in this embodiment. Can be output to the same file.

図9は、本実施形態におけるテキスト化した音声から所定の文言を抽出し、さらに時刻情報と共に医療機器の操作ログも加えたレポート130を作成するフローを示す。まず、発話があると(S11で「Yes」へ進む。)、マイク50を介して音声が音声認識部102に入力される。発話がない場合(S11で「No」へ進む。)、S17の処理へ進む。   FIG. 9 shows a flow of creating a report 130 in which a predetermined wording is extracted from voiced text in the present embodiment, and further, an operation log of a medical device is added together with time information. First, when there is an utterance (proceed to “Yes” in S <b> 11), a voice is input to the voice recognition unit 102 via the microphone 50. If there is no utterance (proceed to “No” in S11), the process proceeds to S17.

音声認識部102では、入力された音声を文字列に変換する(S12)。ここでは、マイク50から入力された音声をテキスト化して、そのテキスト化された文字列から助詞、助動詞等を取り除いた文言(語彙)のみを抽出する。   The voice recognition unit 102 converts the input voice into a character string (S12). Here, the voice input from the microphone 50 is converted into text, and only words (vocabulary) obtained by removing particles, auxiliary verbs, and the like from the text string converted into the text are extracted.

次に、制御部101では、S12で抽出された文言と、音声文言テーブル110に登録されている文言を比較する(S13)。S13での比較の結果、一致する文言があれば(S14で「Yes」へ進む)、S12で抽出された文言を記憶部104に記憶する(S15)。ここでは、記憶部104にある所定のファイル(レポートファイル)130にS12で抽出された文言を日時情報(例えば、追記したときのシステム時刻等)とともに追記していく。   Next, the control unit 101 compares the word extracted in S12 with the word registered in the voice word table 110 (S13). If there is a matching word as a result of the comparison in S13 (proceed to "Yes" in S14), the word extracted in S12 is stored in the storage unit 104 (S15). Here, the text extracted in S12 is added to the predetermined file (report file) 130 in the storage unit 104 together with the date and time information (for example, the system time when added).

S13での照合の結果、一致しなければ(S14で「No」へ進む)、そのS12で抽出した文言を破棄する(S16)。
S11で「No」へ進んだ場合、またはS15もしくはS16の処理が終了した場合、制御部101は医療機器の操作ログが逐次記録されたログファイルをログ記録部120から読み出して、その読み出した操作ログファイルの操作ログを記憶部104に作成されているレポートファイル130に書き込む(S17)。このとき、既に書き込まれているS12で抽出された文言が書き込まれている場合、この文言の時間軸と操作ログの時間軸とをあわせるようにして書き込むようにする。このようにすることにより、リアルタイムでレポート130を出力することができる。これを発話の度に繰り返す。
As a result of the collation in S13, if they do not match (go to “No” in S14), the wording extracted in S12 is discarded (S16).
When the process proceeds to “No” in S11, or when the process of S15 or S16 is completed, the control unit 101 reads a log file in which operation logs of medical devices are sequentially recorded from the log recording unit 120, and the read operation The operation log of the log file is written into the report file 130 created in the storage unit 104 (S17). At this time, if the text extracted in S12 already written is written, the time axis of this text and the time axis of the operation log are written so as to match. In this way, the report 130 can be output in real time. Repeat this for each utterance.

図9のフローでは、音声の有無に関わらず、操作ログは逐次レポートファイル130に追記される。例えば、図8のレポート130において、第1行目には、「2004/07/27 11:30AM」、「電気メス切開」、「電気メスモノポーラ出力」というように、日付/時刻、ディクテーションテキスト、操作ログの全てが出力されている。この行は、S11→S12→S13→S14→S15→S17の経路で処理されて出力されたことを示している。また、2行目には、「2004/07/27 11:31AM」、「電気メスモノポーラ出力停止」というように、日付/時刻、操作ログの全てが出力されて、ディクテーションテキストが出力されていない。この行は、S11→S17、またはS11→S12→S13→S14→S16→S17の経路で処理されて出力されたことを示している。   In the flow of FIG. 9, the operation log is sequentially added to the report file 130 regardless of the presence or absence of sound. For example, in the report 130 of FIG. 8, the first line includes date / time, dictation text, “2004/07/27 11:30 AM”, “electric knife incision”, “electric knife monopolar output”, etc. All the operation logs are output. This line indicates that the data has been processed and output through the route of S11 → S12 → S13 → S14 → S15 → S17. In the second line, all of the date / time and operation log are output, such as “2004/07/27 11:31 AM” and “electrical female monopolar output stop”, and no dictation text is output. . This line indicates that the data has been processed and output through the route of S11 → S17 or S11 → S12 → S13 → S14 → S16 → S17.

図10は、図9のフローの変形例である。図9ではリアルタイムでレポート130を出力する場合のフローであるが、図10ではディクテーションテキストファイルと操作ログとを別々に記憶しておき、所定の操作をした場合に、それらからレポート130を作成する場合のフローである。   FIG. 10 is a modification of the flow of FIG. FIG. 9 shows a flow when the report 130 is output in real time. In FIG. 10, the dictation text file and the operation log are stored separately, and when a predetermined operation is performed, the report 130 is generated from them. It is a flow of the case.

まず、発話があると(S21で「Yes」へ進む。)、マイク50を介して音声が音声認識部102に入力される。発話がない場合(S21で「No」へ進む。)、S27の処理へ進む。   First, when there is an utterance (proceed to “Yes” in S <b> 21), a voice is input to the voice recognition unit 102 via the microphone 50. If there is no utterance (the process proceeds to “No” in S21), the process proceeds to S27.

音声認識部102では、入力された音声を文字列に変換する(S22)。ここでは、マイク50から入力された音声をテキスト化して、そのテキスト化された文字列から助詞、助動詞等を取り除いた文言(語彙)のみを抽出する。   The voice recognition unit 102 converts the input voice into a character string (S22). Here, the voice input from the microphone 50 is converted into text, and only words (vocabulary) obtained by removing particles, auxiliary verbs, and the like from the text string converted into the text are extracted.

次に、制御部101では、S22で抽出された文言と、音声文言テーブル110に登録されている文言を比較する(S23)。S23での比較の結果、一致する文言があれば(S24で「Yes」へ進む)、S22で抽出された文言を記憶部104に記憶する(S25)。ここでは、記憶部104にある所定のファイル(レポートファイル)130にS22で抽出された文言を日時情報(例えば、追記したときのシステム時刻等)とともに追記していく。   Next, the control unit 101 compares the word extracted in S22 with the word registered in the voice word table 110 (S23). If there is a matching word as a result of the comparison in S23 (proceed to "Yes" in S24), the word extracted in S22 is stored in the storage unit 104 (S25). Here, the text extracted in S22 is added to the predetermined file (report file) 130 in the storage unit 104 together with the date and time information (for example, the system time when added).

S23での照合の結果、一致しなければ(S24で「No」へ進む)、そのS22で抽出した文言を破棄する(S26)。
S21で「No」へ進んだ場合、またはS25もしくはS26の処理が終了した場合、CPUは、集中操作パネル33上のレポート出力ボタンが押下されたか否か判断する(S27)。レポート出力ボタンが押下されるまで(S27で「No」へ進む)、S21〜S27の処理が繰り返される。
As a result of the collation in S23, if they do not match (go to "No" in S24), the wording extracted in S22 is discarded (S26).
When the process proceeds to “No” in S21, or when the process of S25 or S26 ends, the CPU determines whether or not the report output button on the centralized operation panel 33 has been pressed (S27). Until the report output button is pressed (the process proceeds to “No” in S27), the processes of S21 to S27 are repeated.

そして、レポート出力ボタンが押下されると(S27で「Yes」へ進む)、記憶部104に格納されているディクテーションテキストデータとログ記録部120に記録されているログデータとを結合したレポートデータを作成する(S28)。   When the report output button is pressed (proceed to "Yes" in S27), report data obtained by combining the dictation text data stored in the storage unit 104 and the log data recorded in the log recording unit 120 is displayed. Create (S28).

以上より、第1の実施形態にて作成されたテキストデータに操作ログを追記してレポート出力する事により、正確なレポートが作成できる。   As described above, an accurate report can be created by adding the operation log to the text data created in the first embodiment and outputting the report.

第1の実施形態における内視鏡手術システムの全体構成を示す図である。It is a figure showing the whole endoscope operation system composition in a 1st embodiment. 図1の内視鏡手術システムを構成する各医療機器の接続関係を示すブロック図である図である。It is a figure which is a block diagram which shows the connection relation of each medical device which comprises the endoscopic surgery system of FIG. 第1の実施形態におけるシステムコントローラ22の内部構成の機能ブロック図を示す図である。It is a figure which shows the functional block diagram of the internal structure of the system controller 22 in 1st Embodiment. 第1の実施形態におけるテキスト変換可能な音声文言テーブル110の一例を示す図である。It is a figure which shows an example of the speech wording table 110 in which text conversion is possible in 1st Embodiment. 第1の実施形態におけるテキスト化した音声から所定の文言を抽出するフローを示す図である。It is a figure which shows the flow which extracts a predetermined wording from the audio | voice converted into the text in 1st Embodiment. 第1の実施形態における入力された音声に基づいて記憶部に記憶されるテキストデータを示す図である。It is a figure which shows the text data memorize | stored in a memory | storage part based on the input audio | voice in 1st Embodiment. 第2の実施形態におけるシステムコントローラ22の内部構成の機能ブロック図を示す図である。It is a figure which shows the functional block diagram of the internal structure of the system controller 22 in 2nd Embodiment. 第2の実施形態において出力されたレポートの一例を示す図である。It is a figure which shows an example of the report output in 2nd Embodiment. 第2の実施形態におけるテキスト化した音声から所定の文言を抽出し、さらに時刻情報と共に医療機器の操作ログも加えたレポートを作成するフローを示す図である。It is a figure which shows the flow which produces the report which extracted the predetermined wording from the audio | voice converted into the text in 2nd Embodiment, and also added the operation log of the medical device with time information. 図9のフローの変形例を示す図である。It is a figure which shows the modification of the flow of FIG. 従来の内視鏡手術システムにより出力されるレポートの一例を示す図である。It is a figure which shows an example of the report output by the conventional endoscopic surgery system.

符号の説明Explanation of symbols

1 内視鏡手術システム
2 第1の内視鏡手術システム
3 第2の内視鏡手術システム
11 内視鏡表示パネル
12 第1の医療用トロリー
13 電気メス装置
14 送気装置(気腹装置)
15 内視鏡光源装置
16 ビデオプロセッサ
17 VTR
18 ガスボンベ
19 患者ベッド
20 内視鏡表示パネル
21 集中表示パネル
22 システムコントローラ
24 リモコン
25 第2の医療用トロリー
26 内視鏡光源装置
27 ビデオプロセッサ
28 中継ユニット
29 ケーブル
30 患者
31 第1の内視鏡
31a 第1のカメラヘッド
32 第2の内視鏡
32a 第2のカメラヘッド
33 集中操作パネル
35 内視鏡表示パネル
38 通信ケーブル
39 映像ケーブル
40 トロリー棚
41 トロリートッププレート
42 トロリー棚
43 トロリートッププレート
50 マイク
51 通信I/F
52 ディスプレイI/F
53 集中操作パネルI/F
54 リモコンI/F
55 CPU
56 音声認識回路
57 音声合成回路
58 スピーカ
59 メモリ
60 プリンタ
61 超音波観察装置
62 VTR
63 シェーバ
64 ポンプ
65 超音波処理装置
101 制御部
102 音声認識部
103 音声文言テーブル格納部
104 記憶部
110 音声文言テーブル
120 ログ記録部
DESCRIPTION OF SYMBOLS 1 Endoscopic surgery system 2 1st endoscopic surgery system 3 2nd endoscopic surgery system 11 Endoscope display panel 12 1st medical trolley 13 Electric scalpel device 14 Air supply apparatus (pneumo-abdominal apparatus)
15 Endoscope light source device 16 Video processor 17 VTR
18 Gas cylinder 19 Patient bed 20 Endoscope display panel 21 Centralized display panel 22 System controller 24 Remote control 25 Second medical trolley 26 Endoscope light source device 27 Video processor 28 Relay unit 29 Cable 30 Patient 31 First endoscope 31a First camera head 32 Second endoscope 32a Second camera head 33 Centralized operation panel 35 Endoscope display panel 38 Communication cable 39 Video cable 40 Trolley shelf 41 Trolley top plate 42 Trolley shelf 43 Trolley top plate 50 Microphone 51 Communication I / F
52 Display I / F
53 Centralized operation panel I / F
54 Remote control I / F
55 CPU
56 Speech recognition circuit 57 Speech synthesis circuit 58 Speaker 59 Memory 60 Printer 61 Ultrasonic observation device 62 VTR
63 Shaver 64 Pump 65 Ultrasonic Processing Device 101 Control Unit 102 Speech Recognition Unit 103 Speech Statement Table Storage Unit 104 Storage Unit 110 Speech Statement Table 120 Log Recording Unit

Claims (11)

複数の医療機器と、該医療機器と接続され該医療機器を制御する医療機器制御装置とから構成される医療用システムにおいて、
音声が入力される音声入力手段と、
前記音声入力手段により入力された前記音声を認識して、該音声を文字列化する音声文字列化手段と、
医療に関する語彙である医療関連語彙が格納されている医療関連語彙格納手段と、
前記医療関連語彙手段に格納されている前記医療関連語彙に基づいて、前記音声文字列化手段により文字列化された音声を示す音声文字から該医療関連語彙を抽出する医療語彙抽出手段と、
を備えることを特徴とする医療用システム。
In a medical system comprising a plurality of medical devices and a medical device control device connected to the medical devices and controlling the medical devices,
Voice input means for inputting voice;
Recognizing the voice input by the voice input means, and converting the voice into a character string;
Medical-related vocabulary storage means in which medical-related vocabulary, which is a vocabulary related to medical care, is stored;
Medical vocabulary extracting means for extracting the medical related vocabulary from the phonetic characters indicating the speech converted into a character string by the phonetic string converting means based on the medical related vocabulary stored in the medical related vocabulary means;
A medical system comprising:
前記音声文字列化手段は、前記音声入力手段により入力された前記音声を認識して、該音声を文字列化した文章から語彙を抽出することを特徴とする請求項1に記載の医療用システム。   2. The medical system according to claim 1, wherein the voice character string converting unit recognizes the voice input by the voice input unit and extracts a vocabulary from a sentence in which the voice is converted into a character string. 3. . 前記医療関連語彙格納手段は、前記医療機器の操作状況に関する語彙群、前記医療機器に関する語彙群、医療具に関する語彙群、及び手技に関する語彙群のうち少なくともいずれかの語彙群が格納されていることを特徴とする請求項1に記載の医療用システム。   The medical-related vocabulary storage means stores at least one vocabulary group among a vocabulary group related to the operation status of the medical device, a vocabulary group related to the medical device, a vocabulary group related to a medical device, and a vocabulary group related to a procedure. The medical system according to claim 1. 前記医療用システムは、さらに、
前記医療機器の操作履歴情報が格納される操作履歴格納手段と、
前記操作履歴情報と、前記医療関連語彙抽出手段により抽出した前記医療関連語彙とを関連付ける関連付け手段と、
を備えることを特徴とする請求項1に記載の医療用システム。
The medical system further comprises:
Operation history storage means for storing the operation history information of the medical device;
Associating means for associating the operation history information with the medical related vocabulary extracted by the medical related vocabulary extracting means;
The medical system according to claim 1, comprising:
前記複数の医療機器のうち少なくとも1つは内視鏡であり、
前記医療用システムは、内視鏡システムである
ことを特徴とする請求項1に記載の医療用システム。
At least one of the plurality of medical devices is an endoscope,
The medical system according to claim 1, wherein the medical system is an endoscope system.
複数の医療機器を制御する医療機器制御装置において、
音声が入力される音声入力手段と、
前記音声入力手段により入力された前記音声を認識して、該音声を文字列化する音声文字列化手段と、
医療に関する語彙である医療関連語彙が格納されている医療関連語彙格納手段と、
前記医療関連語彙手段に格納されている前記医療関連語彙に基づいて、前記音声文字列化手段により文字列化された音声を示す音声文字から該医療関連語彙を抽出する医療語彙抽出手段と、
を備えることを特徴とする医療機器制御装置。
In a medical device control apparatus that controls a plurality of medical devices,
Voice input means for inputting voice;
Recognizing the voice input by the voice input means, and converting the voice into a character string;
Medical-related vocabulary storage means in which medical-related vocabulary, which is a vocabulary related to medical care, is stored;
Medical vocabulary extracting means for extracting the medical related vocabulary from the phonetic characters indicating the speech converted into a character string by the phonetic string converting means based on the medical related vocabulary stored in the medical related vocabulary means;
A medical device control device comprising:
前記音声文字列化手段は、前記音声入力手段により入力された前記音声を認識して、該音声を文字列化した文章から語彙を抽出することを特徴とする請求項6に記載の医療機器制御装置。   The medical device control according to claim 6, wherein the voice character string converting unit recognizes the voice input by the voice input unit and extracts a vocabulary from a sentence in which the voice is converted into a character string. apparatus. 前記医療関連語彙格納手段は、前記医療機器の操作状況に関する語彙群、前記医療機器に関する語彙群、医療具に関する語彙群、及び手技に関する語彙群のうち少なくともいずれかの語彙群が格納されていることを特徴とする請求項6に記載の医療機器制御装置。   The medical-related vocabulary storage means stores at least one vocabulary group among a vocabulary group related to the operation status of the medical device, a vocabulary group related to the medical device, a vocabulary group related to a medical device, and a vocabulary group related to a procedure. The medical device control device according to claim 6. 前記医療機器制御装置は、さらに、
前記医療機器の操作履歴情報が格納される操作履歴格納手段と、
前記操作履歴情報と、前記医療関連語彙抽出手段により抽出した前記医療関連語彙とを関連付ける関連付け手段と、
を備えることを特徴とする請求項6に記載の医療機器制御装置。
The medical device control device further includes:
Operation history storage means for storing the operation history information of the medical device;
Associating means for associating the operation history information with the medical related vocabulary extracted by the medical related vocabulary extracting means;
The medical device control device according to claim 6, further comprising:
音声を入力し、
前記音声を認識して、該音声を文字列化し、
予め登録された医療に関する語彙である医療関連語彙に基づいて、前記文字列化された音声を示す音声文字から該医療関連語彙を抽出し、
前記医療関連語彙を記録する
ことを特徴とする医療情報管理方法。
Enter your voice,
Recognizing the voice, characterizing the voice,
Based on a medical-related vocabulary that is a vocabulary related to medical care registered in advance, the medical-related vocabulary is extracted from a speech character indicating the speech that has been converted into a character string,
A medical information management method comprising recording the medical related vocabulary.
さらに、前記医療機器の操作履歴情報と、前記抽出した前記医療関連語彙とを関連付けて記録する
ことを特徴とする請求項10に記載の医療情報管理方法。




The medical information management method according to claim 10, further comprising recording operation history information of the medical device in association with the extracted medical-related vocabulary.




JP2005036967A 2005-02-14 2005-02-14 Medical system Withdrawn JP2006218230A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005036967A JP2006218230A (en) 2005-02-14 2005-02-14 Medical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005036967A JP2006218230A (en) 2005-02-14 2005-02-14 Medical system

Publications (1)

Publication Number Publication Date
JP2006218230A true JP2006218230A (en) 2006-08-24

Family

ID=36980920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005036967A Withdrawn JP2006218230A (en) 2005-02-14 2005-02-14 Medical system

Country Status (1)

Country Link
JP (1) JP2006218230A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106752A (en) * 2011-11-21 2013-06-06 National Cancer Center Electronic endoscopic system
JP2013150315A (en) * 2011-12-20 2013-08-01 Honeywell Internatl Inc Methods and systems for communicating audio captured onboard aircraft
JP2018047068A (en) * 2016-09-21 2018-03-29 富士通株式会社 Display control program, display control method and information processing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106752A (en) * 2011-11-21 2013-06-06 National Cancer Center Electronic endoscopic system
JP2013150315A (en) * 2011-12-20 2013-08-01 Honeywell Internatl Inc Methods and systems for communicating audio captured onboard aircraft
JP2018047068A (en) * 2016-09-21 2018-03-29 富士通株式会社 Display control program, display control method and information processing device

Similar Documents

Publication Publication Date Title
JP4832770B2 (en) Medical support system
US8010368B2 (en) Surgical system controlling apparatus and surgical system controlling method
US7613336B2 (en) Methods and apparatus for image recognition and dictation
JP2004181229A (en) System and method for supporting remote operation
WO2013061857A1 (en) Endoscope operation system
AU2002305619A1 (en) Methods and apparatus for image recognition and dictation
JP2004275360A (en) Endoscope system
US20110015938A1 (en) Preoperative surgical time out procedure feature incorporated into a surgical specialty instrument
JP2006221583A (en) Medical treatment support system
JP2006218230A (en) Medical system
JP2003084794A (en) Voice control system
JP2007080094A (en) Application starting management system
JP2006221117A (en) Medical support system
JP4727066B2 (en) Endoscope system
JP5010778B2 (en) Endoscopic surgery system
JP2006218229A (en) Medical treatment supporting system
JP4127769B2 (en) Medical control system
JP2002336183A (en) Endoscopic system
JP2001128992A (en) Medical system
JP2006288956A (en) Surgery system
JP2003084791A (en) Voice control system
JP4005320B2 (en) Medical control system
JP2002123294A (en) Medical system
Vickers et al. The use of audio in minimal access surgery
JP4436654B2 (en) Surgery support system

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080513