JP2021081977A - Medical examination support system - Google Patents

Medical examination support system Download PDF

Info

Publication number
JP2021081977A
JP2021081977A JP2019208686A JP2019208686A JP2021081977A JP 2021081977 A JP2021081977 A JP 2021081977A JP 2019208686 A JP2019208686 A JP 2019208686A JP 2019208686 A JP2019208686 A JP 2019208686A JP 2021081977 A JP2021081977 A JP 2021081977A
Authority
JP
Japan
Prior art keywords
text
processing unit
support system
information
scoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019208686A
Other languages
Japanese (ja)
Other versions
JP7430374B2 (en
Inventor
孝明 中田
Takaaki Nakata
孝明 中田
恭生 山尾
Yasuo Yamao
恭生 山尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart119 Inc
Original Assignee
Smart119 Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart119 Inc filed Critical Smart119 Inc
Priority to JP2019208686A priority Critical patent/JP7430374B2/en
Publication of JP2021081977A publication Critical patent/JP2021081977A/en
Application granted granted Critical
Publication of JP7430374B2 publication Critical patent/JP7430374B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

To provide a medical examination support system that supports a medical examination in a medical site.SOLUTION: The medical examination support system for supporting a medical examination includes: a text-processing unit for converting image information on an image of a screen of a physiological information monitor into text and/or image information on results of a blood test, and speech voice information of a medical worker; a scoring processing unit for calculating a score by using a predetermined at least two-severity degrees evaluation scoring technique on the basis of the text data in the form of text; and an output processing unit for outputting the calculated score.SELECTED DRAWING: Figure 1

Description

本発明は，医療現場における診療を支援する診療支援システムに関する。 The present invention relates to a medical care support system that supports medical care in a medical field.

医療現場，とくに救急医療の現場では，患者の重症度を評価するため，重症度評価スコアリングと呼ばれる指標値がある。この重症度評価スコアリングは複数提唱されており，たとえば，「ＳＯＦＡ（sequntial organ failure assessment score）」，「Ｑｕｉｃｋ ＳＯＦＡ」，「ＥＷＳ（Early Warning Score）」がある。 In the medical field, especially in the emergency medical field, there is an index value called severity evaluation scoring to evaluate the severity of patients. Multiple severity assessment scoring has been proposed, for example, "SOFA (sequntial organ failure assessment score)", "Quick SOFA", and "EWS (Early Warning Score)".

これら重症度評価スコアリングを用いることで，そのスコアリングの観点からの患者の重症度の評価をすることができる。重症度評価スコアリングについては，たとえば下記非特許文献１に記載されている。 By using these severity evaluation scoring, it is possible to evaluate the severity of a patient from the viewpoint of the scoring. Severity evaluation scoring is described in, for example, Non-Patent Document 1 below.

金子貴久，”重症度スコアの評価”，[online]，インターネット＜ＵＲＬ：https://www.jikeimasuika.jp/icu_st/170221.pdf＞Takahisa Kaneko, "Evaluation of Severity Score", [online], Internet <URL: https://www.jikeimasuika.jp/icu_st/170221.pdf>

重症度評価スコアリングは，患者の重症度を評価する指標値であるため有益ではあるものの，スコアリングをするためには各種の情報を入力しなければならず，多忙な医療現場では，その作業負担から実行されていない。また，保険診療では，一部のスコアリングの記録が要求されているため，その作業負担が必須となる場合もあるが，上述のように，作業負担が懸念されている。 Severity evaluation Scoring is useful because it is an index value for evaluating the severity of a patient, but it is necessary to input various information in order to score, and in a busy medical field, the work is done. Not executed due to burden. In addition, in insurance medical treatment, some scoring records are required, so the workload may be indispensable, but as mentioned above, there are concerns about the workload.

また迅速な診療が必要な敗血症，院内急変については，ＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳの３つのスコアが必要となる。これらの各スコアリングでは，共通する患者の情報もあり，それぞれ３つのスコアを別々に算出する場合，それぞれのスコアリングで同一の情報を複数回入力する負担が発生する。 For sepsis and sudden changes in the hospital, which require prompt medical care, three scores of SOFA, Quick SOFA, and EWS are required. In each of these scoring, there is also common patient information, and when each of the three scores is calculated separately, the burden of inputting the same information multiple times in each scoring occurs.

そこで本発明者は上記課題に鑑み，診療支援システムを発明した。 Therefore, the present inventor invented a medical care support system in view of the above problems.

第１の発明は，診療を支援する診療支援システムであって，前記診療支援システムは，生理学的情報モニタの画面を撮影した画像情報および／または血液検査結果を撮影した画像情報，医療従事者の発話音声情報をテキスト化するテキスト化処理部と，前記テキスト化したテキストデータに基づいて，あらかじめ定められた二以上の重症度評価スコアリング手法を用いてスコアを算出するスコアリング処理部と，前記算出したスコアを出力する出力処理部と，を有する診療支援システムである。 The first invention is a medical care support system that supports medical care, and the medical care support system is an image information obtained by photographing a screen of a physiological information monitor and / or an image information obtained by photographing a blood test result, and a medical worker. A text processing unit that converts spoken voice information into text, a scoring processing unit that calculates a score using two or more predetermined severity evaluation scoring methods based on the text data, and the above. It is a medical care support system that has an output processing unit that outputs the calculated score.

本発明のように構成することで，医療従事者などは，生理学的情報モニタや血液検査結果を撮影し，また所定の事項を発話するだけで，複数の重症度評価スコアリング手法によるスコアを認識することができる。また，重症度評価スコアリング手法を算出するための作業負担を軽減し，また重複入力も回避することができる。 With the configuration as in the present invention, medical professionals and the like can recognize scores by a plurality of severity evaluation scoring methods simply by taking a picture of a physiological information monitor or a blood test result and uttering a predetermined item. can do. In addition, the workload for calculating the severity evaluation scoring method can be reduced, and duplicate input can be avoided.

上述の発明において，前記スコアリング処理部は，前記テキストデータから，前記重症度評価スコアリング手法における指標を意味するテキストを特定し，前記特定した指標を意味するテキストに対応する値のテキストを特定し，前記特定した値を用いてスコアを算出する，診療支援システムのように構成することができる。 In the above-described invention, the scoring processing unit specifies a text meaning an index in the severity evaluation scoring method from the text data, and specifies a text having a value corresponding to the text meaning the specified index. However, it can be configured like a medical care support system that calculates a score using the specified value.

重症度評価スコアリング手法におけるスコアの算出には様々な方法があるが，本発明の方法を用いることで，医療従事者に作業負担をかけずにすむ。 There are various methods for calculating the score in the severity evaluation scoring method, but by using the method of the present invention, it is possible to avoid burdening the medical staff.

上述の発明において，前記診療支援システムは，前記画像情報，発話音声情報の入力を受け付ける情報入力受付処理部，を有しており，前記情報入力受付処理部は，前記医療従事者が発話すべき音声情報のうち一部または全部について問いかける音声を出力する，診療支援システムのように構成することができる。 In the above-described invention, the medical care support system has an information input reception processing unit that receives input of the image information and the spoken voice information, and the information input reception processing unit should be spoken by the medical worker. It can be configured like a medical care support system that outputs a voice asking about some or all of the voice information.

発話音声に基づく発話音声情報のテキスト化は認識精度が課題となる。とくにどの発話音声情報が重症度評価スコアリング手法におけるどの指標に該当するかの対応づけにおいて，正確に対応関係を取れるかが課題となる。そこで，本発明のように問いかけを行うことで，対応関係を正確にとることができる。 Recognition accuracy is an issue in converting spoken voice information into text based on spoken voice. In particular, in associating which speech information corresponds to which index in the severity evaluation scoring method, it is an issue to be able to take an accurate correspondence. Therefore, by asking a question as in the present invention, the correspondence can be accurately taken.

また，医療従事者は多忙のため，重症度評価スコアリング手法における指標について発話を失念する可能性があるが，本発明のように問いかけを行うことで，失念の可能性も防止できる。 In addition, since the medical staff is busy, he / she may forget to speak about the index in the severity evaluation scoring method. However, by asking a question as in the present invention, the possibility of forgetting can be prevented.

上述の発明において，前記スコアリング処理部は，ＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳのうちいずれか二以上の重症度評価スコアリング手法を用いる，診療支援システムのように構成することができる。 In the above-mentioned invention, the scoring processing unit can be configured like a medical care support system using any two or more severity evaluation scoring methods of SOFA, Quick SOFA, and EWS.

院内急変，敗血症は，特に迅速な対応が求められる。そのため，これら２つに対応するため，本発明のような重症度評価スコアリング手法を用いることが好ましい。 Sudden changes in the hospital and sepsis require a prompt response. Therefore, in order to deal with these two, it is preferable to use the severity evaluation scoring method as in the present invention.

第１の発明の診療支援システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，生理学的情報モニタの画面を撮影した画像情報および／または血液検査結果を撮影した画像情報，医療従事者の発話音声情報をテキスト化するテキスト化処理部，前記テキスト化したテキストデータに基づいて，あらかじめ定められた二以上の重症度評価スコアリング手法を用いてスコアを算出するスコアリング処理部，前記算出したスコアを出力する出力処理部，として機能させる診療支援プログラムのように構成することができる。 The medical care support system of the first invention can be realized by loading and executing the program of the present invention in a computer. That is, the computer is converted into text image information obtained by photographing the screen of the physiological information monitor and / or image information obtained by photographing the blood test result, the spoken voice information of the medical staff, and the text-converted text data. Based on the above, it is configured as a medical care support program that functions as a scoring processing unit that calculates a score using two or more predetermined severity evaluation scoring methods and an output processing unit that outputs the calculated score. can do.

本発明の診療支援システムを用いることで，多忙な医療現場であっても，その作業負担を軽減することができるため，重症度評価スコアリングの活用につなげることができる。 By using the medical care support system of the present invention, it is possible to reduce the work load even in a busy medical field, which can lead to the utilization of severity evaluation scoring.

本発明の診療支援システムの全体の構成の一例を模式的に示す概念図である。It is a conceptual diagram which shows typically an example of the whole structure of the medical care support system of this invention. 本発明の診療支援システムで用いるコンピュータのハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware composition of the computer used in the medical care support system of this invention. 本発明の診療支援システムにおける全体の処理プロセスの一例を示すフローチャートである。It is a flowchart which shows an example of the whole processing process in the medical care support system of this invention. 重症度評価スコアリング手法の一つであるＳＯＦＡのスコアの算出方法を示す図である。It is a figure which shows the calculation method of the score of SOFA which is one of the severity evaluation scoring methods. 重症度評価スコアリング手法の一つであるＱｕｉｃｋ ＳＯＦＡのスコアの算出方法を示す図である。It is a figure which shows the calculation method of the score of Quick SOFA which is one of the severity evaluation scoring methods. 重症度評価スコアリング手法の一つであるＥＷＳのスコアの算出方法を示す図である。It is a figure which shows the calculation method of the score of EWS which is one of the severity evaluation scoring methods. 本発明の診療支援システムを用いることで，情報の重複入力を回避できることを示す図である。It is a figure which shows that the duplicate input of information can be avoided by using the medical care support system of this invention.

本発明の診療支援システム１の全体の構成の一例を図１に示す。また，本発明の診療支援システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。 FIG. 1 shows an example of the overall configuration of the medical care support system 1 of the present invention. Further, FIG. 2 shows an example of the hardware configuration of the computer used in the medical care support system 1 of the present invention.

診療支援システム１は，管理コンピュータ２と撮影装置３と音声入力装置４とを用いる。 The medical care support system 1 uses a management computer 2, an imaging device 3, and a voice input device 4.

管理コンピュータ２は，サーバやパーソナルコンピュータ，可搬型通信端末などのコンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信を行う通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には，入力装置７３と表示装置７２とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばユーザ，救急隊員，医療機関の医師や看護師などの医療従事者，それらの支援者が利用するタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。 The management computer 2 is realized by a computer such as a server, a personal computer, or a portable communication terminal. The computer includes an arithmetic unit 70 such as a CPU that executes arithmetic processing of a program, a storage device 71 such as a RAM or a hard disk that stores information, a display device 72 such as a display, and an input device 73 that inputs information. It has a communication device 74 that communicates the processing result of the arithmetic unit 70 and the information stored in the storage device 71. When the computer is provided with a touch panel display, the input device 73 and the display device 72 may be integrally configured. Touch panel displays are often used, for example, in users, paramedics, medical staff such as doctors and nurses in medical institutions, and portable communication terminals such as tablet computers and smartphones used by their supporters. ， It is not limited to that.

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力が行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。 The touch panel display is a device in which the functions of the display device 72 and the input device 73 are integrated in that input can be performed directly on the display with a predetermined input device (such as a pen for a touch panel) or a finger.

各コンピュータは一台でその機能が実現されていてもよいし，その機能が複数台によって実現されていてもよい。その場合のコンピュータとして，たとえばクラウドサーバであってもよい。 The function may be realized by one computer, or the function may be realized by a plurality of computers. The computer in that case may be, for example, a cloud server.

さらに，本発明の診療支援システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。 Further, each means in the medical care support system 1 of the present invention may form the same area physically or substantially, only the functions thereof are logically distinguished.

撮影装置３は，生理学的情報モニタおよび血液検査結果を撮影するデジタルカメラなどであり，たとえばスマートフォンなどの可搬型通信端末のデジタルカメラを用いることができる。 The imaging device 3 is a physiological information monitor, a digital camera that captures blood test results, and the like. For example, a digital camera of a portable communication terminal such as a smartphone can be used.

生理学的情報モニタとは，患者のバイタルサインをモニタリングする装置であって，心電図，心拍数，脈拍数，血圧（拡張期血圧，収縮期血圧），体温，呼吸数，ＳｐＯ２（経皮的動脈血酸素飽和度），などのバイタルサインを継続的に測定し，記録する装置である。生理学的情報モニタは，生体情報モニタなどと呼ばれることもある。 A physiological information monitor is a device that monitors a patient's vital signs, such as electrocardiogram, heart rate, pulse rate, blood pressure (diastolic blood pressure, systolic blood pressure), body temperature, respiratory rate, and SpO 2 (percutaneous arterial blood). It is a device that continuously measures and records vital signs such as (oxygen saturation). Physiological information monitors are sometimes called biological information monitors.

血液検査結果は，患者の血液検査結果を表示する装置または印刷物であって，少なくとも，動脈血液ガス分析結果（ＰａＯ２／ＦｉＯ２），血小板数，ビリルビン値，クレアチニン値などが記載されているが，これらに限定するものではない。 The blood test result is a device or printed matter that displays the patient's blood test result, and at least the arterial blood gas analysis result (PaO 2 / FiO 2 ), platelet count, bilirubin level, creatinine level, etc. are described. ， Not limited to these.

音声入力装置４は，医師や看護師，救急隊員などの医療従事者による発話音声の入力を受け付ける装置であって，いわゆるマイクである。撮影装置３として可搬型通信端末を用いている場合，音声入力装置４として可搬型通信端末のマイクを用いてもよい。音声入力装置４は，たとえば，医療従事者による患者の意識レベル（ＧＣＳなど），酸素投与量などの発話音声を受け付け，それを音声情報として後述する管理コンピュータ２に送る。 The voice input device 4 is a device that receives input of spoken voice by a medical worker such as a doctor, a nurse, or an ambulance crew, and is a so-called microphone. When a portable communication terminal is used as the photographing device 3, the microphone of the portable communication terminal may be used as the voice input device 4. The voice input device 4 receives, for example, uttered voices such as a patient's consciousness level (GCS or the like) and oxygen dose by a medical worker, and sends the voice information to a management computer 2 described later.

管理コンピュータ２は，情報入力受付処理部２０と入力情報記憶部２１とテキスト化処理部２２とスコアリング処理部２３とスコア記憶部２４と出力処理部２５とを有する。また，管理コンピュータ２と，撮影装置３，音声入力装置４とが一つのスマートフォンなどの可搬型通信端末で構成されていてもよい。 The management computer 2 has an information input reception processing unit 20, an input information storage unit 21, a text conversion processing unit 22, a scoring processing unit 23, a score storage unit 24, and an output processing unit 25. Further, the management computer 2 and the photographing device 3 and the voice input device 4 may be configured by one portable communication terminal such as a smartphone.

情報入力受付処理部２０は，生理学的情報モニタの画面を撮影装置３で撮影した画像情報および／または血液検査結果を表示する画面または印刷物を撮影装置３で撮影した画像情報の入力を受け付ける。受け付けた各画像情報は，患者を識別する患者識別情報（氏名や患者の番号など）に対応づけて，入力情報記憶部２１に記憶させる。また，医療従事者の発話音声の発話音声情報を音声入力装置４から入力を受け付ける。たとえば，意識レベル（ＧＣＳなど）や酸素投与量の発話音声情報の入力を受け付ける。入力を受け付けた発話音声情報は，患者識別情報に対応づけて入力情報記憶部２１に記憶させる。 The information input reception processing unit 20 receives input of image information obtained by photographing the screen of the physiological information monitor by the photographing device 3 and / or image information obtained by photographing the screen or printed matter displaying the blood test result by the photographing device 3. Each of the received image information is stored in the input information storage unit 21 in association with the patient identification information (name, patient number, etc.) that identifies the patient. Further, the utterance voice information of the utterance voice of the medical worker is input from the voice input device 4. For example, it accepts input of spoken voice information of consciousness level (GCS, etc.) and oxygen dose. The utterance voice information that has received the input is stored in the input information storage unit 21 in association with the patient identification information.

情報入力受付処理部２０は，患者識別情報の入力をあらかじめ入力受け付けていてもよいし，たとえば音声入力装置４で入力を受け付けてもよいし，後述するテキスト化処理部２２でテキスト化した患者識別情報を用いてもよい。 The information input reception processing unit 20 may receive input of patient identification information in advance, for example, the voice input device 4 may accept the input, or the text conversion processing unit 22 described later may convert the patient identification into text. Information may be used.

また後述するスコアリング処理部２３において重症度評価スコアリング手法でスコアを算出するために必要な指標について，医療従事者が発話を失念する可能性がある。そのため，情報入力受付処理部２０は，「患者の意識レベルは？」，「酸素投与しましたか？」のように問いかけの音声を出力し，それに対する発話音声情報を音声入力装置４で集音してもよい。問いかけとして出力する音声は，後述のスコアリング処理部２３における重症度評価スコアリング手法で用いる指標であって，生理学的情報モニタ，血液検査結果にはない指標について，問いかけを行うことがよい。 In addition, the medical staff may forget to speak about the index necessary for calculating the score by the severity evaluation scoring method in the scoring processing unit 23 described later. Therefore, the information input reception processing unit 20 outputs a voice of a question such as "What is the patient's consciousness level?" And "Did you administer oxygen?" You may. The voice output as a question is an index used in the severity evaluation scoring method in the scoring processing unit 23 described later, and it is preferable to ask a question about an index that is not included in the physiological information monitor and the blood test result.

入力情報記憶部２１は，情報入力受付処理部２０で入力を受け付けた画像情報，発話音声情報を，患者識別情報に対応づけて記憶する。 The input information storage unit 21 stores the image information and the utterance voice information received by the information input reception processing unit 20 in association with the patient identification information.

テキスト化処理部２２は，入力情報記憶部２１に記憶した画像情報，発話音声情報をそれぞれテキスト化する。テキスト化する場合，画像情報についてはＯＣＲ認識処理などを行い，発話音声情報は音声解析処理を行う。また，深層学習（ディープラーニング）を用いてテキスト化する処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上述の画像情報，発話音声情報を入力し，その出力値としてテキスト化したテキストデータを得る。学習モデルとしては，さまざまな画像情報とそれをテキスト化したテキストデータ，発話音声情報とそれをテキスト化したテキストデータを正解データとして与えたものを用いることができる。深層学習を用いる場合，テキスト化処理部２２は，深層学習の処理を実行するサーバに対して画像情報，発話音声情報を送り，当該サーバからテキスト化したテキストデータを受け取ることでテキスト化処理を実行してもよい。 The text conversion processing unit 22 converts the image information and the spoken voice information stored in the input information storage unit 21 into texts, respectively. When converting to text, OCR recognition processing is performed on the image information, and voice analysis processing is performed on the spoken voice information. In addition, a process of converting into text using deep learning may be executed. In this case, the above-mentioned image information and spoken voice information are input to the learning model in which the weighting coefficient between the neurons of each layer of the neural network consisting of many layers is optimized, and the output value is converted into text. Get the text data. As the learning model, various image information and text data obtained by converting it into text, and spoken voice information and text data obtained by converting it into text can be used as correct answer data. When deep learning is used, the text conversion processing unit 22 sends image information and spoken voice information to a server that executes deep learning processing, and executes text conversion processing by receiving text data converted into text from the server. You may.

スコアリング処理部２３は，テキスト化処理部２２において画像情報に基づいてテキスト化したテキストデータ，発話音声情報に基づいてテキスト化したテキストデータに基づいて，あらかじめ定めたスコアリングする重症度評価スコアリング手法で用いる指標のテキストに対応する値のテキストを特定し，特定した値に基づいて，それぞれの重症度評価スコアリング手法に基づくスコアリングを実行する。 The scoring processing unit 23 performs a predetermined scoring severity evaluation scoring based on the text data converted into text based on the image information and the text data converted into text based on the spoken voice information in the text conversion processing unit 22. Identify the text of the value corresponding to the text of the index used in the method, and perform scoring based on each severity evaluation scoring method based on the specified value.

たとえば重症度評価スコアリング手法として，ＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳを用いる場合，以下のような値を特定する。 For example, when SOFA, Quick SOFA, and EWS are used as the severity evaluation scoring method, the following values are specified.

ＳＯＦＡの場合，動脈血液ガス分析結果（ＰａＯ２／ＦｉＯ２），血小板数，ビリルビン値，血圧，意識レベル（ＧＣＳ），クレアチニン値を用いて，図４に示すようにスコアリングを実行するので，画像情報に基づいてテキスト化したテキストデータ，発話音声情報に基づいてテキスト化したテキストデータから，それぞれ対応する値を特定する。これは，血液検査結果を撮影した画像情報に基づくテキストデータから，動脈血液ガス分析結果（ＰａＯ２／ＦｉＯ２），血小板数，ビリルビン値，クレアチニン値を意味するテキストを特定し，それに対応するテキストをそれぞれの値として特定する。また，生理学的情報モニタを撮影した画像情報に基づくテキストデータから血圧を意味するテキストを特定し，それに対応するテキストを値として特定する。さらに発話音声情報に基づくテキストデータから，意識レベル（ＧＣＳ）を意味するテキストを特定し，それに対応するテキストを値として特定する。そして，図４に基づいてスコアリングを実行する。 In the case of SOFA, scoring is performed using the arterial blood gas analysis result (PaO 2 / FiO 2 ), platelet count, bilirubin level, blood pressure, consciousness level (GCS), and creatinine level as shown in FIG. The corresponding values are specified from the text data converted into text based on the image information and the text data converted into text based on the spoken voice information. This is to identify the text that means arterial blood gas analysis result (PaO 2 / FiO 2 ), platelet count, bilirubin value, and creatinine value from the text data based on the image information obtained by taking the blood test result, and the corresponding text. Is specified as each value. In addition, the text meaning blood pressure is specified from the text data based on the image information taken by the physiological information monitor, and the corresponding text is specified as a value. Furthermore, the text meaning the consciousness level (GCS) is specified from the text data based on the spoken voice information, and the corresponding text is specified as a value. Then, scoring is executed based on FIG.

またＱｕｉｃｋ ＳＯＦＡの場合，呼吸数，意識レベル（ＧＣＳ），収縮期血圧を用いて，図５に示すようにスコアリングを実行するので，画像情報に基づいてテキスト化したテキストデータ，発話音声情報に基づいてテキスト化したテキストデータから，それぞれ対応する値を特定する。これは，生理学的情報モニタを撮影した画像情報に基づくテキストデータから呼吸数，収縮期血圧を意味するテキストを特定し，それらに対応するテキストを値として特定する。さらに発話音声情報に基づくテキストデータから，意識レベル（ＧＣＳ）を意味するテキストを特定し，それに対応するテキストを値として特定する。そして，図５に基づいてスコアリングを実行する。 In the case of Quick SOFA, scoring is performed using respiratory rate, consciousness level (GCS), and systolic blood pressure as shown in FIG. 5, so that text data converted into text based on image information and spoken voice information can be used. From the text data converted into text based on the above, specify the corresponding values. In this method, texts meaning respiratory rate and systolic blood pressure are specified from text data based on image information taken by a physiological information monitor, and the corresponding texts are specified as values. Furthermore, the text meaning the consciousness level (GCS) is specified from the text data based on the spoken voice information, and the corresponding text is specified as a value. Then, scoring is executed based on FIG.

また，ＥＷＳの場合，呼吸数，経皮的動脈血酸素飽和度（ＳｐＯ２），酸素投与の有無，体温，収縮期血圧，心拍数，ＧＣＳを用いて，図６に示すようにスコアリングを実行するので，画像情報に基づいてテキスト化したテキストデータ，発話音声情報に基づいてテキスト化したテキストデータから，それぞれ対応する値を特定する。これは，生理学的情報モニタを撮影した画像情報に基づくテキストデータから呼吸数，経皮的動脈血酸素飽和度（ＳｐＯ２），体温，収縮期血圧，心拍数を意味するテキストを特定し，それらに対応するテキストを値として特定する。さらに発話音声情報に基づくテキストデータから，酸素投与の有無，意識レベル（ＧＣＳ）を意味するテキストを特定し，それに対応するテキストを値として特定する。そして，図６に基づいてスコアリングを実行する。 In the case of EWS, scoring is performed as shown in FIG. 6 using respiratory rate, percutaneous arterial oxygen saturation (SpO 2 ), presence / absence of oxygen administration, body temperature, systolic blood pressure, heart rate, and GCS. Therefore, the corresponding values are specified from the text data converted into text based on the image information and the text data converted into text based on the spoken voice information. It identifies texts that mean respiratory rate, percutaneous arterial oxygen saturation (SpO 2 ), body temperature, systolic blood pressure, and heart rate from textual data based on image information taken by a physiological information monitor. Specify the corresponding text as a value. Furthermore, from the text data based on the spoken voice information, the text indicating the presence or absence of oxygen administration and the consciousness level (GCS) is specified, and the corresponding text is specified as a value. Then, scoring is executed based on FIG.

各スコアリングに必要な情報の種類数は，図７に示すようになっており，このうち重複は５種ある。そのため，本発明のような処理を用いることで，重症度評価スコアリング手法において共通している情報の重複入力を減らし，入力の手間を削減することができる。 The number of types of information required for each scoring is shown in FIG. 7, of which there are five types of duplication. Therefore, by using the process as in the present invention, it is possible to reduce the duplicate input of information common to the severity evaluation scoring method and reduce the time and effort for input.

スコアリング処理部２３で算出した各重症度評価スコアリング手法に基づく各スコアは，患者識別情報に対応づけてスコア記憶部２４に記憶させる。 Each score based on each severity evaluation scoring method calculated by the scoring processing unit 23 is stored in the score storage unit 24 in association with the patient identification information.

なお，上述では，重症度評価スコアリング手法としてＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳを用いる例を説明したが，それに限定するものではなく，その目的に応じて，適宜，適切な重症度評価スコアリング手法を用いることができる。 In the above description, an example of using SOFA, Quick SOFA, and EWS as the severity evaluation scoring method has been described, but the present invention is not limited to this, and an appropriate severity evaluation scoring method may be appropriately used according to the purpose. Can be used.

スコア記憶部２４は，スコアリング処理部２３で算出した各重症度評価スコアリング手法に基づく各スコアを，患者識別情報に対応づけてスコア記憶部２４に記憶する。 The score storage unit 24 stores each score based on each severity evaluation scoring method calculated by the scoring processing unit 23 in the score storage unit 24 in association with the patient identification information.

出力処理部２５は，スコアリング算出処理部で算出した各重症度評価スコアリング手法に基づく各スコアを，所定の表示装置７２などで出力をする。たとえば医療従事者が用いる可搬型通信端末などに表示をさせる。この可搬型通信端末は，撮影装置３，音声入力装置４として用いたスマートフォンなどであってもよい。 The output processing unit 25 outputs each score based on each severity evaluation scoring method calculated by the scoring calculation processing unit on a predetermined display device 72 or the like. For example, the display is displayed on a portable communication terminal used by a medical worker. The portable communication terminal may be a smartphone or the like used as the photographing device 3 and the voice input device 4.

本発明の診療支援システム１は，医療機関の内部，たとえばＩＣＵ，処置室，病室などで用いられるほか，救急車やドクターカーなどの医療機関の外部で用いられてもよい。また，生理学的情報モニタ，血液検査結果の画面または印刷物の双方を撮影してもよいし，いずれか一方であってもよい。どのような重症度評価スコアリング手法を用いるかによっていずれかまたは双方を用いるかを，適宜，使い分ければよい。たとえば，重症度評価スコアリング手法としてＳＯＦＡを用いる場合には，生理学的情報モニタ，血液検査結果の画面または印刷物の双方を撮影して各画像情報を用いればよいし，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳの場合には，生理学的情報モニタのみを撮影してその画像情報を用いればよい。 The medical care support system 1 of the present invention is used inside a medical institution, for example, in an ICU, a treatment room, a hospital room, or the like, or may be used outside a medical institution such as an ambulance or a doctor car. In addition, both the physiological information monitor, the screen of the blood test result, or the printed matter may be photographed, or either one may be photographed. Depending on what severity evaluation scoring method is used, either or both may be used as appropriate. For example, when SOFA is used as a severity evaluation scoring method, both the physiological information monitor, the screen of the blood test result or the printed matter may be photographed and each image information may be used, and in the case of Quick SOFA and EWS. It is only necessary to take a picture of the physiological information monitor and use the image information.

つぎに本発明の診療支援システム１の処理プロセスの一例を図３のフローチャートを用いて説明する。なお，以下の実施例では，管理コンピュータ２，撮影装置３，音声入力装置４はいずれも同一のスマートフォンで実現している場合であり，管理コンピュータ２における各処理は，スマートフォンにインストールされたアプリケーションソフトウェアにより実現される場合を説明する。 Next, an example of the processing process of the medical care support system 1 of the present invention will be described with reference to the flowchart of FIG. In the following embodiment, the management computer 2, the photographing device 3, and the voice input device 4 are all realized by the same smartphone, and each process in the management computer 2 is performed by the application software installed on the smartphone. The case realized by the above will be described.

本発明の診療支援システム１を用いる医療従事者は，スマートフォンで所定の操作を行うことで，診療支援システム１を実現するアプケーションソフトウェアを起動させる。そしてアプリケーションソフトウェアで所定の操作を行うことで，スマートフォンの撮影装置３で，患者に取り付けられた生理学的情報モニタを撮影し，また血液検査結果の画面または印刷物を撮影する（Ｓ１００）。 A medical worker who uses the medical care support system 1 of the present invention activates application software that realizes the medical care support system 1 by performing a predetermined operation on a smartphone. Then, by performing a predetermined operation with the application software, the imaging device 3 of the smartphone photographs the physiological information monitor attached to the patient, and also photographs the screen or printed matter of the blood test result (S100).

生理学的情報モニタを撮影した画像情報，血液検査結果の画面または印刷物を撮影した画像情報を，情報入力受付処理部２０で受け付け（Ｓ１１０），患者識別情報に対応づけて入力情報記憶部２１に記憶させる。 The information input reception processing unit 20 receives the image information obtained by photographing the physiological information monitor, the screen of the blood test result, or the image information obtained by photographing the printed matter (S110), and stores the image information in the input information storage unit 21 in association with the patient identification information. Let me.

また，医療従事者は，患者の意識レベル（ＧＣＳなど），酸素投与の有無などを発話し，それを当該スマートフォンの音声入力装置４で集音し，その発話音声情報を情報入力受付処理部２０で受け付ける（Ｓ１１０）。画像情報と同様に，発話音声情報も患者識別情報に対応づけて入力情報記憶部２１に記憶させる。 In addition, the medical staff speaks the patient's consciousness level (GCS, etc.), the presence or absence of oxygen administration, etc., collects the sound with the voice input device 4 of the smartphone, and collects the spoken voice information in the information input reception processing unit 20. Accept at (S110). Like the image information, the spoken voice information is stored in the input information storage unit 21 in association with the patient identification information.

なお，患者の意識レベル，酸素投与の有無などは，医療従事者が発話を失念することもあるので，情報入力受付処理部２０が音声によって，「患者の意識レベルは？」，「酸素投与しましたか？」のように問いかけをし，それに対する発話音声情報を音声入力装置４で集音してもよい。この場合，意識レベルに対応する発話音声情報，酸素投与の有無に対する発話音声情報のように区別して情報を記憶させることができる。 Since the medical staff may forget to speak about the patient's consciousness level and the presence or absence of oxygen administration, the information input reception processing unit 20 asks "What is the patient's consciousness level?" And "Oxygen is administered." You may ask a question such as "Did you do it?" And collect the spoken voice information for it with the voice input device 4. In this case, the information can be stored separately, such as the spoken voice information corresponding to the consciousness level and the spoken voice information regarding the presence or absence of oxygen administration.

そして，テキスト化処理部２２は，情報入力受付処理部２０で入力を受け付けた画像情報，音声情報について，テキスト化処理を実行する（Ｓ１２０）。すなわち，テキスト化処理部２２は，画像情報を，深層学習の処理を実行するサーバに対して送り，当該サーバからテキスト化したテキストデータを受け取る。また，テキスト化処理部２２は，発話音声情報を，深層学習の処理を実行するサーバに対して送り，当該サーバからテキスト化したテキストデータを受け取る。 Then, the text conversion processing unit 22 executes the text conversion processing for the image information and the voice information for which the input is received by the information input reception processing unit 20 (S120). That is, the text conversion processing unit 22 sends the image information to the server that executes the deep learning process, and receives the text data converted into text from the server. Further, the text conversion processing unit 22 sends the spoken voice information to the server that executes the deep learning process, and receives the text data converted into text from the server.

このように算出したテキストデータに基づいて，スコアリング処理部２３は，各重症度評価スコアリング手法で用いる値を特定し，特定した値に基づいて，それぞれの重症度評価スコアリング手法におけるスコアを算出する（Ｓ１３０）。たとえば，ＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳで用いる値を，テキスト化処理部２２でテキスト化したテキストデータから特定し，特定した値に基づいて，ＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳのそれぞれにおけるスコアを算出する。なお，算出した各重症度評価スコアリング手法におけるスコアは，患者識別情報に対応づけてスコア記憶部２４に記憶させる。 Based on the text data calculated in this way, the scoring processing unit 23 specifies the value to be used in each severity evaluation scoring method, and based on the specified value, determines the score in each severity evaluation scoring method. Calculate (S130). For example, the values used in SOFA, Quick SOFA, and EWS are specified from the text data converted into text by the text conversion processing unit 22, and the scores in each of SOFA, Quick SOFA, and EWS are calculated based on the specified values. The calculated scores in each severity evaluation scoring method are stored in the score storage unit 24 in association with the patient identification information.

そして，出力処理部２５で，スコアリング処理部２３で算出した各スコアを表示させる。たとえば，医療従事者が用いるスマートフォンに表示をさせる。 Then, the output processing unit 25 displays each score calculated by the scoring processing unit 23. For example, display on a smartphone used by medical staff.

以上のような処理を実行することで，医療従事者は，生理学的情報モニタ，血液検査結果を撮影し，また所定事項を発話するだけで，複数の手法による重症度評価スコアリングによるスコアを視認することができる。 By executing the above processing, the medical staff can visually check the score by severity evaluation scoring by multiple methods simply by taking a picture of the physiological information monitor and blood test results and speaking a predetermined item. can do.

とくに重症度評価スコアリングとして，上述のＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳを用いることで，院内急変，敗血症など，患者に対して迅速な処置をすることが求められる場合にそのスコアを算出することができ，診療の一助とすることができる。 In particular, by using the above-mentioned SOFA, Quick SOFA, and EWS for severity evaluation scoring, the score can be calculated when prompt treatment is required for patients such as sudden changes in the hospital and sepsis. ， It can be helpful for medical treatment.

本発明の診療支援システム１を用いることで，多忙な医療現場であっても，その作業負担を軽減することができるため，重症度評価スコアリングの活用につなげることができる。 By using the medical care support system 1 of the present invention, it is possible to reduce the work load even in a busy medical field, which can lead to the utilization of severity evaluation scoring.

１：診療支援システム
２：管理コンピュータ
３：撮影装置
４：音声入力装置
２０：情報入力受付処理部
２１：入力情報記憶部
２２：テキスト化処理部
２３：スコアリング処理部
２４：スコア記憶部
２５：出力処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置 1: Medical care support system 2: Management computer 3: Imaging device 4: Voice input device 20: Information input reception processing unit 21: Input information storage unit 22: Text conversion processing unit 23: Scoring processing unit 24: Score storage unit 25: Output processing unit 70: Computational device 71: Storage device 72: Display device 73: Input device 74: Communication device

Claims (5)

診療を支援する診療支援システムであって，
前記診療支援システムは，
生理学的情報モニタの画面を撮影した画像情報および／または血液検査結果を撮影した画像情報，医療従事者の発話音声情報をテキスト化するテキスト化処理部と，
前記テキスト化したテキストデータに基づいて，あらかじめ定められた二以上の重症度評価スコアリング手法を用いてスコアを算出するスコアリング処理部と，
前記算出したスコアを出力する出力処理部と，
を有することを特徴とする診療支援システム。 It is a medical treatment support system that supports medical treatment.
The medical care support system
Image information obtained by photographing the screen of the physiological information monitor and / or image information obtained by photographing the blood test result, a text processing unit that converts voice information of a medical worker into text, and a text processing unit.
A scoring processing unit that calculates a score using two or more predetermined severity evaluation scoring methods based on the text data converted into text, and a scoring processing unit.
An output processing unit that outputs the calculated score and
A medical care support system characterized by having. 前記スコアリング処理部は，
前記テキストデータから，前記重症度評価スコアリング手法における指標を意味するテキストを特定し，前記特定した指標を意味するテキストに対応する値のテキストを特定し，
前記特定した値を用いてスコアを算出する，
ことを特徴とする請求項１に記載の診療支援システム。 The scoring processing unit
From the text data, the text meaning the index in the severity evaluation scoring method is specified, and the text of the value corresponding to the text meaning the specified index is specified.
Calculate the score using the specified value,
The medical care support system according to claim 1, wherein the medical care support system is characterized in that. 前記診療支援システムは，
前記画像情報，発話音声情報の入力を受け付ける情報入力受付処理部，を有しており，
前記情報入力受付処理部は，
前記医療従事者が発話すべき音声情報のうち一部または全部について問いかける音声を出力する，
ことを特徴とする請求項１または請求項２に記載の診療支援システム。 The medical care support system
It has an information input reception processing unit that accepts the input of the image information and utterance voice information.
The information input reception processing unit
Outputs a voice asking about some or all of the voice information to be spoken by the medical staff.
The medical care support system according to claim 1 or 2, wherein the medical care support system is characterized in that. 前記スコアリング処理部は，
ＳＯＦＡ，Ｑｕｉｃｋ ＳＯＦＡ，ＥＷＳのうちいずれか二以上の重症度評価スコアリング手法を用いる，
ことを特徴とする請求項１から請求項３のいずれかに記載の診療支援システム。 The scoring processing unit
Use any two or more severity evaluation scoring methods of SOFA, Quick SOFA, and EWS.
The medical care support system according to any one of claims 1 to 3, wherein the medical care support system is characterized in that. コンピュータを，
生理学的情報モニタの画面を撮影した画像情報および／または血液検査結果を撮影した画像情報，医療従事者の発話音声情報をテキスト化するテキスト化処理部，
前記テキスト化したテキストデータに基づいて，あらかじめ定められた二以上の重症度評価スコアリング手法を用いてスコアを算出するスコアリング処理部，
前記算出したスコアを出力する出力処理部，
として機能させることを特徴とする診療支援プログラム。 Computer,
Image information obtained by photographing the screen of the physiological information monitor and / or image information obtained by photographing the blood test result, a text processing unit that converts voice information of a medical worker into text,
A scoring processing unit that calculates a score using two or more predetermined severity evaluation scoring methods based on the text data converted into text.
Output processing unit that outputs the calculated score,
A medical care support program characterized by functioning as.
JP2019208686A 2019-11-19 2019-11-19 Medical support system Active JP7430374B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019208686A JP7430374B2 (en) 2019-11-19 2019-11-19 Medical support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019208686A JP7430374B2 (en) 2019-11-19 2019-11-19 Medical support system

Publications (2)

Publication Number Publication Date
JP2021081977A true JP2021081977A (en) 2021-05-27
JP7430374B2 JP7430374B2 (en) 2024-02-13

Family

ID=75965273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019208686A Active JP7430374B2 (en) 2019-11-19 2019-11-19 Medical support system

Country Status (1)

Country Link
JP (1) JP7430374B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145446A1 (en) * 2022-01-27 2023-08-03 ソニーグループ株式会社 Information processing device, information processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508532A (en) * 2014-03-13 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Patient monitoring and treatment intervention / event timeline
JP2017102797A (en) * 2015-12-03 2017-06-08 テルモ株式会社 Medical data reading device and medical data reading method
JP2019021179A (en) * 2017-07-20 2019-02-07 国立大学法人千葉大学 Emergency dispatch support system
WO2019111618A1 (en) * 2017-12-08 2019-06-13 日本電気株式会社 Patient status determination device, patient status determination system, patient status determination method, and patient status determination program recording medium
JP2019170851A (en) * 2018-03-29 2019-10-10 日本光電工業株式会社 Condition change display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508532A (en) * 2014-03-13 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Patient monitoring and treatment intervention / event timeline
JP2017102797A (en) * 2015-12-03 2017-06-08 テルモ株式会社 Medical data reading device and medical data reading method
JP2019021179A (en) * 2017-07-20 2019-02-07 国立大学法人千葉大学 Emergency dispatch support system
WO2019111618A1 (en) * 2017-12-08 2019-06-13 日本電気株式会社 Patient status determination device, patient status determination system, patient status determination method, and patient status determination program recording medium
JP2019170851A (en) * 2018-03-29 2019-10-10 日本光電工業株式会社 Condition change display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145446A1 (en) * 2022-01-27 2023-08-03 ソニーグループ株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP7430374B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
US11776669B2 (en) System and method for synthetic interaction with user and devices
Kumah-Crystal et al. Electronic health record interactions through voice: a review
JP6875734B2 (en) Emergency dispatch support system
US20230291728A1 (en) System and method for a patient initiated medical interview using a voice-based medical history questionnaire
US11756540B2 (en) Brain-inspired spoken language understanding system, a device for implementing the system, and method of operation thereof
JP2020113004A (en) Information processor, electronic medical chart creation method, and electronic medical chart creation program
WO2020036207A1 (en) Medical information processing system, medical information processing device, and medical information processing method
JP2020199072A (en) Cerebral apoplexy determination device, method, and program
US10701210B2 (en) Systems and methods for matching subjects with care consultants in telenursing call centers
JP2015103183A (en) Medical examination support system
JP7430374B2 (en) Medical support system
JP7388450B2 (en) Conversation support device, conversation support system, conversation support method, and recording medium
US20230018077A1 (en) Medical information processing system, medical information processing method, and storage medium
US20230293103A1 (en) Analysis device
KR20130115706A (en) Service providing method for physical condition based on user voice using smart device
JP7503313B2 (en) Emergency dispatch support system
Meier et al. Speech-based Documentation in Emergency Medical Services with the Electronic Language Interface for Ambulance Services
US11990138B2 (en) Rapid event and trauma documentation using voice capture
JP7550900B2 (en) Clinical support system and clinical support device
JP7519708B2 (en) Emergency dispatch support system
US20220392593A1 (en) Medical Surgery Recording, Processing and Reporting System
US20240177828A1 (en) Information processing system, information processing device, information processing method, and non-transitory computer-readable medium storing program
WO2022044132A1 (en) Analysis device
WO2023053260A1 (en) Information processing system, information processing device, information processing method, and non-transitory computer readable medium having program stored thereon
JP2023071244A (en) Clinical support system and clinical support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240124

R150 Certificate of patent or registration of utility model

Ref document number: 7430374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150