JP7343394B2 - 医療用情報処理装置、情報処理方法、および医療用情報処理システム - Google Patents
医療用情報処理装置、情報処理方法、および医療用情報処理システム Download PDFInfo
- Publication number
- JP7343394B2 JP7343394B2 JP2019558031A JP2019558031A JP7343394B2 JP 7343394 B2 JP7343394 B2 JP 7343394B2 JP 2019558031 A JP2019558031 A JP 2019558031A JP 2019558031 A JP2019558031 A JP 2019558031A JP 7343394 B2 JP7343394 B2 JP 7343394B2
- Authority
- JP
- Japan
- Prior art keywords
- medical
- data
- information processing
- medical information
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
- A61M16/01—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes specially adapted for anaesthetising
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45117—Medical, radio surgery manipulator
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Anesthesiology (AREA)
- Databases & Information Systems (AREA)
- Robotics (AREA)
- Urology & Nephrology (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Bioethics (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Emergency Medicine (AREA)
- Pulmonology (AREA)
- Hematology (AREA)
- Gynecology & Obstetrics (AREA)
Description
1.本実施形態に係る情報処理方法
2.本実施形態に係る医療用情報処理装置
3.本実施形態に係るプログラム
以下では、本実施形態に係る医療用情報処理装置が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げる。また、以下では、“本実施形態に係る医療用情報処理装置を有する本実施形態に係る医療用情報処理システムの一例”を説明した後に、本実施形態に係る情報処理方法に係る処理について、説明する。
図1は、本実施形態に係る医療用情報処理システム1000の構成の一例を示す説明図である。図1では、手術データのうちの画像および/または音声を示すデータの流れを、破線で示している。また、図1では、上記画像および/または音声を示すデータ以外のデータ(例えば、他の手術データや、装置の制御に係るデータなど)の流れを、実線で示している。
・患者を一意に示す識別データ(例えば患者を示すID)
・患者に対して行われる手術に適用される術式を示すデータ
・患者の性別を示すデータ
・患者の年代(または年齢)を示すデータ
・患者の身体データ
・疾患の種類を示すデータ
・患者の病歴を示すデータ
・患者の手術歴を示すデータ
・患者の投薬履歴を示すデータ
・患者の検査データ
・患者の術後に関する術後データ(例えば、QALI(Quality Adjusted Life Years)を示すデータ、QOL(Quality Of Life)を示すデータ、退院日数を示すデータ、合併症の有無および種類を示すデータなど)
・上記のデータの2以上の組み合わせ
メディカルコントローラ10は、医療用情報処理システム1000を構成する各装置と通信可能に接続されており、各装置の動作を制御する。なお、図1に示す例では、メディカルコントローラ10は、インカム20、生体モニタ22、および麻酔システム24とは接続されていない。そのため、図1に示す例では、インカム20、生体モニタ22、および麻酔システム24それぞれは、メディカルコントローラ10とは独立して動作可能である。
操作デバイスは、操作デバイスを用いる者が操作を行うことが可能なデバイスである。
取得装置は、各種の手術データを取得する装置である。取得装置としては、例えば上述したように、俯瞰カメラ12、術野カメラ14、内視鏡/医療機器16、外部入力端子18、インカム20、生体モニタ22、および麻酔システム24が、挙げられる。
記憶装置は、手術データを記憶する装置である。記憶装置としては、例えば上述したように、レコーダ26、動画サーバ28、機器ログデータサーバ30、および麻酔科サーバ32が、挙げられる。
患者情報管理装置は、患者情報を管理する装置である。患者情報管理装置としては、例えば上述したように、電子カルテサーバ34と、DICOMサーバ36とが、挙げられる。
スイッチャ46は、画像データなどの各種のデータの各装置への入力の制御と、当該各種のデータの各装置からの出力の制御とを行う装置である。医療用情報処理システム1000では、画像データなどの各種のデータは、スイッチャ46を介して各装置に入力され、スイッチャ46を介して各装置から出力される。スイッチャ46の動作は、スイッチャ制御装置48によって制御される。また、スイッチャ制御装置48の動作は、メディカルコントローラ10により制御される。つまり、メディカルコントローラ10は、スイッチャ制御装置48を介してスイッチャ46の動作を制御することが可能である。
データ出力装置は、取得された手術データおよび/または患者情報を出力する装置である。データ出力装置としては、例えば上述したように、天井懸架モニタ38、壁面モニタ40、およびプリンタ42が、挙げられる。
次に、図1に示す医療用情報処理装置100が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る情報処理方法に係る処理について、説明する。
図1を参照して説明したように、医療用情報処理システム1000では、手術データなどの様々なデータが生成され、各装置で記憶される。
以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
医療用情報処理装置100は、候補データから、選択条件に対応する対象データを選択する。
・患者の性別に関する条件:男性、または、女性
・患者の年代(または年齢)に関する条件:10代、20代、…など
・患者の身体に関する条件:身長、体重、BMI(Body Mass Index)のうちの1または2以上など
・これらの組み合わせ
上記選択処理によって対象データが選択されると、医療用情報処理装置100は、選択された対象データから特徴を検出し、検出された特徴に対応する特徴データを、対象データから抽出する。
医療用情報処理装置100は、抽出された特徴データを編集する。医療用情報処理装置100は、医療用情報処理装置100の利用者の操作に基づいて、または、自動的に、特徴データを編集する。編集処理の例としては、上述したように、図2に示すD1~D5それぞれに示す処理が、挙げられる。
医療用情報処理装置100は、手術中に取得された手術データに対応する医療用画像(特徴データの一例)を表示画面に表示させる。手術データに対応する医療用画像が表示画面に表示されることによって、上述したように、例えば図2に示すEに示す術中ナビゲーション支援のような医療従事者の支援が、実現される。つまり、手術データに対応する医療用画像は、手術中のナビゲーション画像に該当しうる。
医療用情報処理装置100は、医療器具を搬送することが可能なアームの動作を制御する
アーム制御処理について説明する前に、本実施形態に係る医療器具を搬送することが可能なアームを備えるアーム装置の一例、およびアーム装置200の動作の一例について、説明する。
次に、上述したアーム装置200の動作を実現するための、アーム制御処理の一例を説明する。
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、医療用情報処理装置100の構成の一例を説明する。
図14は、本実施形態に係る医療用情報処理装置100の構成の一例を示すブロック図である。医療用情報処理装置100は、例えば、通信部102と、制御部104とを備える。
図15は、本実施形態に係る医療用情報処理装置100のハードウェア構成の一例を示す説明図である。医療用情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、医療用情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。また、医療用情報処理装置100は、例えば、医療用情報処理装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
以上、本実施形態に係る医療用情報処理システムの構成要素として、医療用情報処理装置100を挙げて説明したが、本実施形態は、かかる形態に限られない。医療用情報処理装置100は、例えば、“PC(Personal Computer)やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“アーム装置200のような、医療器具を搬送することが可能なアームを備える装置”など、上述した医療用情報処理装置100において行われる処理(本実施形態に係る情報処理方法に係る処理)を行うことが可能な、任意の機器に適用することができる。また、医療用情報処理システムでは、メディカルコントローラ10などの医療用情報処理システムを構成する他の機器が、医療用情報処理装置100として機能してもよい。さらに、医療用情報処理装置100は、例えば、上記のような機器に組み込むことが可能なICに適用することもできる。
本実施形態に係る医療用情報処理装置100が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る医療用情報処理装置100が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・術場にあるカメラやマイクからの入力データとそれらに同期した時間データとを関連付け、様々な特徴(例えば、“術場の人や機材の動きなどが自動的に検出された特徴”、“術中の処置具(鉗子やメスなど)の動きや、執刀医の指示(音声)などから自動的に検出された特徴”、“執刀医、助手などが入力装置を用いて入力されたデータから自動的に検出された特徴”など)を、一つのファイルシステムとして、管理することができる。
・特徴に対応する時点の前後のシーンを切り出して繋ぎ合わせるなどの、自動編集が実現される。
・自動編集されたファイルは、医師などが手動でテキストや図などを追加するなど、解剖学や医師などの知見に基づく手動での編集が可能である。これにより、例えば症例の応じた手技プロトコルの作成が容易となる。
・患者情報や症例ごとに分類されたデータを機械学習などを行うことによって、性別、年齢、体型などの患者の属性に応じた症例分類を、自動的に行うことができる。
・症例数の増加に応じて、適宜抽出シーンの追加や、置換候補の提示、自動的な置換を行うことができる。
・抽出された特徴データ、または、当該特徴データに基づき作成されたプロトコルファイルに基づいて、表示画面への医療用画像の表示、および/または、音声の出力(音声ガイド)が可能となる。よって、表示画面への医療用画像の表示、および/または、音声の出力(音声ガイド)による術中ナビゲーション支援が、実現される。
コンピュータシステムを、医療用情報処理装置100として機能させるためのプログラム(コンピュータプログラム)が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、医療従事者の利便性の向上を図ることができる。本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
・図14に示す“選択部110”および“抽出部112”として機能させるプログラム
・図14に示す“選択部110”、“抽出部112”、および“編集処理部114、表示制御部116、およびアーム制御部118のうちの一部または全部”として機能させるプログラム
(1)
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
を備え、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
(2)
前記抽出部は、機械学習により前記特徴データを抽出する、(1)に記載の医療用情報処理装置。
(3)
前記機械学習は、深層学習である、(2)に記載の医療用情報処理装置。
(4)
前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
前記医療用画像は、前記医療用撮像画像である、(1)~(3)のいずれか1つに記載の医療用情報処理装置。
(5)
前記対象データには、医療用イラスト画像が含まれ、
前記医療用画像は、前記医療用イラスト画像である、(1)~(4)のいずれか1つに記載の医療用情報処理装置。
(6)
前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
前記抽出部は、前記特徴データとしてさらに音声を抽出する、(1)~(5)のいずれか1つに記載の医療用情報処理装置。
(7)
前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
前記抽出部は、前記特徴データとしてさらにテキストを抽出する、(1)~(6)のいずれか1つに記載の医療用情報処理装置。
(8)
前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、(1)~(7)のいずれか1つに記載の医療用情報処理装置。
(9)
前記抽出部は、
前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、(8)に記載の医療用情報処理装置。
(10)
抽出された前記特徴データを編集する編集処理部を、さらに備える、(1)~(9)のいずれか1つに記載の医療用情報処理装置。
(11)
前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、(10)に記載の医療用情報処理装置。
(12)
手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、(1)~(11)のいずれか1つに記載の医療用情報処理装置。
(13)
前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、(12)に記載の医療用情報処理装置。
(14)
前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、(13)に記載の医療用情報処理装置。
(15)
前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、(13)または(14)に記載の医療用情報処理装置。
(16)
医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
前記アーム制御部は、
手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、(1)~(15)のいずれか1つに記載の医療用情報処理装置。
(17)
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
を有し
前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。
(1)
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
抽出された前記特徴データを編集する編集処理部と、
を備え、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
(2)
前記抽出部は、機械学習による学習済みモデルを使って前記特徴データを抽出する、(1)に記載の医療用情報処理装置。
(3)
前記抽出部は、前記選択条件に対応する前記対象データを学習する、(2)に記載の医療用情報処理装置。
(4)
前記機械学習は、深層学習である、(2)または(3)に記載の医療用情報処理装置。
(5)
前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
前記医療用画像は、前記医療用撮像画像である、(1)~(4)のいずれか1つに記載の医療用情報処理装置。
(6)
前記対象データには、医療用イラスト画像が含まれ、
前記医療用画像は、前記医療用イラスト画像である、(1)~(5)のいずれか1つに記載の医療用情報処理装置。
(7)
前記対象データには、画像以外のデータが含まれ、
前記抽出部は、画像以外のデータから特徴を検出する、(1)~(6)のいずれか1つに記載の医療用情報処理装置。
(8)
前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
前記抽出部は、前記特徴データとしてさらに音声を抽出する、(1)~(7)のいずれか1つに記載の医療用情報処理装置。
(9)
前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
前記抽出部は、前記特徴データとしてさらにテキストを抽出する、(1)~(8)のいずれか1つに記載の医療用情報処理装置。
(10)
前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、(1)~(9)のいずれか1つに記載の医療用情報処理装置。
(11)
前記抽出部は、
前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、(10)に記載の医療用情報処理装置。
(12)
前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、(1)~(11)のいずれか1つに記載の医療用情報処理装置。
(13)
前記編集処理部は、複数の症例から前記手技のプロトコルデータを生成する、(12)に記載の医療用情報処理装置。
(14)
手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、(1)~(13)のいずれか1つに記載の医療用情報処理装置。
(15)
前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、(14)に記載の医療用情報処理装置。
(16)
前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、(15)に記載の医療用情報処理装置。
(17)
前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、(15)または(16)に記載の医療用情報処理装置。
(18)
医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
前記アーム制御部は、
手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、(1)~(17)のいずれか1つに記載の医療用情報処理装置。
(19)
手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
抽出された前記特徴データを編集するステップと、
を有し
前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。
102 通信部
104 制御部
110 選択部
112 抽出部
114 編集処理部
116 表示制御部
118 アーム制御部
200 アーム装置
1000 医療用情報処理システム
P1 機材格納場所
P1’ 追加機材格納場所
P2 機材設置場所
P3 機材廃棄場所
Claims (19)
- 過去の手術中に取得された手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
画像を表示装置に表示させる表示制御部と、
抽出された前記特徴データを編集する編集処理部と、
を備え、
前記選択部、前記抽出部、前記表示制御部、及び前記編集処理部のうち、前記選択部、前記抽出部、及び前記表示制御部は、手術中にナビゲーション支援を行う術中ナビゲーション処理を実行可能とし、
前記術中ナビゲーション処理において、
前記選択部は、撮像デバイスにより撮像された医療用撮像画像の解析結果に基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出し、
前記表示制御部は、抽出された前記医療用画像のうちの、前記医療用撮像画像に対応する前記医療用画像を、前記表示装置に表示させる、医療用情報処理装置。 - 前記抽出部は、機械学習による学習済みモデルを使って前記特徴データを抽出する、請求項1に記載の医療用情報処理装置。
- 前記機械学習による学習済みモデルは、前記対象データからの前記特徴データの抽出を学習した学習済みモデルである、請求項2に記載の医療用情報処理装置。
- 前記機械学習は、深層学習である、請求項2または3に記載の医療用情報処理装置。
- 前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
前記医療用画像は、前記医療用撮像画像である、請求項1~4のいずれか1つに記載の医療用情報処理装置。 - 前記対象データには、医療用イラスト画像が含まれ、
前記医療用画像は、前記医療用イラスト画像である、請求項1~5のいずれか1つに記載の医療用情報処理装置。 - 前記対象データには、画像以外のデータが含まれ、
前記抽出部は、画像以外のデータから特徴を検出する、請求項1~6のいずれか1つに記載の医療用情報処理装置。 - 前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
前記抽出部は、前記特徴データとしてさらに音声を抽出する、請求項1~7のいずれか1つに記載の医療用情報処理装置。 - 前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
前記抽出部は、前記特徴データとしてさらにテキストを抽出する、請求項1~8のいずれか1つに記載の医療用情報処理装置。 - 前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、請求項1~9のいずれか1つに記載の医療用情報処理装置。
- 前記抽出部は、
前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、請求項10に記載の医療用情報処理装置。 - 前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、請求項1~11のいずれか1つに記載の医療用情報処理装置。
- 前記編集処理部は、複数の症例から前記手技のプロトコルデータを生成する、請求項12に記載の医療用情報処理装置。
- 前記抽出部は、さらに、前記表示装置に表示させる前記医療用画像を抽出した根拠を、通知させる、請求項1~13のいずれか1つに記載の医療用情報処理装置。
- 前記表示装置に表示される、前記医療用撮像画像に対応する前記医療用画像は、現在の手術中のナビゲーション画像に該当する、請求項1~14のいずれか1つに記載の医療用情報処理装置。
- 前記表示制御部は、現在の手術中に手技が変更された場合には、変更後の手技に対応する手術中のナビゲーション画像を、前記表示装置に表示させる、請求項15に記載の医療用情報処理装置。
- 医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
前記アーム制御部は、
現在の手術中に取得される手術データに対応する特徴データに基づいて、手術の進行状況を特定し、
特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、請求項1~15のいずれか1つに記載の医療用情報処理装置。 - 過去の手術中に取得された手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
画像を表示装置に表示させるステップと、
抽出された前記特徴データを編集するステップと、
手術中にナビゲーション支援を行うステップと、
を有し、
前記ナビゲーション支援を行うステップでは、
撮像デバイスにより撮像された医療用撮像画像の解析結果に基づき前記選択条件を設定して、前記候補データから前記選択条件に対応する前記対象データを選択し、
選択された前記対象データから特徴を検出し、検出された特徴に対応する前記特徴データとして少なくとも医療用画像を前記対象データから抽出し、
抽出された前記医療用画像のうちの、前記医療用撮像画像に対応する前記医療用画像を、前記表示装置に表示させる、医療用情報処理装置により実行される情報処理方法。 - 撮像デバイスと、
画像を表示する表示装置と、
前記表示装置に画像を表示させて手術中にナビゲーション支援を行う術中ナビゲーション処理を実行可能な制御装置と、
を備え、
前記制御装置は、
過去の手術中に取得された手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
画像を前記表示装置に表示させる表示制御部と、
抽出された前記特徴データを編集する編集処理部と、
を備え、
前記選択部、前記抽出部、前記表示制御部、及び前記編集処理部のうち、前記選択部、前記抽出部、及び前記表示制御部は、前記術中ナビゲーション処理を実行可能とし、
前記術中ナビゲーション処理において、
前記選択部は、前記撮像デバイスにより撮像された医療用撮像画像の解析結果に基づき前記選択条件を設定して、前記対象データを選択し、
前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出し、
前記表示制御部は、抽出された前記医療用画像のうちの、前記医療用撮像画像に対応する前記医療用画像を、前記表示装置に表示させる、医療用情報処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017233379 | 2017-12-05 | ||
JP2017233379 | 2017-12-05 | ||
PCT/JP2018/036760 WO2019111512A1 (ja) | 2017-12-05 | 2018-10-02 | 医療用情報処理装置、および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019111512A1 JPWO2019111512A1 (ja) | 2020-11-26 |
JP7343394B2 true JP7343394B2 (ja) | 2023-09-12 |
Family
ID=66751426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558031A Active JP7343394B2 (ja) | 2017-12-05 | 2018-10-02 | 医療用情報処理装置、情報処理方法、および医療用情報処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200312464A1 (ja) |
EP (1) | EP3677208A4 (ja) |
JP (1) | JP7343394B2 (ja) |
WO (1) | WO2019111512A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021018281A (ja) * | 2019-07-18 | 2021-02-15 | ソニー株式会社 | 医療機器制御システム、制御装置、および制御方法 |
JP7324121B2 (ja) * | 2019-11-07 | 2023-08-09 | 川崎重工業株式会社 | 使用器具推定装置及び方法並びに手術補助ロボット |
US20220277461A1 (en) * | 2019-12-05 | 2022-09-01 | Hoya Corporation | Method for generating learning model and program |
TWI755779B (zh) * | 2020-06-30 | 2022-02-21 | 香港商智慧生醫材料有限公司 | 智慧手術房手術物品管理方法和手術物品管理系統 |
WO2022014014A1 (ja) * | 2020-07-16 | 2022-01-20 | オリンパス株式会社 | 集中制御装置及び手術関連情報の表示方法 |
KR102417602B1 (ko) * | 2021-11-30 | 2022-07-07 | (주)플라스바이오 | 인공 지능 모델 기반 종양 관리 장치 및 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030216836A1 (en) | 2002-04-05 | 2003-11-20 | Treat Michael R. | Robotic scrub nurse |
JP3104051U (ja) | 2004-03-16 | 2004-09-02 | 株式会社ユープロダクション | 外科手術の記録動画の編集装置 |
JP2006043209A (ja) | 2004-08-05 | 2006-02-16 | U Production:Kk | 外科手術の動画記録装置 |
US20110046476A1 (en) | 2007-08-24 | 2011-02-24 | Universite Joseph Fourier- Grenoble 1 | System and method for analysing a surgical operation by endoscopy |
JP2011167301A (ja) | 2010-02-17 | 2011-09-01 | Asahikawa Medical College | 手術映像蓄積装置、手術映像蓄積方法、およびプログラム |
JP2016042982A (ja) | 2014-08-21 | 2016-04-04 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察システム |
WO2016200887A1 (en) | 2015-06-09 | 2016-12-15 | Intuitive Surgical Operations, Inc. | Video content searches in a medical context |
JP2017047022A (ja) | 2015-09-03 | 2017-03-09 | 株式会社メディカルプラットフォーム | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8010180B2 (en) * | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
EP1839615A4 (en) | 2005-01-19 | 2011-01-05 | Olympus Corp | DEVICE FOR ANALYZING DATA OF A MEDICAL DEVICE |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
WO2012060901A1 (en) * | 2010-11-04 | 2012-05-10 | The Johns Hopkins University | System and method for the evaluation of or improvement of minimally invasive surgery skills |
JP6059271B2 (ja) | 2015-02-26 | 2017-01-11 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
US9956054B2 (en) * | 2015-06-25 | 2018-05-01 | EchoPixel, Inc. | Dynamic minimally invasive surgical-aware assistant |
EP3373834A4 (en) * | 2015-11-12 | 2019-07-31 | Intuitive Surgical Operations Inc. | SURGICAL SYSTEM WITH TRAINING OR ASSISTANCE FUNCTION |
US20170143284A1 (en) * | 2015-11-25 | 2017-05-25 | Carestream Health, Inc. | Method to detect a retained surgical object |
US10143526B2 (en) * | 2015-11-30 | 2018-12-04 | Auris Health, Inc. | Robot-assisted driving systems and methods |
US11370113B2 (en) * | 2016-09-06 | 2022-06-28 | Verily Life Sciences Llc | Systems and methods for prevention of surgical mistakes |
US10452813B2 (en) * | 2016-11-17 | 2019-10-22 | Terarecon, Inc. | Medical image identification and interpretation |
US11158415B2 (en) * | 2017-02-16 | 2021-10-26 | Mako Surgical Corporation | Surgical procedure planning system with multiple feedback loops |
US9836654B1 (en) * | 2017-02-28 | 2017-12-05 | Kinosis Ltd. | Surgical tracking and procedural map analysis tool |
JP7227168B2 (ja) * | 2017-06-19 | 2023-02-21 | モハメド・アール・マーフーズ | 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション |
-
2018
- 2018-10-02 WO PCT/JP2018/036760 patent/WO2019111512A1/ja unknown
- 2018-10-02 EP EP18886892.1A patent/EP3677208A4/en active Pending
- 2018-10-02 US US16/768,081 patent/US20200312464A1/en active Pending
- 2018-10-02 JP JP2019558031A patent/JP7343394B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030216836A1 (en) | 2002-04-05 | 2003-11-20 | Treat Michael R. | Robotic scrub nurse |
JP3104051U (ja) | 2004-03-16 | 2004-09-02 | 株式会社ユープロダクション | 外科手術の記録動画の編集装置 |
JP2006043209A (ja) | 2004-08-05 | 2006-02-16 | U Production:Kk | 外科手術の動画記録装置 |
US20110046476A1 (en) | 2007-08-24 | 2011-02-24 | Universite Joseph Fourier- Grenoble 1 | System and method for analysing a surgical operation by endoscopy |
JP2011167301A (ja) | 2010-02-17 | 2011-09-01 | Asahikawa Medical College | 手術映像蓄積装置、手術映像蓄積方法、およびプログラム |
JP2016042982A (ja) | 2014-08-21 | 2016-04-04 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察システム |
WO2016200887A1 (en) | 2015-06-09 | 2016-12-15 | Intuitive Surgical Operations, Inc. | Video content searches in a medical context |
JP2017047022A (ja) | 2015-09-03 | 2017-03-09 | 株式会社メディカルプラットフォーム | 情報処理装置、情報処理方法および情報処理プログラム |
Non-Patent Citations (1)
Title |
---|
大沼健太郎、外7名,腹腔鏡下手術支援システムのための術者動作解析とTimed Automataによる手術シナリオモデルの,計測自動制御学会論文集,社団法人計測自動制御学会,2007年08月31日,第43巻,第8号,pp.679~688 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019111512A1 (ja) | 2020-11-26 |
WO2019111512A1 (ja) | 2019-06-13 |
EP3677208A4 (en) | 2020-09-09 |
EP3677208A1 (en) | 2020-07-08 |
US20200312464A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7343394B2 (ja) | 医療用情報処理装置、情報処理方法、および医療用情報処理システム | |
CN113748468B (zh) | 填写外科手术的术后报告的系统和方法、计算机可读介质 | |
CN107847283B (zh) | 利用外科手术过程图集配置外科手术系统 | |
JP4296278B2 (ja) | 医療用コクピットシステム | |
CN109996508A (zh) | 带有基于患者健康记录的器械控制的远程操作手术系统 | |
AU2022204898B2 (en) | Automatic endoscope video augmentation | |
CN110062608A (zh) | 带有基于扫描的定位的远程操作手术系统 | |
US20210015432A1 (en) | Surgery support system, information processing apparatus, and program | |
KR20190070358A (ko) | 수술 기구 마모 트래킹을 갖는 원격조작 수술 시스템 | |
Kranzfelder et al. | New technologies for information retrieval to achieve situational awareness and higher patient safety in the surgical operating room: the MRI institutional approach and review of the literature | |
JP7380557B2 (ja) | 情報処理システム、情報処理装置及び情報処理方法 | |
JP2006218127A (ja) | 手術システム | |
US10271828B2 (en) | Image file creation method, medium with image file creation program recorded and image file creation apparatus | |
US10617400B2 (en) | Control device, control method, program, and sound output system | |
JP2015097065A (ja) | 手術情報管理装置 | |
CN115443108A (zh) | 手术程序指导系统 | |
US20210158947A1 (en) | Beacon-based systems and methods for generating medical facility metrics | |
EP4276777A1 (en) | Object detection in an operating room | |
US20220129822A1 (en) | Detecting events during a surgery | |
RU214412U1 (ru) | Автоматическое дополнение эндоскопического видеоизображения | |
JP2024521722A (ja) | 手術シミュレーションナビゲーションシステム | |
CN116456923A (zh) | Ai辅助的工作流分割 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230831 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7343394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |