JP2011036372A - Medical image recording apparatus - Google Patents
Medical image recording apparatus Download PDFInfo
- Publication number
- JP2011036372A JP2011036372A JP2009185949A JP2009185949A JP2011036372A JP 2011036372 A JP2011036372 A JP 2011036372A JP 2009185949 A JP2009185949 A JP 2009185949A JP 2009185949 A JP2009185949 A JP 2009185949A JP 2011036372 A JP2011036372 A JP 2011036372A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- feature point
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、画像及び画像の被写体に関連する情報を記録する分野に属し、詳しくは、手術画像、生体データ及び手術情報を記録し、再生する医療画像記録装置に関する。 The present invention belongs to the field of recording images and information related to the subject of the image, and particularly relates to a medical image recording apparatus that records and reproduces surgical images, biological data, and surgical information.
内視鏡手術(ファイバースコープ内視鏡を用いた手術や、腹腔鏡手術)では、画像を撮影し、その画像をモニタに表示させ、モニタの画像を確認しつつ行う手術がある。また、これらのカメラで撮影した画像を記録する装置としては、カメラで撮影した画像と、他の機器で取得した患者の生体データ(脈拍や血圧)とを同時に記録する装置がある。また、内視鏡で撮影した画像以外にも、手術室をカメラ等で撮影した画像を記録する装置もある。 In endoscopic surgery (surgery using a fiberscope endoscope or laparoscopic surgery), there is a surgery performed by taking an image, displaying the image on a monitor, and checking the image on the monitor. In addition, as an apparatus for recording an image photographed by these cameras, there is an apparatus for simultaneously recording an image photographed by a camera and patient biometric data (pulse and blood pressure) acquired by another device. In addition to an image taken with an endoscope, there is also an apparatus that records an image taken with a camera or the like in an operating room.
例えば、特許文献1には医療用撮影装置によって撮影され電子情報化された動画を編集処理する医療画像作成装置において、前記医療用撮影装置によって撮影される該動画を入力する入力手段と、前記入力手段に入力された前記動画を一時的に保存する一時記憶手段と、前記一時記憶手段に保存される動画を再生可能に表示する表示部と該表示部で表示される動画を操作する操作部と該動画から所望する静止画を抽出する抽出部と前記抽出された静止画の一覧を表示する静止画表示部とを同一画面上で表示する出力手段と、からなることを特徴とする医療画像作成装置が記載されている。 For example, Patent Document 1 discloses a medical image creation apparatus that edits a moving image that has been photographed and converted into electronic information by a medical photographing device, an input unit that inputs the moving image photographed by the medical photographing device, and the input Temporary storage means for temporarily storing the moving picture input to the means, a display section for reproducibly displaying the moving picture stored in the temporary storage means, and an operation section for operating the moving picture displayed on the display section A medical image creation comprising: an extraction unit that extracts a desired still image from the moving image; and an output unit that displays a still image display unit that displays a list of the extracted still images on the same screen. An apparatus is described.
このように医療画像を記録することで、医療画像と複数の情報が表示された画像を再生することが可能となる。このように、医療画像と複数の情報を記録しておくことで、研修資料、研究資料として、有効に活用することができる。 By recording a medical image in this way, it is possible to reproduce an image on which a medical image and a plurality of information are displayed. Thus, by recording medical images and a plurality of information, it can be effectively used as training materials and research materials.
ここで、手術は、長い場合は、1つの手術で十数時間掛かるものもある。しかしながら、1つの手術でどのタイミングで何が行われているかは、手術を見ている人間でないとわからないため、不要な部分を飛ばし、必要な部分のみを効率よく視聴することが困難である。そのため、記録した医療画像を、再生し、視聴する場合は、手術と同様の長い時間を必要とする。 Here, if the operation is long, one operation may take more than ten hours. However, it is difficult for a person who is seeing the operation to know what is being performed at which timing in one operation, so it is difficult to skip unnecessary portions and efficiently view only the necessary portions. Therefore, when the recorded medical image is reproduced and viewed, a long time similar to the operation is required.
本発明は、上記に鑑みてなされたものであって、短時間かつ簡単な操作で有益な動画を再生することができる医療画像記録装置を提供することにある。 The present invention has been made in view of the above, and it is an object of the present invention to provide a medical image recording apparatus capable of reproducing a useful moving image in a short time and with a simple operation.
上述した課題を解決し、目的を達成するために、本発明は、医療用の動画を取得する動画取得部と、医療用の情報を取得する情報取得部と、前記動画取得部及び前記情報取得部の少なくとも一方で検出される情報から特徴点を検出する特徴点検出部と、取得した動画及び情報を同期させる同期部と、動画及び情報を記憶する記憶部と、前記同期部により、前記特徴点検出部で検出した特徴点の情報と前記取得した動画とを同期つけて、前記記憶部に記憶させる制御部とを有することを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention provides a moving image acquisition unit that acquires a medical moving image, an information acquisition unit that acquires medical information, the moving image acquisition unit, and the information acquisition A feature point detection unit that detects a feature point from information detected in at least one of the units, a synchronization unit that synchronizes the acquired moving image and information, a storage unit that stores the moving image and information, and the synchronization unit It has a control part which synchronizes the information of the feature point detected with the point detection part, and the acquired above-mentioned animation, and memorizes it in the storage part.
ここで、前記情報取得部は、手術具の操作を検出する検出機能を備え、前記特徴点検出部は、前記情報取得部により前記手術具が操作されたことを検出したら、該操作を特徴点として検出することが好ましい。 Here, the information acquisition unit is provided with a detection function for detecting operation of a surgical tool, and the feature point detection unit detects the operation of the surgical tool by the information acquisition unit. It is preferable to detect as
また、前記情報取得部は、患者の生体情報を検出する検出機能を備え、前記特徴点検出部は、前記情報取得部により検出された生体情報が予め設定された範囲から外れた値となったら特徴点として検出することが好ましい。 In addition, the information acquisition unit has a detection function of detecting biological information of a patient, and the feature point detection unit is configured such that the biological information detected by the information acquisition unit is a value that is out of a preset range. It is preferable to detect it as a feature point.
また、前記動画取得部は、内視鏡により取得した画像を取得することが好ましい。 Moreover, it is preferable that the said moving image acquisition part acquires the image acquired with the endoscope.
また、前記制御部は、前記特徴点を基準として設定された時間分の前記動画及び前記情報とを抽出して前記記憶部に記憶させることが好ましい。 Moreover, it is preferable that the said control part extracts the said moving image and the said information for the time set on the basis of the said feature point, and memorize | stores it in the said memory | storage part.
さらに、操作者により入力される前記動画の再生指示を検出する入力検出部を有し、前記制御部は、前記特徴点を再生の基準とした再生指示を入力可能とし、前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点を検出した時点を基準として、前記動画取得部で取得した動画を再生することが好ましい。 Furthermore, it has an input detection unit that detects a playback instruction of the moving image input by an operator, and the control unit can input a playback instruction with the feature point as a reference for playback. When it is detected that the playback instruction has been input using the feature point as a reference for playback, it is preferable to play back the moving image acquired by the moving image acquisition unit based on the time point when the feature point is detected.
また、前記制御部は、前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点よりも予め設定された時間分前の時点からの動画を再生することが好ましい。 In addition, when the input detection unit detects that the reproduction instruction using the feature point as a reference for reproduction is input by the input detection unit, the control unit starts from a time point that is a preset time before the feature point. It is preferable to play a movie.
さらに、表示させる画像を生成する表示制御部を有し、前記表示制御部は、前記再生指示を検出する前は、再生を開始する前の画像と、前記動画取得部で取得した画像とを含む画像を表示させることが好ましい。 Further, the display control unit includes a display control unit that generates an image to be displayed, and the display control unit includes an image before starting the playback and an image acquired by the moving image acquisition unit before detecting the playback instruction. It is preferable to display an image.
また、前記入力検出部は、前記表示制御部により生成された画像を表示する表示部への接触を検出するタッチパネルであることが好ましい。 Moreover, it is preferable that the said input detection part is a touch panel which detects the contact to the display part which displays the image produced | generated by the said display control part.
また、前記動画取得部は、医療用の動画を撮影する画像撮影機器と電気的に非接触な状態で接続されていることが好ましい。 The moving image acquisition unit is preferably connected in an electrically non-contact state with an image capturing device that captures a medical moving image.
また、前記情報取得部は、医療用の情報を生成する情報生成機器と電気的に非接触な状態で接続されていることが好ましい。 Moreover, it is preferable that the information acquisition unit is electrically connected to an information generation device that generates medical information.
本発明にかかる医療画像記録装置は、有益である可能性が高い画像の開始点を特徴点として抽出することで、操作者は、簡単な操作で、有益な画像を視聴することが可能となるという効果を奏する。また、特徴点があることで、有益な画像の探索も簡単になり、画像の探索を行う場合も短時間で有益な画像を視聴することが可能となる。 The medical image recording apparatus according to the present invention extracts a start point of an image that is highly likely to be useful as a feature point, so that an operator can view a useful image with a simple operation. There is an effect. In addition, since there are feature points, it is possible to easily search for a useful image, and it is possible to view a useful image in a short time even when searching for an image.
以下に、本発明にかかる医療画像記録装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。例えば、以下の実施形態では、医療画像記録装置を、内視鏡ユニットで撮影した画像を取得し、再生する装置として説明するが、取得し再生する画像の種類は限定されず、術野を撮影するカメラの画像を取得し再生してもよい。 Embodiments of a medical image recording apparatus according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments. For example, in the following embodiment, the medical image recording apparatus is described as an apparatus that acquires and reproduces an image captured by an endoscope unit. However, the type of image that is acquired and reproduced is not limited, and an operative field is imaged. A camera image may be acquired and played back.
図1は、本発明にかかる医療画像記録装置を備える医療システムの一例の概略構成を示すブロック図である。医療システム10は、医療画像記録装置12と、ディスプレイ14と、内視鏡ユニット16と、生体モニタ18と、手術室撮影部20と、手術具22と、出力部24と、操作検出部26と、入力部28とを有する。
FIG. 1 is a block diagram showing a schematic configuration of an example of a medical system including a medical image recording apparatus according to the present invention. The
医療画像記録装置12は、後述する各部から画像(動画)、生体情報、操作情報を取得し、取得した情報を記録する。また、医療画像記録装置12は、取得した情報に基づいて画像を生成し、再生する。なお、医療画像記録装置12については、後ほど詳細に説明する。
The medical
ディスプレイ14は、液晶ディスプレイ(Liquid Crystal Display)等の画像を表示させる装置であり、医療画像記録装置12で作製された画像を表示させる。
The
内視鏡ユニット16は、手術を行う患者に挿入し、体内の映像を取得する装置である。内視鏡ユニット16は、患者に挿入され、先端に撮像機構が設けられた挿入部16aと、操作者(執刀者、つまり医者等)が操作する操作部16bと、挿入部16aの撮像機構により取得した画像情報を処理し、画像を生成する処理部16cとで構成されている。また、内視鏡ユニット16の内視鏡としては、挿入部がやわらかい材料で形成されたファイバースコープタイプの内視鏡以外にも、挿入部が硬い材料で形成された膀胱鏡、胸腔鏡、腹腔鏡等を用いることができる。また、内視鏡ユニット16は、医療画像記録装置12に取得した画像の情報を送る。なお、内視鏡ユニット16と医療画像記録装置12とは、電気的に絶縁されており、例えば光カプラを用いた光通信により情報の送受信を行っている。
The
生体モニタ18は、患者の生体データを計測または検出し、ディスプレイに表示させる。ここで、生体モニタ18が計測または検出する生体データとしては、脈拍、心拍数、血圧、体温、脳波、血中酸素濃度、血中二酸化炭素濃度等が例示される。また、生体モニタ18は、内視鏡ユニット16と同様に、取得した生体データを医療画像記録装置12に送る。なお、生体モニタ18と医療画像記録装置12とも、電気的に絶縁されており、例えば光カプラを用いた光通信により情報の送受信を行っている。
The
手術室撮影部20は、手術を行っている手術室を撮影するカメラである。手術室撮影部20は、手術室内にいる人物や、手術台、各種装置を撮影することができる。なお、手術室撮影部20は、固定式とし、同一領域の画像を撮影するようにしても、可動式とし、撮影領域を変更可能としてもよい。手術室撮影部20も、内視鏡ユニット16と同様に、医療画像記録装置12に取得した画像の情報を送る。
The operating
手術具(手術器具)22は、電気メス、超音波メス等の手術に用いる器具である。なお、図1では、2つの手術具22を示しているが、手術具の数は限定されない。出力部24は、手術具22と接続しており、操作者の操作に基づいて手術具22を駆動させる。つまり、出力部24は、電気メスや超音波メス等の手術具22に電力を供給し、駆動させる。手術具22は、出力部24から電力を供給され、駆動されることで、患者の組織を切ったり、患者の組織を焼ききったりすることができる。
The surgical tool (surgical instrument) 22 is an instrument used for surgery such as an electric knife and an ultrasonic knife. In FIG. 1, two
操作検出部26は、手術具22と出力部24とを接続するコード部分に配置されており、手術具22と出力部24との間に流れる電流を検出し、手術具22が使用されているか否かを検出する。操作検出部26としては、例えば、電流が流れるコードを挟み込むだけで電流が流れているかを検出することができるクランプメータ(架線電流計)を用いることができる。なお、クランプメータは、電流が流れることでコードの周りに発生する磁界を検出することで電流の流れを検出する。操作検出部26は、検出した値を医療画像記録装置12に送る。医療画像記録装置12は、操作検出部26から送られた検出値に基づいて、手術具22が使用されたかを判定する。なお、操作検出部26は、検出した値から手術具22が使用されたかを検出し、その検出結果を医療画像記録装置12に送るようにしてもよい。
The
入力部28は、操作者が医療画像記録装置12に指示を入力する入力端末である。入力部28は、操作者により入力された指示を医療画像記録装置12に送る。ここで、入力部28としては、キーボードや、マウス、フットスイッチ、また、タッチパネル等も用いることができる。入力部28としてタッチパネルを用いることで、操作者は操作を簡単に行うことができる。なお、タッチパネルは、ディスプレイの表面に配置し、ディスプレイに表示させている画面と操作者による接触位置との関係に基づいて入力指示を検出する。医療システム10は、以上のような構成である。
The
次に、図2を用いて、医療画像記録装置12について説明する。図2は、図1に示す医療画像記録装置の概略構成を示すブロック図である。医療画像記録装置12は、上述したように、各部から供給された画像及びデータを記録し、再生させる装置であり、動画取得部40と、情報取得部42と、同期部44と、特徴点検出部46と、入力検出部48と、表示制御部50と、記憶部52と、送受信部54と、制御部56とを有する。
Next, the medical
動画取得部40は、医療システム10の各部から画像データを取得する。具体的には、内視鏡ユニット16から送られる画像データと、手術室撮影部20から送られる画像データを取得する。つまり、動画取得部40は、内視鏡ユニット16が取得した画像データを内視鏡ユニット16から取得し、手術室撮影部20が取得した画像データを手術室撮影部20から取得する。
The moving
情報取得部42は、医療システム10の各部で取得した情報を取得する。具体的には、情報取得部42は、生体モニタ18から送られる生体データを取得する。つまり情報取得部42は、生体モニタ18が取得した生体データを生体モニタ18から取得する。また、情報取得部42は、操作検出部26で検出した値を取得し、取得した値に基づいて手術具22を操作したか否かの情報を取得する。
The information acquisition unit 42 acquires information acquired by each unit of the
同期部44は、動画取得部40で取得した画像データと、情報取得部42で取得した各種データとを同期させる。つまり、同期部44は、各画像データと各種データとの時間軸をあわせ、各画像データと各種データとを対応付ける。同期部44で、同期させることで、データの再生時に、各データの時間軸がずれることを防止できる。ここで、同期部44によって各データを同期させる方法は特に限定されず、例えば、各データにフラグデータを付加すればよい。また、一定時間ごとのデータをパケット化して記憶するようにしてもよい。同一時間のデータを1つのユニットとしてもよい。
The synchronization unit 44 synchronizes the image data acquired by the moving
特徴点検出部46は、動画取得部40で取得した画像データと、情報取得部42で取得した各種データから、一定以上の変化が生じた時間を検出し、その変化が生じた時点を特徴点とする。本実施形態では、手術具22の使用を特徴点として検出する設定とし、情報取得部42で取得した情報に基づいて、手術具22が使用されたと判定された時点を特徴点として検出する。
The feature
入力検出部48は、操作検出部26から送られる信号を検出する。つまり、入力検出部48は、操作者が操作検出部26を操作することで入力される信号を検出する。
The input detection unit 48 detects a signal sent from the
表示制御部50は、制御部56から送られるデータに基づいて、ディスプレイ14に表示させる画像を生成する。記憶部52は、制御部56から送られるデータを記憶させる。なお、記憶部52としては、キャッシュメモリを用いることができる。記憶部52として、キャッシュメモリを用いることで、データを短時間で読み出すことができる。なお、記憶部52として、ハードディスク等の読み出しに時間がかかるが大容量のデータを記憶できる記憶手段を用いてもよい。また、取得した動画情報を記録する(符号化する)フォーマットの一例としては、MPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4(主に移動通信の場合、H.261(国際電気通信連合勧告の規格)などを挙げることができる。例えば、MPEG−2では、符号化された情報は適当な長さの単位のパケットであるPES(Packetized Elementary Stream)パケット(可変長)によって構成され、動画情報は、複数のPESパケットからなるストリームとして取得される。
The
送受信部54は、外部のネットワークや、外部の記憶装置とデータの送受信を行う。送受信部54は、各部で生成されたデータ(再生する画像データ)や、記憶部52に記憶されているデータを外部のネットワークや、外部の記憶装置に送り、外部装置に保存させる。また、外部装置に保存されているデータを読み出す。 The transmission / reception unit 54 transmits / receives data to / from an external network or an external storage device. The transmission / reception unit 54 sends data generated by each unit (image data to be reproduced) and data stored in the storage unit 52 to an external network or an external storage device, and stores the data in the external device. Also, data stored in the external device is read.
制御部56は、上述した医療画像記録装置12の各部の動作を制御し、取得した画像データ及び各種データから作成した画像の再生、保存、読み出し等を行う。医療画像記録装置12は、以上のような構成である。
The control unit 56 controls the operation of each unit of the medical
次に、医療システム10及び医療画像記録装置12の動作を説明する。まず、図3を用いて、取得したデータの記録方法(記憶させる方法)について説明する。図3は、画像および情報の記録方法の一例を説明するための説明図である。ここで、図3に示す図において、「映像情報1」は、内視鏡ユニット16で取得した画像データであり、「映像情報2」は、手術室撮影部20で取得した画像データである。また、「生体情報」は、生体モニタ18で取得したデータであり、「操作情報」は、操作検出部26の信号に基づいて取得した、手術具22の操作のデータである。
Next, operations of the
図3に示すように、「映像情報1」、「映像情報2」、「生体情報」、「操作情報」のそれぞれのデータは、上述した各部から医療画像記録装置12に送られ、各部で処理されることで、データとなる。また、同期部44により同期されることで、図3に示すように、同一の時間軸で対応付けられる。各データは、対応付けされた状態で、一定時間区分毎に切り出される。具体的には、一定時間範囲のデータが、切出部分1、切出部分2、切出部分3の3つに切り出される。なお、切り出す場合は、各切出部分は、隣接した切出部分と一部同じ時間帯のデータも切り出す。例えば、0秒から始まるデータを、20秒毎に切り出す場合は、切出部分1は0秒から20秒までのデータを切り出し、切出部分2は、18秒から38秒までのデータを切り出し、切出部分3は、36秒から56秒までのデータを切り出すようにする。これにより、切り出したデータ同士を再度繋げる場合に、一部の画像が同一データとなるため、照合しやすくなり、データを正確に繋げることができる。
As shown in FIG. 3, the data of “video information 1”, “video information 2”, “biological information”, and “operation information” are sent from the above-described units to the medical
このようにして、切り出されたデータには、同一時間帯の「映像情報1」、「映像情報2」、「生体情報」、「操作情報」のデータが含まれる。例えば、切出部分1には、「映像情報1−1」、「映像情報2−1」、「生体情報−1」、「操作情報−1」が含まれ、このデータの集合体がデータユニット1として生成される。なお、このデータユニット1には、同期データ、つまり時間軸のフラグや、後述する特徴点のデータも含めるようにしてもよい。このようにして生成されたデータユニットは、記憶部52に記憶されたり、送受信部54から外部の記憶装置に記憶されたりする。また、制御部56によりデータユニットを読み出し、再生することで、ディスプレイ14に画像を再生することができる。また、複数のデータユニットを時間軸に沿って連続的に再生することで、一定時間以上再生することができる。
The data thus extracted includes data of “video information 1”, “video information 2”, “biological information”, and “operation information” in the same time period. For example, the cutout part 1 includes “video information 1-1”, “video information 2-1”, “biological information-1”, and “operation information-1”, and an aggregate of the data is a data unit. 1 is generated. The data unit 1 may also include synchronous data, that is, time axis flags and feature point data described later. The data unit generated in this way is stored in the storage unit 52 or stored in the external storage device from the transmission / reception unit 54. Further, by reading and reproducing the data unit by the control unit 56, an image can be reproduced on the
次に、図4を用いて、医療画像記録装置12により作製され、ディスプレイ14に表示される画像の一例を説明する。図4は、ディスプレイに表示される画像の一例を示す画面図である。図4に示すように、ディスプレイ14の画面102には、画像104と、画像106と、グラフ108、グラフ110と、操作キー112が表示されている。なお、この画面102に表示された画像は、動画取得部40、情報取得部42、入力検出部48から取得したデータ、情報、指示に基づいて制御部56と表示制御部50により生成される。
Next, an example of an image produced by the medical
画像104は、内視鏡ユニット16で取得した画像であり、操作者が処理を行っている領域、つまり手術対象の臓器等がある手術野の画像(動画)が表示されている。画像106は、手術室撮影部20で取得した画像であり、手術室内の操作者や、患者、手術具等の画像(動画)が表示されている。
The
グラフ108及びグラフ110は、生体モニタ18で取得した生体データである。図4に示す画面102では、グラフ108として血圧の検出結果が表示され、グラフ110として、脈拍の検出結果が表示されている。なお、画像104、画像106、グラフ108及びグラフ110に表示されている画像、データは、同期部44で同期された同一時間におけるデータである。
The
次に、操作キー112は、医療画像記録装置12を操作するためのキーが表示されている。例えば、再生、停止、早送り、巻き戻し、録画開始、特徴点移動等の指示を入力するキーが表示されている。操作キー112は、入力部28による入力に基づいて、選択されているキーが確認できるように表示される。例えば、選択されているキーの表示のみ異なる色となる。このように、選択されているキーの表示を変化させることで、入力部28への入力によりどのキーが選択されている状態かを操作者が確認できる。
Next, the
医療画像記録装置12は、このように、同期した各種画像及びデータから画像を作成し、ディスプレイ14に表示させる。ここで、医療画像記録装置12は、画面102に、記憶したデータを再生させた画像以外にも、現在各部で取得したデータを表示させるようにしてもよい。つまり、リアルタイムの画像(記録の対象となる画像)を表示させるようにしてもよい。また、画面102には、操作者が特徴点の検出タイミングを認識できるように横軸を時間軸として、特徴点の検出時を表示させたグラフも表示させることが好ましい。
In this way, the medical
次に、図5、図6を用いて、医療画像記録装置12の処理の一例を説明する。ここで、図5は、医療画像記録装置による処理の一例を示すフロー図である。また、図6は、医療画像記録装置によって検出された特徴点と記録データとの関係を示す説明図である。なお、図5に示す処理は、記録動作の一例である。
Next, an example of processing of the medical
まず、準備として、操作者が、医療画像記録装置12と、医療システム10の他の各部とを接続し、画像データ及び各種データを取得可能な状態とする。また、医療画像記録装置12と、ディスプレイ14とを接続し、医療画像記録装置12で生成した画像をディスプレイ14に表示できるようにする。その後、医療画像記録装置12を起動する。なお、準備の順序は特に限定されず、医療画像記録装置12を起動した後、各部を接続するようにしてもよい。
First, as a preparation, the operator connects the medical
準備が完了したら、医療画像記録装置12は、ステップS12として記録開始指示があるかを判定する。ここで、記録開始指示とは、操作者が入力部28を操作することで入力される指示である。医療画像記録装置12は、ステップS12で記録開始指示がない(No)と判定したら、再びステップS12の判定を行う。つまり、医療画像記録装置12は、記録開始指示があるまで、ステップS12の判定を繰り返す。
When the preparation is completed, the medical
医療画像記録装置12は、ステップS12で記録開始指示あり(Yes)と判定したら、ステップS14として、記録を開始する。つまり、各部から取得した画像、情報を同期させて、記憶部52に記憶させる。また、必要に応じて、送受信部54を介して外部の記憶装置に記憶させる。
If it is determined in step S12 that there is a recording start instruction (Yes), the medical
医療画像記録装置12は、ステップS14で記録を開始したら、ステップS16として、手術具22が使用されたかを判定する。つまり、画像、各種データの記録中に操作検出部26からの信号に基づいて手術具22の使用が検出されたかを判定する。なお、手術具22の使用は、操作検出部26により、手術具22と出力部24との間に流れる電流を検出することで、検出することができる。つまり、本実施形態では、手術具22に電流を流し、患者の対象部が切開されたり止血されたりした可能性が高い時を、手術具22が使用されたと判定する。医療画像記録装置12は、ステップS16で手術具22が使用されていない(No)と判定したら、ステップS26に進む。
When the medical
また、医療画像記録装置12は、ステップS16で手術具22が使用された(Yes)と判定したら、ステップS18として、使用直前の時点を特徴点とする。つまり、手術具22が使用されて、切開が行われたり、止血が行われたりする直前の時点を特徴点として設定する。なお、使用直前の設定は特に限定されず、どのように設定してもよい。例えば、使用されたと判定した時点の一定時間前(0.5秒前、1秒前、5秒前)を直前と設定すればよい。医療画像記録装置12は、再生時に基準(頭だしの基準)となるように、特徴点として設定した時点にフラグデータを付する。なお、特徴点を識別できればよく、フラグデータを付する以外に、同期された時間軸と対応した時間と特徴点との対応関係の表(テーブル)を作製してもよい。
If the medical
医療画像記録装置12は、ステップS18で特徴点を設定したら、また、ステップS16でNoと判定されたら、ステップS26として記録終了指示があるかを判定する。記録終了指示は、記録開始指示と同様に、操作者が入力部28を操作することで入力され、医療画像記録装置12は、この指示が入力されているか否かを判定する。また、記録終了指示とは、各部で取得した画像、データの記録を終了する指示である。
The medical
医療画像記録装置12は、ステップS26で画像終了指示なし(No)と判定したら、ステップS16に進み、上記操作を繰り返す。つまり、医療画像記録装置12は、記録終了指示が入力されるまで、ステップS16、ステップ18の処理を繰り返す。また、医療画像記録装置12は、ステップS26で記録終了指示あり(Yes)と判定したら、ステップS28として、記録終了の処理を行い、処理を終了する。医療画像記録装置12は、以上のようにして画像(動画)と各種情報と特徴点とを同期させつつ、記録データとして記録する。
If the medical
これにより、図6に示すように、手術開始から手術終了までの記録データには、手術具(器具)を使用した時点(特徴点データ)が記録される。具体的には、記録データには、器具Aを用いた(使用した)時点、器具Bを用いた時点、器具Cを使用した時点が記録される。また、特徴点データとして、その器具が使用されたかを記憶しており、ディスプレイに表示する場合は、図6に示すように、各特徴点の検出要因が対応付けられてコメントとして表示される。なお、この検出要因は、表示させなくてもよい。 Thereby, as shown in FIG. 6, the time (feature point data) at which the surgical tool (tool) is used is recorded in the recorded data from the start of the operation to the end of the operation. Specifically, the time when the device A is used (used), the time when the device B is used, and the time when the device C is used are recorded in the recorded data. Moreover, it is memorize | stored whether the instrument was used as feature point data, and when displaying on a display, as shown in FIG. 6, the detection factor of each feature point is matched and displayed as a comment. Note that this detection factor may not be displayed.
次に、図6と図7−1から図7−3を用いて、記録した記録データの再生方法を説明する。また、図7−1から図7−3は、それぞれ医療画像記録装置による処理の一例を説明するための画面図である。 Next, a method for reproducing the recorded data will be described with reference to FIG. 6 and FIGS. 7-1 to 7-3. FIGS. 7A to 7C are screen diagrams for explaining an example of processing by the medical image recording apparatus.
医療画像記録装置12は、図6に示すように記録データ内に特徴点のデータが記録されており、再生時の基点として設定している。つまり、特徴点の時点が再生の頭出しの時点として設定されている。これにより、操作者は、特徴点を基点として画像を再生することができる。一例としては、操作者は、画像再生中にスキップを入力すると、次の特徴点からの画像を再生することができる。また、入力部としてマウスを備える場合は、特徴点をクリックすることで特徴点からの画像を再生することができる。
As shown in FIG. 6, the medical
より具体的には、まず、画像記録時に、手術具22が使用されると、図7−1に示すように、手術具22により対象部の切開(切除)を開始する直前の時点が特徴点として設定される。これにより、操作者が特徴点からの再生する指示を入力すると、図7−1に示す画面の時点から動画が再生され、対象部を切除する画像104aが表示される。その後、画像の再生を続けることで、図7−2に示すように、画像104aの時点から一定時間経過後の、対象部の切除が完了された画像104bが表示される。なお、この時、画面102の他の画像、データも画像104bの時点の画像、データが表示される。なお、医療画像記録装置12は、画像を再生させる場合、予め設定された時間分の画像を再生するようにしても、操作者により停止の指示が入力されるまで画像を再生するようにしてもよい。
More specifically, first, when the
なお、再生時の画像の表示方法として、同一時間(同期された)画像を表示させることに限定されず、1つの画面に異なる時間の画像を表示させるようにしてもよい。例えば、図7−3に示すように、特徴点の時点で内視鏡ユニット16により取得した画像104aは、静止画像として表示させ、他の領域(図7−3中画像104bが表示されている部分)に内視鏡ユニット16により取得した動画、つまり特徴点以降に取得した画像を表示させるようにしてもよい。このように、異なる時間帯の画像を並列して表示させることで、画像の比較を行うことができる。
Note that the display method of images during reproduction is not limited to displaying images of the same time (synchronized), and images of different times may be displayed on one screen. For example, as shown in FIG. 7-3, the
このように、医療画像記録装置12は、特徴点を検出し、特徴点のデータを記録データの中に含めることで、特徴点を基点として画像を再生することができる。これにより、操作者が再生をスタートさせる地点(時間)を検索することなく、手術中に処理が行われている時間帯の画像(動画)を再生することができる。また、手術の中でも重要な行為である手術具の使用を検出し、手術具を使用している画像(動画)が確認できることで、操作者は、手術中に発生した問題や、技術を把握することができる。つまり、画像での確認を必要とする可能性が高い、手術具の使用時を簡単に再生できることで、操作者が求める画像を簡単に再生することができる。
As described above, the medical
例えば、高度医療技術、特に内視鏡外科手術は、習得が困難であるため、指導者(熟練度の高い医者)が、未熟な医者(つまり、執刀医、操作者)に指導を行うことがある。このような場合に、本発明の装置を用いることで、指導者が、手術具による操作を行う直前から操作を行っている間の映像を簡単に視聴することができる。これにより、指導者は、直前の状態、処理を把握することができ、効果的、かつ短時間で問題点を把握することができ、未熟な医者を指導することが可能となる。また、逆に、指導者が執刀した手術画像を未熟な医者が視聴し研究を行う場合も、指導者が操作を行った画像部分のみを視聴することが可能となる。これにより、短時間で必要な画像を視聴することができ、短時間で手術を把握することができる。これにより、効率よく、有効な画像を視聴することが可能となる。 For example, because advanced medical technology, especially endoscopic surgery, is difficult to learn, an instructor (a highly skilled doctor) may instruct an inexperienced doctor (ie, a surgeon or operator). is there. In such a case, by using the apparatus of the present invention, it is possible for the instructor to easily view the video while performing the operation immediately before performing the operation using the surgical tool. Thereby, the instructor can grasp the immediately preceding state and processing, can grasp the problem in an effective and short time, and can instruct an inexperienced doctor. Conversely, even when an unskilled doctor views and conducts research on an operation image operated by the instructor, only the image portion operated by the instructor can be viewed. As a result, necessary images can be viewed in a short time, and surgery can be grasped in a short time. Thereby, it becomes possible to view an effective image efficiently.
また、特徴点の基点の画像を表示させつつ、動画の再生を行うことで、視聴者は、処置前の状況と処理中の映像とを比較しつつ、問題点、処理方法を解析することができる。また、特徴点の基点の画像を表示させつつ、動画の再生を行うことで、操作者は、処理対象部(患部)の変化を把握することができる。これにより、手術中に操作者が手術具(電気メスや超音波メスなど)での処理を行ったことで生じる対象部位の変化を把握することができ、処置内容、つまり切開した領域の大きさの出血の変化等を容易に確認することができる。これにより、手術をより正確に把握することができる。 In addition, by playing the video while displaying the base image of the feature point, the viewer can analyze the problem and the processing method while comparing the situation before the treatment and the image being processed. it can. Further, by reproducing the moving image while displaying the image of the base point of the feature point, the operator can grasp the change of the processing target part (affected part). As a result, it is possible to grasp the change in the target site that occurs when the operator performs a treatment with a surgical tool (such as an electric knife or an ultrasonic knife) during the operation, and the contents of the treatment, that is, the size of the incised region. It is possible to easily confirm changes in bleeding. Thereby, it is possible to grasp the surgery more accurately.
また、特徴点を自動的に抽出することで、操作者が手術中や、手術後に画像を確認しながら、コメント(どの手術具を使用したか)を挿入したり、タグ(頭だしとなる)設定を入力したりすることなく、必要なコメントや、タグ設定をすることができる。これにより、操作者の負担を軽くすることができる。なお、コメントの挿入の手間を省略できるため、医療画像記録装置は、特徴点を検出した要因(何を検出して特徴点として設定したか)を特徴点ともに記憶させることが好ましい。また、特徴点を表示させ、図6に示すように、各特徴点の検出要因(どの手術具が使用されたか)を表示させることで、手術中で使用される手術具の流れや、使用するタイミングも把握することができる。これにより、手術全体の流れも把握しやすくなる。 In addition, by automatically extracting feature points, the operator can insert a comment (which surgical tool was used) or check a tag (becomes a head) while checking the image during or after surgery. Necessary comments and tag settings can be made without entering settings. Thereby, an operator's burden can be eased. In addition, since it is possible to omit the trouble of inserting a comment, it is preferable that the medical image recording apparatus stores the factor that detected the feature point (what was detected and set as the feature point) together with the feature point. Further, by displaying the feature points and displaying the detection factors of each feature point (which surgical tool was used) as shown in FIG. 6, the flow of the surgical tools used during the operation and the use thereof are displayed. The timing can also be grasped. Thereby, it becomes easy to grasp the flow of the entire operation.
なお、上記実施形態では、特徴点を基点としてデータを簡単な操作で再生できるため、特徴点からデータを頭だし再生する場合を説明したが、頭だし再生機能は必ずしも必要なく、医療画像記録装置12は、手術画像を最初から再生することもできる。この場合でも、特徴点のデータが予め取得されていることで、手術の流れを把握することができ、視聴者の操作により特徴点からのデータを再生することが可能となる。
In the above embodiment, since the data can be reproduced with a simple operation using the feature point as a base point, the case where the data is cued and reproduced from the feature point has been described, but the cued reproduction function is not necessarily required, and the medical
また、図3に示すように、複数のデータをデータユニットとし、分離して記憶させることで、記録中でも一部の画像およびデータを再生することができる。また、再生と平行して記憶も行うことができる。また、同期した同一時間軸のデータを取り出すことができるので、データの読み出しも簡単になる。なお、本実施形態のようにデータユニットで記録することで、上記種々の効果を得ることができるが、これに限定されず、データの記録方法は特に限定されない。例えば、夫々のデータを別々に記憶させるようにしてもよい。また、複数の記録装置を用意し、再生指示が入力されたら、複数の記録装置のうち1つの記録装置で画像の再生を行うようにしてもよい。 In addition, as shown in FIG. 3, by storing a plurality of data as data units and storing them separately, some images and data can be reproduced even during recording. In addition, storage can be performed in parallel with reproduction. In addition, since the synchronized data on the same time axis can be taken out, the data can be easily read out. The various effects described above can be obtained by recording data units as in this embodiment, but the present invention is not limited to this, and the data recording method is not particularly limited. For example, each data may be stored separately. Alternatively, a plurality of recording devices may be prepared, and when a reproduction instruction is input, an image may be reproduced by one of the plurality of recording devices.
ここで、医療画像記録装置12は、画像記録時も取得している画像をディスプレイに表示させることが好ましい。これにより、手術の状況、および、録画するデータをより正確に把握できる。なお、再生指示があった場合のみ画像を表示させるようにしてもよい。また、医療画像記録装置12は、画像記録時に取得した画像を表示させる場合は、ディスプレイ14に特徴点の画像(内視鏡ユニット16により取得した画像)を表示することが好ましい。これにより、特徴点として検出した画面を録画時に把握することができる。
Here, it is preferable that the medical
また、医療画像記録装置12は、図6に示すように、横軸を時間としたグラフ上に特徴点を表示させるようにしてもよいが、特徴点の画像をサムネール画像として表示させて、再生する特徴点の画像を選択できるようにしてもよい。このように時間軸や、このように基準に基づいて、特徴点を表示し、各時点での画像から選択することで、必要な画像、再生したい画像を短時間で選択することができる。
Further, as shown in FIG. 6, the medical
また、上記実施形態では、特徴点を基点として画像を再生したが、特徴点よりも予め設定された時間分前の時点から画像を再生するようにしてもよい。このように設定することで、特徴点と設定した時点を動画として確認することができる。これにより、特徴点を手術具の使用を検出した時点としても、手術具を使用する前から画像を再生することができる。 In the above-described embodiment, the image is reproduced using the feature point as a base point. However, the image may be reproduced from a time point that is a preset time before the feature point. By setting in this way, the feature point and the set time point can be confirmed as a moving image. Accordingly, even when the use of the surgical tool is detected as the feature point, the image can be reproduced before the surgical tool is used.
また、上記実施形態では、手術具の使用を正確かつ簡単に検出することができ、かつ、切開、止血等の処理には電気を使用する手術具が用いられることが多いため、操作検出部26を用い、電流の流れを検出したが、手術具の使用の検出方法はこれに限定されない。内視鏡ユニットや、手術室撮影部で撮影された画像に画像処理を行い、手術具の動きを検出することで、手術具の使用を検出してもよい。このように画像解析を用いる場合は、画像処理が必要となるが、電気を使わない手術具の使用も検出することができる。また、手術具の形状から、手術具を検出してもよいが、手術具にバーコード、QR(登録商標、Quick Response)コード等の識別表示を付し、その識別表示を読み取るようにしてもよい。 In the above-described embodiment, the use of the surgical tool can be accurately and easily detected, and a surgical tool that uses electricity is often used for processing such as incision and hemostasis. Although the current flow was detected using, the method of detecting the use of the surgical tool is not limited to this. The use of the surgical tool may be detected by performing image processing on an image captured by the endoscope unit or the operating room photographing unit and detecting the movement of the surgical tool. When image analysis is used in this way, image processing is required, but the use of a surgical instrument that does not use electricity can also be detected. In addition, the surgical tool may be detected from the shape of the surgical tool, but an identification display such as a barcode or a QR (registered trademark, Quick Response) code is attached to the surgical tool, and the identification display is read. Good.
また、医療画像記録装置12は、取得したデータから特徴点に関連するデータを抽出するようにしてもよい。以下、図8及び図9を用いて説明する。ここで、図8は、医療画像記録装置による処理の一例を示すフロー図であり、図9は、医療画像記録装置によって記録データと抽出された記録データとの関係を示す説明図である。なお、医療画像記録装置12は、各部から取得したデータを記憶(保存)させる際に、抽出して記憶するようにしても、一旦記憶(保存)させたデータを読み出し、一部のデータのみを抽出して記憶するようにしてもよい。
Further, the medical
まず、医療画像記録装置12は、図8に示すように、ステップS102として、データから特徴点を検出する。なお、このデータは、一旦記録している(記憶されている)場合は、記録データに含まれる特徴点のデータとなり、各部から取得したデータ(情報、画像)である場合は、データを解析することで検出される特徴点である。
First, as shown in FIG. 8, the medical
医療画像記録装置12は、ステップS102で特徴点を検出したら、ステップS104として、特徴点を基準として、データを抽出する。具体的には、特徴点を始点とし、設定時間分の記録データを抽出する。ここで、設定時間は、予め設定された時間であり、例えば、30秒、1分、3分等である。医療画像記録装置12は、ステップS102で検出した各特徴点について記録データの抽出を行う。なお、各部からデータを取得しながら、つまり、現在行われている手術のデータを取得しながら処理を行っている場合は、ステップS102とステップS104の処理を繰り返し行う。
When the medical
医療画像記録装置12は、ステップS104でデータを抽出したら、ステップS106として、抽出したデータを時間軸に基づいて連結(結合)する。つまり、ステップS104で抽出したデータを時間順に並べて、隣接する時間データと結合する。例えば、データを図3に示すようにデータユニットとしている場合は、時間軸にそって再生する順番を設定したフラグ等を付与する。
After extracting the data in step S104, the medical
医療画像記録装置12は、ステップS106でデータを連結したら、ステップS108として、連結したデータを保存する。なお、データは、記憶部52に保存しても(記憶させても)、送受信部54を介して外部の記憶装置に保存してもよい。
When the medical
医療画像記録装置12は、特徴点を基準としてデータを抽出することで、図9に示すように、特徴点を基準とした一定時間分のデータのみを抽出したデータを作成することができる。具体的には、図9中上段に示す記録データから特徴点を基準としたデータ140a、140b、140c、140dを抽出し、図9中下段に示すように連結することで、特徴点のデータのみを抽出したデータを作成することができる。なお、データ140dは、特徴点から特徴点までの時間間隔が短いため、1つのデータ区分として抽出している。
The medical
これにより、本実施形態では、手術具を使用していない時間帯のデータは、取り除き、手術具を使用している時間帯のデータのみを抽出したデータを作成することができる。つまり、視聴者が視聴したい可能性が高い時間帯を抽出した、ダイジェスト版となるデータを作成することができる。また、このダイジェスト版となるデータを自動で作成することができる。また、このようにダイジェスト版のデータを作成することで、視聴者は、スキップ等の操作をすることなく、特徴点のデータ(映像、生体データ)のみを視聴することができ、短時間、かつ、簡単な操作で有効な資料を視聴することができる。 Thereby, in this embodiment, the data of the time slot | zone when the surgical tool is not used can be removed, and the data which extracted only the data of the time slot | zone using the surgical tool can be created. That is, it is possible to create a digest version of data that extracts a time zone that the viewer is likely to view. Moreover, the data which becomes this digest version can be created automatically. Also, by creating digest version data in this way, the viewer can view only feature point data (video, biometric data) without performing an operation such as skipping, and in a short time, , You can watch valid materials with a simple operation.
なお、特徴点に基づいた抽出条件は、種々の設定とすることができ、例えば、特徴点と特徴点との時間間隔が一定以下の場合は、連続した処理として、特徴点と特徴点の間のデータは、分断することなく抽出するようにしてもよい。 Note that extraction conditions based on feature points can be set in various settings. For example, when the time interval between feature points is equal to or less than a certain value, the continuous processing is performed between feature points. These data may be extracted without being divided.
また、上記実施形態では、手術具の使用を特徴点として検出したが、本発明はこれに限定されない。特徴点としては、生体データ(生体情報)も用いることができる。以下、図10を用いて、特徴点として生体データを用いる場合を説明する。ここで、図10は、医療画像記録装置による処理の他の例を示すフロー図である。なお、図10に示す処理は、特徴点の検出処理を除いて他の処理は、図5に示す処理と同様であるので、同様の処理には同一のステップの符号を付し、詳細な説明は省略し、以下、図10の処理に特有の点を重点的に説明する。 Moreover, in the said embodiment, although use of the surgical tool was detected as a feature point, this invention is not limited to this. Biometric data (biological information) can also be used as the feature point. Hereinafter, the case where biometric data is used as a feature point will be described with reference to FIG. Here, FIG. 10 is a flowchart showing another example of processing by the medical image recording apparatus. The process shown in FIG. 10 is the same as the process shown in FIG. 5 except for the feature point detection process. Will be omitted, and the points peculiar to the processing of FIG. 10 will be mainly described below.
まず、上記処理と同様の準備を行う。準備が完了したら、医療画像記録装置12は、ステップS12として記録開始指示があるかを判定する。医療画像記録装置12は、ステップS12で記録開始指示がない(No)と判定したら、再びステップS12の判定を行う。医療画像記録装置12は、ステップS12で記録開始指示あり(Yes)と判定したら、ステップS14として、記録を開始する。
First, preparation similar to the above processing is performed. When the preparation is completed, the medical
医療画像記録装置12は、ステップS14で記録を開始したら、ステップS40として、生体データに異常があるか判定する。ここで、生体データとは、上述したように、脈拍、心拍数、血圧、体温、脳波、血中酸素濃度、血中二酸化炭素濃度等である。また、生体データに異常があるか否かは、生体データの数値(検出値)が所定の範囲内にあるか否かで判定する。なお、異常であるか否かの判定は、一瞬でも所定の範囲から外れたら異常があると判定してもよいが、生体データの数値が、設定された時間以上、または、設定された回数以上、所定の範囲から外れたら、生体データが異常であると判定するようにしてもよい。医療画像記録装置12は、ステップS40で生体データが異常ではない(No)と判定したら、ステップS26に進む。
When the medical
また、医療画像記録装置12は、ステップS40で生体データが異常である(Yes)と判定したら、ステップS42として、異常と判定する直前の時点を特徴点とする。つまり、生体データが所定の範囲から外れる直前の時点を特徴点として設定する。なお、本実施形態の場合も直前の設定は特に限定されず、どのように設定してもよい。例えば、生体データが異常と判定した時点の一定時間前(0.5秒前、1秒前、5秒前)を直前と設定すればよい。なお、生体データの数値が、設定された時間以上、または、設定された回数以上、所定の範囲から外れたら、生体データが異常であると判定する場合は、最初に所定の範囲から外れた時点を特徴点としても、最初に所定の範囲から外れた時点の直前を特徴点としてもよい。医療画像記録装置12は、ステップ42で直前の時点を特徴点としたら、ステップS26に進む。なお、ステップS26以降の処理は、図5に示すフロー図の処理と同様であるので、説明を省略する。
If the medical
このように、生体データに基づいて特徴点を検出するようにすることで、患者の変化が発生した時点からの画像を再生することができる。これにより、問題が発生した場合に問題の原因をより短時間に把握することができる。また、上記と同様の種々の効果を得ることができる。 As described above, by detecting the feature points based on the biometric data, it is possible to reproduce an image from the time when the change of the patient occurs. Thereby, when a problem occurs, the cause of the problem can be grasped in a shorter time. In addition, various effects similar to those described above can be obtained.
また、特徴点としては、出血を検出してもよい。以下、医療画像記録装置12による出血点の検出方法について説明する。
Further, bleeding may be detected as a feature point. Hereinafter, a method for detecting a bleeding point by the medical
医療画像記録装置12の制御部56は、内視鏡ユニット16により取得した動画情報の画像中から、検出対象となる所定の特徴を有する動き領域(動きのある領域)を検出し、この動き領域の変化量に基づいて当該動き領域の状態を判定する。ここで、「動き領域」とは、一連の動画中において面積が変化する領域、あるいは、動きのある(つまり移動する)領域である。具体的には、手術に使用する手術具、臓器、患部における出血等である。本実施の形態では、これらの複数の動き領域から、患部における出血領域を特定するとともに、出血領域の状態、具体的には出血領域の面積の変化及び出血量を把握する。以下、出血の検出方法を具体的に説明する。
The control unit 56 of the medical
まず、医療画像記録装置12の制御部56は、内視鏡ユニット16により取得した動画情報の画像として、ある時点での画像と、所定時間(予め設定されている時間)前の画像の2つの画像を取得し、取得した画像同士を比較し、画像の一致度を判定する。つまり、ある時点での画像と、所定時間前の画像とで、患者の同じ部分を撮影している領域(共通している領域)がどの程度であるかを判定する。画像の一致度が一定以上(例えば2つの画像の80%以上が一致)の場合は、患者の同じ部分を撮影していると判定して、動き判定を行う。また、画像の一致度が一定未満の場合は、撮影場面が切り替えられていると判定し動き判定を行わない。なお、画像の一致度は、画像処理で被写体の輪郭、色等を抽出して、画像全体同士を比較することで、両画像の対応する部分を検出し、その対応する部分として検出できた領域の割合から算出する
First, the control unit 56 of the medical
次に、制御部56は、内視鏡ユニット16により取得した動画情報の画像から、所定の大きさ以上の動き領域をすべて検出し、これら動き領域の変化量を算出する。ここで、「動き領域の変化量」とは、動き領域の面積の変化量あるいは変化率(変化速度)である。なお、動き領域の面積の変化量は、ある時刻tにおける領域の面積と微小時間後の時刻t+Δtにおける領域の面積の差であり、動き領域の面積の変化率は、上記変化量を時間差Δtで割ることにより算出される。なお、以下の説明では、便宜上、2つの時刻における画像から面積の変化量を算出する場合について説明する比較する画像の数は限定されない。また、比較する画像の数を多くする、例えば、3つ以上の時刻における画像を用い、統計平均を用いて、動き領域の変化量を求めることで、動き領域の変化量の検出精度をより向上させることができる。
Next, the control unit 56 detects all the motion areas having a predetermined size or more from the moving image information image acquired by the
まず、画像に映されている被写体の各領域(の大きさ)を検出する。例えば、ある時点での画像と、所定時間前の画像の2つの画像のそれぞれについて、画像を複数の画素に分解し、各画素の色度を求め、類似の色度を持つ画素からなる部分を領域として検出する。なお、領域の検出方法は、これに限定されず、画像処理により被写体の輪郭を検出し、その輪郭から、描く領域を検出するようにしてもよい。このように、各画像の被写体の領域を検出したら、ある時点での画像の領域と、所定時間前の画像の領域とを比較する。比較した結果、領域の位置(画像内における相対的な位置)が移動している、または、領域の大きさが変化している領域を動き領域として検出する。 First, each area (size) of the subject shown in the image is detected. For example, for each of two images, an image at a certain point in time and an image before a predetermined time, the image is decomposed into a plurality of pixels, the chromaticity of each pixel is obtained, and a portion composed of pixels having similar chromaticity is obtained. Detect as a region. The region detection method is not limited to this, and the contour of the subject may be detected by image processing, and the region to be drawn may be detected from the contour. As described above, when the subject area of each image is detected, the area of the image at a certain point in time is compared with the area of the image before a predetermined time. As a result of the comparison, a region where the position of the region (relative position in the image) has moved or the size of the region has changed is detected as a motion region.
次に、制御部56は、検出した複数の動き領域から、出血点(出血領域)と関係のない動き領域をノイズ成分として除去する。ここで、ノイズ成分としては、例えば、手術中に用いる手術具の動きや、臓器の動き等がある。ノイズ除去処理方法は、検出したすべての動き領域について、時間の経過に伴い領域の面積が増加しない、一定時間以上面積の増加が継続しない、予め設定された血液の色度と類似していない、という3つの条件に該当するか否かを判定する。そして、これらの3つの条件のうち一つでも該当した動き領域は、ノイズと判定し、検出した動き領域から削除(除外)する。これにより、上記3つの条件すべてに該当しない場合、すなわち、時間の経過に伴い領域の面積が増加し、且つ、一定時間以上面積の増加が継続し、且つ、予め設定された血液の色度と類似するという条件を満たす動き領域のみが抽出され、抽出された動き領域が「出血点」として検出される。 Next, the control unit 56 removes, as a noise component, a motion region that is not related to the bleeding point (bleeding region) from the detected plurality of motion regions. Here, examples of the noise component include a movement of a surgical tool used during a surgery, a movement of an organ, and the like. The noise removal processing method is not similar to the preset blood chromaticity, the area of the area does not increase with the passage of time, the area does not continue to increase for a certain period of time, for all detected motion areas. It is determined whether or not the three conditions are met. Then, the motion region corresponding to any one of these three conditions is determined as noise, and is deleted (excluded) from the detected motion region. As a result, when all of the above three conditions are not met, that is, the area of the region increases with the passage of time, and the area continues to increase for a certain period of time, and the blood chromaticity set in advance is Only the motion region that satisfies the condition of similarity is extracted, and the extracted motion region is detected as a “bleeding point”.
なお、ノイズ除去で、手術具の領域を除去する場合は、手術で使用する手術具の形状データを予め記憶部52に記憶しておき、上記画像処理によって検出した動き領域の形状を、記憶部52に記憶された手術具の形状と比較し、両者が一致した場合にその動き領域を削除することが好ましい。これにより、ノイズの除去をより効率的に行うことができる。また、領域の面積の増加割合、領域の面積の増加の継続時間、血液の色度の範囲は、種々の範囲とすることができ、操作者により設定することができる。なお、増加割合は大きく、継続時間は長く、色度の範囲は狭くすることで、出血点の検出条件は厳しくなり、より重大な出血のみを検出することができる。また、増加割合は小さく、継続時間は短く、色度の範囲は広くすることでより細かい出血点を検出することができる。なお、この場合は、誤検出、つまり出血していない部分を出血点として検出する可能性は高くなる。 When removing the surgical tool region by noise removal, the shape data of the surgical tool used in the surgery is stored in the storage unit 52 in advance, and the shape of the motion region detected by the image processing is stored in the storage unit. Compared with the shape of the surgical instrument stored in 52, it is preferable to delete the movement region when the two match. Thereby, noise can be removed more efficiently. Further, the area area increase rate, the area area increase duration, and the blood chromaticity range can be various ranges and can be set by the operator. The increase rate is large, the duration is long, and the chromaticity range is narrowed, so that the bleeding point detection condition becomes strict and only more serious bleeding can be detected. Further, a finer bleeding point can be detected by increasing the rate of increase, the duration time being short, and widening the chromaticity range. In this case, there is a high possibility of erroneous detection, that is, detection of a portion that has not bleeding as a bleeding point.
また、制御部56は、出血領域の面積の変化量から出血量も推定する。具体的には、制御部56は、出血領域の面積の変化率と、患部から出血する血液の単位時間あたりの流量との関係を示すデータを予め記憶しておく。そして、上述した手順で算出した出血領域の面積の変化率を、記憶したデータと比較することにより、出血量を推定する。 The control unit 56 also estimates the amount of bleeding from the amount of change in the area of the bleeding region. Specifically, the control unit 56 stores in advance data indicating the relationship between the rate of change in the area of the bleeding region and the flow rate per unit time of blood bleeding from the affected area. Then, the amount of bleeding is estimated by comparing the rate of change in the area of the bleeding region calculated by the above-described procedure with the stored data.
また、制御部56は、出血点として検出した領域を囲うように、目印(マーク)を表示させることが好ましい。このようにマークを表示させることで出血点を認識することが可能となる。また、マークは、動画の再生時に出血が始まる前から表示させることが好ましい。 Moreover, it is preferable that the control part 56 displays a mark (mark) so that the area | region detected as a bleeding point may be enclosed. By displaying the mark in this way, it is possible to recognize the bleeding point. Further, it is preferable that the mark is displayed before bleeding starts when the moving image is reproduced.
以下、図11を用いて、検出方法と表示方法の一例を具体的に説明する。ここで、図11は、出血点の検出方法の一例を説明するための説明図である。なお、図11は、時刻T1から時刻T4までの画像を表示させており、1箇所から出血している場合を示している。まず、時刻T1の画像と時刻T2の画像とを比較すると、面積に変化がある領域が検出される。その後、時間が経過し時刻T3では、出血している部分の面積がより大きくなり、このように時刻T1から時刻T3の間、出血している領域の面積が一定時間大きくなり続けると、制御部56は、この出血している領域を出血点として検出する。制御部56は、以上のようにして出血点を検出する。また、この時、出血を最初に確認した時点(時刻T1)を出血開始時刻とし、出血点であると決定した時点(時刻T3)を出血確認時刻とする。 Hereinafter, an example of the detection method and the display method will be specifically described with reference to FIG. Here, FIG. 11 is an explanatory diagram for explaining an example of a method for detecting a bleeding point. In addition, FIG. 11 is displaying the image from the time T1 to the time T4, and has shown the case where it is bleeding from one place. First, when the image at time T1 is compared with the image at time T2, a region having a change in area is detected. Thereafter, at time T3 when time elapses, the area of the bleeding portion becomes larger. Thus, when the area of the bleeding region continues to increase for a certain period of time from time T1 to time T3, the control unit 56 detects the bleeding region as a bleeding point. The control unit 56 detects the bleeding point as described above. At this time, the time point at which bleeding is first confirmed (time T1) is set as the bleeding start time, and the time point (time T3) at which the bleeding is determined is set as the bleeding check time.
また、画像再生時は、出血確認時刻より前の時刻T1からT2の間は、出血点を点線の円のマークで囲い、出血確認時刻以降のT3からT4の間は、出血点を実線の円のマークで囲う。このように、マークを表示させることで、出血点を認識しやすくすることができる。また、マークの表示方法を切り替えることで、出血確認時刻を明確に知ることができる。 Further, at the time of image reproduction, the bleeding point is surrounded by a dotted circle mark between times T1 and T2 before the bleeding confirmation time, and the bleeding point is indicated by a solid circle between T3 and T4 after the bleeding confirmation time. Surround with the mark. Thus, by displaying the mark, the bleeding point can be easily recognized. Further, by switching the mark display method, it is possible to clearly know the bleeding confirmation time.
次に、図12を用いて、特徴点として出血の検出を用いる場合を説明する。ここで、図12は、医療画像記録装置による処理の他の例を示すフロー図である。なお、図12に示す処理は、特徴点の検出処理を除いて他の処理は、図5に示す処理と同様であるので、同様の処理には同一のステップの符号を付し、詳細な説明は省略し、以下、図12の処理に特有の点を重点的に説明する。 Next, the case of using bleeding detection as a feature point will be described with reference to FIG. Here, FIG. 12 is a flowchart showing another example of processing by the medical image recording apparatus. The process shown in FIG. 12 is the same as the process shown in FIG. 5 except for the feature point detection process. Will be omitted, and the points peculiar to the processing of FIG.
まず、上記処理と同様の準備を行う。準備が完了したら、医療画像記録装置12は、ステップS12として記録開始指示があるかを判定する。医療画像記録装置12は、ステップS12で記録開始指示がない(No)と判定したら、再びステップS12の判定を行う。医療画像記録装置12は、ステップS12で記録開始指示あり(Yes)と判定したら、ステップS14として、記録を開始する。
First, preparation similar to the above processing is performed. When the preparation is completed, the medical
医療画像記録装置12は、ステップS14で記録を開始したら、ステップS50として、出血があるか判定する。出血があるか否かは、図11で説明したように、取得した画像の解析結果に基づいて判定する。医療画像記録装置12は、ステップS50で出血はない(No)と判定したら、ステップS26に進む。
When the medical
また、医療画像記録装置12は、ステップS50で出血がある(Yes)と判定したら、ステップS52として、出血前の時点を特徴点とする。なお、本実施形態の場合も出血前とする時点の設定は特に限定されず、どのように設定してもよい。例えば、出血と判定した時点の一定時間前(0.5秒前、1秒前、5秒前)を出血前と設定すればよい。また、出血しているか否かの判定を開始した時点(つまり、面積の比較を開始した時点)を出血前としてもよい。医療画像記録装置12は、ステップ52で出血前の時点を特徴点としたら、ステップS26に進む。なお、ステップS26以降の処理は、図5に示すフロー図の処理と同様であるので、説明を省略する。
If it is determined in step S50 that there is bleeding (Yes), the medical
このように、出血の発生(出血の有無)に基づいて特徴点を検出するようにすることで、患部の変化が発生した時点からの画像を再生することができる。これにより、出血(つまり、問題)が発生した場合に出血前からの画像を再生することで、出血の原因をより短時間に把握することができる。また、上記と同様の種々の効果を得ることができる。 In this manner, by detecting the feature points based on the occurrence of bleeding (presence / absence of bleeding), it is possible to reproduce an image from the time when a change in the affected area occurs. Thereby, when bleeding (that is, a problem) occurs, the cause of bleeding can be grasped in a shorter time by reproducing the image from before bleeding. In addition, various effects similar to those described above can be obtained.
ここで、上記実施形態では、特徴点を手術具の使用、生体データの異常、出血の発生のいずれか1つとしたが、これらの複数の要因を特徴点として検出するようにしてもよい。つまり、手術具の使用、または、生体データの異常があったら特徴点として検出するようにしてもよいし、手術具の使用、生体データの異常、または、出血の発生があったら特徴点として検出するようにしてもよい。 Here, in the above-described embodiment, the feature point is any one of the use of the surgical tool, the abnormality of the biometric data, and the occurrence of bleeding. However, these multiple factors may be detected as the feature points. In other words, if a surgical tool is used or if there is an abnormality in biometric data, it may be detected as a feature point. If a surgical tool is used, if there is an abnormality in biometric data, or if bleeding occurs, it will be detected as a feature point. You may make it do.
このように複数の要因を特徴点として検出することで、医療画像記録装置12は、手術中に、操作者が再生を希望する可能性のある画像(動画)の頭出し点の設定、コメントの記入をより漏れなく自動的に行うことができ、複数の特徴点から選択した特徴点を基点として再生することで、必要な画像を短時間で再生することができる。以下、図13を用いて説明する。ここで、図13は、医療画像記録装置によって検出された特徴点と記録データとの関係を示す説明図である。なお、図13は、手術具の使用、生体データの異常、または、出血の発生があったら特徴点として検出した場合である。
By detecting a plurality of factors as feature points in this way, the medical
種々の要因を検出したら、特徴点として検出することで、図13に示すように、手術中に複数の特徴点を検出することができる。図13は、14時(PM2時)から16時(PM4時)まで行われた手術の記録データと、特徴点データを示している。図13に示す手術では、医療画像記録装置12は、14時10分に器具(手術具)Aを用いたことを特徴点として検出し、14時40分に器具(手術具)Bを用いたことを特徴点として検出している。また、14時20分に出血をしたことを特徴点として検出している。また、15時00分に血圧が上昇したこと(つまり生体データとして血圧が所定の範囲以上となったこと)を特徴点として検出している。
When various factors are detected, by detecting them as feature points, a plurality of feature points can be detected during the operation as shown in FIG. FIG. 13 shows recording data and feature point data of surgery performed from 14:00 (PM 2 o'clock) to 16:00 (PM 4 o'clock). In the operation shown in FIG. 13, the medical
このように、複数の要因を特徴点として検出することで、手術時に各要因が発生した時点からの画像を再生することができ、問題をより簡単に把握すること、また、問題の解決方法をより簡単に把握することが可能となる。また、このように複数の要因を特徴点として検出することで、これらの特徴点の表示から、手術の流れを把握することができる。 In this way, by detecting multiple factors as feature points, it is possible to reproduce images from the time each factor occurred during surgery, making it easier to grasp the problem and how to solve the problem. It becomes possible to grasp more easily. Further, by detecting a plurality of factors as feature points in this way, the flow of surgery can be grasped from the display of these feature points.
なお、上記実施形態では、手術具の使用、生体データの異常、出血の発生を特徴点として検出したが、本発明はこれに限定されず、患者に問題が発生する起因となり得る解析結果を特徴点とすればよい。 In the above embodiment, the use of a surgical tool, abnormal biological data, and the occurrence of bleeding are detected as characteristic points. However, the present invention is not limited to this, and features analysis results that may cause problems in patients. What is necessary is a dot.
また、特徴点の検出条件は、操作者によって設定できるようにすればよく、また、不要な特徴点は、操作により設定を解除できるようにしてもよい。また、特徴点の検出、設定は、記録データの記録後に行うようにしてもよい。つまり、手術中は、記録データの取得のみを行い、手術終了後、例えば処理能力に余裕があるときに解析を行い特徴点の検出を行うようにしてもよい。 The feature point detection condition may be set by the operator, and unnecessary feature points may be canceled by operation. Further, detection and setting of feature points may be performed after recording data. That is, during the operation, only the recording data may be obtained, and after the operation is completed, for example, when there is a margin in processing capability, the analysis may be performed to detect the feature points.
また、上記実施形態では、医療画像記録装置12は、医療システム10の他の機器に影響を与える可能性を少なくすることができ、他の機器を円滑に利用できるため、他の機器と電気的に絶縁した状態で、情報を取得する構成としたが、本発明はこれに限定されない。上記効果をえることはできないが、電気的に繋がった状態で接続され、例えば電気信号の送受信で情報の授受を行うようにしてもよい。
In the above embodiment, the medical
また、上記実施形態では、情報としての価値、有効性をより高くすることができるため、内視鏡の画像、手術室の画像、生体情報、手術具の使用の情報を用いるようにしたが、少なくとも1つの動画と特徴点を検出できる情報とを得ることができれば、取得する画像の数と、情報の種類は、特に限定されない。また、動画から特徴点を検出できる場合は、医療画像記録装置12は、1つの動画のみを取得する構成としてもよい。
In the above embodiment, since the value and effectiveness as information can be further increased, an endoscope image, an operating room image, biological information, and information on the use of a surgical tool are used. The number of images to be acquired and the type of information are not particularly limited as long as at least one moving image and information capable of detecting feature points can be obtained. Further, when the feature point can be detected from the moving image, the medical
以上のように、本発明にかかる医療画像記録装置は、医療用動画の記録、再生に有用であり、特に、手術画像を再生することに適している。 As described above, the medical image recording apparatus according to the present invention is useful for recording and reproducing medical moving images, and is particularly suitable for reproducing surgical images.
10 医療システム
12 医療画像記録装置
14 ディスプレイ
16 内視鏡ユニット
18 生体モニタ
20 手術室撮影部
22 手術具
24 出力部
26 操作検出部
28 入力部
40 動画取得部
42 情報取得部
44 同期部
46 特徴点検出部
48 入力検出部
50 表示制御部
52 記憶部
54 送受信部
56 制御部
DESCRIPTION OF
Claims (11)
医療用の情報を取得する情報取得部と、
前記動画取得部及び前記情報取得部の少なくとも一方で検出される情報から特徴点を検出する特徴点検出部と、
取得した動画及び情報を同期させる同期部と、
動画及び情報を記憶する記憶部と、
前記同期部により、前記特徴点検出部で検出した特徴点の情報と前記取得した動画とを同期つけて、前記記憶部に記憶させる制御部とを有することを特徴とする医療画像記録装置。 A video acquisition unit for acquiring medical videos;
An information acquisition unit for acquiring medical information;
A feature point detection unit that detects a feature point from information detected by at least one of the moving image acquisition unit and the information acquisition unit;
A synchronization unit for synchronizing the acquired video and information;
A storage unit for storing video and information;
A medical image recording apparatus comprising: a control unit that causes the synchronization unit to synchronize feature point information detected by the feature point detection unit and the acquired moving image, and to store the information in the storage unit.
前記特徴点検出部は、前記情報取得部により前記手術具が操作されたことを検出したら、該操作を特徴点として検出することを特徴とする請求項1に記載の医療画像記録装置。 The information acquisition unit includes a detection function for detecting operation of a surgical tool,
The medical image recording apparatus according to claim 1, wherein the feature point detection unit detects the operation as a feature point when detecting that the operation tool is operated by the information acquisition unit.
前記特徴点検出部は、前記情報取得部により検出された生体情報が予め設定された範囲から外れた値となったら特徴点として検出することを特徴とする請求項1または2に記載の医療画像記録装置。 The information acquisition unit includes a detection function for detecting biological information of a patient,
The medical image according to claim 1, wherein the feature point detection unit detects a feature point when the biological information detected by the information acquisition unit is a value that is out of a preset range. Recording device.
前記制御部は、前記特徴点を再生の基準とした再生指示を入力可能とし、
前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点を検出した時点を基準として、前記動画取得部で取得した動画を再生することを特徴とする請求項1から5のいずれか1項に記載の医療画像記録装置。 Furthermore, an input detection unit that detects an instruction to reproduce the moving image input by the operator,
The control unit is capable of inputting a playback instruction based on the feature point as a playback reference,
When the input detection unit detects that the playback instruction is input using the feature point as a reference for playback, the moving image acquired by the video acquisition unit is played using the time point when the feature point is detected as a reference. The medical image recording apparatus according to claim 1, wherein:
前記表示制御部は、前記再生指示を検出する前は、再生を開始する前の画像と、前記動画取得部で取得した画像とを含む画像を表示させることを特徴とする請求項6または7に記載の医療画像記録装置。 Furthermore, it has a display control unit that generates an image to be displayed,
8. The display control unit according to claim 6, wherein the display control unit displays an image including an image before the reproduction is started and an image acquired by the moving image acquisition unit before the reproduction instruction is detected. The medical image recording apparatus described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009185949A JP2011036372A (en) | 2009-08-10 | 2009-08-10 | Medical image recording apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009185949A JP2011036372A (en) | 2009-08-10 | 2009-08-10 | Medical image recording apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011036372A true JP2011036372A (en) | 2011-02-24 |
Family
ID=43764810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009185949A Pending JP2011036372A (en) | 2009-08-10 | 2009-08-10 | Medical image recording apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011036372A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4861540B2 (en) * | 2010-05-10 | 2012-01-25 | オリンパスメディカルシステムズ株式会社 | Medical equipment |
JP2012217632A (en) * | 2011-04-08 | 2012-11-12 | Hitachi Medical Corp | Image diagnostic apparatus and image processing apparatus |
WO2015020093A1 (en) * | 2013-08-08 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | Surgical image-observing apparatus |
KR20150037982A (en) * | 2012-07-25 | 2015-04-08 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Efficient and interactive bleeding detection in a surgical system |
JP2016007444A (en) * | 2014-06-25 | 2016-01-18 | オリンパス株式会社 | Image recording device |
WO2016190022A1 (en) * | 2015-05-27 | 2016-12-01 | オリンパス株式会社 | Image recording device |
JP2017012666A (en) * | 2015-07-06 | 2017-01-19 | オリンパス株式会社 | Endoscopic examination data recording system |
JP2017093996A (en) * | 2015-11-27 | 2017-06-01 | オリンパス株式会社 | Endoscope system and display method thereof |
DE102017122263A1 (en) | 2016-09-28 | 2018-03-29 | Fujifilm Corporation | Apparatus, method and program for storing and displaying medical images |
JP6360271B1 (en) * | 2018-04-06 | 2018-07-18 | 株式会社Medi Plus | Medical video processing system |
JP2019170667A (en) * | 2018-03-28 | 2019-10-10 | 日本光電工業株式会社 | Intubation system |
WO2019202827A1 (en) * | 2018-04-17 | 2019-10-24 | ソニー株式会社 | Image processing system, image processing device, image processing method, and program |
JP2021099789A (en) * | 2019-11-08 | 2021-07-01 | ソニーグループ株式会社 | Evaluation of surgical operation scene based on computer vision |
JP2022083768A (en) * | 2020-11-25 | 2022-06-06 | 財團法人金属工業研究発展中心 | Surgical instrument inspection system and surgical instrument inspection method |
JP7442300B2 (en) | 2019-11-21 | 2024-03-04 | 慶應義塾 | Playback control device and playback control program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005103030A (en) * | 2003-09-30 | 2005-04-21 | Seventh Dimension Design:Kk | Apparatus and program for medical image generation |
JP2005131031A (en) * | 2003-10-29 | 2005-05-26 | Olympus Corp | Image display device, method and program |
WO2006001055A1 (en) * | 2004-06-25 | 2006-01-05 | Seventh Dimension Design, Inc. | Medical image management system and medical image management method |
JP2008220839A (en) * | 2007-03-15 | 2008-09-25 | Olympus Medical Systems Corp | Image filing system and image display system |
-
2009
- 2009-08-10 JP JP2009185949A patent/JP2011036372A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005103030A (en) * | 2003-09-30 | 2005-04-21 | Seventh Dimension Design:Kk | Apparatus and program for medical image generation |
JP2005131031A (en) * | 2003-10-29 | 2005-05-26 | Olympus Corp | Image display device, method and program |
WO2006001055A1 (en) * | 2004-06-25 | 2006-01-05 | Seventh Dimension Design, Inc. | Medical image management system and medical image management method |
JP2008220839A (en) * | 2007-03-15 | 2008-09-25 | Olympus Medical Systems Corp | Image filing system and image display system |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4861540B2 (en) * | 2010-05-10 | 2012-01-25 | オリンパスメディカルシステムズ株式会社 | Medical equipment |
JP2012217632A (en) * | 2011-04-08 | 2012-11-12 | Hitachi Medical Corp | Image diagnostic apparatus and image processing apparatus |
JP7124011B2 (en) | 2012-07-25 | 2022-08-23 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Systems and methods of operating bleeding detection systems |
JP2020171716A (en) * | 2012-07-25 | 2020-10-22 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Surgical system and method with bleeding detection unit |
JP2015529489A (en) * | 2012-07-25 | 2015-10-08 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Efficient and interactive bleeding detection in surgical systems |
US10772482B2 (en) | 2012-07-25 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
EP2877116A4 (en) * | 2012-07-25 | 2016-04-13 | Intuitive Surgical Operations | Efficient and interactive bleeding detection in a surgical system |
US9877633B2 (en) | 2012-07-25 | 2018-01-30 | Intuitive Surgical Operations, Inc | Efficient and interactive bleeding detection in a surgical system |
CN107485455B (en) * | 2012-07-25 | 2020-04-03 | 直观外科手术操作公司 | Efficient interactive bleeding detection in surgical systems |
EP3603510A1 (en) * | 2012-07-25 | 2020-02-05 | Intuitive Surgical Operations Inc. | Efficient and interactive bleeding detection in a surgical system |
KR102201603B1 (en) * | 2012-07-25 | 2021-01-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Efficient and interactive bleeding detection in a surgical system |
CN107485455A (en) * | 2012-07-25 | 2017-12-19 | 直观外科手术操作公司 | Effective interactive bleeding detection in surgery systems |
KR102163327B1 (en) * | 2012-07-25 | 2020-10-08 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Efficient and interactive bleeding detection in a surgical system |
KR20200091943A (en) * | 2012-07-25 | 2020-07-31 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Efficient and interactive bleeding detection in a surgical system |
JP2018114303A (en) * | 2012-07-25 | 2018-07-26 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Efficient and interactive bleeding detection in surgical system |
EP4186422A1 (en) * | 2012-07-25 | 2023-05-31 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
JP7444932B2 (en) | 2012-07-25 | 2024-03-06 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Systems and programs for bleeding detection systems |
JP2022172134A (en) * | 2012-07-25 | 2022-11-15 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | Surgical system and method with bleeding detection unit |
KR20150037982A (en) * | 2012-07-25 | 2015-04-08 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Efficient and interactive bleeding detection in a surgical system |
WO2015020093A1 (en) * | 2013-08-08 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | Surgical image-observing apparatus |
JP2016007444A (en) * | 2014-06-25 | 2016-01-18 | オリンパス株式会社 | Image recording device |
JPWO2016190022A1 (en) * | 2015-05-27 | 2017-06-08 | オリンパス株式会社 | Image recording device |
WO2016190022A1 (en) * | 2015-05-27 | 2016-12-01 | オリンパス株式会社 | Image recording device |
CN107613841A (en) * | 2015-05-27 | 2018-01-19 | 奥林巴斯株式会社 | Image recording structure |
JP2017012666A (en) * | 2015-07-06 | 2017-01-19 | オリンパス株式会社 | Endoscopic examination data recording system |
JP2017093996A (en) * | 2015-11-27 | 2017-06-01 | オリンパス株式会社 | Endoscope system and display method thereof |
US11056149B2 (en) | 2016-09-28 | 2021-07-06 | Fujifilm Corporation | Medical image storage and reproduction apparatus, method, and program |
DE102017122263A1 (en) | 2016-09-28 | 2018-03-29 | Fujifilm Corporation | Apparatus, method and program for storing and displaying medical images |
JP7037410B2 (en) | 2018-03-28 | 2022-03-16 | 日本光電工業株式会社 | Intubation system |
US11612312B2 (en) | 2018-03-28 | 2023-03-28 | Nihon Kohden Corporation | Intubation system |
JP2019170667A (en) * | 2018-03-28 | 2019-10-10 | 日本光電工業株式会社 | Intubation system |
US11343464B2 (en) | 2018-04-06 | 2022-05-24 | Medi Plus Inc. | Medical video processing system |
CN111937071B (en) * | 2018-04-06 | 2021-11-26 | 株式会社创佳医疗 | Medical motion image processing system |
CN111937071A (en) * | 2018-04-06 | 2020-11-13 | 株式会社创佳医疗 | Medical motion image processing system |
JP2019185835A (en) * | 2018-04-06 | 2019-10-24 | 株式会社Medi Plus | Medical video processing system |
WO2019193935A1 (en) * | 2018-04-06 | 2019-10-10 | 株式会社Medi Plus | Medical moving image processing system |
JP6360271B1 (en) * | 2018-04-06 | 2018-07-18 | 株式会社Medi Plus | Medical video processing system |
WO2019202827A1 (en) * | 2018-04-17 | 2019-10-24 | ソニー株式会社 | Image processing system, image processing device, image processing method, and program |
JP2021099789A (en) * | 2019-11-08 | 2021-07-01 | ソニーグループ株式会社 | Evaluation of surgical operation scene based on computer vision |
US11625834B2 (en) | 2019-11-08 | 2023-04-11 | Sony Group Corporation | Surgical scene assessment based on computer vision |
JP7442300B2 (en) | 2019-11-21 | 2024-03-04 | 慶應義塾 | Playback control device and playback control program |
JP2022083768A (en) * | 2020-11-25 | 2022-06-06 | 財團法人金属工業研究発展中心 | Surgical instrument inspection system and surgical instrument inspection method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011036372A (en) | Medical image recording apparatus | |
JP2011036370A (en) | Medical image recording apparatus | |
EP2682050B1 (en) | Medical information recording apparatus | |
JP2011036371A (en) | Medical image recording apparatus | |
US10426322B2 (en) | Image recording apparatus | |
US20160323514A1 (en) | Medical video recording and reproducing system and medical video recording and reproducing device | |
US20180092509A1 (en) | Image recording device | |
JP2011167301A (en) | Surgery video image accumulating device, surgery video image accumulating method, and program | |
US20170303770A1 (en) | Endoscope apparatus, and method and program for operating endoscope apparatus | |
JP7143846B2 (en) | Information processing device, information processing method and information processing program | |
US20170303767A1 (en) | Endoscope for storing images | |
JP2006055522A (en) | Image display device, image display method and image display program | |
WO2018142664A1 (en) | Endoscopic image observation assistance system | |
JP6625412B2 (en) | Endoscope system and display method thereof | |
JP4964572B2 (en) | Movie recording / playback device | |
JP7143421B2 (en) | Image recording/reproducing device, endoscope system, and method of operating image recording/reproducing device | |
WO2018230074A1 (en) | System for assisting observation of endoscope image | |
JPWO2018043585A1 (en) | Endoscope apparatus, recording / reproducing method of endoscope apparatus, information processing apparatus, and program | |
JPWO2018142664A1 (en) | Endoscopic image observation support system | |
JP2006043209A (en) | Moving image recording apparatus for surgical operation | |
WO2022195725A1 (en) | Information processing device and image display method | |
WO2019097804A1 (en) | Image recording device and image recording method | |
JP2007133513A (en) | Operation information analysis system | |
JP6912925B2 (en) | Image recording / playback device and endoscopic system | |
JP2017131499A (en) | Endoscope apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131203 |