JP2011036372A - Medical image recording apparatus - Google Patents

Medical image recording apparatus Download PDF

Info

Publication number
JP2011036372A
JP2011036372A JP2009185949A JP2009185949A JP2011036372A JP 2011036372 A JP2011036372 A JP 2011036372A JP 2009185949 A JP2009185949 A JP 2009185949A JP 2009185949 A JP2009185949 A JP 2009185949A JP 2011036372 A JP2011036372 A JP 2011036372A
Authority
JP
Japan
Prior art keywords
image
unit
feature point
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009185949A
Other languages
Japanese (ja)
Inventor
Masashi Kizara
正志 木皿
Yasuhiro Miura
泰弘 三浦
Daisuke Sato
大介 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exscion Kk
TOHOKU OTAS KK
Original Assignee
Exscion Kk
TOHOKU OTAS KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exscion Kk, TOHOKU OTAS KK filed Critical Exscion Kk
Priority to JP2009185949A priority Critical patent/JP2011036372A/en
Publication of JP2011036372A publication Critical patent/JP2011036372A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a medical image recording apparatus capable of reproducing useful moving images by short-time and easy operation. <P>SOLUTION: The medical image recording apparatus includes: a moving image acquisition part for acquiring medical moving images; an information acquisition part for acquiring medical information; a feature point detecting part for detecting feature points from the information detected by at least one of the moving image acquisition part and information acquisition part; a synchronizing part for synchronizing the acquired moving images and information; a storage part for storing the moving images and information; and a control part for synchronizing the information on the feature points detected by the feature point detecting part and the acquired moving images to be stored in the storage part. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像及び画像の被写体に関連する情報を記録する分野に属し、詳しくは、手術画像、生体データ及び手術情報を記録し、再生する医療画像記録装置に関する。   The present invention belongs to the field of recording images and information related to the subject of the image, and particularly relates to a medical image recording apparatus that records and reproduces surgical images, biological data, and surgical information.

内視鏡手術(ファイバースコープ内視鏡を用いた手術や、腹腔鏡手術)では、画像を撮影し、その画像をモニタに表示させ、モニタの画像を確認しつつ行う手術がある。また、これらのカメラで撮影した画像を記録する装置としては、カメラで撮影した画像と、他の機器で取得した患者の生体データ(脈拍や血圧)とを同時に記録する装置がある。また、内視鏡で撮影した画像以外にも、手術室をカメラ等で撮影した画像を記録する装置もある。   In endoscopic surgery (surgery using a fiberscope endoscope or laparoscopic surgery), there is a surgery performed by taking an image, displaying the image on a monitor, and checking the image on the monitor. In addition, as an apparatus for recording an image photographed by these cameras, there is an apparatus for simultaneously recording an image photographed by a camera and patient biometric data (pulse and blood pressure) acquired by another device. In addition to an image taken with an endoscope, there is also an apparatus that records an image taken with a camera or the like in an operating room.

例えば、特許文献1には医療用撮影装置によって撮影され電子情報化された動画を編集処理する医療画像作成装置において、前記医療用撮影装置によって撮影される該動画を入力する入力手段と、前記入力手段に入力された前記動画を一時的に保存する一時記憶手段と、前記一時記憶手段に保存される動画を再生可能に表示する表示部と該表示部で表示される動画を操作する操作部と該動画から所望する静止画を抽出する抽出部と前記抽出された静止画の一覧を表示する静止画表示部とを同一画面上で表示する出力手段と、からなることを特徴とする医療画像作成装置が記載されている。   For example, Patent Document 1 discloses a medical image creation apparatus that edits a moving image that has been photographed and converted into electronic information by a medical photographing device, an input unit that inputs the moving image photographed by the medical photographing device, and the input Temporary storage means for temporarily storing the moving picture input to the means, a display section for reproducibly displaying the moving picture stored in the temporary storage means, and an operation section for operating the moving picture displayed on the display section A medical image creation comprising: an extraction unit that extracts a desired still image from the moving image; and an output unit that displays a still image display unit that displays a list of the extracted still images on the same screen. An apparatus is described.

特開2005−103030号公報Japanese Patent Laying-Open No. 2005-103030

このように医療画像を記録することで、医療画像と複数の情報が表示された画像を再生することが可能となる。このように、医療画像と複数の情報を記録しておくことで、研修資料、研究資料として、有効に活用することができる。   By recording a medical image in this way, it is possible to reproduce an image on which a medical image and a plurality of information are displayed. Thus, by recording medical images and a plurality of information, it can be effectively used as training materials and research materials.

ここで、手術は、長い場合は、1つの手術で十数時間掛かるものもある。しかしながら、1つの手術でどのタイミングで何が行われているかは、手術を見ている人間でないとわからないため、不要な部分を飛ばし、必要な部分のみを効率よく視聴することが困難である。そのため、記録した医療画像を、再生し、視聴する場合は、手術と同様の長い時間を必要とする。   Here, if the operation is long, one operation may take more than ten hours. However, it is difficult for a person who is seeing the operation to know what is being performed at which timing in one operation, so it is difficult to skip unnecessary portions and efficiently view only the necessary portions. Therefore, when the recorded medical image is reproduced and viewed, a long time similar to the operation is required.

本発明は、上記に鑑みてなされたものであって、短時間かつ簡単な操作で有益な動画を再生することができる医療画像記録装置を提供することにある。   The present invention has been made in view of the above, and it is an object of the present invention to provide a medical image recording apparatus capable of reproducing a useful moving image in a short time and with a simple operation.

上述した課題を解決し、目的を達成するために、本発明は、医療用の動画を取得する動画取得部と、医療用の情報を取得する情報取得部と、前記動画取得部及び前記情報取得部の少なくとも一方で検出される情報から特徴点を検出する特徴点検出部と、取得した動画及び情報を同期させる同期部と、動画及び情報を記憶する記憶部と、前記同期部により、前記特徴点検出部で検出した特徴点の情報と前記取得した動画とを同期つけて、前記記憶部に記憶させる制御部とを有することを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention provides a moving image acquisition unit that acquires a medical moving image, an information acquisition unit that acquires medical information, the moving image acquisition unit, and the information acquisition A feature point detection unit that detects a feature point from information detected in at least one of the units, a synchronization unit that synchronizes the acquired moving image and information, a storage unit that stores the moving image and information, and the synchronization unit It has a control part which synchronizes the information of the feature point detected with the point detection part, and the acquired above-mentioned animation, and memorizes it in the storage part.

ここで、前記情報取得部は、手術具の操作を検出する検出機能を備え、前記特徴点検出部は、前記情報取得部により前記手術具が操作されたことを検出したら、該操作を特徴点として検出することが好ましい。   Here, the information acquisition unit is provided with a detection function for detecting operation of a surgical tool, and the feature point detection unit detects the operation of the surgical tool by the information acquisition unit. It is preferable to detect as

また、前記情報取得部は、患者の生体情報を検出する検出機能を備え、前記特徴点検出部は、前記情報取得部により検出された生体情報が予め設定された範囲から外れた値となったら特徴点として検出することが好ましい。   In addition, the information acquisition unit has a detection function of detecting biological information of a patient, and the feature point detection unit is configured such that the biological information detected by the information acquisition unit is a value that is out of a preset range. It is preferable to detect it as a feature point.

また、前記動画取得部は、内視鏡により取得した画像を取得することが好ましい。   Moreover, it is preferable that the said moving image acquisition part acquires the image acquired with the endoscope.

また、前記制御部は、前記特徴点を基準として設定された時間分の前記動画及び前記情報とを抽出して前記記憶部に記憶させることが好ましい。   Moreover, it is preferable that the said control part extracts the said moving image and the said information for the time set on the basis of the said feature point, and memorize | stores it in the said memory | storage part.

さらに、操作者により入力される前記動画の再生指示を検出する入力検出部を有し、前記制御部は、前記特徴点を再生の基準とした再生指示を入力可能とし、前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点を検出した時点を基準として、前記動画取得部で取得した動画を再生することが好ましい。   Furthermore, it has an input detection unit that detects a playback instruction of the moving image input by an operator, and the control unit can input a playback instruction with the feature point as a reference for playback. When it is detected that the playback instruction has been input using the feature point as a reference for playback, it is preferable to play back the moving image acquired by the moving image acquisition unit based on the time point when the feature point is detected.

また、前記制御部は、前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点よりも予め設定された時間分前の時点からの動画を再生することが好ましい。   In addition, when the input detection unit detects that the reproduction instruction using the feature point as a reference for reproduction is input by the input detection unit, the control unit starts from a time point that is a preset time before the feature point. It is preferable to play a movie.

さらに、表示させる画像を生成する表示制御部を有し、前記表示制御部は、前記再生指示を検出する前は、再生を開始する前の画像と、前記動画取得部で取得した画像とを含む画像を表示させることが好ましい。   Further, the display control unit includes a display control unit that generates an image to be displayed, and the display control unit includes an image before starting the playback and an image acquired by the moving image acquisition unit before detecting the playback instruction. It is preferable to display an image.

また、前記入力検出部は、前記表示制御部により生成された画像を表示する表示部への接触を検出するタッチパネルであることが好ましい。   Moreover, it is preferable that the said input detection part is a touch panel which detects the contact to the display part which displays the image produced | generated by the said display control part.

また、前記動画取得部は、医療用の動画を撮影する画像撮影機器と電気的に非接触な状態で接続されていることが好ましい。   The moving image acquisition unit is preferably connected in an electrically non-contact state with an image capturing device that captures a medical moving image.

また、前記情報取得部は、医療用の情報を生成する情報生成機器と電気的に非接触な状態で接続されていることが好ましい。   Moreover, it is preferable that the information acquisition unit is electrically connected to an information generation device that generates medical information.

本発明にかかる医療画像記録装置は、有益である可能性が高い画像の開始点を特徴点として抽出することで、操作者は、簡単な操作で、有益な画像を視聴することが可能となるという効果を奏する。また、特徴点があることで、有益な画像の探索も簡単になり、画像の探索を行う場合も短時間で有益な画像を視聴することが可能となる。   The medical image recording apparatus according to the present invention extracts a start point of an image that is highly likely to be useful as a feature point, so that an operator can view a useful image with a simple operation. There is an effect. In addition, since there are feature points, it is possible to easily search for a useful image, and it is possible to view a useful image in a short time even when searching for an image.

図1は、本発明にかかる医療画像記録装置を備える医療システムの一例の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an example of a medical system including a medical image recording apparatus according to the present invention. 図2は、図1に示す医療画像記録装置の概略構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of the medical image recording apparatus shown in FIG. 図3は、画像および情報の記録方法の一例を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining an example of an image and information recording method. 図4は、ディスプレイに表示される画像の一例を示す画面図である。FIG. 4 is a screen diagram illustrating an example of an image displayed on the display. 図5は、医療画像記録装置による処理の一例を示すフロー図である。FIG. 5 is a flowchart showing an example of processing by the medical image recording apparatus. 図6は、医療画像記録装置によって検出された特徴点と記録データとの関係を示す説明図である。FIG. 6 is an explanatory diagram showing the relationship between the feature points detected by the medical image recording apparatus and the recording data. 図7−1は、医療画像記録装置による処理の一例を説明するための画面図である。FIG. 7A is a screen diagram for explaining an example of processing by the medical image recording apparatus. 図7−2は、医療画像記録装置による処理の一例を説明するための画面図である。FIG. 7B is a screen diagram for explaining an example of processing by the medical image recording apparatus. 図7−3は、医療画像記録装置による処理の一例を説明するための画面図である。FIG. 7C is a screen diagram for explaining an example of processing by the medical image recording apparatus. 図8は、医療画像記録装置による処理の一例を示すフロー図である。FIG. 8 is a flowchart showing an example of processing by the medical image recording apparatus. 図9は、医療画像記録装置によって記録データと抽出された記録データとの関係を示す説明図である。FIG. 9 is an explanatory diagram showing the relationship between the recording data and the extracted recording data by the medical image recording apparatus. 図10は、医療画像記録装置による処理の他の例を示すフロー図である。FIG. 10 is a flowchart showing another example of processing by the medical image recording apparatus. 図11は、出血点の検出方法の一例を説明するための説明図である。FIG. 11 is an explanatory diagram for explaining an example of a method for detecting a bleeding point. 図12は、医療画像記録装置による処理の他の例を示すフロー図である。FIG. 12 is a flowchart showing another example of processing by the medical image recording apparatus. 図13は、医療画像記録装置によって検出された特徴点と記録データとの関係を示す説明図である。FIG. 13 is an explanatory diagram showing the relationship between the feature points detected by the medical image recording apparatus and the recording data.

以下に、本発明にかかる医療画像記録装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。例えば、以下の実施形態では、医療画像記録装置を、内視鏡ユニットで撮影した画像を取得し、再生する装置として説明するが、取得し再生する画像の種類は限定されず、術野を撮影するカメラの画像を取得し再生してもよい。   Embodiments of a medical image recording apparatus according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments. For example, in the following embodiment, the medical image recording apparatus is described as an apparatus that acquires and reproduces an image captured by an endoscope unit. However, the type of image that is acquired and reproduced is not limited, and an operative field is imaged. A camera image may be acquired and played back.

図1は、本発明にかかる医療画像記録装置を備える医療システムの一例の概略構成を示すブロック図である。医療システム10は、医療画像記録装置12と、ディスプレイ14と、内視鏡ユニット16と、生体モニタ18と、手術室撮影部20と、手術具22と、出力部24と、操作検出部26と、入力部28とを有する。   FIG. 1 is a block diagram showing a schematic configuration of an example of a medical system including a medical image recording apparatus according to the present invention. The medical system 10 includes a medical image recording device 12, a display 14, an endoscope unit 16, a biological monitor 18, an operating room imaging unit 20, a surgical instrument 22, an output unit 24, and an operation detection unit 26. And an input unit 28.

医療画像記録装置12は、後述する各部から画像(動画)、生体情報、操作情報を取得し、取得した情報を記録する。また、医療画像記録装置12は、取得した情報に基づいて画像を生成し、再生する。なお、医療画像記録装置12については、後ほど詳細に説明する。   The medical image recording device 12 acquires an image (moving image), biological information, and operation information from each unit to be described later, and records the acquired information. Further, the medical image recording device 12 generates and reproduces an image based on the acquired information. The medical image recording apparatus 12 will be described in detail later.

ディスプレイ14は、液晶ディスプレイ(Liquid Crystal Display)等の画像を表示させる装置であり、医療画像記録装置12で作製された画像を表示させる。   The display 14 is a device that displays an image such as a liquid crystal display, and displays an image produced by the medical image recording device 12.

内視鏡ユニット16は、手術を行う患者に挿入し、体内の映像を取得する装置である。内視鏡ユニット16は、患者に挿入され、先端に撮像機構が設けられた挿入部16aと、操作者(執刀者、つまり医者等)が操作する操作部16bと、挿入部16aの撮像機構により取得した画像情報を処理し、画像を生成する処理部16cとで構成されている。また、内視鏡ユニット16の内視鏡としては、挿入部がやわらかい材料で形成されたファイバースコープタイプの内視鏡以外にも、挿入部が硬い材料で形成された膀胱鏡、胸腔鏡、腹腔鏡等を用いることができる。また、内視鏡ユニット16は、医療画像記録装置12に取得した画像の情報を送る。なお、内視鏡ユニット16と医療画像記録装置12とは、電気的に絶縁されており、例えば光カプラを用いた光通信により情報の送受信を行っている。   The endoscope unit 16 is a device that is inserted into a patient to be operated and acquires an in-vivo image. The endoscope unit 16 is inserted into a patient and includes an insertion portion 16a provided with an imaging mechanism at the tip, an operation portion 16b operated by an operator (such as a surgeon, that is, a doctor), and an imaging mechanism of the insertion portion 16a. The processing unit 16c processes the acquired image information and generates an image. In addition to the fiberscope type endoscope in which the insertion portion is formed of a soft material, the endoscope of the endoscope unit 16 includes a cystoscope, thoracoscope, abdominal cavity, in which the insertion portion is formed of a hard material. A mirror or the like can be used. Further, the endoscope unit 16 sends the acquired image information to the medical image recording apparatus 12. Note that the endoscope unit 16 and the medical image recording apparatus 12 are electrically insulated and transmit and receive information by optical communication using, for example, an optical coupler.

生体モニタ18は、患者の生体データを計測または検出し、ディスプレイに表示させる。ここで、生体モニタ18が計測または検出する生体データとしては、脈拍、心拍数、血圧、体温、脳波、血中酸素濃度、血中二酸化炭素濃度等が例示される。また、生体モニタ18は、内視鏡ユニット16と同様に、取得した生体データを医療画像記録装置12に送る。なお、生体モニタ18と医療画像記録装置12とも、電気的に絶縁されており、例えば光カプラを用いた光通信により情報の送受信を行っている。   The biological monitor 18 measures or detects biological data of the patient and displays it on the display. Here, examples of the biological data measured or detected by the biological monitor 18 include a pulse, a heart rate, a blood pressure, a body temperature, an electroencephalogram, a blood oxygen concentration, and a blood carbon dioxide concentration. In addition, the biological monitor 18 sends the acquired biological data to the medical image recording device 12, similarly to the endoscope unit 16. The biological monitor 18 and the medical image recording apparatus 12 are also electrically insulated, and information is transmitted / received by optical communication using an optical coupler, for example.

手術室撮影部20は、手術を行っている手術室を撮影するカメラである。手術室撮影部20は、手術室内にいる人物や、手術台、各種装置を撮影することができる。なお、手術室撮影部20は、固定式とし、同一領域の画像を撮影するようにしても、可動式とし、撮影領域を変更可能としてもよい。手術室撮影部20も、内視鏡ユニット16と同様に、医療画像記録装置12に取得した画像の情報を送る。   The operating room imaging unit 20 is a camera that images an operating room in which surgery is performed. The operating room photographing unit 20 can photograph a person in the operating room, an operating table, and various devices. Note that the operating room imaging unit 20 may be a fixed type, may be configured to capture an image of the same region, or may be movable, and the imaging region may be changeable. Similarly to the endoscope unit 16, the operating room imaging unit 20 also sends acquired image information to the medical image recording device 12.

手術具(手術器具)22は、電気メス、超音波メス等の手術に用いる器具である。なお、図1では、2つの手術具22を示しているが、手術具の数は限定されない。出力部24は、手術具22と接続しており、操作者の操作に基づいて手術具22を駆動させる。つまり、出力部24は、電気メスや超音波メス等の手術具22に電力を供給し、駆動させる。手術具22は、出力部24から電力を供給され、駆動されることで、患者の組織を切ったり、患者の組織を焼ききったりすることができる。   The surgical tool (surgical instrument) 22 is an instrument used for surgery such as an electric knife and an ultrasonic knife. In FIG. 1, two surgical tools 22 are shown, but the number of surgical tools is not limited. The output unit 24 is connected to the surgical tool 22 and drives the surgical tool 22 based on the operation of the operator. That is, the output unit 24 supplies power to the surgical instrument 22 such as an electric knife or an ultrasonic knife to drive it. The surgical tool 22 is supplied with electric power from the output unit 24 and is driven to cut the patient's tissue or burn the patient's tissue.

操作検出部26は、手術具22と出力部24とを接続するコード部分に配置されており、手術具22と出力部24との間に流れる電流を検出し、手術具22が使用されているか否かを検出する。操作検出部26としては、例えば、電流が流れるコードを挟み込むだけで電流が流れているかを検出することができるクランプメータ(架線電流計)を用いることができる。なお、クランプメータは、電流が流れることでコードの周りに発生する磁界を検出することで電流の流れを検出する。操作検出部26は、検出した値を医療画像記録装置12に送る。医療画像記録装置12は、操作検出部26から送られた検出値に基づいて、手術具22が使用されたかを判定する。なお、操作検出部26は、検出した値から手術具22が使用されたかを検出し、その検出結果を医療画像記録装置12に送るようにしてもよい。   The operation detection unit 26 is disposed in a cord portion that connects the surgical tool 22 and the output unit 24, detects current flowing between the surgical tool 22 and the output unit 24, and is the surgical tool 22 used? Detect whether or not. As the operation detection unit 26, for example, a clamp meter (overhead ammeter) that can detect whether a current flows only by sandwiching a cord through which the current flows can be used. The clamp meter detects the current flow by detecting the magnetic field generated around the cord when the current flows. The operation detection unit 26 sends the detected value to the medical image recording apparatus 12. The medical image recording apparatus 12 determines whether the surgical tool 22 has been used based on the detection value sent from the operation detection unit 26. The operation detection unit 26 may detect whether the surgical tool 22 has been used from the detected value, and send the detection result to the medical image recording apparatus 12.

入力部28は、操作者が医療画像記録装置12に指示を入力する入力端末である。入力部28は、操作者により入力された指示を医療画像記録装置12に送る。ここで、入力部28としては、キーボードや、マウス、フットスイッチ、また、タッチパネル等も用いることができる。入力部28としてタッチパネルを用いることで、操作者は操作を簡単に行うことができる。なお、タッチパネルは、ディスプレイの表面に配置し、ディスプレイに表示させている画面と操作者による接触位置との関係に基づいて入力指示を検出する。医療システム10は、以上のような構成である。   The input unit 28 is an input terminal through which an operator inputs instructions to the medical image recording device 12. The input unit 28 sends an instruction input by the operator to the medical image recording apparatus 12. Here, as the input unit 28, a keyboard, a mouse, a foot switch, a touch panel, or the like can be used. By using a touch panel as the input unit 28, the operator can easily perform an operation. The touch panel is arranged on the surface of the display and detects an input instruction based on the relationship between the screen displayed on the display and the contact position by the operator. The medical system 10 is configured as described above.

次に、図2を用いて、医療画像記録装置12について説明する。図2は、図1に示す医療画像記録装置の概略構成を示すブロック図である。医療画像記録装置12は、上述したように、各部から供給された画像及びデータを記録し、再生させる装置であり、動画取得部40と、情報取得部42と、同期部44と、特徴点検出部46と、入力検出部48と、表示制御部50と、記憶部52と、送受信部54と、制御部56とを有する。   Next, the medical image recording apparatus 12 will be described with reference to FIG. FIG. 2 is a block diagram showing a schematic configuration of the medical image recording apparatus shown in FIG. As described above, the medical image recording device 12 is a device that records and reproduces images and data supplied from each unit, and includes a moving image acquisition unit 40, an information acquisition unit 42, a synchronization unit 44, and feature point detection. Unit 46, input detection unit 48, display control unit 50, storage unit 52, transmission / reception unit 54, and control unit 56.

動画取得部40は、医療システム10の各部から画像データを取得する。具体的には、内視鏡ユニット16から送られる画像データと、手術室撮影部20から送られる画像データを取得する。つまり、動画取得部40は、内視鏡ユニット16が取得した画像データを内視鏡ユニット16から取得し、手術室撮影部20が取得した画像データを手術室撮影部20から取得する。   The moving image acquisition unit 40 acquires image data from each unit of the medical system 10. Specifically, the image data sent from the endoscope unit 16 and the image data sent from the operating room imaging unit 20 are acquired. That is, the moving image acquisition unit 40 acquires the image data acquired by the endoscope unit 16 from the endoscope unit 16 and acquires the image data acquired by the operating room imaging unit 20 from the operating room imaging unit 20.

情報取得部42は、医療システム10の各部で取得した情報を取得する。具体的には、情報取得部42は、生体モニタ18から送られる生体データを取得する。つまり情報取得部42は、生体モニタ18が取得した生体データを生体モニタ18から取得する。また、情報取得部42は、操作検出部26で検出した値を取得し、取得した値に基づいて手術具22を操作したか否かの情報を取得する。   The information acquisition unit 42 acquires information acquired by each unit of the medical system 10. Specifically, the information acquisition unit 42 acquires biological data sent from the biological monitor 18. That is, the information acquisition unit 42 acquires the biological data acquired by the biological monitor 18 from the biological monitor 18. Moreover, the information acquisition part 42 acquires the value detected by the operation detection part 26, and acquires the information of whether the surgical tool 22 was operated based on the acquired value.

同期部44は、動画取得部40で取得した画像データと、情報取得部42で取得した各種データとを同期させる。つまり、同期部44は、各画像データと各種データとの時間軸をあわせ、各画像データと各種データとを対応付ける。同期部44で、同期させることで、データの再生時に、各データの時間軸がずれることを防止できる。ここで、同期部44によって各データを同期させる方法は特に限定されず、例えば、各データにフラグデータを付加すればよい。また、一定時間ごとのデータをパケット化して記憶するようにしてもよい。同一時間のデータを1つのユニットとしてもよい。   The synchronization unit 44 synchronizes the image data acquired by the moving image acquisition unit 40 and various data acquired by the information acquisition unit 42. That is, the synchronization unit 44 matches the time axes of each image data and various data, and associates each image data with various data. By synchronizing with the synchronization unit 44, it is possible to prevent the time axis of each data from being shifted during data reproduction. Here, the method of synchronizing each data with the synchronizing part 44 is not specifically limited, For example, what is necessary is just to add flag data to each data. Further, data for every fixed time may be packetized and stored. Data of the same time may be used as one unit.

特徴点検出部46は、動画取得部40で取得した画像データと、情報取得部42で取得した各種データから、一定以上の変化が生じた時間を検出し、その変化が生じた時点を特徴点とする。本実施形態では、手術具22の使用を特徴点として検出する設定とし、情報取得部42で取得した情報に基づいて、手術具22が使用されたと判定された時点を特徴点として検出する。   The feature point detection unit 46 detects a time when a certain change has occurred from the image data acquired by the moving image acquisition unit 40 and various data acquired by the information acquisition unit 42, and the time when the change has occurred is a feature point. And In the present embodiment, the use of the surgical tool 22 is set to be detected as a feature point, and the time point when the surgical tool 22 is determined to be used is detected as a feature point based on the information acquired by the information acquisition unit 42.

入力検出部48は、操作検出部26から送られる信号を検出する。つまり、入力検出部48は、操作者が操作検出部26を操作することで入力される信号を検出する。   The input detection unit 48 detects a signal sent from the operation detection unit 26. That is, the input detection unit 48 detects a signal input when the operator operates the operation detection unit 26.

表示制御部50は、制御部56から送られるデータに基づいて、ディスプレイ14に表示させる画像を生成する。記憶部52は、制御部56から送られるデータを記憶させる。なお、記憶部52としては、キャッシュメモリを用いることができる。記憶部52として、キャッシュメモリを用いることで、データを短時間で読み出すことができる。なお、記憶部52として、ハードディスク等の読み出しに時間がかかるが大容量のデータを記憶できる記憶手段を用いてもよい。また、取得した動画情報を記録する(符号化する)フォーマットの一例としては、MPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4(主に移動通信の場合、H.261(国際電気通信連合勧告の規格)などを挙げることができる。例えば、MPEG−2では、符号化された情報は適当な長さの単位のパケットであるPES(Packetized Elementary Stream)パケット(可変長)によって構成され、動画情報は、複数のPESパケットからなるストリームとして取得される。   The display control unit 50 generates an image to be displayed on the display 14 based on the data sent from the control unit 56. The storage unit 52 stores data sent from the control unit 56. Note that a cache memory can be used as the storage unit 52. By using a cache memory as the storage unit 52, data can be read out in a short time. The storage unit 52 may be a storage unit that can store a large amount of data although it takes time to read data from a hard disk or the like. Examples of the format for recording (encoding) the acquired moving picture information include MPEG (Moving Picture Experts Group) -1, MPEG-2, MPEG-4 (mainly in the case of mobile communication, H.261 (International For example, in MPEG-2, the encoded information is composed of PES (Packetized Elementary Stream) packets (variable length), which are packets of appropriate length units. The moving image information is acquired as a stream composed of a plurality of PES packets.

送受信部54は、外部のネットワークや、外部の記憶装置とデータの送受信を行う。送受信部54は、各部で生成されたデータ(再生する画像データ)や、記憶部52に記憶されているデータを外部のネットワークや、外部の記憶装置に送り、外部装置に保存させる。また、外部装置に保存されているデータを読み出す。   The transmission / reception unit 54 transmits / receives data to / from an external network or an external storage device. The transmission / reception unit 54 sends data generated by each unit (image data to be reproduced) and data stored in the storage unit 52 to an external network or an external storage device, and stores the data in the external device. Also, data stored in the external device is read.

制御部56は、上述した医療画像記録装置12の各部の動作を制御し、取得した画像データ及び各種データから作成した画像の再生、保存、読み出し等を行う。医療画像記録装置12は、以上のような構成である。   The control unit 56 controls the operation of each unit of the medical image recording apparatus 12 described above, and performs reproduction, storage, readout, and the like of the image created from the acquired image data and various data. The medical image recording device 12 is configured as described above.

次に、医療システム10及び医療画像記録装置12の動作を説明する。まず、図3を用いて、取得したデータの記録方法(記憶させる方法)について説明する。図3は、画像および情報の記録方法の一例を説明するための説明図である。ここで、図3に示す図において、「映像情報1」は、内視鏡ユニット16で取得した画像データであり、「映像情報2」は、手術室撮影部20で取得した画像データである。また、「生体情報」は、生体モニタ18で取得したデータであり、「操作情報」は、操作検出部26の信号に基づいて取得した、手術具22の操作のデータである。   Next, operations of the medical system 10 and the medical image recording device 12 will be described. First, a method for recording (storing) acquired data will be described with reference to FIG. FIG. 3 is an explanatory diagram for explaining an example of an image and information recording method. Here, in the diagram shown in FIG. 3, “video information 1” is image data acquired by the endoscope unit 16, and “video information 2” is image data acquired by the operating room imaging unit 20. Further, “biological information” is data acquired by the biological monitor 18, and “operation information” is operation data of the surgical tool 22 acquired based on a signal from the operation detection unit 26.

図3に示すように、「映像情報1」、「映像情報2」、「生体情報」、「操作情報」のそれぞれのデータは、上述した各部から医療画像記録装置12に送られ、各部で処理されることで、データとなる。また、同期部44により同期されることで、図3に示すように、同一の時間軸で対応付けられる。各データは、対応付けされた状態で、一定時間区分毎に切り出される。具体的には、一定時間範囲のデータが、切出部分1、切出部分2、切出部分3の3つに切り出される。なお、切り出す場合は、各切出部分は、隣接した切出部分と一部同じ時間帯のデータも切り出す。例えば、0秒から始まるデータを、20秒毎に切り出す場合は、切出部分1は0秒から20秒までのデータを切り出し、切出部分2は、18秒から38秒までのデータを切り出し、切出部分3は、36秒から56秒までのデータを切り出すようにする。これにより、切り出したデータ同士を再度繋げる場合に、一部の画像が同一データとなるため、照合しやすくなり、データを正確に繋げることができる。   As shown in FIG. 3, the data of “video information 1”, “video information 2”, “biological information”, and “operation information” are sent from the above-described units to the medical image recording apparatus 12 and processed by each unit. By doing so, it becomes data. Moreover, by synchronizing with the synchronizer 44, it matches with the same time axis, as shown in FIG. Each data is cut out for each predetermined time section in a state of being associated with each other. Specifically, data in a certain time range is cut into three parts, a cutout part 1, a cutout part 2, and a cutout part 3. When cutting out, each cutout part also cuts out data in the same time zone as the adjacent cutout part. For example, when data starting from 0 seconds is cut out every 20 seconds, the cut out portion 1 cuts out data from 0 seconds to 20 seconds, the cut out portion 2 cuts out data from 18 seconds to 38 seconds, The cutout part 3 cuts out data from 36 seconds to 56 seconds. Thereby, when connecting the cut-out data again, since a part of image becomes the same data, it becomes easy to collate and can connect data correctly.

このようにして、切り出されたデータには、同一時間帯の「映像情報1」、「映像情報2」、「生体情報」、「操作情報」のデータが含まれる。例えば、切出部分1には、「映像情報1−1」、「映像情報2−1」、「生体情報−1」、「操作情報−1」が含まれ、このデータの集合体がデータユニット1として生成される。なお、このデータユニット1には、同期データ、つまり時間軸のフラグや、後述する特徴点のデータも含めるようにしてもよい。このようにして生成されたデータユニットは、記憶部52に記憶されたり、送受信部54から外部の記憶装置に記憶されたりする。また、制御部56によりデータユニットを読み出し、再生することで、ディスプレイ14に画像を再生することができる。また、複数のデータユニットを時間軸に沿って連続的に再生することで、一定時間以上再生することができる。   The data thus extracted includes data of “video information 1”, “video information 2”, “biological information”, and “operation information” in the same time period. For example, the cutout part 1 includes “video information 1-1”, “video information 2-1”, “biological information-1”, and “operation information-1”, and an aggregate of the data is a data unit. 1 is generated. The data unit 1 may also include synchronous data, that is, time axis flags and feature point data described later. The data unit generated in this way is stored in the storage unit 52 or stored in the external storage device from the transmission / reception unit 54. Further, by reading and reproducing the data unit by the control unit 56, an image can be reproduced on the display 14. In addition, it is possible to reproduce a plurality of data units continuously over a certain time by reproducing them continuously along the time axis.

次に、図4を用いて、医療画像記録装置12により作製され、ディスプレイ14に表示される画像の一例を説明する。図4は、ディスプレイに表示される画像の一例を示す画面図である。図4に示すように、ディスプレイ14の画面102には、画像104と、画像106と、グラフ108、グラフ110と、操作キー112が表示されている。なお、この画面102に表示された画像は、動画取得部40、情報取得部42、入力検出部48から取得したデータ、情報、指示に基づいて制御部56と表示制御部50により生成される。   Next, an example of an image produced by the medical image recording device 12 and displayed on the display 14 will be described with reference to FIG. FIG. 4 is a screen diagram illustrating an example of an image displayed on the display. As shown in FIG. 4, an image 104, an image 106, a graph 108, a graph 110, and operation keys 112 are displayed on the screen 102 of the display 14. The image displayed on the screen 102 is generated by the control unit 56 and the display control unit 50 based on the data, information, and instructions acquired from the moving image acquisition unit 40, the information acquisition unit 42, and the input detection unit 48.

画像104は、内視鏡ユニット16で取得した画像であり、操作者が処理を行っている領域、つまり手術対象の臓器等がある手術野の画像(動画)が表示されている。画像106は、手術室撮影部20で取得した画像であり、手術室内の操作者や、患者、手術具等の画像(動画)が表示されている。   The image 104 is an image acquired by the endoscope unit 16 and displays an image (moving image) of the surgical field where the operator is performing processing, that is, the surgical target organ or the like. The image 106 is an image acquired by the operating room imaging unit 20 and displays images (moving images) of operators in the operating room, patients, surgical tools, and the like.

グラフ108及びグラフ110は、生体モニタ18で取得した生体データである。図4に示す画面102では、グラフ108として血圧の検出結果が表示され、グラフ110として、脈拍の検出結果が表示されている。なお、画像104、画像106、グラフ108及びグラフ110に表示されている画像、データは、同期部44で同期された同一時間におけるデータである。   The graph 108 and the graph 110 are biological data acquired by the biological monitor 18. On the screen 102 shown in FIG. 4, the blood pressure detection result is displayed as a graph 108, and the pulse detection result is displayed as a graph 110. Note that the images and data displayed in the image 104, the image 106, the graph 108, and the graph 110 are data at the same time synchronized by the synchronization unit 44.

次に、操作キー112は、医療画像記録装置12を操作するためのキーが表示されている。例えば、再生、停止、早送り、巻き戻し、録画開始、特徴点移動等の指示を入力するキーが表示されている。操作キー112は、入力部28による入力に基づいて、選択されているキーが確認できるように表示される。例えば、選択されているキーの表示のみ異なる色となる。このように、選択されているキーの表示を変化させることで、入力部28への入力によりどのキーが選択されている状態かを操作者が確認できる。   Next, the operation key 112 displays a key for operating the medical image recording apparatus 12. For example, keys for inputting instructions such as playback, stop, fast forward, rewind, recording start, and feature point movement are displayed. The operation key 112 is displayed based on the input from the input unit 28 so that the selected key can be confirmed. For example, only the selected key is displayed in a different color. In this way, by changing the display of the selected key, the operator can confirm which key is selected by the input to the input unit 28.

医療画像記録装置12は、このように、同期した各種画像及びデータから画像を作成し、ディスプレイ14に表示させる。ここで、医療画像記録装置12は、画面102に、記憶したデータを再生させた画像以外にも、現在各部で取得したデータを表示させるようにしてもよい。つまり、リアルタイムの画像(記録の対象となる画像)を表示させるようにしてもよい。また、画面102には、操作者が特徴点の検出タイミングを認識できるように横軸を時間軸として、特徴点の検出時を表示させたグラフも表示させることが好ましい。   In this way, the medical image recording apparatus 12 creates an image from various synchronized images and data and displays the image on the display 14. Here, the medical image recording apparatus 12 may display data currently acquired by each unit on the screen 102 in addition to the image obtained by reproducing the stored data. That is, a real-time image (image to be recorded) may be displayed. In addition, it is preferable that the screen 102 also displays a graph displaying the time of detection of the feature points with the horizontal axis as the time axis so that the operator can recognize the detection timing of the feature points.

次に、図5、図6を用いて、医療画像記録装置12の処理の一例を説明する。ここで、図5は、医療画像記録装置による処理の一例を示すフロー図である。また、図6は、医療画像記録装置によって検出された特徴点と記録データとの関係を示す説明図である。なお、図5に示す処理は、記録動作の一例である。   Next, an example of processing of the medical image recording apparatus 12 will be described with reference to FIGS. Here, FIG. 5 is a flowchart showing an example of processing by the medical image recording apparatus. FIG. 6 is an explanatory diagram showing the relationship between the feature points detected by the medical image recording apparatus and the recorded data. The process shown in FIG. 5 is an example of a recording operation.

まず、準備として、操作者が、医療画像記録装置12と、医療システム10の他の各部とを接続し、画像データ及び各種データを取得可能な状態とする。また、医療画像記録装置12と、ディスプレイ14とを接続し、医療画像記録装置12で生成した画像をディスプレイ14に表示できるようにする。その後、医療画像記録装置12を起動する。なお、準備の順序は特に限定されず、医療画像記録装置12を起動した後、各部を接続するようにしてもよい。   First, as a preparation, the operator connects the medical image recording device 12 and other parts of the medical system 10 to obtain a state where image data and various data can be acquired. Further, the medical image recording device 12 and the display 14 are connected so that an image generated by the medical image recording device 12 can be displayed on the display 14. Thereafter, the medical image recording device 12 is activated. Note that the order of preparation is not particularly limited, and each unit may be connected after the medical image recording apparatus 12 is activated.

準備が完了したら、医療画像記録装置12は、ステップS12として記録開始指示があるかを判定する。ここで、記録開始指示とは、操作者が入力部28を操作することで入力される指示である。医療画像記録装置12は、ステップS12で記録開始指示がない(No)と判定したら、再びステップS12の判定を行う。つまり、医療画像記録装置12は、記録開始指示があるまで、ステップS12の判定を繰り返す。   When the preparation is completed, the medical image recording apparatus 12 determines whether there is a recording start instruction as Step S12. Here, the recording start instruction is an instruction input when the operator operates the input unit 28. If it is determined in step S12 that there is no recording start instruction (No), the medical image recording apparatus 12 performs the determination in step S12 again. That is, the medical image recording apparatus 12 repeats the determination in step S12 until a recording start instruction is issued.

医療画像記録装置12は、ステップS12で記録開始指示あり(Yes)と判定したら、ステップS14として、記録を開始する。つまり、各部から取得した画像、情報を同期させて、記憶部52に記憶させる。また、必要に応じて、送受信部54を介して外部の記憶装置に記憶させる。   If it is determined in step S12 that there is a recording start instruction (Yes), the medical image recording apparatus 12 starts recording in step S14. That is, the images and information acquired from each unit are synchronized and stored in the storage unit 52. Moreover, it is memorize | stored in an external storage device via the transmission / reception part 54 as needed.

医療画像記録装置12は、ステップS14で記録を開始したら、ステップS16として、手術具22が使用されたかを判定する。つまり、画像、各種データの記録中に操作検出部26からの信号に基づいて手術具22の使用が検出されたかを判定する。なお、手術具22の使用は、操作検出部26により、手術具22と出力部24との間に流れる電流を検出することで、検出することができる。つまり、本実施形態では、手術具22に電流を流し、患者の対象部が切開されたり止血されたりした可能性が高い時を、手術具22が使用されたと判定する。医療画像記録装置12は、ステップS16で手術具22が使用されていない(No)と判定したら、ステップS26に進む。   When the medical image recording apparatus 12 starts recording in step S14, the medical image recording apparatus 12 determines whether or not the surgical instrument 22 has been used in step S16. That is, it is determined whether use of the surgical tool 22 is detected based on a signal from the operation detection unit 26 during recording of images and various data. The use of the surgical tool 22 can be detected by detecting the current flowing between the surgical tool 22 and the output unit 24 by the operation detection unit 26. In other words, in the present embodiment, it is determined that the surgical instrument 22 has been used when a current is passed through the surgical instrument 22 and there is a high possibility that the target portion of the patient has been incised or hemostatic. If the medical image recording apparatus 12 determines in step S16 that the surgical tool 22 is not used (No), the medical image recording apparatus 12 proceeds to step S26.

また、医療画像記録装置12は、ステップS16で手術具22が使用された(Yes)と判定したら、ステップS18として、使用直前の時点を特徴点とする。つまり、手術具22が使用されて、切開が行われたり、止血が行われたりする直前の時点を特徴点として設定する。なお、使用直前の設定は特に限定されず、どのように設定してもよい。例えば、使用されたと判定した時点の一定時間前(0.5秒前、1秒前、5秒前)を直前と設定すればよい。医療画像記録装置12は、再生時に基準(頭だしの基準)となるように、特徴点として設定した時点にフラグデータを付する。なお、特徴点を識別できればよく、フラグデータを付する以外に、同期された時間軸と対応した時間と特徴点との対応関係の表(テーブル)を作製してもよい。   If the medical image recording apparatus 12 determines in step S16 that the surgical tool 22 has been used (Yes), it sets the time immediately before use as a feature point in step S18. That is, the time point immediately before the surgical instrument 22 is used and an incision is made or hemostasis is performed is set as a feature point. The setting immediately before use is not particularly limited, and may be set in any way. For example, a predetermined time (0.5 seconds before, 1 second before, 5 seconds before) that is determined to be used may be set as the immediately preceding time. The medical image recording device 12 attaches flag data to the time point set as the feature point so that it becomes the reference (reference for cueing) at the time of reproduction. Note that it suffices if the feature points can be identified, and in addition to attaching flag data, a table (table) of the correspondence between the time corresponding to the synchronized time axis and the feature points may be created.

医療画像記録装置12は、ステップS18で特徴点を設定したら、また、ステップS16でNoと判定されたら、ステップS26として記録終了指示があるかを判定する。記録終了指示は、記録開始指示と同様に、操作者が入力部28を操作することで入力され、医療画像記録装置12は、この指示が入力されているか否かを判定する。また、記録終了指示とは、各部で取得した画像、データの記録を終了する指示である。   The medical image recording apparatus 12 determines whether there is a recording end instruction as step S26 when the feature point is set at step S18 or when it is determined No at step S16. Similar to the recording start instruction, the recording end instruction is input by the operator operating the input unit 28, and the medical image recording apparatus 12 determines whether or not this instruction is input. The recording end instruction is an instruction to end recording of images and data acquired by each unit.

医療画像記録装置12は、ステップS26で画像終了指示なし(No)と判定したら、ステップS16に進み、上記操作を繰り返す。つまり、医療画像記録装置12は、記録終了指示が入力されるまで、ステップS16、ステップ18の処理を繰り返す。また、医療画像記録装置12は、ステップS26で記録終了指示あり(Yes)と判定したら、ステップS28として、記録終了の処理を行い、処理を終了する。医療画像記録装置12は、以上のようにして画像(動画)と各種情報と特徴点とを同期させつつ、記録データとして記録する。   If the medical image recording apparatus 12 determines in step S26 that there is no image end instruction (No), the medical image recording apparatus 12 proceeds to step S16 and repeats the above operation. That is, the medical image recording apparatus 12 repeats the processes in steps S16 and 18 until a recording end instruction is input. If it is determined in step S26 that there is a recording end instruction (Yes), the medical image recording apparatus 12 performs a recording end process in step S28 and ends the process. The medical image recording device 12 records the image (moving image), various information, and feature points as recording data while synchronizing them as described above.

これにより、図6に示すように、手術開始から手術終了までの記録データには、手術具(器具)を使用した時点(特徴点データ)が記録される。具体的には、記録データには、器具Aを用いた(使用した)時点、器具Bを用いた時点、器具Cを使用した時点が記録される。また、特徴点データとして、その器具が使用されたかを記憶しており、ディスプレイに表示する場合は、図6に示すように、各特徴点の検出要因が対応付けられてコメントとして表示される。なお、この検出要因は、表示させなくてもよい。   Thereby, as shown in FIG. 6, the time (feature point data) at which the surgical tool (tool) is used is recorded in the recorded data from the start of the operation to the end of the operation. Specifically, the time when the device A is used (used), the time when the device B is used, and the time when the device C is used are recorded in the recorded data. Moreover, it is memorize | stored whether the instrument was used as feature point data, and when displaying on a display, as shown in FIG. 6, the detection factor of each feature point is matched and displayed as a comment. Note that this detection factor may not be displayed.

次に、図6と図7−1から図7−3を用いて、記録した記録データの再生方法を説明する。また、図7−1から図7−3は、それぞれ医療画像記録装置による処理の一例を説明するための画面図である。   Next, a method for reproducing the recorded data will be described with reference to FIG. 6 and FIGS. 7-1 to 7-3. FIGS. 7A to 7C are screen diagrams for explaining an example of processing by the medical image recording apparatus.

医療画像記録装置12は、図6に示すように記録データ内に特徴点のデータが記録されており、再生時の基点として設定している。つまり、特徴点の時点が再生の頭出しの時点として設定されている。これにより、操作者は、特徴点を基点として画像を再生することができる。一例としては、操作者は、画像再生中にスキップを入力すると、次の特徴点からの画像を再生することができる。また、入力部としてマウスを備える場合は、特徴点をクリックすることで特徴点からの画像を再生することができる。   As shown in FIG. 6, the medical image recording device 12 has feature point data recorded in the recording data, and is set as a base point at the time of reproduction. That is, the time point of the feature point is set as the time point of the beginning of playback. Thereby, the operator can reproduce an image using the feature point as a base point. As an example, when a skip is input during image reproduction, the operator can reproduce an image from the next feature point. When a mouse is provided as an input unit, an image from a feature point can be reproduced by clicking the feature point.

より具体的には、まず、画像記録時に、手術具22が使用されると、図7−1に示すように、手術具22により対象部の切開(切除)を開始する直前の時点が特徴点として設定される。これにより、操作者が特徴点からの再生する指示を入力すると、図7−1に示す画面の時点から動画が再生され、対象部を切除する画像104aが表示される。その後、画像の再生を続けることで、図7−2に示すように、画像104aの時点から一定時間経過後の、対象部の切除が完了された画像104bが表示される。なお、この時、画面102の他の画像、データも画像104bの時点の画像、データが表示される。なお、医療画像記録装置12は、画像を再生させる場合、予め設定された時間分の画像を再生するようにしても、操作者により停止の指示が入力されるまで画像を再生するようにしてもよい。   More specifically, first, when the surgical tool 22 is used during image recording, as shown in FIG. 7A, the time point immediately before starting the incision (resection) of the target portion by the surgical tool 22 is a feature point. Set as As a result, when the operator inputs an instruction to reproduce from the feature point, the moving image is reproduced from the time point of the screen shown in FIG. 7A and the image 104a for excising the target portion is displayed. Thereafter, by continuing to reproduce the image, as shown in FIG. 7B, an image 104b in which the excision of the target portion has been completed after a predetermined time has elapsed from the time of the image 104a is displayed. At this time, other images and data of the screen 102 are also displayed as the images and data at the time of the image 104b. When the medical image recording apparatus 12 reproduces an image, the medical image recording apparatus 12 may reproduce an image for a preset time, or may reproduce an image until a stop instruction is input by an operator. Good.

なお、再生時の画像の表示方法として、同一時間(同期された)画像を表示させることに限定されず、1つの画面に異なる時間の画像を表示させるようにしてもよい。例えば、図7−3に示すように、特徴点の時点で内視鏡ユニット16により取得した画像104aは、静止画像として表示させ、他の領域(図7−3中画像104bが表示されている部分)に内視鏡ユニット16により取得した動画、つまり特徴点以降に取得した画像を表示させるようにしてもよい。このように、異なる時間帯の画像を並列して表示させることで、画像の比較を行うことができる。   Note that the display method of images during reproduction is not limited to displaying images of the same time (synchronized), and images of different times may be displayed on one screen. For example, as shown in FIG. 7-3, the image 104a acquired by the endoscope unit 16 at the time of the feature point is displayed as a still image, and another region (the image 104b in FIG. 7-3 is displayed). You may make it display the moving image acquired by the endoscope unit 16, ie, the image acquired after the feature point, in (part). In this manner, images can be compared by displaying images in different time zones in parallel.

このように、医療画像記録装置12は、特徴点を検出し、特徴点のデータを記録データの中に含めることで、特徴点を基点として画像を再生することができる。これにより、操作者が再生をスタートさせる地点(時間)を検索することなく、手術中に処理が行われている時間帯の画像(動画)を再生することができる。また、手術の中でも重要な行為である手術具の使用を検出し、手術具を使用している画像(動画)が確認できることで、操作者は、手術中に発生した問題や、技術を把握することができる。つまり、画像での確認を必要とする可能性が高い、手術具の使用時を簡単に再生できることで、操作者が求める画像を簡単に再生することができる。   As described above, the medical image recording apparatus 12 can reproduce the image based on the feature point by detecting the feature point and including the feature point data in the recording data. Thereby, it is possible to reproduce an image (moving image) in a time zone during which a process is performed without searching for a point (time) at which the operator starts reproduction. In addition, by detecting the use of surgical tools, which is an important act in surgery, and confirming images (videos) of using surgical tools, the operator can understand the problems and techniques that occurred during the surgery. be able to. That is, it is possible to easily reproduce the time when the surgical tool is used, which is highly likely to require confirmation with an image, so that the image requested by the operator can be easily reproduced.

例えば、高度医療技術、特に内視鏡外科手術は、習得が困難であるため、指導者(熟練度の高い医者)が、未熟な医者(つまり、執刀医、操作者)に指導を行うことがある。このような場合に、本発明の装置を用いることで、指導者が、手術具による操作を行う直前から操作を行っている間の映像を簡単に視聴することができる。これにより、指導者は、直前の状態、処理を把握することができ、効果的、かつ短時間で問題点を把握することができ、未熟な医者を指導することが可能となる。また、逆に、指導者が執刀した手術画像を未熟な医者が視聴し研究を行う場合も、指導者が操作を行った画像部分のみを視聴することが可能となる。これにより、短時間で必要な画像を視聴することができ、短時間で手術を把握することができる。これにより、効率よく、有効な画像を視聴することが可能となる。   For example, because advanced medical technology, especially endoscopic surgery, is difficult to learn, an instructor (a highly skilled doctor) may instruct an inexperienced doctor (ie, a surgeon or operator). is there. In such a case, by using the apparatus of the present invention, it is possible for the instructor to easily view the video while performing the operation immediately before performing the operation using the surgical tool. Thereby, the instructor can grasp the immediately preceding state and processing, can grasp the problem in an effective and short time, and can instruct an inexperienced doctor. Conversely, even when an unskilled doctor views and conducts research on an operation image operated by the instructor, only the image portion operated by the instructor can be viewed. As a result, necessary images can be viewed in a short time, and surgery can be grasped in a short time. Thereby, it becomes possible to view an effective image efficiently.

また、特徴点の基点の画像を表示させつつ、動画の再生を行うことで、視聴者は、処置前の状況と処理中の映像とを比較しつつ、問題点、処理方法を解析することができる。また、特徴点の基点の画像を表示させつつ、動画の再生を行うことで、操作者は、処理対象部(患部)の変化を把握することができる。これにより、手術中に操作者が手術具(電気メスや超音波メスなど)での処理を行ったことで生じる対象部位の変化を把握することができ、処置内容、つまり切開した領域の大きさの出血の変化等を容易に確認することができる。これにより、手術をより正確に把握することができる。   In addition, by playing the video while displaying the base image of the feature point, the viewer can analyze the problem and the processing method while comparing the situation before the treatment and the image being processed. it can. Further, by reproducing the moving image while displaying the image of the base point of the feature point, the operator can grasp the change of the processing target part (affected part). As a result, it is possible to grasp the change in the target site that occurs when the operator performs a treatment with a surgical tool (such as an electric knife or an ultrasonic knife) during the operation, and the contents of the treatment, that is, the size of the incised region. It is possible to easily confirm changes in bleeding. Thereby, it is possible to grasp the surgery more accurately.

また、特徴点を自動的に抽出することで、操作者が手術中や、手術後に画像を確認しながら、コメント(どの手術具を使用したか)を挿入したり、タグ(頭だしとなる)設定を入力したりすることなく、必要なコメントや、タグ設定をすることができる。これにより、操作者の負担を軽くすることができる。なお、コメントの挿入の手間を省略できるため、医療画像記録装置は、特徴点を検出した要因(何を検出して特徴点として設定したか)を特徴点ともに記憶させることが好ましい。また、特徴点を表示させ、図6に示すように、各特徴点の検出要因(どの手術具が使用されたか)を表示させることで、手術中で使用される手術具の流れや、使用するタイミングも把握することができる。これにより、手術全体の流れも把握しやすくなる。   In addition, by automatically extracting feature points, the operator can insert a comment (which surgical tool was used) or check a tag (becomes a head) while checking the image during or after surgery. Necessary comments and tag settings can be made without entering settings. Thereby, an operator's burden can be eased. In addition, since it is possible to omit the trouble of inserting a comment, it is preferable that the medical image recording apparatus stores the factor that detected the feature point (what was detected and set as the feature point) together with the feature point. Further, by displaying the feature points and displaying the detection factors of each feature point (which surgical tool was used) as shown in FIG. 6, the flow of the surgical tools used during the operation and the use thereof are displayed. The timing can also be grasped. Thereby, it becomes easy to grasp the flow of the entire operation.

なお、上記実施形態では、特徴点を基点としてデータを簡単な操作で再生できるため、特徴点からデータを頭だし再生する場合を説明したが、頭だし再生機能は必ずしも必要なく、医療画像記録装置12は、手術画像を最初から再生することもできる。この場合でも、特徴点のデータが予め取得されていることで、手術の流れを把握することができ、視聴者の操作により特徴点からのデータを再生することが可能となる。   In the above embodiment, since the data can be reproduced with a simple operation using the feature point as a base point, the case where the data is cued and reproduced from the feature point has been described, but the cued reproduction function is not necessarily required, and the medical image recording apparatus 12 can also reproduce the surgical image from the beginning. Even in this case, since the feature point data is acquired in advance, the flow of the operation can be grasped, and the data from the feature point can be reproduced by the operation of the viewer.

また、図3に示すように、複数のデータをデータユニットとし、分離して記憶させることで、記録中でも一部の画像およびデータを再生することができる。また、再生と平行して記憶も行うことができる。また、同期した同一時間軸のデータを取り出すことができるので、データの読み出しも簡単になる。なお、本実施形態のようにデータユニットで記録することで、上記種々の効果を得ることができるが、これに限定されず、データの記録方法は特に限定されない。例えば、夫々のデータを別々に記憶させるようにしてもよい。また、複数の記録装置を用意し、再生指示が入力されたら、複数の記録装置のうち1つの記録装置で画像の再生を行うようにしてもよい。   In addition, as shown in FIG. 3, by storing a plurality of data as data units and storing them separately, some images and data can be reproduced even during recording. In addition, storage can be performed in parallel with reproduction. In addition, since the synchronized data on the same time axis can be taken out, the data can be easily read out. The various effects described above can be obtained by recording data units as in this embodiment, but the present invention is not limited to this, and the data recording method is not particularly limited. For example, each data may be stored separately. Alternatively, a plurality of recording devices may be prepared, and when a reproduction instruction is input, an image may be reproduced by one of the plurality of recording devices.

ここで、医療画像記録装置12は、画像記録時も取得している画像をディスプレイに表示させることが好ましい。これにより、手術の状況、および、録画するデータをより正確に把握できる。なお、再生指示があった場合のみ画像を表示させるようにしてもよい。また、医療画像記録装置12は、画像記録時に取得した画像を表示させる場合は、ディスプレイ14に特徴点の画像(内視鏡ユニット16により取得した画像)を表示することが好ましい。これにより、特徴点として検出した画面を録画時に把握することができる。   Here, it is preferable that the medical image recording apparatus 12 displays the acquired image on the display even during image recording. As a result, it is possible to more accurately grasp the status of surgery and the data to be recorded. Note that an image may be displayed only when a reproduction instruction is given. Moreover, when displaying the image acquired at the time of image recording, it is preferable that the medical image recording apparatus 12 displays the image of a feature point (image acquired by the endoscope unit 16) on the display 14. Thereby, the screen detected as the feature point can be grasped at the time of recording.

また、医療画像記録装置12は、図6に示すように、横軸を時間としたグラフ上に特徴点を表示させるようにしてもよいが、特徴点の画像をサムネール画像として表示させて、再生する特徴点の画像を選択できるようにしてもよい。このように時間軸や、このように基準に基づいて、特徴点を表示し、各時点での画像から選択することで、必要な画像、再生したい画像を短時間で選択することができる。   Further, as shown in FIG. 6, the medical image recording apparatus 12 may display feature points on a graph with the horizontal axis as time, but displays the feature point images as thumbnail images for playback. An image of feature points to be selected may be selected. In this way, by displaying the feature points based on the time axis and thus the reference and selecting from the images at each time point, it is possible to select a necessary image and an image to be reproduced in a short time.

また、上記実施形態では、特徴点を基点として画像を再生したが、特徴点よりも予め設定された時間分前の時点から画像を再生するようにしてもよい。このように設定することで、特徴点と設定した時点を動画として確認することができる。これにより、特徴点を手術具の使用を検出した時点としても、手術具を使用する前から画像を再生することができる。   In the above-described embodiment, the image is reproduced using the feature point as a base point. However, the image may be reproduced from a time point that is a preset time before the feature point. By setting in this way, the feature point and the set time point can be confirmed as a moving image. Accordingly, even when the use of the surgical tool is detected as the feature point, the image can be reproduced before the surgical tool is used.

また、上記実施形態では、手術具の使用を正確かつ簡単に検出することができ、かつ、切開、止血等の処理には電気を使用する手術具が用いられることが多いため、操作検出部26を用い、電流の流れを検出したが、手術具の使用の検出方法はこれに限定されない。内視鏡ユニットや、手術室撮影部で撮影された画像に画像処理を行い、手術具の動きを検出することで、手術具の使用を検出してもよい。このように画像解析を用いる場合は、画像処理が必要となるが、電気を使わない手術具の使用も検出することができる。また、手術具の形状から、手術具を検出してもよいが、手術具にバーコード、QR(登録商標、Quick Response)コード等の識別表示を付し、その識別表示を読み取るようにしてもよい。   In the above-described embodiment, the use of the surgical tool can be accurately and easily detected, and a surgical tool that uses electricity is often used for processing such as incision and hemostasis. Although the current flow was detected using, the method of detecting the use of the surgical tool is not limited to this. The use of the surgical tool may be detected by performing image processing on an image captured by the endoscope unit or the operating room photographing unit and detecting the movement of the surgical tool. When image analysis is used in this way, image processing is required, but the use of a surgical instrument that does not use electricity can also be detected. In addition, the surgical tool may be detected from the shape of the surgical tool, but an identification display such as a barcode or a QR (registered trademark, Quick Response) code is attached to the surgical tool, and the identification display is read. Good.

また、医療画像記録装置12は、取得したデータから特徴点に関連するデータを抽出するようにしてもよい。以下、図8及び図9を用いて説明する。ここで、図8は、医療画像記録装置による処理の一例を示すフロー図であり、図9は、医療画像記録装置によって記録データと抽出された記録データとの関係を示す説明図である。なお、医療画像記録装置12は、各部から取得したデータを記憶(保存)させる際に、抽出して記憶するようにしても、一旦記憶(保存)させたデータを読み出し、一部のデータのみを抽出して記憶するようにしてもよい。   Further, the medical image recording apparatus 12 may extract data related to the feature points from the acquired data. Hereinafter, a description will be given with reference to FIGS. Here, FIG. 8 is a flowchart illustrating an example of processing by the medical image recording apparatus, and FIG. 9 is an explanatory diagram illustrating a relationship between the recording data and the extracted recording data by the medical image recording apparatus. The medical image recording device 12 reads out the stored (saved) data when storing (storing) the data acquired from each unit, and stores only a part of the data. It may be extracted and stored.

まず、医療画像記録装置12は、図8に示すように、ステップS102として、データから特徴点を検出する。なお、このデータは、一旦記録している(記憶されている)場合は、記録データに含まれる特徴点のデータとなり、各部から取得したデータ(情報、画像)である場合は、データを解析することで検出される特徴点である。   First, as shown in FIG. 8, the medical image recording apparatus 12 detects a feature point from data as step S102. If this data is once recorded (stored), it becomes data of feature points included in the recorded data. If it is data (information, image) acquired from each part, the data is analyzed. It is the feature point detected by this.

医療画像記録装置12は、ステップS102で特徴点を検出したら、ステップS104として、特徴点を基準として、データを抽出する。具体的には、特徴点を始点とし、設定時間分の記録データを抽出する。ここで、設定時間は、予め設定された時間であり、例えば、30秒、1分、3分等である。医療画像記録装置12は、ステップS102で検出した各特徴点について記録データの抽出を行う。なお、各部からデータを取得しながら、つまり、現在行われている手術のデータを取得しながら処理を行っている場合は、ステップS102とステップS104の処理を繰り返し行う。   When the medical image recording apparatus 12 detects the feature point in step S102, in step S104, the medical image recording apparatus 12 extracts data on the basis of the feature point. Specifically, recording data for a set time is extracted with a feature point as a starting point. Here, the set time is a preset time, for example, 30 seconds, 1 minute, 3 minutes, or the like. The medical image recording apparatus 12 extracts recording data for each feature point detected in step S102. In addition, when processing is performed while acquiring data from each unit, that is, while acquiring data of a currently performed operation, the processes of steps S102 and S104 are repeated.

医療画像記録装置12は、ステップS104でデータを抽出したら、ステップS106として、抽出したデータを時間軸に基づいて連結(結合)する。つまり、ステップS104で抽出したデータを時間順に並べて、隣接する時間データと結合する。例えば、データを図3に示すようにデータユニットとしている場合は、時間軸にそって再生する順番を設定したフラグ等を付与する。   After extracting the data in step S104, the medical image recording apparatus 12 connects (combines) the extracted data based on the time axis in step S106. That is, the data extracted in step S104 is arranged in time order and combined with adjacent time data. For example, when the data is a data unit as shown in FIG. 3, a flag or the like that sets the order of reproduction along the time axis is added.

医療画像記録装置12は、ステップS106でデータを連結したら、ステップS108として、連結したデータを保存する。なお、データは、記憶部52に保存しても(記憶させても)、送受信部54を介して外部の記憶装置に保存してもよい。   When the medical image recording apparatus 12 concatenates the data in step S106, the medical image recording apparatus 12 stores the concatenated data in step S108. Note that the data may be stored (stored) in the storage unit 52 or may be stored in an external storage device via the transmission / reception unit 54.

医療画像記録装置12は、特徴点を基準としてデータを抽出することで、図9に示すように、特徴点を基準とした一定時間分のデータのみを抽出したデータを作成することができる。具体的には、図9中上段に示す記録データから特徴点を基準としたデータ140a、140b、140c、140dを抽出し、図9中下段に示すように連結することで、特徴点のデータのみを抽出したデータを作成することができる。なお、データ140dは、特徴点から特徴点までの時間間隔が短いため、1つのデータ区分として抽出している。   The medical image recording apparatus 12 can create data by extracting only data for a certain period of time with reference to feature points, as shown in FIG. 9, by extracting data with reference to feature points. Specifically, by extracting the data 140a, 140b, 140c, 140d based on the feature points from the recorded data shown in the upper part of FIG. 9, and connecting them as shown in the lower part of FIG. Can be created. Note that the data 140d is extracted as one data section because the time interval from the feature point to the feature point is short.

これにより、本実施形態では、手術具を使用していない時間帯のデータは、取り除き、手術具を使用している時間帯のデータのみを抽出したデータを作成することができる。つまり、視聴者が視聴したい可能性が高い時間帯を抽出した、ダイジェスト版となるデータを作成することができる。また、このダイジェスト版となるデータを自動で作成することができる。また、このようにダイジェスト版のデータを作成することで、視聴者は、スキップ等の操作をすることなく、特徴点のデータ(映像、生体データ)のみを視聴することができ、短時間、かつ、簡単な操作で有効な資料を視聴することができる。   Thereby, in this embodiment, the data of the time slot | zone when the surgical tool is not used can be removed, and the data which extracted only the data of the time slot | zone using the surgical tool can be created. That is, it is possible to create a digest version of data that extracts a time zone that the viewer is likely to view. Moreover, the data which becomes this digest version can be created automatically. Also, by creating digest version data in this way, the viewer can view only feature point data (video, biometric data) without performing an operation such as skipping, and in a short time, , You can watch valid materials with a simple operation.

なお、特徴点に基づいた抽出条件は、種々の設定とすることができ、例えば、特徴点と特徴点との時間間隔が一定以下の場合は、連続した処理として、特徴点と特徴点の間のデータは、分断することなく抽出するようにしてもよい。   Note that extraction conditions based on feature points can be set in various settings. For example, when the time interval between feature points is equal to or less than a certain value, the continuous processing is performed between feature points. These data may be extracted without being divided.

また、上記実施形態では、手術具の使用を特徴点として検出したが、本発明はこれに限定されない。特徴点としては、生体データ(生体情報)も用いることができる。以下、図10を用いて、特徴点として生体データを用いる場合を説明する。ここで、図10は、医療画像記録装置による処理の他の例を示すフロー図である。なお、図10に示す処理は、特徴点の検出処理を除いて他の処理は、図5に示す処理と同様であるので、同様の処理には同一のステップの符号を付し、詳細な説明は省略し、以下、図10の処理に特有の点を重点的に説明する。   Moreover, in the said embodiment, although use of the surgical tool was detected as a feature point, this invention is not limited to this. Biometric data (biological information) can also be used as the feature point. Hereinafter, the case where biometric data is used as a feature point will be described with reference to FIG. Here, FIG. 10 is a flowchart showing another example of processing by the medical image recording apparatus. The process shown in FIG. 10 is the same as the process shown in FIG. 5 except for the feature point detection process. Will be omitted, and the points peculiar to the processing of FIG. 10 will be mainly described below.

まず、上記処理と同様の準備を行う。準備が完了したら、医療画像記録装置12は、ステップS12として記録開始指示があるかを判定する。医療画像記録装置12は、ステップS12で記録開始指示がない(No)と判定したら、再びステップS12の判定を行う。医療画像記録装置12は、ステップS12で記録開始指示あり(Yes)と判定したら、ステップS14として、記録を開始する。   First, preparation similar to the above processing is performed. When the preparation is completed, the medical image recording apparatus 12 determines whether there is a recording start instruction as Step S12. If it is determined in step S12 that there is no recording start instruction (No), the medical image recording apparatus 12 performs the determination in step S12 again. If it is determined in step S12 that there is a recording start instruction (Yes), the medical image recording apparatus 12 starts recording in step S14.

医療画像記録装置12は、ステップS14で記録を開始したら、ステップS40として、生体データに異常があるか判定する。ここで、生体データとは、上述したように、脈拍、心拍数、血圧、体温、脳波、血中酸素濃度、血中二酸化炭素濃度等である。また、生体データに異常があるか否かは、生体データの数値(検出値)が所定の範囲内にあるか否かで判定する。なお、異常であるか否かの判定は、一瞬でも所定の範囲から外れたら異常があると判定してもよいが、生体データの数値が、設定された時間以上、または、設定された回数以上、所定の範囲から外れたら、生体データが異常であると判定するようにしてもよい。医療画像記録装置12は、ステップS40で生体データが異常ではない(No)と判定したら、ステップS26に進む。   When the medical image recording apparatus 12 starts recording in step S14, it determines in step S40 whether there is an abnormality in the biometric data. Here, as described above, the biological data includes a pulse, a heart rate, a blood pressure, a body temperature, an electroencephalogram, a blood oxygen concentration, a blood carbon dioxide concentration, and the like. Whether or not there is an abnormality in the biometric data is determined by whether or not the numerical value (detection value) of the biometric data is within a predetermined range. The determination of whether or not there is an abnormality may be determined to be abnormal if it is out of the predetermined range even for a moment, but the numerical value of the biological data is greater than or equal to the set time or the set number of times If it is out of the predetermined range, it may be determined that the biometric data is abnormal. If the medical image recording apparatus 12 determines in step S40 that the biometric data is not abnormal (No), the medical image recording apparatus 12 proceeds to step S26.

また、医療画像記録装置12は、ステップS40で生体データが異常である(Yes)と判定したら、ステップS42として、異常と判定する直前の時点を特徴点とする。つまり、生体データが所定の範囲から外れる直前の時点を特徴点として設定する。なお、本実施形態の場合も直前の設定は特に限定されず、どのように設定してもよい。例えば、生体データが異常と判定した時点の一定時間前(0.5秒前、1秒前、5秒前)を直前と設定すればよい。なお、生体データの数値が、設定された時間以上、または、設定された回数以上、所定の範囲から外れたら、生体データが異常であると判定する場合は、最初に所定の範囲から外れた時点を特徴点としても、最初に所定の範囲から外れた時点の直前を特徴点としてもよい。医療画像記録装置12は、ステップ42で直前の時点を特徴点としたら、ステップS26に進む。なお、ステップS26以降の処理は、図5に示すフロー図の処理と同様であるので、説明を省略する。   If the medical image recording device 12 determines that the biometric data is abnormal (Yes) in step S40, the medical image recording device 12 sets, as step S42, the time point immediately before the determination as abnormal is a feature point. That is, the time point immediately before the biometric data falls outside the predetermined range is set as the feature point. In the present embodiment, the immediately preceding setting is not particularly limited and may be set in any manner. For example, a predetermined time (0.5 seconds before, 1 second before, 5 seconds before) when the biometric data is determined to be abnormal may be set as immediately before. In addition, when it is determined that the biometric data is abnormal when the numerical value of the biometric data is out of the predetermined range for the set time or more than the set number of times, the first time when the biometric data is out of the predetermined range May be used as the feature point immediately before the time when it first deviates from the predetermined range. If the medical image recording apparatus 12 determines that the previous time point is a feature point in step 42, the medical image recording apparatus 12 proceeds to step S26. Note that the processing after step S26 is the same as the processing of the flowchart shown in FIG.

このように、生体データに基づいて特徴点を検出するようにすることで、患者の変化が発生した時点からの画像を再生することができる。これにより、問題が発生した場合に問題の原因をより短時間に把握することができる。また、上記と同様の種々の効果を得ることができる。   As described above, by detecting the feature points based on the biometric data, it is possible to reproduce an image from the time when the change of the patient occurs. Thereby, when a problem occurs, the cause of the problem can be grasped in a shorter time. In addition, various effects similar to those described above can be obtained.

また、特徴点としては、出血を検出してもよい。以下、医療画像記録装置12による出血点の検出方法について説明する。   Further, bleeding may be detected as a feature point. Hereinafter, a method for detecting a bleeding point by the medical image recording apparatus 12 will be described.

医療画像記録装置12の制御部56は、内視鏡ユニット16により取得した動画情報の画像中から、検出対象となる所定の特徴を有する動き領域(動きのある領域)を検出し、この動き領域の変化量に基づいて当該動き領域の状態を判定する。ここで、「動き領域」とは、一連の動画中において面積が変化する領域、あるいは、動きのある(つまり移動する)領域である。具体的には、手術に使用する手術具、臓器、患部における出血である。本実施の形態では、これらの複数の動き領域から、患部における出血領域を特定するとともに、出血領域の状態、具体的には出血領域の面積の変化及び出血量を把握する。以下、出血の検出方法を具体的に説明する。 The control unit 56 of the medical image recording device 12 detects a motion region (region with motion) having a predetermined feature to be detected from the moving image information image acquired by the endoscope unit 16, and this motion region The state of the motion region is determined based on the amount of change. Here, the “motion region” is a region where the area changes in a series of moving images or a region where there is motion (that is, movement). Specifically, a surgical instrument for use in surgery, organ, and hemorrhage in the affected area. In the present embodiment, the bleeding area in the affected area is specified from the plurality of movement areas, and the state of the bleeding area, specifically, the change in the area of the bleeding area and the amount of bleeding are grasped. Hereinafter, a method for detecting bleeding will be described in detail.

まず、医療画像記録装置12の制御部56は、内視鏡ユニット16により取得した動画情報の画像として、ある時点での画像と、所定時間(予め設定されている時間)前の画像の2つの画像を取得し、取得した画像同士を比較し、画像の一致度を判定する。つまり、ある時点での画像と、所定時間前の画像とで、患者の同じ部分を撮影している領域(共通している領域)がどの程度であるかを判定する。画像の一致度が一定以上(例えば2つの画像の80%以上が一致)の場合は、患者の同じ部分を撮影していると判定して、動き判定を行う。また、画像の一致度が一定未満の場合は、撮影場面が切り替えられていると判定し動き判定を行わない。なお、画像の一致度は、画像処理で被写体の輪郭、色等を抽出して、画像全体同士を比較することで、両画像の対応する部分を検出し、その対応する部分として検出できた領域の割合から算出する   First, the control unit 56 of the medical image recording apparatus 12 has two images, that is, an image at a certain point in time and an image before a predetermined time (preset time) as images of moving image information acquired by the endoscope unit 16. Images are acquired, the acquired images are compared, and the degree of coincidence of the images is determined. That is, it is determined to what extent the area (common area) in which the same part of the patient is imaged is determined between an image at a certain time point and an image before a predetermined time. If the degree of coincidence of images is equal to or greater than a certain level (for example, 80% or more of the two images coincide), it is determined that the same part of the patient is being photographed, and motion determination is performed. If the degree of coincidence of images is less than a certain level, it is determined that the shooting scene has been switched, and no motion determination is performed. Note that the degree of coincidence of images is the area that can be detected as the corresponding part by detecting the corresponding part of both images by extracting the contour, color, etc. of the subject by image processing and comparing the whole images Calculate from percentage

次に、制御部56は、内視鏡ユニット16により取得した動画情報の画像から、所定の大きさ以上の動き領域をすべて検出し、これら動き領域の変化量を算出する。ここで、「動き領域の変化量」とは、動き領域の面積の変化量あるいは変化率(変化速度)である。なお、動き領域の面積の変化量は、ある時刻tにおける領域の面積と微小時間後の時刻t+Δtにおける領域の面積の差であり、動き領域の面積の変化率は、上記変化量を時間差Δtで割ることにより算出される。なお、以下の説明では、便宜上、2つの時刻における画像から面積の変化量を算出する場合について説明する比較する画像の数は限定されない。また、比較する画像の数を多くする、例えば、3つ以上の時刻における画像を用い、統計平均を用いて、動き領域の変化量を求めることで、動き領域の変化量の検出精度をより向上させることができる。   Next, the control unit 56 detects all the motion areas having a predetermined size or more from the moving image information image acquired by the endoscope unit 16 and calculates the amount of change in these motion areas. Here, the “change amount of the motion region” is the change amount or change rate (change speed) of the area of the motion region. The change amount of the area of the motion region is the difference between the area of the region at a certain time t and the area of the region at a time t + Δt after a minute time. The change rate of the area of the motion region is the time difference Δt. Calculated by dividing. In the following description, for convenience, the number of images to be compared for explaining the case where the amount of change in area is calculated from images at two times is not limited. In addition, by increasing the number of images to be compared, for example, using images at three or more times and using a statistical average to determine the amount of change in the motion region, the detection accuracy of the amount of change in the motion region is further improved. Can be made.

まず、画像に映されている被写体の各領域(の大きさ)を検出する。例えば、ある時点での画像と、所定時間前の画像の2つの画像のそれぞれについて、画像を複数の画素に分解し、各画素の色度を求め、類似の色度を持つ画素からなる部分を領域として検出する。なお、領域の検出方法は、これに限定されず、画像処理により被写体の輪郭を検出し、その輪郭から、描く領域を検出するようにしてもよい。このように、各画像の被写体の領域を検出したら、ある時点での画像の領域と、所定時間前の画像の領域とを比較する。比較した結果、領域の位置(画像内における相対的な位置)が移動している、または、領域の大きさが変化している領域を動き領域として検出する。   First, each area (size) of the subject shown in the image is detected. For example, for each of two images, an image at a certain point in time and an image before a predetermined time, the image is decomposed into a plurality of pixels, the chromaticity of each pixel is obtained, and a portion composed of pixels having similar chromaticity is obtained. Detect as a region. The region detection method is not limited to this, and the contour of the subject may be detected by image processing, and the region to be drawn may be detected from the contour. As described above, when the subject area of each image is detected, the area of the image at a certain point in time is compared with the area of the image before a predetermined time. As a result of the comparison, a region where the position of the region (relative position in the image) has moved or the size of the region has changed is detected as a motion region.

次に、制御部56は、検出した複数の動き領域から、出血点(出血領域)と関係のない動き領域をノイズ成分として除去する。ここで、ノイズ成分としては、例えば、手術中に用いる手術具の動きや、臓器の動き等がある。ノイズ除去処理方法は、検出したすべての動き領域について、時間の経過に伴い領域の面積が増加しない、一定時間以上面積の増加が継続しない、予め設定された血液の色度と類似していない、という3つの条件に該当するか否かを判定する。そして、これらの3つの条件のうち一つでも該当した動き領域は、ノイズと判定し、検出した動き領域から削除(除外)する。これにより、上記3つの条件すべてに該当しない場合、すなわち、時間の経過に伴い領域の面積が増加し、且つ、一定時間以上面積の増加が継続し、且つ、予め設定された血液の色度と類似するという条件を満たす動き領域のみが抽出され、抽出された動き領域が「出血点」として検出される。   Next, the control unit 56 removes, as a noise component, a motion region that is not related to the bleeding point (bleeding region) from the detected plurality of motion regions. Here, examples of the noise component include a movement of a surgical tool used during a surgery, a movement of an organ, and the like. The noise removal processing method is not similar to the preset blood chromaticity, the area of the area does not increase with the passage of time, the area does not continue to increase for a certain period of time, for all detected motion areas. It is determined whether or not the three conditions are met. Then, the motion region corresponding to any one of these three conditions is determined as noise, and is deleted (excluded) from the detected motion region. As a result, when all of the above three conditions are not met, that is, the area of the region increases with the passage of time, and the area continues to increase for a certain period of time, and the blood chromaticity set in advance is Only the motion region that satisfies the condition of similarity is extracted, and the extracted motion region is detected as a “bleeding point”.

なお、ノイズ除去で、手術具の領域を除去する場合は、手術で使用する手術具の形状データを予め記憶部52に記憶しておき、上記画像処理によって検出した動き領域の形状を、記憶部52に記憶された手術具の形状と比較し、両者が一致した場合にその動き領域を削除することが好ましい。これにより、ノイズの除去をより効率的に行うことができる。また、領域の面積の増加割合、領域の面積の増加の継続時間、血液の色度の範囲は、種々の範囲とすることができ、操作者により設定することができる。なお、増加割合は大きく、継続時間は長く、色度の範囲は狭くすることで、出血点の検出条件は厳しくなり、より重大な出血のみを検出することができる。また、増加割合は小さく、継続時間は短く、色度の範囲は広くすることでより細かい出血点を検出することができる。なお、この場合は、誤検出、つまり出血していない部分を出血点として検出する可能性は高くなる。   When removing the surgical tool region by noise removal, the shape data of the surgical tool used in the surgery is stored in the storage unit 52 in advance, and the shape of the motion region detected by the image processing is stored in the storage unit. Compared with the shape of the surgical instrument stored in 52, it is preferable to delete the movement region when the two match. Thereby, noise can be removed more efficiently. Further, the area area increase rate, the area area increase duration, and the blood chromaticity range can be various ranges and can be set by the operator. The increase rate is large, the duration is long, and the chromaticity range is narrowed, so that the bleeding point detection condition becomes strict and only more serious bleeding can be detected. Further, a finer bleeding point can be detected by increasing the rate of increase, the duration time being short, and widening the chromaticity range. In this case, there is a high possibility of erroneous detection, that is, detection of a portion that has not bleeding as a bleeding point.

また、制御部56は、出血領域の面積の変化量から出血量も推定する。具体的には、制御部56は、出血領域の面積の変化率と、患部から出血する血液の単位時間あたりの流量との関係を示すデータを予め記憶しておく。そして、上述した手順で算出した出血領域の面積の変化率を、記憶したデータと比較することにより、出血量を推定する。   The control unit 56 also estimates the amount of bleeding from the amount of change in the area of the bleeding region. Specifically, the control unit 56 stores in advance data indicating the relationship between the rate of change in the area of the bleeding region and the flow rate per unit time of blood bleeding from the affected area. Then, the amount of bleeding is estimated by comparing the rate of change in the area of the bleeding region calculated by the above-described procedure with the stored data.

また、制御部56は、出血点として検出した領域を囲うように、目印(マーク)を表示させることが好ましい。このようにマークを表示させることで出血点を認識することが可能となる。また、マークは、動画の再生時に出血が始まる前から表示させることが好ましい。   Moreover, it is preferable that the control part 56 displays a mark (mark) so that the area | region detected as a bleeding point may be enclosed. By displaying the mark in this way, it is possible to recognize the bleeding point. Further, it is preferable that the mark is displayed before bleeding starts when the moving image is reproduced.

以下、図11を用いて、検出方法と表示方法の一例を具体的に説明する。ここで、図11は、出血点の検出方法の一例を説明するための説明図である。なお、図11は、時刻T1から時刻T4までの画像を表示させており、1箇所から出血している場合を示している。まず、時刻T1の画像と時刻T2の画像とを比較すると、面積に変化がある領域が検出される。その後、時間が経過し時刻T3では、出血している部分の面積がより大きくなり、このように時刻T1から時刻T3の間、出血している領域の面積が一定時間大きくなり続けると、制御部56は、この出血している領域を出血点として検出する。制御部56は、以上のようにして出血点を検出する。また、この時、出血を最初に確認した時点(時刻T1)を出血開始時刻とし、出血点であると決定した時点(時刻T3)を出血確認時刻とする。   Hereinafter, an example of the detection method and the display method will be specifically described with reference to FIG. Here, FIG. 11 is an explanatory diagram for explaining an example of a method for detecting a bleeding point. In addition, FIG. 11 is displaying the image from the time T1 to the time T4, and has shown the case where it is bleeding from one place. First, when the image at time T1 is compared with the image at time T2, a region having a change in area is detected. Thereafter, at time T3 when time elapses, the area of the bleeding portion becomes larger. Thus, when the area of the bleeding region continues to increase for a certain period of time from time T1 to time T3, the control unit 56 detects the bleeding region as a bleeding point. The control unit 56 detects the bleeding point as described above. At this time, the time point at which bleeding is first confirmed (time T1) is set as the bleeding start time, and the time point (time T3) at which the bleeding is determined is set as the bleeding check time.

また、画像再生時は、出血確認時刻より前の時刻T1からT2の間は、出血点を点線の円のマークで囲い、出血確認時刻以降のT3からT4の間は、出血点を実線の円のマークで囲う。このように、マークを表示させることで、出血点を認識しやすくすることができる。また、マークの表示方法を切り替えることで、出血確認時刻を明確に知ることができる。   Further, at the time of image reproduction, the bleeding point is surrounded by a dotted circle mark between times T1 and T2 before the bleeding confirmation time, and the bleeding point is indicated by a solid circle between T3 and T4 after the bleeding confirmation time. Surround with the mark. Thus, by displaying the mark, the bleeding point can be easily recognized. Further, by switching the mark display method, it is possible to clearly know the bleeding confirmation time.

次に、図12を用いて、特徴点として出血の検出を用いる場合を説明する。ここで、図12は、医療画像記録装置による処理の他の例を示すフロー図である。なお、図12に示す処理は、特徴点の検出処理を除いて他の処理は、図5に示す処理と同様であるので、同様の処理には同一のステップの符号を付し、詳細な説明は省略し、以下、図12の処理に特有の点を重点的に説明する。   Next, the case of using bleeding detection as a feature point will be described with reference to FIG. Here, FIG. 12 is a flowchart showing another example of processing by the medical image recording apparatus. The process shown in FIG. 12 is the same as the process shown in FIG. 5 except for the feature point detection process. Will be omitted, and the points peculiar to the processing of FIG.

まず、上記処理と同様の準備を行う。準備が完了したら、医療画像記録装置12は、ステップS12として記録開始指示があるかを判定する。医療画像記録装置12は、ステップS12で記録開始指示がない(No)と判定したら、再びステップS12の判定を行う。医療画像記録装置12は、ステップS12で記録開始指示あり(Yes)と判定したら、ステップS14として、記録を開始する。   First, preparation similar to the above processing is performed. When the preparation is completed, the medical image recording apparatus 12 determines whether there is a recording start instruction as Step S12. If it is determined in step S12 that there is no recording start instruction (No), the medical image recording apparatus 12 performs the determination in step S12 again. If it is determined in step S12 that there is a recording start instruction (Yes), the medical image recording apparatus 12 starts recording in step S14.

医療画像記録装置12は、ステップS14で記録を開始したら、ステップS50として、出血があるか判定する。出血があるか否かは、図11で説明したように、取得した画像の解析結果に基づいて判定する。医療画像記録装置12は、ステップS50で出血はない(No)と判定したら、ステップS26に進む。   When the medical image recording apparatus 12 starts recording in step S14, it determines in step S50 whether there is bleeding. Whether or not there is bleeding is determined based on the analysis result of the acquired image as described with reference to FIG. If it is determined in step S50 that there is no bleeding (No), the medical image recording apparatus 12 proceeds to step S26.

また、医療画像記録装置12は、ステップS50で出血がある(Yes)と判定したら、ステップS52として、出血前の時点を特徴点とする。なお、本実施形態の場合も出血前とする時点の設定は特に限定されず、どのように設定してもよい。例えば、出血と判定した時点の一定時間前(0.5秒前、1秒前、5秒前)を出血前と設定すればよい。また、出血しているか否かの判定を開始した時点(つまり、面積の比較を開始した時点)を出血前としてもよい。医療画像記録装置12は、ステップ52で出血前の時点を特徴点としたら、ステップS26に進む。なお、ステップS26以降の処理は、図5に示すフロー図の処理と同様であるので、説明を省略する。   If it is determined in step S50 that there is bleeding (Yes), the medical image recording apparatus 12 sets a time point before bleeding as a feature point in step S52. In the case of this embodiment as well, the setting of the time point before bleeding is not particularly limited, and any setting may be made. For example, what is necessary is just to set the fixed time (0.5 second before, 1 second before, 5 seconds before) the time of the bleeding determination to be before bleeding. Further, the time point at which the determination of whether or not bleeding is started (that is, the time point when the comparison of the areas is started) may be made before bleeding. If the medical image recording device 12 determines that the time before bleeding is a feature point in step 52, the medical image recording device 12 proceeds to step S26. Note that the processing after step S26 is the same as the processing of the flowchart shown in FIG.

このように、出血の発生(出血の有無)に基づいて特徴点を検出するようにすることで、患部の変化が発生した時点からの画像を再生することができる。これにより、出血(つまり、問題)が発生した場合に出血前からの画像を再生することで、出血の原因をより短時間に把握することができる。また、上記と同様の種々の効果を得ることができる。   In this manner, by detecting the feature points based on the occurrence of bleeding (presence / absence of bleeding), it is possible to reproduce an image from the time when a change in the affected area occurs. Thereby, when bleeding (that is, a problem) occurs, the cause of bleeding can be grasped in a shorter time by reproducing the image from before bleeding. In addition, various effects similar to those described above can be obtained.

ここで、上記実施形態では、特徴点を手術具の使用、生体データの異常、出血の発生のいずれか1つとしたが、これらの複数の要因を特徴点として検出するようにしてもよい。つまり、手術具の使用、または、生体データの異常があったら特徴点として検出するようにしてもよいし、手術具の使用、生体データの異常、または、出血の発生があったら特徴点として検出するようにしてもよい。   Here, in the above-described embodiment, the feature point is any one of the use of the surgical tool, the abnormality of the biometric data, and the occurrence of bleeding. However, these multiple factors may be detected as the feature points. In other words, if a surgical tool is used or if there is an abnormality in biometric data, it may be detected as a feature point. If a surgical tool is used, if there is an abnormality in biometric data, or if bleeding occurs, it will be detected as a feature point. You may make it do.

このように複数の要因を特徴点として検出することで、医療画像記録装置12は、手術中に、操作者が再生を希望する可能性のある画像(動画)の頭出し点の設定、コメントの記入をより漏れなく自動的に行うことができ、複数の特徴点から選択した特徴点を基点として再生することで、必要な画像を短時間で再生することができる。以下、図13を用いて説明する。ここで、図13は、医療画像記録装置によって検出された特徴点と記録データとの関係を示す説明図である。なお、図13は、手術具の使用、生体データの異常、または、出血の発生があったら特徴点として検出した場合である。   By detecting a plurality of factors as feature points in this way, the medical image recording apparatus 12 can set the cue point of an image (video) that the operator may desire to reproduce during the operation, The entry can be automatically performed without omission, and a necessary image can be reproduced in a short time by reproducing the feature point selected from a plurality of feature points as a base point. Hereinafter, a description will be given with reference to FIG. Here, FIG. 13 is an explanatory diagram showing the relationship between the feature points detected by the medical image recording apparatus and the recording data. FIG. 13 shows a case where a use is made as a feature point when there is use of a surgical tool, abnormality of biometric data, or occurrence of bleeding.

種々の要因を検出したら、特徴点として検出することで、図13に示すように、手術中に複数の特徴点を検出することができる。図13は、14時(PM2時)から16時(PM4時)まで行われた手術の記録データと、特徴点データを示している。図13に示す手術では、医療画像記録装置12は、14時10分に器具(手術具)Aを用いたことを特徴点として検出し、14時40分に器具(手術具)Bを用いたことを特徴点として検出している。また、14時20分に出血をしたことを特徴点として検出している。また、15時00分に血圧が上昇したこと(つまり生体データとして血圧が所定の範囲以上となったこと)を特徴点として検出している。   When various factors are detected, by detecting them as feature points, a plurality of feature points can be detected during the operation as shown in FIG. FIG. 13 shows recording data and feature point data of surgery performed from 14:00 (PM 2 o'clock) to 16:00 (PM 4 o'clock). In the operation shown in FIG. 13, the medical image recording apparatus 12 detects that the instrument (surgical instrument) A is used at 14:10 as a feature point, and uses the instrument (surgical instrument) B at 14:40. This is detected as a feature point. In addition, bleeding at 14:20 is detected as a feature point. Further, an increase in blood pressure at 15:00 (that is, the blood pressure has exceeded a predetermined range as biometric data) is detected as a feature point.

このように、複数の要因を特徴点として検出することで、手術時に各要因が発生した時点からの画像を再生することができ、問題をより簡単に把握すること、また、問題の解決方法をより簡単に把握することが可能となる。また、このように複数の要因を特徴点として検出することで、これらの特徴点の表示から、手術の流れを把握することができる。   In this way, by detecting multiple factors as feature points, it is possible to reproduce images from the time each factor occurred during surgery, making it easier to grasp the problem and how to solve the problem. It becomes possible to grasp more easily. Further, by detecting a plurality of factors as feature points in this way, the flow of surgery can be grasped from the display of these feature points.

なお、上記実施形態では、手術具の使用、生体データの異常、出血の発生を特徴点として検出したが、本発明はこれに限定されず、患者に問題が発生する起因となり得る解析結果を特徴点とすればよい。   In the above embodiment, the use of a surgical tool, abnormal biological data, and the occurrence of bleeding are detected as characteristic points. However, the present invention is not limited to this, and features analysis results that may cause problems in patients. What is necessary is a dot.

また、特徴点の検出条件は、操作者によって設定できるようにすればよく、また、不要な特徴点は、操作により設定を解除できるようにしてもよい。また、特徴点の検出、設定は、記録データの記録後に行うようにしてもよい。つまり、手術中は、記録データの取得のみを行い、手術終了後、例えば処理能力に余裕があるときに解析を行い特徴点の検出を行うようにしてもよい。   The feature point detection condition may be set by the operator, and unnecessary feature points may be canceled by operation. Further, detection and setting of feature points may be performed after recording data. That is, during the operation, only the recording data may be obtained, and after the operation is completed, for example, when there is a margin in processing capability, the analysis may be performed to detect the feature points.

また、上記実施形態では、医療画像記録装置12は、医療システム10の他の機器に影響を与える可能性を少なくすることができ、他の機器を円滑に利用できるため、他の機器と電気的に絶縁した状態で、情報を取得する構成としたが、本発明はこれに限定されない。上記効果をえることはできないが、電気的に繋がった状態で接続され、例えば電気信号の送受信で情報の授受を行うようにしてもよい。   In the above embodiment, the medical image recording apparatus 12 can reduce the possibility of affecting other devices of the medical system 10 and can smoothly use other devices. However, the present invention is not limited to this. Although the above effect cannot be obtained, the connection may be made in an electrically connected state, and information may be exchanged by transmitting and receiving an electric signal, for example.

また、上記実施形態では、情報としての価値、有効性をより高くすることができるため、内視鏡の画像、手術室の画像、生体情報、手術具の使用の情報を用いるようにしたが、少なくとも1つの動画と特徴点を検出できる情報とを得ることができれば、取得する画像の数と、情報の種類は、特に限定されない。また、動画から特徴点を検出できる場合は、医療画像記録装置12は、1つの動画のみを取得する構成としてもよい。   In the above embodiment, since the value and effectiveness as information can be further increased, an endoscope image, an operating room image, biological information, and information on the use of a surgical tool are used. The number of images to be acquired and the type of information are not particularly limited as long as at least one moving image and information capable of detecting feature points can be obtained. Further, when the feature point can be detected from the moving image, the medical image recording apparatus 12 may be configured to acquire only one moving image.

以上のように、本発明にかかる医療画像記録装置は、医療用動画の記録、再生に有用であり、特に、手術画像を再生することに適している。   As described above, the medical image recording apparatus according to the present invention is useful for recording and reproducing medical moving images, and is particularly suitable for reproducing surgical images.

10 医療システム
12 医療画像記録装置
14 ディスプレイ
16 内視鏡ユニット
18 生体モニタ
20 手術室撮影部
22 手術具
24 出力部
26 操作検出部
28 入力部
40 動画取得部
42 情報取得部
44 同期部
46 特徴点検出部
48 入力検出部
50 表示制御部
52 記憶部
54 送受信部
56 制御部
DESCRIPTION OF SYMBOLS 10 Medical system 12 Medical image recording apparatus 14 Display 16 Endoscope unit 18 Living body monitor 20 Operating room imaging | photography part 22 Operating tool 24 Output part 26 Operation detection part 28 Input part 40 Movie acquisition part 42 Information acquisition part 44 Synchronization part 46 Feature inspection Output unit 48 Input detection unit 50 Display control unit 52 Storage unit 54 Transmission / reception unit 56 Control unit

Claims (11)

医療用の動画を取得する動画取得部と、
医療用の情報を取得する情報取得部と、
前記動画取得部及び前記情報取得部の少なくとも一方で検出される情報から特徴点を検出する特徴点検出部と、
取得した動画及び情報を同期させる同期部と、
動画及び情報を記憶する記憶部と、
前記同期部により、前記特徴点検出部で検出した特徴点の情報と前記取得した動画とを同期つけて、前記記憶部に記憶させる制御部とを有することを特徴とする医療画像記録装置。
A video acquisition unit for acquiring medical videos;
An information acquisition unit for acquiring medical information;
A feature point detection unit that detects a feature point from information detected by at least one of the moving image acquisition unit and the information acquisition unit;
A synchronization unit for synchronizing the acquired video and information;
A storage unit for storing video and information;
A medical image recording apparatus comprising: a control unit that causes the synchronization unit to synchronize feature point information detected by the feature point detection unit and the acquired moving image, and to store the information in the storage unit.
前記情報取得部は、手術具の操作を検出する検出機能を備え、
前記特徴点検出部は、前記情報取得部により前記手術具が操作されたことを検出したら、該操作を特徴点として検出することを特徴とする請求項1に記載の医療画像記録装置。
The information acquisition unit includes a detection function for detecting operation of a surgical tool,
The medical image recording apparatus according to claim 1, wherein the feature point detection unit detects the operation as a feature point when detecting that the operation tool is operated by the information acquisition unit.
前記情報取得部は、患者の生体情報を検出する検出機能を備え、
前記特徴点検出部は、前記情報取得部により検出された生体情報が予め設定された範囲から外れた値となったら特徴点として検出することを特徴とする請求項1または2に記載の医療画像記録装置。
The information acquisition unit includes a detection function for detecting biological information of a patient,
The medical image according to claim 1, wherein the feature point detection unit detects a feature point when the biological information detected by the information acquisition unit is a value that is out of a preset range. Recording device.
前記動画取得部は、内視鏡により取得した画像を取得することを特徴とする請求項1から3のいずれか1項に記載の医療画像記録装置。   The medical image recording apparatus according to any one of claims 1 to 3, wherein the moving image acquisition unit acquires an image acquired by an endoscope. 前記制御部は、前記特徴点を基準として設定された時間分の前記動画及び前記情報とを抽出して前記記憶部に記憶させることを特徴とする請求項1から4のいずれか1項に記載の医療画像記録装置。   The said control part extracts the said moving image and the said information for the time set on the basis of the said feature point, and memorize | stores it in the said memory | storage part. Medical image recording device. さらに、操作者により入力される前記動画の再生指示を検出する入力検出部を有し、
前記制御部は、前記特徴点を再生の基準とした再生指示を入力可能とし、
前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点を検出した時点を基準として、前記動画取得部で取得した動画を再生することを特徴とする請求項1から5のいずれか1項に記載の医療画像記録装置。
Furthermore, an input detection unit that detects an instruction to reproduce the moving image input by the operator,
The control unit is capable of inputting a playback instruction based on the feature point as a playback reference,
When the input detection unit detects that the playback instruction is input using the feature point as a reference for playback, the moving image acquired by the video acquisition unit is played using the time point when the feature point is detected as a reference. The medical image recording apparatus according to claim 1, wherein:
前記制御部は、前記入力検出部で、前記特徴点を再生の基準とした前記再生指示が入力されたことを検出したら、前記特徴点よりも予め設定された時間分前の時点からの動画を再生することを特徴とする請求項6に記載の医療画像記録装置。   When the input detection unit detects that the reproduction instruction with the feature point as a reproduction reference is input, the control unit displays a moving image from a time point that is a preset time before the feature point. The medical image recording apparatus according to claim 6, wherein the medical image recording apparatus is reproduced. さらに、表示させる画像を生成する表示制御部を有し、
前記表示制御部は、前記再生指示を検出する前は、再生を開始する前の画像と、前記動画取得部で取得した画像とを含む画像を表示させることを特徴とする請求項6または7に記載の医療画像記録装置。
Furthermore, it has a display control unit that generates an image to be displayed,
8. The display control unit according to claim 6, wherein the display control unit displays an image including an image before the reproduction is started and an image acquired by the moving image acquisition unit before the reproduction instruction is detected. The medical image recording apparatus described.
前記入力検出部は、前記表示制御部により生成された画像を表示する表示部への接触を検出するタッチパネルであることを特徴とする請求項8に記載の医療画像記録装置。   The medical image recording apparatus according to claim 8, wherein the input detection unit is a touch panel that detects contact with a display unit that displays an image generated by the display control unit. 前記動画取得部は、医療用の動画を撮影する画像撮影機器と電気的に非接触な状態で接続されていることを特徴とする請求項1から9のいずれか1項に記載の医療画像記録装置。   The medical image recording according to any one of claims 1 to 9, wherein the moving image acquisition unit is electrically connected to an image capturing device that captures a medical moving image. apparatus. 前記情報取得部は、医療用の情報を生成する情報生成機器と電気的に非接触な状態で接続されていることを特徴とする請求項1から10のいずれか1項に記載の医療画像記録装置。   The medical image recording according to any one of claims 1 to 10, wherein the information acquisition unit is electrically connected to an information generation device that generates medical information. apparatus.
JP2009185949A 2009-08-10 2009-08-10 Medical image recording apparatus Pending JP2011036372A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009185949A JP2011036372A (en) 2009-08-10 2009-08-10 Medical image recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009185949A JP2011036372A (en) 2009-08-10 2009-08-10 Medical image recording apparatus

Publications (1)

Publication Number Publication Date
JP2011036372A true JP2011036372A (en) 2011-02-24

Family

ID=43764810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009185949A Pending JP2011036372A (en) 2009-08-10 2009-08-10 Medical image recording apparatus

Country Status (1)

Country Link
JP (1) JP2011036372A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861540B2 (en) * 2010-05-10 2012-01-25 オリンパスメディカルシステムズ株式会社 Medical equipment
JP2012217632A (en) * 2011-04-08 2012-11-12 Hitachi Medical Corp Image diagnostic apparatus and image processing apparatus
WO2015020093A1 (en) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 Surgical image-observing apparatus
KR20150037982A (en) * 2012-07-25 2015-04-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Efficient and interactive bleeding detection in a surgical system
JP2016007444A (en) * 2014-06-25 2016-01-18 オリンパス株式会社 Image recording device
WO2016190022A1 (en) * 2015-05-27 2016-12-01 オリンパス株式会社 Image recording device
JP2017012666A (en) * 2015-07-06 2017-01-19 オリンパス株式会社 Endoscopic examination data recording system
JP2017093996A (en) * 2015-11-27 2017-06-01 オリンパス株式会社 Endoscope system and display method thereof
DE102017122263A1 (en) 2016-09-28 2018-03-29 Fujifilm Corporation Apparatus, method and program for storing and displaying medical images
JP6360271B1 (en) * 2018-04-06 2018-07-18 株式会社Medi Plus Medical video processing system
JP2019170667A (en) * 2018-03-28 2019-10-10 日本光電工業株式会社 Intubation system
WO2019202827A1 (en) * 2018-04-17 2019-10-24 ソニー株式会社 Image processing system, image processing device, image processing method, and program
JP2021099789A (en) * 2019-11-08 2021-07-01 ソニーグループ株式会社 Evaluation of surgical operation scene based on computer vision
JP2022083768A (en) * 2020-11-25 2022-06-06 財團法人金属工業研究発展中心 Surgical instrument inspection system and surgical instrument inspection method
JP7442300B2 (en) 2019-11-21 2024-03-04 慶應義塾 Playback control device and playback control program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103030A (en) * 2003-09-30 2005-04-21 Seventh Dimension Design:Kk Apparatus and program for medical image generation
JP2005131031A (en) * 2003-10-29 2005-05-26 Olympus Corp Image display device, method and program
WO2006001055A1 (en) * 2004-06-25 2006-01-05 Seventh Dimension Design, Inc. Medical image management system and medical image management method
JP2008220839A (en) * 2007-03-15 2008-09-25 Olympus Medical Systems Corp Image filing system and image display system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103030A (en) * 2003-09-30 2005-04-21 Seventh Dimension Design:Kk Apparatus and program for medical image generation
JP2005131031A (en) * 2003-10-29 2005-05-26 Olympus Corp Image display device, method and program
WO2006001055A1 (en) * 2004-06-25 2006-01-05 Seventh Dimension Design, Inc. Medical image management system and medical image management method
JP2008220839A (en) * 2007-03-15 2008-09-25 Olympus Medical Systems Corp Image filing system and image display system

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861540B2 (en) * 2010-05-10 2012-01-25 オリンパスメディカルシステムズ株式会社 Medical equipment
JP2012217632A (en) * 2011-04-08 2012-11-12 Hitachi Medical Corp Image diagnostic apparatus and image processing apparatus
JP7124011B2 (en) 2012-07-25 2022-08-23 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Systems and methods of operating bleeding detection systems
JP2020171716A (en) * 2012-07-25 2020-10-22 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Surgical system and method with bleeding detection unit
JP2015529489A (en) * 2012-07-25 2015-10-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Efficient and interactive bleeding detection in surgical systems
US10772482B2 (en) 2012-07-25 2020-09-15 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
EP2877116A4 (en) * 2012-07-25 2016-04-13 Intuitive Surgical Operations Efficient and interactive bleeding detection in a surgical system
US9877633B2 (en) 2012-07-25 2018-01-30 Intuitive Surgical Operations, Inc Efficient and interactive bleeding detection in a surgical system
CN107485455B (en) * 2012-07-25 2020-04-03 直观外科手术操作公司 Efficient interactive bleeding detection in surgical systems
EP3603510A1 (en) * 2012-07-25 2020-02-05 Intuitive Surgical Operations Inc. Efficient and interactive bleeding detection in a surgical system
KR102201603B1 (en) * 2012-07-25 2021-01-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Efficient and interactive bleeding detection in a surgical system
CN107485455A (en) * 2012-07-25 2017-12-19 直观外科手术操作公司 Effective interactive bleeding detection in surgery systems
KR102163327B1 (en) * 2012-07-25 2020-10-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Efficient and interactive bleeding detection in a surgical system
KR20200091943A (en) * 2012-07-25 2020-07-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Efficient and interactive bleeding detection in a surgical system
JP2018114303A (en) * 2012-07-25 2018-07-26 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Efficient and interactive bleeding detection in surgical system
EP4186422A1 (en) * 2012-07-25 2023-05-31 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP7444932B2 (en) 2012-07-25 2024-03-06 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Systems and programs for bleeding detection systems
JP2022172134A (en) * 2012-07-25 2022-11-15 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Surgical system and method with bleeding detection unit
KR20150037982A (en) * 2012-07-25 2015-04-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Efficient and interactive bleeding detection in a surgical system
WO2015020093A1 (en) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 Surgical image-observing apparatus
JP2016007444A (en) * 2014-06-25 2016-01-18 オリンパス株式会社 Image recording device
JPWO2016190022A1 (en) * 2015-05-27 2017-06-08 オリンパス株式会社 Image recording device
WO2016190022A1 (en) * 2015-05-27 2016-12-01 オリンパス株式会社 Image recording device
CN107613841A (en) * 2015-05-27 2018-01-19 奥林巴斯株式会社 Image recording structure
JP2017012666A (en) * 2015-07-06 2017-01-19 オリンパス株式会社 Endoscopic examination data recording system
JP2017093996A (en) * 2015-11-27 2017-06-01 オリンパス株式会社 Endoscope system and display method thereof
US11056149B2 (en) 2016-09-28 2021-07-06 Fujifilm Corporation Medical image storage and reproduction apparatus, method, and program
DE102017122263A1 (en) 2016-09-28 2018-03-29 Fujifilm Corporation Apparatus, method and program for storing and displaying medical images
JP7037410B2 (en) 2018-03-28 2022-03-16 日本光電工業株式会社 Intubation system
US11612312B2 (en) 2018-03-28 2023-03-28 Nihon Kohden Corporation Intubation system
JP2019170667A (en) * 2018-03-28 2019-10-10 日本光電工業株式会社 Intubation system
US11343464B2 (en) 2018-04-06 2022-05-24 Medi Plus Inc. Medical video processing system
CN111937071B (en) * 2018-04-06 2021-11-26 株式会社创佳医疗 Medical motion image processing system
CN111937071A (en) * 2018-04-06 2020-11-13 株式会社创佳医疗 Medical motion image processing system
JP2019185835A (en) * 2018-04-06 2019-10-24 株式会社Medi Plus Medical video processing system
WO2019193935A1 (en) * 2018-04-06 2019-10-10 株式会社Medi Plus Medical moving image processing system
JP6360271B1 (en) * 2018-04-06 2018-07-18 株式会社Medi Plus Medical video processing system
WO2019202827A1 (en) * 2018-04-17 2019-10-24 ソニー株式会社 Image processing system, image processing device, image processing method, and program
JP2021099789A (en) * 2019-11-08 2021-07-01 ソニーグループ株式会社 Evaluation of surgical operation scene based on computer vision
US11625834B2 (en) 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision
JP7442300B2 (en) 2019-11-21 2024-03-04 慶應義塾 Playback control device and playback control program
JP2022083768A (en) * 2020-11-25 2022-06-06 財團法人金属工業研究発展中心 Surgical instrument inspection system and surgical instrument inspection method

Similar Documents

Publication Publication Date Title
JP2011036372A (en) Medical image recording apparatus
JP2011036370A (en) Medical image recording apparatus
EP2682050B1 (en) Medical information recording apparatus
JP2011036371A (en) Medical image recording apparatus
US10426322B2 (en) Image recording apparatus
US20160323514A1 (en) Medical video recording and reproducing system and medical video recording and reproducing device
US20180092509A1 (en) Image recording device
JP2011167301A (en) Surgery video image accumulating device, surgery video image accumulating method, and program
US20170303770A1 (en) Endoscope apparatus, and method and program for operating endoscope apparatus
JP7143846B2 (en) Information processing device, information processing method and information processing program
US20170303767A1 (en) Endoscope for storing images
JP2006055522A (en) Image display device, image display method and image display program
WO2018142664A1 (en) Endoscopic image observation assistance system
JP6625412B2 (en) Endoscope system and display method thereof
JP4964572B2 (en) Movie recording / playback device
JP7143421B2 (en) Image recording/reproducing device, endoscope system, and method of operating image recording/reproducing device
WO2018230074A1 (en) System for assisting observation of endoscope image
JPWO2018043585A1 (en) Endoscope apparatus, recording / reproducing method of endoscope apparatus, information processing apparatus, and program
JPWO2018142664A1 (en) Endoscopic image observation support system
JP2006043209A (en) Moving image recording apparatus for surgical operation
WO2022195725A1 (en) Information processing device and image display method
WO2019097804A1 (en) Image recording device and image recording method
JP2007133513A (en) Operation information analysis system
JP6912925B2 (en) Image recording / playback device and endoscopic system
JP2017131499A (en) Endoscope apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131203