JP2017047009A

JP2017047009A - Medical image display apparatus

Info

Publication number: JP2017047009A
Application number: JP2015173856A
Authority: JP
Inventors: 鈴木　秀行; Hideyuki Suzuki; 秀行鈴木; 博文野中; Hirobumi Nonaka; 成章小池; Shigeaki Koike; 浩義千代; Hiroyoshi Sendai; 誠砂岡; Makoto Sunaoka; 忍小林; Shinobu Kobayashi
Original assignee: Toshiba Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2015-09-03
Filing date: 2015-09-03
Publication date: 2017-03-09
Anticipated expiration: 2035-09-03
Also published as: JP6800567B2

Abstract

PROBLEM TO BE SOLVED: To provide a medical image display apparatus that makes it possible to easily recognize positional relation between a position of an endoscope photographing an image and that of a target organ.SOLUTION: The medical image display apparatus of an embodiment includes an endoscope information acquisition unit, arrangement image creation unit, and display control unit. The endoscope information acquisition unit acquires positional information and angle information on a tip of an endoscope at each predetermined time. The arrangement image creation unit, on the basis of the positional information and angle information on the tip of the endoscope at each predetermined time, creates a tip marker arrangement image obtained by sequentially arranging a plurality of tip markers, each of which shows a position and angle of the tip of the endoscope at each predetermined time. The display control unit causes a display unit to display the tip marker arrangement image.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、医用画像表示装置に関する。 Embodiments described herein relate generally to a medical image display apparatus.

大腸、小腸、胃、食道等の管状又は袋状の臓器に対する内視鏡検査が行われている。内視鏡検査では、検査対象となっている臓器（対象臓器）内の複数の異なった位置で様々な角度で画像を撮影する。内視鏡で撮影された画像（内視鏡画像）は、読影医によって読影される。読影医は、読影の所見を表す内視鏡レポートを作成する。 Endoscopic examination is performed on tubular or pouch-like organs such as the large intestine, small intestine, stomach, and esophagus. In endoscopy, images are taken at various angles at a plurality of different positions in an organ (target organ) to be examined. An image (endoscopic image) taken by the endoscope is interpreted by an interpreting doctor. The interpreting physician creates an endoscopic report representing the findings of interpretation.

内視鏡レポートを作成する際には、対象臓器のシェーマ図（身体部位の模式図）の周囲に内視鏡画像を配置させると、各内視鏡画像が対象臓器のどの位置で撮影されたものであるのかを容易に把握することができる。 When creating an endoscopic report, placing an endoscopic image around the schematic diagram of the target organ (schematic diagram of the body part), each endoscopic image was taken at which position of the target organ It is possible to easily grasp whether it is a thing.

しかしながら、内視鏡は、人体内の極限られた狭い範囲を複数撮影するので、その撮影された画像同士は、例え異なった部位を撮影したものであっても、類似性が高く、各内視鏡画像とシェーマ図との対応付けは容易ではない。このため、画像が撮影された位置が対象臓器のどの位置であるのか(或いは内視鏡が対象臓器のどの位置でどこを撮影したのか)を特定するのに時間と労力を掛けなければならず、内視鏡レポートの作成にも多大な労力や時間を費やさなければならない場合があった。 However, since the endoscope captures a plurality of limited narrow areas in the human body, even if the captured images are images of different parts, they are highly similar and each endoscope It is not easy to associate a mirror image with a schema diagram. For this reason, time and effort must be taken to specify which position in the target organ the position where the image was taken (or where in the target organ the endoscope was taken) In some cases, a great deal of labor and time must be spent on creating an endoscope report.

特開２００７−３１９４７８号公報JP 2007-319478 A

本発明が解決しようとする課題は、画像を撮影した内視鏡の位置と対象臓器との位置関係を容易に把握することができる医用画像表示装置を提供することである。 The problem to be solved by the present invention is to provide a medical image display device that can easily grasp the positional relationship between the position of an endoscope that has captured an image and a target organ.

実施形態に係る医用画像表示装置は、内視鏡情報取得部と、配列画像生成部と、表示制御部とを有する。内視鏡情報取得部は、所定時間ごとの内視鏡の先端の位置情報及び角度情報を取得する。配列画像生成部は、所定時間ごとの内視鏡の先端の位置情報及び角度情報に基づいて、所定時間ごとの内視鏡の先端の位置及び前記角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する。表示制御部は、先端マーカ配列画像を表示部に表示させる。 The medical image display apparatus according to the embodiment includes an endoscope information acquisition unit, an array image generation unit, and a display control unit. The endoscope information acquisition unit acquires position information and angle information of the tip of the endoscope every predetermined time. The array image generation unit arrayed a plurality of tip markers representing the position and angle of the endoscope tip at predetermined time intervals based on the position information and angle information of the endoscope tip at predetermined time intervals. A tip marker array image is generated. The display control unit displays the tip marker array image on the display unit.

実施形態に係る医用画像表示装置の構成を示すブロック図。1 is a block diagram showing a configuration of a medical image display apparatus according to an embodiment. 実施形態に係るセンサが所定時間ごとに出力した位置及び角度を例示した表。The table | surface which illustrated the position and angle which the sensor which concerns on embodiment output every predetermined time. 実施形態に係る先端情報が内視鏡の先端の移動速度を含む例を示す表。The table | surface which shows the example in which the front-end | tip information which concerns on embodiment contains the moving speed of the front-end | tip of an endoscope. 実施形態に係る先端マーカの概略を示す模式図。The schematic diagram which shows the outline of the front-end | tip marker which concerns on embodiment. 実施形態に係る先端マーカ配列画像の概略を示す模式図。The schematic diagram which shows the outline of the front-end | tip marker arrangement | sequence image which concerns on embodiment. 実施形態に係る先端マーカ配列画像の他の例を示す模式図。The schematic diagram which shows the other example of the front-end | tip marker arrangement | sequence image which concerns on embodiment. 実施形態に係る内視鏡画像の選択画面を示す模式図。The schematic diagram which shows the selection screen of the endoscopic image which concerns on embodiment. 実施形態に係る組合せ画像の概略を示す模式図。The schematic diagram which shows the outline of the combination image which concerns on embodiment. 実施形態に係る組合せ画像の他の例を示す模式図。The schematic diagram which shows the other example of the combination image which concerns on embodiment. 実施形態に係る視線マーカの概略を示す模式図。The schematic diagram which shows the outline of the gaze marker which concerns on embodiment. 実施形態に係る医用画像表示装置の動作を示すフローチャート。The flowchart which shows operation | movement of the medical image display apparatus which concerns on embodiment. 変形例に係る医用画像表示装置の構成を示すブロック図。The block diagram which shows the structure of the medical image display apparatus which concerns on a modification. 変形例に係る過去の内視鏡画像及び内視鏡レポートの表示例を示す模式図。The schematic diagram which shows the example of a display of the past endoscope image and endoscope report which concern on a modification. 変形例に係る医用画像表示装置の動作を示すフローチャート。The flowchart which shows operation | movement of the medical image display apparatus which concerns on a modification.

以下、実施形態の医用画像表示装置について図面を参照して説明する。 Hereinafter, a medical image display apparatus according to an embodiment will be described with reference to the drawings.

〈実施形態〉
図１は、実施形態に係る医用画像表示装置１の構成を示すブロック図である。医用画像表示装置１は、ネットワークＮＷを介して、内視鏡装置２及びデータベース３と通信可能に接続される。 <Embodiment>
FIG. 1 is a block diagram illustrating a configuration of a medical image display apparatus 1 according to the embodiment. The medical image display device 1 is communicably connected to the endoscope device 2 and the database 3 via the network NW.

内視鏡装置２は、入力回路２１と内視鏡２２とを有する。内視鏡装置２は、ネットワークＮＷを介して、医用画像表示装置１及びデータベース３と通信可能に接続される。入力回路２１は、トラックボール、スイッチボタン、マウス、キーボード等に一般的に用いられる回路である。入力回路２１は、内視鏡２２に通信可能に接続されている。入力回路２１は、操作者から受け取った入力操作を電気信号へ変換し内視鏡２２へ出力する。 The endoscope apparatus 2 includes an input circuit 21 and an endoscope 22. The endoscope apparatus 2 is communicably connected to the medical image display apparatus 1 and the database 3 via the network NW. The input circuit 21 is a circuit generally used for a trackball, a switch button, a mouse, a keyboard, and the like. The input circuit 21 is communicably connected to the endoscope 22. The input circuit 21 converts the input operation received from the operator into an electrical signal and outputs it to the endoscope 22.

内視鏡２２は、人体に挿入される先端部に対物レンズが設けられている。対物レンズは、撮影領域に向けられる。また、内視鏡２２は、先端部の位置や対物レンズが向いている角度を検出可能なセンサ２２１を備えている。センサ２２１は、前記位置及び角度を所定の時間ごとに出力する。センサ２２１は、例えば磁気センサやジャイロセンサ等である。内視鏡の先端を対象臓器へ挿入する際に、操作者は、入力操作を行い、そのときの内視鏡の位置、角度を基準として指定する。また、この指定に基づいて当該時点を基準時間として設定する。 The endoscope 22 is provided with an objective lens at a distal end portion to be inserted into a human body. The objective lens is directed to the imaging area. The endoscope 22 includes a sensor 221 that can detect the position of the distal end portion and the angle at which the objective lens faces. The sensor 221 outputs the position and angle every predetermined time. The sensor 221 is, for example, a magnetic sensor or a gyro sensor. When inserting the distal end of the endoscope into the target organ, the operator performs an input operation and designates the position and angle of the endoscope at that time as a reference. Further, based on this designation, the time point is set as a reference time.

図２は、センサ２２１が所定時間ごとに出力した位置及び角度を例示した表である。センサ２２１は、前記基準時間から所定の時間ごと（図２の例では、１０秒ごと）に当該時点での内視鏡の位置及び角度を出力する。図２において、「ｘ１，ｙ１，ｚ１」、「ｘ２，ｙ２，ｚ２」及び「ｘ２，ｙ２，ｚ３」は、前記基準とした位置を原点とした３次元座標の値である。また、図２では、角度の例として、「α」、「β」及び「γ」が示されている。これら位置及び角度に係る座標系、角度の方向及び単位は、予め設定される。センサ２２１から出力された所定時間ごとの位置及び角度は、先端情報ログとしてデータベース３で管理される。 FIG. 2 is a table illustrating the positions and angles output by the sensor 221 every predetermined time. The sensor 221 outputs the position and angle of the endoscope at the time point at predetermined time intervals (every 10 seconds in the example of FIG. 2) from the reference time. In FIG. 2, “x1, y1, z1”, “x2, y2, z2” and “x2, y2, z3” are values of three-dimensional coordinates with the reference position as the origin. In FIG. 2, “α”, “β”, and “γ” are shown as examples of angles. The coordinate system relating to these positions and angles, the direction of the angles and the units are preset. The position and angle for each predetermined time output from the sensor 221 are managed in the database 3 as a tip information log.

なお、センサ２２１は、位置、角度の他に、内視鏡の先端の移動速度を検知し、出力してもよい。図３は、センサ２２１が内視鏡の先端の移動速度（移動速度例「１０ｍｍ／ｓ」）を含めて出力した例である。移動速度の単位は、この例に限定されるものではなく、予め設定することができる。前記内視鏡の先端の位置、角度、移動速度の各情報の任意の一つの情報、又は任意の少なくとも２つの情報からなるものを内視鏡の先端情報と称する。 The sensor 221 may detect and output the movement speed of the distal end of the endoscope in addition to the position and the angle. FIG. 3 shows an example of output including the moving speed of the endoscope tip (moving speed example “10 mm / s”) by the sensor 221. The unit of the moving speed is not limited to this example, and can be set in advance. Information consisting of any one piece of information on the position, angle, and moving speed of the tip of the endoscope, or information including at least two pieces of information is referred to as endoscope tip information.

センサ２２１が先端情報を出力しながら内視鏡検査が行われる。内視鏡２２は、センサ２２１を備えている以外は、一般的なものである。内視鏡２２は、操作者による入力操作を受けて内視鏡画像を撮影する。そして、内視鏡２２は、画像を撮影した内視鏡の先端の位置、角度に関するデータ、画像を撮影した時刻（時間）が特定可能な情報（時刻であってもよいし、前記基準時間からの経過時間であってもよい）を撮影した画像のデータに付帯させてデータベース３へ出力する。 Endoscopic examination is performed while the sensor 221 outputs tip information. The endoscope 22 is a general one except that it includes a sensor 221. The endoscope 22 captures an endoscope image in response to an input operation by an operator. Then, the endoscope 22 may be data (time) that can specify the position and angle data of the tip of the endoscope where the image was captured, and the time (time) when the image was captured, from the reference time. Is added to the data of the photographed image and is output to the database 3.

データベース３は、先端情報記憶回路３１と、内視鏡画像記憶回路３２と、内視鏡レポート記憶回路３３とを有する。データベース３は、ネットワークＮＷを介して、医用画像表示装置１及び内視鏡装置２と通信可能に接続される。先端情報記憶回路３１は、センサ２２１から受けた先端情報を記憶する。内視鏡画像記憶回路３２は、内視鏡２２から受けた内視鏡画像を記憶する。内視鏡レポート記憶回路３３は、医用画像表示装置１から受けた内視鏡レポート（後述）を記憶する。 The database 3 includes a tip information storage circuit 31, an endoscope image storage circuit 32, and an endoscope report storage circuit 33. The database 3 is communicably connected to the medical image display device 1 and the endoscope device 2 via the network NW. The tip information storage circuit 31 stores tip information received from the sensor 221. The endoscope image storage circuit 32 stores an endoscope image received from the endoscope 22. The endoscope report storage circuit 33 stores an endoscope report (described later) received from the medical image display device 1.

先端情報記憶回路３１、内視鏡画像記憶回路３２及び内視鏡レポート記憶回路３３の構成には、例えば、一般的なＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）やＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の記憶装置が適用される。例えば、先端情報記憶回路３１、内視鏡画像記憶回路３２及び内視鏡レポート記憶回路３３は、それぞれ個別の記憶装置によって構成される。また、先端情報記憶回路３１、内視鏡画像記憶回路３２及び内視鏡レポート記憶回路３３は、１つの記憶装置に統合されてもよい。 For the configuration of the tip information storage circuit 31, the endoscope image storage circuit 32, and the endoscope report storage circuit 33, for example, a storage device such as a general RAM (Random Access Memory) or an HDD (Hard Disc Drive) is applied. Is done. For example, the tip information storage circuit 31, the endoscope image storage circuit 32, and the endoscope report storage circuit 33 are configured by individual storage devices. The tip information storage circuit 31, the endoscope image storage circuit 32, and the endoscope report storage circuit 33 may be integrated into one storage device.

医用画像表示装置１は、処理回路１１と、記憶回路１２と、入力回路１３と、ディスプレイ１４とを有する。図１の例では、構成要素、内視鏡情報取得部・先端マーカ生成部・配列画像生成部・関連情報生成部・組合せ画像生成部・表示制御部にて行なわれる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２へ記録されている。処理回路１１は、プログラムをメモリから読み出し実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１は、図１の処理回路１１内に示された各機能を有することとなる。 The medical image display device 1 includes a processing circuit 11, a storage circuit 12, an input circuit 13, and a display 14. In the example of FIG. 1, each processing function performed in the constituent elements, the endoscope information acquisition unit, the tip marker generation unit, the array image generation unit, the related information generation unit, the combination image generation unit, and the display control unit is performed by a computer. It is recorded in the storage circuit 12 in the form of an executable program. The processing circuit 11 is a processor that realizes a function corresponding to each program by reading the program from the memory and executing it. In other words, the processing circuit 11 in the state where each program is read has the functions shown in the processing circuit 11 of FIG.

なお、図１においては単一の処理回路１１にて内視鏡情報取得部・先端マーカ生成部・配列画像生成部・関連情報生成部・組合せ画像生成部・表示制御部にて行なわれる処理機能が実現されるものとして説明したが、複数の分離したプロセッサを組み合わせ、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。 In FIG. 1, processing functions performed by an endoscope information acquisition unit, tip marker generation unit, array image generation unit, related information generation unit, combination image generation unit, and display control unit in a single processing circuit 11. However, the functions may be realized by combining a plurality of separated processors and executing the program by each processor.

本明細書における「プロセッサ」という文言は、例えば、専用又は汎用のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）ａｒｉｔｈｍｅｔｉｃｃｉｒｃｕｉｔ（ｃｉｒｃｕｉｔｒｙ）、或いは、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（ＳｉｍｐｌｅＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣｏｍｐｌｅｘＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサは、メモリに保存された、又はプロセッサの回路内に直接組み込まれたプログラムを読み出し実行することで機能を実現する。プログラムを記憶するメモリは、プロセッサごとに個別に設けられるものであっても構わないし、或いは図１における記憶回路１２が各プロセッサの機能に対応するプログラムを記憶するものであっても構わない。記憶回路１２の構成には、例えば、一般的なＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）やＨＤＤ（ＨａｒｄＤｉｓｃＤｒｉｖｅ）等の記憶装置が適用される。 In this specification, the term “processor” refers to, for example, a dedicated or general-purpose CPU (Central Processing Unit), an artificial circuit (Circuitry), or an application specific integrated circuit (AIC), for example. Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA) It refers to the circuit and the like. The processor realizes the function by reading and executing a program stored in the memory or directly incorporated in the circuit of the processor. The memory for storing the program may be provided individually for each processor, or the storage circuit 12 in FIG. 1 may store a program corresponding to the function of each processor. For the configuration of the storage circuit 12, for example, a storage device such as a general RAM (Random Access Memory) or an HDD (Hard Disc Drive) is applied.

なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。 Note that each processor of the present embodiment is not limited to being configured as a single circuit for each processor, but may be configured as a single processor by combining a plurality of independent circuits to realize the function. Good. Furthermore, a plurality of components in FIG. 1 may be integrated into one processor to realize the function.

特許請求の範囲における内視鏡情報取得部は、本実施形態における内視鏡情報取得機能１１１に対応する。特許請求の範囲における画像取得部は、本実施形態における画像取得機能１１２に対応する。特許請求の範囲における配列画像生成部は、配列画像生成機能１１３に対応する。特許請求の範囲における関連処理部は、関連処理機能１１４に対応する。特許請求の範囲における組合せ画像生成部は、組合せ画像生成機能１１５に対応する。特許請求の範囲における表示制御部は、表示制御機能１１６に対応する。 The endoscope information acquisition unit in the claims corresponds to the endoscope information acquisition function 111 in the present embodiment. The image acquisition unit in the claims corresponds to the image acquisition function 112 in the present embodiment. The array image generation unit in the claims corresponds to the array image generation function 113. The related processing unit in the claims corresponds to the related processing function 114. The combination image generation unit in the claims corresponds to the combination image generation function 115. The display control unit in the claims corresponds to the display control function 116.

入力回路１３は、トラックボール、スイッチボタン、マウス、キーボード等に一般的に用いられる回路である。入力回路１３は、処理回路１１に通信可能に接続されている。入力回路１３は、操作者から受け取った入力操作を電気信号へ変換し処理回路１１へ出力する。 The input circuit 13 is a circuit generally used for a trackball, a switch button, a mouse, a keyboard, and the like. The input circuit 13 is communicably connected to the processing circuit 11. The input circuit 13 converts the input operation received from the operator into an electrical signal and outputs it to the processing circuit 11.

処理回路１１は、所定時間ごとの内視鏡２２の先端の位置情報及び角度情報を取得する（内視鏡情報取得機能１１１）。このとき、処理回路１１は、内視鏡で撮影された画像を当該画像が撮影されたときの内視鏡の先端の位置情報とともに取得する（画像取得機能１１２）。なお、処理回路１１は、画像が撮影されたときの内視鏡の先端の角度情報を更に取得してもよい。例えば、操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、所望の内視鏡検査を指定する入力操作を行う。処理回路１１は、指定された内視鏡検査において撮影された複数の内視鏡画像を内視鏡画像記憶回路３２から取得する（読み出す）。また、処理回路１１は、指定された内視鏡検査の先端情報を先端情報記憶回路３１から取得する（読み出す）。 The processing circuit 11 acquires position information and angle information of the distal end of the endoscope 22 every predetermined time (endoscopic information acquisition function 111). At this time, the processing circuit 11 acquires an image captured by the endoscope together with positional information of the tip of the endoscope when the image is captured (image acquisition function 112). Note that the processing circuit 11 may further acquire angle information of the tip of the endoscope when an image is taken. For example, when creating an endoscopic report, the operator performs an input operation for designating a desired endoscopic examination via the input circuit 13. The processing circuit 11 acquires (reads) a plurality of endoscopic images photographed in the designated endoscopic examination from the endoscopic image storage circuit 32. Further, the processing circuit 11 acquires (reads out) the designated endoscopic examination tip information from the tip information storage circuit 31.

そして、処理回路１１は、読み出された先端情報に基づいて、内視鏡２２の先端の位置及び角度を表す先端マーカを生成する。図４は、先端マーカＭＰの概略を示す模式図である。処理回路１１は、先端情報が検知された時間ごとに位置及び角度を参照して先端マーカＭＰを生成する。例えば、処理回路１１は、円柱状又は円筒状の先端マーカＭＰを生成する。図４の例では、内視鏡２２の先端ＥＰの角度が、矢印の方向Ｄ１を示す角度であるとする。例えば、処理回路１１は、先端情報のうち、１つの時間における角度に基づいて、先端マーカの軸が方向Ｄ１に平行となるように先端マーカＭＰを生成する。また、処理回路１１は、当該時間における位置を当該先端マーカＭＰに付帯する。また、先端情報に移動速度が含まれている場合、処理回路１１は、移動速度を先端マーカの厚みＭＴの寸法で表すように先端マーカＭＰを生成してもよい。 Then, the processing circuit 11 generates a tip marker representing the position and angle of the tip of the endoscope 22 based on the read tip information. FIG. 4 is a schematic diagram showing an outline of the tip marker MP. The processing circuit 11 generates the tip marker MP with reference to the position and angle every time when the tip information is detected. For example, the processing circuit 11 generates a columnar or cylindrical tip marker MP. In the example of FIG. 4, it is assumed that the angle of the distal end EP of the endoscope 22 is an angle indicating an arrow direction D1. For example, the processing circuit 11 generates the tip marker MP so that the tip marker axis is parallel to the direction D1 based on the angle at one time in the tip information. Further, the processing circuit 11 attaches the position at the time to the tip marker MP. Further, when the moving speed is included in the tip information, the processing circuit 11 may generate the tip marker MP so that the moving speed is represented by the dimension of the tip marker thickness MT.

なお、ここでは、先端マーカＭＰの形状が円柱状又は円筒状である例について説明したが、これらの形状に限定されるものではない。先端マーカＭＰの形状は、内視鏡２２の先端ＥＰの角度を表す形状であればよく、適宜設計されるものである。例えば、内視鏡移動中の動画から腸の輪切りを表す画像を生成し、その画像を先端マーカＭＰとして並べてもよい。 Although the example in which the shape of the tip marker MP is a columnar shape or a cylindrical shape has been described here, the shape is not limited to these shapes. The shape of the tip marker MP may be a shape that represents the angle of the tip EP of the endoscope 22 and is designed as appropriate. For example, an image representing intestinal slicing may be generated from a moving image during endoscope movement, and the image may be arranged as the tip marker MP.

処理回路１１は、所定時間ごとの内視鏡の先端の位置情報及び角度情報に基づいて、所定時間ごとの内視鏡の先端の位置及び角度を表す先端マーカＭＰを複数連ねて配列させた先端マーカ配列画像を生成する（配列画像生成機能１１３）。このとき、処理回路１１は、先端マーカＭＰに付帯された位置に基づいて先端マーカＭＰを配列することによって、先端マーカ配列画像を生成する。図５は、先端マーカ配列画像ＳＰの概略を示す模式図である。処理回路１１は、生成された先端マーカＭＰに付帯された位置に基づいて、各先端マーカＭＰを配列する。先端マーカＭＰに付帯された位置すなわち先端情報の座標系と先端マーカ配列画像ＳＰにおける座標系との対応関係は、予め設定される。先端マーカ配列画像ＳＰは、内視鏡検査の際に内視鏡２２の先端ＥＰが移動した軌跡を示す画像である。 The processing circuit 11 has a distal end in which a plurality of distal end markers MP representing the position and angle of the distal end of the endoscope at predetermined time intervals are arranged in series based on the positional information and angle information of the distal end of the endoscope at predetermined time intervals. A marker array image is generated (array image generation function 113). At this time, the processing circuit 11 generates the tip marker array image by arranging the tip markers MP based on the positions attached to the tip markers MP. FIG. 5 is a schematic diagram showing an outline of the tip marker array image SP. The processing circuit 11 arranges each tip marker MP based on the position attached to the generated tip marker MP. The correspondence between the position attached to the tip marker MP, that is, the coordinate system of the tip information and the coordinate system in the tip marker array image SP is set in advance. The tip marker array image SP is an image showing a trajectory in which the tip EP of the endoscope 22 has moved during the endoscopy.

図６は、先端マーカ配列画像ＳＰの他の例を示す模式図である。処理回路１１は、対象臓器のシェーマ図ＳＨに重ねて先端マーカＭＰを配列してもよい。シェーマ図ＳＨは、臨床的に代表的なものが対象臓器ごとに予め設定される。また、シェーマ図ＳＨにおける座標系と先端情報の座標系と先端マーカ配列画像ＳＰにおける座標系との対応関係は、予め設定される。図６の例の先端マーカ配列画像ＳＰは、内視鏡検査の際に内視鏡２２の先端ＥＰが移動した軌跡と代表的な形状の対象臓器との位置関係を示す画像である。 FIG. 6 is a schematic diagram illustrating another example of the tip marker array image SP. The processing circuit 11 may arrange the tip markers MP so as to overlap the schema of the target organ SH. As the schema diagram SH, a clinically representative one is preset for each target organ. The correspondence relationship between the coordinate system in the schema SH, the coordinate system of the tip information, and the coordinate system in the tip marker array image SP is set in advance. The tip marker array image SP in the example of FIG. 6 is an image showing the positional relationship between the trajectory of the movement of the tip EP of the endoscope 22 during the endoscopic examination and the target organ having a representative shape.

図７は、内視鏡画像ＥＭの選択画面を示す模式図である。例えば、操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、内視鏡画像ＥＭ群を表示するための入力操作を行う。処理回路１１は、内視鏡画像記憶回路３２から読み出された複数の内視鏡画像ＥＭをディスプレイ１４に表示する。このとき、処理回路１１は、先端マーカ配列画像ＳＰを複数の内視鏡画像ＥＭとともにディスプレイ１４に表示してもよい。 FIG. 7 is a schematic diagram illustrating a selection screen for the endoscopic image EM. For example, the operator performs an input operation for displaying an endoscopic image EM group via the input circuit 13 when creating an endoscopic report. The processing circuit 11 displays a plurality of endoscopic images EM read from the endoscopic image storage circuit 32 on the display 14. At this time, the processing circuit 11 may display the tip marker array image SP on the display 14 together with the plurality of endoscope images EM.

ディスプレイ１４は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の一般的な表示装置によって構成される。ディスプレイ１４は、特許請求の範囲における表示部の一例に相当する。 The display 14 includes a general display device such as an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) display. The display 14 corresponds to an example of a display unit in the claims.

操作者は、表示された複数の内視鏡画像ＥＭを読影しながら、入力回路１３を介して、内視鏡レポートに使用する複数の内視鏡画像ＥＭをキー画像として選択する選択操作を行う。このように選択された内視鏡画像ＥＭは、特許請求の範囲の範囲における所定の複数の内視鏡画像ＥＭの一例に相当する。 The operator performs a selection operation for selecting a plurality of endoscope images EM used for the endoscope report as a key image via the input circuit 13 while interpreting the plurality of displayed endoscope images EM. . The endoscopic image EM selected in this way corresponds to an example of a plurality of predetermined endoscopic images EM within the scope of the claims.

処理回路１１は、画像が撮影された時の内視鏡の先端の位置情報に基づいて、先端マーカ配列画像の周囲に画像を配置した組合せ画像を生成する（組合せ画像生成機能１１５）。このとき、処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された先端情報に基づいて、先端マーカ配列画像ＳＰの周囲に選択された複数の内視鏡画像ＥＭが配置された組合せ画像を生成する。 The processing circuit 11 generates a combined image in which images are arranged around the tip marker array image based on position information of the tip of the endoscope when the image is captured (combination image generation function 115). At this time, the processing circuit 11 arranges the plurality of selected endoscope images EM around the tip marker array image SP based on the tip information attached to the plurality of selected endoscope images EM. A combined image is generated.

図８は、組合せ画像の概略を示す模式図である。例えば、処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された先端情報に表される位置を参照して、選択された複数の内視鏡画像ＥＭのそれぞれが撮影されたときの内視鏡２２の先端ＥＰの位置関係を特定する。処理回路１１は、特定された位置関係に基づいて、選択された複数の内視鏡画像ＥＭを先端マーカ配列画像ＳＰの周囲に配置する。それにより、組合せ画像が生成される。 FIG. 8 is a schematic diagram showing an outline of the combined image. For example, the processing circuit 11 refers to the position represented by the tip information attached to the plurality of selected endoscope images EM, and each of the plurality of selected endoscope images EM is photographed. The positional relationship of the distal end EP of the endoscope 22 is specified. The processing circuit 11 arranges the plurality of selected endoscope images EM around the tip marker array image SP based on the identified positional relationship. Thereby, a combination image is generated.

図９は、組合せ画像の他の例を示す模式図である。処理回路１１は、画像が撮影された時間と所定の時間とに基づいて、画像を撮影したときの内視鏡の先端の位置に対応する先端マーカＭＰを特定し、特定された先端マーカＭＰと画像とを関連付ける（関連処理機能１１４）。このとき、処理回路１１は、選択された複数の内視鏡画像ＥＭのそれぞれが撮影された時の位置及び角度を表す先端マーカＭＰを特定し、特定された先端マーカＭＰと当該内視鏡画像ＥＭとを関連付ける。例えば、処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された位置と先端マーカＭＰに付帯された位置とを照合して、選択された複数の内視鏡画像ＥＭに対応する先端マーカＭＰを特定する。そして、処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとを関連付ける。処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとが関連付けられた関連情報を組合せ画像に付帯する。図９の例では、関連付けられた先端マーカＭＰと内視鏡画像ＥＭとのペアを矢印ＡＲで表している。 FIG. 9 is a schematic diagram illustrating another example of the combination image. The processing circuit 11 specifies the tip marker MP corresponding to the position of the tip of the endoscope when the image is taken based on the time when the image was taken and a predetermined time, and the identified tip marker MP and Associating with an image (association processing function 114). At this time, the processing circuit 11 identifies the tip marker MP indicating the position and angle when each of the selected plurality of endoscopic images EM is photographed, and identifies the identified tip marker MP and the endoscope image. Associate with EM. For example, the processing circuit 11 compares the position attached to the selected plurality of endoscope images EM with the position attached to the tip marker MP, and corresponds to the selected plurality of endoscope images EM. The tip marker MP is specified. Then, the processing circuit 11 associates the identified tip marker MP with the endoscope image EM. The processing circuit 11 attaches related information in which the identified tip marker MP and the endoscopic image EM are associated to the combined image. In the example of FIG. 9, a pair of the associated tip marker MP and the endoscopic image EM is represented by an arrow AR.

処理回路１１は、生成された組合せ画像をディスプレイ１４に表示する（表示制御機能１１６）。このとき、処理回路１１は、関連付けられた先端マーカＭＰと画像とを結び付けてディスプレイ１４に表示する。それにより、操作者は、内視鏡２２の先端ＥＰの軌跡と選択された内視鏡画像ＥＭとの位置関係を容易に視認しながら読影を行うことができる。また、処理回路１１は、先端情報に基づいて、選択された複数の内視鏡画像ＥＭが撮影されたときの内視鏡２２の視線方向を表す視線マーカを組合せ画像に重畳表示してもよい。また、対象臓器のシェーマ図ＳＨを組合せ画像に重畳表示してもよい。 The processing circuit 11 displays the generated combination image on the display 14 (display control function 116). At this time, the processing circuit 11 links the associated tip marker MP and the image and displays them on the display 14. Thereby, the operator can perform interpretation while easily recognizing the positional relationship between the locus of the distal end EP of the endoscope 22 and the selected endoscopic image EM. Further, the processing circuit 11 may superimpose and display a line-of-sight marker representing the line-of-sight direction of the endoscope 22 when the plurality of selected endoscope images EM are captured based on the tip information on the combined image. . In addition, a schematic diagram SH of the target organ may be superimposed on the combined image.

図１０は、視線マーカＭＶの概略を示す模式図である。例えば、処理回路１１は、内視鏡画像ＥＭに関連付けられた先端マーカＭＰの先端情報を参照して、内視鏡画像ＥＭが撮影されたときの内視鏡２２の視線方向（角度）を特定する。例えば、処理回路１１は、特定された視線方向を表す円錐形状の視線マーカＭＶを当該先端マーカＭＰの近傍に表示する。図１０の例では、視線マーカＭＶの頂点から底面へ向かう方向が視線方向であるとする。それにより、操作者は、選択された内視鏡画像ＥＭについて、内視鏡２２の先端ＥＰの視線方向をさらに容易に把握することができる。なお、ここでは、視線マーカＭＶが円錐形状である例について説明したが、この形状に限定されるものではない。視線マーカＭＶは、内視鏡２２の視線方向を表す形状に設定されればよいものである。 FIG. 10 is a schematic diagram showing an outline of the line-of-sight marker MV. For example, the processing circuit 11 specifies the line-of-sight direction (angle) of the endoscope 22 when the endoscope image EM is taken with reference to the tip information of the tip marker MP associated with the endoscope image EM. To do. For example, the processing circuit 11 displays a conical line-of-sight marker MV representing the specified line-of-sight direction in the vicinity of the tip marker MP. In the example of FIG. 10, it is assumed that the direction from the vertex of the line-of-sight marker MV toward the bottom is the line-of-sight direction. Thereby, the operator can grasp | ascertain the line-of-sight direction of the front-end | tip EP of the endoscope 22 still more easily about the selected endoscopic image EM. Here, an example in which the line-of-sight marker MV has a conical shape has been described, but the shape is not limited to this shape. The line-of-sight marker MV may be set to a shape representing the line-of-sight direction of the endoscope 22.

操作者は、組合せ画像を読影しながら内視鏡レポートを作成する。医用画像表示装置１は、作成された内視鏡レポートをデータベース３へ出力する。内視鏡レポート記憶回路３３は、医用画像表示装置１から受けた内視鏡レポートを記憶する。 The operator creates an endoscope report while interpreting the combined image. The medical image display apparatus 1 outputs the created endoscope report to the database 3. The endoscope report storage circuit 33 stores the endoscope report received from the medical image display device 1.

図１１は、実施形態に係る医用画像表示装置１の動作を示すフローチャートである。 FIG. 11 is a flowchart showing the operation of the medical image display apparatus 1 according to the embodiment.

ステップＳ１０１：ステップＳ１０１は、内視鏡情報取得機能１１１及び画像取得機能１１２に対応するステップである。このステップは、処理回路１１がメモリから内視鏡情報取得機能１１１及び画像取得機能１１２に対応する所定のプログラムを読み出し実行することにより、内視鏡情報取得機能１１１及び画像取得機能１１２が実現されるステップである。操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、所望の内視鏡検査を指定する入力操作を行う。処理回路１１は、指定された内視鏡検査において撮影された複数の内視鏡画像を内視鏡画像記憶回路３２から取得する（読み出す）。また、処理回路１１は、指定された内視鏡検査の先端情報を先端情報記憶回路３１から取得する（読み出す）。 Step S101: Step S101 is a step corresponding to the endoscope information acquisition function 111 and the image acquisition function 112. In this step, the endoscope information acquisition function 111 and the image acquisition function 112 are realized by the processing circuit 11 reading and executing a predetermined program corresponding to the endoscope information acquisition function 111 and the image acquisition function 112 from the memory. Step. When creating an endoscopic report, the operator performs an input operation for designating a desired endoscopic examination via the input circuit 13. The processing circuit 11 acquires (reads) a plurality of endoscopic images photographed in the designated endoscopic examination from the endoscopic image storage circuit 32. Further, the processing circuit 11 acquires (reads out) the designated endoscopic examination tip information from the tip information storage circuit 31.

ステップＳ１０２：処理回路１１は、先端情報が検知された時間ごとに位置及び角度を参照して先端マーカＭＰを生成する。例えば、処理回路１１は、先端情報のうち、１つの時間における角度に基づいて、先端マーカの軸が方向Ｄ１に平行となるように先端マーカＭＰを生成する。また、処理回路１１は、当該時間における位置を当該先端マーカＭＰに付帯する。 Step S102: The processing circuit 11 generates the tip marker MP with reference to the position and the angle every time when the tip information is detected. For example, the processing circuit 11 generates the tip marker MP so that the tip marker axis is parallel to the direction D1 based on the angle at one time in the tip information. Further, the processing circuit 11 attaches the position at the time to the tip marker MP.

ステップＳ１０３：ステップＳ１０３は、配列画像生成機能１１３に対応するステップである。このステップは、処理回路１１がメモリから配列画像生成機能１１３に対応する所定のプログラムを読み出し実行することにより、配列画像生成機能１１３が実現されるステップである。処理回路１１は、生成された先端マーカＭＰに付帯された位置に基づいて、各先端マーカＭＰを配列する。それにより、先端マーカ配列画像が生成される。 Step S103: Step S103 is a step corresponding to the array image generation function 113. This step is a step in which the array image generation function 113 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the array image generation function 113 from the memory. The processing circuit 11 arranges each tip marker MP based on the position attached to the generated tip marker MP. Thereby, a tip marker array image is generated.

ステップＳ１０４：操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、内視鏡画像ＥＭ群を表示するための入力操作を行う。処理回路１１は、内視鏡画像記憶回路３２から読み出された複数の内視鏡画像ＥＭをディスプレイ１４に表示する。このとき、処理回路１１は、先端マーカ配列画像ＳＰを複数の内視鏡画像ＥＭとともにディスプレイ１４に表示してもよい。 Step S104: When creating an endoscope report, the operator performs an input operation for displaying the endoscope image EM group via the input circuit 13. The processing circuit 11 displays a plurality of endoscopic images EM read from the endoscopic image storage circuit 32 on the display 14. At this time, the processing circuit 11 may display the tip marker array image SP on the display 14 together with the plurality of endoscope images EM.

ステップＳ１０５：操作者は、表示された複数の内視鏡画像ＥＭを読影しながら、入力回路１３を介して、内視鏡レポートに使用する複数の内視鏡画像ＥＭをキー画像として選択する選択操作を行う。 Step S105: The operator selects a plurality of endoscopic images EM to be used for the endoscopic report as key images via the input circuit 13 while interpreting the displayed endoscopic images EM. Perform the operation.

ステップＳ１０６：ステップＳ１０６は、組合せ画像生成機能１１５に対応するステップである。このステップは、処理回路１１がメモリから組合せ画像生成機能１１５に対応する所定のプログラムを読み出し実行することにより、組合せ画像生成機能１１５が実現されるステップである。処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された先端情報に表される位置を参照して、選択された複数の内視鏡画像ＥＭのそれぞれが撮影されたときの内視鏡２２の先端ＥＰの位置関係を特定する。処理回路１１は、特定された位置関係に基づいて、選択された複数の内視鏡画像ＥＭを先端マーカ配列画像ＳＰの周囲に配置する。それにより、組合せ画像が生成される。 Step S106: Step S106 is a step corresponding to the combination image generation function 115. This step is a step in which the combination image generation function 115 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the combination image generation function 115 from the memory. The processing circuit 11 refers to the position represented by the tip information attached to the plurality of selected endoscope images EM, and each of the plurality of selected endoscope images EM is captured. The positional relationship of the distal end EP of the endoscope 22 is specified. The processing circuit 11 arranges the plurality of selected endoscope images EM around the tip marker array image SP based on the identified positional relationship. Thereby, a combination image is generated.

ステップＳ１０７：ステップＳ１０７は、関連処理機能１１４に対応するステップである。このステップは、処理回路１１がメモリから関連処理機能１１４に対応する所定のプログラムを読み出し実行することにより、関連処理機能１１４が実現されるステップである。処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された位置と先端マーカＭＰに付帯された位置とを照合して、選択された複数の内視鏡画像ＥＭに対応する先端マーカＭＰを特定する。そして、処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとを関連付ける。処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとが関連付けられた関連情報を組合せ画像に付帯する。 Step S107: Step S107 is a step corresponding to the related processing function 114. This step is a step in which the related processing function 114 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the related processing function 114 from the memory. The processing circuit 11 compares the position attached to the selected plurality of endoscope images EM with the position attached to the tip marker MP, and corresponds to the selected tip image of the endoscope image EM. Specify the MP. Then, the processing circuit 11 associates the identified tip marker MP with the endoscope image EM. The processing circuit 11 attaches related information in which the identified tip marker MP and the endoscopic image EM are associated to the combined image.

ステップＳ１０８：ステップＳ１０８は、表示制御機能１１６に対応するステップである。このステップは、処理回路１１がメモリから表示制御機能１１６に対応する所定のプログラムを読み出し実行することにより、表示制御機能１１６が実現されるステップである。処理回路１１は、生成された組合せ画像をディスプレイ１４に表示する。それにより、操作者は、内視鏡２２の先端ＥＰの軌跡と選択された内視鏡画像ＥＭとの位置関係を容易に視認しながら読影を行うことができる。 Step S108: Step S108 is a step corresponding to the display control function 116. This step is a step in which the display control function 116 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the display control function 116 from the memory. The processing circuit 11 displays the generated combined image on the display 14. Thereby, the operator can perform interpretation while easily recognizing the positional relationship between the locus of the distal end EP of the endoscope 22 and the selected endoscopic image EM.

ステップＳ１０９：操作者は、組合せ画像を読影しながら内視鏡レポートを作成する。医用画像表示装置１は、作成された内視鏡レポートをデータベース３へ出力する。 Step S109: The operator creates an endoscope report while interpreting the combination image. The medical image display apparatus 1 outputs the created endoscope report to the database 3.

実施形態の医用画像表示装置は、先端情報に基づいて先端マーカ配列画像を生成し、先端マーカ配列画像の周囲に内視鏡画像を自動的に配置する。読影者が内視鏡レポートの作成に費やす労力が低減され、内視鏡画像が撮影された位置と対象臓器における位置との対応付けに間違いが発生することを防止することができる。 The medical image display apparatus according to the embodiment generates a tip marker array image based on tip information, and automatically places an endoscope image around the tip marker array image. It is possible to reduce the effort that the image interpreter spends in creating the endoscope report, and to prevent an error from occurring in the correspondence between the position where the endoscope image is taken and the position in the target organ.

また、実施形態の医用画像表示装置は、先端マーカと内視鏡画像とを自動的に関連付けて、組合せ画像を表示する。それにより、読影者は、内視鏡画像が撮影された位置と対象臓器との位置関係を容易に把握することができる。 In addition, the medical image display device of the embodiment automatically associates the tip marker with the endoscopic image and displays the combined image. Thereby, the radiogram interpreter can easily grasp the positional relationship between the position where the endoscopic image is taken and the target organ.

〈変形例〉
図１２は、変形例に係る医用画像表示装置１の構成を示すブロック図である。この変形例に係る医用画像表示装置１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置と同じ位置で撮影された過去の内視鏡画像を表示することが可能に構成される。以下、上述した実施形態と異なる内容について主に説明する。上述した実施形態と同様の内容については説明を省略する場合がある。 <Modification>
FIG. 12 is a block diagram showing a configuration of the medical image display apparatus 1 according to the modification. The medical image display apparatus 1 according to this modification is configured to be able to display past endoscopic images taken at the same position as the position of the distal end EP of the endoscope 22 during endoscopic examination. . Hereinafter, content different from the above-described embodiment will be mainly described. Description of the same contents as those in the above-described embodiment may be omitted.

データベース３について説明する。先端情報記憶回路３１は、過去の内視鏡検査における先端情報を予め記憶する。内視鏡画像記憶回路３２は、過去の内視鏡検査における内視鏡画像を予め記憶する。内視鏡レポート記憶回路３３は、過去の内視鏡検査について作成された内視鏡レポートを予め記憶する。 The database 3 will be described. The tip information storage circuit 31 previously stores tip information in past endoscopy. The endoscopic image storage circuit 32 stores in advance an endoscopic image in a past endoscopy. The endoscope report storage circuit 33 stores in advance endoscope reports created for past endoscopy.

内視鏡検査中、センサ２２１は、先端情報を所定の時間間隔で医用画像表示装置１へ出力する。また、内視鏡検査中、内視鏡２２は、撮影された内視鏡画像を医用画像表示装置１へ出力する。 During the endoscopy, the sensor 221 outputs the tip information to the medical image display device 1 at a predetermined time interval. Further, during the endoscopy, the endoscope 22 outputs the captured endoscopic image to the medical image display device 1.

図１２の例では、さらなる構成要素、画像検索部・レポート検索部にて行なわれる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２へ記録されている。処理回路１１は、プログラムをメモリから読み出し実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１は、図１２の処理回路１１内に示された各機能を有することとなる。 In the example of FIG. 12, each processing function performed by further constituent elements and the image search unit / report search unit is recorded in the storage circuit 12 in the form of a program executable by a computer. The processing circuit 11 is a processor that realizes a function corresponding to each program by reading the program from the memory and executing it. In other words, the processing circuit 11 in the state where each program is read has the functions shown in the processing circuit 11 of FIG.

なお、図１２の例においても、単一の処理回路１１にて処理機能が実現されてもよく、複数の分離したプロセッサを組み合わせ、各プロセッサがプログラムを実行することにより機能が実現されてもよい。特許請求の範囲における画像検索部は、本変形例における画像検索機能１１７に対応する。特許請求の範囲におけるレポート検索部、本変形例におけるレポート検索機能１１８に対応する。 Also in the example of FIG. 12, the processing function may be realized by a single processing circuit 11, or the function may be realized by combining a plurality of separated processors and executing the program by each processor. . The image search unit in the claims corresponds to the image search function 117 in the present modification. This corresponds to the report search unit in the claims and the report search function 118 in the present modification.

処理回路１１は、内視鏡検査中の位置情報と過去の内視鏡検査の画像に付帯する位置情報とに基づいて、撮影中の内視鏡の位置で過去に撮影された画像を検索する（画像検索機能１１７）。例えば、処理回路１１は、内視鏡画像記憶回路３２に記憶されている過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索する。処理回路１１は、検索された内視鏡画像をディスプレイ１４に表示する（表示制御機能１１６）。 The processing circuit 11 searches for an image captured in the past at the position of the endoscope being photographed based on the position information during the endoscopy and the position information incidental to the images of the past endoscopy. (Image search function 117). For example, the processing circuit 11 determines the position of the tip information attached to the endoscope image in the past endoscopy stored in the endoscope image storage circuit 32 and the position of the tip information received from the sensor 221. Collate. As a result, the processing circuit 11 searches for endoscope images taken in the past at the position of the distal end EP of the endoscope 22 during the endoscopic examination. The processing circuit 11 displays the searched endoscopic image on the display 14 (display control function 116).

なお、一般的に、過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とには誤差が生じる。処理回路１１が、過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とを同一と判断する許容誤差は、適宜設計される。換言すると、処理回路は、センサ２２１から受けた先端情報の位置に近い位置で過去に撮影された内視鏡画像を検索する。複数の内視鏡画像が検索された場合、処理回路１１は、これら内視鏡画像をリストやサムネイル等でディスプレイ１４に複数表示してもよい。設計された許容誤差に基づいて、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索できなかった場合、過去の内視鏡画像を表示しない。なお、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索できなかった場合、過去の内視鏡画像が検索されなかった旨の文字情報等をディスプレイ１４に表示してもよい。 Generally, an error occurs between the position of the tip information attached to the endoscopic image in the past endoscopy and the position of the tip information received from the sensor 221. The tolerance that the processing circuit 11 determines that the position of the tip information attached to the endoscopic image in the past endoscopy and the position of the tip information received from the sensor 221 are the same is appropriately designed. In other words, the processing circuit searches for an endoscopic image captured in the past at a position close to the position of the tip information received from the sensor 221. When a plurality of endoscopic images are retrieved, the processing circuit 11 may display a plurality of these endoscopic images on the display 14 as a list or thumbnail. Based on the designed tolerance, if the processing circuit 11 cannot retrieve an endoscope image taken in the past at the position of the distal end EP of the endoscope 22 during the endoscopic examination, Mirror image is not displayed. In addition, when the processing circuit 11 cannot retrieve an endoscope image taken in the past at the position of the distal end EP of the endoscope 22 during the endoscopic examination, the past endoscope image is not retrieved. Character information or the like may be displayed on the display 14.

また、処理回路１１が過去の内視鏡画像を検索するための基準位置の一例として、操作者により指定された位置が挙げられる。基準位置の他の例としては、内視鏡の位置調整操作により検出される対象臓器の特徴位置が挙げられる。例えば、対象臓器が大腸である場合、結腸の境界位置等が対象臓器の特徴位置として適用される。 Further, as an example of a reference position for the processing circuit 11 to search for a past endoscopic image, a position designated by the operator can be cited. Another example of the reference position is a characteristic position of the target organ detected by an endoscope position adjustment operation. For example, when the target organ is the large intestine, the border position of the colon or the like is applied as the characteristic position of the target organ.

処理回路１１は、検索された画像に基づいて、該画像が用いられた過去の内視鏡レポートを内視鏡レポート記憶回路３３から検索する（レポート検索機能１１８）。処理回路１１は、検索された内視鏡画像と内視鏡レポート記憶回路３３に記憶された内視鏡レポートに用いられた内視鏡画像とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で撮影された内視鏡画像が用いられた過去の内視鏡レポートを検索する。処理回路１１は、検索された内視鏡レポートをディスプレイ１４に表示する（表示制御機能１１６）。 Based on the searched image, the processing circuit 11 searches the endoscope report storage circuit 33 for a past endoscope report using the image (report search function 118). The processing circuit 11 collates the retrieved endoscopic image with the endoscopic image used for the endoscopic report stored in the endoscopic report storage circuit 33. As a result, the processing circuit 11 retrieves past endoscope reports using the endoscope image taken at the position of the distal end EP of the endoscope 22 during the endoscopic examination. The processing circuit 11 displays the searched endoscope report on the display 14 (display control function 116).

図１３は、過去の内視鏡画像及び内視鏡レポートの表示例を示す模式図である。図１３では、内視鏡検査中に、内視鏡２２の先端ＥＰが先端マーカＭＰの位置に挿入されている例を示す。処理回路１１は、当該位置で過去に撮影された内視鏡画像ＥＭ及びこの内視鏡画像ＥＭが用いられた内視鏡レポートＲＰをディスプレイ１４に表示する。なお、処理回路１１は、当該位置で過去に撮影された内視鏡画像ＥＭが用いられた内視鏡レポートが検索されなかった場合、内視鏡画像ＥＭをディスプレイ１４に表示する。それにより、操作者は、過去の検査における内視鏡画像ＥＭ及び内視鏡レポートＲＰを視認しながら、内視鏡検査を行なうことができる。 FIG. 13 is a schematic diagram illustrating a display example of past endoscope images and endoscope reports. FIG. 13 shows an example in which the distal end EP of the endoscope 22 is inserted at the position of the distal end marker MP during the endoscopic examination. The processing circuit 11 displays on the display 14 an endoscope image EM photographed in the past at the position and an endoscope report RP using the endoscope image EM. Note that the processing circuit 11 displays the endoscopic image EM on the display 14 when an endoscopic report using the endoscopic image EM taken in the past at the position is not searched. Thereby, the operator can perform the endoscopic examination while visually recognizing the endoscopic image EM and the endoscopic report RP in the past examination.

図１４は、変形例に係る医用画像表示装置１の動作を示すフローチャートである。 FIG. 14 is a flowchart showing the operation of the medical image display apparatus 1 according to the modification.

ステップＳ２０１：内視鏡の先端を対象臓器へ挿入する際に、操作者は、入力操作を行い、そのときの内視鏡の位置、角度を基準として指定する。センサ２２１は、操作者による入力操作を受けた時間を基準として、所定の時間ごとに先端情報を検知する。 Step S201: When inserting the distal end of the endoscope into the target organ, the operator performs an input operation and designates the position and angle of the endoscope at that time as a reference. The sensor 221 detects the tip information every predetermined time with reference to the time when the input operation by the operator is received.

ステップＳ２０２：センサ２２１は、操作者による入力操作を受けた時間を基準として、所定の時間ごとに先端情報を検知する。センサ２２１は、先端情報を所定の時間間隔で医用画像表示装置１へ出力する。 Step S202: The sensor 221 detects the tip information every predetermined time with reference to the time when the input operation by the operator is received. The sensor 221 outputs the tip information to the medical image display device 1 at a predetermined time interval.

ステップＳ２０３：ステップＳ２０３は、画像検索機能１１７に対応するステップである。このステップは、処理回路１１が記憶回路１２から画像検索機能１１７に対応する所定のプログラムを読み出し実行することにより、画像検索機能１１７が実現されるステップである。処理回路１１は、内視鏡画像記憶回路３２に記憶されている過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索する。 Step S203: Step S203 is a step corresponding to the image search function 117. This step is a step in which the image search function 117 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the image search function 117 from the storage circuit 12. The processing circuit 11 collates the position of the tip information attached to the endoscopic image in the past endoscopy stored in the endoscope image storage circuit 32 with the position of the tip information received from the sensor 221. . As a result, the processing circuit 11 searches for endoscope images taken in the past at the position of the distal end EP of the endoscope 22 during the endoscopic examination.

ステップＳ２０４：ステップＳ２０４は、レポート検索機能１１８に対応するステップである。このステップは、処理回路１１が記憶回路１２からレポート検索機能１１８に対応する所定のプログラムを読み出し実行することにより、レポート検索機能１１８が実現されるステップである。過去に撮影された内視鏡画像が検索されたとき（ステップＳ２０３；ＹＥＳ）、処理回路１１は、検索された内視鏡画像と内視鏡レポート記憶回路３３に記憶された内視鏡レポートに用いられた内視鏡画像とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で撮影された内視鏡画像が用いられた過去の内視鏡レポートを検索する。 Step S204: Step S204 is a step corresponding to the report search function 118. This step is a step in which the report search function 118 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the report search function 118 from the storage circuit 12. When an endoscopic image photographed in the past is retrieved (step S203; YES), the processing circuit 11 uses the retrieved endoscopic image and the endoscopic report stored in the endoscopic report storage circuit 33. It collates with the used endoscopic image. As a result, the processing circuit 11 retrieves past endoscope reports using the endoscope image taken at the position of the distal end EP of the endoscope 22 during the endoscopic examination.

ステップＳ２０５：ステップＳ２０５は、表示制御機能１１６に対応するステップである。このステップは、処理回路１１が記憶回路１２から表示制御機能１１６に対応する所定のプログラムを読み出し実行することにより、表示制御機能１１６が実現されるステップである。検索された内視鏡画像が用いられた内視鏡レポートが検索されたとき（ステップＳ２０４；ＹＥＳ）、処理回路１１は、過去に撮影された内視鏡画像ＥＭ及びこの内視鏡画像ＥＭが用いられた内視鏡レポートＲＰをディスプレイ１４に表示する。 Step S205: Step S205 is a step corresponding to the display control function 116. This step is a step in which the display control function 116 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the display control function 116 from the storage circuit 12. When an endoscope report using the searched endoscope image is searched (step S204; YES), the processing circuit 11 determines that the endoscope image EM taken in the past and the endoscope image EM are stored. The used endoscope report RP is displayed on the display 14.

ステップＳ２０６：ステップＳ２０６は、表示制御機能１１６に対応するステップである。このステップは、処理回路１１が記憶回路１２から表示制御機能１１６に対応する所定のプログラムを読み出し実行することにより、表示制御機能１１６が実現されるステップである。検索された内視鏡画像が用いられた内視鏡レポートが検索されなかったとき（ステップＳ２０４；ＮＯ）、処理回路１１は、過去に撮影された内視鏡画像ＥＭをディスプレイ１４に表示する。 Step S206: Step S206 is a step corresponding to the display control function 116. This step is a step in which the display control function 116 is realized by the processing circuit 11 reading and executing a predetermined program corresponding to the display control function 116 from the storage circuit 12. When the endoscope report using the searched endoscope image is not searched (step S204; NO), the processing circuit 11 displays the endoscope image EM photographed in the past on the display 14.

変形例の医用画像表示装置は、内視鏡検査中の内視鏡の先端位置と同じ位置で撮影された過去の内視鏡画像を検索し表示する。また、過去の内視鏡画像が用いられた内視鏡レポートを検索し表示する。それにより、操作者は、現在内視鏡で観察している部位に対応している過去の内視鏡画像や現在内視鏡で観察している部位を過去に撮影した内視鏡画像をキー画像とした内視鏡レポートをリアルタイムで視認しながら、内視鏡検査を行なうことができる。 The medical image display apparatus according to the modified example searches for and displays a past endoscopic image captured at the same position as the distal end position of the endoscope under endoscopic examination. In addition, an endoscope report using past endoscope images is retrieved and displayed. As a result, the operator keys the past endoscopic image corresponding to the part currently observed with the endoscope or the endoscopic image obtained by photographing the part currently observed with the endoscope in the past. Endoscopy can be performed while viewing the endoscope report as an image in real time.

以上述べた少なくともひとつの実施形態の医用画像表示装置によれば、内視鏡画像が撮影された位置と対象臓器との位置関係を容易に把握することができる。 According to the medical image display device of at least one embodiment described above, it is possible to easily grasp the positional relationship between the position where the endoscopic image is taken and the target organ.

本発明のいくつかの実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

１医用画像表示装置
２内視鏡装置
３データベース
１１処理回路
１２記憶回路
１３、２１入力回路
１４ディスプレイ
２２内視鏡
３１先端情報記憶回路
３２内視鏡画像記憶回路
３３内視鏡レポート記憶回路
１１１内視鏡情報取得機能
１１２画像取得機能
１１３配列画像生成機能
１１４関連処理機能
１１５組合せ画像生成機能
１１６表示制御機能
１１７画像検索機能
１１８レポート検索機能
２２１センサ DESCRIPTION OF SYMBOLS 1 Medical image display apparatus 2 Endoscope apparatus 3 Database 11 Processing circuit 12 Storage circuit 13, 21 Input circuit 14 Display 22 Endoscope 31 Tip information storage circuit 32 Endoscope image storage circuit 33 Endoscope report storage circuit 111 Intra Endoscopic information acquisition function 112 Image acquisition function 113 Array image generation function 114 Related processing function 115 Combination image generation function 116 Display control function 117 Image search function 118 Report search function 221 Sensor

Claims

An endoscope information acquisition unit for acquiring position information and angle information of the distal end of the endoscope every predetermined time;
A tip marker array image in which a plurality of tip markers representing the tip position and angle of the endoscope for each predetermined time are arranged in series based on the position information and angle information of the endoscope tip for each predetermined time. An array image generation unit to generate,
A display control unit for displaying the tip marker array image on a display unit;
A medical image display apparatus.

An image acquisition unit that acquires an image captured by the endoscope together with position information of a distal end of the endoscope when the image is captured;
A combination image generation unit that generates a combination image in which the image is arranged around the tip marker array image based on positional information of the tip of the endoscope when the image is captured;
The display control unit causes the display unit to display the combination image.
The medical image display apparatus according to claim 1.

Based on the time when the image was taken and the predetermined time, a tip marker corresponding to the position of the tip of the endoscope when the image was taken is identified, and the identified tip marker is associated with the image. A related processing unit,
The display control unit displays the tip marker and the image associated by the related processing unit in association with each other.
The medical image display apparatus according to claim 2.

The endoscope information acquisition unit acquires the moving speed of the tip of the endoscope,
The medical image display apparatus according to claim 1, wherein the tip marker further represents the moving speed.

The image acquisition unit further acquires angle information of the tip of the endoscope when the image is taken,
The display control unit is configured to superimpose and display a line-of-sight marker representing a line-of-sight direction of the endoscope when the image is captured based on the angle information acquired by the image acquisition unit. The medical image display apparatus according to claim 2.

Image search for searching for the image captured in the past at the position of the endoscope being imaged based on the position information during the endoscopy and the position information incidental to the images of the past endoscopy Further comprising
The medical image display device according to claim 2, wherein the display control unit displays the searched image.

Based on the searched image, further includes a report search unit that searches past endoscope reports in which the image was used,
The medical image display apparatus according to claim 6, wherein the display control unit further displays the searched endoscope report.