JP2019041880A

JP2019041880A - Endoscopic image observation support system

Info

Publication number: JP2019041880A
Application number: JP2017166094A
Authority: JP
Inventors: 功舘下; Isao Tateshita; 良一細谷; Ryoichi Hosoya
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2019-03-22

Abstract

To provide a technology to efficiently perform image observation by an image-reading person.SOLUTION: A reproduction control part 44 controls a reproduction display of an endoscopic image. An operation reception part 42 receives a mouse operation. An association holding part 66 associates and holds a predetermined movement of a mouse and a user interface to be displayed. When the operation reception part 42 receives a mouse operation for the predetermined movement, a display processing part 40 displays a user interface associated with the predetermined movement in the association holding part 66. When the operation reception part 42 receives a mouse operation for the displayed user interface, the reproduction control part 44 executes the reproduction display according to the displayed user interface.SELECTED DRAWING: Figure 2

Description

本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。 The present invention relates to a system that supports observation of an endoscopic image photographed by a capsule endoscope.

特許文献１は、カプセル内視鏡により撮影された画像の表示操作を、入力部のボタン操作によって行うボタン操作モードを開示する。ボタン操作モードでは、マウスの右クリック操作が再生状態へのモード移行を、マウスの右ダブルクリック操作が早再生状態へのモード移行を、マウスの左クリック操作が逆再生状態へのモード移行を、マウスの左ダブルクリック操作が逆早再生状態へのモード移行が行われる。 Patent Document 1 discloses a button operation mode in which a display operation of an image taken by a capsule endoscope is performed by a button operation of an input unit. In the button operation mode, the right mouse click moves to the playback mode, the right mouse double click moves to the fast playback mode, the left mouse click moves to the reverse playback mode, The mode transition to the reverse fast playback state is performed by the left double click operation of the mouse.

特開２００６−２８８６１１号公報JP 2006-288611 A

カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。 In capsule endoscopy, tens of thousands of images are taken. The image interpreter observes the endoscope image reproduced and displayed and extracts an image including an abnormal finding. However, since the number of images is enormous, the burden on the image interpretation is large. Therefore, it is desired to develop a technique for efficiently performing image observation by an image reader.

本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for efficiently performing image observation by a radiogram interpreter.

上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された複数の内視鏡画像の観察を支援する観察支援システムであって、内視鏡画像の再生表示を制御する再生制御部と、マウス操作を受け付ける操作受付部と、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持する対応保持部と、ユーザインタフェースを表示する表示処理部と、を備える。操作受付部が、所定の動きとなるマウス操作を受け付けると、表示処理部が、対応保持部において所定の動きに対応付けられたユーザインタフェースを表示する。 In order to solve the above problems, an endoscope image observation support system according to an aspect of the present invention is an observation support system that supports observation of a plurality of endoscope images photographed by a capsule endoscope. A reproduction control unit that controls reproduction display of an endoscopic image, an operation reception unit that accepts a mouse operation, a predetermined movement of the mouse, a correspondence holding unit that associates and holds a user interface to be displayed, and a user interface are displayed. A display processing unit. When the operation accepting unit accepts a mouse operation with a predetermined movement, the display processing unit displays a user interface associated with the predetermined movement in the correspondence holding unit.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.

本発明によれば、読影者による画像観察を効率的に実施させるための支援技術を提供できる。 According to the present invention, it is possible to provide a support technology for efficiently performing image observation by an image interpreter.

カプセル内視鏡の画像観察支援システムの概要を説明するための図である。It is a figure for demonstrating the outline | summary of the image observation assistance system of a capsule endoscope. 管理サーバおよび記録装置の構成を示す図である。It is a figure which shows the structure of a management server and a recording device. 内視鏡画像の読影画面の例を示す図である。It is a figure which shows the example of the interpretation screen of an endoscopic image. 再生領域の右横の空き領域に配置されたマウスポインタを示す図である。It is a figure which shows the mouse pointer arrange | positioned at the empty area | region on the right side of a reproduction | regeneration area | region. マウスポインタの移動の例を説明するための図である。It is a figure for demonstrating the example of a movement of a mouse pointer. マウスポインタに関連づけて表示された再生ボタンの例を示す図である。It is a figure which shows the example of the reproduction | regeneration button displayed linked | related with the mouse pointer. マウスポインタの移動の別の例を説明するための図である。It is a figure for demonstrating another example of a movement of a mouse pointer. 表示するユーザインタフェースの別の例を示す図である。It is a figure which shows another example of the user interface to display.

図１は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム１は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。 FIG. 1 is a diagram for explaining an overview of an image observation support system for a capsule endoscope according to an embodiment. The endoscopic image observation support system 1 supports observation of a capsule endoscopic image by a radiogram interpreter. In an examination using a normal endoscope, an image taken by an endoscope inserted by a doctor in the patient's body is observed in real time on a display for diagnosis. This is different from normal endoscopy in that a large number of images taken in the past by an endoscope are collectively observed.

カプセル内視鏡検査において、患者は腹部に複数のアンテナ（図示せず）を貼り付けられ、受信装置４をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡３を口から飲み込む。カプセル内視鏡３は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像ＩＤおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置４に送信する。なおカプセル内視鏡３は、撮影フレームレートの可変機能を有し、たとえば移動速度が大きくなると撮影フレームレートを高くして、撮影を行ってもよい。 In capsule endoscopy, a patient has a plurality of antennas (not shown) affixed to the abdomen, and the capsule endoscope 3 with a built-in micro camera is opened in the state where the receiver 4 is attached to the waist with a belt. Swallow from. The capsule endoscope 3 periodically captures still images while passing through the digestive tract, and transmits an image file in which an image ID and shooting time information are added to the captured image to the receiving device 4 via the antenna. Note that the capsule endoscope 3 has a shooting frame rate variable function. For example, when the moving speed increases, the capsule endoscope 3 may increase the shooting frame rate to perform shooting.

受信装置４には、記録媒体５が内蔵されており、受信装置４は受信した画像ファイルを記録媒体５に記録する。カプセル内視鏡３が０．５秒ごとに体内を撮影する場合、約８時間で体内の撮影を終了すると、約６万枚の内視鏡画像ファイルが記録媒体５に記録される。 The receiving device 4 includes a recording medium 5, and the receiving device 4 records the received image file on the recording medium 5. When the capsule endoscope 3 captures the inside of the body every 0.5 seconds, about 60,000 endoscopic image files are recorded on the recording medium 5 when the in-vivo photographing is completed in about 8 hours.

画像ＩＤは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像ＩＤには「１」が付加され、２番目に撮影された内視鏡画像の画像ＩＤには「２」が付加されてよい。このように画像ＩＤを生成することで、画像ＩＤに含まれるシリアル番号が撮影順を表現するとともに、画像ＩＤの重複を回避できる。なお画像ＩＤおよび撮影時刻情報は、受信装置４が撮影画像を受信したときに、受信装置４により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡３で撮影された画像は、画像ＩＤおよび撮影時刻情報を対応付けられて記録媒体５に記録される。 The image ID is information for identifying an image, and may be information to which a serial number indicating the shooting order is added. For example, “1” may be added to the image ID of the first captured endoscope image, and “2” may be added to the image ID of the second captured endoscope image. By generating the image ID in this way, the serial number included in the image ID represents the shooting order, and duplication of the image ID can be avoided. The image ID and the shooting time information may be added to the shot image by the receiving device 4 when the receiving device 4 receives the shot image. In any case, an image photographed by the capsule endoscope 3 is recorded in the recording medium 5 in association with the image ID and photographing time information.

患者からアンテナと受信装置４が回収されると、受信装置４のデータ端子が、管理サーバ１０に接続したデータ読出装置に接続され、データ読出装置が、記録媒体５に記録された約６万枚の内視鏡画像ファイルを読み出し、管理サーバ１０に送信する。データ読出装置は、管理サーバ１０にＵＳＢケーブルなどで接続される外部装置であってよい。なお記録媒体５は、受信装置４に着脱可能なメモリカードであってもよく、記録媒体５が受信装置４から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体５は、管理サーバ１０に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。 When the antenna and the receiving device 4 are collected from the patient, the data terminal of the receiving device 4 is connected to the data reading device connected to the management server 10, and the data reading device is recorded on the recording medium 5 about 60,000 sheets. Are read out and transmitted to the management server 10. The data reading device may be an external device connected to the management server 10 with a USB cable or the like. Note that the recording medium 5 may be a memory card that can be attached to and detached from the receiving device 4, and the recording medium 5 may be detached from the receiving device 4 and attached to the data reading device to read the endoscope image file. Good. The recording medium 5 may be loaded in a data reading slot provided in the management server 10 and read an endoscope image file.

管理サーバ１０は、記録媒体５から読み出された内視鏡画像に所定の画像処理を施して、記録装置１２に記録する。記録装置１２は、ＨＤＤ（ハードディスクドライブ）で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体５に記録された内視鏡画像は、無圧縮のＲＡＷ（生の）画像であるか、または可逆圧縮のみを施したＲＡＷ画像であるため、データサイズは非常に大きい。そこで管理サーバ１０は、ＲＡＷ画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置１２に記録する。なお実施例では管理サーバ１０が内視鏡ＲＡＷ画像の画像処理を担当するが、他の機器、たとえば端末装置２０が内視鏡ＲＡＷ画像に画像処理を施して、記録装置１２に記録してもよく、記録装置１２は、端末装置２０に設けられてもよい。 The management server 10 performs predetermined image processing on the endoscopic image read from the recording medium 5 and records it in the recording device 12. The recording device 12 may be composed of an HDD (Hard Disk Drive) or a flash memory. Since the endoscopic image recorded on the recording medium 5 is an uncompressed RAW (raw) image or a RAW image subjected to only reversible compression, the data size is very large. Therefore, the management server 10 performs a predetermined irreversible compression process on the endoscopic image that is a RAW image, reduces the data size, and records it in the recording device 12. In the embodiment, the management server 10 is in charge of image processing of the endoscope RAW image. However, even if another device, for example, the terminal device 20 performs image processing on the endoscope RAW image and records it in the recording device 12. The recording device 12 may be provided in the terminal device 20.

複数の端末装置２０はＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって管理サーバ１０に接続される。端末装置２０はたとえば医師や技師（以下、単に「ユーザ」と呼ぶこともある）に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置２２に接続されるが、端末装置２０は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置２０は管理サーバ１０にアクセスして、記録装置１２に記録された内視鏡画像を表示装置２２に表示する。 The plurality of terminal devices 20 are connected to the management server 10 via a network 2 such as a LAN (local area network). The terminal device 20 is, for example, a personal computer assigned to a doctor or an engineer (hereinafter sometimes simply referred to as “user”), and is connected to the display device 22 so that the screen can be output. It may be a laptop computer integrated with the apparatus or a portable tablet. The terminal device 20 accesses the management server 10 and displays the endoscopic image recorded in the recording device 12 on the display device 22.

管理サーバ１０は、内視鏡ＲＡＷ画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡ＲＡＷ画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。 The management server 10 has a function of executing an analysis application and analyzing an endoscope image when compressing an endoscope RAW image. Image analysis by the analysis application is performed on all the endoscope RAW images taken in one capsule endoscopy, and the result of the image analysis is added as additional information to the compressed endoscope image. .

カプセル内視鏡検査の目的の一つは、消化管における出血源を探すことにある。管理サーバ１０は、記録媒体５から内視鏡ＲＡＷ画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡ＲＡＷ画像を特定する。たとえば管理サーバ１０は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡ＲＡＷ画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。 One purpose of capsule endoscopy is to find the source of bleeding in the gastrointestinal tract. When the management server 10 acquires the endoscope RAW image from the recording medium 5, the management server 10 executes an analysis application and performs image processing to identify an endoscope RAW image that may have taken a bleeding state. For example, when the redness of the endoscopic image exceeds a predetermined threshold, the management server 10 determines that the image has a possibility of photographing a bleeding state, and compresses the endoscopic RAW image. Flag information indicating a reddish image is added.

また消化管内におけるカプセル内視鏡３の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡ＲＡＷ画像を比較して、変化が小さい画像（類似画像）を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。 Further, there is a difference in the moving speed of the capsule endoscope 3 in the digestive tract, and the change in the captured endoscopic image is small at a place where the moving speed is slow. Therefore, it is not efficient and a heavy burden for the image interpreter to observe all images including a plurality of images that are substantially unchanged. Therefore, the analysis application compares the endoscope RAW images taken continuously in time, and performs processing for specifying an image (similar image) having a small change. Hereinafter, this processing is referred to as “image summarization processing”.

画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ１０は、基準画像である内視鏡ＲＡＷ画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡ＲＡＷ画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。 In the image summarization process, a reference image is set, and the ratio of the coverage area of the reference image to the determination target image to be determined whether or not it is similar to the reference image is calculated as the coverage. The determination target image is an image taken after the reference image. The analysis application determines the determination target image as a similar image of the reference image when the coverage is equal to or greater than the threshold value. The management server 10 adds flag information indicating the reference image when compressing the endoscope RAW image that is the reference image, and compresses the similar image when compressing the endoscope RAW image that is the similar image. Flag information indicating that is added.

管理サーバ１０ないしは端末装置２０において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。 The reproduction application executed in the management server 10 or the terminal device 20 has a reproduction mode for shortening the reproduction time of the endoscopic image with reference to the flag information added by the image summarization process. By selecting this playback mode, the observation time can be shortened.

実施例の再生アプリケーションは、４つの再生モードを有して構成される。
（第１再生モード）
第１再生モードは、端末装置２０に接続されたユーザインタフェースの操作を利用した手動再生モードである。第１再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を１枚ずつコマ送り表示させることができる。そのため第１再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向（撮影時刻の古い画像から新しい画像に向かう方向）に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に連続再生表示される。 The playback application of the embodiment is configured to have four playback modes.
(First playback mode)
The first reproduction mode is a manual reproduction mode that uses an operation of a user interface connected to the terminal device 20. In the first playback mode, the user can rotate and display the endoscope image one frame at a time by rotating the mouse wheel. For this reason, the first reproduction mode is used when specifying an image in which a lesion is captured most clearly among a plurality of images in which the lesion is captured. When the user rotates the wheel back, the endoscopic image is continuously played and displayed in the forward direction (the direction from the old image to the new image), and when the user rotates the wheel forward, The mirror image is continuously reproduced and displayed in the reverse direction (the direction from the new image at the photographing time to the old image).

（第２再生モード）
第２再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第２再生モードは、通常の内視鏡画像観察に利用される。 (Second playback mode)
The second playback mode is an automatic playback mode in which endoscopic images are continuously played back in the forward or reverse direction at a set playback speed. The second reproduction mode is used for normal endoscopic image observation.

（第３再生モード）
第３再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第３再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第２再生モードと比べて観察時間の短縮を実現する。 (Third playback mode)
In the third reproduction mode, the reference image identified by the image summarization process is continuously reproduced and displayed in the forward direction or the reverse direction at the set reproduction speed, and the similar image is forward or faster than the set reproduction speed. This is an automatic playback mode for continuous playback display in the reverse direction. In the third reproduction mode, a similar image having a small change with respect to the reference image is reproduced at high speed, thereby realizing a reduction in observation time compared to the second reproduction mode.

（第４再生モード）
第４再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第４再生モードは、類似画像の表示を省略することで、第３再生モードと比べて観察時間の短縮を実現する。なお第４再生モードに対して、裏モードである第４裏再生モードが設定されてよい。第４裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第４裏再生モードは、第４再生モードでの観察後に、観察漏れのないことを確認するために利用される。 (4th playback mode)
The fourth playback mode is an automatic playback mode in which the display of the similar image specified by the image summarization process is omitted, and only the reference image is played back in the forward direction or the backward direction at the set playback speed. In the fourth playback mode, the display of similar images is omitted, and the observation time is shortened compared to the third playback mode. Note that a fourth back playback mode, which is a back mode, may be set for the fourth playback mode. The fourth back reproduction mode is an automatic reproduction mode in which display of the reference image is omitted and only similar images are reproduced and displayed in the forward direction or the reverse direction at a set reproduction speed. The fourth back reproduction mode is used for confirming that there is no observation omission after observation in the fourth reproduction mode.

第１〜第３再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第４再生モード（第４裏再生モード）は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ１０で実行されてもよく、また端末装置２０で実行されてもよい。 The first to third reproduction modes are continuous reproduction modes for sequentially reproducing and displaying time-sequential endoscopic images, and the fourth reproduction mode (fourth back reproduction mode) is a time-continuous endoscope. This is a thinning reproduction mode in which mirror images are thinned and reproduced and displayed. The reproduction application performs an endoscope image reproduction process according to the reproduction mode selected by the user. The playback application may be executed on the management server 10 or may be executed on the terminal device 20.

端末装置２０には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置２０は、管理サーバ１０と協働して、読影者による読影作業を支援する機能をもつ。端末装置２０は、表示装置２２に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。 A user interface such as a keyboard and a mouse is connected to the terminal device 20. The terminal device 20 has a function of supporting interpretation work by a radiogram interpreter in cooperation with the management server 10. The terminal device 20 displays an endoscopic image interpretation screen on the display device 22, and the user observes the endoscopic image reproduced and displayed on the interpretation screen, and captures an endoscopic image obtained by photographing a lesion or the like. .

図２は、管理サーバ１０および記録装置１２の構成を示す。管理サーバ１０は、ＲＡＷ画像取得部３０、画像処理部３２、表示処理部４０、操作受付部４２および再生制御部４４を備える。画像処理部３２は、赤み判定部３４、画像要約処理部３６および圧縮処理部３８を有する。管理サーバ１０の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ１０が各種アプリケーションを実行するが、端末装置２０が各種アプリケーションを実行してもよい。 FIG. 2 shows the configuration of the management server 10 and the recording device 12. The management server 10 includes a RAW image acquisition unit 30, an image processing unit 32, a display processing unit 40, an operation reception unit 42, and a reproduction control unit 44. The image processing unit 32 includes a redness determination unit 34, an image summary processing unit 36, and a compression processing unit 38. Each function of the management server 10 may be realized by executing various applications such as an analysis application and a reproduction application. In the embodiment, the management server 10 executes various applications, but the terminal device 20 may execute various applications.

記録装置１２は、内視鏡画像記録部６０、検査情報記録部６２、観察内容記録部６４および対応保持部６６を備える。内視鏡画像記録部６０は、画像処理部３２により画像処理を施された内視鏡画像を記録する。検査情報記録部６２は、内視鏡検査に関する情報を記録する。観察内容記録部６４は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。 The recording device 12 includes an endoscope image recording unit 60, an examination information recording unit 62, an observation content recording unit 64, and a correspondence holding unit 66. The endoscopic image recording unit 60 records the endoscopic image that has been subjected to image processing by the image processing unit 32. The examination information recording unit 62 records information related to the endoscopic examination. The observation content recording unit 64 records the observation content of the endoscopic image, for example, an image captured by the user or input finding information.

管理サーバ１０の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。 The configuration of the management server 10 can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and is realized by a program loaded in the memory in terms of software. Draw functional blocks. Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

ＲＡＷ画像取得部３０は、データ読出装置から送信される約６万枚の内視鏡ＲＡＷ画像を取得し、記録装置１２に一時記憶させる。画像処理部３２は、すべての内視鏡ＲＡＷ画像に対して、以下に示す画像処理を実施する。 The RAW image acquisition unit 30 acquires about 60,000 endoscope RAW images transmitted from the data reading device, and temporarily stores them in the recording device 12. The image processing unit 32 performs the following image processing on all endoscope RAW images.

＜赤み画像の特定＞
赤み判定部３４は、赤みを帯びた内視鏡ＲＡＷ画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部３４は、特定した赤み画像の画像ＩＤを、圧縮処理部３８に提供する。 <Identification of reddish image>
The redness determination unit 34 searches for a reddish endoscope RAW image by image analysis, and identifies an image whose redness is stronger than a predetermined threshold. The redness determination unit 34 provides the image ID of the identified redness image to the compression processing unit 38.

＜画像要約処理＞
画像要約処理部３６は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。まず画像要約処理部３６は、最初に撮影された画像を基準画像として設定する。画像要約処理部３６は、基準画像の次に撮影された判定対象画像が基準画像に類似しているか否かの類似判定を実施する。画像要約処理部３６は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。 <Image summary processing>
The image summarization processing unit 36 performs image summarization processing for classifying all endoscopic images into a reference image and a similar image similar to the reference image. First, the image summary processing unit 36 sets the first photographed image as a reference image. The image summary processing unit 36 performs similarity determination as to whether or not the determination target image taken next to the reference image is similar to the reference image. The image summarization processing unit 36 obtains a covered area that includes a deformed image obtained by deforming the reference image in the determination target image, and calculates the ratio of the covered area in the determination target image as the coverage ratio.

画像要約処理部３６は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。画像要約処理部３６は、類似画像と判定した画像の次に撮影された画像を判定対象画像として、基準画像に類似しているか否かの類似判定を実施する。カプセル内視鏡３の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。 The image summary processing unit 36 determines the determination target image as a similar image of the reference image when the coverage is equal to or greater than the threshold value. The image summary processing unit 36 performs similarity determination as to whether or not the image is similar to the reference image, with an image taken next to the image determined to be a similar image as a determination target image. If the moving speed of the capsule endoscope 3 is slow, tens of images taken after the reference image may be determined as similar images.

一方で、画像要約処理部３６は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する。画像要約処理部３６は、非類似画像と判定した画像を、新たな基準画像として設定し、次に撮影された画像を判定対象画像として、類似判定を実施する。画像要約処理部３６は、この画像要約処理を、約６万枚の全ての画像に対して実施し、基準画像と類似画像とに分類する。 On the other hand, the image summary processing unit 36 determines that the determination target image is a dissimilar image when the coverage is less than the threshold. The image summary processing unit 36 sets an image determined as a dissimilar image as a new reference image, and performs similarity determination using the next captured image as a determination target image. The image summarization processing unit 36 performs this image summarization processing on all about 60,000 images, and classifies the images into reference images and similar images.

基準画像と類似画像の枚数比は、閾値の設定によって調整される。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第４再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約６万枚の内視鏡画像のうち、約２万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部３６は、分類した基準画像の画像ＩＤおよび類似画像の画像ＩＤを、それぞれ圧縮処理部３８に提供する。 The number ratio of the reference image and the similar image is adjusted by setting a threshold value. If the threshold value is increased, the reference image increases, and if the threshold value is decreased, the reference image decreases. In the fourth playback mode, since only the reference image is played back and displayed, setting the threshold value is important for suppressing the oversight of the lesion. However, according to the past results, about 60,000 endoscopic images are displayed. Of these, it has been found that by setting a threshold value for extracting about 20,000 images as a reference image, it is possible to prevent oversight of a lesion image by interpretation of only the reference image. The image summary processing unit 36 provides the image ID of the classified reference image and the image ID of the similar image to the compression processing unit 38, respectively.

＜内視鏡ＲＡＷ画像の圧縮処理＞
赤み判定部３４および画像要約処理部３６による画像解析処理は、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の際に実施される。圧縮処理部３８は、内視鏡ＲＡＷ画像に非可逆の圧縮処理を施して、画像ＩＤおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部６０に記録する。たとえば圧縮処理部３８は、ＪＰＥＧなどの画像フォーマットで内視鏡ＲＡＷ画像を圧縮してよい。 <Endoscope RAW Image Compression Processing>
The image analysis processing by the redness determination unit 34 and the image summary processing unit 36 is performed when the compression processing unit 38 compresses the endoscope RAW image. The compression processing unit 38 performs irreversible compression processing on the endoscope RAW image, generates an image file to which the image ID and shooting time information are added, and records the image file in the endoscope image recording unit 60. For example, the compression processing unit 38 may compress the endoscope RAW image in an image format such as JPEG.

圧縮処理部３８は、圧縮した画像ファイルに、赤み判定部３４および画像要約処理部３６から提供された解析結果を示す情報を付加する。具体的に圧縮処理部３８は、赤み判定部３４から提供される画像ＩＤをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部３８は、画像要約処理部３６による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値１が基準画像を、フラグ値０が類似画像を表現してもよい。 The compression processing unit 38 adds information indicating the analysis result provided from the redness determination unit 34 and the image summary processing unit 36 to the compressed image file. Specifically, the compression processing unit 38 adds information indicating a reddish image to the compressed image having the image ID provided from the redness determination unit 34. This information may be added as flag information. The compression processing unit 38 adds flag information indicating the reference image to the reference image based on the result of the image summarization processing performed by the image summarization processing unit 36, and determines that the similar image is a similar image. The flag information shown is added. Since the reference image or the similar image has a front-back relationship, the flag value 1 may represent the reference image, and the flag value 0 may represent the similar image.

実施例では、赤み判定部３４および画像要約処理部３６が、圧縮処理部３８による内視鏡ＲＡＷ画像の圧縮処理の前に、内視鏡ＲＡＷ画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部３４および画像要約処理部３６が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部６０には、画像処理部３２により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部６０に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。 In the embodiment, the redness determination unit 34 and the image summarization processing unit 36 perform image processing on the endoscope RAW image before the compression processing unit 38 compresses the endoscope RAW image. In a modified example, the redness determination unit 34 and the image summary processing unit 36 may perform image analysis on each compressed image, and information indicating the analysis result may be added to the compressed image. The image file processed by the image processing unit 32 is recorded in the endoscopic image recording unit 60, and the user uses the image file recorded in the endoscopic image recording unit 60 to record the endoscopic image. Make observations.

以下、読影時に表示装置２２に表示される画面について説明する。
ユーザである医師Ｂは、端末装置２０にユーザＩＤおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ１０が検査情報記録部６２に記録された検査情報を端末装置２０に提供し、表示装置２２には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ＩＤ、患者氏名、検査ＩＤ、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者ＩＤが「１１１１」、患者氏名「Ａ」、検査ＩＤが「０００１」の検査が選択されると、表示処理部４０は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置２２に表示させる。 Hereinafter, a screen displayed on the display device 22 at the time of image interpretation will be described.
A doctor B who is a user logs in by inputting a user ID and a password to the terminal device 20. When the user logs in, the management server 10 provides the examination information recorded in the examination information recording unit 62 to the terminal device 20, and the display device 22 displays a list of capsule endoscope examinations. On the examination list screen, examination information such as patient ID, patient name, examination ID, examination date and time is displayed, and the user selects an examination for which an interpretation report is created. When the examination with the patient ID “1111”, the patient name “A”, and the examination ID “0001” is selected from the examination list, the display processing unit 40 displays an interpretation screen for the user to interpret the endoscopic image. Generated and displayed on the display device 22.

図３は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を切り替えて再生表示するための再生領域１００が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン１０２ａが選択された状態で、表示装置２２に表示される。なおオーバービューモード選択ボタン１０２ｂが選択されると、表示処理部４０は、複数の基準画像から抽出した画像を格子状に並べたオーバービュー画面を生成して、表示装置２２に表示させる。 FIG. 3 shows an example of an endoscopic image interpretation screen. In the upper center of the interpretation screen, a playback area 100 for switching and displaying the endoscopic image is provided. The interpretation screen is displayed on the display device 22 with the playback mode selection button 102a in the upper left corner of the screen being selected. When the overview mode selection button 102b is selected, the display processing unit 40 generates an overview screen in which images extracted from a plurality of reference images are arranged in a grid pattern and causes the display device 22 to display the overview screen.

再生枚数切替ボタン１０８は、再生領域１００に表示する画像枚数を切り替えるための操作ボタンである。図３には、１枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン１０８を操作することで、２枚表示または４枚表示を選択できる。 The playback number switching button 108 is an operation button for switching the number of images displayed in the playback area 100. FIG. 3 shows an example in which the single image display is selected, but the user can select the two image display or the four image display by operating the reproduction number switching button 108.

再生モード選択領域１３０には、再生モードを選択するための操作ボタンが配置される。第２再生モード選択ボタン１１０は、第２再生モードを選択するための操作ボタンである。第３再生モード選択ボタン１１２は、第３再生モードを選択するための操作ボタンである。第４再生モード選択ボタン１１４は、基準画像のみを再生表示する第４再生モードを選択するための操作ボタンである。第４裏再生モード選択ボタン１１６は、類似画像のみを再生表示する第４裏再生モードを選択するための操作ボタンである。第４再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第４再生モードを選択して読影した場合には、第４裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。 In the playback mode selection area 130, operation buttons for selecting a playback mode are arranged. The second playback mode selection button 110 is an operation button for selecting the second playback mode. The third playback mode selection button 112 is an operation button for selecting the third playback mode. The fourth reproduction mode selection button 114 is an operation button for selecting a fourth reproduction mode for reproducing and displaying only the reference image. The fourth back reproduction mode selection button 116 is an operation button for selecting a fourth back reproduction mode for reproducing and displaying only similar images. In the fourth reproduction mode, the reproduction display of similar images is omitted. Therefore, when the user selects and interprets the fourth reproduction mode, the image is also interpreted in the fourth back reproduction mode, and all endoscopic images are displayed. It is recommended to observe

ユーザは、第２再生モード選択ボタン１１０、第３再生モード選択ボタン１１２、第４再生モード選択ボタン１１４および第４裏再生モード選択ボタン１１６のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第２再生モード選択ボタン１１０が選択されている。再生領域１００の下方に設けられた再生ボタン表示領域１０４には再生ボタン１０４ａと逆再生ボタン１０４ｂとが表示され、再生ボタン１０４ａが選択されると、再生領域１００において内視鏡画像が順方向（撮影時刻の古い画像から新しい画像に向かう方向）に再生表示され、逆再生ボタン１０４ｂが選択されると、再生領域１００において内視鏡画像が逆方向（撮影時刻の新しい画像から古い画像に向かう方向）に再生表示される。再生速度調節部１０６は、再生速度（１枚の内視鏡画像の表示時間）を調節するためのスライダを備える。再生速度調節部１０６は、スライダの位置により、再生速度、すなわち内視鏡画像の表示フレームレートを設定する。 The user selects one of the second playback mode selection button 110, the third playback mode selection button 112, the fourth playback mode selection button 114, and the fourth back playback mode selection button 116, and sets the playback mode. In the default state, the second playback mode selection button 110 is selected. A playback button 104a and a reverse playback button 104b are displayed in a playback button display area 104 provided below the playback area 100. When the playback button 104a is selected, an endoscopic image is displayed in the forward direction ( When the image is reproduced and displayed in the direction from the old image at the photographing time to the new image and the reverse reproduction button 104b is selected, the endoscopic image is reversed in the reproduction area 100 (the direction from the new image at the photographing time to the old image). ) Is displayed. The playback speed adjustment unit 106 includes a slider for adjusting the playback speed (display time of one endoscopic image). The playback speed adjustment unit 106 sets the playback speed, that is, the display frame rate of the endoscopic image, according to the position of the slider.

再生制御部４４は、再生モード選択領域１３０において選択された再生モード、および再生速度調節部１０６により設定された再生速度（表示フレームレート）にしたがって、再生領域１００に内視鏡画像の再生表示を制御する。ユーザのマウス操作により再生ボタン１０４ａまたは逆再生ボタン１０４ｂが選択されると、再生制御部４４は再生表示を開始するが、選択された再生ボタン１０４ａまたは逆再生ボタン１０４ｂの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生制御部４４は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生制御部４４が、マウスホイールの回転に応じて、第１再生モードで内視鏡画像をコマ送り表示する。 The playback control unit 44 displays the playback display of the endoscopic image in the playback area 100 according to the playback mode selected in the playback mode selection area 130 and the playback speed (display frame rate) set by the playback speed adjustment unit 106. Control. When the playback button 104a or the reverse playback button 104b is selected by the user's mouse operation, the playback control unit 44 starts playback display. However, the location of the selected playback button 104a or reverse playback button 104b is temporarily set instead. A stop button is displayed. When the user operates the pause button during the playback display of the endoscopic image, the playback control unit 44 pauses the playback display of the endoscopic image. When the user operates the mouse wheel in this state, the playback control unit 44 frame-displays the endoscopic image in the first playback mode according to the rotation of the mouse wheel.

ユーザは再生領域１００に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域１２８に表示される。キャプチャ画像表示領域１２８に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、５枚のキャプチャ画像１２８ａ〜１２８ｅが選択されている様子が示される。 When the user moves the mouse pointer over the image displayed in the reproduction area 100 and double-clicks the left button of the mouse, the image is captured and displayed in the captured image display area 128. The captured image displayed in the captured image display area 128 becomes an option for an image to be attached to the interpretation report later. In this example, it is shown that five captured images 128a to 128e are selected.

表示処理部４０は、一端を撮影開始時刻、他端を撮影終了時刻とするマーク表示領域１２０を再生領域１００の下方に表示する。実施例においてマーク表示領域１２０は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ１２２は、再生領域１００に表示されている内視鏡画像の時間的な位置を示す。スライダ１２２により表現される時間位置は、時間表示領域１２４に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域１２０の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域１００に表示される。またユーザがスライダ１２２をドラッグしてマーク表示領域１２０内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域１００に表示される。 The display processing unit 40 displays a mark display area 120 having one end as a shooting start time and the other end as a shooting end time below the reproduction area 100. In the embodiment, the mark display area 120 is displayed as a time bar having the left end as the shooting start time and the right end as the shooting end time, and the slider 122 indicates the temporal position of the endoscopic image displayed in the reproduction area 100. Show. The time position represented by the slider 122 is also displayed in the time display area 124 as relative time information from the shooting start time. When the user places the mouse pointer on an arbitrary position in the mark display area 120 and clicks the left button of the mouse, an endoscopic image at that time position is displayed in the reproduction area 100. Even if the user drags the slider 122 and drops it at an arbitrary position in the mark display area 120, the endoscopic image at that time position is displayed in the reproduction area 100.

赤色画像表示ボタン１２６は、マーク表示領域１２０において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。赤色画像表示ボタン１２６が操作されると、表示処理部４０は、赤み画像の撮影時刻に、赤色マークを表示する。マーク表示領域１２０に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。 The red image display button 126 is a button for displaying a red mark at the shooting time of the reddish image in the mark display area 120. When the red image display button 126 is operated, the display processing unit 40 displays a red mark at the shooting time of the reddish image. By displaying the red mark in the mark display area 120, the user can recognize the presence of an image that is highly likely to have been taken of bleeding.

拡大表示ボタン１１８は、再生領域１００を拡大するためのボタンである。拡大表示ボタン１１８が操作されると、キャプチャ画像表示領域１２８は非表示とされて、その分だけ再生領域１００が拡大される。 The enlargement display button 118 is a button for enlarging the reproduction area 100. When the enlargement display button 118 is operated, the captured image display area 128 is not displayed, and the reproduction area 100 is enlarged accordingly.

ユーザはマウスを用いて、第２〜第４再生モードのいずれかを選択し、再生ボタン１０４ａを操作する。操作受付部４２が、再生ボタン１０４ａのユーザ操作を受け付けると、再生制御部４４が、設定された再生モードで内視鏡画像の再生表示を実行する。 The user uses the mouse to select one of the second to fourth playback modes and operates the playback button 104a. When the operation receiving unit 42 receives a user operation of the playback button 104a, the playback control unit 44 executes playback display of the endoscopic image in the set playback mode.

ユーザは再生領域１００に表示される内視鏡画像を観察するが、その際、順再生、逆再生を切り替えて、病変を鮮明に撮影した画像を探し出す。ユーザは内視鏡画像を順再生、逆再生させるために、マウスポインタを再生ボタン１０４ａ、逆再生ボタン１０４ｂに配置して左クリックするが、再生領域１００に表示された画像を確認してからマウス操作を行うと、そこでタイムラグが発生してしまい、スムーズな読影ができない。一方で、ユーザがマウス操作に集中しすぎると、意識が内視鏡画像から離れることで、見落としの可能性が生じる。そこで実施例では、内視鏡画像の再生表示に関する新たな操作手段を提供する。 The user observes the endoscopic image displayed in the reproduction area 100. At this time, the user switches between forward reproduction and reverse reproduction to search for an image obtained by clearly imaging the lesion. The user places the mouse pointer on the playback button 104a and the reverse playback button 104b and left-clicks in order to play back and forward the endoscopic images in order, but after confirming the images displayed in the playback area 100, the mouse If an operation is performed, there will be a time lag and smooth interpretation will not be possible. On the other hand, when the user concentrates too much on the mouse operation, the consciousness is separated from the endoscopic image, which may cause an oversight. Therefore, in the embodiment, a new operation unit related to reproduction display of an endoscopic image is provided.

図２に戻って、対応保持部６６は、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持する。ここで対応保持部６６は、移動量が所定量以下であって、且つ移動中に速度が所定速度を超えた横方向のマウスの動きに対して、表示するユーザインタフェースとして再生ボタン、逆再生ボタンまたは一時停止ボタンを対応付けて保持している。 Returning to FIG. 2, the correspondence holding unit 66 holds a predetermined movement of the mouse and a user interface to be displayed in association with each other. Here, the correspondence holding unit 66 has a playback button and a reverse playback button as a user interface to display with respect to a horizontal mouse movement in which the movement amount is equal to or less than a predetermined amount and the speed exceeds a predetermined speed during movement. Alternatively, a pause button is associated and held.

図４は、再生領域１００の右横の空き領域に配置されたマウスポインタ２００を示す。なおマウスポインタ２００の位置は、再生領域１００の右横である必要はなく、どこであってもよいが、実施例では図４に示すマウスポインタ２００の位置を、マウス移動を行う前の初期位置とする。 FIG. 4 shows a mouse pointer 200 arranged in an empty area on the right side of the reproduction area 100. The position of the mouse pointer 200 does not have to be on the right side of the reproduction area 100 and may be anywhere. In the embodiment, the position of the mouse pointer 200 shown in FIG. 4 is the initial position before the mouse is moved. To do.

図５は、マウスポインタ２００の移動の例を説明するための図である。点線のマウスポインタは、移動前の初期位置にある状態を表現し、実線のマウスポインタは移動後の状態を表現している。これは、ユーザが右方向にマウスを動かした例である。 FIG. 5 is a diagram for explaining an example of movement of the mouse pointer 200. The dotted mouse pointer represents the state at the initial position before movement, and the solid mouse pointer represents the state after movement. This is an example in which the user moves the mouse in the right direction.

操作受付部４２は、マウス操作を受け付ける。具体的に操作受付部４２は、マウスから周期的に座標値を受け付け、マウスの移動方向、移動速度、移動量を検出する。操作受付部４２は、マウスの移動開始から移動終了までの間の移動方向、移動速度、移動量を検出して、検出値が、対応保持部６６に保持されているマウスの動きに該当するか判定する。 The operation reception unit 42 receives a mouse operation. Specifically, the operation receiving unit 42 periodically receives coordinate values from the mouse, and detects the moving direction, moving speed, and moving amount of the mouse. The operation reception unit 42 detects the movement direction, movement speed, and movement amount from the start of movement of the mouse to the end of movement, and whether the detected value corresponds to the movement of the mouse held in the correspondence holding unit 66. judge.

対応保持部６６は、以下の（ａ１）〜（ｃ１）の要件で定義されるマウスの動きを保持している。
（ａ１）移動方向が右方向であること
（ｂ１）移動開始から移動終了までの移動量が所定量以下であること
（ｃ１）移動中に速度が所定速度を超えたこと
要約すると、（ａ１）〜（ｃ１）の要件を満たすマウス操作は、マウスを右方向に僅かな距離だけ素早く動かして止める操作となる。
ここで対応保持部６６は、（ａ１）〜（ｃ１）で定義されるマウスの動きと、再生ボタンであるユーザインタフェースとを対応付けて保持している。 The correspondence holding unit 66 holds the movement of the mouse defined by the following requirements (a1) to (c1).
(A1) The movement direction is the right direction. (B1) The movement amount from the movement start to the movement end is not more than a predetermined amount. (C1) The speed exceeds the predetermined speed during the movement. In summary, (a1) The mouse operation satisfying the requirements of (c1) is an operation for quickly moving and stopping the mouse by a slight distance in the right direction.
Here, the correspondence holding unit 66 holds the mouse movement defined by (a1) to (c1) and the user interface that is a playback button in association with each other.

図５に示すマウスポインタ２００の移動が、（ａ１）〜（ｃ１）で定義されるマウスの動きにより実現された場合、つまり操作受付部４２が、対応保持部６６に保持されている動きとなるマウス操作を受け付けると、（ａ１）〜（ｃ１）で定義されるマウスの動きを受け付けた旨を表示処理部４０に通知する。表示処理部４０は、対応保持部６６において当該動きに対応付けられたユーザインタフェース、ここでは再生ボタンを、マウスポインタ２００の表示位置に関連づけて表示する。 When the movement of the mouse pointer 200 shown in FIG. 5 is realized by the movement of the mouse defined by (a1) to (c1), that is, the operation reception unit 42 is a movement held by the correspondence holding unit 66. When the mouse operation is accepted, the display processing unit 40 is notified that the mouse movement defined by (a1) to (c1) has been accepted. The display processing unit 40 displays the user interface, here the playback button, associated with the movement in the correspondence holding unit 66 in association with the display position of the mouse pointer 200.

図６は、マウスポインタ２００に関連づけて表示された再生ボタン２０２の例を示す。この例で表示処理部４０は、マウスポインタ２００の下方に再生ボタン２０２を表示している。表示処理部４０は、再生ボタン２０２の表示位置を固定し、所定時間（たとえば３秒）後には非表示としてよい。表示処理部４０がマウスポインタ２００の下方に一時的に再生ボタン２０２を表示することで、ユーザはマウスを左クリックするだけで、再生ボタン２０２を操作できるようになる。これによりユーザは、マウスポインタ２００を再生ボタン１０４ａまで動かすことなく、内視鏡画像の再生を指示できる。 FIG. 6 shows an example of the playback button 202 displayed in association with the mouse pointer 200. In this example, the display processing unit 40 displays a playback button 202 below the mouse pointer 200. The display processing unit 40 may fix the display position of the playback button 202 and hide it after a predetermined time (for example, 3 seconds). Since the display processing unit 40 temporarily displays the playback button 202 below the mouse pointer 200, the user can operate the playback button 202 only by left-clicking the mouse. Accordingly, the user can instruct the reproduction of the endoscopic image without moving the mouse pointer 200 to the reproduction button 104a.

なお表示処理部４０は、内視鏡画像が順方向再生表示されていない状態、つまり一時停止状態または逆方向再生表示状態にある場合に、再生ボタン２０２を表示してもよい。また対応保持部６６は、（ａ１）〜（ｃ１）で定義されるマウスの動きに対して、一時停止ボタンを対応付けて保持し、表示処理部４０は、一時停止ボタンを、マウスポインタ２００の表示位置に関連づけて表示してもよい。 Note that the display processing unit 40 may display the playback button 202 when the endoscopic image is not being played back in the forward direction, that is, in the paused state or the backward playback display state. The correspondence holding unit 66 holds a pause button in association with the mouse movement defined by (a1) to (c1), and the display processing unit 40 holds the pause button on the mouse pointer 200. You may display in relation to a display position.

操作受付部４２が、表示されたユーザインタフェースに対するマウス操作を受け付けると、再生制御部４４は、表示されたユーザインタフェースに応じた再生表示を実行する。この例では操作受付部４２が、表示された再生ボタン２０２に対する左クリック操作を受け付けると、再生制御部４４が、再生ボタン２０２に応じて内視鏡画像の再生表示を実行する。なお操作受付部４２が再生ボタン２０２に対する左クリック操作を受け付けると、表示処理部４０は、再生ボタン２０２を非表示とする。 When the operation receiving unit 42 receives a mouse operation on the displayed user interface, the playback control unit 44 executes playback display according to the displayed user interface. In this example, when the operation accepting unit 42 accepts a left click operation on the displayed reproduction button 202, the reproduction control unit 44 performs reproduction display of the endoscopic image according to the reproduction button 202. When the operation accepting unit 42 accepts a left click operation on the play button 202, the display processing unit 40 hides the play button 202.

図７は、マウスポインタ２００の移動の別の例を説明するための図である。点線のマウスポインタは、移動前の初期位置にある状態を表現し、実線のマウスポインタは移動後の状態を表現している。これは、ユーザが左方向にマウスを動かした例である。 FIG. 7 is a diagram for explaining another example of the movement of the mouse pointer 200. The dotted mouse pointer represents the state at the initial position before movement, and the solid mouse pointer represents the state after movement. This is an example in which the user moves the mouse to the left.

操作受付部４２は、マウスから周期的に座標値を受け付け、マウスの移動方向、移動速度、移動量を検出する。操作受付部４２は、マウスの移動開始から移動終了までの間の移動方向、移動速度、移動量を検出して、検出値が、対応保持部６６に保持されているマウスの動きに該当するか判定する。 The operation receiving unit 42 periodically receives coordinate values from the mouse, and detects the moving direction, moving speed, and moving amount of the mouse. The operation reception unit 42 detects the movement direction, movement speed, and movement amount from the start of movement of the mouse to the end of movement, and whether the detected value corresponds to the movement of the mouse held in the correspondence holding unit 66. judge.

対応保持部６６は、以下の（ａ２）〜（ｃ２）の要件で定義されるマウスの動きを保持している。
（ａ２）移動方向が左方向であること
（ｂ２）移動開始から移動終了までの移動量が所定量以下であること
（ｃ２）移動中に速度が所定速度を超えたこと
要約すると、（ａ２）〜（ｃ２）の要件を満たすマウス操作は、マウスを左方向に僅かな距離だけ素早く動かして止める操作となる。
ここで対応保持部６６は、（ａ２）〜（ｃ２）で定義されるマウスの動きと、逆再生ボタンであるユーザインタフェースとを対応付けて保持している。 The correspondence holding unit 66 holds the movement of the mouse defined by the following requirements (a2) to (c2).
(A2) The movement direction is the left direction. (B2) The movement amount from the movement start to the movement end is not more than a predetermined amount. (C2) The speed exceeds the predetermined speed during the movement. In summary, (a2) The mouse operation that satisfies the requirements of (c2) is an operation in which the mouse is quickly moved and stopped in the left direction by a slight distance.
Here, the correspondence holding unit 66 holds the mouse movement defined in (a2) to (c2) and the user interface that is the reverse playback button in association with each other.

図７に示すマウスポインタ２００の移動が、（ａ２）〜（ｃ２）で定義されるマウスの動きにより実現された場合、つまり操作受付部４２が、対応保持部６６に保持されている動きとなるマウス操作を受け付けると、（ａ２）〜（ｃ２）で定義されるマウスの動きを受け付けた旨を表示処理部４０に通知する。表示処理部４０は、対応保持部６６において当該動きに対応付けられたユーザインタフェース、ここでは逆再生ボタン２０４を、マウスポインタ２００の表示位置に関連づけて表示する。表示処理部４０は、内視鏡画像が逆方向再生表示されていない状態、つまり一時停止状態または順方向再生表示状態にある場合に、逆再生ボタン２０４を表示してもよい。また対応保持部６６は、（ａ２）〜（ｃ２）で定義されるマウスの動きに対して、一時停止ボタンを対応付けて保持し、表示処理部４０は、一時停止ボタンを、マウスポインタ２００の表示位置に関連づけて表示してもよい。 When the movement of the mouse pointer 200 shown in FIG. 7 is realized by the movement of the mouse defined by (a2) to (c2), that is, the operation reception unit 42 is a movement held by the correspondence holding unit 66. When the mouse operation is received, the display processing unit 40 is notified that the mouse movement defined in (a2) to (c2) has been received. The display processing unit 40 displays the user interface, here the reverse playback button 204, associated with the movement in the correspondence holding unit 66 in association with the display position of the mouse pointer 200. The display processing unit 40 may display the reverse playback button 204 when the endoscope image is not displayed in the reverse direction, that is, in the pause state or the forward direction display state. The correspondence holding unit 66 holds a pause button in association with the mouse movement defined in (a2) to (c2), and the display processing unit 40 holds the pause button on the mouse pointer 200. You may display in relation to a display position.

操作受付部４２は、マウスの横方向操作を判定する場合に、水平軸（ｘ軸）に対して±３０度の範囲を、右方向操作として受け付けるようにしてよい。また操作受付部４２は、ユーザごとのマウス操作の傾向を蓄積して、ユーザごとにマウス操作の検出基準を設定してもよい。 The operation accepting unit 42 may accept a range of ± 30 degrees with respect to the horizontal axis (x axis) as the right direction operation when determining the lateral direction operation of the mouse. In addition, the operation reception unit 42 may accumulate a tendency of mouse operation for each user and set a detection criterion for mouse operation for each user.

対応保持部６６は、円となるマウスの動きと、再生ボタンおよび逆再生ボタンを含む複数の操作ボタンとを対応付けて保持してもよい。
図８は、表示するユーザインタフェースの別の例を示す図である。操作受付部４２が、円となる動きのマウス操作を受け付けると、表示処理部４０が、対応保持部６６において円となるマウスの動きに対応付けられたメニューＵＩ２０６を、マウスポインタ２００の位置に関連づけて表示する。ここでメニューＵＩ２０６は、再生ボタン、逆再生ボタン、再生速度調節ボタン、サイズ変更ボタンを含み、ユーザは、マウスを円を描くように動かすことで、マウスポインタ２００の近傍に、複数の操作ボタンを含むメニューＵＩ２０６を一時的に表示させることができる。 The correspondence holding unit 66 may hold the movement of the mouse as a circle and a plurality of operation buttons including a playback button and a reverse playback button in association with each other.
FIG. 8 is a diagram illustrating another example of a user interface to be displayed. When the operation accepting unit 42 accepts a mouse operation of a movement that becomes a circle, the display processing unit 40 associates the menu UI 206 associated with the movement of the mouse that becomes a circle in the correspondence holding unit 66 with the position of the mouse pointer 200. To display. Here, the menu UI 206 includes a playback button, a reverse playback button, a playback speed adjustment button, and a size change button, and the user moves a mouse in a circle to move a plurality of operation buttons near the mouse pointer 200. The included menu UI 206 can be temporarily displayed.

上記した例は、対応保持部６６が、マウスの所定の動きと、表示するユーザインタフェースを対応付けて保持している。別の例として、対応保持部６６は、マウスのボタン操作自体と、再生表示の制御態様を対応付けて保持してもよい。 In the example described above, the correspondence holding unit 66 holds a predetermined movement of the mouse and a user interface to be displayed in association with each other. As another example, the correspondence holding unit 66 may hold the mouse button operation itself and the reproduction display control mode in association with each other.

たとえば対応保持部６６は、マウスの右ボタンの長押し操作に、再生速度を高めて表示する制御態様を対応付けて保持してよい。これによりユーザがマウスの右ボタンを長押しして、操作受付部４２が、右ボタンの長押し操作を受け付けると、再生制御部４４は、再生領域１００における内視鏡画像の再生速度を徐々に上げていくように再生表示を制御する。これにより再生表示に関する操作性を向上できる。 For example, the correspondence holding unit 66 may hold the right-click operation of the right mouse button in association with a control mode for displaying at a higher reproduction speed. Accordingly, when the user presses and holds down the right button of the mouse and the operation receiving unit 42 receives the long-press operation of the right button, the playback control unit 44 gradually increases the playback speed of the endoscopic image in the playback area 100. The playback display is controlled to be raised. As a result, the operability related to reproduction display can be improved.

また、対応保持部６６は、マウスの左ボタンの長押し操作に、再生方向を逆転させる制御態様を対応付けて保持してよい。これによりユーザがマウスの左ボタンを長押しして、操作受付部４２が左ボタンの長押し操作を受け付けると、再生制御部４４が、内視鏡画像の再生方向を逆転させる。たとえば内視鏡画像の順方向再生表示中に、操作受付部４２が左ボタンの長押し操作を受け付けると、再生制御部４４は、内視鏡画像の逆方向再生表示を行ってよい。一方、内視鏡画像の逆方向再生表示中に、操作受付部４２が左ボタンの長押し操作を受け付けると、再生制御部４４は、内視鏡画像の順方向再生表示を行ってよい。このようにユーザは、マウス左ボタンの長押し操作を行うだけで、再生方向を逆転させられるため、効率的な画像観察が実現される。なお長押し操作を解除すると、再生制御部４４は、長押し操作前の再生状態に戻してよい。 Further, the correspondence holding unit 66 may hold the control mode for reversing the reproduction direction in association with the long press operation of the left button of the mouse. Accordingly, when the user presses and holds the left button of the mouse for a long time and the operation receiving unit 42 receives the long button pressing operation, the playback control unit 44 reverses the playback direction of the endoscopic image. For example, when the operation accepting unit 42 accepts a long press operation of the left button during forward reproduction display of the endoscopic image, the reproduction control unit 44 may perform reverse reproduction display of the endoscopic image. On the other hand, when the operation reception unit 42 receives a long-press operation of the left button during the reverse reproduction display of the endoscopic image, the reproduction control unit 44 may perform the forward reproduction display of the endoscopic image. In this way, the user can reverse the playback direction only by long-pressing the left mouse button, so that efficient image observation is realized. When the long press operation is canceled, the playback control unit 44 may return to the playback state before the long press operation.

なお再生制御部４４は、再生方向を逆転させるときに、再生速度を下げてもよい。再生方向を逆転させるときは、ユーザが再生済画像を確認したいことが多いと考えられるため、再生速度を自動的に下げることで、ユーザの効率的な画像観察に寄与する。なお再生制御部４４が再生方向を逆転させるとき、表示処理部４０は、再生方向を逆転していることを示すマークをマウスポインタ２００の近傍に表示することが好ましい。 Note that the playback control unit 44 may reduce the playback speed when reversing the playback direction. When the reproduction direction is reversed, it is considered that the user often wants to confirm the reproduced image. Therefore, automatically reducing the reproduction speed contributes to the efficient image observation of the user. When the playback control unit 44 reverses the playback direction, the display processing unit 40 preferably displays a mark indicating that the playback direction is reversed in the vicinity of the mouse pointer 200.

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例ではマウス操作に関して説明したが、表示装置２２がタッチ操作を入力可能なタッチパネルで構成されている場合には、ユーザが画面をタップすると、表示処理部４０が、再生速度メータを表示するようにしてもよい。再生速度メータが表示された状態で、操作受付部４２が、ユーザのタップ操作を受け付けると、再生制御部４４が、再生速度を上げるように再生表示を制御してよい。 In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and such modifications are also within the scope of the present invention. . In the embodiment, the mouse operation has been described. However, when the display device 22 is configured by a touch panel capable of inputting a touch operation, when the user taps the screen, the display processing unit 40 displays the playback speed meter. It may be. When the operation accepting unit 42 accepts the user's tap operation in a state where the reproduction speed meter is displayed, the reproduction control unit 44 may control the reproduction display so as to increase the reproduction speed.

１・・・内視鏡画像観察支援システム、１０・・・管理サーバ、１２・・・記録装置、２０・・・端末装置、２２・・・表示装置、３０・・・ＲＡＷ画像取得部、３２・・・画像処理部、３４・・・赤み判定部、３６・・・画像要約処理部、３８・・・圧縮処理部、４０・・・表示処理部、４２・・・操作受付部、４４・・・再生制御部、６０・・・内視鏡画像記録部、６２・・・検査情報記録部、６４・・・観察内容記録部、６６・・・対応保持部。 DESCRIPTION OF SYMBOLS 1 ... Endoscopic image observation support system, 10 ... Management server, 12 ... Recording device, 20 ... Terminal device, 22 ... Display device, 30 ... Raw image acquisition part, 32 ... Image processing unit, 34 ... Redness determination unit, 36 ... Image summary processing unit, 38 ... Compression processing unit, 40 ... Display processing unit, 42 ... Operation accepting unit, 44 ..Reproduction control unit, 60... Endoscope image recording unit, 62... Inspection information recording unit, 64 .. observation content recording unit, 66.

Claims

An observation support system that supports observation of a plurality of endoscope images photographed by a capsule endoscope,
A reproduction control unit for controlling reproduction display of an endoscopic image;
An operation reception unit for receiving mouse operations;
A correspondence holding unit for holding a predetermined movement of the mouse and a user interface to be displayed in association with each other;
A display processing unit for displaying a user interface,
When the operation accepting unit accepts a mouse operation having a predetermined movement, the display processing unit displays a user interface associated with the predetermined movement in the correspondence holding unit.
An endoscopic image observation support system characterized by that.

When the operation accepting unit accepts a mouse operation on the displayed user interface, the reproduction control unit executes a reproduction display according to the displayed user interface.
The endoscopic image observation support system according to claim 1.

The correspondence holding unit associates a play button, a reverse play button, or a pause button with a mouse movement in a horizontal direction in which the movement amount is equal to or less than a predetermined amount and the speed exceeds a predetermined speed during movement. Hold
The endoscopic image observation support system according to claim 1 or 2.

The correspondence holding unit holds a plurality of operation buttons including a play button and a reverse play button in association with a mouse movement that becomes a circle,
The endoscopic image observation support system according to any one of claims 1 to 3.

The correspondence holding unit holds a mouse button operation itself and a control mode of reproduction display in association with each other.
The endoscope image observation support system according to any one of claims 1 to 4, wherein

When the operation accepting unit accepts a predetermined mouse operation during forward reproduction display of the endoscopic image, the reproduction control unit performs reverse reproduction display of the endoscopic image.
The endoscopic image observation support system according to claim 5.

The playback control unit lowers the playback speed of the reverse playback display to be lower than the playback speed of the forward playback display.
The endoscopic image observation support system according to claim 6.