JP2018011807A - Image display device, x-image diagnostic apparatus and image display method - Google Patents
Image display device, x-image diagnostic apparatus and image display method Download PDFInfo
- Publication number
- JP2018011807A JP2018011807A JP2016143863A JP2016143863A JP2018011807A JP 2018011807 A JP2018011807 A JP 2018011807A JP 2016143863 A JP2016143863 A JP 2016143863A JP 2016143863 A JP2016143863 A JP 2016143863A JP 2018011807 A JP2018011807 A JP 2018011807A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- reproduction
- display
- ray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000007689 inspection Methods 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000002059 diagnostic imaging Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明は画像表示装置、Ｘ線画像診断装置、及び画像表示方法に係り、詳細には、複数の医用画像を関連付けて表示する画像表示装置、Ｘ線画像診断装置、及び画像表示方法に関する。 The present invention relates to an image display apparatus, an X-ray image diagnostic apparatus, and an image display method, and more particularly to an image display apparatus, an X-ray image diagnostic apparatus, and an image display method that display a plurality of medical images in association with each other.
従来より、内視鏡等の検査装置により被検体の体腔内部を撮像するとともに、別の撮影装置により被検体の断層像を撮像し、これらの画像を関連付けて表示する医療用画像診断装置が提案されている。例えば特許文献１には、内視鏡スコープの先端構成部のジャイロスコープとマーカに基づいてマーカの位置と撮像方向をＭＲＩ装置によって検出し、検出した情報を基にＭＲＩ装置のパルスシーケンスを設定することで、内視鏡画像とＭＲＩ装置により得られた断層像とを関連づける手法について記載されている。
Conventionally, a medical diagnostic imaging apparatus has been proposed in which an imaging device such as an endoscope is used to image the inside of a body cavity of a subject, a tomographic image of the subject is captured using another imaging device, and these images are displayed in association with each other. Has been. For example, in
ところで、被検体にＸ線を照射し動画像であるＸ線透視像を得るＸ線画像診断装置がある。このＸ線画像診断装置により被検体の透視像を撮像しながら、内視鏡等による撮像を同時に行い画面に表示することで、被検体内における内視鏡の位置を確認しながら治療等を行う手法がある。 By the way, there is an X-ray diagnostic imaging apparatus that irradiates a subject with X-rays to obtain an X-ray fluoroscopic image as a moving image. While taking a fluoroscopic image of the subject with this X-ray image diagnostic apparatus, imaging with an endoscope or the like is simultaneously performed and displayed on the screen, thereby performing treatment while confirming the position of the endoscope in the subject. There is a technique.
しかしながら、Ｘ線透視像は、断層像と異なり画像に被検体の断層位置情報等が含まれない。そのため上述の特許文献１の手法を適用できず、Ｘ線透視像と内視鏡像との関連付けが困難であった。
However, unlike the tomographic image, the fluoroscopic image does not include the tomographic position information of the subject. Therefore, the method of the above-mentioned
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、画像内の位置情報が含まれない画像と被検体内を撮像した画像とを関連付けて表示する際の表示位置の変更操作を容易とする画像表示装置、Ｘ線画像診断装置、及び画像表示方法を提供することである。 The present invention has been made in view of the above-described problems, and an object of the present invention is to display an image that does not include position information in an image and an image obtained by imaging the subject in association with each other. To provide an image display device, an X-ray image diagnostic device, and an image display method that facilitate a display position changing operation.
前述した目的を達成するために第１の発明は、被検体の体腔内に挿入されて被検体内を撮像する検査装置を用いて撮影された第１動画像を取得するとともに、前記検査装置の少なくとも一部が撮影範囲に含まれるように撮影された動画像である第２動画像を取得する画像取得部と、前記第１動画像及び第２動画像を同期再生する再生処理部と、前記第２動画像上の位置の指定を受け付ける位置指定部と、前記位置指定部により指定された位置に前記検査装置が到達した状態の前記第２動画像の再生位置を特定するとともに、特定した再生位置に対応する前記第１動画像の再生位置を特定する特定部と、前記特定部により特定された再生位置の画像が表示されるように前記第１動画像及び第２動画像の表示を更新する表示更新部と、を備えることを特徴とする画像表示装置である。 In order to achieve the above-described object, the first invention acquires a first moving image photographed using an inspection device that is inserted into a body cavity of a subject and images the inside of the subject, An image acquisition unit that acquires a second moving image that is a moving image shot so that at least a part thereof is included in the shooting range, a reproduction processing unit that synchronously reproduces the first moving image and the second moving image, and A position designation unit that accepts designation of a position on the second moving image; and a reproduction position of the second moving image in a state in which the inspection apparatus has reached the position designated by the position designation unit and the identified reproduction The display of the first moving image and the second moving image is updated so that the specifying unit for specifying the reproduction position of the first moving image corresponding to the position and the image at the reproduction position specified by the specifying unit are displayed. A display update unit An image display device characterized.
第２の発明は、被検体にＸ線を照射するＸ線源と、前記Ｘ線源と対向配置され前記被検体を透過した透過Ｘ線を検出するＸ線検出器と、前記Ｘ線検出器で検出した透過Ｘ線に基づいて前記被検体のＸ線透視像を生成する画像処理部と、被検体の体腔内に挿入されて被検体内を撮像する検査装置を用いて撮影された第１動画像を取得するとともに、前記画像処理部により生成されたＸ線透視像であって前記検査装置の少なくとも一部が撮影範囲に含まれるように撮影された動画像である第２動画像を取得する画像取得部と、前記第１動画像及び第２動画像を同期再生する再生処理部と、前記第２動画像上の位置の指定を受け付ける位置指定部と、前記位置指定部により指定された位置に前記検査装置が到達した状態の前記第２動画像の再生位置を特定するとともに、特定した再生位置に対応する前記第１動画像の再生位置を特定する特定部と、前記特定部により特定された再生位置の画像が表示されるように前記第１動画像及び第２動画像の表示を更新する表示更新部と、を備えることを特徴とするＸ線画像診断装置である。
According to a second aspect of the present invention, there is provided an X-ray source that irradiates a subject with X-rays, an X-ray detector that is disposed opposite to the X-ray source and detects transmitted X-rays transmitted through the subject, and the X-ray detector First imaged using an image processing unit that generates an X-ray fluoroscopic image of the subject based on the transmitted X-rays detected in
第３の発明は、被検体の体腔内に挿入されて被検体内を撮像する検査装置を用いて撮影された第１動画像を取得するとともに、前記検査装置の少なくとも一部が撮影範囲に含まれるように撮影された動画像である第２動画像を取得するステップと、前記第１動画像及び第２動画像を同期再生するステップと、前記第２動画像上の位置の指定を受け付けるステップと、指定された位置に前記検査装置が到達した状態の前記第２動画像の再生位置を特定するとともに、特定した再生位置に対応する前記第１動画像の再生位置を特定するステップと、特定された再生位置の画像が表示されるように前記第１動画像及び第２動画像の表示を更新するステップと、を含むことを特徴とする画像表示方法である。 According to a third aspect of the present invention, the first moving image is acquired by using an inspection apparatus that is inserted into the body cavity of the subject and images the inside of the subject, and at least a part of the inspection apparatus is included in the imaging range. Acquiring a second moving image that is a moving image shot in such a manner, a step of synchronously reproducing the first moving image and the second moving image, and a step of receiving designation of a position on the second moving image Identifying the reproduction position of the second moving image in a state where the inspection apparatus has reached the designated position, and identifying the reproduction position of the first moving image corresponding to the identified reproduction position; And updating the display of the first moving image and the second moving image so that the image at the reproduced position is displayed.
本発明により、画像内の位置情報が含まれない画像と被検体内を撮像した画像とを関連付けて表示する際の表示位置の変更操作を容易とする画像表示装置、Ｘ線画像診断装置、及び画像表示方法を提供できる。 According to the present invention, an image display device, an X-ray image diagnostic device that facilitates a change operation of a display position when an image that does not include position information in an image and an image obtained by imaging the inside of a subject are displayed in association with each other, and An image display method can be provided.
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
［第１の実施形態］
まず、図１及び図２を参照して本発明の全体構成について説明する。
[First Embodiment]
First, the overall configuration of the present invention will be described with reference to FIGS.
図１に示すように、検査システム１は第１動画像取得装置３、第２動画像取得装置（Ｘ線画像診断装置）１０、及び操作装置（画像表示装置）２０を備えて構成される。
As shown in FIG. 1, the
第１動画像取得装置３は、検査装置３１本体であり、検査装置３１を用いて撮像される被検体４内の画像情報を第１動画像として取得し操作装置２０に出力する。検査装置３１は、被検体４の体腔内に挿入されて使用されるものであり、例えば内視鏡スコープである。内視鏡スコープはレンズ、プリズム、ＣＣＤ（Charge Coupled Device）等を備える。また第１動画像取得装置３は、例えば内視鏡装置本体であり、内視鏡制御部、内視鏡画像処理部、操作部、及び内視鏡記録部等を備える。内視鏡装置本体の内視鏡制御部は内視鏡スコープのＣＣＤにより変換された電気信号を階調変換し、内視鏡画像処理部は内視鏡制御部により階調変換された電気信号をモニタに表示可能な画像信号に変換し、内視鏡記録部に記憶するとともに操作装置（画像表示装置）２０に出力する。
The first moving image acquisition device 3 is the main body of the
第２動画像取得装置１０は、検査装置３１の少なくとも一部が撮影範囲に含まれるように被検体４の動画像を撮影する装置である。第２動画像取得装置１０は、例えば被検体４のＸ線透視像を撮像するＸ線画像診断装置の撮影装置であり、操作装置２０の制御装置２１により制御される。Ｘ線画像診断装置（第２動画像取得装置１０）は、Ｘ線管１１、Ｘ線絞り１３、高電圧発生器１５、Ｘ線検出器１６、Ｘ線画像処理部１７を備える。被検体４は寝台５に載置される。
The second moving image acquisition apparatus 10 is an apparatus that captures a moving image of the subject 4 so that at least a part of the
Ｘ線管１１は、高電圧発生器１５から電力供給を受けて所定の線量のＸ線を発生させるＸ線管球を有する。高電圧発生器１５は、操作装置２０の制御装置２１からの制御信号に基づきＸ線管１１に対して電力を供給する。Ｘ線管１１及び高電圧発生器１５の動作は操作装置２０の制御装置２１により制御される。なお、Ｘ線管１１と高電圧発生器１５とは別体に構成されたものが多いが、一体的に構成されていてもよい。また、Ｘ線管１１とＸ線絞り１３とが一体的に設けられていてもよい。Ｘ線絞り１３はＸ線遮蔽板を有し、制御装置２１に制御されてＸ線遮蔽板を所定の位置まで開閉させて所望の形状のＸ線照射領域を形成する。
The
Ｘ線検出器１６は、例えばシンチレータとフォトダイオードの組み合わせによって構成されるＸ線検出素子を２次元配列したフラットパネルディテクタ（ＦＰＤ）やＩ．Ｉ．（image intensifier）等であり、被検体４を介してＸ線管１１に対向する位置に設けられる。例えば、寝台５の天板の下面にＸ線検出器１６が配置される。Ｘ線検出器１６の各検出素子は、Ｘ線管１１から照射され被検体４を透過したＸ線である透過Ｘ線を検出し、そのＸ線強度に応じた電気信号に変換する。
The
Ｘ線画像処理部１７は、Ｘ線検出器１６から出力された電気信号に対し、ガンマ変換、階調変換、画像の拡大、縮小等の処理を行ってＸ線画像を生成する。Ｘ線画像処理部１７はＸ線検出器１６から順次入力される電気信号に基づいて複数フレームから成るＸ線透視像（動画像）を生成する。Ｘ線画像処理部１７は生成したＸ線透視像を操作装置２０に出力する。
The X-ray
操作装置２０は、Ｘ線画像診断装置（第２動画像取得装置）１０の操作装置であり、操作者による操作入力を受け付け、入力された指示に従って第２動画像取得装置（Ｘ線画像診断装置）１０を制御する。操作装置２０は、制御装置２１、画像処理装置２２、記憶装置２３、入力装置２４、及び表示装置２５を備え、本発明に係る画像表示装置として機能する。
The operation device 20 is an operation device of the X-ray image diagnostic device (second moving image acquisition device) 10, receives an operation input by an operator, and follows the input instruction, the second moving image acquisition device (X-ray image diagnostic device). ) 10 is controlled. The operating device 20 includes a
画像処理装置２２は、第２動画像取得装置（Ｘ線画像診断装置）１０から取得した第２動画像（Ｘ線透視像）を取得し、制御装置２１による制御に従って画像の解析等を行う。
The
記憶装置２３は、取得した第１動画像（内視鏡画像）及び第２動画像（Ｘ線透視像）を記憶する。また、第２動画像取得装置（Ｘ線画像診断装置）１０における透視動作や撮影動作に関するプログラムや各種透視条件、撮影条件、後述する画像表示処理に必要なプログラム及びデータ等を記憶する。
The
制御装置２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。制御装置２１は、入力装置２４から入力された指令に基づきＸ線管１１におけるＸ線照射、Ｘ線画像処理部１７における画像処理、第１動画像及び第２動画像の取得、画像処理装置２２における画像の解析、記憶装置２３への画像の記憶、表示装置２５における表示、Ｘ線絞り１３等の動作を制御する。透視動作中、制御装置２１は、Ｘ線管１１から透視像取得用のＸ線量でＸ線を照射させ、動画像からなる透視像を得る。
The
また制御装置２１は、第１動画像及び第２動画像を取得し、表示装置２５に所定の表示形式で表示する画像表示処理を実行する。画像表示処理の詳細については後述する（図４等参照）。
In addition, the
入力装置２４は、キーボード、マウス、ジョイスティック等の入力装置を備え、操作者からの指令を制御装置２１に入力する。なお、入力装置２４は表示装置２５と一体的に形成されたタッチパネル式の入力装置としてもよい。
The input device 24 includes input devices such as a keyboard, a mouse, and a joystick, and inputs commands from an operator to the
表示装置２５は液晶パネル、ＣＲＴモニタ等のディスプレイ装置である。本発明において、表示装置２５は１つの表示画面内に複数の表示領域を有するか、或いは複数の表示画面を有する。一方の表示画面（表示領域）をメイン画面２５ａ（図５参照）として第２動画像であるＸ線透視像７１を表示し、他方の表示画面（表示領域）をサブ画面２５ｂとして第１動画像である内視鏡画像８１を表示する。なお、例えば図５の例では、メイン画面２５ａとサブ画面２５ｂは異なるサイズとしているがこれに限定されず、同一のサイズとしてもよい。また、メイン画面２５ａとサブ画面２５ｂのレイアウトも任意である。
The
なお、図１の構成図ではＸ線画像診断装置の操作装置２０に本発明の画像表示装置の機能を含む構成としたが、Ｘ線画像診断装置とは別のコンピュータ等を用いて本発明に係る画像表示装置の機能を実現してもよい。 In the configuration diagram of FIG. 1, the operation device 20 of the X-ray image diagnostic apparatus is configured to include the function of the image display apparatus of the present invention. However, the present invention is performed using a computer or the like different from the X-ray image diagnostic apparatus. The function of the image display apparatus may be realized.
次に、図２を参照して本発明に係る画像表示装置２０の機能構成を説明する。以下の説明では、Ｘ線画像診断装置（第２動画像取得装置）１０の操作装置２０の制御装置２１が本発明の画像表示装置２０として機能する場合を例として説明する。
Next, the functional configuration of the image display apparatus 20 according to the present invention will be described with reference to FIG. In the following description, a case where the
図２に示すように、制御装置２１は、記録処理部５１及び再生処理部５２を備える。
記録処理部５１は、第１動画像取得装置３から取得した第１動画像を取得するとともに、第２動画像取得装置１０から第２動画像を取得する。取得した各動画像はそれぞれ記憶装置２３の別のファイルに保存される。図３（ａ）は第１動画像のデータ構成を示す図、図３（ｂ）は第２動画像のデータ構成を示す図である。図３に示すように第１及び第２動画像はそれぞれ複数フレームの画像を有し、各フレームには記録時の時間情報が付加される。第１動画像取得装置３と第２動画像取得装置１０の撮像レート及び撮影開始タイミングは必ずしも一致するものではない。そのため記録処理部５１は、第１動画像取得装置３の撮影開始タイミングと第２動画像取得装置１０の撮影開始タイミングとの関係を記録し、再生時に参照することで同期再生を可能とする。
As shown in FIG. 2, the
The
再生処理部５２は、記憶装置２３から第１動画像及び第２動画像を取得し、各動画像に付加されている時間情報に基づいて同期再生する。再生処理部５２は、例えば、第２動画像をメイン画面２５ａにて再生し、メイン画面２５ａに表示されている第２動画像の記録時に同じタイミングで撮影された第１動画像をサブ画面２５ｂに表示する。
The
また、再生処理部５２は位置指定部５２ａ、特定部５２ｂ、表示更新部５２ｃを備える。
位置指定部５２ａは、メイン画面２５ａに表示されている第２動画像上の任意の位置の指定を受け付ける。位置の指定は、例えば操作者による入力装置２４のマウスのクリック操作や、タッチパネル式の入力装置であればタッチ操作等によって行われる。
The
The
特定部５２ｂは、位置指定部５２ａにより指定された位置に検査装置３１が到達した状態の第２動画像の再生位置を特定するとともに、特定した再生位置に対応する第１動画像の再生位置を特定する。再生位置とは、動画像の各フレームのうち再生されるフレームの先頭フレームである。
The specifying
特定部５２ｂは、再生位置の特定のため、位置指定部５２ａにより指定された位置に所定サイズの関心領域（ＲＯＩ７０）を設定し、設定された関心領域（ＲＯＩ７０）内の画像情報に基づいて当該関心領域（ＲＯＩ７０）内に検査装置３１が含まれる状態の第２動画像の再生位置を特定する。そして特定した再生位置と同じ時刻に撮像された第１動画像を特定する。関心領域（ＲＯＩ７０）のサイズは、予め設定された固定サイズとしてもよいし、操作者により任意に設定されたサイズとしてもよい。また、後述するように関心領域は、被検体４の生体運動に追従して設定されることが望ましい（第３の実施の形態）。また第１動画像の撮像時の拡大率に応じて関心領域のサイズを変更してもよい（第５の実施の形態）。
The specifying
特定部５２ｂは、関心領域（ＲＯＩ７０）内の画素値ヒストグラムを生成し、生成したヒストグラムに基づき関心領域（ＲＯＩ７０）内に検査装置３１が含まれるか否かを判定する。或いは、第２動画像の各フレームに設定された関心領域（ＲＯＩ７０）の画像の差分に基づき関心領域（ＲＯＩ７０）内に検査装置３１が含まれるか否かを判定するものとしてもよい。特定部５２ｂによる再生位置の特定処理については後述する。
The specifying
表示更新部５２ｃは、特定部５２ｂにより特定された再生位置の画像が表示されるように第１及び第２動画像の表示を更新する。
The
位置指定部５２ａ、特定部５２ｂ、及び表示更新部５２ｃを備えることにより、第１動画像及び第２動画像の同期再生中に第２動画像上で操作者が位置を指定すると、指定した位置に検査装置３１が到達した時点で撮影された第１動画像、及び第２動画像がただちに表示装置２５に表示されるよう表示が更新される。
By providing the
次に、図４〜図７を参照して、操作装置２０（画像表示装置）が実行する画像表示処理について説明する。本実施の形態では、第１動画像は内視鏡画像８１とし、第２動画像はＸ線透視像７１として説明する。
Next, image display processing executed by the operation device 20 (image display device) will be described with reference to FIGS. In the present embodiment, the first moving image is described as an
検査システム１の第１動画像取得装置（内視鏡装置本体）３、及び第２動画像取得装置（Ｘ線画像診断装置）１０が起動され（ステップＳ１０１）、各装置（第１動画像取得装置３、第２動画像取得装置１０）で撮影が開始されると（ステップＳ１０２；Ｙｅｓ）、操作装置２０の制御装置２１は第１動画像取得装置（内視鏡装置）３から入力される内視鏡画像、及び第２動画像取得装置（Ｘ線画像診断装置）１０から入力されるＸ線透視像を記憶装置２３にそれぞれ保存する。内視鏡画像及びＸ線透視像の各フレームには、図３に示すように、いずれも録画時の時間情報が付加され、時間情報に基づいて同期再生可能な状態で保存される。
The first moving image acquisition device (endoscope device main body) 3 and the second moving image acquisition device (X-ray image diagnostic device) 10 of the
第１動画像取得装置（内視鏡）３及び第２動画像取得装置（Ｘ線画像診断装置）１０での撮像（録画）が終了し（ステップＳ１０３）、その後、録画データの再生指示が入力されると（ステップＳ１０４；Ｙｅｓ）、制御装置２１は録画データの再生処理を開始する（ステップＳ１０５）。再生処理時において、制御装置２１は記憶装置２３から第１動画像（内視鏡画像）を読み出すとともに、当該第１動画像（内視鏡画像）と同時に撮影された第２動画像（Ｘ線透視像）の録画データを読み出し、表示装置２５の各表示領域に並べて同期再生する。例えば、制御装置２１は図５に示すように、表示装置２５の表示画面にメイン画面２５ａ及びサブ画面２５ｂを形成し、メイン画面２５ａにＸ線透視像７１（第２動画像）を表示し、サブ画面２５ｂに内視鏡画像８１（第１動画像）を表示する。
Imaging (recording) in the first moving image acquisition device (endoscope) 3 and the second moving image acquisition device (X-ray image diagnostic device) 10 is completed (step S103), and then a reproduction instruction for the recorded data is input. Then (step S104; Yes), the
録画データの再生中に、メイン画面２５ａに表示されているＸ線透視像７１上の任意の位置が操作者により指定されると（ステップＳ１０６；Ｙｅｓ）、制御装置２１は指定された座標位置に所定サイズの関心領域（ＲＯＩ７０）を設定する（ステップＳ１０７）。ＲＯＩ７０は動画像（Ｘ線透視像）の各フレームの同じ座標位置に設定される。そして制御装置２１は、各フレームのＲＯＩ７０内の画像を解析し（ステップＳ１０８）、ＲＯＩ７０内に検査装置３１が到達した時のＸ線透視像７１のフレーム番号及び内視鏡画像のフレーム番号を特定する。制御装置２１は特定したフレーム番号を先頭再生位置として当該フレーム以降の動画像を各画面２５ａ、２５ｂに表示する（ステップＳ１０９）。
When an arbitrary position on the X-ray
具体的には、図５（ａ）のＸ線透視像７１で任意の位置が指定されると、その位置にＲＯＩ７０が設定される。その後、図５（ｂ）に示すように、ＲＯＩ７０内に検査装置（内視鏡３１）の先端部が到達した時に撮影されたＸ線透視像がメイン画面２５ａに表示される。サブ画面２５ｂには、メイン画面２５ａのＸ線透視像７２と同じ時点（ＲＯＩ７０内に検査装置（内視鏡３１）の先端部が到達した時）に撮影された時点で撮影された内視鏡画像８２が表示される。
Specifically, when an arbitrary position is designated in the X-ray
その後、最終フレームまで再生が終了するか、或いは表示終了指示が入力されると（ステップＳ１１０）、制御装置２１は画像表示処理を終了する。その後、装置のシャットダウン指示があるとシャットダウン処理を実施する（ステップＳ１１１）。
Thereafter, when the reproduction is completed up to the final frame or a display end instruction is input (step S110), the
ここで、図６及び図７を参照してＲＯＩの画像解析処理（図５のステップＳ１０８）について説明する。
制御装置２１は、Ｘ線透視像（第２動画像）７１上にＲＯＩ７０を設定すると設定したＲＯＩ７０の座標を取得し（ステップＳ２０１）、Ｘ線透視像７１の各フレームの対応する座標位置にＲＯＩ７０を設定し、各フレームのＲＯＩ７０内の画像情報からそれぞれ画素値ヒストグラムを算出する（ステップＳ２０２）。
Here, the ROI image analysis processing (step S108 in FIG. 5) will be described with reference to FIGS.
When the
図７（ａ−１）は、時刻ｔ＝Ｔａにおけるフレームに設定されたＲＯＩ７０内の画像（Ｘ線透視像７１の一部）を示す図であり、図７（ａ−２）は、時刻ｔ＝ＴａにおけるＲＯＩ７０内の画素値ヒストグラムを示す図である。また、図７（ｂ−１）は、時刻ｔ＝ＴｂにおけるＲＯＩ７０内の画像（Ｘ線透視像７２の一部）を示す図であり、図７（ｂ−２）は、時刻ｔ＝ＴｂにおけるＲＯＩ７０内の画素値ヒストグラムを示す図である。画素値ヒストグラムの横軸は画素値、縦軸は頻度である。
FIG. 7A-1 shows an image (a part of the X-ray fluoroscopic image 71) in the
制御装置２１は、各フレームのＲＯＩ７０内の画素値ヒストグラムから特定画素値範囲外（特定画素値以下）の画素値の頻度が所定の閾値を超える画像が存在するか否かを判定する（ステップＳ２０３）。
The
図７（ａ−２）に示す画素値ヒストグラムでは、特定画素値（内視鏡の有無を判別可能な画素値）以下の頻度は小さい。そのため内視鏡３１がＲＯＩ７０内に含まれないと判定される。一方、内視鏡３１がＲＯＩ７０内に含まれる場合は（ステップＳ２０３；Ｙｅｓ）、図７（ｂ−２）に示すように、特定画素値（内視鏡の有無を判別可能な画素値）以下の頻度が所定の閾値を超える。制御装置２１は特定の画素値範囲（内視鏡の有無を判別可能な画素値）の頻度が閾値を超えたフレームのうち先頭フレームの時刻（時間情報）を特定する（ステップＳ２０４）。
In the pixel value histogram shown in FIG. 7A-2, the frequency is less than or equal to a specific pixel value (a pixel value with which the presence or absence of an endoscope can be determined). Therefore, it is determined that the
制御装置２１はステップＳ２０４で特定した時刻に撮影された各動画像（Ｘ線透視像７２、内視鏡画像８２）のフレームを特定し、特定したフレーム以降の各フレームをそれぞれメイン画面２５ａ及びサブ画面２５ｂにて表示再生する（ステップＳ２０５）。
The
ステップＳ２０３において、特定画素値範囲の頻度が閾値を超える画像が存在しない場合は（ステップＳ２０３；Ｎｏ）、「該当画像がありません」といったメッセージを表示したダイアログを表示装置２５に表示し（ステップＳ２０６）、再生中の画像の表示を継続する（ステップＳ２０７）。 If there is no image in which the frequency of the specific pixel value range exceeds the threshold in step S203 (step S203; No), a dialog displaying a message such as “no corresponding image” is displayed on the display device 25 (step S206). The display of the image being reproduced is continued (step S207).
これにより、操作者がメイン画面２５ａ上で任意の位置を指定すると、指定した位置に内視鏡３１が到達した時の画面に瞬時に切り替えることが可能となる。これにより再生の早送り操作（スクロール等）を行う必要がなく、容易に参照したい箇所を表示させることが可能となり、操作者の負担を軽減できる。
Thus, when the operator designates an arbitrary position on the
なお、図４のステップＳ１０８のＲＯＩの画像解析処理は画素値ヒストグラムを用いる方法に限定されない。画像位置が指定された時のＲＯＩ７０内の画像とその他のフレームのＲＯＩ７０内の画像との差分に基づきＲＯＩ７０内に内視鏡３１が含まれるか否かを判定してもよい。すなわち、ＲＯＩ７０内の画像の差分値が所定の閾値以上となったフレームをＲＯＩ７０内に内視鏡３１が含まれるフレームと判断する。
Note that the ROI image analysis processing in step S108 in FIG. 4 is not limited to the method using the pixel value histogram. Whether or not the
また、制御装置２１（特定部５２ｂ）は、ＲＯＩ７０に内視鏡３１が侵入する時点のみならず、ＲＯＩ７０から内視鏡３１が出る時点を再生位置として特定してもよい。図８に、ＲＯＩ７０から内視鏡３１が出る時点を再生位置として特定する処理を含むフローチャートを示す。
Further, the control device 21 (specifying
図８のステップＳ３０１〜ステップＳ３０７はＲＯＩ７０内に内視鏡が到達した時点（ＲＯＩ７０内に内視鏡３１が含まれるフレームのうち最初のフレーム）を特定する処理であり、図６のステップＳ２０１〜ステップＳ２０７の処理と同様である。ＲＯＩ７０から内視鏡３１が抜き去られる時点を再生位置として特定する場合は（ステップＳ３０８；Ｙｅｓ）、制御装置２１はステップＳ３０１〜ステップＳ３０７の処理に続けて、ステップＳ３０９〜ステップＳ３１４の処理を実施する。
Steps S301 to S307 in FIG. 8 are processes for specifying the time point when the endoscope arrives in the ROI 70 (the first frame among the frames in which the
ステップＳ３０１〜ステップＳ３０７の処理を実施した後、制御装置２１は更に画像の再生時間を進めて、図４のステップＳ１０７で設定されたＲＯＩ７０に対応する各フレームのＲＯＩ内の画素値ヒストグラムを算出する（ステップＳ３０９）。
After performing the processing of step S301 to step S307, the
制御装置２１は、各フレームのＲＯＩ７０内の画素値ヒストグラムから特定画素値の頻度が閾値を超える画像が存在するか否かを判定する（ステップＳ３１０）。制御装置２１は特定の画素値範囲（内視鏡の有無を判別可能な画素値）の頻度が閾値を超えているフレームのうち最終フレームの時間情報（時刻）を特定する（ステップＳ３１１）。
The
制御装置２１はステップＳ３１１で特定した時刻に撮影された各動画像（Ｘ線透視像、内視鏡画像）のフレームを特定し、特定したフレーム以降の各フレームをそれぞれメイン画面２５ａ及びサブ画面２５ｂに表示する（ステップＳ３１２）。
The
ステップＳ３１０において、特定画素値の頻度が閾値を超える画像が存在しない場合は（ステップＳ３１０；Ｎｏ）、「該当画像がありません」といったメッセージを表示したダイアログを表示し（ステップＳ３１３）、再生中の画像の表示を継続する（ステップＳ３１４）。 If there is no image in which the frequency of the specific pixel value exceeds the threshold value in step S310 (step S310; No), a dialog with a message “No corresponding image” is displayed (step S313), and the image being reproduced is displayed. Is continuously displayed (step S314).
これにより、操作者がメイン画面２５ａ上でＸ線透視像７１、７２上の任意の位置を指定すると、内視鏡が挿入される時と抜き去られる時の両方について、指定した位置を内視鏡が通過する画像に切り替えて表示することが可能となる。これにより再生の早送り操作（スクロール等）を行う必要がなく、操作者の負担を軽減できる。
As a result, when the operator designates an arbitrary position on the
［第２の実施形態］
図９を参照して、本発明の第２の実施形態について説明する。なお、以下の説明では、第１の実施形態と同一の各部は同一の符号を付し、重複する説明を省略する。
[Second Embodiment]
A second embodiment of the present invention will be described with reference to FIG. In the following description, the same parts as those in the first embodiment are denoted by the same reference numerals, and redundant descriptions are omitted.
第２の実施形態では、録画時または再生時にメイン画面２５ａ上で第２動画像（Ｘ線透視像７１）の複数の位置が指定された場合の画像表示処理について説明する。
In the second embodiment, an image display process when a plurality of positions of the second moving image (X-ray fluoroscopic image 71) is designated on the
図９（ａ）に示すようにメイン画面２５ａにてＸ線透視像（第２動画像）７１を再生中に複数の位置が指定されると、制御装置２１は、指定された各位置にそれぞれ関心領域（ＲＯＩ１、ＲＯＩ２、ＲＯＩ３）を設定する。
As shown in FIG. 9A, when a plurality of positions are designated during the reproduction of the X-ray fluoroscopic image (second moving image) 71 on the
制御装置２１は、各関心領域（ＲＯＩ１、ＲＯＩ２、ＲＯＩ３）についてそれぞれ第１の実施の形態と同様に、Ｘ線透視像７１の各フレームの対応する座標位置にそれぞれＲＯＩ１、ＲＯＩ２、ＲＯＩ３を設定し、各フレームに設定したＲＯＩ１、ＲＯＩ２、ＲＯＩ３内の画像を解析する。制御装置２１は内視鏡３１がＲＯＩ１、ＲＯＩ２、ＲＯＩ３に到達した時刻をそれぞれ特定し、特定した各時刻のＸ線透視像７１、７２、７３及び内視鏡画像８１、８２、８３を順次切り替えてメイン画面２５ａ、サブ画面２５ｂにそれぞれ表示する。
As in the first embodiment, the
図９（ｂ）はＲＯＩ１の位置に内視鏡３１が到達した時の表示画面であり、図９（ｃ）はＲＯＩ２の位置に内視鏡３１が到達した時の表示画面であり、図９（ｄ）はＲＯＩ３の位置に内視鏡３１が到達した時の表示画面である。メイン画面２５ａにはＸ線透視像７１、７２、７３が順次切り替えて表示され、サブ画面２５ｂには内視鏡画像８１、８２、８３が順次切り替えて表示される。制御装置２１は、図９（ｂ）、図９（ｃ）、図９（ｄ）の表示状態を所定の時間間隔で切り替えて表示する。このように、操作者が表示させたい箇所をＸ線透視像７１上で複数箇所指定すれば、その箇所に内視鏡が到達した時刻で撮像された画像だけを選択的に再生することが可能となる。これにより操作者は容易な操作で効率よく画像を観察できるようになる。
FIG. 9B is a display screen when the
なお、メイン画面２５ａ（Ｘ線透視像７１）上で複数の位置が指定されている場合、指定された位置に内視鏡３１が到達する時刻から所定時間分の画面だけを断続的に順次切替えて表示するのではなく、指定された複数の位置のうち最初（最も録画時刻が早い位置（例えばＲＯＩ１の位置）に内視鏡３１が到達した時刻）から、最後（最も録画時刻が遅い位置（例えばＲＯＩ３の位置）に内視鏡３１が到達する時刻）までの区間の動画像を連続的に再生するようにしてもよい。
In addition, when a plurality of positions are designated on the
また制御装置２１は画面表示を切り替える時間の間隔や表示パターン（指定位置の最初と最後の区間の連続再生を行うか、または指定位置のみの再生するか）を操作者が設定するためのユーザインターフェース（表示設定部）を更に備えることが望ましい。
The
［第３の実施形態］
図１０〜図１３を参照して、第３の実施の形態について説明する。
例えば、胸部を撮影する時は呼吸により体動が生じる。そのため、あるフレームで設定した関心領域（ＲＯＩ）と同じ座標位置に他のフレームで関心領域（ＲＯＩ）を設定すると、ＲＯＩの画像解析処理（図６）においてＲＯＩ位置に内視鏡が含まれるか否かを正しく判定できないことがある。そこで、第３の実施の形態では、生体運動に追従するように各フレームにＲＯＩを設定する。
[Third Embodiment]
A third embodiment will be described with reference to FIGS.
For example, when photographing the chest, body movement occurs due to breathing. Therefore, if a region of interest (ROI) is set in another frame at the same coordinate position as the region of interest (ROI) set in a frame, does the ROI position include an endoscope in the ROI image analysis processing (FIG. 6)? It may not be possible to correctly determine whether or not. Therefore, in the third embodiment, an ROI is set for each frame so as to follow the biological motion.
図１０を参照して第３の実施の形態の画像表示処理について説明する。
図１０のフローチャートにおいてステップＳ４０１〜ステップＳ４０６の処理は第１の実施の形態の画像表示処理のステップＳ１０１〜ステップＳ１０６（図４）と同様である。すなわち、検査システム１の各装置（第１動画像取得装置３、第２動画像取得装置１０）が起動され（ステップＳ４０１）、各装置で撮影が開始されると（ステップＳ４０２；Ｙｅｓ）、操作装置２０の制御装置２１は第１動画像取得装置（内視鏡）３から入力される内視鏡画像、及び第２動画像取得装置（Ｘ線画像診断装置）１０から入力されるＸ線透視像を記憶装置２３に保存する。内視鏡画像、Ｘ線透視像の各フレームには、いずれも録画時の時間情報が付加され、時間情報に基づいて同期再生可能な状態で保持される（図３参照）。
The image display process according to the third embodiment will be described with reference to FIG.
In the flowchart of FIG. 10, the processing from step S401 to step S406 is the same as step S101 to step S106 (FIG. 4) of the image display processing of the first embodiment. That is, when each device (the first moving image acquisition device 3 and the second moving image acquisition device 10) of the
第１動画像取得装置（内視鏡）３及び第２動画像取得装置（Ｘ線画像診断装置）１０での録画が終了し（ステップＳ４０３）、録画データの再生指示が入力されると（ステップＳ４０４；Ｙｅｓ）、制御装置２１は録画データの再生処理を開始する（ステップＳ４０５）。再生時には、制御装置２１は記憶装置２３から第１動画像（内視鏡画像）とこれと同時に撮影された第２動画像（Ｘ線透視像）のデータを取得し、表示装置２５の各表示領域に並べて同期再生する。例えば、図５に示すように、表示装置２５のメイン画面２５ａにＸ線透視像７１が表示され、サブ画面２５ｂに内視鏡画像８１が表示される。
When the recording in the first moving image acquisition device (endoscope) 3 and the second moving image acquisition device (X-ray image diagnostic device) 10 is finished (step S403), and an instruction to reproduce the recorded data is input (step S403). S404; Yes), the
録画データの再生中に、メイン画面２５ａのＸ線透視像７１上の任意の位置が操作者により指定されると（ステップＳ４０６；Ｙｅｓ）、制御装置２１は指定された位置を中心に動き検出用ＲＯＩ７５（図１２参照）を設定する（ステップＳ４０７）。動き検出用ＲＯＩ７５は想定される体動の大きさ（ずれ量）より広いサイズとし、各フレームで同じ座標位置に設定する。
When an arbitrary position on the X-ray
次に制御装置２１はステップＳ４０７で設定された動き検出用ＲＯＩ７５内の画像を解析し、被検体４の動きに追従する検査装置検索用ＲＯＩ７６を各フレームに設定する（ステップＳ４０８）。
Next, the
ステップＳ４０８の検査装置検索用ＲＯＩ７６の設定方法について図１１及び図１２を参照して説明する。
図１２（ａ）はＸ線透視像７１に設定された動き検出用ＲＯＩ７５と、動き検出用ＲＯＩ７５内に設定される検査装置検索用ＲＯＩ７６を示す図である。動き検出用ＲＯＩ７５は、操作者により指定された位置を中心に、想定される体動の大きさに応じたサイズの範囲が設定される。動き検出用ＲＯＩ７５は、各フレームで固定の位置（同じ座標位置）とする。検査装置検索用ＲＯＩ７６は、第１の実施の形態のＲＯＩ７０と同様に画像解析の対象とするＲＯＩである。
A method for setting the inspection
FIG. 12A is a diagram showing the motion detection ROI 75 set in the X-ray
制御装置２１は、ステップＳ４０６で位置を指定したフレームを基準フレームとし、基準フレームにおける動き検出用ＲＯＩ７５内の画像情報に基づいて、同じ領域（特徴部）を各フレームから検出する（ステップＳ５０１）。そしてステップＳ５０１で検出した各フレームの特徴部の領域の座標値と基準フレームにおける該当する領域との座標値のずれを算出する（ステップＳ５０２）。そしてステップＳ５０２で算出したズレを検査装置検索用ＲＯＩ７７の座標に反映して補正後の検査装置検索用ＲＯＩ７７を得る（ステップＳ５０３）。図１２（ｂ）は、被検体４の体動に追従するように設定された補正後検査装置検索用ＲＯＩ７７を示している。
The
図１０の説明に戻る。ステップＳ４０８において各フレームに動きに追従する検査装置検索用ＲＯＩ７６、７７、…を設定すると、制御装置２１は、ステップＳ４０８で各フレームに設定した各検査装置検索用ＲＯＩ７６、７７、…内の画像を解析して（ステップＳ４０９）、検査装置検索用ＲＯＩ７６、７７、…内に検査装置３１が到達した時の各動画像（内視鏡画像及びＸ線透視像）の再生位置（フレーム番号）を特定し、特定されたフレーム番号以降の動画像を各画面２５ａ、２５ｂに表示する（ステップＳ４１０）。ステップＳ４０９、ステップＳ４１０の処理は、第１の実施の形態のステップＳ１０８、ステップＳ１０９と同様である。
Returning to the description of FIG. When the inspection
すなわち、Ｘ線透視像７１で任意の位置が指定されると、図１２（ａ）のように検査装置検索用ＲＯＩ７６が設定されるとともに、図１２（ｂ）に示すように各フレームには、呼吸によるズレを補正した位置に検査装置検索用ＲＯＩ７７が設定される。ステップＳ４０９〜ステップＳ４１０の処理では、このように動きに合わせて位置が補正された検査装置検索用ＲＯＩ７７内に検査装置（内視鏡３１）の先端部が入った時刻を特定し、特定した時刻におけるＸ線透視像をメイン画面２５ａに表示する。サブ画面２５ｂでは、補正後の検査装置検索用ＲＯＩ７７内に検査装置（内視鏡３１）の先端部が入った時点で撮影された内視鏡画像８２が表示される。
That is, when an arbitrary position is specified in the X-ray
図１３は、呼吸によるＲＯＩのズレを補正しない場合と補正する場合でのＲＯＩ内の画像の違いを説明する図である。
図１３（ａ）は検査装置検索用ＲＯＩ７６を各フレームで固定の座標に設定した場合を示している。時刻ｔ＝Ｔａのフレームで設定された検査装置検索用ＲＯＩ７６内に描画された領域は、時刻ｔ＝Ｔｂのフレームでは破線の位置から実線の位置（右側）にずれている様子が示されている。時刻ｔ＝Ｔｂでは内視鏡３１がＲＯＩ７６に含まれるが、画素値ヒストグラムによる処理では内視鏡３１に相当する画素数が少ないため誤判定となる虞がある。
FIG. 13 is a diagram for explaining a difference in images in the ROI when the ROI shift due to respiration is not corrected and when it is corrected.
FIG. 13A shows a case where the inspection
一方、図１３（ｂ）は検査装置検索用ＲＯＩ７６を体動に追従して移動させた場合を示している。時刻ｔ＝Ｔａのフレームで設定された検査装置検索用ＲＯＩ７６内に描画された領域は、時刻ｔ＝Ｔｂのフレームでは実線の位置であり、ｔ＝Ｔａで設定された検査装置検索用ＲＯＩ７７内の位置（破線の位置）とほとんど同じ位置にある。時刻ｔ＝Ｔｂでは内視鏡３１がＲＯＩ７６に含まれ、正確に内視鏡３１の到達を判定される。
On the other hand, FIG. 13B shows a case where the inspection
録画データの最終フレームまで再生が終了するか、或いは表示終了指示が入力されると（ステップＳ４１１）、制御装置２１は画像表示処理を終了する。その後、装置のシャットダウン指示があると装置のシャットダウン処理を実施して（ステップＳ４１２）、シャットダウンする。
When the reproduction is completed up to the last frame of the recorded data or a display end instruction is input (step S411), the
以上説明したように、第３の実施の形態の画像表示処理では、検査時の生体運動に追従するように検査装置検索用ＲＯＩを設定することで、体動の大きな部位の画像を表示する場合にも、検査装置３１の検出精度を向上させ、正確に画像を表示させることが可能となる。
As described above, in the image display process according to the third embodiment, by setting the inspection apparatus search ROI so as to follow the biological motion at the time of the inspection, an image of a part with a large body movement is displayed. In addition, the detection accuracy of the
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。内視鏡３１等の検査装置には拡大機能を有するものがある。拡大機能とは、通常撮影の時と異なるフォーカス距離で撮影を行うものである。これにより拡大率に応じて通常撮影の時よりも離れた位置（または近い位置）を焦点として内視鏡画像が撮影、録画される。この拡大機能を用いて撮影された内視鏡画像（第１動画像）をＸ線透視像（第２動画像）と同期再生する際に、第１の実施の形態の画像表示処理を適用すると、図１４（ａ）に示すように操作者がメイン画面２５ａのＸ線透視像７１上で検査装置（内視鏡３１）が移動した位置（ＲＯＩ７０）を指定しても、実際に内視鏡３１によって撮影されている箇所は指定した位置と異なり、メイン画面２５ａとサブ画面２５ｂとで表示している箇所のずれが生じることがある。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described. Some inspection apparatuses such as the
図１４（ｂ）、（ｃ）、（ｄ）は、サブ画面２５ｂに表示される内視鏡画像８１、８１ａ、８１ｂの例であり、（ｂ）は通常撮影時の内視鏡画像８１、図１４（ｃ）は拡大機能により撮影された内視鏡画像８１ａ、図１４（ｄ）は第４の実施の形態の処理により拡大率補正された内視鏡画像８１ｂの例である。
14B, 14C, and 14D are examples of
内視鏡３１が被検体４内の同じ位置にあっても、図１４（ｂ）、（ｃ）に示すように、拡大機能を使用して撮影された内視鏡画像８１ａは、通常撮影時の内視鏡画像８１とフォーカス距離が異なるため異なる位置が撮影されている。
Even when the
そこで、第４の実施の形態の画像表示処理では、制御装置２１は内視鏡画像の撮影時の拡大率とフォーカス距離との関係を示すデータを第１動画像取得装置３から取得する。メイン画面２５ａのＸ線透視像７１上で位置が指定されると、取得したデータに基づいて通常撮影時とのフォーカス距離の差に応じた時間だけ通常撮影時（第１の実施の形態の画像表示処理で特定される再生位置）より遡った時刻に撮影されたフレームを再生位置として特定し、サブ画面２５ｂに表示する。なお、これは内視鏡３１が常に等しい速度で挿入されているという前提である。
Therefore, in the image display process according to the fourth embodiment, the
これにより、拡大率に応じたフォーカス距離の差だけ通常撮影時よりも手前の位置から撮影されたフレームがサブ画面２５ｂに表示されることとなり、図１４（ｄ）に示すように、通常撮影時と同様の内視鏡画像８１ｂ（拡大機能を利用して撮影された内視鏡画像）が表示される。つまり検査装置３１の撮影時の倍率に関わらず、検査装置３１が存在する場所から撮影した通常倍率の画像と同様の画像を表示できる。
As a result, a frame shot from a position before the normal shooting is displayed on the
［第５の実施の形態］
次に、図１５を参照して本発明の第５の実施の形態を説明する。
上述したように、内視鏡３１の拡大機能を利用すると、図１５に示すように、通常撮影時とはフォーカス距離が異なるため、内視鏡３１の位置から内視鏡画像として画像化される位置９、９ａまでの距離が拡大率によって異なる。そのため、倍率が高くなるとＸ線透視像７１上で位置を指定した際に設定されるＲＯＩ７０内に、内視鏡画像の画像化位置が入らないことがある（図１５（ｂ）参照）。
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described with reference to FIG.
As described above, when the enlargement function of the
そこで、第５の実施の形態では、制御装置２１は内視鏡画像（第１動画像）における拡大率とフォーカス距離との関係を示すデータを取得し、Ｘ線透視像７１上で位置が指定されると（図４のステップＳ１０６；Ｙｅｓ）、第１動画像（内視鏡画像）の拡大率（フォーカス距離）に応じてサイズまたは位置を調整した関心領域（ＲＯＩ７０ａ）を設定する（ステップＳ１０７）。例えば、拡大率が大きい場合は、図１５（ｂ）に示すように通常撮影時よりも拡大率に応じた大きいサイズのＲＯＩ７０ａを設定するか、フォーカス位置９ａがＲＯＩの中心となるようにＲＯＩ７０ａの位置を調整して設定する。
Therefore, in the fifth embodiment, the
これにより、ＲＯＩ７０ａ内に必ず内視鏡画像の画像化位置（フォーカス位置）９ａが入るようになり、操作者により指定された位置が撮影された画面を表示することが可能となる。 As a result, the imaging position (focus position) 9a of the endoscopic image always enters the ROI 70a, and it is possible to display a screen on which the position designated by the operator is photographed.
以上、各実施形態において、本発明の好適な画像表示装置、Ｘ線画像診断装置、及び画像表示方法について説明したが、本発明は上述の実施形態に限定されるものではない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As described above, in each embodiment, the preferred image display apparatus, X-ray image diagnostic apparatus, and image display method of the present invention have been described. However, the present invention is not limited to the above-described embodiment. It will be apparent to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea disclosed in the present application, and these are naturally within the technical scope of the present invention. Understood.
１・・・・・・検査システム
１０・・・・・第２動画像取得装置（Ｘ線画像診断装置）
１１・・・・・Ｘ線管
１３・・・・・Ｘ線絞り
１５・・・・・高電圧発生器
１６・・・・・Ｘ線検出器
１７・・・・・Ｘ線画像処理部
２０・・・・・操作装置（画像表示装置）
２１・・・・・制御装置
２２・・・・・画像処理装置
２３・・・・・記憶装置
２４・・・・・入力装置
２５・・・・・表示装置
２５ａ・・・・メイン画面
２５ｂ・・・・サブ画面
３・・・・・・第１動画像取得装置
３１・・・・・検査装置（内視鏡）
４・・・・・・被検体
５・・・・・・寝台
５１・・・・・記録処理部
５２・・・・・再生処理部
５２ａ・・・・位置指定部
５２ｂ・・・・特定部
５２ｃ・・・・表示更新部
７０・・・・・関心領域（ＲＯＩ）
７１、７２、７３・・・・・Ｘ線透視像
７５・・・・・・・・・・・動き検出用ＲＯＩ
７６、７７・・・・・・・・検査装置検索用ＲＯＩ
８１、８２、８３・・・・・内視鏡画像
９，９ａ・・・画像化位置
1. Inspection system 10 ... Second moving image acquisition device (X-ray diagnostic imaging device)
11
21...
4... Subject 5...
71, 72, 73 ... X-ray fluoroscopic image 75 ... ROI for motion detection
76, 77 ... ・ ・ ・ ・ ・ ROI for inspection device search
81, 82, 83 ...
Claims (13)
前記第１動画像及び第２動画像を同期再生する再生処理部と、
前記第２動画像上の位置の指定を受け付ける位置指定部と、
前記位置指定部により指定された位置に前記検査装置が到達した状態の前記第２動画像の再生位置を特定するとともに、特定した再生位置に対応する前記第１動画像の再生位置を特定する特定部と、
前記特定部により特定された再生位置の画像が表示されるように前記第１動画像及び第２動画像の表示を更新する表示更新部と、
を備えることを特徴とする画像表示装置。 The first moving image was acquired using an inspection apparatus that is inserted into the body cavity of the subject and images the inside of the subject, and at least a part of the inspection apparatus was captured so as to be included in the imaging range An image acquisition unit for acquiring a second moving image that is a moving image;
A reproduction processing unit for synchronously reproducing the first moving image and the second moving image;
A position designation unit for accepting designation of a position on the second moving image;
A specification for specifying the playback position of the second moving image in a state in which the inspection apparatus has reached the position specified by the position specifying unit and specifying the playback position of the first moving image corresponding to the specified playback position And
A display update unit for updating the display of the first moving image and the second moving image so that an image at the reproduction position specified by the specifying unit is displayed;
An image display device comprising:
前記特定部は、前記関心領域内の画像情報に基づいて前記関心領域内に前記検査装置が含まれる状態の前記第１動画像及び第２動画像の再生位置を特定することを特徴とする請求項１に記載の画像表示装置。 A region-of-interest setting unit for setting a region of interest of a predetermined size at a position specified by the position specifying unit;
The identification unit identifies a reproduction position of the first moving image and the second moving image in a state in which the inspection apparatus is included in the region of interest based on image information in the region of interest. Item 4. The image display device according to Item 1.
前記特定部は前記位置指定部により指定された各位置について第１動画像及び第２動画像の再生位置を特定し、
前記表示更新部は前記特定した再生位置の画像を順次切り替えて表示することを特徴とする請求項１にから請求項５のいずれか一項に記載の画像表示装置。 When a plurality of positions are set by the position specifying unit,
The specifying unit specifies the playback position of the first moving image and the second moving image for each position specified by the position specifying unit;
The image display apparatus according to claim 1, wherein the display update unit sequentially switches and displays the images at the specified reproduction position.
前記Ｘ線源と対向配置され前記被検体を透過した透過Ｘ線を検出するＸ線検出器と、
前記Ｘ線検出器で検出した透過Ｘ線に基づいて前記被検体のＸ線透視像を生成する画像処理部と、
被検体の体腔内に挿入されて被検体内を撮像する検査装置を用いて撮影された第１動画像を取得するとともに、前記画像処理部により生成されたＸ線透視像であって前記検査装置の少なくとも一部が撮影範囲に含まれるように撮影された動画像である第２動画像を取得する画像取得部と、
前記第１動画像及び第２動画像を同期再生する再生処理部と、
前記第２動画像上の位置の指定を受け付ける位置指定部と、
前記位置指定部により指定された位置に前記検査装置が到達した状態の前記第２動画像の再生位置を特定するとともに、特定した再生位置に対応する前記第１動画像の再生位置を特定する特定部と、
前記特定部により特定された再生位置の画像が表示されるように前記第１動画像及び第２動画像の表示を更新する表示更新部と、
を備えることを特徴とするＸ線画像診断装置。 An X-ray source for irradiating the subject with X-rays;
An X-ray detector arranged to face the X-ray source and detecting transmitted X-rays transmitted through the subject;
An image processing unit that generates an X-ray fluoroscopic image of the subject based on transmitted X-rays detected by the X-ray detector;
An X-ray fluoroscopic image generated by the image processing unit, wherein the first moving image is acquired using an inspection apparatus that is inserted into a body cavity of an object and images the inside of the object. An image acquisition unit that acquires a second moving image that is a moving image shot so that at least a part of the image is included in the shooting range;
A reproduction processing unit for synchronously reproducing the first moving image and the second moving image;
A position designation unit for accepting designation of a position on the second moving image;
A specification for specifying the playback position of the second moving image in a state in which the inspection apparatus has reached the position specified by the position specifying unit and specifying the playback position of the first moving image corresponding to the specified playback position And
A display update unit for updating the display of the first moving image and the second moving image so that an image at the reproduction position specified by the specifying unit is displayed;
An X-ray diagnostic imaging apparatus comprising:
前記第１動画像及び第２動画像を同期再生するステップと、
前記第２動画像上の位置の指定を受け付けるステップと、
指定された位置に前記検査装置が到達した状態の前記第２動画像の再生位置を特定するとともに、特定した再生位置に対応する前記第１動画像の再生位置を特定するステップと、
特定された再生位置の画像が表示されるように前記第１動画像及び第２動画像の表示を更新するステップと、
を含むことを特徴とする画像表示方法。
The first moving image was acquired using an inspection apparatus that is inserted into the body cavity of the subject and images the inside of the subject, and at least a part of the inspection apparatus was captured so as to be included in the imaging range Obtaining a second moving image which is a moving image;
Synchronously reproducing the first moving image and the second moving image;
Receiving a designation of a position on the second moving image;
Identifying the reproduction position of the second moving image in a state where the inspection apparatus has reached the designated position, and identifying the reproduction position of the first moving image corresponding to the identified reproduction position;
Updating the display of the first moving image and the second moving image so that an image at the specified reproduction position is displayed;
An image display method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016143863A JP2018011807A (en) | 2016-07-22 | 2016-07-22 | Image display device, x-image diagnostic apparatus and image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016143863A JP2018011807A (en) | 2016-07-22 | 2016-07-22 | Image display device, x-image diagnostic apparatus and image display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018011807A true JP2018011807A (en) | 2018-01-25 |
Family
ID=61020574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016143863A Pending JP2018011807A (en) | 2016-07-22 | 2016-07-22 | Image display device, x-image diagnostic apparatus and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018011807A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022520480A (en) * | 2019-10-21 | 2022-03-30 | インファービジョン メディカル テクノロジー カンパニー リミテッド | Image matching methods, devices, devices and storage media |
| JP7463923B2 (en) | 2020-09-15 | 2024-04-09 | コニカミノルタ株式会社 | X-ray dynamic image display device, program, X-ray dynamic image display method, and X-ray dynamic image display system |
| JP7488092B2 (en) | 2020-04-10 | 2024-05-21 | キヤノンメディカルシステムズ株式会社 | X-ray diagnostic apparatus, medical information processing apparatus, and medical information processing program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001033710A (en) * | 1999-07-15 | 2001-02-09 | Asahi Optical Co Ltd | Endoscope for macroobservation |
| JP2004121835A (en) * | 2002-09-12 | 2004-04-22 | Hitachi Medical Corp | Follow-up control method for interested area, image diagnosing system using the method, and follow-up control program for interested area |
| JP2005118107A (en) * | 2003-10-14 | 2005-05-12 | Pentax Corp | Image display system |
| JP2010148778A (en) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | Image display and image display method |
| JP2013005830A (en) * | 2011-06-22 | 2013-01-10 | Fujifilm Corp | Endoscope system, processor device, and object distance measuring method |
| US20140270436A1 (en) * | 2013-03-12 | 2014-09-18 | Lightlab Imaging, Inc. | Vascular Data Processing and Image Registration Systems, Methods, and Apparatuses |
| WO2015044979A1 (en) * | 2013-09-26 | 2015-04-02 | テルモ株式会社 | Information processing device, imaging system, information processing method and program |
| JP2016007508A (en) * | 2014-06-26 | 2016-01-18 | 株式会社東芝 | X-ray diagnostic apparatus |
-
2016
- 2016-07-22 JP JP2016143863A patent/JP2018011807A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001033710A (en) * | 1999-07-15 | 2001-02-09 | Asahi Optical Co Ltd | Endoscope for macroobservation |
| JP2004121835A (en) * | 2002-09-12 | 2004-04-22 | Hitachi Medical Corp | Follow-up control method for interested area, image diagnosing system using the method, and follow-up control program for interested area |
| JP2005118107A (en) * | 2003-10-14 | 2005-05-12 | Pentax Corp | Image display system |
| JP2010148778A (en) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | Image display and image display method |
| JP2013005830A (en) * | 2011-06-22 | 2013-01-10 | Fujifilm Corp | Endoscope system, processor device, and object distance measuring method |
| US20140270436A1 (en) * | 2013-03-12 | 2014-09-18 | Lightlab Imaging, Inc. | Vascular Data Processing and Image Registration Systems, Methods, and Apparatuses |
| WO2015044979A1 (en) * | 2013-09-26 | 2015-04-02 | テルモ株式会社 | Information processing device, imaging system, information processing method and program |
| JP2016007508A (en) * | 2014-06-26 | 2016-01-18 | 株式会社東芝 | X-ray diagnostic apparatus |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022520480A (en) * | 2019-10-21 | 2022-03-30 | インファービジョン メディカル テクノロジー カンパニー リミテッド | Image matching methods, devices, devices and storage media |
| JP7190059B2 (en) | 2019-10-21 | 2022-12-14 | インファービジョン メディカル テクノロジー カンパニー リミテッド | Image matching method, apparatus, device and storage medium |
| JP7488092B2 (en) | 2020-04-10 | 2024-05-21 | キヤノンメディカルシステムズ株式会社 | X-ray diagnostic apparatus, medical information processing apparatus, and medical information processing program |
| JP7463923B2 (en) | 2020-09-15 | 2024-04-09 | コニカミノルタ株式会社 | X-ray dynamic image display device, program, X-ray dynamic image display method, and X-ray dynamic image display system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8971601B2 (en) | Medical image diagnosis device and medical image processing method | |
| US9384545B2 (en) | X-ray image diagnosis apparatus | |
| WO2013125276A1 (en) | X-ray ct device, image display device, and image display method | |
| JP4226829B2 (en) | X-ray diagnostic apparatus and image processing apparatus | |
| JP2016054999A (en) | Image processing apparatus and x-ray diagnostic apparatus | |
| JP6308728B2 (en) | Radiographic system and method of operating radiographic system | |
| JP2018011807A (en) | Image display device, x-image diagnostic apparatus and image display method | |
| JP2017063839A (en) | X-ray diagnostic apparatus | |
| JP2012147934A (en) | X-ray diagnostic device, image processing device and image processing program | |
| JP5573688B2 (en) | Radiography equipment | |
| JP2015150206A (en) | X-ray imaging apparatus | |
| US9526469B2 (en) | X-ray diagnostic apparatus | |
| CN111803110A (en) | X-ray fluoroscopic photographing apparatus | |
| JP2001340321A (en) | Radiodiagnostic system | |
| JPH10179569A (en) | Medical image diagnostic device and monitor image display method | |
| JP6740699B2 (en) | Image analysis system | |
| US20070286334A1 (en) | Radiography device for recording dynamic processes and associated recording method | |
| JP5134873B2 (en) | X-ray fluoroscopic equipment | |
| JP6605220B2 (en) | X-ray imaging device | |
| US11191504B2 (en) | X-ray diagnosis apparatus comprising a blood vessel running information acquiring function, a position specification function, and a diaphragm control function | |
| JP2018033818A (en) | X-ray fluoroscopic apparatus, x-ray irradiation field setup method, and x-ray condition control method | |
| JP2005245761A (en) | X-ray diagnostic apparatus | |
| JP2007143952A (en) | X-ray imaging apparatus | |
| JP7392478B2 (en) | Magnification calculation device, long-length photographing system, program, and magnification calculation method | |
| WO2023095245A1 (en) | X-ray imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160810 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171030 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20171031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201013 |