JP2010022464A - Method and apparatus for obtaining image - Google Patents
Method and apparatus for obtaining image Download PDFInfo
- Publication number
- JP2010022464A JP2010022464A JP2008184821A JP2008184821A JP2010022464A JP 2010022464 A JP2010022464 A JP 2010022464A JP 2008184821 A JP2008184821 A JP 2008184821A JP 2008184821 A JP2008184821 A JP 2008184821A JP 2010022464 A JP2010022464 A JP 2010022464A
- Authority
- JP
- Japan
- Prior art keywords
- observation
- image
- observation target
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、複数種類の狭帯域分光画像を取得し、これらの狭帯域分光画像を用いて診断用画像を取得する画像取得方法および装置であって、特に、演算処理を施すことによって狭帯域分光推定画像を取得する画像取得方法および装置に関するものである。 The present invention relates to an image acquisition method and apparatus for acquiring a plurality of types of narrow-band spectral images, and acquiring diagnostic images using these narrow-band spectral images. The present invention relates to an image acquisition method and apparatus for acquiring an estimated image.
従来、体腔内の組織を観察する内視鏡装置が広く知られており、白色光によって照明された体腔内の観察対象を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式の内視鏡が広く実用化されている。 Conventionally, endoscope apparatuses for observing tissue in a body cavity are widely known. A normal image is obtained by imaging an observation target in a body cavity illuminated by white light, and the normal image is displayed on a monitor screen. Electronic endoscopes have been widely put into practical use.
そして、上記のような内視鏡装置として、消化器官(たとえば胃など)の生体粘膜を撮像し、その生体粘膜の複数種類の狭帯域分光画像を取得し、これらの狭帯域分光画像を用いて診断用画像を生成することによって、生体粘膜の微細構造などを精度よく抽出することができる電子内視鏡装置が提案されている。たとえば、特許文献1では、可視光領域の照明光の生体粘膜の照射によって撮像素子により取得されたカラー画像信号に対し、演算処理を施すことによって狭帯域分光推定画像を生成する方法が提案されている。特許文献1に記載の方法は、具体的には、撮像素子のRGBフィルタのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ(係数セット)として求め、このマトリクスデータと撮像素子により取得されたRGB信号との演算により狭帯域バンドパスフィルタを介して得られる分光推定画像信号を疑似的に得るものである。 Then, as an endoscope apparatus as described above, a biological mucous membrane of a digestive organ (for example, stomach) is imaged, a plurality of types of narrow-band spectral images of the biological mucosa are acquired, and these narrow-band spectral images are used. There has been proposed an electronic endoscope apparatus that can accurately extract a fine structure of a biological mucous membrane by generating a diagnostic image. For example, Patent Document 1 proposes a method of generating a narrowband spectral estimation image by performing arithmetic processing on a color image signal acquired by an imaging element by irradiation of a living mucous membrane with illumination light in a visible light region. Yes. Specifically, the method described in Patent Document 1 is a method in which each color sensitivity characteristic of the RGB filter of the image sensor is converted into numerical data, and a spectral characteristic of a specific narrowband bandpass is converted into numerical data. The relationship is obtained as matrix data (coefficient set), and a spectral estimation image signal obtained through a narrowband bandpass filter is obtained in a pseudo manner by calculating this matrix data and the RGB signal acquired by the image sensor.
また、上記のように演算処理によって狭帯域分光推定画像を取得する電子内視鏡装置として、特許文献2には、太さの異なる血管や深さの異なる血管や進行度の異なる癌組織などといった異なる観察対象に応じて、狭帯域分光推定画像の波長域を変更することによって検出精度を向上させることができる電子内視鏡装置が提案されている。
In addition, as an electronic endoscope apparatus that acquires a narrow-band spectral estimation image by arithmetic processing as described above,
また、特許文献3には、使用するスコープの分光感度特性に応じて上述したマトリクスデータを変更することによって波長推定精度を向上させることができる電子内視鏡装置が提案されている。
しかしながら、たとえば、特許文献2に記載の方法のように、異なる観察対象に応じて波長域を変更したとしても、たとえば、その観察対象に薬剤を散布したりして観察条件が変化した場合には、反射光の波長が変わってくるため、反射光の波長が一定であることを前提したマトリクスデータを用いた演算処理を行ったのでは狭帯域分光画像の波長推定精度が低下してしまう。また、観察対象が炎症をおこしていたり、出血したりしていた場合においても、観察対象が正常であることを前提としたマトリクスデータを用いた演算処理を行ったのでは、同様に狭帯域分光画像の波長推定精度が低下してしまう。
However, for example, even when the wavelength range is changed according to different observation targets as in the method described in
また、特許文献3に記載の方法においても、スコープの分光感度特性は考慮されているが、上記のような観察条件の変化は考慮されていないので、上記と同様の問題が生じる。
Also in the method described in
本発明は上記の問題に鑑みてなされたものであり、観察条件が変化したとしても波長推定精度の低下を招くことなく適切な分光推定画像を取得することができる画像取得方法および装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides an image acquisition method and apparatus capable of acquiring an appropriate spectral estimation image without causing a decrease in wavelength estimation accuracy even when the observation condition changes. For the purpose.
本発明の画像取得方法は、照明光の観察対象への照射により観察対象から反射された反射光を撮像素子により受光して観察対象の像を撮像し、撮像素子から出力された画像信号に対し信号処理パラメータを用いて信号処理を施して所定波長の分光推定画像信号を取得する画像取得方法において、観察対象の複数種類の観察条件に応じた複数の信号処理パラメータを予め記憶し、複数種類の観察条件のうちのいずれかの観察条件を選択する観察条件選択信号を受け付け、その受け付けた観察条件選択信号に応じた観察条件に対応する信号処理パラメータを用いて画像信号に対し信号処理を施すことを特徴とする。 In the image acquisition method of the present invention, the reflected light reflected from the observation target by irradiation of the illumination light to the observation target is received by the image pickup device, the image of the observation target is picked up, and the image signal output from the image pickup device is obtained. In an image acquisition method for acquiring a spectral estimation image signal of a predetermined wavelength by performing signal processing using a signal processing parameter, a plurality of signal processing parameters corresponding to a plurality of types of observation conditions of an observation target are stored in advance, An observation condition selection signal for selecting one of the observation conditions is received, and the image signal is subjected to signal processing using a signal processing parameter corresponding to the observation condition corresponding to the received observation condition selection signal. It is characterized by.
本発明の画像取得装置は、照明光の観察対象への照射により観察対象から反射された反射光を受光して観察対象の像を撮像する撮像素子と、撮像素子から出力された画像信号に対し信号処理パラメータを用いて信号処理を施して所定波長の分光推定画像信号を取得する信号処理部と、信号処理パラメータを記憶する記憶部とを備えた画像取得装置において、記憶部が、観察対象の複数種類の観察条件に応じた複数の信号処理パラメータを記憶するものであり、複数種類の観察条件のうちのいずれかの観察条件を選択する観察条件選択信号を受け付ける選択信号受付部を有し、信号処理部が、選択信号受付部により受け付けられた観察条件選択信号に応じた観察条件に対応する信号処理パラメータを記憶部から読み出して画像信号に対し信号処理を施すものであることを特徴とする。 The image acquisition device of the present invention receives an image of an observation object by receiving reflected light reflected from the observation object by irradiating the observation light with illumination light, and an image signal output from the image sensor. In an image acquisition apparatus including a signal processing unit that performs signal processing using a signal processing parameter to acquire a spectral estimation image signal of a predetermined wavelength, and a storage unit that stores the signal processing parameter, the storage unit is an observation target A plurality of signal processing parameters corresponding to a plurality of types of observation conditions are stored, and a selection signal receiving unit that receives an observation condition selection signal for selecting any one of the plurality of types of observation conditions is provided. The signal processing unit reads out the signal processing parameters corresponding to the observation condition according to the observation condition selection signal received by the selection signal receiving unit from the storage unit, and performs signal processing on the image signal. And characterized in that the subjecting.
また、上記本発明の画像取得装置においては、記憶部を、複数種類の観察条件に応じた複数の信号処理パラメータを、観察対象の種類毎に記憶するものとし、選択信号受付部を、観察条件選択信号とともに、観察対象の種類を選択する観察対象選択信号を受け付けるものとし、信号処理部を、選択信号受付部により受け付けられた観察条件選択信号に応じた観察条件と観察対象選択信号に応じた観察対象とに対応する信号処理パラメータを記憶部から読み出して画像信号に対し信号処理を施すものとすることができる。 In the image acquisition device of the present invention, the storage unit stores a plurality of signal processing parameters corresponding to a plurality of types of observation conditions for each type of observation target, and the selection signal reception unit includes the observation conditions. An observation target selection signal for selecting the type of the observation target is received together with the selection signal, and the signal processing unit responds to the observation condition according to the observation condition selection signal received by the selection signal reception unit and the observation target selection signal. The signal processing parameter corresponding to the observation target can be read from the storage unit and signal processing can be performed on the image signal.
また、複数種類の観察条件として、通常条件と、色素散布条件および組織状態条件のうちの少なくとも1つとを含むようにすることができる。 The plurality of types of observation conditions may include a normal condition and at least one of a pigment dispersion condition and a tissue state condition.
また、体腔内に挿入されて観察対象から反射された反射光を検出するスコープ部と、スコープ部の先端の体腔内における位置情報を取得するスコープ先端位置情報取得部と、スコープ先端位置情報取得部により取得された位置情報に基づいて観察対象を特定し、その特定された観察対象を選択する観察対象選択信号を出力する観察対象特定部とをさらに設け、選択信号受付部を、観察対象特定部から出力された観察対象選択信号を受け付けるものとすることができる。 In addition, a scope unit that detects reflected light that is inserted into the body cavity and reflected from the observation target, a scope tip position information acquisition unit that acquires position information in the body cavity at the tip of the scope unit, and a scope tip position information acquisition unit And an observation target specifying unit that outputs an observation target selection signal for selecting the specified observation target and for specifying the observation target based on the position information acquired by the The observation object selection signal output from can be received.
ここで、上記「観察条件」とは、観察対象に特定の変化が生じているか否か、またはどのような変化を生じているかを示す情報のことをいう。 Here, the “observation condition” refers to information indicating whether or not a specific change has occurred in the observation target, or what kind of change has occurred.
本発明の画像取得方法および装置によれば、観察対象の複数種類の観察条件に応じた複数の信号処理パラメータを予め記憶し、複数種類の観察条件のうちのいずれかの観察条件を選択する観察条件選択信号を受け付け、その受け付けた観察条件選択信号に応じた観察条件に対応する信号処理パラメータを用いて画像信号に対し信号処理を施すようにしたので、観察条件が変化したとしても波長推定精度の低下を招くことなく適切な分光推定画像を取得することができる。 According to the image acquisition method and apparatus of the present invention, an observation in which a plurality of signal processing parameters corresponding to a plurality of types of observation conditions to be observed are stored in advance, and one of the plurality of types of observation conditions is selected. Since the condition selection signal is received and the signal processing is performed on the image signal using the signal processing parameter corresponding to the observation condition corresponding to the received observation condition selection signal, the wavelength estimation accuracy even if the observation condition changes It is possible to acquire an appropriate spectral estimation image without incurring a decrease in.
たとえば、複数種類の観察条件として、通常条件と色素散布条件とを含むようにした場合には、たとえば、炎症を起こした粘膜を診る場合、色素散布前の粘膜については、通常条件の赤みがよく見えるような推定マトリクスデータを利用するようにすれば、炎症部分をより明確に認識することができるが、この粘膜にインディゴの色素を散布すると赤い部分と青い部分とが混ざってしまい、上記推定マトリクスデータのままであると逆に炎症部分が認識し辛くなってしまう。そこで、色素散布条件に応じた推定マトリクスデータを用いるようにすれば、インディゴの青い部分を見え難くすることができ、これにより炎症部分をより明確に認識できるようにすることができる。 For example, when multiple types of observation conditions include normal conditions and pigment application conditions, for example, when examining an inflamed mucosa, the mucous membrane before pigment application is usually red. If the estimated matrix data that can be seen is used, the inflamed part can be recognized more clearly, but if the indigo pigment is sprayed on this mucous membrane, the red part and the blue part are mixed, and the above estimated matrix If the data remains as it is, the inflammatory part becomes difficult to recognize. Therefore, by using estimated matrix data according to the pigment spraying condition, it is possible to make the blue part of the indigo difficult to see, thereby making it possible to recognize the inflamed part more clearly.
また、上記本発明の画像取得方法および装置において、複数種類の観察条件に応じた複数の信号処理パラメータを、観察対象の種類毎に記憶するようにした場合には、観察対象と観察条件との両方を加味した信号処理パラメータを用いて信号処理を行うことでき、より精度の高い分光推定画像を取得することができる。 In the image acquisition method and apparatus of the present invention described above, when a plurality of signal processing parameters corresponding to a plurality of types of observation conditions are stored for each type of observation target, Signal processing can be performed using signal processing parameters that take both into consideration, and a more accurate spectral estimation image can be acquired.
また、スコープ部の先端の体腔内における位置情報を取得し、その取得した位置情報に基づいて観察対象を特定するようにすれば、操作者が観察対象を操作入力しなくても自動的に観察対象を設定することができ、自動的に使用する信号処理パラメータを切り替えてより適切な分光推定画像を取得することができる。 In addition, if the position information in the body cavity at the distal end of the scope unit is acquired and the observation target is specified based on the acquired position information, the observation is automatically performed even if the operator does not input the observation target. A target can be set, and a more appropriate spectral estimation image can be acquired by automatically switching signal processing parameters to be used.
以下、図面を参照して本発明の画像取得装置の一実施形態を用いた内視鏡システムについて詳細に説明する。図1は、本発明の実施形態を用いた内視鏡システム1の概略構成を示すものである。 Hereinafter, an endoscope system using an embodiment of an image acquisition device of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a schematic configuration of an endoscope system 1 using an embodiment of the present invention.
内視鏡システム1は、図1に示すように、被験者の体腔内に挿入され、観察対象を観察するためのスコープユニット20と、このスコープユニット20が着脱自在に接続されるプロセッサユニット30と、スコープユニット20が光学的に着脱自在に接続され、照明光L0を射出するキセノンランプが収納された照明光ユニット10とを備えている。なお、プロセッサユニット30と照明光ユニット10とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。
As shown in FIG. 1, an endoscope system 1 is inserted into a body cavity of a subject and a
照明光ユニット10は、通常観察を行うための照明光L0をキセノンランプから射出するものである。照明光ユニット10は、スコープユニット20のライトガイド11に光学的に接続されており、照明光L0をライトガイド11の一端から入射するように構成されている。
The illumination light unit 10 emits illumination light L0 for normal observation from a xenon lamp. The illumination light unit 10 is optically connected to the
スコープユニット20は、結像光学系21、撮像素子22、CDS/AGC回路23、A/D変換部24、およびCCD駆動部25を備えており、各構成要素はスコープコントローラ26により制御される。撮像素子22はたとえばCCDやCMOS等からなり、結像光学系21により結像された観察対象像を光電変換して画像情報を取得するものである。この撮像素子22としては、例えば撮像面にMg(マゼンタ),Ye(イエロー),Cy(シアン),G(グリーン)の色フィルタを有する補色型の撮像素子、あるいはRGBの色フィルタを有する原色型撮像素子を用いることができるが、本実施形態においては、原色型撮像素子を用いるものとする。なお、撮像素子22の動作はCCD駆動部25により制御される。また、撮像素子22が画像信号を取得したとき、CDS/AGC(相関二重サンプリング/自動利得制御)回路23がサンプリングして増幅し、A/D変換部24がCDS/AGC回路23から出力された画像信号をA/D変換し、その画像信号がプロセッサユニット30に出力される。
The
また、スコープユニット20には、スコープコントローラ26に接続され、観察モードの切換などの種々の操作を設定可能な操作部27が設けられている。
The
また、スコープユニット20の先端には照明窓28が設けられ、この照明窓28には、一端が照明光ユニット10に接続されたライトガイド11の他端が対面している。
An
プロセッサユニット30は、照明光L0の観察対象への照射によってスコープユニット20により撮像された通常像に基づいて生成されたR、G、Bの3色のカラー画像信号を取得する画像取得部31と、画像取得部31により取得されたカラー画像信号に対し、推定マトリクスデータを用いて分光画像処理を施して所定波長の分光推定画像信号を生成する分光画像生成部32と、分光画像生成部32において分光画像処理を行うために用いられる推定マトリクスデータが記憶されている記憶部33と、画像取得部31から出力されたカラー画像信号または分光画像生成部32において生成された分光推定画像信号に対し、種々の処理を施して表示用画像信号を生成する表示信号生成部34と、プロセッサユニット30全体を制御する制御部35とを備えている。各部の動作については、後で詳述する。
The
また、プロセッサユニット30には、操作者の入力を受け付ける入力部2が接続されている。入力部2は、操作者による観察対象と観察条件の入力を受け付けるものであり、その入力によって選択された観察対象に応じた観察対象選択信号と観察条件に応じた観察条件選択信号とをプロセッサユニット30の制御部35に出力するものである。入力部2は、たとえば、キーボードやマウスなどのポインティングデバイスにより構成される。
The
また、プロセッサユニット30の記憶部33には、図2に示すような、複数の推定マトリクスデータ1〜Zが記憶されている。この推定マトリクスデータ1〜Zは、それぞれ所定の観察対象と観察条件との組み合わせに対応して算出されたものである。具体的には、所定の観察対象について所定の観察条件下で分光反射強度分布に関する測定データを取得し、Winner推定に基づいて上記観察対象の上記観察条件下での分光反射強度分布を推定するためのマトリクスを求めている。
The
また、プロセッサユニット30の制御部35には、入力部2から出力された観察対象選択信号と観察条件選択信号を受け付ける選択信号受付部が設けられている。そして、選択信号受付部により受け付けられた観察対象選択信号に応じた観察対象の情報と、観察条件選択信号に応じた観察条件の情報とが分光画像生成部32に出力される。
Further, the
また、プロセッサユニット30の分光画像生成部32には、図3に示すような、複数種類の観察対象と複数種類の観察条件とに対応する推定マトリクスデータ1〜Zを示すテーブルが設けられており、分光画像生成部32は、制御部35から出力された観察対象の情報と観察条件の情報とを受け付け、図3に示すテーブルを参照し、受け付けた観察対象と観察条件の組み合わせに対応する推定マトリクスデータの種類を求め、その種類の推定マトリクスデータを記憶部33に記憶されている推定マトリクスデータ1〜Zの中から選択して読み出すものである。
In addition, the spectral
表示装置3は、液晶表示装置やCRT等から構成され、プロセッサユニット30から出力された表示用画像信号に基づいて、通常画像および分光推定画像などを表示するものである。また、表示装置3は、操作者が複数種類の観察対象および観察条件の中からいずれかの観察対象および観察条件を選択可能なように、複数種類の観察対象および観察条件を表示するものである。具体的には、たとえば、図4に示すような、画面が表示され、観察対象として、「太い血管」、「細い血管」、「組織の隆起形状」または「組織の陥没形状」などのうちの1つがマウスなどのポインティングデバイスにより選択できるように表示される。また、さらに、観察条件として、「通常条件」、「インディゴ散布」、「ルゴール散布」、「炎症を起こしている」、「出血をしている」、または「胆汁が付着している」などのうちの1つがマウスなどのポインティングデバイスにより選択できるように表示される。なお、観察対象と観察条件については、上記に挙げたもの限らず、その他のものを採用するようにしてもよい。また、上記に挙げた「太い血管」、「細い血管」、「組織の隆起形状」または「組織の陥没形状」などが、図3における観察対象(1)、観察対象(2)、・・・、観察対象(m)などに対応し、「通常条件」、「インディゴ散布」、「ルゴール散布」、「炎症を起こしている」または「出血をしている」または「胆汁が付着している」などが、図3における観察条件(1)、観察条件(2)、・・・、観察条件(n)などに対応する。
The
次に、本実施形態の内視鏡システムの動作について説明する。まず、観察対象へ照明光L0を照射して取得したカラー画像信号に基づいて、通常画像を表示する通常観察モードの際の動作について説明する。 Next, the operation of the endoscope system of this embodiment will be described. First, an operation in the normal observation mode in which a normal image is displayed based on a color image signal acquired by irradiating the observation target with the illumination light L0 will be described.
まず、スコープユニット20の操作部27または入力部2において、操作者により通常観察モードが設定される。そして、通常観察モードが設定されると、照明光ユニット10から照明光L0が射出される。そして、照明光L0はライトガイド11を介して照明窓28から観察対象に照射される。そして、照射光L0の照射によって観察対象を反射した反射光L1がスコープユニット20の結像光学系21に入射され、結像光学系21によって撮像素子22の撮像面に通常像が結像される。そして、CCD駆動部25によって駆動された撮像素子22が観察対象の通常像を撮像してカラー画像信号を取得する。このカラー画像信号はCDS/AGC回路23で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換部24でA/D変換されて、デジタル信号としてプロセッサユニット30に入力される。
First, in the
そして、スコープユニット20から出力されたカラー画像信号が、プロセッサユニット30の画像取得部31により取得され、そして、そのカラー画像信号は、表示信号生成部34に出力される。そして、表示信号生成部34は、そのカラー画像信号に各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号を生成し、さらに、このY/C信号へ対し、I/P変換およびノイズ除去などの各種信号処理を施して表示用画像信号を生成し、この表示用画像信号を表示装置3へ出力する。そして、表示装置3は、入力された表示用画像信号に基づいて通常画像を表示する。
The color image signal output from the
次に、本実施形態の内視鏡システムにおいて、被観察体へ照明光L0を照射して取得したカラー画像信号に基づいて、分光推定画像を表示する分光推定画像観察モードの際の動作について説明する。 Next, in the endoscope system of the present embodiment, the operation in the spectral estimation image observation mode for displaying the spectral estimation image based on the color image signal acquired by irradiating the observation object with the illumination light L0 will be described. To do.
まず、スコープユニット20の操作部27または入力部2において、操作者により分光推定画像観察モードが設定される。そして、分光推定画像観察モードが設定されると、図4に示すような、観察対象および観察条件を選択可能な選択画面が表示装置3に表示される。
First, in the
そして、表示装置3に選択画面が表示されると、操作者により複数種類の観察対象のうちのいずれか1つの観察対象と、複数種類の観察条件のうちのいずれか1つの観察条件が入力部2によって選択される。
When the selection screen is displayed on the
そして、入力部2によって観察対象および観察条件が選択されると、入力部2から観察対象選択信号および観察条件選択信号が出力され、制御部35の選択信号受付部により受け付けられる。
When an observation target and an observation condition are selected by the
そして、制御部35は観察対象選択信号および観察条件選択信号を受け付けると、その観察対象選択信号に応じた観察対象の情報と観察条件選択信号に応じた観察条件の情報を分光画像生成部32に出力する。
When the
分光画像生成部32は、観察対象の情報と観察条件の情報とを受け付けると、図3に示すテーブルを参照して推定マトリクスデータの種類を取得する。たとえば、観察対象の情報が観察対象(2)で、観察条件の情報が観察条件(3)であった場合には、推定マトリクスデータの種類として推定マトリクスデータ4を取得する。そして、その取得した推定マトリクスデータの種類が示す推定マトリクスデータを記憶部33から読み出す。観察対象の情報が観察対象(2)で、観察条件の情報が観察条件(3)であった場合には推定マトリクスデータ4を記憶部33から読み出す。
When the spectral
そして、次に、スコープユニット20により観察対象の撮像が行なわれる。分光推定画像観察モードにおいても、通常観察モードと同様に、照射光L0が観察対象に照射され、その照射によって観察対象を反射した反射光L1がスコープユニット20の結像光学系21に入射され、結像光学系21によって撮像素子22の撮像面に通常像が結像される。そして、撮像素子22が観察対象の通常像を撮像してカラー画像信号を取得し、そのカラー画像信号はCDS/AGC回路23で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換部24でA/D変換されて、デジタル信号としてプロセッサユニット30に入力される。
Then, the
そして、画像取得部31によって取得されたカラー画像信号は、分光画像生成部32に出力される。
Then, the color image signal acquired by the
そして、分光画像生成部32において、入力されたカラー画像信号R,G,Bに対して、観察対象と観察条件との組み合わせに対応した推定マトリクスデータが用いられて分光画像処理が施される。たとえば、観察対象の情報が観察対象(2)で、観察条件の情報が観察条件(3)であった場合には、記憶部33から読み出された推定マトリクスデータ4を用いて分光画像処理が施される。分光画像処理は、具体的には、下式を計算することによって行われる。
そして、上式を算出することによって分光推定画像のR成分の画像信号R’、G成分の画像信号G’、B成分の画像信号B’が取得される。 Then, by calculating the above equation, an R component image signal R ′, a G component image signal G ′, and a B component image signal B ′ of the spectral estimation image are obtained.
そして、分光画像生成部32において生成された分光推定画像信号R’,G’、B’は、表示信号生成部34に出力される。そして、表示信号生成部34は、入力された分光推定画像信号R’,G’、B’に各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号を生成し、さらに、このY/C信号へ対し、I/P変換およびノイズ除去などの各種信号処理を施して表示用画像信号を生成し、この表示用画像信号を表示装置3へ出力する。そして、表示装置3は、入力された表示用画像信号に基づいて分光推定画像を表示する。
The spectral estimation image signals R ′, G ′, and B ′ generated by the spectral
また、上記実施形態の内視鏡システムにおいては、記憶部33に図2に示すような推定マトリクスデータ1〜Zを記憶するようにしたが、その代わりに、下表1に示すような、全波長推定マトリクスデータを観察条件n(n=1〜Z)毎に予め取得し、このZ個の全波長推定マトリクスデータを記憶部33に記憶するようにしてもよい。なお、この全波長推定マトリクスデータの取得方法については、上述した推定マトリクスデータの取得方法と同様である。この表1の全波長推定マトリクスデータは、例えば400nmから700nmの波長域を5nm間隔で分けた61の波長域パラメータ(係数セット)p1〜p61からなる。パラメータp1〜p61は各々、マトリクス演算のための係数kprn,kpgn,kpbn(p=1〜61)から構成されている。
上記のように記憶部33に観察条件n毎のZ個の全波長推定マトリクスデータを記憶した場合の作用を以下に説明する。
The operation when Z total wavelength estimation matrix data for each observation condition n is stored in the
この場合も、操作者により入力部2によって観察対象および観察条件が選択されると、入力部2から観察対象選択信号および観察条件選択信号が出力され、制御部35の選択信号受付部により受け付けられる。
Also in this case, when an observation target and an observation condition are selected by the
そして、制御部35は観察対象選択信号および観察条件選択信号を受け付けると、その観察対象選択信号に応じた観察対象の情報と観察条件選択信号に応じた観察条件の情報を分光画像生成部32に出力する。
When the
分光画像生成部32は、観察条件の情報を受け取ると、その観察条件に対応する全波長推定マトリクスデータを記憶部33から読み出す。そして、表1に示す3×61のマトリクスを用いて、次式で示すマトリクス演算を行って、推定反射スペクトルデータ(q1〜q61)を算出する。
また、分光画像生成部32は、観察対象の情報を受け取ると、その観察対象に対応する3つの波長域λ1,λ2,λ3からなる波長セットを取得する。なお、分光画像生成部32には、各観察対象とその各観察対象に対応する波長セットとが対応付けられたテーブルが予め記憶されている。
Further, when the spectral
そして、上記のようにして取得された波長セットの波長域λ1,λ2,λ3に対応する推定反射スペクトルデータがそれぞれ取得される。例えば、3つの波長域λ1,λ2,λ3が波長500nm,620nm,650nmである場合には、それぞれの波長に対応する表1のパラメータp21,p45,p51の係数が用いられて算出された推定反射スペクトルデータq21,q45,q51が取得される。 Then, estimated reflection spectrum data corresponding to the wavelength ranges λ1, λ2, and λ3 of the wavelength set acquired as described above are acquired. For example, when the three wavelength regions λ1, λ2, and λ3 are wavelengths 500 nm, 620 nm, and 650 nm, the estimated reflections calculated using the coefficients of the parameters p21, p45, and p51 in Table 1 corresponding to the respective wavelengths. Spectral data q21, q45, q51 are acquired.
そして、この取得された推定反射スペクトルデータq21,q45,q51が、分光推定画像のR成分の画像信号R’、G成分の画像信号G’、B成分の画像信号B’として取得される。 The acquired estimated reflection spectrum data q21, q45, and q51 are acquired as an R component image signal R ′, a G component image signal G ′, and a B component image signal B ′ of the spectral estimation image.
なお、3つの波長域λ1,λ2,λ3の波長セットとしては、例えば、観察対象が太い血管である場合には550nm、500nm、470nm、細い血管である場合には520nm、500nm,405nmなどを用いることができる。 For example, 550 nm, 500 nm, and 470 nm are used when the observation target is a thick blood vessel, and 520 nm, 500 nm, and 405 nm are used when the observation target is a thin blood vessel. be able to.
なお、上記実施形態の内視鏡システムにおいては、通常観察モードにおいて通常画像を表示し、分光推定画像観察モードにおいて分光推定画像を表示するようにしたが、これらのモードの処理を両方行って、通常画像および分光推定画像を同時もしくは切り替えて表示するようにしてもよい。 In the endoscope system of the above-described embodiment, the normal image is displayed in the normal observation mode, and the spectral estimation image is displayed in the spectral estimation image observation mode. The normal image and the spectral estimation image may be displayed simultaneously or by switching.
また、上記実施形態の内視鏡システムにおいては、観察対象の情報については、操作者が入力部2によって選択して入力するようにしたが、これに限らず、たとえば、図5に示すように、プロセッサユニット30に、体腔内におけるスコープユニット2の先端の位置情報を取得する先端位置情報取得部36と、先端位置情報取得部36により取得された位置情報に基づいて観察対象を特定し、その特定された観察対象に応じた観察対象選択信号を出力する観察対象特定部37とをさらに設け、制御部35の選択信号受付部が、観察対象特定部37から出力された観察対象選択信号を受け付けて分光画像生成部32に観察対象の情報を出力するようにしてもよい。
In the endoscope system of the above embodiment, the operator selects and inputs the observation target information using the
先端位置情報取得部36としては、たとえば、被験者の放射線画像を表わす放射線画像信号を取得し、その放射線画像信号に基づいて、放射線画像内におけるスコープユニット20の先端位置を特定するような構成を採用することができる。
As the tip position
また、スコープユニット20の先端にICタグなどを設け、その被験者の体腔内にあるICタグを外からセンサなどで検出することによってスコープユニット20の先端位置を特定し、その先端位置情報を先端位置情報取得部36が取得するようにしてもよい。
Further, an IC tag or the like is provided at the distal end of the
また、図6に示すように、スコープユニット20の体腔内に挿入される挿入部分に、線などが所定の間隔を空けて配置された目盛り20aを付すとともに、被験者の口に装着されるマウスピース40に目盛り20aを検出する光学センサ41を設け、この光学センサ41によって検出された検出信号を先端位置情報取得部36に出力し、先端位置情報取得部36において、入力された検出信号に基づいてスコープユニット20の先端位置情報を取得するようにしてもよい。具体的には、たとえば、先端位置情報取得部36が、光学センサ41から出力された目盛り検出信号をカウントし、そのカウント数に基づいて先端位置情報を取得するようにすればよい。なお、目盛り検出信号のカウント数は、被験者の口からスコープユニット20の先端のまでの距離を表わすことになるので、距離情報を取得していることになる。
Moreover, as shown in FIG. 6, the insertion part inserted into the body cavity of the
観察対象特定部37としては、たとえば、スコープユニット20の先端位置情報と観察対象とを対応付けたテーブルを備え、そのテーブルを参照することによって観察対象を特定する構成を採用することができる。なお、観察対象としてはスコープユニット20の先端の位置から特定できるものであればよく、たとえば、食道、胃、小腸などがある。
As the observation
なお、被験者の口からスコープユニット20の先端のまでの距離情報と、食道、胃、小腸など観察対象との関係は、被験者の身長などによって差があるので、被験者の身長などの情報も取得し、その情報も考慮して観察対象を特定するようにしてもよい。
Since the relationship between the distance information from the subject's mouth to the tip of the
また、上記実施形態においては、マトリクスデータを用いて画像信号に対し分光画像処理を施して分光推定画像を取得するようにしたが、分光推定画像を取得する信号処理の方法としてはこれに限らず、たとえば、ルックアップテーブルを用いて分光推定画像を取得するようにしてもよいし、ニューラルネットワークを用いて分光推定画像を取得するようにしてもよい。 In the above embodiment, spectral image processing is performed on the image signal using matrix data to obtain a spectral estimated image. However, the signal processing method for acquiring the spectral estimated image is not limited to this. For example, the spectral estimation image may be acquired using a lookup table, or the spectral estimation image may be acquired using a neural network.
また、上記説明では、本発明の画像取得装置の一実施形態を内視鏡システムに適用した例について説明したが、これに限らず、たとえば、腹腔鏡やコルポスコープなどにも適用することができる。 In the above description, an example in which an embodiment of the image acquisition device of the present invention is applied to an endoscope system has been described. However, the present invention is not limited thereto, and can be applied to, for example, a laparoscope and a colposcope. .
1,5 内視鏡システム
2 入力部
2 スコープユニット
3 表示装置
10 照明光ユニット
11 ライトガイド
20 スコープユニット
21 結像光学系
22 撮像素子
23 回路
24 変換部
25 駆動部
26 スコープコントローラ
27 操作部
28 照明窓
30 プロセッサユニット
31 画像取得部
32 分光画像生成部(分光画像処理部)
33 記憶部
34 表示信号生成部
35 制御部
36 先端位置情報取得部
37 観察対象特定部
40 マウスピース
41 光学センサ
1,5
33
Claims (5)
前記観察対象の複数種類の観察条件に応じた複数の信号処理パラメータを予め記憶し、
前記複数種類の観察条件のうちのいずれかの観察条件を選択する観察条件選択信号を受け付け、
該受け付けた観察条件選択信号に応じた観察条件に対応する前記信号処理パラメータを用いて前記画像信号に対し前記信号処理を施すことを特徴とする画像取得方法。 The reflected light reflected from the observation target by irradiating the observation target with illumination light is received by the image sensor to capture an image of the observation target, and a signal processing parameter is used for the image signal output from the image sensor. In an image acquisition method for performing signal processing to acquire a spectral estimation image signal of a predetermined wavelength,
A plurality of signal processing parameters corresponding to a plurality of types of observation conditions of the observation target are stored in advance,
Receiving an observation condition selection signal for selecting any one of the plurality of types of observation conditions;
An image acquisition method comprising: performing the signal processing on the image signal using the signal processing parameter corresponding to an observation condition corresponding to the received observation condition selection signal.
前記記憶部が、前記観察対象の複数種類の観察条件に応じた複数の信号処理パラメータを記憶するものであり、
前記複数種類の観察条件のうちのいずれかの観察条件を選択する観察条件選択信号を受け付ける選択信号受付部を有し、
前記信号処理部が、前記選択信号受付部により受け付けられた観察条件選択信号に応じた観察条件に対応する前記信号処理パラメータを前記記憶部から読み出して前記画像信号に対し前記信号処理を施すものであることを特徴とする画像取得装置。 An imaging device that receives reflected light reflected from the observation target by illuminating the observation target with illumination light and picks up an image of the observation target, and uses a signal processing parameter for the image signal output from the imaging device In an image acquisition apparatus comprising: a signal processing unit that performs signal processing to acquire a spectral estimation image signal of a predetermined wavelength; and a storage unit that stores the signal processing parameter;
The storage unit stores a plurality of signal processing parameters corresponding to a plurality of types of observation conditions of the observation target,
A selection signal receiving unit for receiving an observation condition selection signal for selecting any one of the plurality of types of observation conditions;
The signal processing unit reads the signal processing parameter corresponding to the observation condition according to the observation condition selection signal received by the selection signal reception unit from the storage unit, and performs the signal processing on the image signal. An image acquisition apparatus characterized by being.
前記選択信号受付部が、前記観察条件選択信号とともに、前記観察対象の種類を選択する観察対象選択信号を受け付けるものであり、
前記信号処理部が、前記選択信号受付部により受け付けられた前記観察条件選択信号に応じた観察条件と前記観察対象選択信号に応じた観察対象とに対応する前記信号処理パラメータを前記記憶部から読み出して前記画像信号に対し前記信号処理を施すものであることを特徴とする請求項2記載の画像取得装置。 The storage unit stores a plurality of signal processing parameters corresponding to the plurality of types of observation conditions for each type of the observation target,
The selection signal receiving unit receives an observation target selection signal for selecting a type of the observation target together with the observation condition selection signal,
The signal processing unit reads the signal processing parameter corresponding to the observation condition according to the observation condition selection signal received by the selection signal reception unit and the observation target according to the observation target selection signal from the storage unit. The image acquisition apparatus according to claim 2, wherein the signal processing is performed on the image signal.
該スコープ部の先端の前記体腔内における位置情報を取得するスコープ先端位置情報取得部と、
該スコープ先端位置情報取得部により取得された位置情報に基づいて前記観察対象を特定し、該特定された観察対象を選択する前記観察対象選択信号を出力する観察対象特定部とをさらに備え、
前記選択信号受付部が、前記観察対象特定部から出力された観察対象選択信号を受け付けるものであることを特徴とする請求項2から4いずれか1項記載の画像取得装置。 A scope for detecting reflected light inserted into a body cavity and reflected from the observation target;
A scope tip position information acquisition unit for acquiring position information of the tip of the scope part in the body cavity;
An observation target specifying unit that specifies the observation target based on the position information acquired by the scope tip position information acquisition unit, and outputs the observation target selection signal for selecting the specified observation target;
5. The image acquisition apparatus according to claim 2, wherein the selection signal receiving unit receives an observation target selection signal output from the observation target specifying unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184821A JP2010022464A (en) | 2008-07-16 | 2008-07-16 | Method and apparatus for obtaining image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184821A JP2010022464A (en) | 2008-07-16 | 2008-07-16 | Method and apparatus for obtaining image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010022464A true JP2010022464A (en) | 2010-02-04 |
Family
ID=41728885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008184821A Withdrawn JP2010022464A (en) | 2008-07-16 | 2008-07-16 | Method and apparatus for obtaining image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010022464A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016093210A (en) * | 2014-11-12 | 2016-05-26 | ソニー株式会社 | Image processing device, image processing method, and program |
WO2020017213A1 (en) * | 2018-07-20 | 2020-01-23 | 富士フイルム株式会社 | Endoscope image recognition apparatus, endoscope image learning apparatus, endoscope image learning method and program |
-
2008
- 2008-07-16 JP JP2008184821A patent/JP2010022464A/en not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016093210A (en) * | 2014-11-12 | 2016-05-26 | ソニー株式会社 | Image processing device, image processing method, and program |
US10799101B2 (en) | 2014-11-12 | 2020-10-13 | Sony Corporation | Image processing apparatus, image processing method, and program |
US11766167B2 (en) | 2014-11-12 | 2023-09-26 | Sony Corporation | Image processing apparatus, image processing method, and program |
WO2020017213A1 (en) * | 2018-07-20 | 2020-01-23 | 富士フイルム株式会社 | Endoscope image recognition apparatus, endoscope image learning apparatus, endoscope image learning method and program |
JPWO2020017213A1 (en) * | 2018-07-20 | 2021-08-02 | 富士フイルム株式会社 | Endoscopic image recognition device, endoscopic image learning device, endoscopic image learning method and program |
JP7005767B2 (en) | 2018-07-20 | 2022-01-24 | 富士フイルム株式会社 | Endoscopic image recognition device, endoscopic image learning device, endoscopic image learning method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110325100B (en) | Endoscope system and method of operating the same | |
US9113787B2 (en) | Electronic endoscope system | |
JP6204314B2 (en) | Electronic endoscope system | |
US8996087B2 (en) | Blood information measuring method and apparatus | |
US9907493B2 (en) | Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system | |
JP6010571B2 (en) | Endoscope system, processor device for endoscope system, operation method of endoscope system, operation method of processor device for endoscope system | |
JP6039639B2 (en) | Endoscope system, processor device for endoscope system, method for operating endoscope system, and method for operating processor device for endoscope system | |
JP2007319442A (en) | Capsule endoscope system and image processing unit | |
JP2010069063A (en) | Method and apparatus for capturing image | |
JP7289296B2 (en) | Image processing device, endoscope system, and method of operating image processing device | |
US20200037856A1 (en) | Endoscope system, processor device, and method of operating endoscope system | |
JP2007097709A (en) | Electronic endoscope apparatus | |
JP5752423B2 (en) | Spectroscopic measurement system and method of operating the spectral measurement system | |
JP7374280B2 (en) | Endoscope device, endoscope processor, and method of operating the endoscope device | |
JP5737899B2 (en) | Diagnostic system | |
US10813541B2 (en) | Endoscopic diagnosis apparatus, image processing method, program, and recording medium | |
JP5191327B2 (en) | Image acquisition device and method of operating image acquisition device | |
JP5264382B2 (en) | Image acquisition device | |
JP2010022464A (en) | Method and apparatus for obtaining image | |
JP2013048646A (en) | Diagnostic system | |
US20170354315A1 (en) | Endoscopic diagnosis apparatus, image processing method, program, and recording medium | |
JP5483522B2 (en) | Image acquisition device | |
JP4109132B2 (en) | Fluorescence determination device | |
JP2004008230A (en) | Fluorescent diagnostic information producing apparatus | |
JP2010136775A (en) | Image acquisition method and endoscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111004 |