JP2018000795A - 内視鏡プロセッサ - Google Patents

内視鏡プロセッサ Download PDF

Info

Publication number
JP2018000795A
JP2018000795A JP2016135453A JP2016135453A JP2018000795A JP 2018000795 A JP2018000795 A JP 2018000795A JP 2016135453 A JP2016135453 A JP 2016135453A JP 2016135453 A JP2016135453 A JP 2016135453A JP 2018000795 A JP2018000795 A JP 2018000795A
Authority
JP
Japan
Prior art keywords
correction
image
endoscope
chromatic aberration
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016135453A
Other languages
English (en)
Inventor
聡一郎 小鹿
Soichiro Kojika
聡一郎 小鹿
正憲 住吉
Masanori Sumiyoshi
正憲 住吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016135453A priority Critical patent/JP2018000795A/ja
Priority to US15/642,445 priority patent/US20180013999A1/en
Publication of JP2018000795A publication Critical patent/JP2018000795A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 光学系の取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、倍率色収差の補正を行うことができる内視鏡プロセッサを提供する。【解決手段】 内視鏡プロセッサ2は、内視鏡3によって撮像された被検体の撮像画像を生成する画像生成部65と、内視鏡3内のスコープメモリ34から、内視鏡3の倍率色収差に応じた補正情報を取得する補正情報取得部64と、補正情報に基づいて、撮像画像の倍率色収差を補正する画像補正部66と、を有する。【選択図】図1

Description

本発明は、内視鏡装置の内視鏡プロセッサに関する。
従来、内視鏡の挿入部の先端部から照明光を被検体に照射し、被検体の戻り光を受光し、被検体を撮像する内視鏡装置がある。内視鏡装置では、挿入部の先端部に設けられた光学系の色収差により、撮像画像が色ずれし、画像処理等によって倍率色収差の補正を行うことがある。
例えば、特許第6490231号公報には、所定の像高に応じた収差量を所定の収差図に基づいて検出し、検出された収差量に応じて赤色及び青色の各々の画像を縮小又は拡大させる画像処理を行い、倍率色収差の補正を行う走査型の内視鏡装置が開示される。
特許第6490231号公報
しかしながら、従来の内視鏡装置では、光学系の取付け位置及び向きが所定の取付け位置及び向きからずれていると、ずれ量に応じて撮像画像における収差量が変化し、所定の収差図に基づいた収差量では、倍率色収差の補正が適切に行われないことがある。
そこで、本発明は、光学系の取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、倍率色収差の補正を行うことができる内視鏡プロセッサを提供することを目的とする。
本発明の一態様の内視鏡プロセッサは、内視鏡によって撮像された被検体の撮像画像を生成する画像生成部と、前記内視鏡内のスコープメモリから、前記内視鏡の倍率色収差に応じた補正情報を取得する補正情報取得部と、前記補正情報に基づいて、前記撮像画像の倍率色収差を補正する画像補正部と、を有する。
本発明によれば、内視鏡プロセッサは、光学系の取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、倍率色収差の補正を行うことができる。
本発明の実施形態に係わる、内視鏡装置の構成例を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の照明部の構成例を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置のアクチュエータの構成例を示す断面図である。 本発明の実施形態に係わる、内視鏡装置の渦巻き状の走査経路を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の渦巻き状の走査経路を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の紐付けテーブルの例を示す表である。 本発明の実施形態に係わる、内視鏡装置の補正テーブルの例を示す表である。 本発明の実施形態に係わる、内視鏡装置の測定チャートの例を示す図である。 本発明の実施形態に係わる、内視鏡装置の照明部の構成例を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の撮像画像の倍率色収差を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の補正テーブルの例を示す表である。 本発明の実施形態に係わる、内視鏡装置の照明部の構成例を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の撮像画像の倍率色収差を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の補正テーブルの例を示す表である。 本発明の実施形態に係わる、内視鏡装置の照明部の構成例を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の撮像画像の倍率色収差を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の補正テーブルの例を示す表である。 本発明の実施形態に係わる、内視鏡装置の照明部の構成例を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の撮像画像の倍率色収差を説明する説明図である。 本発明の実施形態に係わる、内視鏡装置の補正テーブルの例を示す表である。 本発明の実施形態に係わる、内視鏡装置のキー情報設定処理の流れの例を示すフローチャートである。 本発明の実施形態に係わる、内視鏡装置の撮像画像の画素位置と信号レベルの関係を示すグラフである。 本発明の実施形態に係わる、内視鏡装置の撮像画像の画素位置と信号レベルの関係を示すグラフである。 本発明の実施形態に係わる、内視鏡装置の画像補正処理の流れの例を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
(構成)
図1は、本発明の実施形態に係わる、内視鏡装置1の構成例を示すブロック図である。
内視鏡装置1は、走査型の内視鏡装置であり、図1に示すように、内視鏡プロセッサ2と、内視鏡3と、表示部4とを有して構成される。内視鏡3及び表示部4は、内視鏡プロセッサ2に、着脱自在に接続される。
内視鏡プロセッサ2は、光源ユニット11と、ドライバユニット21と、検出ユニット41と、操作部51と、制御部61と、を有して構成される。
光源ユニット11は、後述する制御部61から入力される制御信号に基づいて、赤色、緑色及び青色のレーザー光を発生させ、照明用光ファイバPの入射端Piにレーザー光を入射させることができるように構成される。光源ユニット11は、赤色、緑色及び青色の各レーザー光源12r、12g、12bと、合波器13と、を有して構成される。赤色、緑色及び青色の各レーザー光源12r、12g、12bは、合波器13に接続される。光源ユニット11は、照明用光ファイバPに接続される。光源ユニット11は、赤色、緑色及び青色の各レーザー光を、照明光として、順次、照明用光ファイバPに出力する。
照明用光ファイバPは、照明光が入射される入射端Piと、照明光を被検体に照射する照射端Poとを有して構成され、入射端Piから照射端Poに、導光できるように構成される。照明用光ファイバPは、光源ユニット11から入力される照明光を内視鏡3の挿入部31の先端から被検体に照射する。
ドライバユニット21は、内視鏡3のアクチュエータ32aを駆動し、照明用光ファイバPの照射端Poを搖動させる回路である。ドライバユニット21は、信号発生器22と、D/A変換器23a、23bと、アンプ24a、24bとを有して構成される。図1では、2点鎖線により、照射端Poが搖動する態様を模式的に表している。
信号発生器22は、制御部61から入力される制御信号に基づいて、アクチュエータ32aの駆動信号DX、DYを生成し、D/A変換器23a、23bに出力する。
駆動信号DXは、照明用光ファイバPの照射端Poを後述するX軸方向へ搖動できるように、出力される。駆動信号DXは、例えば、下記の数式(1)によって規定される。数式(1)において、X(t)は時刻tにおける駆動信号DXの信号レベルであり、AXは時刻tに依存しない振幅値であり、G(t)は正弦波sin(2πft)を変調する所定の関数である。
X(t)=AX×G(t)×sin(2πft)…(1)
駆動信号DYは、照明用光ファイバPの照射端Poを、後述するY軸方向へ搖動できるように出力される。駆動信号DYは、例えば、下記の数式(2)によって規定される。数式(2)において、Y(t)は時刻tにおける駆動信号DYの信号レベルであり、AYは時刻tに依存しない振幅値であり、G(t)は正弦波sin(2πft+φ)を変調する所定の関数であり、φは位相である。
Y(t)=AY×G(t)×sin(2πft+φ)…(2)
D/A変換器23a、23bは、信号発生器22から入力される駆動信号DX、DYを、それぞれデジタル信号からアナログ信号に変換し、アンプ24a、24bに出力する。
アンプ24a、24bは、D/A変換器23a、23bから入力される駆動信号DX、DYを増幅し、増幅された駆動信号DX、DYをアクチュエータ32aに出力する。
図2Aは、本発明の実施形態に係わる、内視鏡装置1の照明部Lの構成例を説明する説明図である。図2Bは、本発明の実施形態に係わる、内視鏡装置1のアクチュエータ32aの構成例を示す断面図である。図2Bでは、X軸方向は、照明用光ファイバPの長手軸に対して直交する方向であり、Y軸方向は、照明用光ファイバPの長手軸及びX軸方向に対して直交する方向である。
内視鏡3は、被検体内に挿入され、光源ユニット11によって発せられた光を被検体に照射し、被検体の戻り光を撮像できるように構成される。内視鏡3は、挿入部31と、照明部Lを構成する保護パイプ32及び鏡枠33と、受光部Riと、スコープメモリ34と、を有する。
挿入部31は、細長状に形成され、被検体の体内に挿入可能である。図2Aに示すように、挿入部31の先端には、保護パイプ32及び鏡枠33が設けられる。
保護パイプ32は、例えば、金属を材質として構成される。保護パイプ32は、筒状に形成される。保護パイプ32は、内部に、アクチュエータ32aと、照射端Poを収容する。
アクチュエータ32aは、照射端Poを搖動させ、照明光の照射位置を所定の走査経路に沿って移動させることができるように構成される。所定の走査経路は、例えば、渦巻き状の走査経路である。図2Bに示すように、アクチュエータ32aは、フェルール32bと、圧電素子32cx、32cyとを有して構成される。
フェルール32bは、例えば、ジルコニア(セラミック)を材質として構成される。フェルール32bは、照射端Poを搖動させることができるように、照射端Poの近傍に設けられる。
圧電素子32cx、32cyは、ドライバユニット21から入力される駆動信号DX、DYに応じて振動し、照射端Poを搖動させることができるように構成される。照射端Poは、圧電素子32cxによってX軸方向へ搖動し、圧電素子32cyによってY軸方向へ搖動する(図2B)。
鏡枠33は、例えば、樹脂等を材質として構成される。鏡枠33は、筒状に形成され、内周側に光学系33aを保持する。鏡枠33は、保護パイプ32の先端に取り付けられ、接着剤等によって固定される。
光学系33aは、照射端Poから照射された照明光を被検体に照射できるように構成される。鏡枠33が保護パイプ32に固定されると、光学系33aの取付け位置も決定される。なお、図2Aでは、光学系33aは、2枚の平凸レンズによって構成されるが、これに限定されるものではない。
受光部Riは、挿入部31の先端に設けられ、被検体の戻り光を受光する。受光された被検体の戻り光は、受光用光ファイバRを介し、内視鏡プロセッサ2の検出ユニット41に出力される。
スコープメモリ34は、不揮発性メモリ等のメモリによって構成され、キー情報Knを記憶する。
図3Aは、本発明の実施形態に係わる、内視鏡装置1の渦巻き状の走査経路を説明する説明図である。図3Bは、本発明の実施形態に係わる、内視鏡装置1の渦巻き状の走査経路を説明する説明図である。
ドライバユニット21が信号レベルを増加させながら駆動信号DX、DYを出力すると、照明用光ファイバPは、アクチュエータ32aにより搖動され、照明用光ファイバPの照射位置は、図3AのZ1からZ2に示されるように、漸次中心から遠ざかる渦巻き状の走査経路に沿って移動する。その後、ドライバユニット21が信号レベルを減少させながら駆動信号DX、DYを出力すると、照明用光ファイバPの照射位置は、図3BのZ2からZ1に示されるように、漸次中心へ近づく渦巻き状の走査経路に沿って移動する。これにより、光源ユニット11によって順次発生する赤色、緑色及び青色の各レーザー光が、渦巻き状に被検体に照射され、被検体の戻り光が受光部Riに受光され、被検体が渦巻き状に走査される。
図1に戻り、検出ユニット41は、被検体から戻る戻り光を検出し、戻り光に応じた検出信号を制御部61に出力する回路である。検出ユニット41は、検出器42と、A/D変換器43とを有して構成される。
検出器42は、光電変換素子を有して構成され、受光部Riから受光用光ファイバRを介して入力される被検体の戻り光を赤色、緑色及び青色の検出信号に変換し、A/D変換器43に出力する。
A/D変換器43は、検出器42から入力される検出信号をデジタル信号に変換し、制御部61に出力する。
操作部51は、制御部61に接続され、ユーザの指示入力を制御部61に出力できるように構成される。
図4は、本発明の実施形態に係わる、内視鏡装置1の紐付けテーブル63aの例を示す表である。図4の例では、紐付けテーブル63aは、n個のキー情報Knと、n個の補正テーブルAnと、を有する。以下、いずれか1つ、又は、全てを示すときには、キー情報Kn又は補正テーブルAnという。
制御部61は、内視鏡装置1内の各部の動作を制御できるように構成される。中央処理装置(以下「CPU」という)62と、揮発性及び不揮発性メモリを含むプロセッサメモリ63と、補正情報取得部64と、画像生成部65と、画像補正部66と、を有する。制御部61の処理部の機能は、CPU62によってプロセッサメモリ63に記憶された各種プログラムが実行されることによって実現する。
プロセッサメモリ63には、内視鏡装置1内の各部の動作を制御するプログラムの他、後述するキー情報設定処理の処理部のプログラム、紐付けテーブル63a、複数の補正テーブルAn、及び、マッピングテーブル63bも記憶される。
紐付けテーブル63aでは、図4に示すように、キー情報Knと、補正テーブルAnとが紐付けされる。補正テーブルAnの構成については、後述する。
マッピングテーブル63bは、マッピング処理によって検出ユニット41から入力される検出信号をラスター形式の撮像画像に変換できるように、検出信号に対応するラスター形式画像の画素位置の情報を有して構成される。
補正情報取得部64は、内視鏡3内のスコープメモリ34から、内視鏡3の倍率色収差に応じた補正情報を取得する回路である。補正情報取得部64は、スコープメモリ34からキー情報Knを取得し、キー情報Knを画像補正部66に出力する。
すなわち、補正情報は、複数の補正テーブル内の所定の補正テーブルに紐付くキー情報Knを含む。
画像生成部65は、内視鏡3によって撮像された被検体の撮像画像を生成する回路である。画像生成部65は、検出ユニット41から取得する撮像信号に基づき、撮像画像を生成する。より具体的には、画像生成部65は、渦巻き状の走査経路に沿って取得された赤色、緑色及び青色の撮像信号に対して、マッピングテーブル63bに基づくマッピング処理を行い、赤色画像、緑色画像及び青色画像を含む、ラスター形式の撮像画像を生成し、撮像画像を画像補正部66に出力する。
画像補正部66は、補正情報であるキー情報Knに基づいて、撮像画像の倍率色収差を補正する回路である。画像補正部66は、キー情報Knに基づいて、複数の補正テーブルAnの中からキー情報Knに紐付く所定の補正テーブルを抽出し、抽出された所定の補正テーブルに基づいて、撮像画像の倍率色収差を補正する。画像補正部66は、補正された撮像画像を表示部4に出力する。
(補正テーブルAnの構成)
内視鏡装置1の補正テーブルAnの構成について説明をする。
図5は、本発明の実施形態に係わる、内視鏡装置1の補正テーブルAnの例を示す表である。図5の例では、補正テーブルAnは、n個の、座標情報Pnと、移動量情報Δrxn、Δryn、Δbxn、Δbynと、を有する。以下、いずれか1つ、又は、n個全てを示すときには、座標情報Pn、又は、移動量情報Δrxn、Δryn、Δbxn、Δbynという。
図5に示される補正テーブルAnは、撮像画像の倍率色収差を補正するための情報を含む。補正テーブルAnは、光学系33aの取付け位置及び向きに応じ、予めn個設定され、プロセッサメモリ63に記憶される。すなわち、プロセッサメモリ63は、光学系33aの取付け位置及び向きに応じた複数の補正テーブルAnを有する。
通常光の波長成分では、RGB色空間の緑色を示すG値が、YCbCr色空間の輝度値を示すY値に近似する。したがって、YCbCr色空間の色差成分であるCbCr値のみを補正した画像に近似するように、補正テーブルAnは、赤色画像及び青色画像を緑色画像に合わせる補正をするための情報を含む。
具体的には、補正テーブルAnは、画素の移動量情報Δrxn、Δryn、Δbxn、Δbynを有して構成される。図5では、例えば、座標情報Pn(xn、yn)について、赤色画素のX軸方向の移動量がΔrxnであり、赤色画素のY軸方向の移動量がΔrynであり、青色画素のX軸方向の移動量がΔbxnであり、青色画素のY軸方向の移動量がΔbynである。
なお、実施形態では、補正テーブルAnは、赤色画像及び青色画像を補正する情報を有するが、他色の画像を補正する情報を有しても構わない。例えば、補正する画像の色は、赤色及び緑色、又は、青色及び緑色であっても構わないし、赤色、緑色及び青色であっても構わない。
続いて、光学系33aの取付け位置及び向きに応じた補正テーブルA1、A2、A3、A4を説明する。補正テーブルA1、A2、A3、A4は、説明のため、測定チャートCを撮像した撮像画像における棒模様B1、B2、B3、B4の移動量情報を有するが、画素の移動量情報Δrxn、Δryn、Δbxn、Δbynによって構成されても構わない。
図6は、本発明の実施形態に係わる、内視鏡装置1の測定チャートCの例を示す図である。図7Aは、本発明の実施形態に係わる、内視鏡装置1の照明部Lの構成例を説明する説明図である。図7Bは、本発明の実施形態に係わる、内視鏡装置1の撮像画像の倍率色収差を説明する説明図である。図7Cは、本発明の実施形態に係わる、内視鏡装置1の補正テーブルA1の例を示す表である。
まず、測定チャートCについて説明をする。図6に示すように、測定チャートCは、中心マーカCMと、中心マーカCMを中心として四方向のそれぞれに配置される棒模様B1、B2、B3、B4と、を有する。測定チャートCは、地色を黒色とし、中心マーカCM及び棒模様B1、B2、B3、B4を白色としている。図7Aでは、地色の黒色は、省略して表される。なお、図7Aでは、棒模様B1、B2、B3、B4の各々は、説明のため、1本の棒模様B1、B2、B3、B4であるが、径方向へ3本配置した棒模様であっても構わない。
図7Aに示すように、光学系33aが、所定の取付け位置及び向きに取り付けられると、測定チャートCは、所定距離D1だけ、照射端Poから離れて配置される。
照射端Poから照射されると、照明光は、光学系33aの倍率色収差によって色に応じて屈折し、測定チャートCに照射される。測定チャートCの戻り光は、受光部Riによって受光され、検出ユニット41によって撮像信号に変換され、画像生成部65に入力される。画像生成部65は、マッピングテーブル63bを参照し、撮像信号に基づいてラスター形式の撮像画像を生成し、画像補正部66に出力をする。画像補正部66に入力された撮像画像は、光学系33aの倍率色収差によって色ずれし、互いに大きさが異なる青色画像、緑色画像及び赤色画像が含まれる。例えば、図7Bでは、青棒模様b、緑棒模様g及び赤棒模様rが、径方向へ、順に、配置される。
図7Cは、光学系33aが所定の取付け位置及び向きに取り付けられた場合に使用される補正テーブルA1の例である。補正テーブルA1には、赤棒模様r及び青棒模様bの移動量が含まれる。例えば、図7Bの棒模様B1、B2、B3、B4の各々について、補正テーブルA1に基づいて、赤棒模様rが距離rNだけ中心マーカCM方向へ移動し、青棒模様bが距離bNだけ外方向へ移動すると、赤棒模様r及び青棒模様bは、緑棒模様gと同じ位置に配置される。赤棒模様r及び青棒模様bが、緑棒模様gと同じ位置に配置されると、色ずれは、解消され、倍率色収差は、補正される。
すなわち、補正テーブルA1は、赤棒模様rを距離rNだけ中心マーカCM方向へ移動させ、青棒模様bを距離bNだけ外方向へ移動させるための情報を含む。
図8Aは、本発明の実施形態に係わる、内視鏡装置1の照明部Lの構成例を説明する説明図である。図8Bは、本発明の実施形態に係わる、内視鏡装置1の撮像画像の倍率色収差を説明する説明図である。図8Cは、本発明の実施形態に係わる、内視鏡装置1の補正テーブルA2の例を示す表である。
図8Aに示すように、光学系33aが先端方向へずれて取り付けられると、測定チャートCは、所定距離D1よりも長い所定距離D2だけ、照射端Poから離れて配置される。
測定チャートCが照射端Poから所定距離D2だけ離れると、撮像画像には、所定距離D1だけ離れた場合よりも小さな色ずれが生じる。
例えば、図8Bに示すように、撮像画像では、赤棒模様rは、距離rNよりも短い距離rSだけ緑棒模様gから外方向へずれ、青棒模様bは、距離bNよりも短い距離bSだけ、緑棒模様gから中心マーカCM方向へずれる。
図8Cは、光学系33aが、所定の取付け位置及び向きよりも先端方向へずれて取り付けられた場合に使用される補正テーブルA2の例である。補正テーブルA2は、距離rSだけ赤棒模様rを中心マーカCM方向へ移動させ、距離bSだけ青棒模様bを外方向へ移動させるための情報を含む。言い換えると、補正テーブルA2は、補正テーブルA1の倍率色収差の補正量よりも小さい補正量の情報を含む。
図9Aは、本発明の実施形態に係わる、内視鏡装置1の照明部Lの構成例を説明する説明図である。図9Bは、本発明の実施形態に係わる、内視鏡装置1の撮像画像の倍率色収差を説明する説明図である。図9Cは、本発明の実施形態に係わる、内視鏡装置1の補正テーブルA3の例を示す表である。
図9Aに示すように、光学系33aが基端方向へずれて取り付けられると、測定チャートCは、所定距離D1よりも短い所定距離D3だけ、照射端Poから離れて配置される。
測定チャートCが照射端Poから所定距離D3だけ離れると、撮像画像には、所定距離D1だけ離れた場合よりも大きな色ずれが生じる。
例えば、図9Bに示すように、撮像画像では、赤棒模様rは、距離rNよりも長い距離rLだけ緑棒模様gから外方向へずれ、青棒模様bは、距離bNよりも長い距離bLだけ、緑棒模様gから中心マーカCM方向へずれる。
図9Cは、光学系33aが、所定の取付け位置及び向きよりも基端方向へずれて取り付けられた場合に使用される補正テーブルA3の例である。補正テーブルA3は、距離rLだけ赤棒模様rを中心マーカCM方向へ移動させ、距離bLだけ青棒模様bを外方向へ移動させるための情報を含む。言い換えると、補正テーブルA3は、補正テーブルA1の倍率色収差の補正量よりも大きい補正量の情報を含む。
図10Aは、本発明の実施形態に係わる、内視鏡装置1の照明部Lの構成例を説明する説明図である。図10Bは、本発明の実施形態に係わる、内視鏡装置1の撮像画像の倍率色収差を説明する説明図である。図10Cは、本発明の実施形態に係わる、内視鏡装置1の補正テーブルA4の例を示す表である。
図10Aに示すように、光学系33aが所定の取付け位置及び向きに対して傾くとき、撮像画像には、中心マーカCMから所定半径離れた仮想円上において、互いに倍率色収差の異なる領域が生じる。
例えば、図10Bに示すように、撮像画像では、棒模様B2は、棒模様B4よりも小さな倍率色収差が生じる。したがって、棒模様B2では、赤棒模様rが距離rS、青棒模様bが距離bSだけ緑棒模様gからずれ、一方、棒模様B4では、赤棒模様rが距離rL、青棒模様bが距離bLだけ緑棒模様gからずれる。
図10Cは、光学系33aが所定の取付け位置及び向きに対して傾いて取り付けられた場合に使用される補正テーブルA4の例である。補正テーブルA4は、棒模様B2が配置される領域から棒模様B4が配置される領域の方向へ、倍率色収差の補正量が大きくなる情報を含む。
(動作)
(キー情報設定処理)
次に、キー情報設定処理について説明をする。
図11は、本発明の実施形態に係わる、内視鏡装置1のキー情報設定処理の流れの例を示すフローチャートである。図12A及び図12Bは、本発明の実施形態に係わる、内視鏡装置1の撮像画像の画素位置と信号レベルの関係を示すグラフである。
図11では、キー情報設定処理は、内視鏡装置1によって行われるが、キー情報設定処理のみを行う図示しないキー情報設定装置によって行われても構わない。図11では、キー情報設定処理は、制御部61によって行われるが、手作業によって行われても構わない。
キー情報設定処理は、工場出荷前に行われる、スコープメモリ34にキー情報Knを記憶させる処理である。
内視鏡3によって測定チャートCを撮像する(S1)。ユーザは、保護パイプ32の中心軸と直交する面に測定チャートCを配置し、中心マーカCMを保護パイプ32の中心軸上に合わせる。内視鏡3は、測定チャートCを撮像する。測定チャートCが撮像されると、制御部61は、赤色画像、緑色画像及び青色画像を含む、測定チャートCの撮像画像を生成する。
カウンタ情報nを1にセットする(S2)。
補正テーブルAnによって撮像画像を補正する(S3)。制御部61は、プロセッサメモリ63からカウンタ情報nに応じた補正テーブルAnを読み込み、読み込まれた補正テーブルAnに基づいて、撮像画像を補正する。
補正された撮像画像の倍率色収差を検出すし、プロセッサメモリ63に記憶させる(S4)。制御部61は、補正された、赤色画像、緑色画像及び青色画像の各々について、画素位置に応じた画素信号値を検出する。例えば、図12Aでは、X軸が画素位置を示し、Y軸が画素信号を示しており、棒模様B1の検出結果について、破線が赤色の画素信号値Lrを示し、実線が緑色の画素信号値Lgを示し、1点鎖線が青色の画素信号値Lbを示している。図12Aでは、画素信号値Lr、Lg、Lbの各々が、色ずれによって互いにX軸方向にずれている。制御部61は、画素信号値Lr、Lg、Lbの各々について、ピーク値Pr、Pg、Pbを検出し、検出された各ピーク値Pr、Pg、Pbの互いの差分量を所定の演算によって算出する。制御部61は、倍率色収差を示す値として、算出された差分量をカウンタ情報nの値に紐付け、プロセッサメモリ63に記憶させる。
カウンタ情報nの値が補正テーブルAnの個数nmaxを超えたか否かを判定する(S5)。カウンタ情報nの値が補正テーブルAnの個数nmaxを超えていると、制御部61が判定するとき(S5:YES)、処理はS6に進む。一方、カウンタ情報nの値が補正テーブルAnの個数nmaxを超えていないと、制御部61が判定するとき(S5:NO)、カウンタ情報nの値が1だけ加算され、処理はS3に戻る。
倍率色収差を最小にする補正テーブルAnminのカウンタ情報nを抽出する(S6)。図12Bに示すように、倍率色収差が小さいとき、画素信号値Lr、Lg、Lbの各々は、近似する。制御部61は、S4において、プロセッサメモリ63に記憶された差分量及びカウンタ情報nを読み込み、所定のソート処理等により、差分量が最小であるカウンタ情報nminを抽出する。制御部61は、抽出されたカウンタ情報nminに応じたキー情報Knをスコープメモリ34に記憶させる。
すなわち、キー情報Knは、倍率色収差を最小にする補正テーブルAnminに基づいて倍率色収差の補正を行うことができるように、内視鏡3の光学系33aの取付け位置及び向きに応じて設定される。
S1からS6の処理が、キー情報設定処理を構成する。
(画像補正処理)
続いて、内視鏡装置1の画像補正処理について説明をする。
図13は、本発明の実施形態に係わる、内視鏡装置1の画像補正処理の流れの例を示すフローチャートである。
スコープメモリ34からキー情報Knを取得する(S11)。補正情報取得部64は、スコープメモリ34からキー情報Knを取得し、画像補正部66に出力する。
所定の補正テーブルを取得する(S12)。画像補正部66は、S11において取得されたキー情報Knに紐付く所定の補正テーブルを、プロセッサメモリ63から取得する。
撮像画像を生成する(S13)。内視鏡3によって被検体が撮像されると、検出ユニット41を介して撮像信号が画像生成部65に入力される。画像生成部65は、撮像信号に基づいて、撮像画像を生成し、画像補正部66に出力する。
撮像画像を補正する(S14)。画像補正部66は、S12において取得された所定の補正テーブルに基づいて、S13において取得された撮像画像を補正する。
撮像画像を表示部4に出力する(S15)。制御部61は、S14において補正された撮像画像を表示部4に出力する。
S11からS15の処理が、画像補正処理を構成する。
すなわち、内視鏡プロセッサ2は、内視鏡3の光学系33aの取付け位置及び向きに応じて設定されたキー情報Knを内視鏡3から読み出し、n個の補正テーブルAnの中からキー情報Knに紐付く所定の補正テーブルを取得し、撮像画像を補正可能である。
上述の実施形態によれば、内視鏡プロセッサ2は、光学系33aの取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、倍率色収差の補正を行うことができる。
(実施形態の変形例1)
実施形態では、スコープメモリ34にキー情報Knが記憶され、プロセッサメモリ63にn個の補正テーブルAnが記憶され、n個の補正テーブルAnの中から所定の補正テーブルが抽出されるが、スコープメモリ34に補正テーブルApが記憶されても構わない(図1の2点鎖線)。
実施形態の変形例1では、スコープメモリ34に、補正テーブルApが記憶される。補正テーブルApは、工場出荷前に、抽出され、スコープメモリ34に記憶される。
補正情報取得部64では、スコープメモリ34から取得される補正テーブルApを画像補正部66に出力する。画像補正部66では、補正情報取得部64から入力された補正テーブルApに基づいて、撮像画像を補正する。
すなわち、補正情報は、撮像画像の倍率色収差を補正するための補正テーブルApを含み、画像補正部66は、スコープメモリ34から取得された補正テーブルApに基づいて、撮像画像の倍率色収差を補正する。
これにより、プロセッサメモリ63の記憶量を抑え、光学系33aの取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、倍率色収差の補正を行うことができる。
(実施形態の変形例2)
実施形態では、画像生成部65において、マッピングテーブル63bに基づいて撮像画像が生成され、画像補正部66において、所定の補正テーブルに基づいて撮像画像が補正されるが、プロセッサメモリ63にマッピングテーブル63bの情報と、補正テーブルAnの情報とを併せ持つ補正画像生成テーブル63cが記憶され、画像生成部65において、補正画像生成テーブル63cに基づいて、撮像画像の生成と補正が行われても構わない。
すなわち、プロセッサメモリ63には、渦巻き状の走査経路に沿って取得された撮像信号に基づいてラスター形式の撮像画像を生成し、かつ撮像画像の倍率色収差を補正するための補正画像生成テーブル63cが記憶され、画像生成部65は、補正画像生成テーブル63cに基づいて、倍率色収差が補正された撮像画像を生成し、表示部4に出力する(図1の2点鎖線)。
これにより、補正テーブルAn及びマッピングテーブル63bが1つの補正画像生成テーブル63cに纏まり、画像補正部66の機能が画像生成部65における撮像画像の生成とともに実現され、プロセッサメモリ63の記憶量を抑え、光学系33aの取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、倍率色収差の補正を行うことができる。
(実施形態の変形例3)
実施形態では、スコープメモリ34には、キー情報Knが記憶されるが、キー情報Knと補正量情報Kn1が、補正情報として、記憶されても構わない(図1の2点鎖線)。
補正情報取得部64は、スコープメモリ34からキー情報Kn及び補正量情報Kn1を取得し、画像補正部66に出力をする。
画像補正部66は、補正情報取得部64から入力されたキー情報Knに基づいてプロセッサメモリ63から補正テーブルAnを抽出し、補正テーブルAnに対して補正量情報Kn1に基づく所定の演算によって補正量を決定し、決定した補正量だけ、所定の補正テーブルに基づいて、画像生成部65から入力される撮像画像を補正する。
すなわち、補正情報は、キー情報Kn及び補正量情報Kn1を含み、画像補正部66は、キー情報Knに基づいて、複数の補正テーブルAnの中からキー情報Knに紐づく所定の補正テーブルを抽出し、補正量情報Kn1に応じた量だけ所定の補正テーブルに基づいて撮像画像の倍率色収差を補正する。
これにより、光学系33aの取付け位置及び向きが所定の取付け位置及び向きからずれている場合においても、キー情報Kn及び補正量情報Kn1に基づいて画像補正が行われ、より高い精度により、倍率色収差の補正を行うことができる。
なお、実施形態及び変形例では、内視鏡装置1は、走査型の内視鏡装置であるが、走査型内視鏡に限定されず、CMOS又はCCD等によって構成される撮像部を有する内視鏡装置であっても構わない。
(色補正の方式)
ところで、色補正を行う方式として、色差マトリクス方式がある。
色差マトリクス方式によって色補正を行うと、血管等を撮像した際のコントラストの高い青色画像に対し、コントラストの低い赤色画像及び緑色画像が混ざり、撮像画像では、コントラストが低下する課題がある。
そこで、撮像画像に対し、RGB色空間においてリニアマトリクス方式の色補正を行い、RGB色空間からYCbCr色空間に変換をし、YCbCr色空間において色差マトリクス方式の色補正を行い、YCbCr色空間からRGB色空間に変換する。
これにより、リニアマトリクス方式によってRGB単独にゲインをかけて色の粗調整を行い、色差マトリクス方式によって色の微調整を行い、撮像画像のコントラストの低下を抑える。
本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに1対1には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック(部)を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
1 内視鏡装置
2 内視鏡プロセッサ
3 内視鏡
4 表示部
11 光源ユニット
12b 青色のレーザー光源
12g 緑色のレーザー光源
12r 赤色のレーザー光源
13 合波器
21 ドライバユニット
22 信号発生器
23a、23b D/A変換器
24a、24b アンプ
31 挿入部
32 保護パイプ
32a アクチュエータ
32b フェルール
32cx、32cy 圧電素子
33 鏡枠
33a 光学系
34 スコープメモリ
41 検出ユニット
42 検出器
43 A/D変換器
51 操作部
61 制御部
62 CPU
63 プロセッサメモリ
63a 紐付けテーブル
63b マッピングテーブル
63c 補正画像生成テーブル
64 補正情報取得部
65 画像生成部
66 画像補正部
An、Anmin、Ap、A1、A2、A3、A4 補正テーブル
Bb 青棒模様
Bg 緑棒模様
Br 赤棒模様
B1、B2、B3、B4 棒模様
C 測定チャート
CM 中心マーカ
DX、DY 駆動信号
rN、rS,rL、bN、bS、bL 距離
D1、D2、D3 所定距離
Kn キー情報
Kn1 補正量情報
L 照明部
Lb 青色の画素信号値
Lg 緑色の画素信号値
Lr 赤色の画素信号値
P 照明用光ファイバ
Pb、Pg、Pr ピーク値
Pi 入射端
Po 照射端
Pn 座標情報
R 受光用光ファイバ
Ri 受光部
Δbxn、Δbyn、Δrxn、Δryn 移動量情報
n、nmax、nmin カウンタ情報
t 時刻

Claims (8)

  1. 内視鏡によって撮像された被検体の撮像画像を生成する画像生成部と、
    前記内視鏡内のスコープメモリから、前記内視鏡の倍率色収差に応じた補正情報を取得する補正情報取得部と、
    前記補正情報に基づいて、前記撮像画像の倍率色収差を補正する画像補正部と、
    を有する内視鏡プロセッサ。
  2. 複数の補正テーブルを記憶するプロセッサメモリを有し、
    前記補正情報は、前記複数の補正テーブル内の所定の補正テーブルに紐付くキー情報を含み、
    前記画像補正部は、前記キー情報に基づいて、前記複数の補正テーブルの中から前記キー情報に紐付く前記所定の補正テーブルを抽出し、抽出された前記所定の補正テーブルに基づいて、前記撮像画像の倍率色収差を補正する、
    請求項1に記載の内視鏡プロセッサ。
  3. 前記複数の補正テーブル内の各補正テーブルは、前記撮像画像の倍率色収差を補正するための情報を含む、請求項2に記載の内視鏡プロセッサ。
  4. 前記各補正テーブルは、前記内視鏡の光学系の取付け位置及び向きに応じて設定される請求項3に記載の内視鏡プロセッサ。
  5. 前記各補正テーブルは、赤色画像及び青色画像を緑色画像に合わせる補正をするための情報を含む、請求項3に記載の内視鏡プロセッサ。
  6. 複数の補正テーブルを記憶するプロセッサメモリを有し、
    前記補正情報は、前記撮像画像の倍率色収差を補正するための所定の補正テーブルを含み、
    前記画像補正部は、前記スコープメモリから取得された前記所定の補正テーブルに基づいて、前記撮像画像の倍率色収差を補正する、
    請求項1に記載の内視鏡プロセッサ。
  7. 前記内視鏡は、走査型内視鏡であり、
    渦巻き状の走査経路に沿って取得された撮像信号に基づいてラスター形式の前記撮像画像を生成し、かつ前記撮像画像の倍率色収差を補正するための補正画像生成テーブルを記憶するプロセッサメモリを有し、
    前記画像生成部は、前記補正画像生成テーブルに基づいて、倍率色収差が補正された前記撮像画像を生成する、
    請求項1に記載の内視鏡プロセッサ。
  8. 複数の補正テーブルを記憶するプロセッサメモリを有し、
    前記補正情報は、キー情報及び補正量情報を含み、
    前記画像補正部は、前記キー情報に基づいて、前記複数の補正テーブルの中から前記キー情報に紐付く所定の補正テーブルを抽出し、前記補正量情報に応じた量だけ前記補正テーブルに基づいて前記撮像画像の倍率色収差を補正する、
    請求項1に記載の内視鏡プロセッサ。
JP2016135453A 2016-07-07 2016-07-07 内視鏡プロセッサ Withdrawn JP2018000795A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016135453A JP2018000795A (ja) 2016-07-07 2016-07-07 内視鏡プロセッサ
US15/642,445 US20180013999A1 (en) 2016-07-07 2017-07-06 Endoscope processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016135453A JP2018000795A (ja) 2016-07-07 2016-07-07 内視鏡プロセッサ

Publications (1)

Publication Number Publication Date
JP2018000795A true JP2018000795A (ja) 2018-01-11

Family

ID=60911428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016135453A Withdrawn JP2018000795A (ja) 2016-07-07 2016-07-07 内視鏡プロセッサ

Country Status (2)

Country Link
US (1) US20180013999A1 (ja)
JP (1) JP2018000795A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225026A1 (ja) * 2020-05-07 2021-11-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022031707A1 (en) * 2020-08-04 2022-02-10 Boston Scientific Scimed, Inc. Methods and devices for gamma correction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305432B2 (en) * 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
JP5767775B2 (ja) * 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
JP5325725B2 (ja) * 2009-09-24 2013-10-23 富士フイルム株式会社 内視鏡装置
JP5409589B2 (ja) * 2010-12-17 2014-02-05 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
EP2772182B1 (en) * 2012-09-03 2016-09-07 Olympus Corporation Scanning endoscope system
US10291844B2 (en) * 2016-03-14 2019-05-14 Realop Corporation Image processing apparatus, image processing method, recording medium, program and imaging-capturing apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225026A1 (ja) * 2020-05-07 2021-11-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法
JP7447249B2 (ja) 2020-05-07 2024-03-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法

Also Published As

Publication number Publication date
US20180013999A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
JP5490331B1 (ja) 内視鏡システム
US8994804B2 (en) Scanning endoscope system
US20170251911A1 (en) Imaging system
JP2011071766A5 (ja)
WO2018055933A1 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
JP2012152244A (ja) 光ファイバスキャン装置
JP2018000795A (ja) 内視鏡プロセッサ
JP2007243343A (ja) 撮像装置
WO2017104190A1 (ja) 内視鏡システム
JP6381123B2 (ja) 光走査型観察システム
WO2017037781A1 (ja) 走査型観察装置
WO2016075994A1 (ja) 光走査型観察システム
WO2017169555A1 (ja) 走査型内視鏡及び走査型内視鏡の照射位置調整方法
WO2018116464A1 (ja) 走査型画像取得装置および走査型画像取得システム
WO2017203585A1 (ja) 補正値取得装置、画像処理装置、光走査型観察システム、補正値取得方法および画像処理方法
JPWO2016151627A1 (ja) 走査型観察装置及び走査型観察装置の画像表示方法
JP6437808B2 (ja) 光走査型観察システム
JP2018015110A (ja) 内視鏡プロセッサ
JP5827868B2 (ja) 電子内視鏡及び固定パターンノイズ除去方法
US20230333400A1 (en) Lens device, imaging apparatus, operation method of lens device, operation method of imaging apparatus, and program
WO2019012623A1 (ja) 画像処理装置、光走査型観察システムおよび画像処理方法
JP2006266725A (ja) 光計測装置
JPH0679110B2 (ja) 内視鏡装置
JP5523266B2 (ja) 画像撮像装置
JPH0792553B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190617

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200217