JP2016193107A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2016193107A
JP2016193107A JP2015074763A JP2015074763A JP2016193107A JP 2016193107 A JP2016193107 A JP 2016193107A JP 2015074763 A JP2015074763 A JP 2015074763A JP 2015074763 A JP2015074763 A JP 2015074763A JP 2016193107 A JP2016193107 A JP 2016193107A
Authority
JP
Japan
Prior art keywords
signal
image
component
signal processing
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015074763A
Other languages
English (en)
Inventor
文香 横内
Ayaka Yokouchi
文香 横内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2015074763A priority Critical patent/JP2016193107A/ja
Priority to CN201680001671.7A priority patent/CN106455955A/zh
Priority to PCT/JP2016/058112 priority patent/WO2016158376A1/ja
Priority to DE112016000067.7T priority patent/DE112016000067T5/de
Priority to US15/308,479 priority patent/US20180158180A1/en
Publication of JP2016193107A publication Critical patent/JP2016193107A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

【課題】特殊な光源装置を使用することなく深部血管強調画像を取得可能とする。
【解決手段】画像処理装置は、生体組織を撮影した画像を表す画像データを取得する画像データ取得手段と、画像データのＲＧＢ信号に基づいて輝度信号と色信号とを生成する信号処理を行うＹＣ分離処理手段と、を備え、輝度信号に含まれるＲＧＢ信号のＲ成分の割合が、Ｇ成分及びＢ成分のいずれの割合よりも多い。
【選択図】図２

Description

本発明は、内視鏡画像の画像処理を行う画像処理装置に関する。
ヘモグロビンの吸収波長域にピークを有する狭帯域の照明光（以下「特殊光」という。）を使用して、深部血管の像のコントラストを高めた内視鏡画像（以下「深部血管強調画像」という。）を撮影する内視鏡装置が知られている。特許文献１には、このようなタイプの内視鏡装置の例が記載されている。
特許第５３６２１４９号公報
従来は、深部血管強調画像の撮影に特殊光を使用するため、通常観察用の白色光源とは別に、特殊光を発生するための狭帯域光源や狭帯域の光バンドパスフィルタを装備した特殊な光源装置を使用して内視鏡観察を行う必要があった。
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、特殊な光源装置を使用せずに深部血管強調画像を生成可能な画像処理装置を提供することである。
本発明の一実施形態に係る画像処理装置は、生体組織を撮影した画像を表す画像データを取得する画像データ取得手段と、画像データのＲＧＢ信号に基づいて輝度信号と色信号とを生成する信号処理を行うＹＣ分離処理手段と、を備え、輝度信号に含まれるＲＧＢ信号のＲ成分の割合が、Ｇ成分及びＢ成分のいずれの割合よりも多い。
上記の画像処理装置において、信号処理が、信号処理の前後で画像が実質的に変化しない標準信号処理と、Ｒ成分をＧ成分及びＢ成分のいずれの成分よりも多く含む輝度信号を出力する特殊信号処理と、を含み、標準信号処理及び特殊信号処理のいずれを行うかを選択する選択手段を備え、ＹＣ分離処理手段が、選択手段によって選択された信号処理を行う構成としてもよい。
上記の画像処理装置において、ＹＣ分離手段が、カラーマトリックスを使用したマトリックス演算により信号処理を行い、標準信号処理においては標準カラーマトリックスを使用し、特殊信号処理においては特殊カラーマトリックスを使用する構成としてもよい。
上記の画像処理装置において、ＹＣ分離手段が、標準カラーマトリックスと特殊カラーマトリックスが格納されたメモリと、標準カラーマトリックス及び特殊カラーマトリックスの一方を選択してメモリから読み出すマトリックス選択部と、マトリックス選択部に読み出されたマトリックスを用いてマトリックス演算を行う演算部と、を備えた構成としてもよい。
上記の画像処理装置において、輝度信号がＲＧＢ信号のＲ成分に比例する構成としてもよい。
上記の画像処理装置において、輝度信号が、ＲＧＢ信号のＲ成分にゲイン定数を乗じた要素を含み、ゲイン定数を変更する手段を備えた構成としてもよい。
上記の画像処理装置において、輝度信号に基づいてゲイン定数を自動調整するゲイン自動調整手段を備えた構成としてもよい。
上記の画像処理装置において、輝度信号に含まれるＲＧＢ信号のＲ成分の割合が、Ｂ成分の割合とＧ成分の割合との和よりも多い構成としてもよい。
上記の画像処理装置において、輝度信号に含まれるＲＧＢ信号のＲ成分の割合が５０％以上である構成としてもよい。
上記の画像処理装置において、色信号が２つの色差信号からなる構成としてもよい。
上記の画像処理装置において、ＹＣ分離手段が、ＹＣｒＣｂ、ＹＰｒＰｂ及びＹＵＶのいずれか一種を生成する構成としてもよい。
本発明の一実施形態に係る画像処理装置は、生体組織を撮影した画像を表す画像データを取得する画像データ取得手段と、画像データのＲＧＢ信号に基づいて輝度信号と色信号とを生成する信号処理を行うＹＣ分離処理手段と、を備え、信号処理が、信号処理の前後で画像が実質的に変化しない標準信号処理と、標準信号処理よりも、ＲＧＢ信号のＲ成分を多く含む輝度信号を出力する特殊信号処理と、を含み、標準信号処理及び特殊信号処理のいずれを行うかを選択する選択手段を備え、ＹＣ分離処理手段が、選択手段によって選択された信号処理を行う。
本発明の一実施形態によれば、特殊な光源装置を使用せずに深部血管強調画像を得ることができる。
本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。 本発明の実施形態の前段信号処理回路の構成を示すブロック図である。 通常観察画像の各色成分が有する画像情報を説明する図である。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
［電子内視鏡システム１全体の構成］
図１は、本実施形態の電子内視鏡システム１の概略構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。
プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。
ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。
ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
固体撮像素子１０８は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の撮像信号を生成して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。
電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、撮像信号がフィールド周期で固体撮像素子１０８より入力される。なお、以降の説明において「フィールド」は「フレーム」に置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される撮像信号に対して所定の処理を施してプロセッサ２００の前段信号処理回路２２０に出力する。
ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。
システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフィールドレートに同期したタイミングで駆動制御する。
前段信号処理回路２２０は、ドライバ信号処理回路１１０より１フィールド周期で入力される画像信号に対して色補間、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施して、後段信号処理回路２３０に出力する。前段信号処理回路２２０の詳細は後述する。
後段信号処理回路２３０は、前段信号処理回路２２０より入力される画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマットのビデオ信号に変換する。変換されたビデオ信号は、モニタ３００に出力される。これにより、被写体のカラー画像がモニタ３００の表示画面に表示される。
［前段信号処理回路２２０の構成］
本実施形態のプロセッサ２００は、２つの動作モードで動作する。一つは、通常観察画像Ｎをモニタ３００の画面に表示する通常表示モードであり、もう一つは、深部血管強調処理が施された深部血管強調画像Ｅをモニタ３００の画面に表示する深部血管強調表示モードである。この２つの動作モードは、以下に説明する前段信号処理回路２２０のＹＣ分離処理部２２８によって実現される。
図２は、本実施形態の前段信号処理回路２２０の構成を示すブロック図である。前段信号処理回路２２０は、クランプ処理部２２１、欠陥補正処理部２２２、デモザイク処理部２２３、リニアマトリックス処理部２２４、ホワイトバランス処理部２２５、輪郭補正処理部２２６及びＹＣ分離処理部２２８を備えている。
クランプ処理部２２１は、画像信号からオフセット成分を除去するクランプ処理を行う機能ブロックである。
欠陥補正処理部２２２は、欠陥画素の画素値をその周囲の画素の画素値を用いて補正する欠陥補正処理を行う機能ブロックである。
モザイク処理部２２３は、単色の色情報を有する画素からなる撮像データ（ＲＡＷデータ）をフルカラーの画素値を有する画素からなる画像データに変換するデモザイク処理（補間処理）を行う機能ブロックである。
リニアマトリックス処理部２２４は、カラーマトリックスを用いて撮像素子の分光特性を補正するリニアマトリックス処理を行う機能ブロックである。
ホワイトバランス処理部２２５は、照明光のスペクトル特性を補正するホワイトバランス処理を行う機能ブロックである。
輪郭補正処理部２２６は、画像信号の空間周波数特性の劣化を補償する輪郭補正処理を行う機能ブロックである。
［ＹＣ分離処理部２２８の構成］
ＹＣ分離処理部２２８は、マトリックス回路により、ＲＧＢ信号を輝度信号Ｙ及び色信号Ｃ（色差信号Ｃｂ、Ｃｒ）に変換するＹＣ分離処理を行う機能ブロックである。
本実施形態のＹＣ分離処理部２２８は、標準ＹＣ分離処理（標準信号処理）と本発明の実施形態に係る特殊ＹＣ分離処理（特殊信号処理）の２種類のＹＣ分離処理とを切り替えて実行することができる。
標準ＹＣ分離処理は、通常表示モードにおいて行われる一般的なＹＣ分離処理であり、輪郭補正処理部２２６から出力された通常観察画像ＮのＲＧＢ信号に対して、単に色空間の変換のみを行って、通常観察画像ＮのＹＣｒＣｂ信号（輝度／色差信号）を出力する。この標準ＹＣ分離処理によっては、画像は実質的に変化しない。
特殊ＹＣ分離処理は、深部血管強調表示モードにおいて行われる特殊なＹＣ分離処理であり、色空間の変換の際に、通常観察画像Ｎに対して、画像の色合いを変えずに深部血管が引き立つようなカラーバランスの調整を加えて、深部血管強調画像ＥのＹＣｒＣｂ信号を生成する。この特殊ＹＣ分離処理では、標準ＹＣ分離処理よりも、ＲＧＢ信号のＲ成分を多く含む輝度信号が出力される。
図２に示されるように、ＹＣ分離処理部２２８は、メモリ２２８ａと、マトリックス選択部２２８ｂと、演算部２２８ｃを備えている。
メモリ２２８ａには、２種類のカラーマトリックス（標準カラーマトリックスＭ１、特殊カラーマトリックスＭ２）が格納されている。
マトリックス選択部２２８ｂは、システムコントローラ２０２の制御に従って、使用するカラーマトリックスを選択してメモリ２２８ａから読み出し、演算部２２８ｃに供給する。
演算部２２８ｃは、マトリックス選択部２２８ｂから供給されたカラーマトリックスを使用して、標準ＹＣ分離処理又は特殊ＹＣ分離処理を行う。
標準カラーマトリックスＭ１は、標準ＹＣ分離処理に使用される一般的なカラーマトリックスであり、ITU-R BT.601規格に準拠するものである。
数式１は、標準ＹＣ分離処理において行われる、標準カラーマトリックスＭ１を使用した信号変換を表す変換式である。
Figure 2016193107
標準ＹＣ分離処理（数式１）により生成される輝度信号Ｙには、ＲＧＢ信号の各色成分が、標準比視感度に応じた比率で配合される。そのため、輝度信号Ｙには、緑色（Ｇ）の成分が多く含まれ、赤色（Ｒ）の成分は僅かしか含まれていない。この各色成分の重み付けにより、標準ＹＣ分離処理前と同じ明るさに見える画像が生成される。
特殊カラーマトリックスＭ２は、特殊ＹＣ分離処理に使用される専用のカラーマトリックスである。
数式２は、特殊ＹＣ分離処理において行われる、特殊カラーマトリックスＭ２を使用した信号変換を表す変換式である。
Figure 2016193107
 但し、ゲイン定数ｋは１以下の正数である。
特殊ＹＣ分離処理で生成される深部血管強調画像ＥのＹＣｒＣｂ信号は、色差信号Ｃｒ、Ｃｂは標準ＹＣ分離処理によって生成される通常観察画像Ｎと同じ値を有するが、輝度信号が赤色（Ｒ）の成分のみから構成される点で、標準ＹＣ分離処理で生成される通常観察画像ＮのＹＣｒＣｂ信号と相違する。
生体組織に照射された照明光は、生体組織によって散乱されながら、生体組織内を一定の深さまで進み、その一部が固体撮像素子１０８の受光面上で結像する。波長が短い光ほど、生体組織によって強く散乱されるため、生体組織内を深く進むことができない。逆に、波長が長い光ほど、散乱が弱くなるため、生体組織内を比較的に深くまで進むことができる。また、血液（ヘモグロビン）は６００ｎｍ以上の長波長域にはほとんど吸収が無いため、赤色の光は、青色や緑色の光よりも生体組織内を深く進むことができ、また、血液を多く含む血管の光像も鮮明に形成することができる。
その結果、図３に示されるように、内視鏡画像の赤色（Ｒ）成分は深部血管の情報を多く含み［図３（ｄ）］、青色（Ｂ）成分は生体組織の表層部の情報を多く含む［図３（ｂ）］。また、緑色（Ｇ）の成分は、生体組織の深部と表層部の両方の情報を含む［図３（ｃ）］。
本実施形態の特殊ＹＣ分離処理によって生成される深部血管強調画像Ｅは、その輝度Ｙが赤色（Ｒ）成分の強度によって決まる（具体的には、赤色（Ｒ）成分に比例する）ため、深部血管の情報を多く含み、表層の情報が少ない（すなわち、深部血管が強調された）画像となる。また、画像の色合いを決める色差信号は通常観察画像Ｎと同じ値を有するため、自然な色合いを保ちつつ、深部血管が強調された画像が得られる。
［ＹＣ分離処理部２２８の動作］
次に、ＹＣ分離処理部２２８の動作について説明する。
操作パネル２１４へのユーザ入力操作により、通常表示モードと深部血管強調表示モードが切り換えられる。深部血管強調表示モードを選択するユーザ入力操作が行われると、システムコントローラ２０２からＹＣ分離処理部２２８に深部血管強調表示モードへの切り替え命令が出力される。マトリックス選択部２２８ｂは、深部血管強調表示モードへの切り替え命令を受けると、メモリ２２８ａから特殊カラーマトリックスＭ２を読み出して、演算部２２８ｃに与える。そして、演算部２２８ｃは、マトリックス選択部２２８ｂから最後に与えられた特殊カラーマトリックスＭ２に基づいて、輪郭補正処理部２２６から出力された通常観察画像ＮのＲＧＢ信号に対して特殊ＹＣ分離処理を行い、深部血管強調画像ＥのＹＣｂＣｒ信号を生成する。
また、操作パネル２１４に通常表示モードを選択するユーザ入力操作が行われると、システムコントローラ２０２からＹＣ分離処理部２２８に通常表示モードへの切り替え命令が出力される。マトリックス選択部２２８ｂは、通常表示モードへの切り替え命令を受けると、メモリ２２８ａから標準カラーマトリックスＭ１を読み出し、演算部２２８ｃに与える。そして、演算部２２８ｃは、マトリックス選択部２２８ｂから最後に与えられた標準カラーマトリックスＭ１に基づいて、輪郭補正処理部２２６から出力された通常観察画像ＮのＲＧＢ信号に対して標準ＹＣ分離処理を行い、通常観察画像ＮのＹＣｂＣｒ信号を生成する。
ＹＣ分離処理部２２８が生成した深部血管強調画像Ｅ（又は通常観察画像Ｎ）のＹＣｂＣｒ信号は、後段信号処理回路２３０によりビデオ信号に変換されて、モニタ３００へ出力され、モニタ３００の表示画面に深部血管強調画像Ｅ（又は通常観察画像Ｎ）が表示される。
また、特殊カラーマトリックスＭ２のゲイン値ｋは変更可能なパラメータであり、その初期値は最大値の１．０に設定されている。内視鏡画像は赤色成分が強いため、初期値のままでは輝度が飽和して（又は飽和に近い状態となり）、深部血管強調画像Ｅのコントラストが低下する場合がある。そのため、 操作パネル２１４へのユーザ入力操作により、ゲイン値ｋを変更することができるようになっている。
操作パネル２１４に対してゲイン値ｋの設定を変更するユーザ入力操作が行われると、システムコントローラ２０２からＹＣ分離処理部２２８に、ゲイン値ｋをユーザ入力された値に更新する命令が出力される。マトリックス選択部２２８ｂは、ゲイン値ｋの更新命令を受け付けると、メモリ２２８ａに記憶された特殊カラーマトリックスＭ２のゲイン値ｋをユーザ入力された値に書き換える。これにより、深部血管強調画像Ｅの輝度が調整される。なお、例えば深部血管強調画像Ｅの輝度分布に基づいて、ＹＣ分離処理部２２８がゲイン値ｋを自動調整する構成としてもよい。
［変形例］
次に、特殊ＹＣ分離処理（特殊カラーマトリックスＭ２）の変形例について説明する。
数式３は、本発明の実施形態に係る特殊ＹＣ分離処理の変換式（特殊カラーマトリックスＭ２）の変形例である。
Figure 2016193107
 但し、ゲイン定数ｋは１以下の正数である。
本変形例では、深部血管強調画像Ｅの輝度信号Ｙが、通常観察画像ＮのＧ成分及びＢ成分も含んでいる。このように、輝度信号ＹがＲ成分以外の色成分を含んでいても、生体組織の表層部の情報が最も少ないＲ成分の重み（輝度信号Ｙに含まれるＲ信号の割合。数式３における係数「０．６００」。）が最も大きいときには、本発明の効果を得ることができる。
Ｒ成分の重みは、Ｂ成分の重みの２倍（より効果的には３倍、更に効果的には５倍）以上に設定すると、強い深部血管強調効果が得られる。
また、Ｒ成分の重みをＧ成分の重みよりも２割以上大きい重み（より効果的にはＧ成分の重みの２倍の重み、更に効果的にはＧ成分の重みの３倍の重み、更に効果的にはＧ成分の重みの５倍の重み）に設定すると、より強い深部血管強調効果が得られる。
また、Ｒ成分の重みを、Ｇ成分及びＢ成分の重みの和よりも大きくすると、深部血管がより強調された画像が得られる。
また、Ｒ成分の重みを、Ｇ成分及びＢ成分の重みの和の２倍（より効果的には、Ｇ成分及びＢ成分の重みの和の３倍、更に効果的には、Ｇ成分及びＢ成分の重みの和の５倍）以上の値に設定すると、深部血管がより強調された画像が得られる。
また、Ｒ成分の重みを０．５（各成分の重みの総和の５０％）以上にすると、より強い深部血管強調効果が得られる。
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。
例えば、上記の実施形態は、ＹＣｂＣｒ信号を生成する装置に本発明を適用した例であるが、他の種類の輝度／色差信号（例えば、ＹＵＶ信号やＹＰｂＰｒ信号）を生成する装置にも本発明を適用することができる。
また、上記の実施形態のプロセッサ２００（画像処理装置）は、通常観察画像Ｎをモニタに表示する通常表示モードと、深部血管強調画像Ｅをモニタに表示する深部血管強調表示モードの２つのモードで動作するように構成されているが、画像合成により通常観察画像Ｎと深部血管強調画像Ｅとを１画面中に並べて表示する画面データを生成してモニタに表示する動作モード（ツインモード）を含めて３つ以上の動作モードで動作する構成としてもよい。
また、上記の実施形態は、操作パネル２１４へのユーザ入力操作により動作モードが切り替わるように構成されているが、例えば、電子スコープ１００の操作部等にモード切替ボタンを設けて、モード切替ボタンのユーザ操作に応じて動作モードが切り替わる構成としてもよい。
また、上記の実施形態は、本発明を電子内視鏡装置に適用した例であるが、本発明はこの構成に限定されない。例えば、電子内視鏡装置によって撮影された内視鏡観察映像を再生する映像再生装置（或いは、パーソナルコンピュータ用の映像再生プログラム）に本発明を適用することができる。
また、内視鏡画像以外の観察画像（例えば、通常のビデオカメラやスチルカメラにより撮影した体表の観察画像や、手術中の体内の観察画像）の解析にも本発明を適用することができる。
１ 電子内視鏡システム
１００ 電子スコープ
１０２ ＬＣＢ
１０４ 配光レンズ
１０６ 対物レンズ
１０８ 固体撮像素子
１１０ ドライバ信号処理回路
１１２ メモリ
２００ プロセッサ
２０２ システムコントローラ
２０４ タイミングコントローラ
２０６ ランプ電源イグナイタ
２０８ ランプ
２１０ 集光レンズ
２１２ メモリ
２１４ 操作パネル
２２０ 前段信号処理回路
２２８ ＹＣ分離処理部
２２８ａ メモリ
２２８ｂ マトリックス選択部
２２８ｃ 演算部
２３０ 後段信号処理回路

Claims (12)

  1. 生体組織を撮影した画像を表す画像データを取得する画像データ取得手段と、
    前記画像データのＲＧＢ信号に基づいて輝度信号と色信号とを生成する信号処理を行うＹＣ分離処理手段と、
    を備え、
    前記輝度信号に含まれる前記ＲＧＢ信号のＲ成分の割合が、Ｇ成分及びＢ成分のいずれの割合よりも多い、
    画像処理装置。
  2. 前記信号処理が、
    前記信号処理の前後で前記画像が実質的に変化しない標準信号処理と、
    前記Ｒ成分を前記Ｇ成分及び前記Ｂ成分のいずれの成分よりも多く含む前記輝度信号を出力する特殊信号処理と、を含み、
    前記標準信号処理及び前記特殊信号処理のいずれを行うかを選択する選択手段を備え、
    前記ＹＣ分離処理手段が、
    前記選択手段によって選択された前記信号処理を行う、
    請求項１に記載の画像処理装置。
  3. 前記ＹＣ分離手段が、
    カラーマトリックスを使用したマトリックス演算により前記信号処理を行い、
    前記標準信号処理においては標準カラーマトリックスを使用し、
    前記特殊信号処理においては特殊カラーマトリックスを使用する、
    請求項２に記載の画像処理装置。
  4. 前記ＹＣ分離手段が、
    前記標準カラーマトリックスと前記特殊カラーマトリックスが格納されたメモリと、
    前記標準カラーマトリックス及び前記特殊カラーマトリックスの一方を選択して前記メモリから読み出すマトリックス選択部と、
    前記マトリックス選択部に読み出された前記マトリックスを用いて前記マトリックス演算を行う演算部と、を備えた、
    請求項３に記載の画像処理装置。
  5. 前記輝度信号が前記ＲＧＢ信号のＲ成分に比例する、
    請求項１から請求項４のいずれか一項に記載の画像処理装置。
  6. 前記輝度信号が、前記ＲＧＢ信号のＲ成分にゲイン定数を乗じた要素を含み、
    前記ゲイン定数を変更する手段を備えた、
    請求項１から請求項５のいずれか一項に記載の画像処理装置。
  7. 前記輝度信号に基づいて前記ゲイン定数を自動調整するゲイン自動調整手段を備えた、
    請求項６に記載の画像処理装置。
  8. 前記輝度信号に含まれる前記ＲＧＢ信号のＲ成分の割合が、Ｂ成分の割合とＧ成分の割合との和よりも多い、
    請求項１から請求項７のいずれか一項に記載の画像処理装置。
  9. 前記輝度信号に含まれる前記ＲＧＢ信号のＲ成分の割合が５０％以上である、
    請求項１から請求項８のいずれか一項に記載の画像処理装置。
  10. 前記色信号が２つの色差信号からなる、
    請求項１から請求項９のいずれか一項に記載の画像処理装置。
  11. 前記ＹＣ分離手段が、
    ＹＣｒＣｂ、ＹＰｒＰｂ及びＹＵＶのいずれか一種を生成する、
    請求項１から請求項１０のいずれか一項に記載の画像処理装置。
  12. 生体組織を撮影した画像を表す画像データを取得する画像データ取得手段と、
    前記画像データのＲＧＢ信号に基づいて輝度信号と色信号とを生成する信号処理を行うＹＣ分離処理手段と、
    を備え、
    前記信号処理が、
    前記信号処理の前後で前記画像が実質的に変化しない標準信号処理と、
    前記標準信号処理よりも、前記ＲＧＢ信号のＲ成分を多く含む前記輝度信号を出力する特殊信号処理と、を含み、
    前記標準信号処理及び前記特殊信号処理のいずれを行うかを選択する選択手段を備え、
    前記ＹＣ分離処理手段が、
    前記選択手段によって選択された前記信号処理を行う、
    画像処理装置。
JP2015074763A 2015-04-01 2015-04-01 画像処理装置 Pending JP2016193107A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015074763A JP2016193107A (ja) 2015-04-01 2015-04-01 画像処理装置
CN201680001671.7A CN106455955A (zh) 2015-04-01 2016-03-15 图像处理装置
PCT/JP2016/058112 WO2016158376A1 (ja) 2015-04-01 2016-03-15 画像処理装置
DE112016000067.7T DE112016000067T5 (de) 2015-04-01 2016-03-15 Bildverarbeitungseinrichtung
US15/308,479 US20180158180A1 (en) 2015-04-01 2016-03-15 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015074763A JP2016193107A (ja) 2015-04-01 2015-04-01 画像処理装置

Publications (1)

Publication Number Publication Date
JP2016193107A true JP2016193107A (ja) 2016-11-17

Family

ID=57006026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015074763A Pending JP2016193107A (ja) 2015-04-01 2015-04-01 画像処理装置

Country Status (5)

Country Link
US (1) US20180158180A1 (ja)
JP (1) JP2016193107A (ja)
CN (1) CN106455955A (ja)
DE (1) DE112016000067T5 (ja)
WO (1) WO2016158376A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020151408A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用画像処理装置の作動方法および医療用画像処理プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939801B2 (en) 2017-03-31 2021-03-09 Hoya Corporation Electronic endoscope system
EP3620098B1 (en) * 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
CN112181221A (zh) * 2020-09-25 2021-01-05 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
EP2548498B8 (en) * 2010-06-24 2015-12-23 Olympus Corporation Endoscopic device
JP2012235962A (ja) * 2011-05-13 2012-12-06 Hoya Corp 電子内視鏡装置
CN104224106B (zh) * 2014-10-12 2016-04-13 合肥德铭电子有限公司 获取小切口深部手术中高质量图像的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020151408A (ja) * 2019-03-22 2020-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用画像処理装置の作動方法および医療用画像処理プログラム
JP7256046B2 (ja) 2019-03-22 2023-04-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、医療用画像処理装置の作動方法および医療用画像処理プログラム

Also Published As

Publication number Publication date
CN106455955A (zh) 2017-02-22
US20180158180A1 (en) 2018-06-07
DE112016000067T5 (de) 2017-03-09
WO2016158376A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
WO2016158376A1 (ja) 画像処理装置
JPWO2019093355A1 (ja) 内視鏡システム及びその作動方法
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US11596293B2 (en) Endoscope system and operation method therefor
JPWO2019039354A1 (ja) 光源装置及び内視鏡システム
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
JP6779670B2 (ja) 電子内視鏡システム
JP2006192058A (ja) 画像処理装置
JP7069290B2 (ja) 内視鏡システム及びその作動方法
JP2018000644A (ja) 画像処理装置及び電子内視鏡システム
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6535435B2 (ja) プロセッサ及び内視鏡システム
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
WO2021149357A1 (ja) 内視鏡システム及びその作動方法
JP2019168423A (ja) 画像取得装置及び画像取得方法
US20230255460A1 (en) Image processing apparatus and image processing method
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2021182048A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
WO2023119795A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717