JP2010187756A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP2010187756A
JP2010187756A JP2009032887A JP2009032887A JP2010187756A JP 2010187756 A JP2010187756 A JP 2010187756A JP 2009032887 A JP2009032887 A JP 2009032887A JP 2009032887 A JP2009032887 A JP 2009032887A JP 2010187756 A JP2010187756 A JP 2010187756A
Authority
JP
Japan
Prior art keywords
value
hue
image
saturation
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009032887A
Other languages
English (en)
Inventor
Makoto Kitamura
誠 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009032887A priority Critical patent/JP2010187756A/ja
Priority to US12/700,141 priority patent/US8743189B2/en
Priority to CN201010109468.6A priority patent/CN101803899B/zh
Publication of JP2010187756A publication Critical patent/JP2010187756A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

【課題】体腔内画像から病変領域を精度良く検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供すること。
【解決手段】本発明のある実施の形態において、抽出部17は、体腔内画像から粘膜領域を抽出する。判定基準作成部18は、抽出部17によって抽出された粘膜領域の色相および彩度をもとに、病変領域を検出するための色相方向の判定基準および彩度方向の判定基準を作成する。病変領域検出部19は、判定基準作成部18によって作成された判定基準を用いて体腔内画像から病変領域を検出する。
【選択図】図2

Description

本発明は、体腔内を撮像した体腔内画像から病変領域を検出する画像処理装置、画像処理方法および画像処理プログラムに関する。
近年、被検者の体腔内を撮像する医用機器として、カプセル内視鏡が開発されている。カプセル内視鏡は、口から飲み込まれた後、消化管内を蠕動運動等により移動しながら所定の撮像レートで体腔内の画像(体腔内画像)を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される体腔内画像の枚数は、撮像レート(2〜4frame/sec)×カプセル内視鏡の体内滞在時間(8hours=8×60×60sec)で概ね示され、数万枚以上という大量の枚数になる。医師等の観察者は、これら体外受信機に送信された大量の体腔内画像を診断用のワークステーション等で確認し、病変領域を特定するために多くの時間を費やしている。このため、体腔内画像の観察作業を効率化する技術が強く望まれている。
この種の課題を解決するための技術として、例えば、体腔内画像から異常所見領域(病変領域)を検出する技術が知られている。例えば、特許文献1には、体腔内画像の各画素の画素値または平均化した画素値をその色情報に基づく特徴空間に写像してクラスタリングを行い、正常な粘膜領域のクラスタからのユークリッド距離が所定値以上のデータを病変領域として検出している。
特開2005−192880号公報
ところで、体腔内画像には、例えば食道や胃、小腸、大腸等の内部が映る。ここで、体腔内画像に映る小腸粘膜や大腸粘膜は、黄色の消化液(胆汁)を通して撮像されるため、黄色系の色を有する。一方で、体腔内画像に映る胃粘膜は、赤色系の色を有する。このため、特許文献1に開示されている手法では、出血や発赤等に代表される赤色の色特性を有する病変領域を適切に検出できない場合があった。例えば、胃粘膜等の赤色系の色を有する粘膜の場合には、赤色系の病変領域のデータは正常な粘膜領域のクラスタから彩度方向に逸脱したデータとして得られるため、これらのデータを良好に検出できる。しかしながら、小腸粘膜や大腸粘膜等の黄色系の色を有する粘膜の場合、正常な粘膜領域のクラスタから彩度方向に逸脱したデータには、赤色系の病変領域だけでなく、正常な黄色系の粘膜領域のデータが含まれる。このため、正常な粘膜領域を病変領域として誤検出する場合があった。
本発明は、上記に鑑み為されたものであって、体腔内画像から病変領域を精度良く検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、体腔内を撮像した体腔内画像から生体組織領域を抽出する抽出手段と、前記生体組織領域を構成する画素の所定の色要素の値をもとに、前記体腔内画像から病変領域を検出するための前記色要素の判定基準を作成する判定基準作成手段と、前記判定基準を用い、前記体腔内画像から病変領域を検出する病変領域検出手段と、を備えることを特徴とする。
この態様にかかる画像処理装置によれば、体腔内画像に映る生体組織領域を構成する画素の所定の色要素の値をもとに、この体腔内画像から病変領域を検出するための色要素の判定基準を適応的に作成することができる。そして、作成した判定基準を用いて体腔内画像から病変領域を検出することができる。したがって、体腔内画像から病変領域を精度良く検出することができる。
また、本発明の別の態様にかかる画像処理方法は、体腔内を撮像した体腔内画像から生体組織領域を抽出する抽出工程と、前記生体組織領域を構成する画素の所定の色要素の値をもとに、前記体腔内画像から病変領域を検出するための前記色要素の判定基準を作成する判定基準作成工程と、前記判定基準作成工程で作成された判定基準を用い、前記体腔内画像から病変領域を検出する病変領域検出工程と、を含むことを特徴とする。
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、体腔内を撮像した体腔内画像から生体組織領域を抽出する抽出ステップと、前記生体組織領域を構成する画素の所定の色要素の値をもとに、前記体腔内画像から病変領域を検出するための前記色要素の判定基準を作成する判定基準作成ステップと、前記判定基準を用い、前記体腔内画像から病変領域を検出する病変領域検出ステップと、を実行させることを特徴とする。
本発明によれば、体腔内画像から病変領域を精度良く検出することができる。
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、撮像機の一例として消化管内を移動するカプセル内視鏡を用い、このカプセル内視鏡が被検者の消化管内を移動しながら連続的に撮像した一連の体腔内画像を処理する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、実施の形態1の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検者1内部の画像(体腔内画像)を撮像するカプセル内視鏡3、カプセル内視鏡3から無線送信される体腔内画像を受信する受信装置5、受信装置5によって受信された体腔内画像をもとに、カプセル内視鏡3によって撮像された体腔内画像を処理して表示する画像処理装置10等で構成される。受信装置5と画像処理装置10との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)7が使用される。
カプセル内視鏡3は、撮像機能や無線機能等を具備するものであって、被検者1の口から飲み込まれて被検者1内部に導入され、消化管内を移動しながら逐次体腔内画像を撮像する。そして、撮像した体腔内画像を体外に無線送信する。ここで、カプセル内視鏡3によって撮像される体腔内画像は、画像内の各画素位置においてR(赤),G(緑),B(青)の各色成分に対応する画素値(RGB値)を持つカラー画像である。
受信装置5は、被検者1内におけるカプセル内視鏡3の通過経路に対応する体表上の位置に分散配置される受信用アンテナA1〜Anを備える。そして、受信装置5は、各受信用アンテナA1〜Anを介してカプセル内視鏡3から無線送信される画像データを受信する。この受信装置5は、可搬型記録媒体7の着脱が自在に構成されており、受信した画像データを可搬型記録媒体7に逐次保存する。このようにして、カプセル内視鏡3が被検者1内部を撮像した一連の体腔内画像は、受信装置5によって時系列順に可搬型記録媒体7に蓄積され、保存される。
画像処理装置10は、カプセル内視鏡3によって撮像された一連の体腔内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置10は、可搬型記録媒体7の着脱が自在に構成されており、可搬型記録媒体7に保存された一連の体腔内画像を処理し、例えばLCDやELディスプレイ等のディスプレイに時系列順に順次表示する。
図2は、実施の形態1の画像処理装置10の機能構成を説明するブロック図である。本実施の形態では、画像処理装置10は、画像取得部11と、入力部12と、表示部13と、記録部14と、演算部15と、装置各部を制御する制御部21とを備える。
画像取得部11は、カプセル内視鏡3によって撮像されて受信装置5によって可搬型記録媒体7に保存された一連の体腔内画像を取得するものであり、例えば、可搬型記録媒体7を着脱自在に装着し、装着した可搬型記録媒体7に蓄積された体腔内画像の画像データを読み出して取得する。この画像取得部11は、例えば、可搬型記録媒体7の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡3によって撮像された一連の体腔内画像の取得は、可搬型記録媒体7を用いた構成に限定されるものではなく、例えば、画像取得部11の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡3によって撮像された一連の体腔内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体7の代わりに別途サーバを設置し、このサーバに一連の体腔内画像を予め保存しておく構成としてもよい。この場合には、画像取得部11を、サーバと接続するための通信装置等で構成し、この画像取得部11を介してサーバに接続して、サーバから体腔内画像を取得する。
入力部12は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部21に出力する。表示部13は、LCDやELディスプレイ等の表示装置によって実現されるものであり、制御部21の制御によって、体腔内画像の表示画面を含む各種画面を表示する。
記録部14は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、読み書き可能なメモリカードやUSBメモリ等の可搬型の記録媒体およびその読取装置等によって実現されるものである。この記録部14には、画像処理装置10を動作させ、この画像処理装置10が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。また、体腔内画像中の病変領域を検出するための画像処理プログラム141が記録される。
演算部15は、CPU等のハードウェアによって実現され、画像取得部11によって取得される一連の体腔内画像を処理し、各体腔内画像中に映る病変領域を検出するための種々の演算処理を行う。実施の形態1では、例えば、出血や発赤等の赤色の色特性を有する赤色系の病変領域を検出する。この演算部15は、変換手段としての変換部16と、抽出手段としての抽出部17と、判定基準作成手段としての判定基準作成部18と、病変領域検出手段としての病変領域検出部19とを含む。
変換部16は、体腔内画像を色要素の一例である色相と彩度とで構成される色平面に変換する。抽出部17は、体腔内画像から生体組織領域の一例である粘膜領域を抽出する。判定基準作成部18は、抽出部17によって抽出された粘膜領域の色相および彩度をもとに、病変領域を検出するための判定基準を作成する。実施の形態1では、出血や発赤等の赤色系の病変領域を検出するための判定基準を作成する。この判定基準作成部18は、色相閾値算出部181と、彩度閾値算出部182とを含む。色相閾値算出部181は、粘膜領域の色相および彩度をもとに、色相方向の判定閾値を算出する。彩度閾値算出部182は、粘膜領域の色相および彩度をもとに、彩度方向の判定閾値を算出する。病変領域検出部19は、変換部16によって変換された色平面において、判定基準作成部18によって作成された判定基準を用いて体腔内画像から病変領域を検出する。
制御部21は、CPU等のハードウェアによって実現される。この制御部21は、画像取得部11から入力される画像データや入力部12から入力される操作信号、記録部14に記録されるプログラムやデータ等に基づいて画像処理装置10を構成する各部への指示やデータの転送等を行い、画像処理装置10全体の動作を統括的に制御する。
図3は、実施の形態1の画像処理装置10が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15が記録部14に記録された画像処理プログラム141を実行することにより実現される。
図3に示すように、演算部15は先ず、一連の体腔内画像を取得する(ステップa1)。ここで、演算部15は、制御部21を介し、画像取得部11によって可搬型記録媒体7から読み出された一連の体腔内画像の画像データを取得する。取得した各画像の画像データは、その時系列順序を示す画像番号とともに記録部14に記録され、任意の画像番号の画像データを読み込み可能な状態となる。なお、可搬型記録媒体7に記録された一連の体腔内画像のうちの一部を取得する構成としてもよく、取得する体腔内画像は適宜選択できる。
続いて、ステップa1で取得して記録部14に記録された一連の体腔内画像を1枚ずつ順次読み出す。そして、読み出した体腔内画像を処理対象として、先ず変換部16が、色平面変換処理を行う(ステップa3)。続いて、抽出部17が、粘膜領域抽出処理を行う(ステップa5)。続いて、判定基準作成部18が、判定基準作成処理を行う(ステップa7)。そして、病変領域検出部19が、病変領域検出処理を行う(ステップa9)。
その後、演算部15が、処理対象の体腔内画像に対する病変領域の検出結果を出力する(ステップa11)。後述するように、病変領域検出部19は、病変領域を示すラベルデータを生成する。演算部15は、例えば、このラベルデータをもとに処理対象の体腔内画像から検出された病変領域を画像化する等して、制御部21を介して表示部13に表示出力させる。
そして、演算部15は、ステップa1で取得した全ての体腔内画像を処理対象としてステップa3〜ステップa11の処理を行ったか否かを判定し、未処理の体腔内画像があれば(ステップa13:No)、処理対象の体腔内画像を未処理の体腔内画像に変更してステップa3に戻り、上記した処理を行う。一方、全ての体腔内画像を処理した場合には(ステップa13:Yes)、画像処理装置10の演算部15での処理を終了する。
なお、ここでは、複数の体腔内画像で構成される一連の体腔内画像を取得して各体腔内画像からそれぞれ病変領域を検出する場合を説明したが、ステップa1で取得する体腔内画像は1枚であってもよく、取得した1枚の体腔内画像から病変領域を検出することとしてもよい。
次に、図3のステップa3〜ステップa9の各処理について、順次説明する。なお、以下では、各処理で処理対象とする体腔内画像を「処理対象画像」と呼ぶ。先ず、図3のステップa3で変換部16が行う色平面変換処理について説明する。図4は、色平面変換処理の詳細な処理手順を示すフローチャートである。
図4に示すように、色平面変換処理では、変換部16は先ず、処理対象画像を構成する各画素のRGB値を、色差信号であるUV値に変換する(ステップb1)。RGB値のUV値への変換は、例えば、次式(1),(2)に従って行う。
U=−0.168×R−0.331×G+0.500×B ・・・(1)
V=0.500×R−0.418×G+0.081×B ・・・(2)
ここで、式(1),(2)に示すように、UV値は、以下のような特性を有する。すなわち、U値は、青みを表す色差信号であり、その値が大きくなるほど青みが強くなる。一方V値は、赤みを表す色差信号であり、その値が大きくなるほど赤みが強くなる。
なお、カプセル内視鏡3は、数万枚以上という大量の画像枚数の体腔内画像を撮像する。このため、体腔内画像は、通常JPEGやMPEG等の圧縮符号化方式によって圧縮されて記録される。これらの圧縮符号化方式では、符号化処理として、画像のRGB値を輝度信号(Y)と色差信号(UV)とからなるYUV値に変換する処理を行う。そして、記録された符号化データを画像化してRGB値を得る際の復号化処理では、符号化処理と逆の処理を行い、YUV値をRGB値に変換する。そこで、このような圧縮符号化方式で圧縮された体腔内画像を扱う場合には、色平面変換処理において、復号化処理の際に得られる各画素のUV値を用いることとしてもよい。この場合には、画像化後のRGB値からUV値を算出する必要がないためステップb1の処理が不要となり、全体として処理の高速化が図れる。
続いて、図4に示すように、変換部16は、各画素のUV値を色相および彩度で構成される色平面に変換する(ステップb3)。そして、図3のステップa3にリターンし、その後ステップa5に移行する。図5は、UV値に基づく色相および彩度の算出原理を説明する模式図であり、図5において、横軸をU値、縦軸をV値とした2次元色平面を示している。例えば、体腔内画像を構成する1つの画素に着目し、この画素(注目画素)のUV値が点P1で表されるとする。この場合、注目画素の色相は、2次元色平面(UV)の原点P0と注目画素のUV値によって定まる点P1とを結んだ直線と、横軸(U)とのなす角度Hに相当する。一方、注目画素の彩度は、原点P0から点P1までの距離Sに相当する。
実際には、色相(以下、色相Hと表記する。)は、各画素のUV値をもとに、次式(3)に従って算出できる。
Figure 2010187756
一方、彩度(以下、彩度Sと表記する。)は、各画素のUV値をもとに、次式(4)に従って算出できる。
Figure 2010187756
変換部16は、式(3),(4)に従い、各画素について色相Hの値および彩度Sの値を算出することによって、処理対象画像を色相Hおよび彩度Sで構成される色平面(以下、適宜「HS色平面」と呼ぶ。)に変換する。
なお、ここでは、処理対象画像を画素単位で色相Hおよび彩度Sに変換する方法を示したが、画素単位で変換を行う場合、変換対象のデータ数が多く処理負荷が大きい。そこで、処理対象画像を所定サイズの矩形ブロックに分割し、矩形ブロック毎に各矩形ブロックを構成する画素のUV値の平均値(平均UV値)を算出する構成としてもよい。そして、算出した矩形ブロック毎の平均UV値を色相Hおよび彩度Sの値に変換することとしてもよい。これによれば、処理負荷の低減が図れる。
あるいは、矩形ブロックに分割するのではなく、処理対象画像内をエッジに基づいて領域分割し、分割した領域毎に平均UV値を算出する構成としてもよい。このように処理対象画像のエッジを考慮して領域分割を行えば、単純に矩形ブロックに分割する場合と比べて、小さな病変領域等の検出精度を高めることができる。
具体的には、例えば、比較的画像の構造情報を表すG値に対し、あるいは次式(5)で算出される画像の輝度信号(Y)に対して、既に公知のsobelフィルタ等を用いたエッジ検出を行う。そして、エッジ検出結果をもとに、既に公知の分水嶺(watershed)アルゴリズム(参考:Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence,Vol.13,No.6,pp.583-598,June 1991.)を用いて処理対象画像を領域分割し、分割した領域毎に平均UV値を算出する。そして、領域毎の平均UV値を色相Hおよび彩度Sの値に変換することとしてもよい。
Y=0.299×R+0.587×G+0.114×B ・・・(5)
また、ここでは、UV値に変換した後に色相Hおよび彩度Sで構成されるHS色平面に変換する方法を示したが、他の表色系を用いて色相Hおよび彩度SのHS色平面に変換することとしてもよい。例えばL*a*b*変換(参考:CG−ARTS協会,ディジタル画像処理,P62〜P63)によって、RGB値からa*b*値を求める。そして、a*をV値として扱い、b*をU値として扱うことによって、色相Hおよび彩度Sで構成されるHS色平面に変換することとしてもよい。
また、UV値を算出せずに、例えばHSI変換(参考:CG−ARTS協会,ディジタル画像処理,P64〜P68)を用い、RGB値を色相Hおよび彩度Sの値に直接変換することとしてもよい。
次に、図3のステップa5で抽出部17が行う粘膜領域抽出処理について説明する。カプセル内視鏡3により撮像された体腔内画像には、粘膜の他に、体腔内を浮遊する便等の内容物や泡等が映る。粘膜領域抽出処理では、この粘膜領域以外の泡領域および内容物領域を除外し、粘膜領域を抽出する。図6は、粘膜領域抽出処理の詳細な処理手順を示すフローチャートである。
図6に示すように、粘膜領域抽出処理では、抽出部17は先ず、泡領域を判別する(ステップc1)。この泡領域の判別は、例えば、特開2007−313119公報に開示されている公知技術を用いて実現できる。手順としては先ず、処理対象画像のG値をもとに画素のエッジ強度を算出する。そして、算出したエッジ強度と、泡の特徴をもとに予め設定された泡モデルとの相関値を算出し、泡モデルとの相関が高い部分を泡領域として検出する。なお、適用可能な技術はこれに限定されるものではなく、泡領域を判別する手法を適宜用いることができる。
続いて、抽出部17は、ステップc1において泡領域と判別されなかった処理対象画像中の画素のHS色平面でのデータをクラスタリング処理する(ステップc3)。クラスタリングは、特徴空間内のデータ分布を、データ間の類似度をもとにクラスタと呼ばれる塊に分ける手法である。例えば、泡領域と判別されなかった処理対象画像中の画素のHS色平面でのデータに対し、K-means法等の公知の手法(参考:CG−ARTS協会,ディジタル画像処理,P232)を用いてクラスタリング処理を行う。ここでは、HS色平面におけるデータ間の距離が類似度に相当する。
なお、K-means法では、あらかじめ分割するクラスタ数Kをパラメータとして指定する必要があり、指定したクラスタ数Kによってクラスタリングの精度が大きく変化する。このため、高精度のクラスタリング結果を得るには、画像毎に最適なクラスタ数Kを決定する必要がある。ここでは、最適なクラスタ数Kの決定法として、クラスタ数評価値に基づいて最適クラスタ数Kを決定するアルゴリズム(参考:Chong-Wah Ngo et al,”On Clustering and Retrieval of Video Shots Through Temporal Slices Analysis,”Trans Mlt,Vol.4,No.4,pp446-458,2002)を用いることとする。ただし、適用可能なクラスタリングの手法はK-means法に限定されるものではなく、他のクラスタリングの手法を用いてもよい。
続いて、図6に示すように、抽出部17は、クラスタリングの結果をもとに各クラスタに属するデータの平均値を算出し、算出した平均値を対応するクラスタの中心(H,S)とする(ステップc5)。なお、i=1,・・・,Kであり、Kはクラスタ数である。
続いて、抽出部17は、クラスタ毎に、内容物領域に属するデータであるか粘膜領域に属するデータであるかの判別を行う(ステップc7)。そして、抽出部17は、粘膜領域に属すると判別されたデータに対応する画素を粘膜領域として抽出する(ステップc9)。そして、図3のステップa5にリターンし、その後ステップa7に移行する。
ここで、粘膜や内容物の色は、それぞれ血液や胆汁の吸収特性に基づいており、これらの吸収波長は短波長側に偏っている。このため、粘膜領域や内容物領域に属するデータは、図5に示す赤色から黄色の色相範囲HRangeに分布すると推定できる。
図7は、図5に示した色相範囲HRangeにおける粘膜領域および内容物領域に属するデータの分布例を示す模式図である。粘膜領域と内容物領域では、RGB値の比率が大きく異なる。これは、粘膜に存在する血液の構成成分であるヘモグロビンの吸収波長がG値やB値を形成する中波長から短波長の帯域にあるのに対し、便等の内容物領域における胆汁の色素成分であるビリルビンの吸収波長がB値を形成する短波長の帯域にあるためである。このため、ほとんどの場合、粘膜領域はG値やB値に対して比較的R値が高い赤色系、内容物領域はB値に対して比較的R値やG値が高い黄色系の色になる。そしてこれは、色相Hの差として表れるため、図7中に破線で囲んで示すように、色相Hにおいて、粘膜領域に属するデータC1と内容物領域に属するデータC3とが分離する。そこで、この粘膜領域に属するデータC1と内容物領域に属するデータC3とを判別するための図7中に一点鎖線で示す判別閾値HTを事前に設定しておく。そして、抽出部17は、ステップc5で算出した各クラスタの中心Hを閾値Hで閾値処理し、H<Hであれば、そのクラスタに属するデータを粘膜領域に属するデータと判別する。一方、H≧Hの場合には、抽出部17は、そのクラスタに属するデータを内容物領域に属するデータと判別する。
次に、図3のステップa7で判定基準作成部18が行う判定基準作成処理について説明する。この判定基準作成処理では、粘膜領域として抽出した画素のHS色平面でのデータの分布(以下、「粘膜領域分布」と呼ぶ。)の中心をもとに、HS色平面においてこの中心からどの方向に向けてどの程度逸脱したデータを病変領域に属するデータとするかを判定するための判定基準を作成する。図8は、実施の形態1における判定基準作成処理の詳細な処理手順を示すフローチャートである。
図8に示すように、判定基準作成処理では、判定基準作成部18は先ず、図6のステップc9で粘膜領域分布に属すると判別されたデータの平均値を算出し、算出した平均値をその粘膜領域分布の中心(粘膜領域分布中心)の色相HNenおよび彩度SNenとする(ステップd1)。
続いて、判定基準作成部18の彩度閾値算出部182が、病変領域を検出するための彩度方向(彩度Sの方向)の判定閾値TSを算出する(ステップd3)。そして、色相閾値算出部181が、病変領域を検出するための色相方向(色相Hの方向)の判定閾値THを算出する(ステップd5)。上記したように、実際に体腔内画像に映る粘膜領域には、小腸粘膜や大腸粘膜等の黄色系の色を有する粘膜領域もあれば、胃粘膜等の赤色系の色を有する粘膜領域もある。実施の形態1では、検出の対象とする病変領域は赤色系の病変領域であるので、粘膜領域が、病変領域の色特性と類似する赤色系の粘膜領域の場合の色相方向の判定閾値および彩度方向の判定閾値が、黄色系の粘膜領域の場合の色相方向の判定閾値および彩度方向の判定閾値よりも小さくなるように各判定閾値を算出する。
図9は、彩度方向の判定閾値TSの算出原理を説明する説明図である。ここで、色相Hが黄色系の粘膜領域分布に対し、彩度方向に逸脱したデータが存在したとする。この場合、これらのデータは胆汁等の消化液を通して黄色く撮像された正常な粘膜である可能性が高い。色相Hが黄色系の場合、色相方向に逸脱していたとしても、赤色系の病変領域の特性に近づかないためである。一方、色相Hが赤色系の粘膜領域分布に対し、彩度方向に逸脱したデータが存在したとする。この場合、これらのデータは赤色系の病変領域である可能性が高い。
そこで、粘膜領域分布中心の色相HNenが大きいほど、換言すれば、赤色系の粘膜領域分布であるほどその値が小さくなるように、彩度方向の判定閾値TSを算出する。すなわち、赤色系の粘膜領域分布に対しては適用する判定閾値TSを小さくすることで検出感度を上げている。一方、黄色系の粘膜領域分布に対しては、適用する判定閾値TSを大きくし、誤検出を抑制している。例えば、図9に示すように、粘膜領域分布32の判定閾値TSは、色相HNenの値が粘膜領域分布32よりも小さい粘膜領域分布31の判定閾値TSよりも小さくなるように算出される。さらに、粘膜領域分布33の判定閾値TSは、色相HNenの値が粘膜領域分布33よりも小さい粘膜領域分布32の判定閾値TSよりも小さくなるように算出される。
さらに、彩度Sが赤色系の粘膜領域分布に対し、彩度方向に逸脱したデータが存在したとする。この場合、彩度Sが大きくなるほど、相対的に彩度方向への僅かな逸脱であっても赤色病変の可能性が高い。そこで、粘膜領域分布中心の彩度SNenが大きいほどその値が小さくなるように、彩度方向の判定閾値TSを算出する。例えば、図9に示すように、粘膜領域分布34の判定閾値TSは、彩度SNenの値が粘膜領域分布34よりも小さい粘膜領域分布31の判定閾値TSよりも小さくなるように算出される。
この彩度方向の判定閾値TSの算出式を次式(6)に示す。次式(6)に示すように、彩度方向の判定閾値TSの算出式は、例えば粘膜領域分布中心の色相HNenおよび彩度SNenと、予め設定される所定の係数Th1,Ts1とを用いた減少関数で表され、彩度方向の判定閾値TSは、粘膜領域分布中心の色相HNenが大きいほど小さく、且つ粘膜領域分布中心の彩度SNenが大きいほど小さくなるように算出される。図10は、粘膜領域分布中心の彩度SNenおよび彩度SNenをもとに実際に次式(6)で算出される彩度方向の判定閾値TSのデータ例をグラフ化した図である。
S=(1/(HNen+1))×Th1−SNen×Ts1 ・・・(6)
図11は、色相方向の判定閾値THの算出原理を説明する説明図であり、図9と同じ4つの粘膜領域分布31〜34を示している。色相Hが黄色系の粘膜領域分布を基準として赤色系の粘膜に属するデータと比較した場合と、赤色系の粘膜領域分布を基準として赤色系の粘膜に属するデータと比較した場合とでは、黄色系の粘膜領域分布を基準とした場合の方が相対的な色相方向への逸脱が大きくなる。このため、粘膜領域分布を基準としてデータの逸脱を判定し、逸脱がある閾値を超えたデータを病変と判定する場合において、同一の判定基準を用いてある色相Hと彩度Sを有するデータの逸脱を判定すると、黄色系の粘膜領域分布および赤色系の粘膜領域分布のいずれを基準として用いるかによって判定結果が大きく異なる。そこで、粘膜領域分布中心の色相HNenが大きいほど、換言すれば、赤色系の粘膜領域分布であるほどその値が小さくなるように、色相方向の判定閾値THを算出する。例えば、図11に示すように、粘膜領域分布32の判定閾値THは、色相HNenの値が粘膜領域分布32よりも小さい粘膜領域分布31の判定閾値THよりも小さくなるように算出される。さらに、粘膜領域分布33の判定閾値THは、色相HNenの値が粘膜領域分布33よりも小さい粘膜領域分布32の判定閾値THよりも小さくなるように算出される。
さらに、彩度Sが赤色系の粘膜領域分布に対し、色相方向に逸脱したデータが存在したとする。この場合、彩度Sの値が大きくなるほど、相対的に僅かな色相方向の逸脱であっても赤色病変の可能性が高くなり、病変領域として検出すべきである。そこで、粘膜領域分布中心の彩度SNenが大きいほどその値が小さくなるように、色相方向の判定閾値THを算出する。例えば、図11に示すように、粘膜領域分布34の判定閾値THは、彩度SNenの値が粘膜領域分布34よりも小さい粘膜領域分布31の判定閾値THよりも小さくなるように算出される。
この色相方向の判定閾値THの算出式を次式(7)に示す。次式(7)に示すように、色相方向の判定閾値THの算出式は、例えば粘膜領域分布中心の色相HNenおよび彩度SNenと、予め設定される所定の係数Th2,Ts2とを用いた減少関数で表され、色相方向の判定閾値THは、粘膜領域分布中心の色相HNenが大きいほど小さく、且つ粘膜領域分布中心の彩度SNenが大きいほど小さくなるように算出される。図12は、粘膜領域分布中心の彩度SNenおよび彩度SNenをもとに実際に次式(6)で算出される色相方向の判定閾値THのデータ例をグラフ化した図である。
H=(1/(HNen+1))×Th2−SNen×Ts2 ・・・(7)
そして、判定基準作成部18は、色相方向の判定基準HThreshおよび彩度方向の判定基準SThreshを作成し、処理対象画像中の病変領域を検出するための判定基準とする(ステップd7)。そして、図3のステップa7にリターンし、その後ステップa9に移行する。具体的には、色相方向の判定閾値TH、彩度方向の判定閾値TSを用い、次式(8)に従って色相方向の判定基準HThreshを作成するとともに、次式(9)に従って彩度方向の判定基準SThreshを作成する。
Thresh=HNen+TH ・・・(8)
Thresh=SNen+TS ・・・(9)
例えば、図9や図11に示すように、粘膜領域分布31の場合は、値311の判定基準HThreshが作成されるとともに、値313の判定基準SThreshが作成される。粘膜領域分布32の場合は、値321の判定基準HThreshが作成されるとともに、値323の判定基準SThreshが作成される。粘膜領域分布33の場合は、値331の判定基準HThreshが作成されるとともに、値333の判定基準SThreshが作成される。粘膜領域分布34の場合は、値341の判定基準HThreshが作成されるとともに、値343の判定基準SThreshが作成される。
次に、図3のステップa9で病変領域検出部19が行う病変領域検出処理について説明する。病変領域検出部19は、図3のステップa5の粘膜領域抽出処理で粘膜領域に属すると判別されたデータをステップa7の判定基準作成処理で作成された判定基準を用いて判定し、処理対象画像から病変領域を検出する。実際には、図6のステップc5で算出され、ステップc7で粘膜領域に属すると判別されたデータのクラスタの中心(H,S)と判定基準HThreshおよびSThreshとを用い、病変領域か否かを判定する。図13は、病変領域検出処理の詳細な処理手順を示すフローチャートである。
図13に示すように、病変領域検出処理では、病変領域検出部19は先ず、粘膜領域に属するデータを判定対象データとする(ステップe1)。そして、病変領域検出部19は、HをHThreshと比較し、HThresh≦Hであれば(ステップe3:Yes)、ステップe7に移行する。一方、HThresh≦Hでない場合には(ステップe3:No)、病変領域検出部19は、SをSThreshと比較する。そして、SThresh≦Sであれば(ステップe5:Yes)、ステップe7に移行する。そして、ステップe7では、病変領域検出部19は、判定対象データを病変領域に属するデータと判定する。すなわち、病変領域検出部19は、粘膜領域に属するデータのうち、HThresh≦HまたはSThresh≦Sであるデータについて、病変領域に属するデータと判定する。
また、病変領域検出部19は、HThresh≦Hでない場合であって(ステップe3:No) 、SThresh≦Sでない場合には(ステップe5:No)、判定対象データを正常な粘膜領域に属するデータと判定する(ステップe9)。すなわち、病変領域検出部19は、粘膜領域に属するデータのうち、HThresh>Hであり且つSThresh>Sのデータについては、正常な粘膜領域に属するデータと判定する。
図14は、1枚の体腔内画像について行った病変領域の検出結果の一例を示す模式図である。この図14中において、処理対象の体腔内画像について算出した粘膜領域分布中心P5の色相HNenおよび彩度SNenと、この粘膜領域分布中心P5をもとに算出した彩度方向の判定閾値TSおよび色相方向の判定閾値THを示している。そして、色相方向の判定閾値THをもとに算出した判定基準HThreshを一点鎖線で、彩度方向の判定閾値TSをもとに算出した判定基準SThreshを二点鎖線で示している。図14の例では、判定基準HThreshを示す一点鎖線と判定基準SThreshを示す二点鎖線で囲まれる領域内のデータ51は正常な粘膜領域に属するデータと判定される。一方、判定基準HThreshを示す一点鎖線と判定基準SThreshを示す二点鎖線で囲まれる領域外のデータ53は病変領域に属するデータと判定される。
その後、図13に示すように、病変領域検出部19は、病変領域を示すラベルデータを生成する(ステップe11)。すなわち、病変領域検出部19は、正常な粘膜領域に属すると判定されたデータに対応する体腔内画像の画素に正常な粘膜領域を表すラベルを割り当てるとともに、病変領域に属するデータと判定されたデータに対応する体腔内画像の画素に病変領域を表すラベルを割り当ててラベルデータを生成する。そして、図3のステップa9にリターンし、その後ステップa11に移行する。
以上説明したように、実施の形態1によれば、処理対象の体腔内画像に映る粘膜領域の色相および彩度の値をもとに、処理対象の体腔内画像から病変領域を検出するための判定基準を作成することができる。具体的には、処理対象の体腔内画像から抽出した粘膜領域分布中心の色相の値が大きいほど小さく、粘膜領域分布中心の彩度の値が大きいほど小さくなるように彩度方向の判定閾値を算出し、彩度方向の判定基準を作成することができる。また、粘膜領域分布中心の色相の値が大きいほど小さく、粘膜領域分布中心の彩度の値が大きいほど小さくなるように色相方向の判定閾値を算出し、色相方向の判定基準を作成することができる。そして、作成した色相方向の判定閾値および彩度方向の判定閾値を用いて処理対象の体腔内画像から病変領域を検出することができる。したがって、体腔内画像に映る粘膜領域の色相および彩度の値に応じて判定基準を適応的に作成することができ、体腔内画像から病変領域の検出制度を向上させることができる。
なお、彩度方向の判定閾値TSの算出式は上記した式(6)に限定されるものではなく、少なくとも粘膜領域の色相をもとに彩度方向の判定閾値TSを算出すればよい。例えば、次式(10)に示すように、粘膜領域分布中心の色相HNenと、予め設定される所定の係数Th1とを用いた減少関数に従って、色相HNenが大きいほど値が小さくなるように彩度方向の判定閾値TSを算出することとしてもよい。
S=(1/(HNen+1))×Th1 ・・・(10)
また、色相方向の判定閾値THの算出式は上記した式(7)に限定されるものではなく、少なくとも粘膜領域の色相をもとに色相方向の判定閾値THを算出すればよい。例えば、次式(11)に示すように、粘膜領域分布中心の色相HNenと、予め設定される所定の係数Th2とを用いた減少関数に従って、色相HNenが大きいほど値が小さくなるように色相方向の判定閾値THを算出することとしてもよい。
H=(1/(HNen+1))×Th2 ・・・(11)
(実施の形態2)
次に、実施の形態2について説明する。図15は、実施の形態2の画像処理装置10aの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図15に示すように、画像処理装置10aは、画像取得部11と、入力部12と、表示部13と、記録部14aと、演算部15aと、画像処理装置10a全体の動作を制御する制御部21とを備える。
記録部14aには、判定基準テーブルデータ143aと、この判定基準テーブルデータ143aから読み出した判定基準を用いて体腔内画像中の病変領域を検出するための画像処理プログラム141aが記録される。
判定基準テーブルデータ143aは、彩度方向の判定閾値TSの値を彩度SNenおよび色相HNenの各値と対応付けて設定した判定閾値TSの判定基準テーブルと、色相方向の判定閾値THの値を彩度SNenおよび色相HNenの各値と対応付けて設定した判定閾値THの判定基準テーブルとを含む。
図16は、彩度方向の判定閾値TSの判定基準テーブルのデータ構成例を示す図であり、図17は、図16に示す彩度方向の判定閾値TSの判定基準テーブルをグラフ化した図である。この彩度方向の判定閾値TSの判定基準テーブルには、実施の形態1と同様の要領で、粘膜領域分布中心の色相HNenが大きいほど小さく、且つ粘膜領域分布中心の彩度SNenが大きいほど小さくなるように予め算出された複数の彩度方向の判定閾値TSが、その値を算出する際に用いた色相HNenおよび彩度SNenの組み合わせと対応付けて複数設定される。
また、図18は、色相方向の判定閾値THの判定基準テーブルのデータ構成例を示す図であり、図19は、図18に示す色相方向の判定閾値THの判定基準テーブルをグラフ化した図である。この色相方向の判定閾値THの判定基準テーブルには、実施の形態1と同様の要領で、粘膜領域分布中心の色相HNenが大きいほど小さく、且つ粘膜領域分布中心の彩度SNenが大きいほど小さくなるように予め算出された複数の色相方向の判定閾値THの値が、その値を算出する際に用いた色相HNenおよび彩度SNenの組み合わせと対応付けて複数設定される。
また、演算部15aは、変換部16と、抽出部17と、判定基準作成部18aと、病変領域検出部19とを含む。実施の形態2では、判定基準作成部18aは、判定基準テーブル読出処理手段としての判定基準テーブル読出処理部183aを含む。判定基準テーブル読出処理部183aは、粘膜領域の色相Hおよび彩度Sの値をもとに、判定基準テーブルデータ143aから対応する彩度方向の判定閾値TSおよび色相方向の判定閾値THを読み出す。
図20は、実施の形態2の画像処理装置10aが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15aが記録部14aに記録された画像処理プログラム141aを実行することにより実現される。なお、図20において、実施の形態1と同様の処理工程については、同一の符号を付する。
実施の形態2では、ステップa5の粘膜領域抽出処理の後、判定基準作成部18aが、判定基準作成処理を行う(ステップf7)。その後、ステップa9に移行する。図21は、実施の形態2における判定基準作成処理の詳細な処理手順を示すフローチャートである。
図21に示すように、実施の形態2の判定基準作成処理では、判定基準作成部18aは先ず、実施の形態1と同様にして、粘膜領域分布に属すると判別されたデータの平均値を算出し、算出した平均値をその粘膜領域分布の中心(粘膜領域分布中心)の色相HNenおよび彩度SNenとする(ステップg1)。
続いて、判定基準作成部18aの判定基準テーブル読出処理部183aが、判定基準テーブルデータ143aの彩度方向の判定閾値TSの判定基準テーブルを参照し、粘膜領域分布中心の色相HNenおよび彩度SNenをもとに対応する彩度方向の判定閾値TSを読み出す(ステップg3)。
続いて、判定基準テーブル読出処理部183aは、判定基準テーブルデータ143aの色相方向の判定閾値THの判定基準テーブルを参照し、粘膜領域分布中心の色相HNenおよび彩度SNenをもとに対応する色相方向の判定閾値THを読み出す(ステップg5)。
そして、判定基準作成部18aは、実施の形態1と同様の手法で色相方向の判定基準HThreshおよび彩度方向の判定基準SThreshを算出して処理対象画像中の病変領域を検出するための判定基準を作成する(ステップg7)。このとき、読み出した色相方向の判定閾値THおよび彩度方向の判定閾値TSを用いる。
以上説明したように、実施の形態2によれば、色相HNenおよび彩度SNenの組み合わせと対応付けて色相方向の判定閾値THおよび彩度方向の判定閾値TSを予め設定しておくことができる。したがって、実施の形態1と同様の効果を奏することができるとともに、色相方向の判定閾値THおよび彩度方向の判定閾値TSの各値をその都度算出する必要がなく、処理負荷を軽減できる。
なお、上記した実施の形態2では、判定基準テーブルデータ143aとして、複数の彩度方向の判定閾値TSの値が、その値を算出する際に用いた色相HNenおよび彩度SNenの組み合わせと対応付けて設定された判定閾値TSの判定基準テーブルと、複数の色相方向の判定閾値THの値が、その値を算出する際に用いた色相HNenおよび彩度SNenの組み合わせと対応付けて設定された判定閾値THの判定基準テーブルとを用意する構成とした。これに対し、例えば実施の形態1の変形例として示した式(10)に従って彩度方向の判定閾値TSを算出し、その値を算出する際に用いた色相HNenの値と対応付けて設定した判定閾値TSの判定基準テーブルを用意する構成としてもよい。この場合には、判定基準テーブル読出処理部183aは、粘膜領域分布中心の色相HNenをもとに対応する彩度方向の判定閾値TSを読み出す。また、上記した式(11)に従って色相方向の判定閾値THの値を算出し、その値を算出する際に用いた色相HNenの値と対応付けて設定した判定閾値THの判定基準テーブルを用意する構成としてもよい。この場合には、判定基準テーブル読出処理部183aは、粘膜領域分布中心の色相HNenをもとに対応する色相方向の判定閾値THを読み出す。
(実施の形態3)
次に、実施の形態3について説明する。図22は、実施の形態3の画像処理装置10bの機能構成を説明するブロック図である。なお、実施の形態1または実施の形態2で説明した構成と同一の構成については、同一の符号を付する。図22に示すように、画像処理装置10bは、画像取得部11と、入力部12と、表示部13と、記録部14bと、演算部15bと、画像処理装置10b全体の動作を制御する制御部21とを備える。
記録部14bには、実施の形態2で説明した判定基準テーブルデータ143aが記録される。また、記録部14bには、体腔内画像に映る臓器種類を判別し、判別した臓器種類毎に体腔内画像を抽出して病変領域を検出するための画像処理プログラム141bが記録される。
また、演算部15bは、体腔内画像抽出手段としての体腔内画像抽出部20bと、変換部16と、抽出部17と、判定基準作成部18bと、病変領域検出部19とを含む。体腔内画像抽出部20bは、一連の体腔内画像の中から同一の臓器種類と判別された体腔内画像を抽出する。この体腔内画像抽出部20bは、各体腔内画像に映る臓器種類を判別する臓器種類判別手段としての臓器種類判別部201bを含む。また、実施の形態3では、判定基準作成部18bは、判定基準テーブル読出処理部183bを含み、臓器種類毎に判定基準を作成する。
図23は、実施の形態3の画像処理装置10bが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15bが記録部14bに記録された画像処理プログラム141bを実行することにより実現される。
図23に示すように、演算部15bは先ず、実施の形態1と同様の手順で一連の体腔内画像を取得する(ステップh1)。続いて、臓器種類判別部201bが、取得した一連の体腔内画像を構成する各体腔内画像に映る臓器種類を判別する(ステップh3)。ここでは、各体腔内画像に映る臓器種類として例えば、食道、胃、小腸および大腸の4種類を判別する。
具体的な臓器種類の判別方法としては、適宜公知の技術を用いることができる。例えば、特開2006−288612号公報に開示されている技術を用い、体腔内画像の平均R値,G値,B値をもとに判別する。具体的には、事前に臓器種類毎の平均R値,G値,B値の数値範囲を設定しておく。実施の形態1では、判別対象とする臓器は食道、胃、小腸および大腸の4種類であるので、食道、胃、小腸および大腸の平均R値,G値,B値の数値範囲をそれぞれ設定しておく。そして、体腔内画像の平均R値,G値,B値が食道の平均R値,G値,B値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を食道と判別する。体腔内画像の平均R値,G値,B値が胃の平均R値,G値,B値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を胃と判別する。体腔内画像の平均R値,G値,B値が小腸の平均R値,G値,B値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を小腸と判別する。体腔内画像の平均R値,G値,B値が大腸の平均R値,G値,B値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を大腸と判別する。なお、画像中に映る臓器種類を判別できればここで説明した方法に限らず、いずれの方法を用いてもよい。
続いて、判別された食道、胃、小腸および大腸の4種類の臓器種類を順次処理臓器種類としてループAの処理を行う(ステップh5〜ステップh17)。
すなわち、先ず、体腔内画像抽出部20bが、一連の体腔内画像の中から、臓器種類が処理臓器種類と判別された体腔内画像を処理臓器画像として抽出する(ステップh7)。そして、ステップh7で抽出された処理臓器画像を記録部14bから1枚ずつ順次読み出す。そして、読み出した処理臓器画像について、先ず変換部16が、実施の形態1と同様の手順で色平面変換処理を行う(ステップh9)。続いて、抽出部17が、実施の形態1と同様の手順で粘膜領域抽出処理を行う(ステップh11)。続いて、ステップh7で抽出した処理臓器画像を全て処理したか否かを判定する。未処理の処理臓器画像があれば(ステップh13:No)、ステップh9に戻り、この未処理の処理臓器画像についてステップh9〜ステップh11の処理を行う。一方、抽出した処理臓器画像を全て処理した場合には(ステップh13:Yes)、続いて判定基準作成部18bが、判定基準作成処理を行う(ステップh15)。
そして、各臓器種類を処理臓器種類としてループAの処理を行い、臓器種類毎に判定基準を作成したならば、ステップh1で取得して記録部14bに記録された一連の体腔内画像を1枚ずつ順次読み出す。そして、読み出した体腔内画像を処理対象とし、病変領域検出部19が、病変領域検出処理を行う(ステップh19)。この病変領域検出処理では、色相方向の判定基準および彩度方向の判定基準として、ステップh15の判定基準作成処理で処理対象画像の臓器種類について算出した値を用いる。処理手順については、実施の形態1と同様の処理手順で実現できる。
その後、演算部15bが、処理対象の体腔内画像に対する病変領域の検出結果を出力する(ステップh21)。そして、演算部15bは、ステップh1で取得した全ての体腔内画像を処理対象としてステップh19〜ステップh21の処理を行ったか否かを判定し、未処理の体腔内画像があれば(ステップh23:No)、処理対象画像を未処理の体腔内画像に変更してステップh19に戻り、上記した処理を行う。一方、全ての体腔内画像を処理した場合には(ステップh23:Yes)、画像処理装置10bの演算部15bでの処理を終了する。
次に、図23のステップh15の判定基準作成処理について説明する。図24は、実施の形態3における判定基準作成処理の詳細な処理手順を示すフローチャートである。なお、図24において、実施の形態2と同様の処理工程については、同一の符号を付する。
図24に示すように、実施の形態3の判定基準作成処理では、判定基準作成部18bは先ず、各処理臓器画像の粘膜領域分布に属するデータの平均値を算出し、算出した平均値をその粘膜領域分布の中心(粘膜領域分布中心)の色相HNenおよび彩度SNenとする(ステップi1)。例えば、各処理臓器画像の粘膜領域分布に属する全てのデータの平均値を算出してもよいし、各処理臓器画像の粘膜領域分布それぞれからいくつかのデータを選出しし、選出したデータの平均値を算出してもよい。その後、ステップg3に移行する。
上記した実施の形態1や2では、体腔内画像毎に粘膜領域を抽出して粘膜領域分布を求め、この粘膜領域分布をもとに判定基準を作成する場合について説明した。このように体腔内画像毎に粘膜領域を抽出して粘膜領域分布を求めることとすると、例えば体腔内画像全体に出血があるような場合、出血部のデータを多く含んだ状態で粘膜領域分布を求めることになる。このため、これら出血部のデータが、粘膜領域分布から逸脱するデータとして得られない事態が生じ、病変領域として検出できない場合があった。これに対し、実施の形態3によれば、同一の臓器種類と判別された全ての体腔内画像から抽出した粘膜領域の粘膜領域分布を用いて判定基準を作成することによって、臓器種類毎に判定基準を作成することができる。そして、作成した臓器種類毎の判定基準を該当する臓器が映る体腔内画像に対してそれぞれ適用できる。したがって、同一の臓器種類と判別された体腔内画像の中に、全体に出血があるような体腔内画像が含まれる場合であっても、画像間のばらつきを抑えてこれら出血部を病変領域として安定的に検出することができる。
また、実際の粘膜の組成は臓器毎に異なるため、臓器種類によって粘膜領域の色味が変化する。実施の形態3によれば、色味の類似した臓器種類毎に判定基準を作成することができ、病変領域を精度良く検出することができる。なお、このような色味の異なる粘膜領域の粘膜領域分布をもとに判定基準を作成すると、粘膜領域分布が色平面上で広がってしまうことになり、判定基準を適正に算出することができなくなる。
(実施の形態4)
次に、実施の形態4について説明する。図25は、実施の形態4の画像処理装置10cの機能構成を説明するブロック図である。なお、実施の形態1〜3で説明した構成と同一の構成については、同一の符号を付する。図25に示すように、画像処理装置10cは、画像取得部11と、入力部12と、表示部13と、記録部14cと、演算部15cと、画像処理装置10c全体の動作を制御する制御部21とを備える。
記録部14cには、実施の形態2で説明した判定基準テーブルデータ143aが記録される。また、記録部14cには、一連の体腔内画像からシーン変化の少ない連続画像区間を検出し、検出した連続画像区間毎に体腔内画像を抽出して病変領域を検出するための画像処理プログラム141cが記録される。
また、演算部15cは、体腔内画像抽出部20cと、変換部16と、抽出部17と、判定基準作成部18bと、病変領域検出部19とを含む。体腔内画像抽出部20cは、一連の体腔内画像の中から同一の臓器種類と判別された体腔内画像を抽出する。この体腔内画像抽出部20cは、一連の体腔内画像からシーン変化の少ない連続画像区間を検出するシーン検出手段としてのシーン検出部203cを含む。
図26は、実施の形態4の画像処理装置10cが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15cが記録部14cに記録された画像処理プログラム141cを実行することにより実現される。なお、図26において、実施の形態3と同様の処理工程については、同一の符号を付する。
図26に示すように、演算部15cは先ず、実施の形態1と同様の手順で一連の体腔内画像を取得する(ステップh1)。続いて、シーン検出部203cが、取得した一連の体腔内画像からシーン変化の少ない区間を検出し、連続画像区間とする(ステップj3)。
具体的なシーン変化の検出方法としては、適宜公知の技術を用いることができる。具体的な算出の方法としては例えば、先ず、隣接する画像間の輝度値の差を求める。そして、輝度値の差が予め設定される閾値以上の場合に大きくシーンが変化したと判定し、輝度値の差が予め設定される閾値未満であれば、シーンに変化がないまたはシーン変化が小さいと判定する。シーン検出部203cは、一連の体腔内画像を構成する各体腔内画像それぞれについて、上記の方法でシーン変化の大小を判定する。そして、シーン検出部203cは、判定結果をもとに、一連の体腔内画像からシーン変化がないまたはシーン変化が小さい区間を連続画像区間として検出する。なお、一連の体腔内画像からシーンが変化しないまたはシーン変化の小さい区間を検出できればここで説明した方法に限らず、いずれの方法を用いてもよい。
続いて、検出された連続画像区間を順次処理区間としてループBの処理を行う(ステップj5〜ステップj17)。
すなわち、先ず、体腔内画像抽出部20cが、一連の体腔内画像の中から、処理区間に属する体腔内画像を処理区間画像として抽出する(ステップj7)。そして、ステップj7で抽出された処理区間画像を記録部14cから1枚ずつ順次読み出し、ステップh9に移行する。
また、ステップj7で抽出した全ての処理区間画像についてステップh9〜ステップh11の処理を行った場合に(ステップj13:Yes)、続いて判定基準作成部18bが、判定基準作成処理を行う(ステップj15)。この判定基準作成処理は、実施の形態3と同様の処理手順で実現できるが、図24のステップi1の処理において、各処理区間画像における粘膜領域分布の全てのデータの平均値を算出し、算出した平均値をその粘膜領域分布の中心(粘膜領域分布中心)の色相HNenおよび彩度SNenとする処理を行う。
そして、各連続画像区間を処理区間としてループBの処理を行い、連続画像区間毎に判定基準を作成したならば、ステップh1で取得して記録部14cに記録された一連の体腔内画像を1枚ずつ順次読み出す。そして、読み出した体腔内画像を処理対象とし、病変領域検出部19が、病変領域検出処理を行う(ステップj19)。この病変領域検出処理では、色相方向の判定基準および彩度方向の判定基準として、ステップj15の判定基準作成処理で処理対象画像が属する連続画像区間について算出した値を用いる。処理手順については、実施の形態1と同様の処理手順で実現できる。
その後、演算部15cが、処理対象の体腔内画像に対する病変領域の検出結果を出力する(ステップj21)。そして、演算部15cは、ステップh1で取得した全ての体腔内画像を処理対象としてステップj19〜ステップj21の処理を行ったか否かを判定し、未処理の体腔内画像があれば(ステップj23:No)、処理対象画像を未処理の体腔内画像に変更してステップj19に戻り、上記した処理を行う。一方、全ての体腔内画像を処理した場合には(ステップj23:Yes)、画像処理装置10cの演算部15cでの処理を終了する。
シーンが大きく変化したということは、カプセル内視鏡が大きく移動したということであり、カプセル内視鏡が大きく移動すれば、当然撮像される臓器位置が変化する。また、上記したように、実際の粘膜の組成は臓器毎に異なる。したがって、カプセル内視鏡が大きく移動したことで撮像対象の臓器が変化した場合には、シーン変化の前後で体腔内画像に映る粘膜領域の色味が変化する。実施の形態4によれば、シーン変化の少ない連続画像区間毎に、連続画像区間に属する全ての体腔内画像から抽出した粘膜領域の粘膜領域分布を用いて判定基準を作成することができる。そして、作成した連続画像区間毎の判定基準を該当する連続画像区間に属する体腔内画像に対してそれぞれ適用することができる。したがって、連続画像区間毎に判定基準を適切に作成することができ、画像間のばらつきを抑えて病変領域を安定的に検出することができる。
なお、上記した実施の形態3では、同一の臓器種類と判別された全ての体腔内画像を処理臓器画像として抽出し、粘膜領域を抽出して判定基準を作成することとした。これに対し、同一の臓器種類と判別された体腔内画像のうちの2枚以上の所定枚数の体腔内画像を処理臓器画像として抽出する構成としてもよい。また、上記した実施の形態4では、同一の連続画像区間に属する全ての体腔内画像を処理区間画像として抽出し、粘膜領域を抽出して判定基準を作成することとした。これに対し、同一の連続画像区間に属する体腔内画像のうちの2枚以上の所定枚数の体腔内画像を処理区間画像として抽出する構成としてもよい。
また、上記した各実施の形態では、カプセル内視鏡によって撮像された体腔内画像からを病変領域を検出する場合について説明したが、処理の対象となる体腔内画像はカプセル内視鏡で撮像された画像に限定されるものではない。例えば、内視鏡等の他の医療機器によって撮像された体腔内画像を処理することとしてもよい。
また、上記した各実施の形態では、色要素を色相および彩度とし、体腔内画像から病変領域を検出するための判定基準として色相方向の判定基準と彩度方向の判定基準とを作成する場合について説明したが、本発明で適用可能な色要素は色相や彩度に限定されるものではない。例えば、体腔内画像の各画素のR値やG値、B値を色要素として、各色要素の判定基準を作成することとしてもよい。あるいは、色相や彩度に相当する他の値を色要素として用いることとしてもよい。例えば、G値をR値で除した色比データ(G/R)やB値をG値で除した色比データ(B/G)を求め、各色比データを色要素として判定基準を作成することとしてもよい。そしてこのとき、粘膜領域を構成する画素の色要素の値が、検出の対象とする病変領域の色特性と類似しているほど小さくなるように色要素の判定閾値を算出し、算出した色要素の判定閾値をもとに色要素の判定基準を作成することとしてもよい。
また、上記した実施の形態では、体腔内画像から赤色系の病変領域を検出する場合について説明したが、これに限定されるものではない。検出したい病変領域が粘膜領域の色から相対的にどの色方向に逸脱する色であるかが分かれば同様に適用できる。
画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 実施の形態1の画像処理装置の機能構成を説明するブロック図である。 実施の形態1の画像処理装置が行う処理手順を示す全体フローチャートである。 色平面変換処理の詳細な処理手順を示すフローチャートである。 UV値に基づく色相および彩度の算出原理を説明する模式図である。 粘膜領域抽出処理の詳細な処理手順を示すフローチャートである。 図5に示した色相範囲HRangeにおける粘膜領域および内容物領域に属するデータの分布例を示す模式図である。 実施の形態1における判定基準作成処理の詳細な処理手順を示すフローチャートである。 彩度方向の判定閾値の算出原理を説明する説明図である。 算出される彩度方向の判定閾値のデータ例をグラフ化した図である。 色相方向の判定閾値の算出原理を説明する説明図である。 算出される色相方向の判定閾値のデータ例をグラフ化した図である。 病変領域検出処理の詳細な処理手順を示すフローチャートである。 病変領域の検出結果の一例を示す模式図である。 実施の形態2の画像処理装置の機能構成を説明するブロック図である。 彩度方向の判定閾値の判定基準テーブルのデータ構成例を示す図である。 図16に示す彩度方向の判定閾値の判定基準テーブルをグラフ化した図である。 色相方向の判定閾値の判定基準テーブルのデータ構成例を示す図である。 図18に示す色相方向の判定閾値の判定基準テーブルをグラフ化した図である。 実施の形態2の画像処理装置が行う処理手順を示す全体フローチャートである。 実施の形態2における判定基準作成処理の詳細な処理手順を示すフローチャートである。 実施の形態3の画像処理装置の機能構成を説明するブロック図である。 実施の形態3の画像処理装置が行う処理手順を示す全体フローチャートである。 実施の形態3における判定基準作成処理の詳細な処理手順を示すフローチャートである。 実施の形態4の画像処理装置の機能構成を説明するブロック図である。 実施の形態4の画像処理装置が行う処理手順を示す全体フローチャートである。
3 カプセル内視鏡
5 受信装置
A1〜An 受信用アンテナ
7 可搬型記録媒体
10,10a,10b,10c 画像処理装置
11 画像取得部
12 入力部
13 表示部
14,14b,14b,14c 記録部
141,141a,141b,141c 画像処理プログラム
143a 判定基準テーブルデータ
15,15a,15b,15c 演算部
16 変換部
17 抽出部
18,18a,18b 判定基準作成部
181 色相閾値算出部
182 彩度閾値算出部
183a,183b 判定基準テーブル読出処理部
19 病変領域検出部
20b,20c 体腔内画像抽出部
201b 臓器種類判別部
203c シーン検出部
21 制御部
1 被検者

Claims (23)

  1. 体腔内を撮像した体腔内画像から生体組織領域を抽出する抽出手段と、
    前記生体組織領域を構成する画素の所定の色要素の値をもとに、前記体腔内画像から病変領域を検出するための前記色要素の判定基準を作成する判定基準作成手段と、
    前記判定基準を用い、前記体腔内画像から病変領域を検出する病変領域検出手段と、
    を備えることを特徴とする画像処理装置。
  2. 体腔内を連続的に撮像した一連の体腔内画像の中から、所定区間に属する少なくとも2枚以上の体腔内画像を抽出する体腔内画像抽出手段を備え、
    前記抽出手段は、前記抽出された各体腔内画像からそれぞれ生体組織領域を抽出し、
    前記判定基準作成手段は、前記抽出された各体腔内画像からそれぞれ抽出された前記生体組織領域を構成する画素の前記色要素の値をもとに、前記所定区間に属する体腔内画像から病変領域を検出するための前記色要素の判定基準を作成し、
    前記病変領域検出手段は、前記判定基準を用い、前記所定区間に属する体腔内画像から病変領域を検出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記体腔内画像抽出手段は、前記一連の体腔内画像に映る臓器種類を判別する臓器種類判別手段を備え、前記臓器種類判別手段によって同一の臓器種類と判別された区間を前記所定区間として体腔内画像を抽出することを特徴とする請求項2に記載の画像処理装置。
  4. 前記体腔内画像抽出手段は、前記一連の体腔内画像の中からシーン変化の小さい画像区間を検出するシーン検出手段を備え、前記シーン検出手段によって検出されたシーン変化の小さい画像区間を前記所定区間として体腔内画像を抽出することを特徴とする請求項2に記載の画像処理装置。
  5. 前記判定基準作成手段は、前記生体組織領域を構成する画素の前記色要素の値をもとに前記色要素の判定閾値を算出し、該算出した色要素の判定閾値をもとに前記色要素の判定基準を作成することを特徴とする請求項1に記載の画像処理装置。
  6. 前記判定基準作成手段は、前記生体組織領域を構成する画素の前記色要素の値が検出の対象とする病変領域の色特性と類似しているほど前記色要素の判定閾値を小さく算出することを特徴とする請求項5に記載の画像処理装置。
  7. 前記色要素は、色相および彩度であることを特徴とする請求項1に記載の画像処理装置。
  8. 前記体腔内画像を色相および彩度によって定まる色平面に変換する変換手段を備え、
    前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値および彩度の値をもとに、前記判定基準を作成することを特徴とする請求項7に記載の画像処理装置。
  9. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値をもとに彩度方向の判定閾値を算出し、該算出した彩度方向の判定閾値と前記生体組織領域の前記色平面における彩度の値とをもとに前記彩度方向の判定基準を作成することを特徴とする請求項8に記載の画像処理装置。
  10. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値が大きいほど前記彩度方向の判定閾値を小さく算出することを特徴とする請求項9に記載の画像処理装置。
  11. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値を用いた下記式(1)で表される減少関数に従って、前記彩度方向の判定閾値を算出することを特徴とする請求項10に記載の画像処理装置。
    S=(1/(H+1))×Th1 ・・・(1)
    (ただし、式(1)中のTSは彩度方向の判定閾値、Hは生体組織領域の色平面における色相の値、Th1は所定の係数である。)
  12. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値および彩度の値をもとに彩度方向の判定閾値を算出し、該算出した彩度方向の判定閾値と前記生体組織領域の前記色平面における色相の値および彩度の値とをもとに前記彩度方向の判定基準を作成することを特徴とする請求項8に記載の画像処理装置。
  13. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値が大きいほど前記彩度方向の判定閾値を小さく算出し、前記生体組織領域の前記色平面における彩度の値が大きいほど前記彩度方向の判定閾値を小さく算出することを特徴とする請求項12に記載の画像処理装置。
  14. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値および彩度の値を用いた下記式(2)で表される減少関数に従って、前記彩度方向の判定閾値を算出することを特徴とする請求項13に記載の画像処理装置。
    S=(1/(H+1))×Th1−S×Ts1 ・・・(2)
    (ただし、式(2)中のTSは彩度方向の判定閾値、Hは生体組織領域の色平面における色相の値、Sは生体組織領域の色平面における彩度の値、Th1,Ts1は所定の係数である。)
  15. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値をもとに色相方向の判定閾値を算出し、該算出した色相方向の判定閾値と前記生体組織領域の前記色平面における色相の値とをもとに前記色相方向の判定基準を作成することを特徴とする請求項8に記載の画像処理装置。
  16. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値が大きいほど前記色相方向の判定閾値を小さく算出することを特徴とする請求項15に記載の画像処理装置。
  17. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値を用いた下記式(3)で表される減少関数に従って、前記色相方向の判定閾値を算出することを特徴とする請求項16に記載の画像処理装置。
    H=(1/(H+1))×Th2 ・・・(3)
    (ただし、式(3)中のTHは色相方向の判定閾値、Hは生体組織領域の色平面における色相の値、Th2は所定の係数である。)
  18. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値および彩度の値をもとに色相方向の判定閾値を算出し、該算出した色相方向の判定閾値と前記生体組織領域の前記色平面における色相の値および彩度の値とをもとに前記色相方向の判定基準を作成することを特徴とする請求項8に記載の画像処理装置。
  19. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値が大きいほど前記色相方向の判定閾値を小さく算出し、前記生体組織領域の前記色平面における彩度の値が大きいほど前記色相方向の判定閾値を小さく算出することを特徴とする請求項18に記載の画像処理装置。
  20. 前記判定基準作成手段は、前記生体組織領域の前記色平面における色相の値および彩度の値を用いた下記式(4)で表される減少関数に従って、前記色相方向の判定閾値を算出することを特徴とする請求項19に記載の画像処理装置。
    H=(1/(H+1))×Th2−S×Ts2 ・・・(4)
    (ただし、式(4)中のTHは色相方向の判定閾値、Hは生体組織領域の色平面における色相の値、Sは生体組織領域の色平面における彩度の値、Th2,Ts2は所定の係数である。)
  21. 前記色要素の値と対応付けて前記色要素の判定閾値を設定した判定基準テーブルを記録する記録部と、
    前記判定基準テーブルを参照し、前記生体組織領域を構成する画素の前記色要素の値に応じた前記色要素の判定閾値を読み出す判定基準テーブル読出処理手段と、
    を備え、
    前記判定基準作成手段は、前記判定基準テーブル読出処理手段によって読み出された前記色要素の判定閾値を用いて前記色要素の判定基準を作成することを特徴とする請求項6に記載の画像処理装置。
  22. 体腔内を撮像した体腔内画像から生体組織領域を抽出する抽出工程と、
    前記生体組織領域を構成する画素の所定の色要素の値をもとに、前記体腔内画像から病変領域を検出するための前記色要素の判定基準を作成する判定基準作成工程と、
    前記判定基準作成工程で作成された判定基準を用い、前記体腔内画像から病変領域を検出する病変領域検出工程と、
    を含むことを特徴とする画像処理方法。
  23. コンピュータに、
    体腔内を撮像した体腔内画像から生体組織領域を抽出する抽出ステップと、
    前記生体組織領域を構成する画素の所定の色要素の値をもとに、前記体腔内画像から病変領域を検出するための前記色要素の判定基準を作成する判定基準作成ステップと、
    前記判定基準を用い、前記体腔内画像から病変領域を検出する病変領域検出ステップと、
    を実行させることを特徴とする画像処理プログラム。
JP2009032887A 2009-02-16 2009-02-16 画像処理装置、画像処理方法および画像処理プログラム Pending JP2010187756A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009032887A JP2010187756A (ja) 2009-02-16 2009-02-16 画像処理装置、画像処理方法および画像処理プログラム
US12/700,141 US8743189B2 (en) 2009-02-16 2010-02-04 Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
CN201010109468.6A CN101803899B (zh) 2009-02-16 2010-02-12 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009032887A JP2010187756A (ja) 2009-02-16 2009-02-16 画像処理装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013162481A Division JP5622903B2 (ja) 2013-08-05 2013-08-05 画像処理装置、画像処理装置の作動方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2010187756A true JP2010187756A (ja) 2010-09-02

Family

ID=42559537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009032887A Pending JP2010187756A (ja) 2009-02-16 2009-02-16 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US8743189B2 (ja)
JP (1) JP2010187756A (ja)
CN (1) CN101803899B (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051987A (ja) * 2011-08-31 2013-03-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
DE112011102796T5 (de) 2010-08-25 2013-05-29 Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) Umformbares Aluminiumlegierungsblech
WO2014013777A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
WO2014013778A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
KR20140127887A (ko) * 2012-02-23 2014-11-04 스미스 앤드 네퓨, 인크. 영상 내시경 시스템
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置
WO2016208001A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2017026540A1 (ja) * 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
JP2017060806A (ja) * 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
WO2017057680A1 (ja) * 2015-09-30 2017-04-06 Hoya株式会社 内視鏡システム及び評価値計算装置
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JPWO2016189622A1 (ja) * 2015-05-25 2018-03-15 オリンパス株式会社 画像処理装置、医用観察システムおよび画像処理プログラム
WO2018159083A1 (ja) 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019216084A1 (ja) * 2018-05-09 2019-11-14 富士フイルム株式会社 検査動画処理装置、検査動画処理方法及び検査動画処理プログラム
US11571108B2 (en) 2015-08-13 2023-02-07 Hoya Corporation Evaluation value calculation device and electronic endoscope system
WO2023181353A1 (ja) * 2022-03-25 2023-09-28 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
JP5259141B2 (ja) * 2007-08-31 2013-08-07 オリンパスメディカルシステムズ株式会社 被検体内画像取得システム、被検体内画像処理方法および被検体内導入装置
JP5253284B2 (ja) * 2009-04-22 2013-07-31 三鷹光器株式会社 爪甲色素線条鑑別閾値の導出方法
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5555097B2 (ja) * 2010-08-24 2014-07-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
KR20120073887A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 이미지 처리 장치 및 그 이미지 처리 방법
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5926937B2 (ja) * 2011-11-30 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103974653B (zh) * 2011-12-08 2016-06-01 奥林巴斯株式会社 图像处理装置、图像处理方法
WO2013133370A1 (ja) * 2012-03-08 2013-09-12 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6407718B2 (ja) * 2012-09-07 2018-10-17 株式会社日立製作所 画像処理装置及び画像処理方法
JP5972312B2 (ja) * 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
US9633276B2 (en) * 2014-07-14 2017-04-25 Sony Corporation Blood detection system with real-time capability and method of operation thereof
JP2016107003A (ja) * 2014-12-10 2016-06-20 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
KR20160121740A (ko) * 2015-04-10 2016-10-20 한국전자통신연구원 수술 관련 해부정보 제공 방법 및 장치
CN109068945B (zh) * 2016-03-29 2020-12-01 富士胶片株式会社 图像处理装置、图像处理装置的工作方法及记录介质
DE102016121668A1 (de) * 2016-11-11 2018-05-17 Karl Storz Se & Co. Kg Automatische Identifizierung medizinisch relevanter Videoelemente

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
WO2006112227A1 (ja) * 2005-04-13 2006-10-26 Olympus Medical Systems Corp. 画像処理装置及び画像処理方法
JP2009005020A (ja) * 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613335B2 (en) 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
CN1567377B (zh) * 2003-07-02 2011-05-04 致伸科技股份有限公司 数字图像的红眼处理方法
JP4624841B2 (ja) 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
JP4767631B2 (ja) 2005-09-02 2011-09-07 オリンパス株式会社 受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
WO2006112227A1 (ja) * 2005-04-13 2006-10-26 Olympus Medical Systems Corp. 画像処理装置及び画像処理方法
JP2009005020A (ja) * 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112011102796T5 (de) 2010-08-25 2013-05-29 Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) Umformbares Aluminiumlegierungsblech
JP2013051987A (ja) * 2011-08-31 2013-03-21 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
US9349185B2 (en) 2011-08-31 2016-05-24 Olympus Corporation Image processing device, image processing method, and computer readable recording device
JP2015509404A (ja) * 2012-02-23 2015-03-30 スミス アンド ネフュー インコーポレーテッド ビデオ内視鏡システム
JP2019188223A (ja) * 2012-02-23 2019-10-31 スミス アンド ネフュー インコーポレイテッド ビデオ内視鏡システム
KR102028780B1 (ko) 2012-02-23 2019-10-04 스미스 앤드 네퓨, 인크. 영상 내시경 시스템
KR20140127887A (ko) * 2012-02-23 2014-11-04 스미스 앤드 네퓨, 인크. 영상 내시경 시스템
US9430833B2 (en) 2012-07-17 2016-08-30 Hoya Corporation Image processing device and endoscope device
WO2014013778A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014018332A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
WO2014013777A1 (ja) * 2012-07-17 2014-01-23 Hoya株式会社 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置
JPWO2016189622A1 (ja) * 2015-05-25 2018-03-15 オリンパス株式会社 画像処理装置、医用観察システムおよび画像処理プログラム
US10842364B2 (en) 2015-06-24 2020-11-24 Olympus Corporation Image processing device, endoscope apparatus, information storage device, and image processing method
JPWO2016208001A1 (ja) * 2015-06-24 2018-04-12 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2016208001A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP6113387B1 (ja) * 2015-08-13 2017-04-12 Hoya株式会社 評価値計算装置及び電子内視鏡システム
US11559186B2 (en) 2015-08-13 2023-01-24 Hoya Corporation Evaluation value calculation device and electronic endoscope system
US11571108B2 (en) 2015-08-13 2023-02-07 Hoya Corporation Evaluation value calculation device and electronic endoscope system
WO2017026540A1 (ja) * 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
JP6125740B1 (ja) * 2015-09-30 2017-05-10 Hoya株式会社 内視鏡システム及び評価値計算装置
US10918270B2 (en) 2015-09-30 2021-02-16 Hoya Corporation Endoscope system and evaluation value calculation device
WO2017057680A1 (ja) * 2015-09-30 2017-04-06 Hoya株式会社 内視鏡システム及び評価値計算装置
JPWO2018020558A1 (ja) * 2016-07-25 2019-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2017060806A (ja) * 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
WO2018159083A1 (ja) 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US11259692B2 (en) 2017-03-03 2022-03-01 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
WO2019216084A1 (ja) * 2018-05-09 2019-11-14 富士フイルム株式会社 検査動画処理装置、検査動画処理方法及び検査動画処理プログラム
JPWO2019216084A1 (ja) * 2018-05-09 2021-06-10 富士フイルム株式会社 検査動画処理装置、検査動画処理方法及び検査動画処理プログラム
JP7158471B2 (ja) 2018-05-09 2022-10-21 富士フイルム株式会社 検査動画処理装置、検査動画処理装置の作動方法及び検査動画処理プログラム
WO2023181353A1 (ja) * 2022-03-25 2023-09-28 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
CN101803899A (zh) 2010-08-18
US8743189B2 (en) 2014-06-03
US20100208047A1 (en) 2010-08-19
CN101803899B (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
JP2010187756A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5305850B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
US8515141B2 (en) Medical image processing apparatus and method for detecting locally protruding lesion
WO2009148092A1 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8478010B2 (en) Image processing apparatus, image processing program recording medium, and image processing method
JP5094036B2 (ja) 内視鏡挿入方向検出装置
US8837821B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
US7907775B2 (en) Image processing apparatus, image processing method and image processing program
US8711252B2 (en) Image processing device and information storage medium including motion vector information calculation
JP5005032B2 (ja) 画像表示装置および画像表示プログラム
WO2002073507A9 (en) Method and system for detecting colorimetric abnormalities
WO2006112227A1 (ja) 画像処理装置及び画像処理方法
JP5622903B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
JP2012005512A (ja) 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
US10694100B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JPWO2017199408A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
JP2006304993A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4855673B2 (ja) 医用画像処理装置
JP5057651B2 (ja) 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
Moradi et al. Improving visual quality in wireless capsule endoscopy images with contrast-limited adaptive histogram equalization
Lo et al. Automatic tongue diagnosis system
Shah et al. Classification of bleeding images in wireless capsule endoscopy using HSI color domain and region segmentation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140212