JP2008029520A - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Abstract

【課題】対象の２次元画像の観察状態に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させる。
【解決手段】本実施例の内視鏡システムは、医療用観察装置と、医療用画像処理装置と、モニタとを有して要部が構成されている。医療用画像処理装置のＣＰＵ２２は、３次元モデル推定部２２ａ、検出対象領域設定部２２ｂ、形状特徴量算出部２２ｃ、３次元形状検出部２２ｄ、閾値決定部２２ｅ、ポリープ決定部２２ｆの各機能部からなる。
【選択図】図２

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の２次元画像に基づき、該生体組織の３次元モデルを推定する医療用画像処理装置及び医療用画像処理方法に関する。

従来、医療分野において、Ｘ線診断装置、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。

また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。

さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特開２００５−１９２８８０号公報（特許文献１）等に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。

この特許文献１に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。

また、従来、大腸ポリープ検出処理においては、２次元画像から３次元データを推定し、３次元特徴量（Shape Index／Curvedness）を用いて大腸ポリープを検出している（非特許文献１）。この３次元特徴量は、参照点における偏微分係数を3次元データから算出して、偏微分係数を使用して算出することにより実現する。そして、大腸ポリープ検出処理では、３次元特徴量を閾値処理することにより、ポリープ候補を検出する。
特開２００５−１９２８８０号公報 電子情報通信学会、信学技報（MI2003-102），形状情報に基づく３次元腹部ＣＴ像からの大腸ポリープ自動検出手法に関する検討 木村、林、北坂、森、末長 ｐｐ．２９〜３４，２００４

しかしながら、従来より３次元データの推定手法として使用される”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法は、対象の反射/散乱特性や対象への２次光による影響を受けるため、従来の大腸ポリープ検出処理は、検出精度の低下及び誤検出の発生といった課題を有している。

また、この”Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法は、画像に応じて３次元データ密度の疎密が発生する。３次元特徴量の標準誤差（標本値が平均値に対してどの程度の範囲内に分布するかを示す統計指標）は、３次元データ密度の疎密による影響を受ける。この標準誤差によっても、従来の大腸ポリープ検出処理は、検出精度の低下及び誤検出の発生といった課題を有している。

本発明は、上記事情に鑑みてなされたものであり、対象の２次元画像の観察状態に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

本発明の医療用画像処理装置は、
医療用撮像装置から入力される体腔内の生体組織の像の２次元画像に基づき、前記生体組織の３次元モデルを推定する３次元モデル推定手段と、
前記３次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定手段と、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する３次元形状検出手段と
とを備えて構成される。

また、本発明の医療用画像処理方法は、
医療用撮像装置から入力される体腔内の生体組織の像の２次元画像に基づき、前記生体組織の３次元モデルを推定する３次元モデル推定ステップと、
前記３次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する３次元形状検出ステップと
とを備えて構成される。

本発明によれば、対象の２次元画像の観察状態に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図６は本発明の実施例１に係わり、図１は医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図、図２は図１のＣＰＵの機能構成を示す機能ブロック図、図３は図２のＣＰＵの処理の流れを示すフローチャート、図４は図３の閾値Ｔ1，Ｔ2の決定処理の流れを示すフローチャート、図５は図４の処理で用いられる「Ｚ座標−閾値Ｔ1，Ｔ2」閾値テーブルデータを示す図、図６は図４の処理を説明する図である。

図１に示すように、本実施例の内視鏡システム１は、医療用観察装置２と、医療用画像処理装置３と、モニタ４とを有して要部が構成されている。

前記医療用観察装置２は、被写体を撮像するとともに、該被写体の像の２次元画像を出力する観察装置である。また、医療用画像処理装置３は、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される２次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置である。さらにモニタ４は、医療用画像処理装置３から出力される画像信号に基づく画像を表示する表示装置である。

前記医療用観察装置２は、内視鏡６と、光源装置７と、カメラコントロールユニット（以降、ＣＣＵと略記する）８と、モニタ９とを有して要部が構成されている。

前記内視鏡６は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力するものである。前記光源装置７は、内視鏡６により撮像される被写体を照明するための照明光を供給するものである。前記ＣＣＵ８は、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、２次元画像の映像信号として出力するものである。前記モニタ９は、ＣＣＵ８から出力される２次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するものである。

前記内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

前記ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が前記光源装置７に接続される。

ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。なお、撮像素子１６は、ＣＣＤに限らずＣ−ＭＯＳセンサにより構成してもよい。

前記撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対し、撮像した被写体の像に応じた撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、２次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された２次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９は、ＣＣＵ８から出力される映像信号に基づく被写体の像を２次元画像として表示する。

医療用画像処理装置３は、医療用観察装置２から出力される２次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２が行う画像処理における演算結果等を記憶する解析情報記憶部２５とを有して構成される。

また、医療用画像処理装置３は、記憶装置インターフェース（Ｉ／Ｆ）２６と、記憶装置Ｉ／Ｆ２６を介してＣＰＵ２２の画像処理結果としての画像データ、ＣＰＵ２２が画像処理にて使用する各種データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボードあるいはマウス等のポインティングデバイス等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９のそれぞれは、データバス３０を介して相互に接続されている。

図２に示すように、ＣＰＵ２２は、３次元モデル推定手段としての３次元モデル推定部２２ａ、検出対象領域設定手段としての検出対象領域設定部２２ｂ、形状特徴量算出手段としての形状特徴量算出部２２ｃ、３次元形状検出手段としての３次元形状検出部２２ｄ、閾値決定手段としての閾値決定部２２ｅ、ポリープ決定部２２ｆの各機能部からなる。

なお、本実施例では、これら機能部は、ＣＰＵ２２が行うソフトウエアにて実現される。また、これら機能部の詳細な作用については後述する。

次に、このように構成された、本実施例の内視鏡システム１の作用について、図３及び図４のフローチャートを用い、図５及び図６を参照して説明する。

まず、ユーザは、内視鏡システム１が有する各部の電源を投入した後、被検体の体腔内に内視鏡６の挿入部１１を挿入する。

そして、ユーザにより挿入部１１が被検体の体腔内に挿入されると、例えば、該体腔内に存在する生体組織等である被写体の像が、先端部１４に設けられた撮像部１７により撮像される。そして、撮像部１７により撮像された被写体の像は、撮像信号としてＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を２次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、撮像部１７により撮像された被写体の像を２次元画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた２次元画像の映像信号を、医療用画像処理装置３に対して出力する。

医療用画像処理装置３に対して出力された２次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

そして、図３に示すように、ＣＰＵ２２の３次元モデル推定部２２ａは、ステップＳ１にて画像入力部２１から出力される２次元画像に対し、例えば、“Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法等を用い、該２次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該２次元画像に応じた３次元モデルを推定し、３次元モデルの各データ点の座標を記憶装置Ｉ／Ｆ２６を介してハードディスク２７に格納する。

次に、ＣＰＵ２２の検出対象領域設定部２２ｂは、ステップＳ２にて画像入力部２１から出力される２次元画像の色調変化と、図３のステップＳ１の処理により推定した３次元モデルの隆起性変化とを検出することにより、該３次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、検出対象領域である対象領域を設定する。

具体的には、ＣＰＵ２２の検出対象領域設定部２２ｂは、例えば、画像入力部２１から出力される２次元画像を、Ｒ（赤）画像、Ｇ（緑）画像及びＢ（青）画像の各プレーン画像に分離した後、該Ｒ画像に応じて推定した３次元モデルのデータに基づいて隆起性変化を検出するとともに、該Ｒ画像及びＧ画像の色度に基づいて色調変化を検出する。そして、ＣＰＵ２２の検出対象領域設定部２２bは、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記対象領域として設定する。

その後、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３にて対象領域の局所偏微分係数を算出する。具体的には、ＣＰＵ２２の形状特徴量算出部２２ｃは、算出された３次元形状に対して、注目する３次元位置（ｘ、ｙ、ｚ）を含む局所領域（曲面）におけるそのＲ画素値ｆにおける１階偏微分係数ｆｘ、ｆｙ、ｆｚ、及び２階偏微分係数ｆｘｘ，ｆｙｙ，ｆｚｚ，ｆｘｙ，ｆｙｚ，ｆｘｚを算出する。

さらに、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ４にて３次元モデルの処理対象領域に存在する各データ点に対し、（３次元形状）の形状特徴量として、局所偏微分係数に基づき、Shape Index値及びCurvedness値を算出する処理を行う。

すなわち、これらの局所偏微分係数を用いて、ＣＰＵ２２の形状特徴量算出部２２ｃは、ガウス曲率Ｋ，平均曲率Ｈを算出する。

一方、曲面の主曲率ｋ１，ｋ２（ｋ１≧ｋ２）は、ガウス曲率Ｋと、平均曲率Ｈを用いて
ｋ１＝Ｈ＋（Ｈ²−Ｋ）^1/2 ｋ２＝Ｈ−（Ｈ²−Ｋ）^1/2 （１）
と表される。

また、この場合における曲面形状を表す特徴量であるShape IndexＳＩ及びCurvednessＣＶは、それぞれ
ＳＩ＝１／２−（１／π）arc tan［（ｋ１＋ｋ２）／（ｋ１−ｋ２）］ （２）
ＣＶ＝（（ｋ１²＋ｋ２²）／２）^1/2 （３）
となる。

ＣＰＵ２２の形状特徴量算出部２２ｃは、このようにして、３次元の各曲面におけるShape IndexＳＩ及びCurvednessＣＶを３次元形状情報として算出し、解析情報記憶部２５に格納する。

前述したShape Index値は、３次元モデルが有する各データ点における凹凸の状態を示すための値であり、０以上１以下の範囲内の数値として示される。具体的には、３次元モデル内に存在する個々のデータ点において、Shape Index値が０に近い場合には凹型形状の存在が示唆され、また、Shape Index値が１に近い場合には凸型形状の存在が示唆される。

また、前述したCurvedness値は、３次元モデルが有する各データ点における曲率を示すための値である。具体的には、３次元モデル内に存在する個々のデータ点において、Curvedness値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Curvedness値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。

次に、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５にて３次元モデルの対象領域に存在する各データにおいて、Shape Index値及びCurvedness値の各値と比較する閾値Ｔ1，Ｔ2の決定処理を行う。このステップＳ５の閾値Ｔ1，Ｔ2の決定処理の詳細は、後述する。

また、ＣＰＵ２２の３次元形状検出部２２ｄは、ステップＳ６にて３次元モデルの対象領域に存在する各データ点において、Shape Index値及びCurvedness値の各値と、閾値決定部２２ｅが決定した閾値Ｔ1，Ｔ2との比較処理を行うことにより、該各データ点のうち、隆起形状を有するデータ群として検出する。具体的には、ＣＰＵ２２は、３次元モデルの処理対象領域に存在する各データ点のうち、例えば、Shape Index値が閾値Ｔ1より大きく、かつ、Curvedness値が閾値Ｔ2より大きい複数のデータ点を、隆起形状を有するデータ群として検出する。

そして、ＣＰＵ２２のポリープ決定部２２ｆは、ステップＳ７にて３次元モデルにおいて隆起形状を有するデータ群として検出した複数のデータ点各々が、ポリープ等の病変に由来する隆起形状に該当するデータ点であるかを判別する隆起形状判別処理を行う。

その後、ＣＰＵ２２のポリープ決定部２２ｆは、ステップＳ８にて病変に由来する隆起形状に該当するデータ点からなるデータ群を有する領域をポリープ領域として決定し、病変領域であるポリープを検出する。

そして、ＣＰＵ２２は、その検出結果を、例えば図１のハードディスク２７に検出対象の内視鏡画像と関連付けて格納すると共に、表示処理部２８を経てモニタ４に、例えば検出対象の内視鏡画像と並べて表示する。

これにより、モニタ４には、ポリープ等の病変に由来する隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の３次元モデルが画像表示される。

次に、上記のステップＳ５の閾値Ｔ1，Ｔ2の決定処理について説明する。図４に示すように、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５１にてパラメータｉを１に設定し、ステップＳ５２にて３次元モデルの対象領域内の第ｉ番目のデータ点の３次元座標（ｘi，ｙi，ｚi）を解析情報記憶部２５より取得する。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５３にて記憶装置Ｉ／Ｆ２６を介して、ハードディスク２７に格納されている、図５に示すような「Ｚ座標−閾値Ｔ1，Ｔ2」閾値テーブルデータから、Ｚ座標ｚiに基づき、閾値Ｔ1（ｉ），Ｔ2（ｉ）を読み出す。そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５４にて第ｉ番目のデータ点のShape Index値及びCurvedness値の閾値Ｔ1（ｉ），Ｔ2（ｉ）として解析情報記憶部２５に格納する。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５５にてパラメータｉが３次元モデルの対象領域内の全てのデータ点の数Ｎに達したかどうか判断し、ｉ＞ＮでないならばステップＳ５６にてパラメータｉをインクリメントしてステップＳ５２に戻る。ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５５において３次元モデルの対象領域内の全てのデータ点での閾値Ｔ1（ｉ），Ｔ2（ｉ）を決定するまで、上記のステップＳ５２〜Ｓ５６の処理を繰り返す。

なお、Ｚ座標値とＴ1，Ｔ2との関係を、「Ｚ座標−閾値Ｔ1，Ｔ2」閾値テーブル（図５参照）に示す値の１次または２次関数の当てはめにより数式化して、数式演算により求めるように構成してもよい。

２次元画像において、光源から近いほど、粘膜下からの散乱光が増大し、他の位置の反射光(2次光)の入射量も増大する。また、大腸内視鏡画像は腸管の撮像画像であるため、腸管方向が画像内にある場合において奥行き方向の遠い位置での画像部分は、腸管壁を斜めからみたときの画像を撮像していることとなり、腸壁に対する正面視のときと比べて、反射光や散乱光の角度特性が異なってくる。すなわち、閾値判定点のＺ座標に応じて、ポリープ候補検出のためのShape Index（凹凸性を示す指標）と、Curvedness（凹凸の鋭さを示す指標）の最適な閾値組み合わせが異なってくる。例えば図６は、同一の閾値組み合わせでポリープ候補検出を行った例であるが、手前の本来のポリープ２５０だけではなく、奥のほうのなだらかな凸部２５１や、峰状に近い凸部２５２を検出してしまっている。

上述したように本実施例では、３次元データの着目点における位置（Ｚ座標）を用いて閾値を補正するため、対象の反射／散乱特性や対象への２次光による影響を除外した閾値をポリープ検出処理に使用でき、ポリープ候補の検出精度を向上させることができる。よって、ユーザに対して、大腸内視鏡検査においてポリープ候補発見率の向上を促すことが可能となる。

図７ないし図１１は本発明の実施例２に係わり、図７は閾値Ｔ1，Ｔ2の決定処理の流れを示すフローチャート、図８は図７の処理で用いられる「「なす角−乗算値」閾値テーブルデータを示す図、図９は図７の処理を説明する第１の図、図１０は図７の処理を説明する第２の図、図１１は図７の処理を説明する第３の図である。

実施例２は、Shape Index値及びCurvedness値の各値と比較する閾値Ｔ1，Ｔ2の決定処理が実施例１と異なり、構成は実施例１と同じであるので、異なる点のみ説明する。

本実施例のShape Index値及びCurvedness値の各値と比較する閾値Ｔ1，Ｔ2の決定処理では、図７に示すように、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５１にてパラメータｉを１に設定し、ステップＳ５２にて３次元モデルの対象領域内の第ｉ番目のデータ点の３次元座標（ｘi，ｙi，ｚi）を解析情報記憶部２５より取得する。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５７にて視点座標と前記座標点の差分を計算して、視線ベクトルを生成する。視点位置の座標（ｘ0，ｙ0，ｚ0）は、図３のステップＳ１において決定されており、この視線ベクトルＶ0（Ｖｘ0，Ｖｙ0，Ｖｚ0）は、（ｘi−ｘ0，ｙi−ｙ0，ｚi−ｚ0）となる。

次に、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５８にて第ｉ番目のデータ点における法線ベクトルルＶi（Ｖｘi，Ｖｙi，Ｖｚi）を算出する。この法線ベクトルＶiは、図３のステップＳ２において求めた２次曲面ｆについて、データ点における微分値（ｆｘ、ｆｙ、ｆｚ）を計算することにより求まる。また、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５９にて視線ベクトルと法線ベクトルのなす角θiを算出する。このなす角θiは、ベクトルの内積公式により求める。

なお、本実施例では、図８に示すような「なす角−乗算値」閾値テーブルデータ及び閾値のデフォルト値Ｔ1(0)，Ｔ2(0)がハードディスク２７に格納されている。

次に、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ６０にて、ハードディスク２７に格納されている「なす角−乗算値」閾値テーブルデータより、求めたなす角θiに対応する乗算値αi、βiを抽出すると共に、閾値のデフォルト値（Ｔ1(0)，Ｔ2(0)）をハードディスク２７から取得し、閾値のデフォルト値Ｔ1，Ｔ2と乗算値αi、βiをそれぞれ乗算した値Ｔ1（ｉ）(＝αi×Ｔ1(0)），Ｔ2（ｉ）（＝βi×Ｔ2(0)）を求める。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５４にて第ｉ番目のデータ点のShape Index値及びCurvedness値の閾値Ｔ1（ｉ），Ｔ2（ｉ）として解析情報記憶部２５に格納する。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５５にてパラメータｉが３次元モデルの対象領域内の全てのデータ点の数Ｎに達したかどうか判断し、ｉ＞ＮでないならばステップＳ５６にてパラメータｉをインクリメントしてステップＳ５２に戻る。ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５５において３次元モデルの対象領域内の全てのデータ点での閾値Ｔ1（ｉ），Ｔ2（ｉ）を決定するまで、上記の図７のステップＳ５２、Ｓ５７〜Ｓ６０、Ｓ５４〜Ｓ５６の処理を繰り返す。

この閾値Ｔ1（ｉ），Ｔ2（ｉ）により、図３に示したステップＳ６における、３次元モデルの対象領域に存在する各データ点においての、Shape Index値及びCurvedness値の各値と、閾値決定部２２ｅが決定した閾値Ｔ1，Ｔ2との比較処理を実行する。

大腸内視鏡画像は、腸壁に対する正面視/斜視により、反射光や散乱光の角度特性が異なるため、閾値判定点の腸壁の法線ベクトルと、視線角とがなす角度に応じて、ポリープ候補検出のためのShape Index値及びCurvedness値の最適な閾値組み合わせが異なってくる。

例えば図９は、半球状のサンプル１００を正面視により撮像した画像であるが、“Ｓｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ“法によって３次元データを生成すると、視点から見た画像が反射光や散乱光の角度特性により半楕円球状に伸びてしまうという問題がある。

本実施例では、３次元データの着目点における位置、角度情報を用いて閾値を補正するため、実施例１と同様な効果に得ることができ、また、テーブル値とデフォルト値を掛け合わせる構成であるため、デフォルト値の変更に応じて、最適な閾値を求めることが可能となる。

なお、例えば特開２００３−９３３２８号公報等に開示されている内視鏡画像の視野内管腔検出方法を用いることで、内視鏡画像の視野内管腔検出の有無により、画像全体における平均的な閾値を決定する構成も可能である。

例えば、図１０に示すように、視野内に管腔１０１全体を検出した場合には、腸管表面の法線ベクトルと視線角とのなす角は、画像全体の平均値として大きい値をとる。よって、例えば図８の閾値テーブルのなす角＝６０〜の値を使用して乗算値αi＝１．０３、βi＝０．９０を抽出し、閾値をＴ1＝１．０３×Ｔ1(0)、Ｔ2＝０．９０×Ｔ2(0)として決定する。

また、図１１に示すように、視野内に管腔１０１全体を検出しなかった場合には、腸管表面の法線ベクトルと視線角とのなす角度は、画像全体のへ閾値として、小さい値をとる。よって、例えば図８の閾値テーブルのなす角＝２０〜３０の値を使用して乗算値αi＝１．０１、βi＝０．９８を抽出し、閾値をＴ1＝１．０１×Ｔ1(0)、Ｔ2＝０．９８×Ｔ2(0)として決定する。

図１２ないし図１６は本発明の実施例３に係わり、図１２は局所偏微分係数の算出処理を説明する図、図１３は図１２の局所偏微分係数の算出処理の流れを示すフローチャート、図１４は図１３の処理の後段の閾値Ｔ1，Ｔ2の決定処理の流れを示すフローチャート、図１５は図１３の処理で用いられるデータ点数Ｍiと閾値Ｔ1，Ｔ2との対応を示す閾値テーブルを示す図、図１６は図１３の局所偏微分係数の算出処理の変形例の流れを示すフローチャートである。

実施例３は、局所偏微分係数の算出処理（図３のステップＳ３）及びShape Index値及びCurvedness値の各値と比較する閾値Ｔ1，Ｔ2の決定処理（図３のステップＳ５）が実施例１と異なり、構成は実施例１と同じであるので、異なる点のみ説明する。

実施例１では、固定サイズの立方または球の範囲内に存在する３次元データ点を用いていた。このため、実施例１で適用した局所偏微分係数の算出処理（図３のステップＳ３）では、図１２に示すように、３次元データ点の疎密が生じるため、推定される局所偏微分係数の標準誤差はデータが疎になると大きくなる。データが密である範囲を基準として閾値を設定した場合には、データが疎である範囲において取りこぼしが発生してしまう。また、データが疎である範囲を基準として閾値を設定した場合には、データが密である範囲において誤検出が増加してしまう。

本実施例の局所偏微分係数の算出処理は、３次元データ点取得領域を決定する処理が加えられている点が実施例１と異なる。

本実施例の局所偏微分係数の算出処理では、まず、図３のステップＳ２によって算出された腸管表面上の点のうちの着目する１つの点について、当該位置における腸管表面の２次曲面方程式の係数を推定算出し、２次曲面方程式を偏微分することにより局所偏微分係数を求める。２次曲面方程式は、着目する１つの点を中心とする立方または球の局所領域を設定し、局所領域内に存在する、自身を含めた３次元データ点の座標値から行列を作成し（９点以上の座標値が必要となる）、その擬似逆行列を生成することにより求める。

具体的には、本実施例の局所偏微分係数の算出処理では、図１３に示すように、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３１にてパラメータｉを１に設定し、ステップＳ３２にて第ｉ番目の３次元データ点における局所偏微分係数を算出するにあたり、まず変数Ｌに初期値Ｌ0をセットする。

続いて、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３３にて３次元モデルの対象領域内の第ｉ番目のデータ点の３次元座標（ｘi，ｙi，ｚi）を解析情報記憶部２５より取得する。

そして、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３４にてハードディスク２７に記憶している、腸管表面を示す３次元データ点列から、第ｉ番目のデータ点の座標（ｘi，ｙi，ｚi）を中心とする立方範囲（ｘi±Ｌ，ｙi±Ｌ，ｚi±Ｌ）の範囲内に存在するデータ点情報を取得する。このデータ点情報の数ｎiをカウントする。

次に、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３５にてカウント数ｎiと所定の値Ｋとを比較して、カウント数ｎiがＫよりも大きい場合には、ステップＳ３６での２次元曲面方程式の係数算出処理、ステップＳ３７での局所偏微分係数の算出処理をおこない、図３のステップＳ３のShapeIndex／Curvednessの算出処理へと進む。

カウント数ｎiが所定の値Ｋ以下の場合には、ステップＳ３８にてＬに対して所定の増分ＬSを加算して前記範囲を拡張した後、ステップＳ３４に戻り、範囲内にあるデータ点情報をカウントしなおす。

そして、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３９にてパラメータｉが３次元モデルの対象領域内の全てのデータ点の数Ｎに達したかどうか判断し、ｉ＞ＮでないならばステップＳ５６にてパラメータｉをインクリメントしてステップＳ３２に戻る。ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ３９において３次元モデルの対象領域内の全てのデータ点での２次元曲面方程式の係数算出、局所偏微分係数の算出が完了するまで、上記の図１２のＳ３２〜Ｓ３９、Ｓ５６の処理を繰り返す。

以上の処理により、局所領域内に含まれる３次元データ点数が所定数以上になるように局所領域のサイズ変更を行う。

また、本実施例のShape Index値及びCurvedness値の各値と比較する閾値Ｔ1，Ｔ2の決定処理では、図１４に示すように、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５１にてパラメータｉを１に設定し、ステップＳ５２にて３次元モデルの対象領域内の第ｉ番目のデータ点の３次元座標（ｘi，ｙi，ｚi）を解析情報記憶部２５より取得する。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ６１にてこの３次元座標（ｘi，ｙi，ｚi）を中心とする立方領域を、所定の値Ｌを使用して設定する。すなわち、｛（ｘi’，ｙi’，ｚi’）｜ｘi−Ｌ≦ｘi’≦ｘi＋Ｌ，ｙi−Ｌ≦ｙi’≦ｙi＋Ｌ，ｚi−Ｌ≦ｚi’≦ｚi＋Ｌ｝と設定する。この立方領域内にあるデータ点数Ｍiを、ハードディスク２７に格納されている３次元データ点列を元にして数える。

なお、ハードディスク２７内には、図１５に示す、データ点数Ｍiと閾値Ｔ1，Ｔ2とが対応する閾値テーブルを記憶している。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ６２にて前記のデータ点数Ｍiを元にして、閾値テーブルからデータ点数Ｍiに対応する閾値Ｔ1，Ｔ2を取得する。

続いて、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５４にて第ｉ番目のデータ点のShape Index値及びCurvedness値の閾値Ｔ1（ｉ），Ｔ2（ｉ）として解析情報記憶部２５に格納する。

そして、ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５５にてパラメータｉが３次元モデルの対象領域内の全てのデータ点の数Ｎに達したかどうか判断し、ｉ＞ＮでないならばステップＳ５６にてパラメータｉをインクリメントしてステップＳ５２に戻る。ＣＰＵ２２の閾値決定部２２ｅは、ステップＳ５５において３次元モデルの対象領域内の全てのデータ点での閾値Ｔ1（ｉ），Ｔ2（ｉ）を決定するまで、上記の図１４のステップＳ５２、Ｓ６１、Ｓ６２、Ｓ５４〜Ｓ５６の処理を繰り返す。

なお、データ点数Ｍiが０〜８である場合には、閾値処理が無効であるため、閾値Ｔ1，Ｔ2は無効であることを示す値０が代入される。また、座標を中心とする立方領域内のデータ点数を数えるように構成しているが、ｘk'²＋ｙk'²＋ｚk'²＜Ｌの条件を加えて、座標を中心とする球領域内のデータ点数を数えるように構成してもよい。

このように本実施例では、局所領域内に含まれる３次元データ点数が所定数以上になるように局所領域のサイズ変更を行うと共に、３次元データの点密度に応じて３次元特徴量（Shape Index値及びCurvedness値）を求めるための閾値Ｔ1，Ｔ2を設定するので、３次元データの密度に応じて、ポリープ検出処理における処理パラメータを変更することにより、ポリープ候補の検出精度を向上させることができ、大腸内視鏡検査においてポリープ候補発見率の向上を促すことが可能となる。

なお、範囲内に存在するデータ点数が多すぎる場合には、２次曲面方程式の係数算出時の処理時間が増大する。

そこで、本実施形態の局所偏微分係数の算出処理の変形例である図１６の処理フローに示すように、ＣＰＵ２２の形状特徴量算出部２２ｃは、ステップＳ４０にて、取得したデータ点数が所定の値Ｊ（Ｋ＜Ｊ）よりも大きいかどうか判断し、大きい場合には、ステップＳ４１にて２次曲面方程式の係数算出に用いるデータ点をＫ＋１に抑えるように構成してもよい。

この場合には、取得したデータ点数と所定の値Ｊとの比較により、カウント数ｎiがＪより大きい場合には、データ点情報のうちのＫ＋２番目以降のデータを削除して、２次曲面方程式の係数を算出することにより実現する。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図 図１のＣＰＵの機能構成を示す機能ブロック図 図２のＣＰＵの処理の流れを示すフローチャート 図３の閾値Ｔ1，Ｔ2の決定処理の流れを示すフローチャート 図４の処理で用いられる「Ｚ座標−閾値Ｔ1，Ｔ2」閾値テーブルデータを示す図 図４の処理を説明する図 本発明の実施例２に係る閾値Ｔ1，Ｔ2の決定処理の流れを示すフローチャート 図７の処理で用いられる「「なす角−乗算値」閾値テーブルデータを示す図 図７の処理を説明する第１の図 図７の処理を説明する第２の図 図７の処理を説明する第３の図 本発明の実施例３に係る局所偏微分係数の算出処理を説明する図 図１２の局所偏微分係数の算出処理の流れを示すフローチャート 図１３の処理の後段の閾値Ｔ1，Ｔ2の決定処理の流れを示すフローチャート 図１３の処理で用いられるデータ点数Ｍiと閾値Ｔ1，Ｔ2との対応を示す閾値テーブルを示す図 図１２の局所偏微分係数の算出処理の変形例の流れを示すフローチャート

符号の説明

１…内視鏡システム
２…医療用観察装置
３…医療用画像処理装置
４、９…モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１２…操作部
１３…ライトガイド
１４…先端部
１５…対物光学系
１６…撮像素子
１７…撮像部
２１…画像入力部
２２…ＣＰＵ
２２ａ…３次元モデル推定部
２２ｂ…検出対象領域設定部
２２ｃ…形状特徴量算出部
２２ｄ…３次元形状検出部
２２ｅ…閾値決定部
２２ｆ…ポリープ決定部
２３…処理プログラム記憶部
２４…画像記憶部
２５…解析情報記憶部
２６…記憶装置Ｉ／Ｆ
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３０…データバス

Claims (8)

1. 医療用撮像装置から入力される体腔内の生体組織の像の２次元画像に基づき、前記生体組織の３次元モデルを推定する３次元モデル推定手段と、
   前記３次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定手段と、
   前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定手段と、
   前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、
   前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する３次元形状検出手段と
   を備えたことを特徴とする医療用画像処理装置。
2. 前記閾値決定手段は、
   前記検出対象領域の前記２次元画像に対して垂直な軸方向の座標に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
   ことを特徴とする請求項１に記載の医療用画像処理装置。
3. 前記閾値決定手段は、
   前記医療用撮像装置から入力される体腔内の生体組織の像の前記２次元画像の撮像位置を視点とし、前記検出対象領域上の一の点を注目点とした時の、前記視点から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
   ことを特徴とする請求項１に記載の医療用画像処理装置。
4. 前記形状特徴量算出手段は、
   前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状特徴量を算出し、
   前記閾値決定手段は、
   前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
   ことを特徴とする請求項１に記載の医療用画像処理装置。
5. 医療用撮像装置から入力される体腔内の生体組織の像の２次元画像に基づき、前記生体組織の３次元モデルを推定する３次元モデル推定ステップと、
   前記３次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
   前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定ステップと、
   前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、
   前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する３次元形状検出ステップと
   を備えたことを特徴とする医療用画像処理方法。
6. 前記閾値決定ステップは、
   前記検出対象領域の前記２次元画像に対して垂直な軸方向の座標に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
   ことを特徴とする請求項５に記載の医療用画像処理方法。
7. 前記閾値決定ステップは、
   前記医療用撮像装置から入力される体腔内の生体組織の像の前記２次元画像の撮像位置を視点とし、前記検出対象領域上の点を注目点とした時の、前記視点から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
   ことを特徴とする請求項５に記載の医療用画像処理方法。
8. 前記形状特徴量算出ステップは、
   前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状特徴量を算出し、
   前記閾値決定ステップは、
   前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
   ことを特徴とする請求項５に記載の医療用画像処理方法。

Images