JP2016009984A - 画像処理装置、内視鏡システム及び画像処理方法 - Google Patents

Abstract

【課題】対象物の切り替わり位置の推定精度を向上できる画像処理装置、内視鏡システム及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、時系列に撮像された時系列画像を取得する画像取得部１００と、時系列画像に写された対象物が第１の対象物から第２の対象物に切り替わる位置である切り替わり位置を検出する処理部２００と、を含む。処理部２００は、時系列画像の各画像から特徴量を抽出し、特徴量に基づいて各画像に写された対象物が第１の対象物であるか第２の対象物であるかの判定を行い、判定の結果に基づいて切り替わり位置の候補位置を抽出し、判定の結果に基づいて候補位置の比較を行って切り替わり位置を決定する。
【選択図】図１

Description

本発明は、画像処理装置、内視鏡システム及び画像処理方法等に関する。

時系列画像から特徴量を抽出してシーン分類し、シーン分類の切替り位置を求めるニーズがある。このシーン分類のうち、シーンの切替りが、ある状態から別の状態になることが前提条件となっているものがある。例えば、カプセル型内視鏡の画像から対象物（例えば臓器）の切り替り位置を推定する場合等が該当する。その従来技術として、例えば特許文献１や特許文献２に記載された手法がある。

特許文献１の手法では、画像の赤色レベルと青色レベルを算出し、それぞれに時間軸方向のローパスフィルタ処理を施して赤色レベルと青色レベルのグラフを生成し、その各グラフの変色エッジを検出し、変色エッジの時間的な位置から臓器範囲を自動判別している。

特許文献２の手法では、特徴量の時間軸方向への平滑化処理として、所定サイズのフィルタを用いた平滑化処理を行い、胃から小腸への変化を検出している。所定サイズのフィルタとして、例えばサイズ２０の（即ち、時間軸方向に２０枚分の画像に対する）フィルタを用いる。

特開２００４−３２１６０３号公報 特開２００７−１７５４３２号公報

しかしながら、従来の手法ではノイズを低減するために時間軸方向の平滑化を行っており、その平滑化のために対象物の切り替わり位置の推定誤差が大きくなるという課題がある。

例えば特許文献１の手法において、時間軸方向のローパスフィルタとして下式（１）のガウシアンフィルタを用いたとする。この場合、標準偏差σの設定値に依存して平滑化の度合いが変わるため、赤色レベルと青色レベルのグラフの変化量が最大となる位置が変化する。そのため、グラフの変化エッジから推定される臓器の切り替わり位置が変わってしまう。

また特許文献２の手法では、固定サイズのフィルタを用いている。しかしながら、適用する症例（患者毎の画像系列）によってノイズ量などが異なり、フィルタの最適サイズが異なる（例えばノイズ量が多い場合にはフィルタサイズを大きくする）。そのため、症例によって平滑化の度合いが変わり、臓器の切り替わり位置の推定誤差が大きくなってしまう。

本発明の幾つかの態様によれば、対象物の切り替わり位置の推定精度を向上できる画像処理装置、内視鏡システム及び画像処理方法等を提供できる。

本発明の一態様は、時系列に撮像された時系列画像を取得する画像取得部と、前記時系列画像に写された対象物が第１の対象物から第２の対象物に切り替わる位置である切り替わり位置を検出する処理部と、を含み、前記処理部は、前記時系列画像の各画像から特徴量を抽出し、前記特徴量に基づいて前記各画像に写された前記対象物が前記第１の対象物であるか前記第２の対象物であるかの判定を行い、前記判定の結果に基づいて前記切り替わり位置の候補位置を抽出し、前記判定の結果に基づいて前記候補位置の比較を行って前記切り替わり位置を決定する画像処理装置に関係する。

本発明の一態様によれば、時系列画像から抽出された特徴量に基づいて対象物の判定が行われ、その時系列の判定結果から対象物の切り替わり候補位置が抽出され、その候補位置の比較により候補位置の中から対象物の切り替わり位置が決定される。これにより、対象物の切り替わり位置の推定精度を向上することが可能となる。

また本発明の他の態様は、上記に記載された画像処理装置と、前記時系列画像を撮像するカプセル型内視鏡と、を含む内視鏡システムに関係する。

また本発明の更に他の態様は、時系列に撮像された時系列画像を取得し、前記時系列画像の各画像から特徴量を抽出し、前記特徴量に基づいて前記各画像に写された対象物が第１の対象物であるか第２の対象物であるかの判定を行い、前記判定の結果に基づいて、前記時系列画像に写された前記対象物が前記第１の対象物から前記第２の対象物に切り替わる位置である切り替わり位置の候補位置を抽出し、前記判定の結果に基づいて前記候補位置の比較を行って前記切り替わり位置を決定する画像処理方法に関係する。

画像処理装置の基本構成例。 処理部の詳細な構成例。 本実施形態が行う処理のフローチャート。 第１の学習処理のフローチャート。 第２の学習処理のフローチャート。 切り替わり位置決定処理のフローチャート。 局所特徴量の説明図。 色に関する局所特徴量の説明図。 判定結果の例。 ステップ関数の説明図。 窓幅Ｌを変えながら行う畳み込み演算の説明図。 窓幅Ｌを変えながら行った畳み込み演算の最小値の例。 切り替わり位置決定処理の説明図。 切り替わり位置決定処理の説明図。 切り替わり位置決定処理の説明図。 内視鏡システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．基本構成例
以下では、カプセル型内視鏡により撮像した画像の臓器切り替わり位置を判定する場合を例に説明するが、本実施形態はこれに限定されない。例えば、本実施形態はスコープ型の内視鏡装置等で撮像した画像に適用してもよい。また、切り替わり位置を判定する対象物は、撮像経路の途中で切り替わることが予め決まっているものであればよい。例えば、シーン変化のように不確定に頻繁に起きるものでなく、臓器のように切り替わり位置が固定で必ず存在するものである。

さて、カプセル型内視鏡で撮像した画像を医師が診断する際、見たい臓器の画像を素早く提示することで診断をアシストできる。例えば上述した特許文献１、２のように画像から臓器の切り替わり位置を推定し、どの臓器に属するか画像を分類する手法がある。

しかしながら、切り替わり位置の推定が不正確だと誤診につながるという課題がある。例えば、医師が大腸の病変をチェックする場合に、実際には大腸に属するにも関わらず小腸に属すると判定された画像があると、その部分の画像が医師に提示されない。その部分に病変があった場合には、その病変の見落としにつながる。

また、カプセル型内視鏡は小型であるため電源の容量に余裕がなく、特定の臓器だけ集中的に撮像して電力消費を抑える場合がある。例えば、小腸までは撮像頻度を抑え、大腸に入ったと判断したときに撮像頻度を上げる。この場合、小腸から大腸への切り替わり位置を実際よりも手前に判断すると電力を消費し、実際よりも後ろに判断すると大腸の画像を撮り漏らすという課題がある。

図１に、上記のような課題を解決できる本実施形態の画像処理装置の基本構成例を示す。画像処理装置は、時系列に撮像された時系列画像を取得する画像取得部１００と、その時系列画像に写された対象物が第１の対象物から第２の対象物に切り替わる位置である切り替わり位置を検出する処理部２００と、を含む。

そして処理部２００は、時系列画像の各画像から特徴量を抽出し、その特徴量に基づいて各画像に写された対象物が第１の対象物であるか第２の対象物であるかの判定を行う。処理部２００は、その判定の結果に基づいて切り替わり位置の候補位置を抽出し、その判定の結果に基づいて候補位置の比較を行って切り替わり位置を決定する。

例えば、図３〜図６等で後述するように、ラベル既知の学習用画像を用いて予めＳＶＭ（Support Vector Machine）により学習を行い、その学習済みのＳＶＭを用いて時系列画像の対象物が胃であるか小腸であるかを判定（分類）する。図７〜図９等で後述するように、時系列の判定結果とステップ関数との類似度により胃と小腸の切り替わり位置の候補を抽出する。図１０〜図１２等で後述するように、候補位置を判定結果に基づいて比較することで適切な候補位置を選抜して候補位置を１つに絞り、その候補位置を最終的な切り替わり位置として出力する。

ここで、時系列画像は、撮像された時間の順に並んだラベルが未知の画像であり、例えば動画像や、或いは所定の間隔で連続撮影された画像である。或いは、不定の間隔で撮像された画像であってもよい。例えば、カプセル型内視鏡では撮像間隔を変化させたり、画像の要約等によって時系列の間隔が変化する場合がある。また、位置（切り替わり位置、候補位置）は、時系列に並べた画像の番号（フレーム番号）や何枚目の画像であるかに対応する。例えば図７では、１００００枚の画像ｉｍｇ００００１〜ｉｍｇ１００００を並べており、時系列の最初の画像ｉｍｇ００００１から数えて何枚目の画像であるかが位置ｘに対応する。

本実施形態によれば、臓器の判定結果から切り替わり位置の候補を抽出し、その候補の中から切り替わり位置を決定することで、実際の変化点に対して進みや遅れの無い正確な切り替わり位置を決定できる。即ち、特許文献１、２のような時間軸方向のローパスフィルタ処理を行った場合には、平滑化パラメータσ等の影響（ウィンドウ幅や半値幅依存性）により判定結果の変化エッジがずれる。この点、本実施形態の手法では、そのような変化エッジのずれが生じないので、平滑化パラメータσ等の影響を受けずに高精度に切り替わり位置を検出することが可能である。

また本実施形態では、下式（２）、（３）で後述するように、処理部２００は、時系列の判定の結果Ｓ（ｘ）とステップ関数Ｈ（ｘ）との畳み込み演算により評価値（ＭＩＮ Ｃｏｎｖ（ｘ）又はＭＡＸ Ｃｏｎｖ（ｘ））を求める。そして、評価値Ｃｏｎｖ（ｘ）に基づいて候補位置Ｐｃａｎを抽出する。

例えば、図７に示すように小腸と判定された画像に“１”を割り当て、胃と判定された画像に“−１”を割り当て、時系列の判定の結果Ｓ（ｘ）とする。この場合、胃から小腸に変化する位置ｘでは判定結果Ｓ（ｘ）がステップ状に変化すると予想される。この判定結果Ｓ（ｘ）とステップ関数Ｈ（ｘ）の畳み込み演算（コンボリューション）を行うことで類似度を評価でき、ステップ状の変化点を候補位置として抽出できる。

また本実施形態では、下式（２）、（３）で後述するように、処理部２００は、時系列の判定の結果Ｓ（ｘ）に対する畳み込み演算を、各画像を中心としてウィンドウサイズＬ（窓幅）を変化させながら行うことで、各画像について評価値を求め、その評価値に基づいて候補位置Ｐｃａｎを抽出する。

図７に示すように、時系列の判定の結果Ｓ（ｘ）は複雑な変化をしているため、正解の切り替わり位置でない位置において一見、ステップ状の変化をしている場合がある。ウィンドウサイズＬはステップ関数Ｈ（ｘ）が定義される位置ｘの幅であり、このウィンドウサイズＬを固定して各位置ｘについて畳み込み演算を行った場合、ステップ関数Ｈ（ｘ）との類似度が偶然に高くなる位置ｘが現れる。本実施形態では、各位置ｘにおいてウィンドウサイズＬを変化させながら畳み込み演算を行うことで、上記のような偶然の一致を避け、正確な切り替わり位置の候補を抽出することが可能となる。

また本実施形態では、処理部２００は、ウィンドウサイズＬを変化させながら行った畳み込み演算の結果の最小値（ＭＩＮ Ｃｏｎｖ（ｘ））又は最大値（ＭＡＸ Ｃｏｎｖ（ｘ））を評価値として求める。そして、処理部２００は、評価値と評価値の閾値とを比較して、候補位置Ｐｃａｎを抽出する。

評価値として最小値を用いた場合には、ウィンドウサイズＬを変化させたなかで最もステップ関数に似ていないときの畳み込み演算の結果を用いることになる。これは、ステップ関数に似ていない位置を探すことに相当するが、それでもステップ関数に似ている（つまり最小値が大きい）位置があった場合、その位置を候補として抽出できる。これにより、臓器の切り替えが実際に起きた可能性が高い候補を正確に抽出できる。

また評価値として最大値を用いた場合には、ウィンドウサイズＬを変化させたなかで最もステップ関数に似ているときの畳み込み演算の結果を用いることになる。これは、少しでもステップ関数に似ている位置を探すことに相当し、切り替わり位置の候補の見逃しを抑制することが可能である。

２．処理部
以下、本実施形態の詳細を説明する。図２に処理部２００の詳細な構成例を示す。処理部２００は、領域設定部２１０と、局所特徴量算出部２２０、局所特徴量記憶部２３０、クラスタリング部２４０、ヒストグラム作成部２５０、画像特徴量生成部２６０、学習・判定部２７０（学習・分類部）、候補位置抽出部２８０、切り替わり位置決定部２９０を含む。

図３〜図６に示すフローチャートを用いて本実施形態が行う処理について説明する。ここでは処理手順の概要について説明し、各処理の詳細については後述する。

図３に示すように、処理部２００は、学習用画像から代表ベクトルを抽出する教師無しの第１の学習処理を行い（ステップＳ１）、次に代表ベクトルを用いて学習用画像から抽出した特徴量と正解ラベルにより教師有り学習を行う第２の学習処理（ステップＳ２）を行う。次に、学習済みの処理部２００が、診断対象の患者の体内を撮像した時系列画像から臓器の切り替わり位置を決定する処理を行う（ステップＳ３）。

図４に、ステップＳ１で実行する第１の学習処理のフローチャートを示す。まず、画像取得部１００が複数の学習用画像を取得する（ステップＳ１１）。次に領域設定部２１０が各学習用画像に複数の局所領域を設定する（ステップＳ１２）。次に、局所特徴量算出部２２０が各局所領域から局所特徴量を算出する（ステップＳ１３）。局所特徴量記憶部２３０は、複数の学習用画像に設定された複数の局所領域について算出した局所特徴量を記憶する（ステップＳ１４）。次に、クラスタリング部２４０が、記憶された局所特徴量をクラスタリングし、代表ベクトル（ビジュアルワード（Visual Words））を抽出する（ステップＳ１５）。次に、代表ベクトルを不図示の記憶部に記憶する（ステップＳ１６）。代表ベクトルを記憶する記憶部は、例えば処理部２００に内蔵されたメモリであってもよいし、処理部２００の外部の記憶装置であってもよい。

図５に、ステップＳ２で実行する第２の学習処理のフローチャートを示す。まず、画像取得部１００が複数の学習用画像と、その各画像に対応するラベルを取得する（ステップＳ２１）。ラベルは、画像に写っている臓器の種類を示す情報である。次に領域設定部２１０が各学習用画像に複数の局所領域を設定し（ステップＳ２２）、局所特徴量算出部２２０が各局所領域から局所特徴量を算出する（ステップＳ２３）。次に、ヒストグラム作成部２５０が、各局所特徴量に対して最近接となる代表ベクトルを求め、その代表ベクトルの番号を割り当て、各番号に割り当てられた局所特徴量の数を数えてヒストグラムを作成する。そして、画像特徴量生成部２６０がヒストグラムの各ビンを成分とする特徴ベクトルを生成する（ステップＳ２５）。ヒストグラムや特徴ベクトルは各画像について作成する。即ち、特徴ベクトルは画像毎に抽出した特徴量である。次に、特徴ベクトルとラベルに基づいて学習を行う（ステップＳ２６）。次に、学習結果を不図示の記憶部に記憶する（ステップＳ２７）。学習結果を記憶する記憶部は、例えば処理部２００に内蔵されたメモリであってもよいし、処理部２００の外部の記憶装置であってもよい。

図６に、ステップＳ３で実行する切り替わり位置決定処理のフローチャートを示す。まず、画像取得部１００が時系列画像を取得する（ステップＳ３１）。次に領域設定部２１０が時系列画像の各画像に複数の局所領域を設定し（ステップＳ３２）、局所特徴量算出部２２０が各局所領域から局所特徴量を算出する（ステップＳ３３）。次に、ヒストグラム作成部２５０が、各局所特徴量に対して最近接となる代表ベクトルを求め、その代表ベクトルの番号を割り当て、各番号に割り当てられた局所特徴量の数を数えてヒストグラムを作成する。そして、画像特徴量生成部２６０がヒストグラムの各ビンを成分とする特徴ベクトルを生成する（ステップＳ３５）。ヒストグラムや特徴ベクトルは各画像について作成する。次に、学習・判定部２７０が、学習結果により特徴ベクトルを分類する（ステップＳ３６）。即ち、各画像に写った臓器の種類を判定する。次に、候補位置抽出部２８０が、判定結果の時系列を用いて臓器の切り替わり位置の候補位置を抽出する（Ｓ３７）。次に、切り替わり位置決定部２９０が、候補位置どうしを比較し、臓器の切替り位置を決定する（ステップＳ３８）。

３．学習処理
次に、個々の処理について具体的に説明する。まず第１の学習処理、第２の学習処理について説明する。

画像取得部１００が取得する学習用画像は、画像と臓器（対象物）の種類との対応が予め判明している画像である。例えば診断対象の患者とは別の患者から予め撮像しておいた画像を用いる。複数の学習用画像は時系列の画像である必要はない。画像取得部１００は、例えば撮像部により撮像された画像を受信するインターフェース部や、或いは画像処理装置の内部や外部の記憶装置に記憶された画像を読み出すコントローラー等に対応する。

図７に示すように、領域設定部２１０は、画像ＩＭ（１枚の学習用画像）に所定サイズの局所領域ＬＡを設定する。具体的には、複数の局所領域ＬＡ１、ＬＡ２、ＬＡ３、・・・を、互いに重なりを許して設定する。例えば画像ＩＭのサイズが２８８画素×２８８画素の場合、局所領域のサイズを３０画素×３０画素に設定するが、画像ＩＭのサイズに応じて局所領域のサイズを変えてもよい。

局所特徴量算出部２２０は、各局所領域ＬＡの画像に対して、例えば、ＬＢＰ（Locally Binary Pattern）を適用する。ＬＢＰ値は、局所領域ＬＡの各画素を中心とする３×３画素から求める。３×３画素の中心の画素をＰ０とし、その周囲の８画素をＰ１〜Ｐ９とすると、Ｐ１〜Ｐ９の各画素とＰ０とで画素値を比較し、Ｐ０の画素値以上の場合には“１”を割り当て、Ｐ０の画素値より小さい場合には“０”を割り当てる。そのビットをＰ１〜Ｐ９の順に並べて８ビットの値を得る。これを、局所領域ＬＡの全画素について行い、１つの局所領域ＬＡあたり３０×３０＝９００個のＬＢＰ値を得る。その９００個のＬＢＰ値を０〜２５５のＬＢＰ値に振り分けて、各値の個数をカウントし、局所領域ＬＡについて２５６次元の局所特徴ヒストグラムを得る。これを２５６次元の特徴ベクトル（局所特徴量）とみなし、この特徴ベクトルを局所領域ＬＡ１、ＬＡ２、・・・の各々について求め、局所領域の個数分の特徴ベクトルを生成する。

この局所領域から局所特徴量を算出する処理を複数の画像に対して行い、局所特徴量記憶部２３０に多数のベクトルを記憶する。例えば学習用画像を１００枚とし、画像１枚あたり１００個の局所領域を設定したとすると、１００００個分の特徴ベクトルを局所特徴量記憶部２３０に記憶する。

クラスタリング部２４０は、これらの記憶された特徴ベクトルに対して例えばＫ−ｍｅａｎｓ法等を用いてクラスタリングを行い、代表ベクトルを抽出する。Ｋ−ｍｅａｎｓ法は、分割クラス数をｋ個とし、ｋ個の代表ベクトルを初期状態に設定して特徴ベクトルをｋ個のクラスに分割し、各クラスの平均位置を求めて代表ベクトルを移動してクラスの分割を再度行い、これを繰り返して最終的なクラスの分割を決める手法である。例えば、本実施形態では代表ベクトルの数をｋ＝１００個とする。なお、代表ベクトルの逆像に相当する局所領域の画像を、視覚的な辞書という意味でビジュアルワード（Visual Words）と呼ぶ。

ヒストグラム作成部２５０は、１００個の代表ベクトルの中から、局所特徴量と代表ベクトルのユークリッド距離が最短となるものを見いだす。これを各画像について局所領域毎に行う。１００個の代表ベクトルに１〜１００の番号を付し、各番号の代表ベクトルに対してユークリッド距離が最短だった局所領域が何個あったかをカウントし、１００次元のヒストグラムを生成する。このヒストグラムは１枚の学習用画像毎に生成する。これを１００次元のベクトルとみなし、画像のＢｏＦ（Bag of Features）特徴ベクトルと呼ぶ。

画像特徴量生成部２６０は、上記のＢｏＦ特徴ベクトルを学習用画像の枚数分だけ生成し、正解のラベル（例えば、胃、小腸、大腸等の臓器の種類）と共に学習データセットを生成する。

学習・判定部２７０は、上記の学習データセットを用いて、例えばＳＶＭ（Support Vector Machine）により学習を行う。ＳＶＭは、与えられた学習データセットから、特徴ベクトルのベクトル空間におけるラベルの分離面（例えば胃と小腸の特徴ベクトルを分離する面）を決定する学習器である。例えば、特徴ベクトルのベクトル空間において線形に分離を行い、分離平面を決定する。或いは、特徴ベクトルよりも高次元のベクトル空間において線形に分離を行い、特徴ベクトルの次元で見たときに非線形な分離面を決定してもよい。

なお、以上では１種類のＬＢＰ局所特徴量を各局所領域に適用する場合について説明したが、本実施形態はこれに限定されない。例えば、ＬＢＰ以外にも、勾配の局所特徴量としてＳＩＦＴ（Scale-Invariant Feature Transform）を用いてもよいし、色（Hue Saturation Value）の局所特徴量を用いてもよい。或いは、これらの複数種類の局所特徴量を適用した特徴ベクトルを生成しても良い。

色、勾配、テクスチャの組合せ方法には、大きく分けて処理の早い段階で組合せるアーリーフュージョン（early fusion）と処理の遅い段階で組合せるレイトフュージョン（late fusion）がある。

アーリーフュージョンの一例として、各局所領域の中の３×３画素のパターンをテクスチャ特徴量のＵＬＢＰ（Uniform LBP）特徴量と中心画素のＨＳＶ色特徴の組合せによって表現する方法がある。ＨＳＶ色特徴は、例えば、図８のようにＨＳＶ色空間を色相方向に１２分割し、彩度方向に３分割し、無彩色の明度を４分割する。この場合、合計４０次元の特徴量であり、ＵＬＢＰ特徴量が１０次元であるため、その結果生成されるアーリーフュージョンの特徴量の次元は、４０×１０＝４００次元である。

レイトフュージョンの一例として、ＨＳＶ色特徴量のＢｏＦヒストグラムとＬＢＰヒストグラムを並べて得られる結合ヒストグラムを画像の特徴ベクトルとする方法がある。また、レイトフュージョンの別の例として、色単独、テクスチャ単独、或いは、それらの上述したアーリーフュージョンやレイトフュージョンの組合せをそれぞれ別々に、後述するＳＶＭ等の判別器で学習し、分類時の分類スコアを合算し、それをある閾値で判定する方法がある。

以上のような手法を組合せることで、より精度の高い学習・分類器を構築できる。

４．切り替わり位置決定処理
次に、切り替わり位置決定処理について説明する。

ＢｏＦ特徴ベクトルを求めるまでの処理は、基本的には第２の学習処理と同様である。即ち、画像取得部１００が、カプセル型内視鏡により撮像された時系列画像（ラベル未知の画像）を取得し、領域設定部２１０が、時系列画像の各画像に対して３０×３０画素の局所領域を、互いに重複させて複数設定し、局所特徴量算出部２２０は、各局所領域の画像に例えばＬＢＰを適用して２５６次元の特徴ベクトルを求める。ヒストグラム作成部２５０は、学習で求めた代表ベクトルに特徴ベクトルを割り当て、画像毎に１００次元のＢｏＦ特徴ベクトルを作成する。

なお、切り替わり位置決定処理では学習で求めた代表ベクトルを用いるため、クラスタリングは行わない。そのため、局所特徴量記憶部２３０は、少なくとも画像１枚分の局所特徴量を記憶すればよく、必ずしも複数の画像の局所特徴量を記憶しておく必要はない。

学習・判定部２７０は、ラベルが未知のＢｏＦ特徴ベクトルを学習済みのＳＶＭで判定し、各画像に写っている臓器の種類を分類する。入力画像は時系列なので、それに対応して時系列に並んだ判定結果が得られる。

以下、画像の２分類問題として胃と小腸の画像を自動分類する場合を例にとり、判定結果系列から、臓器の切り替わり候補位置を抽出する処理について説明する。

図９に、胃と小腸の時系列画像を自動分類した判定結果の例を示す。判定結果Ｓ（ｘ）＝−１は胃を表し、Ｓ（ｘ）＝＋１は小腸を表す。画像には時系列の順にｉｍｇ００００１〜ｉｍｇ１００００の名前（番号）が付けられており、その時系列の順に判定結果Ｓ（ｘ）が並んでいる。位置ｘは、時系列画像の番号である。ＸＲは、胃から小腸への切替りの正解位置（幽門）である。

候補位置抽出部２８０は、判定結果Ｓ（ｘ）と、図１０に示すステップ関数Ｈ（ｘ）との畳み込み演算を下式（２）により行い、下式（３）により臓器の切り替わり候補位置を求める。

ステップ関数Ｈ（ｘ）はｘ＝−Ｌ〜＋Ｌの範囲で定義された関数であり、その窓幅Ｌは可変である。上式（２）では、窓幅Ｌを任意に固定し、２Ｌで割って値を正規化した中で畳み込みの値Ｃｏｎｖ（ｘ）を算出する。

上式（３）の｛｝内では、位置ｘを任意に固定し、窓幅ＬをＬ０からＬ１まで動かす中でのＣｏｎｖ（ｘ）の最小値を算出する。例えばＬ０＝１０、Ｌ１＝ＭＩＮ［ｘ−Ｍ０，Ｍ１−ｘ］である。Ｍ０は画像の探索開始位置であり、例えばＭ０＝１である。Ｍ１は画像の探索終了位置であり、例えばＭ１＝１００００である。

例えば判定結果Ｓ（ｘ）の時系列が図１１に示す形状であったとする。位置ｘ０で畳み込みを行った場合、窓幅Ｌ≦（ｘ１−ｘ０）ではＳ（ｘ）がステップ関数なので畳み込みの値Ｃｏｎｖ（ｘ）＝１である。窓幅Ｌ＞（ｘ１−ｘ０）ではＳ（ｘ）の形状がステップ関数から離れていくので、畳み込みの値Ｃｏｎｖ（ｘ）は１より小さくなっていく。即ち、Ｃｏｎｖ（ｘ）の最小値を用いるということは、窓幅Ｌを変化させたときにステップ関数に最も似ていないときのＣｏｎｖ（ｘ）を選択するということである。

候補位置抽出部２８０は、この最小値を探索開始位置Ｍ０から探索終了位置Ｍ１の各位置ｘで求める。その最小値の例を図１２に示す。上式（３）の［］内では、Ｔｈ（閾値）関数により所定の閾値で判定を行う。そして、Ａｒｇ関数により、最小値が閾値以上である位置ｘを候補位置Ｐｃａｎとして抽出する。閾値として例えば０を用いた場合、図１２の例では位置Ａ〜Ｄが候補位置Ｐｃａｎとして選出される。

なお、上記では畳み込みの最小値を用いたが、本実施形態はこれに限定されない。例えば、上式（３）の｛｝内をＭＡＸ Ｃｏｎｖ（ｘ）として、窓幅ＬをＬ０からＬ１まで動かす中でのＣｏｎｖ（ｘ）の最大値を用いてもよい。図１１の例では、畳み込みの値Ｃｏｎｖ（ｘ）の最大値は１である。Ｃｏｎｖ（ｘ）の最大値を用いるということは、窓幅Ｌを変化させたときにステップ関数に最も似ているときのＣｏｎｖ（ｘ）を選択するということである。

次に、切り替わり候補位置Ａ〜Ｄから最終的な推定位置を決定する処理について説明する。

切り替わり位置決定部２９０は、抽出した切り替わり候補位置Ａ〜Ｄのうち、例えば、隣り合う２点に挟まれる区間［Ａ，Ｂ］に着目し、区間内での１（小腸）と‐１（胃）の数を比較する。即ち、
＋１（小腸）の数＞−１（胃）の数の場合⇒左側の点Ａを候補点とする
＋１（小腸）の数≦−１（胃）の数の場合⇒右側の点Ｂを候補点とする
この比較を候補位置の数が１つになるまで続ける。

図１３は、上記の判定法に従って、候補位置Ａ、Ｂに挟まれる区間［Ａ，Ｂ］で−１、＋１の数を比較する場合の図である。区間［Ａ，Ｂ］では、−１の数の方が、＋１の数よりも多いので、ＡでなくＢが候補位置として残る。次に、図１４に示すように、候補位置ＢとＣを比較する。区間［Ｂ，Ｃ］では、＋１の数の方が−１の数よりも多いので、ＣでなくＢが候補位置として残る。次に、図１５に示すように、候補位置ＢとＤを比較する。区間［Ｂ，Ｄ］では、＋１の数の方が−１の数よりも多いので、ＤでなくＢを最終的な推定位置として選択する。

選択された位置Ｂは、図９に示す正解位置ＸＲとほぼ同じ位置にあり、良好な推定結果を得ることができている。

以上の実施形態によれば、処理部２００は、候補位置として第１〜第ｎの候補位置（ｎは２以上の自然数）が抽出された場合に、第１〜第ｎの候補位置のうち第ｉの候補位置と第ｊの候補位置（ｉ、ｊはｉ＜ｊ≦ｎの自然数）の間の判定の結果に基づいて、第ｉの候補位置及び第ｊの候補位置のいずれかを選択する。

例えば、図１２で説明したように第１〜第４の候補位置Ａ〜Ｄが抽出され、図１３で説明したように第１の候補位置Ａと第２の候補位置Ｂの間の判定結果Ｓ（ｘ）に基づいて、第１の候補位置Ａと第２の候補位置Ｂのいずれかを選択する。

候補位置は、上式（２）、（３）により正解の切り替わり位置に近い（即ちＳ（ｘ）がステップ関数に近い）と判断した位置であり、ローパスフィルタ等の影響を受けずに抽出された位置である。このようにローパスフィルタ等による位置ズレを起こしていない候補位置の中から切り替わり位置を選択することで、高精度な推定が可能となる。また、２つの候補位置の間の判定結果は、真の切り替わり位置を反映しているはずであり、それを用いることによって、より正解に近い候補位置を選択可能である。

また本実施形態では、処理部２００は、対象物が第１の対象物から第２の対象物に変化する場合に、第ｉの候補位置と第ｊの候補位置の間において、対象物が第１の対象物であるとの判定の結果の数が、対象物が第２の対象物であるとの判定の結果の数よりも多い場合には、第ｊの候補位置を選択する。一方、対象物が第２の対象物であるとの判定の結果の数が、対象物が前記第１の対象物であるとの判定の結果の数よりも多い場合には、第ｉの候補位置を選択する。

例えば、図１３で説明したように、胃（第１の対象物）から小腸（第２の対象物）に変化する場合に、第１の候補位置Ａと第２の候補位置Ｂの間では、胃であるとの判定結果（−１）の数が、小腸であるとの判定結果（＋１）の数よりも多い。この場合、第２の候補位置Ｂを選択する。

このようにすれば、第ｉの候補位置と第ｊの候補位置の間にある判定結果の多数決をとり、その結果によって、どちらの候補位置が真の切り替わり位置に近いかを推定できる。この選択を順次繰り返すことで、第１〜第ｎの候補位置の中で最も正解に近い候補位置を推定できる。

また本実施形態では、特徴量は、テクスチャに関する局所特徴量、色に関する局所特徴量、勾配に関する局所特徴量のうちの少なくとも１つに基づく特徴量である。より具体的には、特徴量は、テクスチャに関する局所特徴量と、色に関する局所特徴量又は勾配に関する局所特徴量との組み合わせに基づく特徴量である。

例えば本実施形態では、ＬＢＰによりテクスチャに関する局所特徴量を求め、ＨＳＶ空間の分割により色に関する局所特徴量を求め、ＳＩＦＴにより勾配に関する局所特徴量を求める。そして、これらの局所特徴量からＢｏＦ特徴ベクトル（画像の特徴量）を求める。

このようにすれば、臓器の画像のテクスチャや色、勾配等の特徴に基づいて、画像がどの臓器のものであるか分類できる。また、複数の特徴量を組み合わせることで、分類精度を向上できる。例えば、臓器の種類によって差が出やすい特徴の組み合わせが存在する場合、その組み合わせを用いることで正確な判定が可能となる。

また本実施形態では、処理部２００は、各画像に複数の局所領域を設定し、複数の局所領域の各領域について局所特徴量を求め、複数の代表ベクトルのうち局所特徴量が属する代表ベクトルに局所特徴量を割り当てたヒストグラムを特徴量として作成し、ヒストグラムと予め行われた学習の結果とに基づいて、対象物が第１の対象物であるか第２の対象物であるかの判定を行う。

例えば本実施形態では、ＬＢＰ等の局所特徴量を、第１の学習処理で求めた代表ベクトルに割り当てて画像毎にヒストグラムを生成し、そのヒストグラムを画像毎のＢｏＦ特徴ベクトル（特徴量）とする。そして、学習済みのＳＶＭによりＢｏＦ特徴ベクトルを胃と小腸に分類する。

このようにすれば、予め正解ラベルが分かっている画像により学習した学習器を用いて、離散値（例えば胃と小腸の２値）の判定結果が得られる。離散値の判定結果が得られることで臓器毎の判定結果の個数がカウント可能となり、上述したような候補位置の比較が可能となる。

また本実施形態では、画像取得部１００は、対象物が第１の対象物であるか第２の対象物であるかのラベルが付された複数の学習用画像を取得する。処理部２００は、第１の学習処理として、複数の学習用画像から局所特徴量を求め、その複数の学習用画像から求めた局所特徴量に対してクラスタリングを行い、複数の代表ベクトルを生成する。そして、処理部２００は、第２の学習処理として、複数の代表ベクトルに基づいて複数の学習用画像の各学習用画像についてヒストグラムを求め、その各学習用画像に付されたラベルとヒストグラムとに基づいて学習を行う。

例えば本実施形態では、ラベルとして臓器の種類が各画像に対応付けられている。第１の学習処理では、ＬＢＰ等の局所特徴量に対してＫ−ｍｅａｎｓ法によりクラスタリングを行う。第２の学習処理では、学習用画像から求めたＢｏＦ特徴ベクトルと、その学習用画像に対応付けられた臓器ラベルから、ＳＶＭによる学習を行う。

このようにすれば、教師無し学習によるクラスタリングを行って代表ベクトルを抽出し、その代表ベクトルにより生成したＢｏＦ特徴ベクトルと正解ラベルを用いた教師有り学習により学習を行うことができる。そして、その学習済みの学習器によって、患者の消化管を撮影した未知ラベルの画像を分類できる。

５．内視鏡システム
図１６に、本実施形態の画像処理装置を適用できる内視鏡システムの構成例を示す。内視鏡システムは、カプセル型内視鏡３００、通信装置４００、画像処理装置５００を含む。

カプセル型内視鏡３００は、患者が飲み込むことで患者の消化管の中を移動していき、消化管の内部を順次撮像する内視鏡である。カプセル型内視鏡３００は、照明光を発生する光源３３０と、その照明光を消化管内に照射するレンズ３１０と、消化管の像を結像するレンズ３２０と、その結像を撮影する撮像素子３４０と、を含む。レンズ３２０と撮像素子３４０により撮像部が構成される。またカプセル型内視鏡３００は、各部の制御等（例えばや撮像処理等）を行う処理部３８０と、通信装置４００との無線通信を行う通信部３６０と、を含む。撮像画像は通信部３６０を介して通信装置４００に転送される。

通信装置４００は、患者の腹部等に貼り付けたアンテナを介してカプセル型内視鏡３００との通信を行う通信部４１０と、各部の制御や画像処理等を行う処理部４４０と、例えば画像を保存する或いは処理部４４０のワーキングメモリとして機能する記憶部４３０と、画像処理装置５００等の外部装置とのインターフェース処理を行うＩ／Ｆ部４２０と、を含む。撮像画像はＩ／Ｆ部４２０を介して画像処理装置５００に転送される。転送は、全ての撮像が終わった後にまとめて行ってもよいし、撮影中に随時行ってもよい。

画像処理装置５００は、上述した臓器の切り替わり位置を決定する処理を行う。画像処理装置５００は、例えばＰＣ等の汎用の情報処理装置で構成してもよいし、或いは専用の処理装置で構成してもよい。画像処理装置５００は、通信装置４００とのインターフェース処理を行うＩ／Ｆ部５１０と、各部の処理や画像処理、学習処理、切り替わり位置決定処理等を行う処理部２００と、例えば画像を保存する或いは処理部２００のワーキングメモリとして機能する記憶部５２０と、撮像画像等を表示する表示部５４０と、ユーザの操作を受け付ける操作部５５０と、を含む。

なお、以上で説明した本実施形態の画像処理装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る画像処理装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 画像取得部、２００ 処理部、２１０ 領域設定部、
２２０ 局所特徴量算出部、２３０ 局所特徴量記憶部、２４０ クラスタリング部、
２５０ ヒストグラム作成部、２６０ 画像特徴量生成部、２７０ 判定部、
２８０ 候補位置抽出部、２９０ 位置決定部、３００ カプセル型内視鏡、
３１０ レンズ、３２０ レンズ、３３０ 光源、３４０ 撮像素子、
３６０ 通信部、３８０ 処理部、４００ 通信装置、４１０ 通信部、
４２０ Ｉ／Ｆ部、４３０ 記憶部、４４０ 処理部、５００ 画像処理装置、
５１０ Ｉ／Ｆ部、５２０ 記憶部、５４０ 表示部、５５０ 操作部、
Ａ〜Ｄ 候補位置、Ｈ（ｘ） ステップ関数、Ｌ 窓幅、
ＬＡ，ＬＡ１〜ＬＡ３ 局所領域、Ｓ（ｘ） 判定結果、ｘ 位置、ＸＲ 正解位置、
ｉｍｇ００００１〜ｉｍｇ１００００ 時系列画像

Claims (13)

1. 時系列に撮像された時系列画像を取得する画像取得部と、
   前記時系列画像に写された対象物が第１の対象物から第２の対象物に切り替わる位置である切り替わり位置を検出する処理部と、
   を含み、
   前記処理部は、
   前記時系列画像の各画像から特徴量を抽出し、前記特徴量に基づいて前記各画像に写された前記対象物が前記第１の対象物であるか前記第２の対象物であるかの判定を行い、前記判定の結果に基づいて前記切り替わり位置の候補位置を抽出し、前記判定の結果に基づいて前記候補位置の比較を行って前記切り替わり位置を決定することを特徴とする画像処理装置。
2. 請求項１において、
   前記処理部は、
   時系列の前記判定の結果とステップ関数との畳み込み演算により評価値を求め、前記評価値に基づいて前記候補位置を抽出することを特徴とする画像処理装置。
3. 請求項１において、
   前記処理部は、
   時系列の前記判定の結果に対する畳み込み演算を、前記各画像を中心としてウィンドウサイズを変化させながら行うことで、前記各画像について評価値を求め、前記評価値に基づいて前記候補位置を抽出することを特徴とする画像処理装置。
4. 請求項３において、
   前記処理部は、
   前記ウィンドウサイズを変化させながら行った前記畳み込み演算の結果の最小値又は最大値を前記評価値として求め、前記評価値と前記評価値の閾値とを比較して、前記候補位置を抽出することを特徴とする画像処理装置。
5. 請求項１において、
   前記処理部は、
   前記候補位置として第１〜第ｎの候補位置（ｎは２以上の自然数）が抽出された場合に、前記第１〜第ｎの候補位置のうち第ｉの候補位置と第ｊの候補位置（ｉ、ｊはｉ＜ｊ≦ｎの自然数）の間の前記判定の結果に基づいて、前記第ｉの候補位置及び前記第ｊの候補位置のいずれかを選択することを特徴とする画像処理装置。
6. 請求項５において、
   前記処理部は、
   前記対象物が前記第１の対象物から前記第２の対象物に変化する場合に、前記第ｉの候補位置と前記第ｊの候補位置の間において、前記対象物が前記第１の対象物であるとの前記判定の結果の数が、前記対象物が前記第２の対象物であるとの前記判定の結果の数よりも多い場合には、前記第ｊの候補位置を選択し、前記対象物が前記第２の対象物であるとの前記判定の結果の数が、前記対象物が前記第１の対象物であるとの前記判定の結果の数よりも多い場合には、前記第ｉの候補位置を選択することを特徴とする画像処理装置。
7. 請求項１において、
   前記特徴量は、テクスチャに関する局所特徴量、色に関する局所特徴量、勾配に関する局所特徴量のうちの少なくとも１つに基づく特徴量であることを特徴とする画像処理装置。
8. 請求項７において、
   前記特徴量は、前記テクスチャに関する局所特徴量と、前記色に関する局所特徴量又は前記勾配に関する局所特徴量との組み合わせに基づく特徴量であることを特徴とする画像処理装置。
9. 請求項１において、
   前記処理部は、
   前記各画像に複数の局所領域を設定し、前記複数の局所領域の各領域について局所特徴量を求め、複数の代表ベクトルのうち前記局所特徴量が属する代表ベクトルに前記局所特徴量を割り当てたヒストグラムを前記特徴量として作成し、前記ヒストグラムと予め行われた学習の結果とに基づいて、前記対象物が前記第１の対象物であるか前記第２の対象物であるかの前記判定を行うことを特徴とする画像処理装置。
10. 請求項９において、
    前記画像取得部は、
    前記対象物が前記第１の対象物であるか前記第２の対象物であるかのラベルが付された複数の学習用画像を取得し、
    前記処理部は、
    第１の学習処理として、前記複数の学習用画像から前記局所特徴量を求め、前記複数の学習用画像から求めた前記局所特徴量に対してクラスタリングを行い、前記複数の代表ベクトルを生成し、
    第２の学習処理として、前記複数の代表ベクトルに基づいて前記複数の学習用画像の各学習用画像について前記ヒストグラムを求め、前記各学習用画像に付された前記ラベルと前記ヒストグラムとに基づいて学習を行うことを特徴とする画像処理装置。
11. 請求項１において、
    前記画像取得部は、
    カプセル型内視鏡により撮像された前記時系列画像を取得することを特徴とする画像処理装置。
12. 請求項１に記載された画像処理装置と、
    前記時系列画像を撮像するカプセル型内視鏡と、
    を含むことを特徴とする内視鏡システム。
13. 時系列に撮像された時系列画像を取得し、
    前記時系列画像の各画像から特徴量を抽出し、
    前記特徴量に基づいて前記各画像に写された対象物が第１の対象物であるか第２の対象物であるかの判定を行い、
    前記判定の結果に基づいて、前記時系列画像に写された前記対象物が前記第１の対象物から前記第２の対象物に切り替わる位置である切り替わり位置の候補位置を抽出し、
    前記判定の結果に基づいて前記候補位置の比較を行って前記切り替わり位置を決定することを特徴とする画像処理方法。