JP2009247463A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】内視鏡で撮像した画像から、被写体の表面の凹凸情報を高精度で得ることができる。
【解決手段】画像処理装置は、被写体の表面の凹凸形状を視覚的に強調する色素が散布されている状態で撮像された被写体の第１画像を取得する画像取得部と、第１画像における色情報に基づいて、被写体の表面の凹凸形状を算出する形状算出部とを備える。形状算出部は、第１画像における部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出する。
【選択図】図１

Description

本発明は、画像を処理する画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、被写体の表面の凹凸形状を算出する画像処理装置、画像処理方法、およびプログラムに関する。

生体の内部の状態を可視化する技術として、たとえば、ＣＴ、ＭＲによって撮像された生体の断層像に基づいて生体を立体的に表示するためのワイヤフレーム画像を生成する技術が考案されている（たとえば、特許文献１、特許文献２、および特許文献３参照。）。また、臓器表面にメチレンブルー色素を散布することによって、臓器表面の凹凸形状を視覚的に強調する技術が考案されている（たとえば、特許文献４参照。）。
特開平１０−２３４６６３号公報 特表２００１−５１３９２３号公報 特開平１０−３１７６１号公報 特開平８−３０７８９０号公報

また、酸素飽和度などの生体内情報画像を観察画像とは別に表示する技術が考案されている（たとえば、特許文献５参照。）。また、画像から抽出した輝度信号に基づいて、奥行きを推定する技術が考案されている（たとえば、特許文献６参照。）。また、画像から判別した異常組織をマーカーと同時にサムネイル表示する技術が考案されている（たとえば、特許文献７参照。）。
特開２００５−２７８８５４号公報 特開２００１−１０３５１３号公報 特開２００６−１９８１０６号公報

しかしながら、上記技術では、生体を立体的に表示するためのワイヤフレーム画像を生成するためには、ＣＴ、ＭＲなどの大規模な医療機器により、生体の断面画像を多数撮像する必要がある。また、内視鏡で撮像した画像からでは、生体の表面の凹凸情報を高精度で得ることができないので、高精度のワイヤフレーム画像を生成できない。

上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、被写体の表面の凹凸形状を視覚的に強調する色素が散布されている状態で撮像された被写体の第１画像を取得する画像取得部と、第１画像における色情報に基づいて、被写体の表面の凹凸形状を算出する形状算出部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置１００のブロック構成の一例を示す。以降の説明では、画像処理装置の一例としての撮像装置１００について説明する。撮像装置１００は、色素散布部１０５、発光部１１０、撮像部１１５、撮像制御部１２０、画像取得部１３０、動き検出部１３５、形状画像生成部１４０、高低差格納部１４５、形状算出部１５０、画像領域特定部１６０、ワイヤフレーム画像生成部１７０、および表示部１８０を備える。

撮像装置１００は、内視鏡であってよい。撮像装置１００が内視鏡である場合、発光部１１０および撮像部１１５は、生体内に挿入される内視鏡の挿入部の先端に設けられてよい。他の例においては、発光部１１０は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体に光を照射してもよい。また、撮像部１１５は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体からの光を受光してもよい。

また、以降の説明において、被写体は、生体であってもよい。色素は、生体の色と異なる色であることが好ましい。また、色素は、生体の体液より比重が大きい色素であることが好ましい。たとえば、色素は、インジゴカルミン、メチレンブルーであってもよい。

色素散布部１０５は、被写体の表面の凹凸形状を視覚的に強調する色素を被写体の表面に散布する。発光部１１０は、光を発する。たとえば、発光部１１０は、白色光を発する。

発光部１１０は、複数の発光部を有してもよい。たとえば、発光部１１０は、主にＢ波長領域（４２０ｎｍ〜４９０ｎｍ）の光を発する第１発光部、主にＧ波長領域（４９０ｎｍ〜６００ｎｍ）の光を発する第２発光部、および主にＲ波長領域（６００ｎｍ〜７５０ｎｍ）の光を発する第３発光部を有してもよい。第１発光部は、主にＢ波長領域の光を発光するＬＥＤであってもよい。また、第１発光部は、主にＢ波長領域の光を透過するフィルタを有してもよい。

第２発光部は、主にＧ波長領域の光を発光するＬＥＤであってもよい。また、第２発光部は、主にＧ波長領域の光を透過するフィルタを有してもよい。第３発光部は、主にＲ波長領域の光を発光するＬＥＤであってもよい。また、第３発光部は、主にＲ波長領域の光を透過するフィルタを有してもよい。

撮像部１１５は、被写体の第１画像を撮像する。また、撮像部１１５は、被写体の第２画像を撮像する。第１画像とは、色素が散布されている状態で撮像された画像を示す。第２画像とは、色素が散布されていない状態で撮像された画像を示す。

たとえば、撮像部１１５は、色素散布部１０５が色素を被写体に散布する前に被写体の第１画像を撮像する。たとえば、撮像部１１５は、色素散布部１０５が色素を被写体に散布した後に被写体の第２画像を撮像する。

撮像部１１５は、複数の受光部を有してもよい。たとえば、撮像部１１５は、主にＢ波長領域の光を受光する第１受光部、主にＧ波長領域の光を受光する第２受光部、および主にＲ波長領域の光を受光する第３受光部を有してもよい。この場合、第１受光部、第２受光部、および第３受光部は、複数の受光素子をそれぞれ有してもよい。撮像部１１５は、第１受光部の受光素子、第２受光部の受光素子、および第３受光部の受光素子が規則的に配列されたＣＣＤまたはＣＭＯＳであってよい。他の例においては、第１受光部、第２受光部、および第３受光部は、それぞれ異なるＣＣＤまたはＣＭＯＳであってよい。

撮像制御部１２０は、色素散布部１０５、発光部１１０、および撮像部１１５を制御する。たとえば、撮像制御部１２０は、色素散布部１０５による散布タイミングを制御する。また、撮像制御部１２０は、発光部１１０による発光タイミングを制御してもよい。また、撮像制御部１２０は、撮像部１１５による撮像タイミングを制御してもよい。

たとえば、撮像制御部１２０は、色素散布部１０５が色素を被写体に散布する前に、発光部１１０に光を発光させ、同時に撮像部１１５に被写体の第２画像を撮像させる。そして、撮像制御部１２０は、色素散布部１０５が色素を被写体に散布した後に、発光部１１０に光を発光させ、同時に撮像部１１５に被写体の第１画像を撮像させる。

画像取得部１３０は、被写体の第１画像を取得する。画像取得部１３０は、撮像部１１５によって撮像された、被写体の第１画像を取得してもよい。画像取得部１３０は、他の撮像装置によって撮像された、被写体の第１画像を取得してもよい。

画像取得部１３０は、被写体の第２画像をさらに取得してもよい。画像取得部１３０は、撮像部１１５によって撮像された、被写体の第２画像をさらに取得してもよい。画像取得部１３０は、他の撮像装置によって撮像された、被写体の第２画像をさらに取得してもよい。

動き検出部１３５は、撮像部１１５と被写体との相対的な動きを検出する。動き検出部１３５は、ジャイロセンサーなどにより、撮像部１１５と被写体との相対的な動きを検出してもよい。動き検出部１３５は、複数の画像から、撮像部１１５と被写体との相対的な動きを検出してもよい。この場合、動き検出部１３５は、複数の画像に含まれている血管、はさみ、病変、切り口などのランドマークに基づいて、撮像部１１５と被写体との相対的な動きを検出してもよい。

形状画像生成部１４０は、画像取得部１３０が取得した被写体の第２画像の色情報から画像取得部１３０が取得した被写体の第１画像の色情報を減算することによって、被写体の表面に散布された色素の色情報を含む形状画像を生成する。たとえば、形状画像生成部１４０は、被写体の第２画像の画素毎に、当該画素の色情報から画像取得部１３０が取得した被写体の第１画像の対応する画素の色情報を減算することによって、被写体の表面に散布された色素の色情報を含む形状画像を生成する。

形状画像生成部１４０は、被写体の第２画像の部分領域毎に、当該部分領域の色情報から画像取得部１３０が取得した被写体の第１画像の対応する部分領域の色情報を減算することによって、被写体の表面に散布された色素の色情報を含む形状画像を生成する。形状画像生成部１４０は、動き検出部１３５が検出した動き情報に基づいて、被写体の第２画像の画素または部分領域に対応する、被写体の第１画像の画素または部分領域を特定してもよい。

高低差格納部１４５は、他の色成分に対する色素の色成分の強度毎に、被写体の表面の凹凸の高さを対応付けて格納する。たとえば、高低差格納部１４５は、他の色成分であるＲ成分に対する色素の色成分であるＢ成分の強度毎に、被写体の表面の凹凸の高さを対応付けて格納する。高低差格納部１４５は、形状算出部１５０は、他の色成分に対する色素の色成分の強度が強いほど、被写体の表面の凹凸の高さが高くなるように、上記高さを格納してもよい。

形状算出部１５０は、画像取得部１３０が取得した被写体の第１画像における色情報に基づいて、被写体の表面の凹凸形状を算出する。形状算出部１５０は、被写体の第１画像における画素毎の色素の色成分の強度から、画素毎の高さを算出してもよい。たとえば、形状算出部１５０は、被写体の第１画像における画素毎の色素の色成分の強度が強いほど、画素の高さが高くなるように、部分領域毎の高さを算出してもよい。形状算出部１５０は、被写体の表面に溜まっている色素の水面を基準とする高さを算出してもよい。形状算出部１５０は、いずれかの凹部または凸部の頂点を基準とする高さを算出してもよい。

形状算出部１５０は、被写体の第１画像における部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出してもよい。たとえば、形状算出部１５０は、被写体の第１画像における部分領域毎の色素の色成分の強度が強いほど、部分領域毎の高さが高くなるように、部分領域毎の高さを算出してもよい。

形状算出部１５０は、被写体の第１画像における複数の画素を含む部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出してもよい。たとえば、形状算出部１５０は、被写体の第１画像における４×４、８×８、または１６×１６画素を含む部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出してもよい。

形状算出部１５０は、被写体の第１画像および被写体の第２画像に基づいて、被写体の表面の凹凸形状を算出してもよい。たとえば、形状算出部１５０は、形状画像生成部１４０が被写体の第１画像および被写体の第２画像から生成した形状画像の色情報に基づいて、被写体の表面の凹凸形状を算出してもよい。

形状算出部１５０は、形状画像生成部１４０が生成した形状画像における色情報に基づいて、被写体の表面の凹凸形状を算出してもよい。形状算出部１５０は、形状画像における画素毎の色素の色成分の強度から、画素毎の高さを算出してもよい。たとえば、形状算出部１５０は、形状画像における画素毎の色素の色成分の強度が強いほど、画素毎の高さが高くなるように、部分領域毎の高さを算出してもよい。

形状算出部１５０は、形状画像における部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出してもよい。たとえば、形状算出部１５０は、形状画像における部分領域毎の色素の色成分の強度が強いほど、部分領域毎の高さが高くなるように、部分領域毎の高さを算出してもよい。

形状算出部１５０は、形状画像における複数の画素を含む部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出してもよい。たとえば、形状算出部１５０は、形状画像における４×４、８×８、または１６×１６画素を含む部分領域毎の色素の色成分の強度から、部分領域毎の高さを算出してもよい。

形状算出部１５０は、色素の色成分の他の色成分に対する色素の色成分の強度から、部分領域毎の高さを算出してもよい。たとえば、他の色成分であるＲ成分に対する、色素の色成分であるＢ成分の強度から、部分領域毎の高さを算出してもよい。また、形状算出部１５０は、部分領域毎の高さを、高低差格納部１４５から取得してもよい。たとえば、形状算出部１５０は、被写体の第１画像または形状画像における画素または部分領域毎に、画素または部分領域の色素の色成分の強度に対応付けられている高さを、高低差格納部１４５から取得してもよい。

形状算出部１５０は、被写体の第２画像の輝度情報に基づいて、被写体の表面の凹凸形状を算出してもよい。たとえば、形状算出部１５０は、輝度が光源との距離の二乗に反比例するという性質を利用することにより、被写体の表面の凹凸形状を算出してもよい。

画像領域特定部１６０は、ワイヤフレーム画像を生成する対象とする、画像領域を特定する。画像領域特定部１６０は、形状算出部１５０が算出した凹凸形状から、予め定められている単位面積あたりの高低差が基準値以上の画像領域を特定してもよい。

ワイヤフレーム画像生成部１７０は、形状算出部１５０が算出した凹凸形状に基づいて、被写体の表面のワイヤフレーム画像を生成する。たとえば、ワイヤフレーム画像生成部１７０は、形状算出部１５０が算出した凹凸形状に基づいて、生体の表面のワイヤフレーム画像を生成する。ワイヤフレーム画像生成部１７０は、画像領域特定部１６０が特定した画像領域のワイヤフレーム画像を生成してもよい。

たとえば、ワイヤフレーム画像生成部１７０は、形状算出部１５０が算出した被写体の表面の凹凸の高さのピーク座標を差分または微分により算出したうえで、近接するピーク座標を結ぶ線分を、ワイヤフレーム画像のワイヤとして算出してもよい。この場合、ワイヤフレーム画像生成部１７０は、線分同士がピーク点を経ず、かつ交差しないように、線分を算出してもよい。

表示部１８０は、画像取得部１３０が取得した被写体の第２画像に、ワイヤフレーム画像生成部１７０が生成したワイヤフレーム画像を重畳して表示する。たとえば、表示部１８０は、画像取得部１３０が取得した生体の表面の第２画像に、ワイヤフレーム画像生成部１７０が生成したワイヤフレーム画像を重畳して表示する。

表示部１８０は、動き検出部１３５が検出した動き情報に基づいて、第２画像とワイヤフレーム画像とを重畳する位置を合わせてもよい。たとえば、表示部１８０は、動き検出部１３５が検出した動き情報に基づいて、第１画像と第２画像との間の被写体の動きベクトルを算出してもよい。そして、表示部１８０は、算出した被写体の動きベクトルに基づいて、第２画像とワイヤフレーム画像とを重畳する位置を合わせてもよい。

図２は、色素が散布されていない状態の被写体の一例を示す。図２において、被写体の一例としての生体２１０の表面は、生体の体液の一例としての粘膜２２０に覆われている。

図３は、色素が散布された状態の被写体の一例を示す。図３において、生体２１０の表面には、色素散布部１０５により、色素の一例としてのインジゴカルミン３１０が散布されている。ここで、インジゴカルミン３１０は、粘膜２２０よりも比重が大きいので、粘膜２２０の層と生体２１０との間において、層を形成する。

インジゴカルミン３１０の層の表面から、生体２１０の表面までの深さが深い場所ほど、インジゴカルミン３１０の層が厚い。したがって、撮像部１１５が撮像した第１画像において、生体２１０の表面までの深さが深い場所が写し出されている領域ほど、当該領域に含まれるインジゴカルミン３１０の色成分の濃度が濃い。

図４は、撮像部１１５が撮像した第２画像の一例を示す。図４において、画像４００は、色素が散布されていない状態で撮像部１１５によって撮像された被写体の第２画像を示す。

画像４００では、被写体に色素が散布されていないので、たとえば、医師は、画像４００からは、生体の表面の色を容易に判断することができる。しかしながら、画像４００では、色度および明度が、生体の表面の高さに依存していないので、たとえば、医師は、画像４００からは、生体の表面の凹凸部を判断することができない。

図５は、撮像部１１５が撮像した第１画像の一例を示す。図５において、画像５００は、色素が散布された状態で撮像部１１５によって撮像された被写体の第１画像を示す。

画像５００では、色素散布部１０５により被写体に色素が散布されており、被写体の表面の凹部には、散布された色素がたまっている。被写体の表面においては、深さが深い場所ほど、散布された色素の層が厚い。このため、画像５００において、生体の表面の深さが深い場所が写し出されている領域ほど、当該領域に含まれる色素の色成分の濃度が濃い。

形状算出部１５０は、図５に示した画像５００の色情報から、図４に示した画像４００の色情報を減算することによって、被写体の表面に散布された色素の色情報を含む形状画像を生成してもよい。たとえば、形状算出部１５０は、図５に示した画像５００の画素毎に、当該画素の色情報から、図４に示した画像４００の対応する画素の色情報を減算することによって、被写体の表面に散布された色素の色情報を含む形状画像を生成してもよい。また、形状算出部１５０は、図５に示した画像５００の部分領域毎に、当該部分領域の色情報から、図４に示した画像４００の対応する部分領域の色情報を減算することによって、被写体の表面に散布された色素の色情報を含む形状画像を生成してもよい。

図６は、被写体の表面の凹凸形状を算出する単位としての部分領域の一例を示す。画像６００は、色素が散布された状態で撮像部１１５によって撮像された被写体の第１画像を示す。画像６００は、部分領域６１１、部分領域６１２、部分領域６１３、および部分領域６１４を含む。それぞれの部分領域は、４×４画素を含む。

画像６００において、ＲＧＢそれぞれの画素の配列およびＲＧＢの画素数の比率は、一例であり、このような配列に限らない。また、画像６００において、部分領域の構成は、４×４画素に限らず、たとえば、８×８画素、１６×１６画素などであってもよい。

たとえば、形状算出部１５０は、部分領域ごとに、当該部分領域に含まれる複数の画素毎の色素の色成分の強度から、高さを算出してもよい。たとえば、形状算出部１５０は、部分領域ごとに、式（Ｇの強度の合計／Ｇの画素数）の算出結果と（Ｒの強度の合計／Ｒの画素数）の算出結果との比または差を算出してもよい。そして、部分領域ごとに、形状算出部１５０は、算出した値に対応付けられている高さを高低差格納部１４５から取得することにより、高さを算出してもよい。

図７は、ワイヤフレーム画像生成部１７０が生成したワイヤフレーム画像の一例を示す。図７に示す画像７００は、ワイヤフレーム画像生成部１７０が生成したワイヤフレーム画像を示す。

ワイヤフレーム画像生成部１７０は、形状算出部１５０が算出した被写体の正面の凹凸形状に基づいて、画像７００を生成してもよい。ワイヤフレーム画像生成部１７０は、画像領域特定部１６０が特定した画像領域のワイヤフレーム画像として、画像７００を生成してもよい。

図８は、表示部１８０による表示処理の一例を示す。図８において、画像４００は、撮像部１１５によって撮像された被写体の第２画像を示す。画像７００は、ワイヤフレーム画像生成部１７０が生成したワイヤフレーム画像を示す。

たとえば、表示部１８０は、画像４００と画像７００とを重畳して、画面８００に表示する。表示部１８０は、画像４００と画像７００とを並べて表示してもよい。また、表示部１８０は、画像４００または画像７００のいずれか一方を表示してもよい。また、表示部１８０は、種種の画像処理が施された画像４００を表示してもよい。

動き検出部１３５は、撮像部１１５と被写体との相対的な動きを検出する。この場合、表示部１８０は、動き検出部１３５が検出した動き情報に基づいて、画像４００と画像７００とを重畳する位置を合わせてもよい。

このように、本実施形態の撮像装置１００によれば、被写体の表面に散布された色素の色情報に基づいて、被写体の表面の凹凸形状を算出するので、内視鏡で撮像した画像からであっても、被写体の表面の凹凸情報を高精度で得ることができる。したがって、ＣＴ、ＭＲなどの大規模な医療機器を必要とせずに、高精度のワイヤフレーム画像を生成することができる。

図９は、撮像装置１００のハードウェア構成の一例を示す。撮像装置１００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、Ｉ／Ｏコントローラ１５８４によりホスト・コントローラ１５８２に接続される通信Ｉ／Ｆ１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、Ｉ／Ｏコントローラ１５８４に接続されるＲＯＭ１５１０、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、ＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

Ｉ／Ｏコントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信Ｉ／Ｆ１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信Ｉ／Ｆ１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。

Ｉ／Ｏコントローラ１５８４には、ＲＯＭ１５１０と、ＦＤドライブ１５５０、およびＩ／Ｏチップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像装置１００が起動時に実行するブート・プログラム、あるいは撮像装置１００のハードウェアに依存するプログラム等を格納する。ＦＤドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信Ｉ／Ｆ１５３０に提供する。Ｉ／Ｏチップ１５７０は、ＦＤドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、撮像装置１００を、図１から図８に関連して説明した撮像装置１００が備える各機能部として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置１００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本実施形態に係る撮像装置１００のブロック構成の一例を示す。 色素が散布されていない状態の被写体の一例を示す。 色素が散布された状態の被写体の一例を示す。 撮像部１１５が撮像した第２画像の一例を示す。 撮像部１１５が撮像した第１画像の一例を示す。 被写体の表面の凹凸形状を算出する単位としての部分領域の一例を示す。 ワイヤフレーム画像生成部１７０が生成したワイヤフレーム画像の一例を示す。 表示部１８０による表示処理の一例を示す。 撮像装置１００のハードウェア構成の一例を示す。

符号の説明

１００ 撮像装置
１０５ 色素散布部
１１０ 発光部
１１５ 撮像部
１２０ 撮像制御部
１３０ 画像取得部
１３５ 動き検出部
１４０ 形状画像生成部
１４５ 高低差格納部
１５０ 形状算出部
１６０ 画像領域特定部
１７０ ワイヤフレーム画像生成部
１８０ 表示部
２１０ 生体
２２０ 粘膜
３１０ インジゴカルミン
４００ 画像
５００ 画像
６００ 画像
６１１ 部分領域
６１２ 部分領域
６１３ 部分領域
６１４ 部分領域
７００ 画像
８００ 画面
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信Ｉ／Ｆ
１５４０ ハードディスクドライブ
１５５０ ＦＤドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ Ｉ／Ｏチップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ Ｉ／Ｏコントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (13)

1. 被写体の表面の凹凸形状を視覚的に強調する色素が散布されている状態で撮像された前記被写体の第１画像を取得する画像取得部と、
   前記第１画像における色情報に基づいて、前記被写体の表面の凹凸形状を算出する形状算出部と
   を備える画像処理装置。
2. 前記形状算出部は、前記第１画像における部分領域毎の前記色素の色成分の強度から、前記部分領域毎の高さを算出する請求項１に記載の画像処理装置。
3. 前記形状算出部は、前記色素の色成分の他の色成分に対する前記色素の色成分の強度から、前記部分領域毎の高さを算出する請求項２に記載の画像処理装置。
4. 前記画像取得部は、前記被写体である生体の体液より比重が大きい色素が散布されている状態で撮像された前記第１画像を取得する請求項３に記載の画像処理装置。
5. 前記生体の表面の前記第１画像を撮像する撮像部と、
   前記色素を前記生体の表面に散布する色素散布部と
   をさらに備え、
   前記画像取得部は、前記撮像部によって撮像された前記第１画像を取得する請求項４に記載の画像処理装置。
6. 前記形状算出部が算出した凹凸形状に基づいて、前記被写体の表面のワイヤフレーム画像を生成するワイヤフレーム画像生成部
   をさらに備える請求項５に記載の画像処理装置。
7. 前記形状算出部が算出した凹凸形状から、予め定められている単位面積あたりの高低差が基準値以上の画像領域ワイヤフレームを特定する画像領域特定部
   をさらに備え、
   前記ワイヤフレーム画像生成部は、前記画像領域特定部が特定した画像領域の前記ワイヤフレーム画像を生成する請求項６に記載の画像処理装置。
8. 前記色素が散布されていない状態で撮像された前記被写体の第２画像に、前記ワイヤフレーム画像を重畳して表示する表示部
   をさらに備える請求項７に記載の画像処理装置。
9. 前記画像取得部は、前記色素が散布されていない状態で撮像された前記被写体の第２画像をさらに取得し、
   前記形状算出部は、前記第１画像および前記第２画像に基づいて、前記被写体の表面の凹凸形状を算出する請求項１に記載の画像処理装置。
10. 前記第２画像の色情報から前記第１画像の色情報を減算することによって、前記色素の色情報を含む形状画像を生成する形状画像生成部
    をさらに備え、
    前記形状算出部は、前記形状画像の色情報に基づいて、前記被写体の表面の凹凸形状を算出する請求項９に記載の画像処理装置。
11. 前記形状算出部は、前記形状画像における部分領域毎の前記色素の色成分の強度から、前記被写体の表面の凹凸形状を算出する請求項１０に記載の画像処理装置。
12. 被写体の表面の凹凸形状を視覚的に強調する色素が散布されている状態で撮像された前記被写体の第１画像を取得する画像取得段階と、
    前記第１画像における色情報に基づいて、前記被写体の表面の凹凸形状を算出する形状算出段階と
    を備える画像処理方法。
13. 画像処理装置用のプログラムであって、コンピュータを、
    被写体の表面の凹凸形状を視覚的に強調する色素が散布されている状態で撮像された前記被写体の第１画像を取得する画像取得部、
    前記第１画像における色情報に基づいて、前記被写体の表面の凹凸形状を算出する形状算出部
    として機能させるプログラム。

Images