JP2020537275A - 光ファイバー束画像処理方法及び装置 - Google Patents

Abstract

本発明の実施例は、光ファイバー束画像処理方法及び装置を提供する。この方法は、サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、確定された画素情報を校正するステップと、校正された画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップとを含む。この方法と装置は、より理想的な光ファイバー束処理画像を取得できるだけでなく、計算量が少なく、計算プロセス全体にかかる時間が短くなる。

Description

本発明は、医療画像処理の分野に関し、より具体的には、光ファイバー束画像処理方法及び装置に関する。

社会の進歩と科学技術の発展に伴い、ますます多くの電子撮影デバイスは医療分野に応用されている。その結果、医療画像の後処理の精度と速度についても、ますます要求が高まっている。

例えば、光ファイバー顕微鏡は、生物組織のトモグラフィー検査を実現することができ、生物組織の腫瘍病変の傾向を事前に検出できるだけでなく、臨床患者への穿刺手術に起因する痛みを回避することもできる。光ファイバー顕微鏡は、臨床患者の検査、スクリーニング、医学的及び生物学的研究において幅広い市場の見通しを持っている。

図１は、既存の光ファイバー束画像の一部を例示的に示している。図１に示すように、既存の光ファイバー束画像は、ハニカム状のノイズを有し、生物組織の目標領域をうまく表現することができない。現在、光ファイバー束画像の再構成に関する技術が幾つかあるが、それらは一般に計算量が大きく時間がかかる。

本発明は、上記の問題を考慮してなされた。本発明は、光ファイバー束画像処理方法及び装置を提供する。
本発明の一態様によれば、光ファイバー束画像処理方法が提供される。この方法は、
サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
確定された画素情報を校正するステップと、
校正後の画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を含む。

例示的には、確定された画素情報を校正する前記ステップは、以下の式に基づいて校正後の画素値を計算するステップを含む。
Ｆ＝（Ｉ_ｓ−Ｉ_ｂ）ｘＫ
Ｆは前記校正後の画素値を表し、Ｉ_ｓは確定された画素値を表し、Ｉ_ｂは背景画像内の対応する画素の画素値を表し、Ｋは校正係数を表す。

例示的には、前記校正ステップの前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Ｋを計算するステップが更に含まれる。
Ｋ＝ｋ／（Ｉ_ｃ−Ｉ_ｂ）
Ｉ_ｃは前記参照画像内の対応する画素の画素値を表し、ｋは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい。

例示的には、前記方法は、
均一な蛍光サンプルをサンプリングして参照画像を取得するステップと、
無蛍光サンプルをサンプリングして前記背景画像を取得するステップと更に含む。

例示的には、校正後の画素情報に基づいて、前記サンプル画像を再構成する前記ステップは、画素の重みと前記校正後の画素情報に基づいて、補間方法を使用して、前記画素の再構成画素値を取得するステップを含む。

例示的には、前記画素の再構成画素値を取得する前記ステップは、
前記確定された画素情報に基づいて、前記サンプル画像を三角形分割するステップと、
前記三角形分割により取得された前記画素のある三角形に基づいて、前記画素の重みを確定するステップと、
前記画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算するステップと、を含む。

例示的には、前記画素の重みを確定する前記ステップは、
前記画素から前記画素のある三角形の各頂点までの距離を確定するステップと、
前記三角形の各頂点に対応する前記画素の重みのそれぞれを、前記画素と前記各頂点との間の距離に反比例するように設定するステップとを含む。

例示的には、前記画素の再構成画素値を計算する前記ステップは、以下の式に従って計算を行う。
Ｇｘ＝Ｗａ＊Ｇａ＋Ｗｂ＊Ｇｂ＋Ｗｃ＊Ｇｃ
Ｇｘは画素ｘの再構成画素値を表し、
ＷａとＧａは、画素ｘのある三角形の頂点ａに対応する画素ｘの重みと前記頂点ａの校正後の画素値をそれぞれ表し、
ＷｂとＧｂは、前記画素ｘのある三角形の頂点ｂに対応する前記画素ｘの重みと前記頂点ｂの校正後の画素値をそれぞれ表し、
ＷｃとＧｃはそれぞれ、前記画素ｘのある三角形の頂点ｃに対応する前記画素ｘの重みと前記頂点ｃの校正後の画素値を表す。

例示的には、前記方法は、前記再構成画像と別の画像に対して位置合わせ処理を行うステップを更に含む。

本発明の別の態様によれば、光ファイバー束画像処理装置がさらに提供される。この装置は、
プログラムを記憶するためのメモリと、
前記プログラムを実行するためのプロセッサと、を含み、
前記プログラムは、前記プロセッサで実行されるとき、
サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
確定された画素情報を校正するステップと、
校正後の画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を含む。

前記光ファイバー束画像処理方法と装置は、より理想的な処理画像を取得できるだけでなく、計算量が少なく、計算プロセス全体にかかる時間が短くなる。

図面を参照しながら、本発明の実施例をより詳細に説明することによって、本発明の上記及び他の目的、特徴及び利点は、より明らかになる。図面は、本発明の実施例を更に理解させ、本明細書の一部を構成し、本発明の実施例と共に本発明を説明するためのものであり、本発明を制限するものではない。図面では、同じ参照番号は、通常、同じ又は類似の部品又はステップを表す。
既存の光ファイバー束画像の一部を例示的に示す。 本発明の一実施例に係る光ファイバー束画像処理方法の例示的なフローチャートを示す。 本発明の一実施例に係る、図１示される光ファイバー束画像の再構成画像の一部拡大模式図を示す。 本発明の具体的な実施例に係る光ファイバー束画像分析方法の例示的なフローチャートを示す。 本発明の一実施例に係る、均一な蛍光サンプルをサンプリングして得られた参照画像を示す。 本発明の一実施例に係る参照画像の一部拡大模式図を示す。 本発明の一実施例に係る、光ファイバーの中心に対応する画素がマークされた参照画像の一部拡大模式図を示す。 本発明の一実施例に係る、光ファイバーの中心に対応する画素がマークされた光ファイバー束画像の模式図を示す。 本発明の一実施例に係る再構成ステップの例示的なフローチャートを示す。 本発明の一実施例に係るドローネ（Ｄｅｌａｕｎａｙ）三角形分割されたサンプル画像の一部拡大模式図を示す。 本発明の一実施例に係る位置合わせされる再構成画像と別の画像をそれぞれ示す。 本発明の一実施例に係る位置合わせされる再構成画像と別の画像をそれぞれ示す。 図１１Ａと図１１Ｂに示す２つの画像の非剛体位置合わせの結果の模式図を示す。

本発明の目的、技術的解決策及び利点をより明らかにするために、添付の図面を参照しながら以下に本発明の例示的な実施例を詳細に説明する。明らかに、説明される実施例は、本発明の全ての実施例ではなく、本発明の実施例の一部に過ぎず、本発明は、本明細書に記載の例示的な実施例によって限定されないことを理解されたい。当業者が創造的な努力なしに本発明に記載された本発明の実施例に基づいて得る他の全ての実施例は、本発明の保護範囲に含まれるべきである。

図２は、本発明の一実施例に係る光ファイバー束画像処理方法２００を示す。光ファイバー束画像処理方法２００は、元の光ファイバー束画像を再構成して、より理想的に生物組織の目標領域を表示するために使用され得る。

図２に示したように、ステップＳ２１０では、サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定する。

サンプル画像は、光ファイバー束によって取得された光ファイバー束画像である。光ファイバー束は、多くの光ファイバー、例えば、３０，０００本を超える光ファイバーを含む。光ファイバー束のこれらの光ファイバーの配置は不規則である。各光ファイバーは、１つの光路として使用することができる。これらの光路は、生物組織の目標領域内の情報を伝送し、画像形成デバイスに光ファイバー束画像を生成することができる。同じ光ファイバー束によって得られる光ファイバー束画像のサイズは一致し、つまり、つまり解像度、幅、及び高さは同じである。幾つかの例では、光ファイバー束画像内の光ファイバー束の画像形成領域は、例えば、円形領域であってもよい。光ファイバー束は複数の光ファイバーを含むため、図１の光ファイバー束画像に示すように、光ファイバー束画像においてハニカム状のノイズの出現を回避することが困難である。各ハニカムは、おおよそ１つの光ファイバーに対応する。ハニカム状のノイズの存在は、ユーザーが光ファイバー束画像を利用して生物組織の目標領域を観察することに大きな困難をもたらし、ユーザー体験に強い影響を与える。

光ファイバー束画像内の１つのハニカムは、通常、複数の複数の画素を含む。言い換えれば、光ファイバー束中の各光ファイバーは、光ファイバー束画像内の複数の画素、例えば、約２０個の画素に対応し得る。これらの複数の画素の中には、その光ファイバーの中心に一対一に対応する１つの画素が存在する。同じ光ファイバー束を使用して異なる光ファイバー束画像を撮影するプロセスでは、光ファイバー束の遠端又は近端がいずれも変化しないと仮定すると、光ファイバー束画像内の画素と光ファイバー束中の光ファイバーとの対応関係は変化しない。これにより、各光ファイバーの中心に対応する画素の光ファイバー束画像における位置は変化しない。また、光ファイバーの中心に対応する画素値は、生物組織の目標領域の真の状況を理想的に反映することができる。

このステップＳ２１０では、サンプル画像内の光ファイバー束の各光ファイバーの中心に対応する画素を確定し、その画素の画素情報を抽出する。オプションで、確定される画素情報は、画素の位置と画素値を含む。画素の位置は、サンプル画像内の画素の行列値で表すことができる。具体的には、これらの画素の位置は、１次元配列で表すことができる。配列内の１つの要素は、１つの画素の位置を表す値である。画素ｘの位置Ｐｘは、次の式で表すことができる。
Ｐｘ＝画素ｘが位置する行数ｘサンプル画像の幅＋画素ｘが位置する列数。

画素ｘの位置Ｐｘは、光ファイバー束画像の１行１列目の画素から１つずつカウントされて、画素ｘが何番目の画素であるかを示す。画素の位置によってサンプル画像を検索すると、その画素の画素値を取得することができる。

ステップＳ２２０では、ステップＳ２１０で確定された画素情報を校正する。

ステップＳ２１０で説明したように、確定される画素情報は、光ファイバー中心に対応する画素の位置と画素値を含み得る。ステップＳ２２０では、サンプル画像内の光ファイバー中心位置に対応する部分の画素の画素値のみを校正して、目標領域をよりリアルに反映させる。

ステップＳ２３０では、ステップＳ２２０で校正された画素情報に基づいて、サンプル画像を再構成して、再構成画像を取得する。ステップＳ２２０では、サンプル画像内の光ファイバー中心に対応する部分の画素のみの画素値を調整する。この調整結果に基づいて、サンプル画像内の他の画素、即ち、光ファイバー中心位置に対応していない画素の画素値を調整し、それにより、サンプル画像の再構成を完了する。図３は、本発明の一実施例に係る、図１に示される光ファイバー束画像の再構成画像の一部拡大模式図を示す。

画像の観点から見ると、図３に示すように、上記の画像処理操作によって再構成された画像から、元のサンプル画像内のハニカム形状のノイズを除去する。また、再構成画像全体の輝度は比較的均一であり、縁部が暗いが中央が明るいという問題を回避する。画像処理の観点から見ると、処理プロセス全体の計算量は少なく、それにかかる時間も短い。

本発明の一実施例によれば、光ファイバー束画像分析方法が提供される。この分析方法を使用して、光ファイバー束画像内の光ファイバー中心に対応する位置の画素情報をより正確に確定することができる。上記のように、同じ光ファイバー束を使用して異なる光ファイバー束画像を撮影するプロセスでは、該光ファイバー束の遠端又は近端がいずれも変化しない場合、撮影された光ファイバー束画像内の画素と該光ファイバー束中の光ファイバーとの対応関係は変化しない。従って、この観点から、１つの光ファイバー束画像を使用して、同じ光ファイバー束で撮影された他の全ての光ファイバー束画像を分析することができる。図４は、本発明の具体的な実施例に係る光ファイバー束画像分析方法４００の例示的なフローチャートを示す。

ステップＳ４１０では、光ファイバー束を使用して、光ファイバー束画像を参照画像として収集する。この参照画像の分析結果は、同じ光ファイバー束で撮影された他の全ての光ファイバー束画像に適用することができる。

オプションで、光ファイバー束を使用して、均一に発光するサンプルをサンプリングして参照画像を取得する。論理的には、参照画像は、画素値が均一で、輝度が一致する光ファイバー束画像であるべきである。均一に発光するサンプルによって形成される画像の画素は一致し、それ自体が分析方法４００に悪影響を及ぼさないため、参照画像内の光ファイバー中心位置に対応する画素情報をより正確に確定することを保証する。

均一に発光するサンプルは、均一な蛍光サンプルであってもよい。これにより、参照画像は、蛍光率が一定の光ファイバー束画像となる。図５は、本発明の一実施例に係る、均一な蛍光サンプルをサンプリングして得られた参照画像を示す。光ファイバー束画像の実際の応用では、一般的に、蛍光を発するサンプルに対して画像形成を行う。従って、均一な蛍光サンプルをサンプリングして得られた参照画像は、分析方法の精度をよりよく保証する。なお、均一な蛍光サンプルは例に過ぎず、他の可視光を発するサンプルをサンプリングすることで参照画像を取得することもできる。

ステップＳ４２０では、ステップＳ４１０で収集された参照画像内の参照画素を確定する。この参照画素の画素値は、その周囲の画素の画素値よりも高い。参照画素は、光ファイバー束内の唯一の光ファイバーの中心に対応する。

上記のように、且つ図１に示すように、光ファイバー束画像には、各光ファイバーに一対一に対応するハニカムが存在する。このハニカムの画素値情報を使用して、光ファイバー束中の光ファイバーの中心に対応する参照画素を確定することができる。一般に、光ファイバー束中の光ファイバーの中心に対応する参照画素は、その光ファイバーに対応するすべての画素の中で最も輝度が高い画素であり、即ち、画素値が最も大きい画素である。言い換えれば、光ファイバーの中心に対応する参照画素の画素値は、その周囲の画素（即ち、同じ光ファイバーに対応する他の画素）の画素値よりも高い。図６は、本発明の一実施例に係る参照画像の一部拡大模式図を示す。図７は、本発明の一実施例に係る図６に示される参照画像の一部拡大模式図における、光ファイバーの中心に対応する画素の模式図を示す。明確にするために、図７に示される模式図では、光ファイバーの中心に対応する参照画素の画素値は、「＋」記号でマークされている。

オプションで、上記のように、１次元配列を使用して、確定された参照画素の位置を表すことができる。

ステップＳ４３０では、参照画像内の参照画素の画素位置に基づいて、同じ光ファイバー束で収集された光ファイバー束画像内の光ファイバーの中心に対応する画素位置を確定する。

上記のように、光ファイバー束中の光ファイバーの相対位置は固定されているため、同じ光ファイバー束で収集された光ファイバー束画像内の光ファイバーの中心に対応する画素の間の相対位置も固定されている。それにより、特に光ファイバー束の遠端と近端が変化しない場合、参照画像内の参照画素の画素位置に基づいて、同じ光ファイバー束で収集された全ての光ファイバー束画像内の光ファイバーの中心に対応する位置を確定することができる。

図８は、本発明の一実施例に係る、光ファイバーの中心に対応する画素がマークされた光ファイバー束画像の模式図を示す。図８に示される模式図では、光ファイバーの中心に対応する画素の画素値に、０の値が割り当てられる。

上記の光ファイバー束画像の分析方法では、参照画像を使用して、他の光ファイバー束画像内の光ファイバーの中心に対応する位置の画素情報を確定する。直接に光ファイバー束画像自体の画素値に基づいて光ファイバーの中心に対応する位置の画素情報を確定するのと比較して、上記の分析方法の結果は、光ファイバー束画像内の画像形成対象の影響を受けず、結果はより正確で、実現が簡単である。

オプションで、上記のステップＳ４２０は、具体的には、ステップＳ４２１とステップＳ４２２を含み得る。

ステップＳ４２１では、参照画像に対して画像分割を行って、参照画像内の光ファイバー束画像形成領域を確定する。図５に示される参照画像のように、参照画像は、光ファイバー束画像形成領域と実際的な意味のない背景領域を含む。光ファイバー束画像形成領域は、中央の円形領域である。背景領域は、円形領域の周囲の黒い領域であり、画像の分析に無意味である。画像分割は、閾値分割や、領域成長法などの画像分割処理を採用することができる。画像分割操作は、画像処理方法全体の計算量をさらに減らすことができる。

ステップＳ４２２では、光ファイバー束画像形成領域で参照画素を確定する。

一例では、まず、領域最大値法を使用して、光ファイバー束画像形成領域を処理する。次に、画素値が領域最大値である画素を参照画素として確定する。領域最大値法は、画像分割方法である。上記のように、光ファイバー束中の光ファイバーの中心に対応する画素は、その光ファイバーに対応するすべての画素の中で、最も輝度が高い画素であり、即ち、ハニカム内で最も明るい画素である。領域最大値法を使用して参照画像に対して画像分析を行って、領域最大値を取得する画素を、光ファイバーの中心に対応する参照画素として使用する。

上記の例では、領域最大値法を採用して参照画素を確定する。その方法は、次の客観的な法則を効果的に利用する。参照画像内の１つの光ファイバーに対応するすべての画素について、光ファイバーの中心に対応する画素は、他の画素と比較して、最も高い画素値を有する。従って、この方法は、参照ファイバーの中心の画素値を迅速かつ正確に確定できるため、光ファイバー束画像の迅速かつ正確な分析を保証することができる。

当業者は、領域最大値法が本発明に対する限定ではなくて単なる例であり、経験閾値法などの他の方法を採用して参照光ファイバー中心画素値を確定できることを理解することができる。

理解されるように、上記の光ファイバー束画像分析方法は、光ファイバー束画像処理方法に含まれてもよい。この光ファイバー束画像分析方法を使用して、サンプル画像を含む光ファイバー束画像における、光ファイバーの中心に対応する位置の画素の情報を確定することができる。その結果、より正確な情報が取得される。具体的には、光ファイバー束画像分析方法で確定された、参照画像内の光ファイバーの中心に対応する画素の位置に基づいて、サンプル画像の対応する位置を照会することができる。まず、参照画素ｙの位置Ｐｙ及び光ファイバー束画像の幅に基づいて、画素ｙの位置の行数と列数を確定する。次に、画素ｙの位置の行数と列数に基づいて、サンプル画像のその位置の画素値を照会すると、サンプル画像内の該画素の画素情報を取得することができる。

それにより、上記の光ファイバー束画像分析方法は、光ファイバー束画像処理方法に正確な分析結果を提供して、光ファイバー束画像処理方法の計算量が少なく、処理効果がよいことを保証する。

一実施例では、背景画像を用いて、ステップＳ２１０で確定された画素情報を校正する。具体的には、以下の式に従って、ステップＳ２１０で確定された画素情報を校正することができる。
Ｆ＝（Ｉ_ｓ−Ｉ_ｂ）ｘＫ

Ｆは、サンプル画像内の画素を校正した後の画素値を表し、Ｉ_ｓは、ステップＳ２１０で確定された画素値を表し、Ｉ_ｂは、背景画像内の対応する画素の画素値を表し、Ｋは、校正係数を表す。

オプションで、背景画像は、発光しないサンプルの画像形成で生成された画像であり、例えば、蛍光率がゼロの光ファイバー束画像である。例えば、無蛍光サンプルをサンプリングしてその背景画像を取得することができる。光ファイバー束の近端が変化しない限り、背景画像内の画素値は変化しない。本明細書の「対応する画素」とは、画素がそれぞれの画像において同じ位置にあることを意味する。実質的には、画素は、光ファイバー束中の同じ光ファイバーの同じ位置（例えば、光ファイバーの中心）に対応する。従って、ステップＳ２１０で確定された光ファイバーの中心に対応する画素の位置に基づいて、背景画像内の対応する位置を照会して、背景画像内の対応する画素の画素値を取得することができる。

上記の光ファイバー束画像分析方法４００によってステップＳ２１０での光ファイバーの中心に対応する画素位置を確定すると、参照画素の参照画像での位置に基づいて、背景画像内の対応する位置を直接照会することができる。画素の位置に基づいて背景画像を照会すると、その背景画像内の対応する画素の画素値を取得することができる。その背景画像内の対応する画素も同じ光ファイバーの中心に対応することが理解される。

上記の実施例では、ステップＳ２１０で確定された各画素値Ｉ_ｓについて、まず、その画素値Ｉ_ｓと背景画像内の対応する画素の画素値Ｉ_ｂとの差値を計算して、第１差値と略称する。次に、その差値と校正係数との相乗積を計算する。校正係数Ｋは、０．５〜１．５の任意の実数であり得る。校正係数Ｋは、経験に応じて設定することができる。

オプションで、背景画像と参照画像に基づいて、次の式を使用して校正係数Ｋ：Ｋ＝ｋ／（Ｉ_ｃ−Ｉ_ｂ）を計算することもできる。ここで、Ｉ_ｃは、参照画像内の対応する画素の画素値を表し、Ｉ_ｂは、背景画像内の対応する画素の画素値を表し、ｋは、比例係数を表し、参照画像内の画素の画素値それぞれの背景画像内の対応する画素の画素値との差の中央値に等しい。

参照画像は、前述した光ファイバー束画像分析方法に関連する参照画像であってもよい。１つの例では、まず、参照画像内の光ファイバーの中心に対応する位置の画素の各々に対して、それと背景画像内の対応する画素との差をそれぞれ計算して、標準差を略称する。この方法で標準差を計算することによって、計算精度を保証するとともに、計算量を小さくする。あるいは、参照画像内の各画素に対して、それと背景画像内の対応する画素との差をそれぞれ計算して、標準差を取得することもできる。すべての標準差の中央値ｋを計算する。次に、ステップＳ２１０で確定された画素値Ｉ_ｓについて、参照画像内の対応する画素の画素値Ｉ_ｃと背景画像内の対応する画素の画素値Ｉ_ｂと差値を計算して、第２差値と略称する。最後に、中央値ｋと第２差値との商に基づいて、校正係数Ｋを確定する。

この例の校正操作は、より理想的な校正效果を得るために複雑な計算を必要とせず、所望の画像処理結果を得ることができる。

オプションで、上記のステップＳ２３０は、画素の重みとステップＳ２２０の校正後の画素情報に基づいて、補間方法を使用して画素の再構成画素値を取得するステップを含む。校正後の画素情報は、画像形成目標をより真に反映するが、上記の校正操作は、光ファイバーの中心に対応する画素のみを対象とする。従って、光ファイバー束画像内の各画素について、その重みは、それにより近くの、光ファイバーの中心に対応する画素の位置に基づいて確定することができる。

図９は、本発明の一実施例に係るステップＳ２３０の例示的なフローチャートを示す。図９に示すように、ステップＳ２３０は、ステップＳ２３１を含み得る。
ステップＳ２３１では、ステップＳ２１０で確定された画素情報に基づいて、サンプル画像を三角形分割する。

具体的には、光ファイバー束中の光ファイバーの中心に対応する画素は、サンプル画像内の有限点のセットである。この点のセットは、三角形の全ての頂点を構成する。サンプル画像を複数の三角形に分割する。それらのうち、任意の２つの三角形は、交差しないか、又はちょうど共通の辺で交差する。

restart
オプションで、上記の三角形分割は、ドローネ三角形分割アルゴリズムを使用して実現される。光ファイバー束での光ファイバーの配列は不規則であるが、隣接する光ファイバーの中心の距離はほぼ一致し、光ファイバーの直径とほぼ同じである。図１０は、本発明の一実施例に係るドローネ三角形分割されたサンプル画像の一部を示す。図１０に示すように、ドローネ三角形分割アルゴリズムを使用して唯一の三角形分割結果を取得することができ、いずれかの三角形の外接円内に他の三角形の頂点がないことが保証される。この三角形分割アルゴリズムは、本発明の実施例に係る画像処理方法により適し、より理想的な画像処理結果を取得することができる。

ステップＳ２３２では、前記三角形分割により取得された、画素の位置する三角形に基づいて、前記画素の重みを確定する。

光ファイバー束画像内の任意の画素について、その重みは複数の数値を有し得る。各重みは、それにより近くの、光ファイバーの中心に対応する位置の画素に対応する。簡単にするために、重みに対応する画素を基準画素と称することができる。各基準画素は三角形分割により取得された三角形の頂点であることが理解される。画素の重み及びそれに対応する基準画素の画素値に基づいて、その画素の最終的な画素値を確定することができる。

オプションで、光ファイバー束画像内の任意の画素について、ある基準画素から遠いほど、その画素の基準画素に対する重みが小さくなる。そうでない場合は、逆になる。

例示的には、光ファイバー束画像内の各画素について、その重みは、３つの基準画素の位置に基づいて確定される。３つの基準画素のうちの各基準画素に対して１つの重みを確定することができ、それにより重みルックアップテーブルを形成する。表１は、本発明の一実施例に係る重みルックアップテーブルを示す。表１では、第１重み、第２重み及び第３重みは、重みが確定される画素の第１基準画素、第２基準画素及び第３基準画素に対する重みをそれぞれ表す。表１に示すように、画素ｘ_１の場合、第１重みと第３重みは等しく比較的小さく、これは、第１基準画素及び第３基準画素との距離が等しく、かつその距離が比較的遠いことを示す。第２重みは比較的大きく、これは、第２基準画素との距離が比較的近いことを示す。

表１ 重みルックアップテーブル

三角形分割の結果に基づいて、サンプル画像内の各画素について、この画素がある唯一の三角形があり、それは、三角形の３つの辺で位置するか、又は三角形の内部に位置する。この画素がある唯一の三角形の３つの頂点を画素の基準画素として使用することができる。この画素と３つの基準画素との距離に基づいて、この画素の各基準画素に対応する重みを確定することができる。

サンプル画像内の各画素に対して、まず、この画素からこの画素のある三角形の各頂点（即ち、基準画素）までの距離を確定することができる。画素は、三角形の辺又は内部に位置し得る。次に、この画素とこの画素のある三角形の３つの頂点との距離に基づいて、この画素のある三角形の３つの頂点にそれぞれ対応するこの画素重みを確定する。オプションで、この三角形の１つの頂点について、この頂点に対応するこの画素の重みを、この画素とこの頂点との距離に反比例するように設定する。例えば、三角形の外心に位置する画素の場合、その各基準画素に対応する重みはいずれも０．３３３である。三角形の頂点に位置する画素の場合、それが位置する頂点に対応する重みは１であり、他の２つの頂点に対応する重みは０である。この方法によって各画素の重みを確定することで、再構成効果がより理想的になり、プロセスが簡単で実現しやすい。

三角形分割に基づいて光ファイバー束画像内の各画素の重みを取得することで、計算結果の精度を保証するとともに、計算量を小さくする。

上記のドローネ三角形分割アルゴリズムは例に過ぎず、例えばＫｒｉｇ法などの他の方法を使用して各画素の重みを取得することもできる。

重みを確定する上記の方法は単なる例示であり、限定ではないことが理解できる。例えば、上記の例では、各画素の重みは３つの参照画素の位置に基づいて確定されるが、これは単なる例示であり、本発明を限定するものではない。例えば、各画素の重みは、それに最も近い１つの基準画素、４つ以上の基準画素に基づいて確定することもできる。また、例えば、画素の重みは、経験に基づいて設定することができる。

ステップＳ２３３では、その画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算する。

オプションで、以下の式に従って、再構成画像の画素ｘの再構成画素値Ｇｘを計算する。
Ｇｘ＝Ｗａ＊Ｇａ＋Ｗｂ＊Ｇｂ＋Ｗｃ＊Ｇｃ
ＷａとＧａは、画素ｘのある三角形の頂点ａに対応する画素ｘの重みと頂点ａの校正後の画素値をそれぞれ表し、
ＷｂとＧｂは、前記画素ｘのある三角形の頂点ｂに対応する前記画素ｘの重みと前記頂点ｂの校正後の画素値をそれぞれ表し、
ＷｃとＧｃは、前記画素ｘのある三角形の頂点ｃに対応する前記画素ｘの重みと前記頂点ｃの校正後の画素値をそれぞれ表す。

本発明の一実施例によれば、光ファイバー束画像処理方法は、上記の再構成画像と別の画像を位置合わせするステップを更に含む。その別の画像も、再構成画像であってもよい。画像位置合わせは、２つの画像の相対的な変位を計算するために使用される。画像位置合わせ後、２つの画像の同じ内容が空間的に重なるようになる。

オプションで、位置合わせ操作は、相関係数法を採用することができる。すべての可能な変位に対応する相関係数の最大値を検索して、２つの画像の位置合わせに使用できる正しい変位を確定する。相関係数法を使用することによって、位置合わせの計算時間が短く、リアルタイムのニーズを満たすことができる。

相関係数位置合わせ方法は比較的速いが、位置合わせの精度は比較的低い。オプションで、位置合わせ操作は、反復位置合わせ法を採用することもできる。反復位置合わせ法は低速であるが、より高い精度の要件を満たすことができる。

本発明の一実施例によれば、直接に上述した光ファイバー束中の光ファイバーの中心に対応する画素の位置、上記の校正後の画素情報及び上記の別の画像に基づいて、前記再構成画像と前記別の画像を反復位置合わせする。この実施例では、位置合わせ操作は、光ファイバー束中の光ファイバーの中心に対応する関連要素のみを利用し、他の要素、例えば、光ファイバー束の光ファイバーの中心に対応していない再構成画像内の画素を無視する。これにより、反復位置合わせの計算の精度を保証するとともに、反復位置合わせの計算速度を効果的に向上させることができる。

実際の応用では、剛体位置合わせに加えて、非剛体位置合わせが必要になる場合がある。例えば、医師が検査する人体組織は、サンプル画像の収集中に蠕動が発生する。また、例えば、サンプル画像の収集中に、プローブの圧力変化は目標組織の局所的な変形を引き起こしたなどがある。従って、オプションで、再構成画像と別の画像の位置合わせは以下の操作を含む。まず、再構成画像と別の画像に対して剛体位置合わせを行う。次に、剛体位置合わせの結果に基づいて、別の画像を再サンプリングする。最後に、再サンプリングされた別の画像と再構成画像との重畳部分を非剛体位置合わせする。オプションで、この非剛体位置合わせは、自由変形法又はデーモン（Ｄｅｍｏｎｓ）位置合わせアルゴリズムを採用することができる。図１２Ａ、図１２Ｂ及び図１２Ｃは、上記の非剛体位置合わせのプロセスを例示する。図１２Ａと図１２Ｂは、本発明の一実施例に係る位置合わせされる再構成画像と別の画像をそれぞれ示す。点線の矩形部分は、剛体位置合わせによって確定された両者の重畳部分を示す。この重畳部分に対して、別の画像を再サンプリングする。図１２Ｃは、再サンプリングされた別の画像と再構成画像との重畳部分に対する非剛体位置合わせの結果の模式図を示す。

前の画像処理操作では、理想的な再構成画像が迅速に得られるため、画像位置合わせ、つなぎ合わせ操作もより迅速かつ正確である。

本発明の別の態様によれば、光ファイバー束画像処理装置がさらに提供される。この光ファイバー束画像処理装置はメモリとプロセッサを含む。メモリは、プログラムを記憶するために使用される。プロセッサは、前記プログラムを実行するために使用される。前記プログラムは、前記プロセッサで実行されるとき、以下のステップを実行するために使用される。ステップＳ１では、サンプル画像内の光ファイバー中心に対応する位置の画素情報を確定する。ステップＳ２では、確定された画素情報を校正する。ステップＳ３では、校正された画素情報に基づいて、前記サンプル画像を再構成して、再構成画像を取得する。

オプションで、前記光ファイバー束画像処理装置は画像収集デバイスを更に含む。前記画像収集デバイスは、均一な蛍光サンプルをサンプリングして前記参照画像を取得し、無蛍光サンプルをサンプリングして前記背景画像を取得するために使用される。

オプションで、ステップＳ２を実行するとき、具体的には、以下の式に従って校正後の画素値を計算する。
Ｆ＝（Ｉ_ｓ−Ｉ_ｂ）ｘＫ
Ｆは前記校正後の画素値を表し、Ｉ_ｓは確定された画素値を表し、Ｉ_ｂは背景画像内の対応する画素の画素値を表し、Ｋは校正係数を表す。

オプションで、ステップＳ２を実行する前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Ｋを計算するステップをさらに実行する。
Ｋ＝ｋ／（Ｉ_ｃ−Ｉ_ｂ）
Ｉ_ｃは前記参照画像内の対応する画素の画素値を表し、ｋは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい。

オプションで、ステップＳ３を実行するとき、画素の重み及び前記校正後の画素情報に基づいて、補間方法でその画素の再構成画素値を取得するステップをさらに実行する。

オプションで、ステップＳ３を実行するとき、
前記確定された画素情報に基づいて、前記サンプル画像を三角形分割するステップと、
前記三角形分割により取得された前記画素のある三角形に基づいて、前記画素の重みを確定するステップと、
前記画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算するステップと、をさらに実行する。

オプションで、その画素の重みを確定するステップを実行するとき、
前記画素から前記画素のある三角形の各頂点までの距離を確定するステップと、
前記三角形の各頂点に対応する前記画素の重みのそれぞれを、前記画素と前記各頂点との間の距離に反比例するように設定するステップとをさらに実行する。

オプションで、その画素の再構成画素値を計算するステップを実行するとき、式Ｇｘ＝Ｗａ＊Ｇａ＋Ｗｂ＊Ｇｂ＋Ｗｃ＊Ｇｃに従って計算するステップを更に実行する。
Ｇｘは画素ｘの再構成画素値を表し、
ＷａとＧａは、画素ｘのある三角形の頂点ａに対応する画素ｘの重みと前記頂点ａの校正後の画素値をそれぞれ表し、
ＷｂとＧｂは、前記画素ｘのある三角形の頂点ｂに対応する前記画素ｘの重みと前記頂点ｂの校正後の画素値をそれぞれ表し、
ＷｃとＧｃはそれぞれ、前記画素ｘのある三角形の頂点ｃに対応する前記画素ｘの重みと前記頂点ｃの校正後の画素値を表す。

オプションで、前記プログラムは、前記プロセッサで実行されるとき、さらに以下のステップを行うために使用される。即ち、前記再構成画像と別の画像に対して位置合わせ処理を行う。

上記の光ファイバー束画像処理方法及び光ファイバー束画像解析方法の詳細な説明を読むことにより、光ファイバー束画像処理装置の構成及び技術的効果を理解することができる。簡潔にするため、ここでは繰り返し説明しない。

また、本発明の実施例によれば、記憶媒体がさらに提供される。前記記憶媒体にはプログラム命令が格納される。プログラム命令がコンピュータ又はプロセッサによって実行されるとき、前記コンピュータ又はプロセッサは、本発明の実施例の光ファイバー束画像処理方法の対応するステップを実行し、本発明の実施例の光ファイバー束画像処理装置の対応するモジュール又はユニットを実装するために使用される。前記記憶媒体は、例えば、スマートフォン用メモリカード、タブレット用ストレージパーツ、パーソナルコンピューター用ハードディスク、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、ＵＳＢメモリ、又は上記の記憶媒体の任意の組み合わせを含み得る。前記コンピュータ読取可能な記憶媒体は、１つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせであってよい。

本明細書では、図面を参照して例示的な実施例を説明したが、上記例示的な実施例は、例示的なものに過ぎず、本発明の範囲をそれらに限定するものではない。当業者は、本発明の範囲及び精神から逸脱することなく、その中で様々な変更及び修正を行うことができる。そのようなすべての変更及び修正は、添付の特許請求の範囲で請求される本発明の範囲内に含まれることが意図されている。

当業者は、本明細書に開示された実施例に関連して説明された様々な例のユニットやアルゴリズムステップが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実施され得ることを理解するであろう。これらの機能が、ハードウェアで実行されるか又はソフトウェアで実行されるかは、技術的な解決策の特定のアプリケーション及び設計の制約に依存する。専門技術者は、特定のアプリケーションごとに異なる方法を使用して、説明した機能を実現することができるが、このような実現は本発明の範囲を超えると見なされるべきではない。

本発明による幾つかの実施例において、理解されるように、開示されたデバイスと方法は、他の方式で実現されてもよい。例えば、上述のようなデバイス実施例は、単なる例示的なものにすぎない。例えば、前記ユニットの区分は、単なる論理的な機能による区分であり、実際に実現するとき他の区分方式であってもよく、例えば、複数のユニット又はアセンブリが別のデバイスに合わせ又は一体化してもよく、或いは幾つかの特徴が無視され又は実行されなくてもよい。

ここで提供される明細書では、多くの具体的な詳細を説明した。しかしながら、本発明の実施例は、これらの具体的な詳細がなくても実施できることが理解できる。幾つかの例では、本明細書の理解を曖昧にしないように、公知の方法、構造及び技術は詳細に示されていない。

同様に、本発明を簡素化し、様々な発明の態様の１つ又は複数を理解するのを助けるために、本発明の例示的な実施例の説明において、本発明の各特徴が単一の実施例、図面、又はその説明に時々一緒にグループ化されることを理解されたい。しかしながら、本発明のこの方法は、特許請求される本発明が各請求項に明示的に記載された特徴よりも多くの特徴を必要とするという意図を反映するものおして解釈されるべきではない。より正確には、対応する請求項に反映されているように、その発明は、単一の開示された実施例のすべての特徴よりも少ない特徴で対応する技術的問題を解決できるという点にある。したがって、具体的な実施形態に従う請求項は、明確にその具体的なの実施形態に組み込まれ、各請求項自体が本発明の別個の実施形態としての役割を果たす。

当業者は、特徴が相互に排他的でない限り、本明細書（添付の請求項、要約、及び図面を含む）に開示されたすべての特徴の任意の組み合わせ、及びそのように開示された方法又はデバイスのすべてのプロセス又はユニットは、任意の組み合わせで組み合わせることができることを理解できる。特に明記されていない限り、本明細書（添付の請求項、要約、及び図面を含む）に開示されている各特徴は、同じ、同等、又は同様の目的を果たす代替の特徴で置き換えることができる。

また、当業者は、本明細書に記載されている幾つかの実施例が他の特徴の代わりに他の実施例に含まれる特定の特徴を含むが、異なる実施例の特徴の組み合わせが本発明の範囲内にあり且つ異なる実施例を形成することを意味することを理解できる。例えば、特許請求の範囲では、特許請求される実施例のいずれか１つを任意の組み合わせで使用することができる。

本発明の各部品の実施例は、ハードウェアにより実現されてもよく、１つ又は複数のプロセッサーで実行されるソフトウェアモジュールにより実現されてもよく、又はそれらの組み合わせにより実現されてもよい。当業者は、実際的応用で、マイクロプロセッサー又はデジタル信号プロセッサ（ＤＳＰ）を使用して、本発明の実施例による光ファイバー束画像処理装置内のモジュールの一部若しくは全ての機能を実現してもよいことを理解するであろう。本発明は、本明細書に記載の方法を実行するための装置プログラム（例えば、コンピュータプログラムやコンピュータプログラム製品）の一部又は全部として実現されてもよい。本発明を実施するそのようなプログラムは、コンピュータ可読媒体に格納されてもよく、或いは、１つ又は複数の信号の形態を有してもよい。そのような信号は、インターネットのウェブサイトからダウンロードするか、キャリア信号で提供するか、或いは、他の形態で提供することができる。

上記の実施例は、本発明を限定するのではなく本発明を例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく代替実施例を設計できることに留意されたい。請求項では、括弧の間の参照符号は請求項に対する制限として解釈されるべきではない。「含む」という用語は、請求項に記載されていない素子又はステップの存在を排除するものではない。素子の前の「１つ」又は「１個」という用語は、そのような素子が複数存在することを排除するものではない。本発明は、幾つかの異なる素子を含むハードウェアによって、及び適切にプログラムされたコンピュータによって実現することができる。幾つかの装置を列挙するユニット請求項では、これらの装置の幾つかは、同じハードウェアアイテムによって具現化され得る。第１、第２、及び第３などの用語の使用は、順序を示すものではない。これらの用語は名前として解釈され得る。

以上は、本発明の具体的な実施形態又は具体的な実施形態の説明に過ぎず、本発明の保護範囲はこれに限定されるものではなく、当業者が本発明の開示した技術範囲内において、容易に想到するすべての変更又は変換は、本発明の保護範囲内に含まれるべきである。本発明の保護範囲は、特許請求の範囲で指定された範囲を基準とする。

Claims (10)

1. 光ファイバー束画像処理方法であって、
   サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
   確定された画素情報を校正するステップと、
   校正後の画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を含む、ことを特徴とする方法。
2. 確定された画素情報を校正する前記ステップは、以下の式に基づいて校正後の画素値を計算するステップを含み、
   Ｆ＝（Ｉ_ｓ−Ｉ_ｂ）ｘＫ、
   Ｆは前記校正後の画素値を表し、Ｉ_ｓは確定された画素値を表し、Ｉ_ｂは背景画像内の対応する画素の画素値を表し、Ｋは校正係数を表す、ことを特徴とする請求項１に記載の方法。
3. 前記校正ステップの前に、参照画像と前記背景画像に基づいて、以下の式で前記校正係数Ｋを計算するステップを更に含み、
   Ｋ＝ｋ／（Ｉ_ｃ−Ｉ_ｂ）、
   Ｉ_ｃは前記参照画像内の対応する画素の画素値を表し、ｋは、比例係数を表し、前記参照画像内の画素の画素値それぞれの前記背景画像内の対応する画素の画素値との差の中央値に等しい、ことを特徴とする請求項２に記載の方法。
4. 均一な蛍光サンプルをサンプリングして参照画像を取得するステップと、
   無蛍光サンプルをサンプリングして前記背景画像を取得するステップと更に含む、ことを特徴とする請求項３に記載の方法。
5. 校正後の画素情報に基づいて前記サンプル画像を再構成する前記ステップは、
   画素の重みと前記校正後の画素情報に基づいて、補間方法を使用して、前記画素の再構成画素値を取得するステップを含む、ことを特徴とする請求項１に記載の方法。
6. 前記画素の再構成画素値を取得するステップは、
   前記確定された画素情報に基づいて、前記サンプル画像を三角形分割するステップと、
   前記三角形分割により取得された前記画素のある三角形に基づいて、前記画素の重みを確定するステップと、
   前記画素の重みに基づいて、線形補間法を使用して、前記画素の再構成画素値を計算するステップと、を含む、ことを特徴とする請求項５に記載の方法。
7. 前記画素の重みを確定する前記ステップは、
   前記画素から前記画素のある三角形の各頂点までの距離を確定するステップと、
   前記三角形の各頂点に対応する前記画素の重みのそれぞれを、前記画素と前記各頂点との間の距離に反比例するように設定するステップとを含む、ことを特徴とする請求項６に記載の方法。
8. 前記画素の再構成画素値を計算する前記ステップでは、以下の式に従って計算を行い、
   Ｇｘ＝Ｗａ＊Ｇａ＋Ｗｂ＊Ｇｂ＋Ｗｃ＊Ｇｃ、
   Ｇｘは画素ｘの再構成画素値を表し、
   ＷａとＧａは、画素ｘのある三角形の頂点ａに対応する画素ｘの重みと前記頂点ａの校正後の画素値をそれぞれ表し、
   ＷｂとＧｂは、前記画素ｘのある三角形の頂点ｂに対応する前記画素ｘの重みと前記頂点ｂの校正後の画素値をそれぞれ表し、
   ＷｃとＧｃはそれぞれ、前記画素ｘのある三角形の頂点ｃに対応する前記画素ｘの重みと前記頂点ｃの校正後の画素値を表す、ことを特徴とする請求項６又は７に記載の方法。
9. 前記再構成画像と別の画像に対して位置合わせ処理を行うステップを更に含む、ことを特徴とする請求項１に記載の方法。
10. 光ファイバー束画像処理装置であって、
    プログラムを記憶するためのメモリと、
    前記プログラムを実行するためのプロセッサと、を含み、
    前記プログラムは、前記プロセッサで実行されるとき、
    サンプル画像内の光ファイバーの中心に対応する位置の画素情報を確定するステップと、
    確定された画素情報を校正するステップと、
    校正された画素情報に基づいて、前記サンプル画像を再構成し、再構成画像を取得するステップと、を行うために使用される、ことを特徴とする装置。